잡담) 맥으로 로컬 AI 관심가지다 현타중입니다
조회 4,176 · 공감 0 · 댓글 10
이래구래 관심 가지다가... 세월이 좀 지나서 보니...
M1 맥미니 8G ... 잘 안 쓰는...
M4 맥북에어 16G ... 장난감.
M4 맥미니 32G ... 괜찮지만 LLM은 음... 이게 메모리 대역폭이 130기가 정도...
(차라리 보면 언제든 스탠바이, 간단한 3디 작업이나 3디 프린터 제어용...
이런데 좋네요. )
그러다가 16인치 M1 Max 64G 2G SSD 재생품에 관심이 생겼습니다.
나머진 다 팔고 가면 딱 300 정도로... 이건 일단 메모리 대역폭이 400기가에 GPU도 24기가로 풀칩입니다.
상시가동 겸 가끔 집안에서 들고다니기이에 손색이 없는거죠.
사실 현재 답답하지 않으려면 초 가성비(?)라는 M5 ULTRA 256G(대역폭 1.2T) 정도는 되어야 뭐가 될거 같고 상시감시나 무한 뺑뺑이 작업(에이전트) 을 제외하면 제가 24시간 비수면으로 뭔가 프로젝트를 계속하는게 아닌한... 좀 저렴한 모델을 오픈 라우터에 물려서 돌리는게 가성비가 훨씬 좋을거 같더군요.
그외에도
돌고돌아서 왠만하면 대기업이 잘 정돈해둔거 구독해서 쓰는게 로컬에서 뭔가 해보기보다 훨 고민이 적다...
로컬의 진정한 의미는 절대적인 보안이나 의료정보처리 혹은 단 한번도 주간한도로 멈추거나 어디서 클라우드플레어가 뻗는 사태도 용납안되는 그런 업무 뿐인 것 같달까요.
근데 왠만하면 개인이 그런 플젝은 잘 없고 말이죠.
뭐한거니 하는 생각이 듭니다(?)
대역폭 400기가 혹은 1.2T를 향할 이유가 있으신분이 혹시 있다면... 무슨 목표를 가지게 되셨을까.... 이런 의문만 가득한 상태가 왔습니다...
댓글 10
조금 지나면 더 좋은 무언가 나오지 않을까 해서 흠.
결과가 그런것 같더군요.
결국 발전속도와 하드웨어 상승분의 가격 대형업체의 성능을 대여하는 가격을 비교해 보니 내가 취미 용도 정도로 하기엔 너무 효율이 낮지않나 싶더라구요
결국은 그렇게 해도 대기업 구독, api 못이기는거보고 현타 오더라구요
그러게요...
그냥 그게 실행가능하고 내가 그걸 해보기 싶기때문에 하는거죠(...)
사실 저도 해보려고 맥미니 기웃대고 있는데 아이들 아이패드 하나 사는게 더 우선이라 일단 보류중입니다.
예산과 시간만 있었더라도...
내.호기심 만족시키는게 참 크긴한데...
특히나 실용성에서 멀어저가고 들일 수 있는 비용이 있는데 비용예상이 점점 답없이 나오기 시작하니 이게 참...
애기들한테 뭔가 더 해주는 만족도가 더 클거 같기도요...
또... 원하는 기능걸과를 얻기에 전문가들이 돈과 장비 시간을 들여서 잘 튜닝해둔 자원을 잠깐씩 빌려서 만족스런 결과가 나오는거 같으니 로컬처리가 확실한 용도를 못찾으면 목표를 잃을것도 같아요...
무료 모델은... 될땐 좋지만 언제든 갑자기 OFF될 수도 있지 않겠냐는 불안이 있어서 자동화에 쓰거나 하긴 좀 고민은 되더군요
찾아보니 저 정도 돌리려면 돈이 꽤 들어서 좌절하고 있네요.ㅎㅎㅎ
제미나이에... 카메라 연결해서 5분마다 집주위에 사건성 이벤트 없나 감시하는 장치 만들어줄수 있냐했더니... 된다고... 5분단위 이미지 분석정도는 내가 공짜티어로 해줄게 그러네요.
하루 288회 43만토큰인데 그거면 프리티어의 28%정도밖에 소모 안하는거래요.
그러면 m1 맥미니 깡통에서부터 싸구리 linux mini 컴등... 파워 딸리는 단말에서도 충분히 역할을 할수 있으니... 비싼 장비가 필요없네 싶더군요