맥 스튜디오 M5맥스(128GB)에 로컬 LLM 올려서 써보기 시작했는데
조회 1,924 · 공감 0 · 댓글 17
맥 미니 M4 32GB와는 비교도 안 될 정도로 대답이 되네요 ㄷㄷㄷ
QWEN 3.5 35B로 돌리고 있는데 간단한 답변은 GPT 계열과 거의 차이가 나지 않을 정도로 빠릿빠릿합니다 ㄷㄷ (맥미니 M4는 간단한 인사 나누는데도 답변 돌아오는 시간이 몇 분이에요 ㄷㄷㄷ)
사무실 인터넷이 100메가라 대용량 언어모델 받는 게 아직은 무린데(...) 몇 가지 테스트 돌려보고 전에 쓰던 오픈클로 마이그레이션 해봐야겠습니다 ㄷㄷㄷ

참고로 챗 GPT는 오픈 AI 정책 때문에 InsightFace를 사용 자체를 못 합니다;;;
댓글 17
오픈클로에 올리고 쓰는 체감 속도는 수십배 빠른 거 같습니다. 5분 넘게 기다려야 들어오는 답변이 몇초도 안 걸리니까요 ㄷㄷ
512메모리에 최고 사양이면
LLM 충분히 돌릴수 있겠죠? ㄷㄷㄷ
기대 됩니다.
애플 홈피에 10월 말에 512 메모리 나온다고 써있네요
그 정도면 GLM 돌아갈것 같기는 한데...
4대까지 연결되는 걸 아는데...( 제 돈 아니니...불 질러 봅니다 )
DGX Spark 가지고 노는데.. 얘는 좀 답답 하거든요...
맥스가 이정돈데 m5 울트라는 도대체 얼마나 더 좋다는건지..
대역폭이 max보다 2배라는거 같던데