· 톺아보기

맥 스튜디오 M5맥스(128GB)에 로컬 LLM 올려서 써보기 시작했는데

SHERLOCK ·

조회 1,924 · 공감 0 · 댓글 17

맥 미니 M4 32GB와는 비교도 안 될 정도로 대답이 되네요 ㄷㄷㄷ


QWEN 3.5 35B로 돌리고 있는데 간단한 답변은 GPT 계열과 거의 차이가 나지 않을 정도로 빠릿빠릿합니다 ㄷㄷ (맥미니 M4는 간단한 인사 나누는데도 답변 돌아오는 시간이 몇 분이에요 ㄷㄷㄷ)


사무실 인터넷이 100메가라 대용량 언어모델 받는 게 아직은 무린데(...) 몇 가지 테스트 돌려보고 전에 쓰던 오픈클로 마이그레이션 해봐야겠습니다 ㄷㄷㄷ


스크린샷 2026-10-22 오후 3.52.40.png


참고로 챗 GPT는 오픈 AI 정책 때문에 InsightFace를 사용 자체를 못 합니다;;;

댓글 17

  1. 어머 ·
    어후 비싼 장난감 이군요
  2. 야하하하 · · 공감 1
    부자시군요!
  3. liberal · · 공감 1
    부럽습니다..
  4. 아띠팡 ·
    대역폭이 아마 3-4배는 될테니 빠르겠네요;
  5. SHERLOCK ·
    @아띠팡님 대역폭 (M4 150인가 160기가로 알고 있고 M5맥스가 600기가정도로 알고 있습니다) + GPU마다 뉴럴가속기 붙은거..

    오픈클로에 올리고 쓰는 체감 속도는 수십배 빠른 거 같습니다. 5분 넘게 기다려야 들어오는 답변이 몇초도 안 걸리니까요 ㄷㄷ
  6. 레드와인 ·
    혹시 AI 영상만드는거 로컬기반은 어느정도 수준일까요? 5090은 너무 올라 부담스러운데. 맥스급은 AI 영상 만드는게 로컬에서 어느정도 수준인지 궁금합니다~
  7. SHERLOCK ·
    @레드와인님 유튜브 찾아보심 몇몇 영상들 있을겁니다. 전체적인 평은 쓸만한데? 정도더군요 (전 주로 오픈클로나 헤르메스 물려서 일하는 용도로 써서요 ㄷㄷㄷ)
  8. 행복한andrew ·
    회사에서 맥스튜디오 LLM 개발Test용으로 구입 준비중인데요
    512메모리에 최고 사양이면
    LLM 충분히 돌릴수 있겠죠? ㄷㄷㄷ
    기대 됩니다.
    애플 홈피에 10월 말에 512 메모리 나온다고 써있네요
  9. nariyada ·
    @행복한andrew님 메모리 이슈로 나와야 나오는거고 노리시는 분들이 많아서 열리자마자 안사면 올해는 힘드실거예요. 이미 256도 배송일이 내년 4월로 뜨고 있습니다.
  10. JakeJayKim ·
    @행복한andrew님
    그 정도면 GLM 돌아갈것 같기는 한데...
    4대까지 연결되는 걸 아는데...( 제 돈 아니니...불 질러 봅니다 )
  11. 그럼하든가 ·
    부럽습니다. 3.8 27b 모델로 자족하고 있었는데 Qwen 3.8-Flash-Next는 못 참겠더라구요. 한번 올려보시죠.
  12. SHERLOCK ·
    @그럼하든가님 122b 다운받고 있습니다 ㄷㄷㄷ
  13. happyWorld ·
    단순 채팅은 m4 도 그렇게 느리진 않았는데 말이죠... (아무래도 모델별 차이가)
  14. 레두 ·
    M5 에 128GB RAM 해도 DGX Spark 보다 싸네요...
    DGX Spark 가지고 노는데.. 얘는 좀 답답 하거든요...
  15. billncoo ·
    m5 맥스군요.
    맥스가 이정돈데 m5 울트라는 도대체 얼마나 더 좋다는건지..
    대역폭이 max보다 2배라는거 같던데
  16. 윤다람쥐 ·
    비슷한가격대로 m5 ultra는 메모리가 96G더라구요. 속도가 빠를지몰라도 96G로는 제약이 많겠죠?
  17. nariyada ·
    @윤다람쥐님 로컬모델은 무조건 메모리량과 대역폭이 우선입니다.

모두의공원 최근 글

모두의공원 목록 더 보기