GPT + M4 32GB가 로컬 LLM(27B) + M5MAX 128GB한테 질 때도 있네요

시기적인 차이는 있습니다.... (GPT로 해당 작업 셋팅했을 때는 올해 6월인가 7월 즈음)

GPT 5.x에서 코딩해서 M4 HW로 작업하는거고 제 기억이 맞다면 분명 GPU 쓸 수 있냐고 했는데 GPU 사용 불가능하다고 해서 자율로 맡기니 효율 6코어만 돌려서 20분 정도 걸리더군요. 우선순위 올리라 해서 성능 4코어 갈구기 시작하니 10분 정도로 좋아졌는데..

위 작업을 스킬로 만들어서 QWEN 3.8 27B + M5MAX 128GB로 동일하게 돌릴려고 하니 GPU 가속을 쓸 수 있고 GPU마다 붙어있는 뉴럴 가속기까지 사용 가능하답니다??? 40코어 GPU + 뉴럴가속기까지 모두 써보라고 하니 M4 시절에 10분 걸리던 거 M5MAX는 30초대로 끝내네요 ㄷㄷㄷ

위 작업을 GPT 6 계열에서 못 돌려본 이유는 오픈 AI 정책으로 해당 작업 자체를 막아놨더군요.

문제는 GPU로 로컬 LLM + 해당작업을 모두 같이 굴리니 로컬 LLM쪽이 좀 느려지기는 하는데... 어쨌건 GPT 들로 했던 작업들로 스킬 만든 후 로컬 LLM + 초고사양 HW 로 돌리니 효율은 더 좋아질 수 있다.. 가 되겠습니다 ㄷㄷㄷ (들인 돈이 얼만데요...)

그리고 M4 성능 4코어 돌리는 것과 M5MAX GPU 40코어 돌리는 차이가 30배 안팎은 나는 거 같은데... 진짜 M 시리즈가 기똥차긴 기똥찹니다 ㄷㄷㄷ

M5 울트라 256기가짜리는 얼마나 더 좋을까요 ㄷㄷㄷ