openclaude라는 하네스 에 넣고 써보려고 하는데하는데
gemma-4-e4b-it-mlx 모델은 빠른대신 많이 멍청한거 같고.
gemma-4-31B 는 팬 엄청 돌리면서 생각하더니 타임아웃 나서 뻗고...
Qwen 3.8 27B 4비트 양자화는 오래 걸리긴 하는데 그래도 답을 내놓긴 하네요.
혹시 다른 모델 추천해 주시면 올려서 써보겠습니다.
openclaude라는 하네스 에 넣고 써보려고 하는데하는데
gemma-4-e4b-it-mlx 모델은 빠른대신 많이 멍청한거 같고.
gemma-4-31B 는 팬 엄청 돌리면서 생각하더니 타임아웃 나서 뻗고...
Qwen 3.8 27B 4비트 양자화는 오래 걸리긴 하는데 그래도 답을 내놓긴 하네요.
혹시 다른 모델 추천해 주시면 올려서 써보겠습니다.
혹시 추천하실만한 하네스나 lm studio 말고 다른 방법으로 서빙하면 더 좋은게ㅜ있을까요?
https://www.clien.net/service/board/park/19252438CLIEN
https://github.com/jundot/omlx/blob/main/README.ko.md
큐원 저도 써볼려고 하는데 궁금하네요