아틀라스라는 놈인데 GB10 서버에서 QWen 3.5 35b A3B모델을 초당 100토큰 정도로 생성합니다. 아직 정식으로 나온게 아니어서 한글이 깨어지고 약간 이상하게 작동되기는 한데 확실히 빠릅니다.

ollama에서도 빨랐는데 느낌이 3배정도 더 빠른거 같아요. NBFP4로 양자화한 모델인데 양자화를 약간 잘못했는지 한국어에서는 ollama보다 속도만 빠르고 답변이 아직 깨어지는 부분이 있습니다.

계속 발전해가는 솔루션이므로 GB10에서 이만큼의 속도로 돌아갈 수 있다는 것 만으로도 활용가치가 높아지는거 같네요.