독파모를 기대했던 사람도 실망하게 만드는 배점 결과

너무 안일하게 생각했나 봅니다.

그래서 판단도 약간 허술하게 했던 것 같습니다.

벤치마크 종합지수의 배점이 낮은 부분에 의문을 가졌어야 했는데...

설마 모티프가 떨어질 것이라고는 생각해 본 적이 없어서... 충격이었고,

뭐가 문제였나 다시 생각해 보게 되었습니다.

자! 기준을 세워 봅니다.

AAII란 어떤 것일까요.

그리고 현업 적용 가능성 및 복합 지시 수행이란 어떤 것일까요.

지시 이행이나 연속성 같은 체크는 .... AAII와 무관할 것일까요.

대부분... 내포 되고 있다고 봐야 될 것입니다.

AAII에 대해 전 완전히 신뢰하는 편은 아닙니다.

그런데, 이걸 또 대체할 만한 신뢰 지표가  있는 것도 아닙니다.

따라서 현재로서는 대안이 없는 최선입니다.

그래서 대개 어떻게 판단을 하느냐면,

AAII안에는 무수히 많은 상세 데이터가 있기 때문에

자신이 활용하는 분야의 벤치마크 점수를 추가로 참고하고,

AAII 에 포함 되어 있지 않지만 유용한 다른 외부 벤치 또한 같이 보기도 합니다.

이렇게 보완까지 하고 나면... 이걸 대체 할 만한 참고 자료가 있나... 에서,

지금도 없지만 앞으로도 어렵다고 봐야 할 것입니다.

예를 들어 제미나이의 경우 최신 프로 모델이 없는 것에 비해 종합점수가 높습니다.

각 세부 분야에서 활용하는 사람들 입장에선 

실 성능 대비 제미나이의 AAII점수가 과하게 높아 보이는데,

그럼에도 다양한 사용 환경과 목적이 있기 때문에,

다른 모델 보다 앞선 다른 사용 목적에서 뛰어남이 있긴 하다는 것인데요.

이런 점을 감안해도 약간 고개를 갸우뚱.. 하게 되기 때문에

AAII가 완벽하다고 생각하진 않지만,

그럼에도 앞서 말했듯이 더 나은 대안이 있기도 어렵거니와

사용자 평가라는 것이 이 보다 더 나은 것인가....에서

전혀 그럴 순 없는 것이죠.

또한 고려 사항 중 한국어의 이해도는 생각 보다 높은 만족도를 줍니다.

이 부분도 예를 들어 보자면,

Qwen 소형 경량 모델과 gemma 의 비교시

엇비슷한 성능일 경우에는 gemma가 훨씬 더 높은 선호도를 갖습니다.

그런데 성능차가 제법 많이 나는 경우에[는 이야기가 달라집니다.

격차 클 때는 Qwen을 쓰게 되는 것이고, 젬마는 아주 특수한 ...

예를 들면 글쓰기 관련한 제한적 상황에서 여전히 선호 됩니다.

즉 한국어 이해 능력은 그 비중이 높을 필요가 없습니다.

한 부분이지 전부가 아니라는 것이고,

또한 필요하긴 한데, 높을 필요까진 아니라는 것입니다.

이런 저런 모든 것들이 녹아 있는 AAII를 두고,

사용자 편의성이라며 이것저것 붙이며 배점까지 높게 잡은 것은 ...

꽤나 잘못된 판단이었습니다.

요즘 AI 판은 기존의 개발 방법론을 뚫고 올라서는 자가 승자가 됩니다.

현재 선두주자들의 노하우는 외부에서 알 길이 없어서,

단순 증류로 쫓아갈 수 있는 것이 아니고,

중국 기업들이 쫓아 가고 있는 것은 각 기업들의 공개되지 않는 노하우들이 있다는 것이어서,

LG나 SK 모델의 발전이 이전 대비 두드러지지 못하는 것은

알고리즘 혁신에 있어서 쳐지고 있다는 뜻이 아닐까 싶습니다.

이번 Qwen3.8에서 경이로운 성능이 나옵니다.

제가 요즘 슬슬 테스트 중에 있는데... 놀라지 않을 수가 없습니다.

속도가 좀 느린.. 즉 추론을 아주 많이 하는 것이 문제긴 하지만,

나오는 답변을 보면....불과 몇 달 전의 프런티어 모델급이고,

소형 경량화 모델이 이 정도 성능이 단기간에 가능해 질 줄은 정말 생각도 못했습니다.

즉, 기존의 방법이 아니라 계속 발전시켜온 기법들이 있어서 가능하다고 보았을 때

모티프가 가장 가까운 모습을 보였다는 것입니다.

사용자 평가의 너무 높은 배점과

한국어 능력이 좀 못하면.. 일부 점수를 깎아 먹어야지, 많이 깎아 먹으면...

이 독파모의 성능 균형점이 무너지는 것 아닐까 싶습니다.