OpenAI 아스트라는 왜 논란 중에 있는 것일까에 대해

아스트라의 AAII가 낮게 나왔습니다.

아니 공개 된 벤치는 페이블 대비 대폭 높게 나오기도 하고, 일부는 소폭이라도 앞서는데,

AAII가 낮다는 것이 이해가 잘 되지 않죠.

대개 코딩, 과학, 수학 성능이라고 하면 일반 작업과 무관하다고 여기는 경우가 있습니다.

그렇지 않고, 이 코딩 성능은 전체 성능에 기여를 합니다.

논리적으로 생각해야 하는 것이 AI 에 중요하다는 것이죠.

그런데 그게 다가 아닙니다.  

마냥 코딩만 오른다고 전체 성능이 비례하여 무한대로 따라 가는 것은 아니라는 말입니다.

결론적으로 말하자면.. 일정 부분 기여를 하고 있기 때문에

코딩 성능으로 드러나는 성능이 곧 전반적인 성능에 영향을 주는 것이고,

전에 제가 다른 어떤 분과 토론을 한 적이 있는데,

지식 베이스에 대한 내용이었습니다.

당시에는 관련 벤치가 없어서 근거를 대지 못했지만,

근래 그런 것들이 나오고 있습니다.

고난이도 작업을 장기적으로, 그리고 완결성을 중시하는 벤치에서는

비슷한 점수의 모델 중 초대형 모델이 많이 앞선 결과를 냅니다.

복잡한 문제일수록 더욱 그렇고요.

AAII 뿐만 아니라 개별 벤치마크 또한 그 신뢰성을 부인한다기 보다

해석하는 방법을 조금은 알아 두어야 할 필요가 있어 보입니다.

AAII에서 비중이 큰 GDPval 에서 아스트라가 기존 대비 더 나아진 모습을 보이지 못했습니다.

수학, AGI, 과학, 보안 항목에서 큰 폭의 향상이 있었던 것과는 대비 되는 모습입니다.

즉, 아스트라는 의미 있는 성능 향상을 한 것이 맞고,

그 지능 수준은 기존 넘버원인 페이블5.1을 상회 하는 것도 맞는데,

과거에 우리가 갖고 있던 인식인...

작업 성능에서는 아직도 클로드가 우위라는 것입니다.

무슨 말이냐면,

코딩, 수학 등이 올라갔을 때 직접적으로 그 성능의 이점을 보는 분들 외에는

전반적 성능 개선은 페이블에 비해 못하다는 것으로,

기존의 지능은 GPT, 실제 구현은 클로드라는 인식의 범주... 그대로 이어가는 모습으로 볼 수 있습니다.

또한 최신 벤치마크... 다시 말해 에이전트 관련한 새로운 벤치의 비중이 높지 않은 것이

발목을 잡은 것으로도 볼 수 있습니다.

최신 벤치를 AAII가 반영하지 않는 것이 아니지만,

아직 최적의 비중은 찾지 못한 것 같습니다.

그만큼 벤치마크도 빠르게 발전하고 있는 것이고요.

지능이 높다는 것은 이렇게 드러납니다.

더 적은 토큰을 쓰게 됩니다.

그런데 이 부분을 아스트라에서 더욱 강화해서,

더 더욱 효과적으로 쓰게 됩니다.

그런데 내부 연산은 더 많이 합니다.

더 똑똑하게 많이 일하고, 효율적이게 되었다는 말입니다.

그러나 기존 성향과 다르지 않다는 것은

클로드 계열을 쓰던 사람에게...

아스트라 역시 클로드에 비해 만족도가 낮을 가능성을 말해줍니다.