미국 의대 교수, 할아버지의 GPT-5.6 SOL 평가
조회 2,512 · 공감 0 · 댓글 3

페이블 5 권한 뺏기고 나서
지금껏 본 적 없을 만큼 극강으로 분노하시던 할아버지인데
이제는 GPT-5.6 SOL 얘기만 하시네요
5.4 -> 5.5의 발전보다
5.5 -> 5.6의 발전이 더 크게 느껴지시나 봅니다
조회 2,512 · 공감 0 · 댓글 3

페이블 5 권한 뺏기고 나서
지금껏 본 적 없을 만큼 극강으로 분노하시던 할아버지인데
이제는 GPT-5.6 SOL 얘기만 하시네요
5.4 -> 5.5의 발전보다
5.5 -> 5.6의 발전이 더 크게 느껴지시나 봅니다
댓글 3
기대됩니다.
강화학습 등으로 튜닝만 한거겠죠?
궁금하네요.
LEO 왈
"- 5.5 기반(5.6이 계승한)은 근본적으로 더 큰 Mythos/Fable 기반보다 약합니다
- 좋은 RL을 통해 5.6은 Fable을 이길 수 있지만, 모든 것을 최대치로 설정할 때만(솔 울트라, 즉 여러 솔 에이전트를 최대 노력으로) 가능합니다
- OpenAI가 발표한 벤치마크를 매우 선택적으로 고른 데는 이유가 있습니다 - 이게 출시되면 다른 주목할 만한 벤치마크에서 보게 될 결과가 5.5에서 큰 도약만큼 의미 있게 나오지 않을 거라 의심됩니다
- 5.6은 사악한 보상 해커인데, 모든 모델이 벤치마크에서 "속이는" 건 사실이지만 GPT가 가장 공격적입니다(어제 METR 결과 참조). 이게 다른 대화들과 합쳐져서 실제 사용에서 Fable이 여전히 더 나은 모델처럼 느껴질 거라 생각하게 만듭니다"
라고 하네요