[테크톡노트] AI 성능 경쟁의 그늘…'벤치맥싱' 뭐길래 | 연합뉴스
리더보드 점수 높여도 실전 성능은 별개…벤치마크 딜레마
국내 '독파모' 평가서도 쟁점…비공개·실무 평가 병행론 부상
독파모 ‘벤치맥싱’ 논란에 AAII 입장…"평가 방법론 지속 업데이트" | 지디넷코리아
AAII, 독파모 평가서 25% 차지…"추론 로그까지 들여다본다"
[테크톡노트] AI 성능 경쟁의 그늘…'벤치맥싱' 뭐길래 | 연합뉴스
리더보드 점수 높여도 실전 성능은 별개…벤치마크 딜레마
국내 '독파모' 평가서도 쟁점…비공개·실무 평가 병행론 부상
독파모 ‘벤치맥싱’ 논란에 AAII 입장…"평가 방법론 지속 업데이트" | 지디넷코리아
AAII, 독파모 평가서 25% 차지…"추론 로그까지 들여다본다"
복잡하고 변화하는 현실에서 써보면 거의 문제를 해결 못하는 고학력자를 보는거 같군요.
요즘은 agentic loop가 핵심이다보니 아레나로만은 부족한 느낌이긴 한데...