독파모 모티프 탈락은 진짜 충격이네요.
조회 5,418 · 공감 1 · 댓글 7
모티프라는 스타트업을 이번 벤치 공개때 처음 알게되고
우리나라에도 희망이 있구나 싶었다고 글을 쓴게 얼마전인데..
모티프가 1등을 하고 나머지 기업 중 하나가 탈락하겠거니 예상했습니다.
관심 가지시는 분들은 아시겠지만,
AA 벤치에서 높은 점수 기록하는게 결코 쉬운 일이 아니죠.
벤치에서 높은 점수를 얻어도 실성능이 낮을수는 있지만
벤치 점수가 낮은데 실성능이 높은 경우는 없다는게 정설이죠.
모티프보며 한국의 딥시크 같다는 인상을 많이 받았습니다.
크지 않은 파라메터로 높은 지능의 모델을 만드는 부분이 비슷하기때문이죠.
정성적 평가 점수 비중이 높고 그 정성적 평가를 높이기 위해
다른 곳은 모델 성능이 아니라 꼼수를 썼다는 얘기도 들려서 마음이 무거웠습니다.
이대통령이 하는 일 중에서 독파모가 참 중요하다, 기대가 된다는 글을 썼던거 같은데...
참 안타깝고 아쉬워서,
몇년 뒤에도 어제 일이 기억날거 같아서 글을 써봅니다.
댓글 7
테스트 하는거 보면 왠만한 클로드, 챗지피티 쓰는 답변 기대하면 죄다 미달처럼 보이더라구요....
갈일이 멀죠
실제성능은 별개의 영역이구요 모티프도 추론 코드보면 모델 성능이 아니라 꼼수를 쓴것 같습니디 무한 반복을해결하기위한 어떤 코드들이요 flash나 luna급은 기대하고 있으나 갈 길이 멀죠