독파모 모티프 점수가 공개되었네요

댓글 13

1. 여름엔콩국수 · 2026-08-18 19:11:46 · 공감 2

   아직 배포단계가 아닌데 사용자평가 배점이 너무 높네요. 독파모 취지 생각하면 이상할 건 없지만 AI 발전 속도를 보면 AX 이상으로 성능 체급이 너무 중요한데 모티프도 지원했으면 좋겠어요. 규모에 비해 성과가 좋네요.
2. 예룰루랄라 · 2026-08-18 19:17:01

   @여름엔콩국수님 공감합니다. 육각형을 맞추고 싶은 욕심은 이해하지만 우선 능력있는 작은 기업은 키웠으면 좋겠네요.
   모티프의 벤치는 진짜 인상적인 결과죠.
3. nariyada · 2026-08-18 19:13:40

   스팩이나 벤치마크 결과는 좋은데 실사용 평이 좋지 않더라구요.
   아무래도 직원수가 적은 회사라 실사용 디테일까지 챙기기는 어렵나 봅니다.
4. Kanilea · 2026-08-18 19:14:02

   사용성 차이가 존재한다는 의미 자체를 이해못하겠네요.... ㅎㅎ
5. 예룰루랄라 · 2026-08-18 19:24:11

   @Kanilea님 서비스를 위한 튜닝이나 정책이 부족한거죠.
   모티프 베타 버전 서비스에서 너무 영어가 난무하다는 평이 있기는 했습니다. 제가 겪었던 건 sushi, itinerary 인데, 전반적으로 영어 많이 섞어쓰는 패션잡지 느낌이 있었어요. 그 이후 개선이 많이 안되었을까요.
6. Kanilea · 2026-08-18 19:28:11

   @예룰루랄라님 엔드유저 서비스에 모델을 그대로 내놓는게 전제라면 모르겠는데 그렇다면 ai의 기술을 너무 한정적인 조건으로 평가하는거죠. 기사만 봐도 어디와 연계 이런게 많이 나오는데 솔직히 어디에 연계하든 모델만 바꾸면 되는거 아닌가? 레이어가 다른데 왜 중요한거지? 하는 생각이 들었습니다.
   
   모델 제작자에게 모델을 활용한 완성형 엔드유저 서비스까지 제시하라는 평가기준인건가 싶었어요
7. 예룰루랄라 · 2026-08-18 19:37:55

   @Kanilea님 AI 모델 기술의 특징이 서비스 와 모델 기술 사이에 거리가 매우 짧다는 점에 있는 것 같습니다.
8. 브그 · 2026-08-18 19:28:41

   수려한 문장이 출력되지 않고, 영문 등이 섞여 나오는 등 마감이 좀 아쉽다는 평이 있더라고요.
9. duvet · 2026-08-18 20:03:06 · 공감 1

   보통은 두 점수가 유리되기 어렵습니다. 특히 출력에 언어 일관성이 없고 문장 완성도가 떨어지는 경우 사용된 벤치마크에서 점수를 잘 받을 수가 없습니다. 차라리 점수와 실사용 경험이 비슷하게 부족했다면 그럴수 있다고 생각하는데 벤치마크 점수가 높았다는게 좋아보이진 않습니다.
10. 모빌리안 · 2026-08-18 20:14:34 · 공감 1

    가능성 보고 강제로 밀어주면 안되나... 모티브 탈락은 정말 아쉽습니다
11. 예룰루랄라 · 2026-08-18 20:55:28

    @모빌리안님 심정적으로 공감합니다
12. Kalua · 2026-08-18 20:28:49

    점수 산정 방식이 좀 아쉽네요.
    실질적으로 SOTA 모델인 Opus 5(Max)의 AAII 점수가 63점인데 100점 만점 기준으로 점수를 환산하니 배점 취지에 비해 변별력이 너무 약해지는 것 같습니다.
    하한/상한을 15~65점 정도로 범위를 잡아 AAII 점수를 정규화해서 채점했으면 훨씬 좋았을 것 같습니다.
13. 예룰루랄라 · 2026-08-18 20:54:48

    @Kalua님 작년부터는 벤치마크을 타겟으로하는 사후학습으로 벤치맥싱(벤치마크 과적합) 트렌드도 있고 해서, 사실 벤치마크만에 성능을 판정하는게 맞나하는 논란이 있기도 합니다.
    모티프도 벤치맥싱 이야기가 나오기는 하구요. 해외 벤치맥싱하는 업체로부터 전문 데이터를 구매하긴 했다고 하더군요.
    추가하자면 그렇다고 모티프의 성과를 폄하할 필요는 없다고 생각합니다. 이미 OpenAI 등 대부분하고 있으니까요.
    (SKT와 LG연구소는 활용안했다네요)