· 톺아보기

독파모 2차 평가‘AA 1위’ 모티프, 진입 유력 ‘실전 사용성’ 변수

예룰루랄라 · · 수정

조회 1,373 · 공감 1 · 댓글 9

https://www.edaily.co.kr/News/Read?newsId=01505526645548304

PS26081700686.jpg


AAII는 100점 만점에 배점이 25점 밖에 안되어서 이게 전부는 아닙니다만, 모티프의 선방과 LG연구원의 죽상이 눈에 띄네요. SKT 모델은 STEM쪽이 강해보이구요.


모티프와 업스테이지는 벤치마크 맥싱 업체로부터 AAII용 학습데이터를 구매했다고 하는데, 사용자 평가와 전문가 평가가 너무 떨어지지 않으면 사실 별 문제는 안될 거 같네요. 이게 사실 벤치마크로 경쟁하는 사업자들이 대부분 쓰는 방법이라, 오히려 SKT와 LG연구원은 왜 구매를 안했나 싶기는 하네요.

좀 있으면 발표할텐데 어디가 떨어질런지...

댓글 9

  1. 모웅키 ·
    벤치맥싱 데이터셋 사서 실성능이랑 괴리된 벤치마크 점수 만들라고 지원하는 것은 아니지 않나요?
  2. 예룰루랄라 ·
    @모웅키님 당연히 실성능이랑 괴리된 벤치마크 점수 만들기를 목적으로 하는 사업자는 없겠죠. 결과가 기본 성능에 비해 벤치마크 과적합이 되는 경우가 있다는 말이죠.
    독파모는 실사용 평가 배점이 높으니 그런 걱정은 안해도 될 듯 합니다.
  3. 제갈클 ·
    모티프 라는 말이 과거엔 리눅스나 유닉스의 윈도 매니져를 부르는 이름이었는데,
    요즘은 LLM 모델 이름으로 소비되네요 ...
    뭐..좋은 뜻인가 보네요? 사전적 의미가 무엇이길래...??
  4. 예룰루랄라 · · 공감 1
    @베모레클님 회사 이름이 모티프 테크놀로지입니다. 사전적 의미는 우리가 아는 그 모티프, 주제? 이지 않을까요.
  5. 건기 · · 공감 1
    @베모레클님 motif가 회사 이름이네요 ㅎㅎ
  6. 제갈클 ·
    @예룰루랄라님

    주제, 사상, 동기 라고 하네요.
    모티브 랑 같은 어원이라네요.
  7. eeeeee ·
    예전부터 이해 못했던게 LG엑사원 올려치기였죠
    특정 벤치마크에만 고점이고
    전문가 모델은 무거워서 써먹지도 못하고
    가벼운 온디바이스 모델은 외국 무료 ai어플과는 비교도 안되게 허접했거든요
  8. 예룰루랄라 ·
    @eeeeee님 사실 엑사온이 성과를 냈던게 한국이 AI 불모지였던 시절이라 글로벌 벤치마크 성과를 낸 부분은 인정해주고 싶네요. 다만 연구원이라는 특성상 서비스를 위한 하네스가 약한 단점이 있겠구나 싶었지, 모델 자체 성능은 기대한 바가 있었던터라 좀 아쉽네요.
  9. eeeeee · · 공감 1
    @예룰루랄라님 결국 LG엑사원이 최종 3위 안에 들어 올라갔네요

모두의공원 최근 글

모두의공원 목록 더 보기