· 톺아보기

Meta Glimmer 아직까진 좋네요.

운영자 · · 수정

조회 1,753 · 공감 3 · 댓글 13

내부적으로 오랫동안 진행중인 로컬 LLM을 활용하는 프로젝트가 있는데,(토픽필터와 별개의...)

처음에는 Qwen을 쓰다가, 지금은 gemma4 26B-A4B를 활용해서 지속적으로 파인튜닝 하며 실험하고 있는 중이었습니다.


어제 Meta에서 Glimmer라는게 30B모델로 나와서 바로 다운받아서 테스트해봤는데 gemma4 대비 의미있는 수준의 향상이 보입니다.

학습하는데 간신히 ~85GB VRAM 사용으로 통과...

튜닝하면 얼마나 더 좋아질 지 기대됩니다.

1216건 학습하는데 6일 걸린다고 나와서, 온갖 최적화를 해서 64시간으로 줄여서 시도중입니다.

DFlash로 추론속도도 빠르고..(MoE보다는 느리지만..)

주말에 학습된 결과가 잘 나왔으면 좋겠어요.


H200 같은거 한대 있으면 64시간 걸릴거 두세시간안에 끝났을텐데...

댓글 13

  1. memories_ ·
    런팟같은데서 임대로 돌려보시는건 어떨까요.
  2. 운영자 ·
    @memories_님 성공여부가 확실하지 않은 실험단계의 프로젝트라서요. 임대료 내기는 좀 어렵다고.... 생각했는데... 시간당 $4.39 라니.. 살짝 솔깃해지네요..하지만 저기 또 다른 부대비용이 붙겠죠??
  3. hanoha ·
    와.. 85GB를 AI에게 할당하신다면, PC의 메모리 용량을 어느정도로 맞추신 건지요?
  5. 운영자 · · 공감 1
    @hanoha님 96GB 풀로 할당해요. CPU는 32GB로 충분하고 남습니다.
  6. SIMCGA ·
    오 저희도 Meta Glimmer 받아보고 사이즈대비 퀄리티가 괜찮고 기존에 Gemma 4를 쓰고 있었는데 Glimmer로 바꾸는게 어떨까 테스트중인데 다른 분들도 비슷하게 느끼시나 보네요. Gemma 5도 빨리 나오면 좋겠습니다. ㅎㅎ
  7. nariyada ·
    gemma4보다 스팩상 낮은거 아니었나요? 도구사용빼고는 떨어지는걸로 봤는데 다시 확인해봐야겠네요.
  8. 아저기요 ·
    선생님 카테고리 인식할때 할때 제목 본문 까지 다 넣고 llm 돌리시나요? 비슷한 작업 저도 해봣는데 특히 정치 같은경우엔 정치인일경우에는 옛날 llm일경우엔 정치인인지 모를경우가 있을텐데 이럴땐 어떻게 하시나요 ㅎㅎ 생각보다 예외가 많은것같더라구요 구분하는게
  9. nariyada ·
    @아저기요님 키워드 추출이 아니라 문맥분석하라고 하면 로컬인 gemma도 잘 분류합니다. 얼마나 엄격하게 분류할지만 정해주면 되더군요.
  10. SIMCGA ·
    @아저기요님 그냥 LLM으로 본문보고 카테고리 판단만 하는게 아니라, 기존에 이것은 어떤 카테고리의 글이다라고 분류해놓은 1000건이상의 추가 학습 데이터가 있고 그걸 Gemma 4에 추가 학습시킨후에 카테고리 판단에 적용하고 있는것 같습니다.
  11. 버미파더 ·
    유튜브 보니 학습 데이터 채집 봇들이 수집한 데이터를 일부러 오염시켜서 결국 AI 수준을 낮추는 일도 있다던데
    현장에서 느끼는 그런 방해는 어느 정도 인가요?
  12. 제갈클 ·
    Glimmer 라...혹시 cloud 버전도 있나요?
  13. PICOPIO ·
    미니랙에 nanokvm에 여러 미니pc들까지, 그리고 os설치용으로 추정되는? 굴러다니는 미니usb..
    거기에 apc 멀티탭형 ups까지.. 진정 클리앙 스러운 사진이라 너무 반갑네요.
    어떻게, 테이블 위 먼지라도 한번 닦아 드리고 싶을 정도로 ㅎㅎ
    이런 클리앙 스러운 글좀 자주 올려 주셔요.

모두의공원 최근 글

모두의공원 목록 더 보기