· 톺아보기

로컬 LLM으로 뭘 할 수 있는지에 대해서라고 하면...

외국인노동자2025 · · 수정

조회 4,568 · 공감 0 · 댓글 18

1. 개인적 취향에 맞는 소설을 쓸 수 있습니다...일단 제가 만든 프로젝트 광고 한 번...

현재는 라노벨 스타일 템플릿만 있지만 곧 90년대 끈적한(?) 삼각관계 연애소설 템플릿을 만들 예정입니다...많이 써 주세요..TT

(참고로 젬마4에서 가장 잘 돕니다. qwen 소설 작문은 최악입니다. 로컬의 좋은 점은 모델 골라먹기이죠)

https://github.com/aigengen5-ship-it/llm_lightnovel_generator


2. 파이썬 코딩 토큰 관계없이 막 부탁할 수 있습니다.

처음부터(from scratch) 끝까지 qwen 3.8 27b(요새 flash next나왔다는데)가 파이썬 코딩을 다 해줍니다.
(위 프로젝트도 qwen이 거의 99% 코딩해준 겁니다)

R9700 32gb x 2개 달면 Q8(거의 원래 퍼포먼스)로 context 65k 이상 쓸 수 있습니다. qwen 3.6에서 돌다가 죽던 문제도 없어요.토큰 무지하게 먹긴 하지만 어짜피 로컬이라(!)

1번은 로컬(...)만이 할 수 있는 영역이 있어서 좋고, 2번은 qwen 자체가 너무 잘 나와서 추가 비용 없이 막 시켜먹기 좋습니다.


API 요금보다 물론 비싸긴(.....) 하지만 나름대로의 장점도 있다고요!

댓글 18

  1. 양자광학 ·
    혹시 속도가 어느정도 나오시나요?
  2. 외국인노동자2025 ·
    @양자광학님
    젬마4는 spark에서 Q8, MTP로 돌리면 10~20 정도 나옵니다.
    qwen 3.8 27b Q8, MTP로 돌리면 20~40정도 나옵니다.

    실사용 측면에서 qwen은 토큰 많이 먹으면서 생각 많이하지만 그려려니 하고, 젬마4는 뭔가 아쉽죠.
  3. 메칸더v ·
    로컬llm qwen은 정말 훌륭하더군요.. 그런데 사용하시는게 3.8 27b A3b 맞으신가요?

    혹시qwen coder next 80b 와 비교해서 가중치는 next가 높은데
    3.8이 최신이라서.. 실사용으로 체감하신 부분이 있으려나요..?
  4. 조용히 ·
    댓글 이미지
    @메칸더v님
    이건 제가 클로드에게 테스트 시킨 qwen3.8 flash next 8bit 의 로컬 속도 입니다.
  5. 외국인노동자2025 ·
    @메칸더v님 qwen 3.8 27b는 dense 모델입니다. 그래서 좀 느려요…
  6. Kanilea ·
    @메칸더v님 qwen 27b 계열은 dense라서 moe가 없습니다. a3b는 35b 모델.

    코더 넥스트는 조금 오래된 모델이라 3.6 27b보다도 성능이 떨어질거고 이번에 3.8 27b, flash next는 어나더 레벨로 결과물이 좋네요.
  7. 메칸더v ·
    @Kanilea님 세월 앞에 장사 없다더니 역시 그러하군요 기대됩니다ㄷㄷ
  8. 메칸더v ·
    @조용히님 ㄷㄷㄷ 어떤 시스템에서 돌리신 것이려나요
  9. Mitis ·
    LLM은 아니지만 로컬로 혹시 이미지를 분석해서 태그 분류 기능을 달 수도 있나요? 그걸 이미지파일 이름으로 수정..?
  10. 조용히 ·
    @Mitis님 됩니다만 언어모델은 언어모델이라 도구를 사용 할 수 있는 애들에게 붙어야 됩니다.
  11. 외국인노동자2025 ·
    @조용히님 젬마4가 이미지 분석하고 그 입력을 받아 파일 이름을 바꾸어주는 파이썬 코드를 짜는게 베스트이네요
  12. 신의한수 ·
    @Mitis님
    로컬모델로 이미지 분류를 해보진 않았지만 코드는 ai 이용해서 쉽게 구현할수 있고, 이미지가 비용부담 될 정도로 많다면 로컬이 비용대비 잘 할 수 있는 작업일 것 같습니다.
  13. Kanilea ·
    @Mitis님 1. vision language 모델(대부분 요즘 모델은 멀티모달이라 다 됩니다)
    2. 반복과 툴 콜링을 제공할 에이전트 환경

    두가지를 구축하면 무제한 가능하죠
  14. 섬마을생산직 ·
    도다리 AI 깔아서 ebook이나 보고서 번역시킬 수 있으려나요?
  15. 외국인노동자2025 ·
    @섬마을생산직님 가능한데…파이썬의 도움을 받아야 할 겁니다. AI에게 그냥 해줘…가 아니라 어떤 이북인지, 포맷인지, 얼마나 문서가 큰지 계획을 가지고 가야 될 겁니다
  16. 에일리언 ·
    qwen 3.8 27b ... 이런거에 코딩시키고 자동테스트 돌려서 원하는 결과가 나올 때까지 뺑뺑이... 이런걸 할수도 있을까요. 어떤 접근을 해야할라나 모르겠더군요
  17. 외국인노동자2025 ·
    @에일리언님 됩니다. 가장 쉬운 건 pi coding agent 까신 후 llm 쓰는 것처럼 쓰시면 코딩 잘 해줍니다.
  18. 에일리언 ·
    @외국인노동자2025님
    오... 신기하군요. 갑사합니다

모두의공원 최근 글

모두의공원 목록 더 보기