한때 로컬LLM을 꿈꿨었는데...

댓글 18

1. 어머 · 2026-07-20 18:28:25

   아직은 경쟁시기라 그렇고 몇년내로 이렇게 싸게 쓰는 일은 없을 거에요
2. 백반이 · 2026-07-20 18:35:01

   @님 추론 비용이 줄어들어서 지금 정도의 성능 모델은 오히려 더 싸질 겁니다.
3. 어머 · 2026-07-20 18:42:09

   @백반이님 맞습니다만 프론티어 모델 토큰 사용비용은 이제 슬슬 올라갈겁니다.
4. 오떼블랑 · 2026-07-20 18:29:40

   저도 로컬 꿈꾸다가 이건 아니다 싶더군요.
   유료 결제가 싸고 빠르고 좋습니다.
5. 욱짜2 · 2026-07-20 18:32:37

   애플이 로컬LLM 꿈꾸다가 완전히 경쟁에서 아웃된거 아닌가요.
   근데 덕분에 주가가 더 오르는 건 함정...
6. oxoxo · 2026-07-20 18:32:51

   3원적으로 되지 않을까 생각합니다. 간단한 사고는 핸드폰 선에서 해결, 비교적 깊은 부분 + 개인정보(보안)은 4090급에서 로컬, 그 이상 대형급에서는 구독으로 가는데 이 비용은 갈수록 높아져서 가벼운 내용을 던지기엔 부담되는 쪽으로 가지 않을까 생각합니다. 비교적 깊은 부분도 구독으로 갈 수 있지만 토큰 비용은 높아지고 하드웨어 비용은 낮아지는 쪽으로 갈꺼 같아서 보안 겸 해서 로컬로 가게 될 듯 합니다.
7. nariyada · 2026-07-20 18:32:58

   토큰 값은 계속 오를거라서 기업이라면 방법을 찾기는 해야할겁니다.
   gemma4만해도 쓸만합니다만 5090 두장은 있어야 제대로 돌릴수 있죠.
   gpu값은 당분간 지금이 제일 저렴할때라는게 문제네요.
8. 초랭이2 · 2026-07-20 18:35:32

   qwen 같은거 돌리면 dgx-spark 같은 1대만사도 돌릴수있어요..다만 유료결제모델에 비교해서 본전을 뽑으려면 답이 없습니다... ( 애초에 opus 나 gpt 5.6 급을 그대로 못돌림. )
9. Netyrinth · 2026-07-20 18:40:54

   @초랭이2님 회사에서 쓸 조금 복잡한 프로그램을 만들어왔는데 gpt 5 버전부터 만족스럽더군요. 그 전 버전들은 에러가 하나만 나도 잡지를 못해서 혼자 골머리만 썩었는데...
10. Kieth · 2026-07-20 18:38:20 · 공감 3

    ENIAC, EDVAC, UNIVAC 도 처음에는 수십억 시스템이었죠. ㅋㅋ
11. 오라질 · 2026-07-20 18:42:18

    MoE로 좀더 쳐내고 양자화하고 그러면 못돌릴것도 없죠!
12. 베개 · 2026-07-20 18:43:17

    그러니까요... 이러다 정말 몇몇 회사가 모든 개인정보 우리의 생각까지 이용하는 미래가 보입니다. 지금의 개인정보 따윈 그냥 사람 이름이름 가치밖에 안되겠죠.
13. jjkkjj · 2026-07-20 18:46:03

    메모리 주식에 투자해서 수익이 발생한다면
    그 돈으로 대대손손 최고급 AI 구독료를 납부할 수 있을 것입니다.
14. 게지히트 · 2026-07-20 18:48:44

    코딩이나 연구 목적이 아니라면 local llm 으로도 운영할 수 있는 모델이 답이 될수도 있을 거예요.
15. 한숨아침 · 2026-07-20 18:49:34

    저는 아직 꿈꾸고있습니다ㅎㅎ
16. 헤르미안 · 2026-07-20 18:52:20

    토큰값이 무한정오르지도 않을거예요.
    현재의 나스 구축 vs 유료 클라우드 비용 논쟁처럼
    LLM 구독료와 로컬 LLM의 가성비를 비교하게 되는 시점이 오겠죠.
17. 버미파더 · 2026-07-20 18:54:59

    몇 년 지나면 그래도 가격 떨어지지 않을까요...
18. 조민사랑 · 2026-07-20 18:58:33

    저는 RAG 기반으로 쓰는게 많은데 LLM보다는 DB 정제가 더 중요해지더라구요. 워낙 DB가 어마무시하게 큰데 자동화 청킹이 안되는, 오히려 외곡시킬수 있는 DB라서 매우 긴시간 수기로로 청킹에 메타데이터 삽입하고 업계엔 최고 실력자가 되긴했는데...