요즘 로컬 LLM에 손대고 있는데요.
조회 2,576 · 공감 0 · 댓글 12
레딧의 글카 추천 요청글에 이런 댓글이 달린 걸 봤습니다.
'이미 라데온을 가지고 있다면 그걸 어떻게든 AI에 활용해 보고자 하는 걸 말리진 않겠으나, 로컬 AI에 쓰려고 라데온을 사는 건 바보 짓이다'
한 2주 동안 갖고 놀면서 느낀 바가 있는데, 저 말이 딱 맞더라고요.
집에 데스크탑 두 대에 각각 9060XT, 3060이 달려 있거든요.
비슷하게 세팅해서 쓰려고 해도 CUDA가 지원되냐 안되냐에 따라 세팅 난이도도 다르고, 안정성/속도 모두 게임에서는 상대가 안되는 3060이 체감상 더 낫습니다.
그래서 5070ti 정도면 꽤 할 만 하지 않을까 싶다가도 가격 보니 이 돈이면 그냥 맥미니 32GB가 더 좋은 장난감이 아닐까 싶고...
암튼, 처음 컴퓨터 배우던(우리 세대는 그게 곧 프로그래밍이었죠) 때의 기분으로 돌아간 느낌의 2주였습니다.
한동안 몰두할 취미를 찾은 건가 싶습니다.
댓글 12
가정에서 굳이 쓸필요가 있을까요?
그리고, 생산성을 위한 것이 아니라 장난감으로 가지고 노는 용도에 월정액을 쓰면서 까지는 하고 싶지 않은 사람들도 많을 것 같습니다.
테스트 용도로 물어보는 건 사회적 이슈나 기술적 이슈 같은 개인 관심사를 물어봅니다.
자동차 이야기도 하고요.
업무적으로는 어떻게 활용해 볼지가 고민입니다만, 일전에 올라온 어느 치과의사 분의 로컬 AI 구축/활용 후기가 힌트가 되어서 궁리 중입니다. 그 궁리 역시 재미있고요.
이정도 하드웨어로 LLM 로컬은 아직 아닙니다 ㅋㅋㅋ
지금 날고긴다는 로컬모델 꾸깃꾸깃해서 양자화 모델로 돌려봤자
양자화 모델인 관계로 환각이 너무 심하고
환각 억제 목적으로 웹검색을 반드시 참조하도록 강제한다고 하더라도
그 자체로 답변시간이 너무 늘어나고 그럼에도 미친 환각을 제어할수가 없습니다.
맥에 램을 많이 넣어서 돌리면 또 너무 느립니다.
이제 5090 단종 이후의 RTX 그래픽카드 향방이 정해질테니
얼마나 램이 늘어나는지 보고 천천히 구입하셔도 됩니다.
언젠가는 로컬모델로 오퍼스5 정도의 답변 퀄리티가 분명히 나올겁니다.
근데 아직은 아닙니다. 벤치상으로만 가능하고 양자화 모델로는 불가능합니다.
맥이나 스파크로 램만 늘리면 너무 느립니다. 조금만 참아보시길 권해드립니다.