상용 LLM은 비용이 비싸 저처럼 취미 + 업무활용 수준으로 개발을 하기엔 부담이 큽니다.

그래서 구글 제미나이 프로 요금제로 Antigravity(https://antigravity.google/)를 사용하고있습니다.

개발자들의 리뷰를 보면 클로드가 베스트로 보이지만, 개발 이외에 검색, 번역, 문서작성 등 다양한 목적으로 사용하기엔 부족한 점이 많습니다. 개발만 100점인 후임과, 개발은 80점 검색은 100점 번역은 90점.... 이런 후임 중 하나를 골라야 하는 문제이기 때문에 개발자가 아니라면 제미나이나 GPT가 더 적합해 보입니다.

$20달러짜리 요금제는 토큰 제한이 있습니다. 뭔가 만들려고 하다 보면 토큰 제한에 걸려 며칠을 기다려야 합니다. 이 문제를 해결하려면 더 비싼 요금제를 사용해야 하지만 부담이 큽니다. 그래서 로컬 LLM을 사용해 보기로 했습니다. 그런데 로컬 LLM의 개발 실력이 형편 없다면 쓸 이유가 없지요. 궁금했습니다. 로컬 LLM의 개발 실력이 얼마나 좋은지.

저같은 초보에게는 Ollama가 편하고 좋습니다. 그런데 인터넷을 뒤져보니 Ollama와 llama.cpp의 속도 차이가 30%까지 난다고 하네요. 복잡한 요청 하나 하면 1시간 이상 걸리는데 30%면 아주 큰 차이입니다. 그래서 llama.cpp로 갈아타려니 여러가지 문제가 있습니다. 가장 큰 문제는 서버 하나에 모델 하나씩 밖에 올리지 못한다는 것입니다. 2개 이상 모델을 사용하려면 모델을 2개 올려야 하는데 메모리가 하나도 겨우 받아들이니... 이 문제를 해결해 보기로 했습니다. 

1. api로 요청을 하면 모델을 메모리에 올리고 요청을 실행한다.

2. api로 모델을 변경하면 기존 모델을 내리고 새로 요청한 모델을 올린다.

이게 핵심 요구사항입니다. 물론, 이것 보다 더 복잡한 요구사항이 있습니다. 모델 폴더를 지정하면 알아서 불러오고, 메모리 관리도 해야하고...

Antigravity와 Ollama를 연결한 Opencode로 Qewn3-coder-next:q8 모델에게 똑같은 요구사항을 제시하고 앱을 만들도록 시켰습니다. 그 결과는 이렇습니다.

main_a는 Antigravity가 만든 코드입니다. main_o는 Qwen3입니다. Antigravity가 gemini 기반이라 코드의 평가는 ChatGPT에게 요청을 했습니다. GPT의 평가는 Antigravity : 9/10, Qwen3 : 6:10입니다. 무료 모델은 10점 중 6점입니다. 그래도 코드는 제대로 작동을 합니다. 혼자 쓸 코드인데 돈 안내고 토큰 걱정 없이 10점 중 6점이라면... "못 쓸 정도는 아니다" 입니다.

하지만 이정도로 만족이 되지 않아 개선 할 방법을 찾아봤습니다.

Opencode에 Oh-My-Opencode라는 게 있는데 뭔 소리인지 몰라 설치를 안했어요. 그런데 Oh-My-God 수준으로 극찬을 하기에 설치를 해 봤습니다. 오케스트레이션이니 시지프스니 하는게 뭔 소리인지는 모르겠지만, 좋은거 같아 보였어요.

설치를 하고, 로컬 모델을 연결(gemma-3-27b, Qwen-3-coder, Qwen-3.5, gpt-oss, glm4.7)했습니다.

물론 저 모델을 동시에 다 올리지 못합니다. 필요 할 때 올리고, 쓰면 내립니다. 올리고 내리는 시간이 오래 걸리지만, 일 하나 시키고 창을 내려 놓으면 알아서 일을 하는 구조라 느리지만 일을 제대로 합니다.

이번엔 main_o.py "코드의 문제점을 분석하여 개선" 하라고 시켰습니다.

알아서 모델을 바꾼다고 하더니, 그냥 Qwen-3-coder 모델 하나만 쓰네요. 왜 그런지는 모르겠습니다. 코딩 모델은 Qwen3 coder를 사용하고, 코딩을 위한 사전 분석은 다른 모델을 사용합니다. 코딩 결과만 보고 Qwen3만 쓴다고 생각했는데, 지시한 내용을 분석하고, 분석 내용을 바탕으로 계획을 세우고, 코딩을 할 때 각각 다른 모델을 씁니다. 어째든, 코드 개선 하라는 지시를 2번 내렸습니다. 그리고 다시 main_a.py 코드와 비교해 봤습니다.

Oh-My-Opencode는 AI가 자기 일을 제대로 할 때 까지 반복해서 일을 한다네요. 작업 내역을 보면 분석하고 수정하기를 수십번 반복을 했습니다. 그 결과 이런 반전이 생겼습니다. GPT가 가끔 헛소리를 해서 Gemini에게도 물어봤습니다. Gemini도 Opencode 손을 들어 줬습니다.

이정도면 비싼 돈 내지 않고 로컬 모델을 돌릴만해 보입니다.

물론 컴퓨터는 MSI Edgexpert를 쓰고, 큰 모델은 gpt-oss-120b, qwen3.5-122b까지 돌아갑니다. 저 컴퓨터 가격이면 $200짜리 모델을 2년은 쓸 수 있다는....