젬마4로 로컬ai입문하고 5070ti로 쓰다가 집에 굴러다니는 3060 12GB랑 듀얼 구성하면 성능이 얼마나 나올까 궁금해서 해봤습니다
보드에 남는 슬롯이 x1 슬롯뿐이 없어서 m.2 to pcie4.0 x4 컨버터를 이용해 구성했습니다
밑엔 젬미니한테 결과 표로 만들어 달라고 했습니다.
-
CPU: AMD Ryzen 7 7800X3D (8 Threads 할당)
-
RAM: DDR5-5600 32GB
-
GPU 1: NVIDIA GeForce RTX 5070 Ti 16GB (Main)
-
GPU 2: NVIDIA GeForce RTX 3060 12GB (via M.2 to PCIe 4.0 x4)
-
LM Studio 설정: Context 16384, Temp 0.95, Rolling Window, KV Cache Q4, Flash Attention 사용
📊 1. RTX 5070 Ti 16GB 단일 구성
| 모델명 (Gemma 4) | 오프로딩 레이어 | VRAM 사용량 | 메인 RAM 사용량 (물리/커밋) | 생성 속도 (t/s) | 비고 |
| 26B A4B Q4_K_M (공식) | 21 / 30 | 14.5 / 16GB | 27.9 / 31.2GB | 30 ~ 35 | 레이어 일부 RAM 할당 |
| Unsloth 26B A4B IQ4_NL | 30 / 30 | 14.5 / 16GB | 21.8 / 31.2GB (공유 3.0) | 100 ~ 110 | 속도 최고, 단 간헐적 1t/s 드랍 |
| 31B Q4_K_M (공식) | 35 / 60 | 14.5 / 16GB | 25.0 / 31.2GB (커밋 38.3) | 4 ~ 5 | 절반 가까이 RAM 사용으로 느림 |
| 26B A4B (무검열) | 21 / 30 | 14.5 / 16GB | 28.0 / 31.2GB | 29 ~ 37 | 공식 모델과 유사 |
unsloth모델에서 가끔 초당 토큰이 1이하로나오는건 답변에 필요한 데이터가 메인램에 올라가있는 경우 메인램을 참고해야해서 공식모델보다 극단적인 토큰수 하락이 있는걸로 보입니다, 이경우 모델 재로딩 하거나 답변중지후 다른걸로 잠깐 다른 이야기하다 똑같은 질문할경우 그동안 레이어 재배치라도 하는지 토큰수가 정상으로 돌아옵니다.
📊 2. RTX 5070 Ti 16GB + 3060 12GB 듀얼 구성
| 모델명 (Gemma 4) | 오프로딩 레이어 | VRAM 사용 (5070Ti/3060) | 메인 RAM 사용량 (물리/커밋) | 생성 속도 (t/s) | 비고 |
| 26B A4B Q4_K_M (공식) | 30 / 30 | 13.8 / 6.1GB | 27.9 / 31.2GB (커밋 34.3) | 78 ~ 87 | 단일 대비 속도 2배 이상 상승 |
| Unsloth 26B A4B IQ4_NL | 30 / 30 | 13.8 / 3.9GB | 21.8 / 31.2GB (커밋 33.0) | 75 ~ 77 | 피크 속도는 낮으나 안정성 확보 |
| 31B Q4_K_M (공식) | 60 / 60 | 13.4 / 9.3GB | 25.0 / 31.2GB (커밋 38.3) | 18 ~ 22 | 실사용 가능한 수준으로 대폭 상승 |
| 26B A4B (무검열) | 30 / 30 | 13.8 / 6.1GB | 24.0 / 31.2GB (커밋 35.4) | 80 ~ 90 | 듀얼 구성 시 안정적인 고속 출력 |
듀얼구성시엔 31b 모델도 두 그래픽카드 v램에 모델이 통채로 올릴수 있는걸로 보이며, unsloth 모델은 5070ti 단일로 쓸때보단 5070ti에 올라가는 레이어수가 살짝 적은데 이때문에 초당 토큰수가 덜나오는건가 싶습니다, 대신 토큰수가 1이하로 나오는 현상은 없습니다
대신 31b모델 사용시 메인램 먹는게 엄청나네요
메인램 30.7/31.2GB, 커밋됨 52.4/53.2GB 까지 올라가는거보고 다른 모델 테스트했습니다
이런데도 18토큰은 나와주네요
컨버터 사기전에 제미니, ai관련 커뮤, gpt한테 물어보니 의견이 갈렸엇는데
제미니는 무조건 이득, 커뮤에선 3060의 성능을 따라가기때문에 높은 확률로 성능하락, gpt는 경우에따라 성능 상승, 하락 이라고 하더라구요 근데 궁금한건 해봐야 하기때문에 한건데 일반적은 용도로는 성능향상은 확실하네요
컨버터를 사용하지않고 보드에 그래픽카드 2개 장착할수있다면 토큰생성이 더 잘나올거라 추측됩니다
그리고 대부분의 연산은 5070ti가 하며 3060은 gpu르도율이 0%로 유지됩니다 대신 v램이 열심히 일하는지 길게 추론하면 3060온도가 75도까지 올라가네요 아이들시 온도가 38도인데
반면 5070ti온도는 55도정도쯤까지만 올라가고
근데 이렇게 실사용할 생각은 없고 오로지 궁금증을 해결하기위한 테스트 목적이었기에 다시 전부 원래대로 분리할 예정입니다
이제 m.2 to pcie 컨버터 팔아야지
이건 듀얼 시스템 구성 꼬라지임 ㅋㅋ
밑에가 3060인데 바닥하고 띄워놨고 바닥면 자체가 구멍 숭숭뚫린 철판이라 공기순환자체는 문제 없을거라 봅니다
컨버터 제게 팔면 딱인데 멀리 나와 있어서 아쉽네요.
좋은 하루 되세요
K43SH-BK 5.0, 20cm
로 주문했네요. 길이가 많이 고민 되었습니다.. 속도 스펙도 워낙 다양하네요. 선이 길면 안좋대서 설치 가능하면서도 짧은 길이가 어떻게 되는지 생각 많이 했네요. 제법 어려웠습니다
근데 보드에 남는 m.2슬롯이 pcie4.0이면 오버스펙이에요 그거 감안하셔야합니다
제가산거보다 가격이 두배나 비싸거든요
완죤 오버스펙 맞구요...
반도체 미친시대라 요컴 오래 끌어안고 쓸 요량으로 튼튼한놈 샀습니다. 속도도 속도고 케이블도 좀 두끕어서 안정성과 강도도 개선되었다네요.
그리 말하면 낚여줘야죠... 파닭파닭... ^^a
정말 찾기 오지게 힘들더군요. 제작업체 홈페이지까지 타고 들어가서 찾아냈어요... 버전도 엄청 많더군요...
그래서 다른거 찾다가 조금 가격은 싸면서 쓸만할걸로 샀네요
그런걸 찾아내셨군요.
진짜 찾아내는것도 능력인 시대입니다.
요즘 진짜 필요한건 어딘가 있긴 한 시대같아요.
잼마4가 돌다가 화면이죽어요 그래서 가상메모리 설정해서 사용중인데요
느려요 느려 ㅜㅠ
일전에 적은 VRAM 사용해서 거대 로컬LLM사용 가능 논문을 보고 와 이거다 해서 찾아보는데요 애플에서만 돌아가는거내요 전 윈도우쪽이라 ㅜㅠ
곳 나오겠죠 24G VRAM에서도 거대 LLM돌리는 순간이....
3070ti(16GB)에 1070(8GB)를 더하면 효과가 있으려나요?
그리고 메인보드 두번째 PCI-e(4x) 슬롯이 있으면 M.4 4.0 컨버터보다는 빠를까요?
신기해서 질문드려 봅니다.
그래서 3070에 1070을 더하는건 효과가 있을지는 저도모르겠어요
그리고 당연히 보드에 달린 정식 pcie x4슬롯이 m.2 슬롯보단 낫지않을까 생각은 하는데 x4 슬롯 옆이 터져있지않으면 그냥은 그래픽카드 못 꽂을겁니다 슬롯 옆을 갈아내서 터트린다음 그래픽카드 꽂거나 컨버터 사야할거에요
저는 comfyui에서 3060의 vram을 donor로 사용하려던 시도였는데, comfyui에서 multigpu는 쉽지 않네요. 5070ti의 vram을 먼저 쓰고, 부족한 것을 3060에서 끌어다 써주면 좋겠는데 그건 잘 안되는 것 같습니다. (제가 서툴러서 그런것인지도 모르겠습니다. 다만 해외의 다른 포럼들도 다들 말리는 분위기)
LLM은 말씀하신 것과 비슷한 성능이 나옵니다. gemma가 그나마 한국말을 잘 하네요. 5070ti에 26B Q4올리고, 3060에 TTS따위를 올려서 한 2주 정도 만져봤는데, 개발자도 아니고 하다보니 그냥 비싼 장난감이네요. 역시 클량머신을 벗어나기가 이렇게 힘듭니다.
아...맥스튜디오 M4 울트라 512Gb가 엄청 땡깁니다.
기존 5070Ti-> CPU으로 한 번만 모델중간의 결과(aka. activation)를 옮겨주면 되는 상황에서, (NVIDIA의 일반 사용자용 GPU는 NvLink나 GPU Direct 기능을 지원하지 않기 때문에) RTX5070Ti -> CPU -> RTX3060 -> CPU 두번의 메모리 카피가 더 발생하나.... 입력이 많은 경우 파이프라이닝이 잘 되어 오버헤드를 충분히 줄일 수 있었나봅니다.