https://huggingface.co/tiiuae/falcon-180B
살짝 제약이 있기는 한데 공개로 풀렸습니다 3.5가 175B니 살짝 크네요
물론 4비트 양자화로 추론에만 320Gb의 vram이 필요하니 왠간한 중소기업도 못돌리겠지만
그래도 클라우드로 돌려보고 싶기는 하네요
자기들 주장으로는 3.5와 비슷한 성능이라고 합니다
full fine tuning은 5120Gb vram이 필요하다 하니 a100/h100 80Gb모델 64대 필요합니다