llama7B, llama13B, alpaca, koalpaca 모델(fp16)들에게
5가지의 같은 질문을 영문과 한글로 질문을 해보았습니다.
1. llama-7b (vram 15G, 22~25 tokens/s)
2. llama-13b (vram 17G, 4.5 tokens/s)
alpaca-7b(vram 15G, 20~28 tokens/s)
chavinlo/alpaca-native at main (huggingface.co)
4. koalpaca-7b(vram 15G, 20~28 tokens/s)
beomi/KoAlpaca at main (huggingface.co)
평가:
Alpaca-7B는 한글 질문에 한글로 대답하지 않고 영어로 대답하는 단점이 있었으나 질문에 대해서 모두 적절한 답변을 하였습니다.
뿐만 아니라 답변속도도 빨라 비교된 모델들중 가장 사용하기 좋은 모델인것 같습니다.
KoAlpaca-7B는 한글 질문에 한글로 대답을 잘하지만 llama-7B처럼 틀린 답변을 하는 경우가 있었습니다.
llama-7B는 틀린 답변을 하는 경우가 있으며 한글로 질문했을때 더 자주 틀립니다.
llama-13B는 영어 질문에 대답을 잘하지만 한글질문에 틀린 답변을 합니다.
KoAlpaca는 영문 instruction을 한글 instruction으로 변경해서 훈련했다고 하는데 이 때문인지 튜닝이 alpaco 처럼 잘 되진 않은것 같습니다.
llama에서는 한글로 답변하는데 Alpaca에서는 한글로 답변을 하지 못하는 모습을 보입니다. 이는 영문 instruction으로 추가 훈련을 해서 인것 같습니다.
llama13B는 영어 질문에 대해 alpaca와 비슷한 모습을 보이지만 성능 면에서 떨어집니다.(alpaca 20 tokens/s 이상, llama 13B 4.5 tokens/s)
감사합니다.