@김밥하나라면하나님 alpaca 7b 로 일단 훈련을 돌려보고 있고, 13b 는 lora 말고는 훈련할 방법이 제 리소스 레벨에서는 불가능할것 같더라구요.. 7b 도 생각보다 성능이 나와서 13b를 기대하고 있는데, 일단 7b를 지금 쌩으로 좀더 훈련을 하고 있고, 내일이나 모레쯤 13b를 lora 기반으로 훈련을 해보려구요
데스티니2
IP 121.♡.5.130
03-19
2023-03-19 13:36:02
·
한글이 되나요? 한글로 학습한 데이타가 없는것으로 알고 있어서 관심이 멀어 졌었는데, 제가 잘못 알고 있었던 건가요? 아니면 번역기를 돌리신 것인가요?
@데스티니2님 gpt2/3 레벨땐 한글로 직접 튜닝하고 그랬었는데, 무의미 하다 싶더라구요.. 영어로 그냥 이제는 튜닝을 하고, 자체적으로 한영 양방향 모델이 있어서, 이걸 동시에 개선하는 방향으로 가고 있습니다. 아래 언급하신 koalpaca 가 결국 polygot 이 성능이 나오는건데 (한글 모델..) 5.8b 인지라.
오라질
IP 112.♡.56.53
03-19
2023-03-19 14:18:37
·
오홋 한글이 되면 집에서 돌려도 되겠는데요
RipperTNT
IP 222.♡.0.215
03-20
2023-03-20 23:45:48
·
@오라질님 stable diffusion 맛입니다;;
와싸다
IP 110.♡.98.240
03-19
2023-03-19 16:20:13
·
장난감으로 좋네요 ㅋ 이거 파인튠 되어서 키우는맛 있으면 더 좋을지도요
RipperTNT
IP 222.♡.0.215
03-20
2023-03-20 23:44:56
·
@와싸다님 이게 약간 탈옥(?)도 되서 stable-diffusion mixed 모델 맛이 납니다;;
llama30B
IP 211.♡.151.212
03-20
2023-03-20 10:42:24
·
alpaca 7b 어떤 모델 사용하신건지 궁금합니다. 공개된 koalpaca는 스샷의 질문들을 했을때 llama 7b와 수준이 다르지 않더라고요.
RipperTNT
IP 222.♡.0.215
03-20
2023-03-20 23:45:31
·
llama 랑 alpaca 가 제가 보기엔 같은 7b 모델도 대답이 많이 다르더라구요.. llama 는 정말 튜닝안된 느낌이고, alpaca 는 일반대화도 얼추 chatgpt처럼 되는 느낌입니다.
필립스탁탁
IP 112.♡.38.217
03-21
2023-03-21 09:05:14
·
학습은 어떻게 할 수있는지 참고할만한 정보를 주시면 매우 감사하겠습니다
관심은 많은 비개발 비전공자다보니 학습 및 파인튜닝에 대해 어떻게 접근해야할지 개념도 잘 안서더라구요 ㅜㅜ
새로운 댓글이 없습니다.
이미지 최대 업로드 용량 15 MB
업로드 가능 확장자 jpg,gif,png,jpeg
지나치게 큰 이미지의 크기는 조정될 수 있습니다.
https://github.com/Beomi/KoAlpaca
누군가 벌써 이런 프로젝트를 시작했군요
공개된 koalpaca는 스샷의 질문들을 했을때 llama 7b와 수준이 다르지 않더라고요.
관심은 많은 비개발 비전공자다보니 학습 및 파인튜닝에 대해 어떻게 접근해야할지 개념도 잘 안서더라구요 ㅜㅜ