웨이트를 반도체에 새겨서 15,000toks 나오는 솔루션을 보니 굉장하더군요. 웨이트 자체가 반도체에 올라가 있다면 어차피 송수신 데이터는 활성화 팩터 수준이니까 데이터 대역폭 병목은 문제가 되지 않을테니 더 큰 모델을 만들어서 30~50개의 칩간 송수신이라 쳐도 10,000toks 이상은 나오지 않을까 싶더군요. AI모델이 충분히 성숙해져서 모델체인지 간격이 넓어지면 웨이트를 새기는 방식이 엄청 뜰 것 같습니다. 이게 LLM의 ASIC이니..
새로운 댓글이 없습니다.
이미지 최대 업로드 용량 15 MB
업로드 가능 확장자 jpg,gif,png,jpeg,webp
지나치게 큰 이미지의 크기는 조정될 수 있습니다.
웨이트 자체가 반도체에 올라가 있다면 어차피 송수신 데이터는 활성화 팩터 수준이니까 데이터 대역폭 병목은 문제가 되지 않을테니
더 큰 모델을 만들어서 30~50개의 칩간 송수신이라 쳐도 10,000toks 이상은 나오지 않을까 싶더군요.
AI모델이 충분히 성숙해져서 모델체인지 간격이 넓어지면 웨이트를 새기는 방식이 엄청 뜰 것 같습니다.
이게 LLM의 ASIC이니..