가중치를 수정해 성능을 올린다는 AI 뉴스를 보고

아스트라가 큐웬 0.8B의 가중치를 수정해 성능을 대폭 끌어 올렸다는 주장을 하는 이가 나타나

관련 내용을 읽어 보고... AI가 아직 갈 길이 많이 남았다는 생각을 해보게 됩니다.

현재 많이 부족해서 갈 길이 멀다는 뜻이 아니라 지금도 좋지만 더 많이 얼마나 좋아질 것인가를 보는 것으로,

지금 AI에 돈이 몰리는 만큼의 인재들이 무수히 뛰어들어 새로운 실험을 하고 있고,

결국 이들 중에 누군가는 하나 둘 AI시대에 무언가를 세상에 내놓게 되는데,

이는 마치 전쟁의 시대에 난세가 영웅을 만든다는 이야기와 유사한 느낌입니다.

즉, 난세에는 시대의 요구가 평화와 안정이라면,

현대와 같이 물질 주의가 팽배한 시대엔 돈이 되는 곳에서 무언가를 성취하는 인재들이 난립하고,

그 가운데 혁신이 나타나는 것 같습니다.

엔트로픽의 경우 자체 개발 소스의 90%를 AI가 작성하게 되었다고 합니다.

이전부터 점차 늘어나는 과정을 속속 알리더니, 90%를 넘겼다는 것인데요.

이제 AI가 가중치까지 직접 읽고 이해하고 수정할 정도가 되었다는 주장이 사실이라면,

아직도 개선과 발전의 여지가 크게 남아 있다는 생각을 해보게 합니다.

그렇다고 물리적 한계를 극복할 정도는 되지 못합니다. 

현재 LLM 구조에서는 말이죠. 

그렇다면 트랜스포머와 결이 완전히 다른 혁신 적인 무언가를 들고 나올 사람도 있을 것 같습니다.

현재도 후보가 있지만 미리 짐작할 수 없는 것은 이런 후보들도 사실 그 아이디어는 대부분 이미 아주 오래전부터 있던 것들이지, 완전히 새로운 것은 아니기 때문입니다.

아무튼, 가중치 수정이 가능하다면... AI 발전이 다시 한 번 퀀텀 점프 할 수도 있을 것 같습니다.

갈 길을 대폭 단축해 주는 것이죠.

특히 작은 사이즈의 LLM 이나 VLM의 경우 이 용량 대비 성능이 무척 중요한 스윗스팟이 있습니다.

휴대 기기 및 로봇 등에 실리려면 너무 크면 연산 자원이 많이 들어가니까요.

0.8에서 시작해서 9B 정도만 이러한 방법으로 개선한다면... 지금 30B 정도의 성능이 9B에서 나올 순간이

가까운 시일 내에 나와 줄 가능성도 기대해 볼 수 있을 것 같습니다.