저희 회사 팔란티어와 협업 한다고 공식적으로 발표가 되었죠.
수만명 직원의 회사입니다.
우리 작업반 10명중 아무 관심 없습니다. 팔란티어가 뭔지도 모릅니다.
저도 자세한 것은 모릅니다. 팔란티어가 회사 내에 직원들을 파견하고 ai를 설치를 하겠죠.
그 ai는 엔트로픽의 서비스라 생각하고 있고 공장을 디지털 트원을 하는 것인지 무엇을 할 건지 모릅니다.
저도 크게 관심 없습니다.
엔트로픽의 매출과 수익은 거의 대부분 엔터프라이즈 고객으로 부터 나옵니다.
저희 회사가 일부이고 향후 모든 기업들은 ai를 회사내 설치하게 됩니다. 당연히 그리고 분명하게...
일반인들은 ai가 생활과 피부에 전혀 느낄 수 없지만 이미 ai가 지배하고 있다는 사실은 분명합니다.
여기서 토큰에 대해서 설명부터 해야 하지만 생략합니다. 모르면 편하게 데이터량이라 보시면 될 것 같습니다.
회사가 ai를 사용하는데 뭔가 효과를 보면 볼 수록 더 많이 사용하겠죠.
사용량은 점진적으로 우상향 할 것으로 당연 생각합니다. 회사의 모든 영역에서 ai가 사용 될 것입니다.
직원을 줄이면 줄일 수록 ai 사용량 증가와 함께 토큰은 비례해서 증가 합니다.
사람이 할 일을 ai가 대신 하게 되니 사람 하나 하나가 토큰이란 결론을 쉽게 도출 할 수 있습니다.
곧 내가 하는 일이 토큰이죠.
ai가 더 많은 일을 하게 될 것이 분명하고 토큰은 비례해서 증가합니다.
이제 무릅을 탁 쳐야 될 시간입니다.
사람 = 토큰
일 = 토큰
모든것 = 토큰
그리고 결론
토큰 = 메모리
메모리는 정확히 토큰의 양에 비례합니다.
메모리의 수요는 적당히가 없습니다.
절대적으로 X 100배 부족합니다.
저번에 방한 했던 openAi의 샘 알트먼이 한국에 요구 했던 반도체 웨이퍼의 규모가 정말 미친 수준으로 말했지만 사실은 100분의 1도 안됩니다.
젠슨황이 치킨 먹으로 왔을 때 그는 비로소 깨닫고 온 것이죠.
메모리를 연구하고 개발하는 사람도 작년까지는 정말로 몰랐습니다.
HBM의 아버지라 불리우는 카이스트 교수님도 작년 11월 까지 몰랐다고 하더군요.
ai산업은 메모리의 공급 Q에 달려 있습니다.
빅테크가 설비 투자를 줄인다고 하여도 메모리 수요는 줄지 않습니다.
투자를 반으로 줄이면 메모리를 절반밖에 구매 하지 않는데 무슨 소리 하느냐 하시겠죠.
토큰이 100이고 메모리가 100이면 균형을 이룹니다.
토큰이 200으로 증가하면 메모리도 200을 맞추어야 합니다.
투자를 줄이든지 말든지 알아서 하겠지만 대신에 ai 사용에 제한을 두게 됩니다.
이런 일이 실제로 발생되어 현재 진행형입니다.
잘 해 왔던 ai서비스에 일부 사용 제한을 갑자기 거는 이유는 메모리의 절대적인 양이 부족해서 고육지책으로 낸 방법입니다.
더 심해지면 ai가 느려지고 서비스는 중단됩니다.
결론은
토큰의 수요를 메모리가 영원히 따라 잡을 수 없습니다.
삼전이나 하닉 주주들은 참고하세요.
투자와 관련해서 그 어떤 것도 없습니다.
진짜 벼라별 상상력이 다 선반영이 되겠네요
지나고 보니 그런 충격은 그때밖에...하나 더 추가하면 코로나 밖에 없었어요.
양적완화로 하이퍼 오는게 너무 상식적이었지만
mmt라고 멋지게 네이밍해서 뭉게고 여기까지 왔죠. 너무 소심할 필요는 없습니다.
인터넷 혁명(it버블)때도 주가가 지금처럼 폭등했었죠 , 그때도 폭락은 없을 거라고들 했었죠
인터넷 혁명은 그야말로 천지개벽한 새로운 문명의 탄생이었으니말이죠
그뒤 인터넷 혁명은 계속되서 집집마다 컴퓨터 다가지고 있죠 그래서 이런글도 쓰고...
근데 그당시 주역들의 기업주가는 열풍이 조금만 꺽이자 바로 폭락해 버렸습니다
기업은 계속발전했지만 , 주가는 계속 오르지는 않죠
지금도 마찬가지라고 봅니다
https://www.clien.net/service/board/park/16358995CLIEN
토큰 사용량과 메모리가 직결되어 있다는 것은 분명하고 2-3개월마다 토큰 사용량이 2배씩 증가 하고 있는 것은 분명한 팩트 입니다. 아마 하이퍼 스케일러들이 투자비 감당이 안되면 사용료를 올려서 소비자에게 떠넘기는 시기가 올것이고 그때쯤되면 어느정도의 선에서 균형이 맞춰지겠죠. 문제는 그 시기가 언제일지 모른다는 것이죠. 개인적으로는 최소 3년 정도는 메모리 호황이 계속 되겠지만 그 이상은 아무도 예상할수 없고 주가는 완전히 또 다른 이야기 입니다. 닷컴버블 때와는 다른 실적 장세라서 쉽게 폭락 하지는.않겠지만 금리나 세계정세등 연관된 것이 너무 많아서 단언할수 없습니다.
수억년 진화의 결과가 뇌이고 현존 인공지능 알고리즘 역시 뇌 모방에 기반을 둔거라면 앞으로 램이 얼마나 모자란지 느낌 오죠.
핵전쟁 할판인데 핵무기 개발을 돈이 없어서 못한다는 소리는 웃기는 소리이죠.
Ai도 마찬가지 입니다.
래리페이지: Ai 경쟁에서 포기하느니 파산하는것이 차라리 낫다.
ㅋㅎㅋㅎ
인류 역사상 가장 큰 변화가 일어난다면 그걸 무기로 남을 노예화하고 계급을 공고히 하려는 님같은 사상부터 없어지는게 순리일 듯 싶습니다. 인류평화를 위해서요
철학시간에 나올법한 질문은 저한테 하지 마시고요.
인류역사상 가장 큰 변화에 부정적인 입장이면 계급이 바뀔수 있는 가능성에 대해 각오를 하라는겁니다.
거꾸로 말하면 긍정적인 입장이어도 적용되는 말이고요.
핵무기는 인류 친화적이어서 개발 된줄 아시나요?
님 개인 철학이랑 세상 돌아가는 논리는 분리해서 세상을 바라보시지요.
아니 애초에 기술 발전과 그에 따른 경제적 여파를 얘기하고 있는데 뭔 자꾸 본인 철학을 들이미시는지.
님 철학은 존중 한다고요. 근데 님 철학이랑 세상 돌아가는거랑은 분리를 해서 보셔요.
답답한 이상주의 정치인 보는거 같아요.
토큰 처리량은 메모리 용량만으로 결정되지 않고, GPU/ASIC 연산 성능, HBM 대역폭, 인터커넥트, 전력, 냉각, 모델 구조, KV-cache 최적화, 배치 처리, 양자화 같은 요소가 함께 결정합니다. 같은 토큰 수를 처리해도 모델 크기, 컨텍스트 길이, 캐싱 방식, 추론 최적화에 따라 필요 메모리는 크게 달라집니다. 사람 = 토큰 = 메모리는 비유이며, 투자 판단 근거가 되면 안 됩니다.
빅테크가 설비투자를 줄여도 메모리 수요는 줄지 않는다도 맞지 않습니다. 실제 구매 수요는 AI를 쓰고 싶다는 욕구가 아니라 데이터센터 투자, 전력 확보, GPU/ASIC 출하량, 패키징 capacity, 고객 수익성에 의해 제약됩니다.
토큰 수요가 200으로 늘어도 자본·전력·칩이 100밖에 못 받쳐주면, 실현되는 메모리 구매는 100입니다.
위엣 분이 적은 전력 문제도 포함입니다.
몇 안 되는 조건으로 설정하고 보면... 이렇게 보실 수도 있겠습니다.
AI기업들도 수익을 내야 하기 때문에,
메모리를 무한정 사용하는 방식으로 갈 가능성은 없다고 생각해야 됩니다.
물론 그럼에도 수요는 많을 것입니다.
두어 달 전에 터보퀀트 설레발로 반도체 주가가 떨어지는 일이 있었지만,
실은 본문에 나온 것처럼 수요는 줄어들 가능성이 거의 없습니다.
당분간은요.
다만 하나의 길만 개척해서 가는 것이 아니라 병행하게 됩니다.
필연적입니다.
즉, 모든 빅테크는 메모리 사용의 효율을 높이기 위한 연구에 아주 큰 공을 들이고 있습니다.
다시 말하지만 효율을 높여도 계속 많이 필요합니다.
예를 들어 보겠습니다. 기록의 저장에 관한 흔한 예이기는 하지만
모르는 분들도 있으니 적어 보자면...
콜드 데이터..즉 자주 사용하지 않는 데이터는 이미 속도가 느린 하드디스크로 옮기게 되어 있습니다.
그리고 사용자가 들여다보고 필요해서 꺼내 쓸 때 별 지연 없이 빠르게 가져다 쓸 수 있게 합니다.
자주 쓰는 정보와 덜 쓰는 정보를 구분해서 아주 스무스하게 오가게 하는 것은 지금도 하고 있고, 앞으로는 더욱 발전할 것입니다.
이 외에 컨텍스트 윈도우에서도 마찬가집니다.
터보퀀트가 주목을 받긴 했지만, KV캐시 관련 개선은 나름 의미가 있고,
차츰 더 발전할 것입니다.
그리고 그 한계를 너무 작게 ... 미리 어림잡아 정해 놓고 볼 필요도 없습니다.
이런 쪽은 한계를 넘는 아키텍쳐를 개발하는 천재들이 종종 .. 특히 돈과 인력이 모여드는 산업에선,
필연적으로 나타나거든요.
생각 보다 메모리를 효율적으로 쓰는 방법론은 앞으로 갈 길도 많고,
높은 수준으로 발전할 것입니다.
그렇다고 메모리 산업이 훅 꺼진다는 얘기는 아니며,
결론은 이렇습니다.
온갖 기술이 AI에서 병행해서 발전할 것이라는 점입니다.
한 방향으로만 가지 않는다는 말입니다.
우리나라는 유전 터진거나 다름 없어요. 사우디 아람코보다 순이익이 높습니다 이제.
오픈ai 파산가능성도 들리고 xai가 심각한 수요부진, 고금리 채권에 시달리고 있다는 얘기도 나오고 조기에 1등기업(독점)이 나올수도 있고 전력인프라가 쫓아가지 못해서 수요량이 예상치에 미달한다던지 여러가지 변수가 있습니다만 장기적으로 본다면 반도체 패권이 메모리로 흐르고 있는 이 상황은 지속되지 않을까 싶습니다.
즉 토큰이 10배가 되면, 메모리 용량은 100배를 필요로 한다는 것입니다.
이것때문에 뭔가 기술혁신이 일어나야 한다는 요구가 더욱 커져가고 있습니다.
모델크기, 자기참조 연산 등등에 따라 디테일하게는 다르지만, 아무튼 대략적으로는 제곱에 비례하는 것으로 업계에서는 받아 들이고 있습니다.
참고로 여러가지 우회기술들이 제시되고 있는데, 얼마전 구글에서 제시한 양자화 압축 알고리즘 등이 이런 문제를 해결하기 위한 기술로 알고 있습니다. 제곱함수에 비례하는 건 정말 파탄을 발생시킬 수 있기에, 데이터 손실이 발생하더라도 이를 감내하는 기술이 양자화 압축 기술인 것으로 압니다.
GPU와 HBM 메모리 사이에 S-ram을 둬서 임시 공간을 만든다던가, 등등등 수많은 기술들로 지금 이런 문제점을 해결하려고 노력하는 것으로 압니다.
그밖에도 여러가지 기술들이 지금 이 순간에도 끊임없이 적용되고 있겠지만, 이론상 순수한 수학적 알고리즘 상으로는 제곱함수에 비례한다는게 첫단추입니다. 여기서 시작해서 각종 기술들로 우회를 하는거죠.