OpenAI가 올 해 말 자체 칩을 테스트한다네요.
조회 2,027 · 공감 0 · 댓글 16
브로드컴과 함께 개발한 700와트를 먹는 칩이 엔비디아 GB300을 레이턴시와 전성비에서 앞섰다고 하네요.
절대 성능을 이기면 엔비디아 직원들이 루팡 짓을 했다는 뜻이니 전성비를 강조한다는건 엔트리 모델 서비스에 테스트한다는거겠죠.
모두의공원 최근 글
- 중력요
- 오늘 아주대병원에 경기남부경찰청장 직무대행 등이 방문하는 군요 [1]
- 임대를 더 짓기만 한다고 민주당 표가 늘까요? [19]
- 센텀롯데백화점이 신세계에 인수되었네요. [11]
- 이번주 부동산 가격 동향.jpg [5]
- 우리나라 공공임대 제도 문제점은 [5]
- 웨이모 근황 (by 구글 실적) [5]
- 임대주택이 싫은 이유 딱하나 아닌가요? [34]
- 임대주택은 필요하지만 위치는 교통이 불편한곳이어야합니다 [15]
- 압수수색 영장 발부된 거랑 집행 과정의 적절성이라는 별개입니다 [8]
- 축구 대표팀 11월 A매치 라인업 [20]
- 주로 쓰는 생성형AI에 이 프롬프트 한번 쳐보세요... [43]
- 소아과 이슈 쿨 돌때마다 댓글로 쓰는 인생 최고의 선택 [29]
- 아주대병원 사태는 경찰도 경찰이지만 [22]
- 대통령님 또 SNS 관련 발언. [19]
- [오늘자 베이킹] 우리 통밀 40% 사워도우.jpg [12]
- 1995년에는 이게 성폭력이 아니였었나봐요. [6]
- 임대지어봤자 아무소용 없습니다 [44]
- 생명의 위협을 느끼는 위급상황일 때, 공공의료원 갈건가요? [10]
- 임대주택 환장하는 이유가 뭐 별 거 있습니까? [25]
- 실제 다주택자(아파트)는 얼마나 될까요? [24]
댓글 16
램값은 더 올라갈 수 있습니다. 램이 필요한 칩 제조사가 더 늘어나는거니깐요.
칩이 싸지는만큼 많이 만들테니까요.
범용인 엔비디아 대비 추론칩이 그 정도는 해줘야 하죠. 기대 보다 높아서 좋은 평가일 뿐.
그리고 제품이 실제 생산 되어 활용 될 시점에는 이미 엔비디아는 조금 더 가 있는 것이고요.
다만, 시작을 잘 했으니 그 다음도 좋게 기대해 볼 수 있고, 차기에는 개발-생산-적용이 보다 원활하겠죠.
이미 차세대 칩은 설계에 들어갔다고 하던데 실제 서비스에 적용했을때가 중요하겠네요.
전용칩으로 범용칩을 이기는 사례는 매우 많지요.
이런 전용칩은 그러면 텐서 연산에 특화된 TPU보다 더 범용성을 포기하고 연산에만 집중한 칩이라고 봐야하는건가요?
다됨 - CPU
제어력 떨어짐 병렬연산에 좋음 - GPU
그중에서도 행렬연산 위주 - TPU
그중에서도 LLM 위주 - LPU
그중에서도 SRAM 내장으로 제한된 용량 안에서 대역폭 향상 - 세레브라스 WSE (모델 용량 확장이 어려움 (불가능은X))
아예 모델 웨이트를 회로에 박아버림 - 탈라스 칩 (정확히 해당 모델과 동일한 동작만 가능)
아래로 갈수록 유연성이 떨어지고 추론성능은 올라갑니다.
Openai 칩은 lpu 계열일 가능성이 높지 않을까 싶습니다. 사실 엔비디아도 groq (일론머스크의 grok와 다릅니다.) 을 사실상 인수해서 LPU를 시스템체계에 포함하긴 했습니다.