· 톺아보기

삼성, 갤S24에 초거대AI 어떻게 넣었나…'4비트 압축이 기술력'

요트맨 ·

조회 44,136 · 공감 15 · 댓글 45

김영집 삼성전자 MX사업부 언어AI팀장 부사장
18일 미국서 기자 간담회 열고 AI기술력 소개
갤S24 온디바이스AI...경량화·정확도 둘 다 잡아
온디바이스AI도 지속적으로 업그레이드
사용 패턴 학습한 맞춤 AI 개발도 추진 

...

온디바이스AI 구현의 핵심은 경량화와 정확도 두 마리 토끼를 모두 잡는 것이다. 김 부사장은 “클라우드 상에서 설계·구현·학습한 강력한 성능의 AI 모델이 스마트폰 속 신경망처리장치(NPU)에서 작동하도록 압축하고 또 압축하는 과정이 필요하다”고 했다. 이어 “작은 메모리에서 동작하도록 파라미터 크기를 줄이는 ‘양자화’ 과정을 거쳐야 한다”며 “가우스 클라우드 버전은 파라미터 저장을 위해 (완전정밀도 타입인) 32비트를 사용하는데, 온디바이스 버전은 이를 4비트까지 낮췄다”고 설명했다. 양자화는 모델 크기를 위해 많이 쓰이는 기법이지만 보통 8비트로 변경하는 경우가 많다. 파라미터를 4비트로 낮추면서 정확도를 유지한 건 삼성전자의 AI 기술력을 단편적으로 보여준다고 할 수 있다.

실제 외부에서 예상하고 있는 것 이상으로 삼성전자가 AI 개발에 투입한 시간과 인력이 상당하다는 게 김 부사장의 설명이다. 그는 “삼성전자는 작년 챗GPT 열풍이 불기 훨씬 전부터 자체 LLM 개발을 시작했고 기업 비밀이라 밝히기 어렵지만, 한국과 해외 여러 지역에 상상 이상으로 많은 AI 인력이 있다”고 강조했다.

삼성전자는 온디바이스AI에 대한 업그레이드를 주기적으로 진행해 기능을 고도화할 계획이다. 김 부사장은 “온디바이스AI라고 한 번 출시 후 정체되는 게 아니다”며 “운영체제(OS) 업데이트와 별개로 모델 자체를 주기적으로 업데이트해 최신 기능을 사용할 수 있게 지원할 것”이라고 했다. 또 “추가 학습한 최신 모델은 크기가 늘어나는 것 아니냐고 우려할 수도 있는데, 학습을 통해 지식이 늘어나도 모델 크기가 커지는 건 아니다”며 “사람이 읽은 책을 머릿속에 지식화해서 가지고 있지 책을 모두 들고 다니진 않는 것과 같은 이치”라고 설명했다.

출처 : https://n.news.naver.com/mnews/article/018/0005658623?sid=105

댓글 45

  1. 애용 ·
    아무래도 온디바이스라 의미있는 부분이라
    계속 다양하게 나오면 좋을거 같네요.
  2. 구름을품은달 · · 공감 1
    양자화 잡음이 커진다는 애기이네요. 한동안 오류가 많이 발생할 수 밖에 없는 구조이군요.
  3. Dozen · · 공감 9
    종합기술원이 이번에 개발한 알고리즘은 ‘양자화 구간 학습기술(QIL, Quantization Interval Learning)’을 바탕으로, 전체 데이터 중 의미 있는 데이터의 범위를 ‘학습’을 거쳐 결정한다. 의미 있는 범위의 데이터만 양자화[2] 함으로써, 매우 적은 표현 비트(예: 4비트 이하)를 사용하더라도 성능 저하를 최소화시킬 수 있다. 종합기술원은 서버에서 32비트로 연산되는 딥러닝 알고리즘을 4비트 이하로 연산해도, 다른 기술 대비 가장 높은 정확도를 얻을 수 있다는 것을 실험으로 증명했다.
    2019-07-02
    https://semiconductor.samsung.com/kr/news-events/tech-blog/samsung-electronics-introduces-a-high-speed-low-power-npu-solution-for-ai-deep-learning/
    2019년에 나온걸 이번에 넣은거 같기도 하네요
  4. 원두콩 · · 공감 3
    '완전히 이해했어!' 같은 느낌이 들지만
    암튼 좋은 방향으로 나가서 다행이라 여깁니다.
  5. Laspus · · 공감 5
    이게 아직은 서드파티 개발자는 구현할 수 없는 상황입니다. 퀄컴쪽 SDK에서는 아직 INT4지원이 공식적으로는 없어서요.
    기존 Gen2 때부터 AP상으로는 INT4연산을 Hexagon DSP에서 지원했고, 삼성은 이미 S23시절부터 이미지 후처리에 사용하고 있었다고 알려져 있습니다.
  6. Blisson · · 공감 2
    잘 했네요. 이미 오래전부터 4비트양자화 기술을 가지고 있었군요.
  7. 향기로운물개 · · 공감 2
    와... 꽤나 오래전부터 준비한 기술이군요 ㄷㄷ..
  8. 킁킁~!! · · 공감 19
    @건기님 가능한 것과 그걸 상품화까지 실현해 내는 것의 차이를 모르시네요. 학계에서 가능해서 가능하다고 그게 아무 이슈 없이 상품화가 가능하지 않습니다. 코피 터지게 노력해야 하고 그게 노하우고 기술력 입니다. NPU에서 4, 8bit 연산은 당연한 거구요. Quantization error 개선을 위해 수많은 엔지니어들이 피 터지게 노력하고 있어요. 어려운 기술이고 잘하기 쉽지 않아서요. 그게 쉽게 보이는 건 연구자들의 결실이고 그게 잘 돌아간 지 얼마 되지 않았습니다. 4bit quantization이 PTQ나 QAT만 적용한다고 바로 성능 나온다면 누구나 하겠죠. 그것도 LLM에서 말이죠. 특히 LLM에서는 Quantization Error가 누적되는 양이 엄청나서 잘 해야 합니다. 그 잘이 너무 어렵구요.
  9. 주미크론50 · · 공감 3
    근데 현재 보여준 기능이라고는 다 구글꺼 가져다 쓰는… 번역같은 온디바이스는 제미니 나노, 생성형 클라우드는 제미니 울트라…사진 보정도 구글 이마젠…
  10. 에피네프린 · · 공감 7
    가오가오님// 기존에 있고 없고를 말하신게 아니라 구글의 구현체를 가져다 쓴다는겁니다
  11. 하마공 ·
    @주미크론50 님 조합을 잘한거 같네요
  12. 주미크론50 · · 공감 22
    @가오가오님 스마트폰 최초가 아니라 갤럭시 내에서만 최초인데 이게 무슨 의미가 있는 건가요? 픽셀 8 실시간 트랜스스크립트+번역, 화면 라이브 번역과 같은 온디바이스 기능이 똑같은 제미니 나노 기반이고, 누구나 쓰는 구글 바드가 제미니 프로, 구글 픽셀 8 생성형 AI 에디터가 이마젠 기반인데요?
    25년까지만 무료고 나중에 가격을 받는다는 것도, 자체 기술이 아니니까 나온 거죠. 타사가 위성통신 제공하는 것 마냥요. 최초도 아니고 변형도 아닙니다.
  13. 도시 · · 공감 3
    "삼성에서 밀고있는 온디바이스(디바이스에서 자체적으로 처리하는)는 거대언어모델과는 애초에 맞지 않습니다(...) 하드웨어로 치면 rtx4090 3개를 달아도 못굴려요
    라마 7b수준이라고 해도 4090도 버겁게 돌리고요"

    라는 덧글에 반박으로 아래와 같이 적었는데...

    "AI 경량화 모델 이미 다들 만들고 있죠. 구글도 이미 3가지로 나눠서 하고 있고요.
    핸드폰 성능 발전사 보면 지금 돌리고 있는 그래픽도 예전에 PC로도 못돌리던 거 였습니다.

    또한 LLaMA 7B 4bit 모델은 저가 그래픽 카드로 돌아가며 속도가 느리지만 갤럭시 노트에 올려서 돌리는 것도 나왔습니다."

    삼성 공식언급되네요.

    https://www.clien.net/service/board/park/18538478CLIEN
  14. DLBIA · · 공감 2
    @도시님 LLaMA 7B 4bit 모델 아이폰에서도 돌아갑니다
  15. 다른남자 · · 공감 5
    얼만큼 쉽게 접근할 수 있느냐가 기술의 성숙도라고 봅니다.
    위에도 잘아시는 분들이 여러 용어와 이전부터 발전해온 양상에 대해서 좋은 말씀도 있지만
    최근 만큼 ai 기술을 가깝게 느낀 적은 없었습니다.
    혹여 구독같은 유료화 서비스가 나온다는 말도 있더군요
    통화시간별 요금제에서, 데이터요금제, 이제는 AI 요금제가 나오는 날이 올 수도 있겠네요
  16. Gomgome ·
    @다른남자님 이미 ai요금제 많이 나오고 있죠...ㅜ
    이래저래 어쩔수 없지만 부디 경쟁이 치열해지길 빕니다
  17. CaTo ·
    @다른남자님 결국 내용을 종합해보면, AI는 많이 쓰이고 있었지만, 쓸만한건 유료여서 내가 안썼는데, 그 유료를 1년 무료로 폰에 끼워서 팔았다. 정도군요
  18. 신살뽀르파보르 · · 공감 1
    정밀도를 낮추면 그만큼 메모리를 적게 써도 되지만 추론시에 정확도가 떨어질 수밖에 없습니다. 다른 보완기술들도 많은데 특별하지도 않은 저 quantization을 핵심인마냥 설명한게 이상하네요.
  19. 킁킁~!! · · 공감 1
    @신살뽀르파보르님 모델 Quantization이 핵심이 아니라구요? LLM에서 quantization 없으면 뭘로 On-Defice AI 하죠? 다른 보완 기술이 뭘까 궁금하네요.
  20. 신살뽀르파보르 ·
    @킁킁~!!님 퀄컴 미디어텍 등등 온디바이스ai기술을 언급하는 기업들도 quantization을 다 똑같이 언급하는 내용입니다. 기술자체가 의미없다는게 아니라요. 작년 공개한 다른 기업들 온디바이스 ai 기술에서 저 quantization은 다 공통적으로 언급하는데 삼성이 해가 지난 이시점에 가우스를 학습과정에서 쓴 다른 기법이나 dsp에 특별한 뭔가가 추가로 설명되어있진 않아서 이상하다고 표현한거구요
  21. 킁킁~!! · · 공감 1
    @신살뽀르파보르님 퀄컴, 미디어텍이 다 Quantization을 언급하지만, 각 사마다 적용하는 알고리즘이 다 다르고, 모델의 특성에 따라 적용해야 하는 알고리즘이 다릅니다. 그게 기술인데, 다 Quantization 하니 별거 아님. 이러면 곤란하죠. 모델 Quantization 알고리즘이 아직도 많이 진화 중 입니다. 특히 LLM에서는 Quantization 없이 구동 자체가 불가능해서 더욱 중요해졌고, LLM에서 어떻게 양자화 할까는 새로운 주제가 됐습니다.
  22. 신살뽀르파보르 ·
    @킁킁~!!님 말씀하신대로 중요한 주제인거 맞는데 표현이 올바르지 못한점은 정정하겠습니다. 제가 아쉬웠던 부분은 온디바이스ai를 하면서 다른업체들에서도 모델 최적화를 다루면서 기술적으로 여러내용들을 언급하는데 삼성은 예를들면 .. 이번에 공개하면서 소문만 무성했던 LLW에 대해서도 언급하지 않고.. 제가 느끼기엔 우리도 다른 업체들이 보는것 마찬가지로 주요하게 보고있다 정도로만 소개하고 끝낸 느낌이라서 그렇습니다.
  23. 하얀종이배 ·
    @신살뽀르파보르님 사실 뭐가 다른지 설명하기 어려워서 대충 넘긴게 아닐까 싶습니다 ㅎㅎ..
  24. VT · · 공감 3
    애플이 뉴럴엔진 강조한게 대충 5년은 넘었을 텐데, 사실 그보다 뒤쳐지는 기술들을 모아다가 온디바이스 AI라고 대단한 것처럼 포장해서 발표하는게 영…
    아이폰은 수년 전부터 사진 분류, 검색, 필터링 등 온디바이스에서 처리하고, 음성인식도 온디바이스에서 처리하기 시작했는데, 갤럭시는 이제 막 시작이죠. 심지어 사진 분류랑 검색은 아직도 구글포토 서버에 올린 사진만 가능하지 않나..
  25. 데리하 · · 공감 6
    @VT님 구글포토 안쓰는데 분류 잘만 됩니다.

    애플 올려치기 너무 하시는거 아닌가요? 그정도는 삼성도 예전부터 됬는데
  26. memberst · · 공감 2
    @VT님 삼성도 기본 갤러리에서 사진 자동 분류하기 시작한지 꽤 되었습니다
  27. 헤에 · · 공감 1
    @고재혁님 머신러닝 분야는 다양하고 애플은 주로 이미지 처리에 집중하고 자연어 처리는 방치해서 그렇겠죠.
  28. 라드카 ·
    @VT님 기승전애플 찬양이네요.
  29. 주사위내기 · · 공감 1
    @VT님 양쪽 다 AI 연산기능을 폰에 넣어온지 3~4년 이상 되었습니다.
    심하게는 안드로이드는 스냅 845부터, 아이폰은 XS부터 활용가능한 본격적인 AI연산 기능이 있었죠
    그간 애플이 홍보해오고 삼성이 조용히 있던걸 이번에 삼성이 온디바이스 AI로 처음으로 홍보를 시작한것 이상도 이하도 아닙니다. 삼성이 아무도 못하던 엄청난걸 들고온 수준도 아니지만(그렇다고 들어간 온디바이스 AI가 허접하다고 생각하지도 않습니다.) 애플 혼자 이분야에서 수년을 앞서나갔다고 할수도 없습니다.

    심지어 아이폰 AI연산속도는 이번에 꽤 크게 따라잡혔습니다. 스냅8젠3 성능이 어떻게 나오는지를 모르다보니 애플 연산속도 보면서 대단하다 대단하다 한게 지난달 까지였는데, 모바일에서 45tops를 들고올줄은 상상도 못했네요....
  30. VT ·
    데리하님// 이번에 온디바이스 AI라고 광고를 그렇게 해놓고, 통화 번역 기능 정도 제외하고 사진 빈공간 채우기 등 AI 기능들은 전부 결국 서버 연결해야 되던데요. 번역 제외하고는 결국 다 네트워크 연결 요구하고 2025년까지만 무료인걸 온디바이스 AI라고 광고하는걸 어떻게 해석해야 할지..
  31. 닉스 ·
    와...모태 문과로서 양자화 잡음같은 용어는 해설을 읽어도 이해도 안되고, 덧글에 도저히 끼어들 틈이 없네요. 클리앙 이과분들 대단해요 존경해요.
  32. 컴구조 ·
    @nixclub님

    원래 값과 근사값의 차이를 의미하는 거에요. 비트수가 많으면 원래값을 더 정확하게 표현하는 거고..

    적으면 덜 정확하겠죠. 신경망이 동작을 하는데.. 적은 비트수로 같은 동작을 하게 만들면 더 좋겠죠.

    사용되는 메모리가 줄어드니까요.

    양자화 잡음 같은 내용은 조금만 공부하고 보면 별 내용도 아닙니다. 다른 분야가 더 어려워보이는 것 뿐이죠. ㅎ

    역사학으로 석사 공부도 해봤는데.. 솔직히 문과가 더 어려울 수도 있죠.
  33. 닉스 ·
    @컴구조님 설명 듣고 마침 제 취미가 오디오다 보니 특히 DAC 관련한 MP3등 디지털음원의 샘플링비트율을 연관해서 생각해보니 고음질과 저음질 음원같은 비슷한 개념인 것 같아서 이해가 되네요.

    고2까지 따분했던 한국사 늘 중간이었다가(그와중에 세계사는 흥미가 있어서인지 잘했음) 고3에 입시 때문에 각성해서 만점도 받아보니 역사는 흐름을 읽는게 중요하다 생각되더군요.
  34. shrek ·
    왠지 빅스비 처음 나왔을때처럼 별 볼일 없을까 하네료
  35. 언주야언니는행복하단다 · · 공감 1
    온디바이스인데, 서브스크립션 얘기는 모든 기능이 다 구독제로 간다는건가요???
    1년짜리 상품권 주고 광고하는거면 같잖은데요;;
  36. 다오니즘 ·
    우리 불쌍한 시리보다는 낫네요 ㅠㅠ 아무것도 할줄모르는 시리…
  37. kobo · · 공감 1
    댓글 이미지
    이론적인 가능성과 실제 제품에 넣어서 구현하는것은 하늘과 땅 차이라고 생각합니다. 그리고 갤럭시같이 판매대수가 몇백만대 넘어가는 대량 양산 제품에 새로운 기술을 넣는 것에 대한 압박감은 장난이 아닐겁니다. 애플의 경우만 보더라도 다이나믹 아일랜드만으로 제품의 혁신을 이루었다고 하는데, 이번 S24의 Ai On device의 성과는 양산품에 첫 적용한 것만으로도 팔로우가 아닌 선제적인 적용이라는 점에서 의미가 크다고 봅니다. 또한 퀄컴칩 SD8G3뿐만 아니라 Exynos 2400에서도 동일하게 적용되는 것 보면, LLM이 계속 새로운 모델이 보완되어서 나오면서, 삼성AP가 Exynos에도 선제 적용이 가능하리라 봅니다. 개발하면서 느끼는 것은 항상 새로운것에 대한 도전은 정말 힘듭니다. 그렇지만 한번 적용한 성공의 경험은 정말 큰 힘이 될것니다. 이번 S24는 exynos2400 성능이 SD8G3와 코어성능이 단일 3%, 멀티5%(긱벤치)정도 대등하게 올라선점과 전성비에 해당하는 스로링,발열에서도 그렇게 문제가 없는 것으로 나타나는 것, 그리고 삼성파운드리 4나노 공정의 완성도면에서 여러가지 증명을 한 새모델인것 같습니다. 향후 ARM core X4가 대대적인 성능 버전업이 예상되고 있어서, 또 한번 커스텀 AP를 쓰는 애플과 차이가 어떻게 될지 ...

    PS> 아래 이미지의 출처인 현재 삼성의 수직계열화가 기술분석은 링크에서 발취

  38. CaTo ·
    @kobo님 근데 위에 내용들의 핵심은 온디바이스 AI는 이미 다른데서 다 적용되고 있었고, 갤럭시에서 최초라는거죠;
    그게 너무 당연해서 온디바이스 AI인줄 올랐던거고,(당장 애플 딥퓨전만 해도 온디바이스AI) 삼성은 그걸로 대대적으로 홍보하는거고요
    결국 이번에 번역같은 것도 구글 기술 끌어다 쓰는건가 보군요
    개인적으로 이번에 주역은 시스템LSI가 2400을 제대로 만들어냈다에 있지 않나 싶습니다
  39. kobo ·
    @CaTo님 애플 딥퓨전은 그냥 영상처리에 대한 하드웨어 입니다. 이런 부분은 원래 TV, DSLR카메라같은 영상 부분에서 이미 하드웨어적으로 발전해오고 있습니다. 초당 60frame, 120frame을 실시간으로 처리하기 위한 영상 처리칩인것입니다. 이부분은 애플이 폰에서 잘한다고 하지만, 이미 삼성도 TV부분에서 만만치않습니다. 대형 micro led, OLED, flexable led등에 영상 처리분야에서 갖추어진 기술력이 상당하다고봅니다. 그리고 폰에 LLM모델을 적용한 것은 이번이 처음인것 같습니다. 그리고 AI분야는 뭐라고 할까? 오픈소스형식으로 발전하고 있는데, 애플의 폐쇄적인 환경과 이에 대한 내부 개발자들의 괴리는 좀 있는것 같습니다. 그리고 GPT4학습에 A100칩(3천만원정도예상) 3만개정도 쓰였고, 구글, 메타등도 다 AI칩구매를 한 상태이나, 애플은 기사에 따르면 AI서버 확충을 위해 23년말 기사에 따르면 6조정도 투자할 예정이라고 합니다.
    아마 24년 발표예정인 AI on Device를 위한 자체 모델을 학습시킨 후, 아이폰에 적용하겠죠. 삼성이 왜 구글을 가져다 쓸 수 밖에 없는지는 학습할 모델을 위해 자체 서버 구축보다 검증된 모델을 가져다 쓰기로 한것 같습니다.
  40. CaTo ·
    @kobo님 하드웨어가 아니라 A프로세서에 있는 NPU를 이용한 멀티샷 합성기법 아닌가요? NPU를 사용해서 돌리는거라 온디바이스 AI 활용이라고 봐야죠. 범용AI만 AI가 아니고, 삼성도 이번에 사진편집등에 AI를 쓴다고 했는데, 그것 역시 이전에도 되던거니까요.
    삼성이 관련 기술이 없다는게 아니라 새롭게 튀어나오거나 삼성만이 하는게 아니라는거죠.
    최초의 AI폰 이러기엔 구글 픽셀이 쓰던것도 있고, 결국 픽셀꺼 가져와서 쓰는건데 자체 데이터도 아닌 결국 요란떤다는거죠
  41. kobo ·
    @CaTo님 딥퓨전이 애플 NPU AI연산을 사용하나 현재 LLM모델과 같은 것은 하지 않는다는 것 같습니다. 이전에 서술한 것과 같이 LLM과 같이 학습된 모델은 애플에서 투자하기로한 AI서버(6조)정도 투자하여 만들어내야 하기 때문이죠. 이또한 애플 폐쇄성에 기인한 거이지만요. 삼성은 카메라 사업 시작할때부터 저런 분야는 원래 보정 또는 AI 보정을 통하여 기존에 캐논, 소니, 니콘 같은 업체들이 다 하고 있는 기술이었습니다.
  42. CaTo ·
    @kobo님 AI를 어디까지 보느냐의 차이일텐데, 좁게 LLM만 보더라도 딱히 삼성만의? 그게 없는게 AI를 주력으로 밀고 나왔다? 얼마나 퍼져나갈지 모르겠지만, 결국 구글 기술이다. 1년 뒤에 유료? 퍼져나가면 악영향이 심하지 않을까 싶습니다. 물론 삼성은 최대한 막을거고요.
  43. 주미크론50 ·
    @kobo님 이미 iOS 17부터 온디바이스 LLM 적용 되었습니다. 최초가 ‘갤럭시‘ 최초겠죠…

    Apple has made a number of improvements to the iPhone and iPad virtual keyboard with iOS 17, which now uses a large language model (LLM) to improve autocorrection and provide inline text predictions.

    iOS 17 includes a state-of-the-art language model for word prediction that will greatly improve autocorrection on the iPhone. Any time you type, on-device machine learning will intelligently correct mistakes with greater accuracy than ever before.

    그리고 카메라 업체들이 언제 이미지 품질 개선에 AI를 썼나요? 딥러닝 기반 피사체 예측 AF가 들어간 지 채 3년이 안 됐고, AI를 활용한 오토 피사체 인식 프레이밍은 채 1년이 안 됐습니다. 그리고 RAW에 그런 장난질 했다가는 역풍 맞는데 대체 무슨… 당장 캐논도 그 흔한 노이즈 리덕션 적용했다고 역풍 맞았는데 무슨 딥퓨전식 화질 개선입니까…
    애초에 멀티프레임 합성 기술은 샷의 일관성이 중요한 전문 카메라 적용하는 게 갈수록 기피되는데요.
    당장 EOS R3만 해도 멀티프레임 HDR 대신 노이즈 있더라도 원샷 HDR 기능을 추가했고, 만성적인 화질 부족으로 멀티프레임 합성 모드 많이 시도하던 마이크로포서드 라인들도 프로세싱 엔진을 통한 SNR 개선으로 넘어갔습니다. AI를 활용하는 캐논 등도 자체 프로그램에서 원 샷 이미지를 RAW 데이터 분석을 통해 개선하는 기능을 제공할 뿐 폰카식 합성 방식을 쓰지 않습니다.
  44. kobo ·
    @주미크론50 님 AI라는게 발전단계부터 딥러닝을 처음부터 생선된게 아닙니다. 이미지 처리에서 유곽추출, 평균값, 감마 보정 이런것들은 기존에 주어진 데이터로부터 인위적으로 카메라업체들의 이미지프로세싱칩으로부터 보정이 이루어지고, 보간이 되어서 이미지가 만들어져 왔습니다. 이런 부분은 초기에 퍼지로직부터 이미 적용되어 왔습니다. 그 후 머신러닝의 다음단계로 수동적인 라벨인 단계를 안 이루어지고 자체 학습할수 있도록 딥러닝단계로 발전되었습니다. 산업계에서 이미지 프로세싱에 AI를 적용하여 제일 처음 적용한 분야가 번호판인식, 문자인식 부분일것입니다. 그리고 제어에서 적용된 부분은 산업군의 PID제어군(인버터,모터제어)일 것입니다. 제가 말한 부분은 초기 AI모델은 이미 카메라나 TV부분의 아날로그에서 디지털로 넘어오면서 인위적으로 추론하고, 결정하여 합성되어 왔다는 것을 말하는것입니다.
    PS> Iphone 위에 On Device AI는 적용되어 있는것을 나타내고 있고, 그렇지만 LLM모델을 소형화하기 위해서는 아직 Apple도 특허정도 내고 있는 것으로 보입니다. 또한 위 본문의 기사는 LLM모델을 삼성이 어떻께 소형화하기 위한 메모리 크기에 관한 것이고, 애플은 저장매체 자체를 압축하여 소형화하는 논문이 나온것 같습니다.

    Apple has marked a significant breakthrough in a world increasingly shaped by artificial intelligence (AI). Their latest research paper, “LLM in a flash: Efficient Large Language Model Inference with Limited Memory,” sheds light on innovative methods to operate powerful language models efficiently on devices with limited memory. This development could fundamentally change how we interact with our smartphones.

    https://medium.datadriveninvestor.com/pocket-sized-revolution-7689eba63650
  45. 천문공 ·
    얼레...양자화는 사실 LLM 관련 커뮤에선 기본적인 건데요.
    요걸 가장 빠르게 배포하는 해외에서 유명한 개발자도 있구요.
    새로운 언어모델이 등장한지 얼마 되지도 않아서 양자화 시켜 배포하는...
    뭔가 새롭고 뭔가 대단한 건 아닌...

    폰에 넣을 정도면 사실 커뮤에서 좋아 하는 덩치 좀 있는 모델을 양자화해서
    컴에서 돌리는 것과 달리
    7B 이하의 모델을 양자화 했나 봅니다.
    특히 4비트는 성능 열화가 좀 있는 편인데, 아무래도 폰 성능 상 4비트로 갈 수 밖에 없었겠죠.
    노트북 사용자도 주로 4비트로 씁니다. 대신 약간 더 큰 모델의 4비트.

    좋은 컴 쓰는 사람은 8비트로 가야 성능 열화가 적은 편이고요.
    절충형으로 5비트도 4비트에 비해 더 낫다고 합니다.

    아무튼 폰에서는 언어모델 돌리기 참 어려운 성능이기 때문에
    7B 일 수도 있지만 그 아래 1.4B 정도 모델을 4비트 양자화 했을지도 모르겠습니다.

새로운소식 최근 글

새로운소식 목록 더 보기