안녕하세요,

한국어 LLM 연구하는 Beomi입니다.

이전에 쓴 3개 글을 통해서(출시 글은 홍보성 게시글이라고 삭제되었더라구요..ㅡㅜ) 많은 분들께 온라인 AI 스팸 차단기능이 들어간 앱을 소개해드렸는데요.

아무래도 애플유저들(저를 포함한)이 개인정보를 보다 소중히 여긴다는 점을 공감하고 있기 때문에,

휴대폰 내에서만 동작하는 온디바이스 AI에 대한 요청이 많았습니다.

Apple은 생각보다 온디바이스 AI에 진심인 회사인데요. 2017년도부터 "Core ML"이라는 이름으로 머신러닝 Accelerate를 할 수 있는 프레임워크를 제공해왔습니다.

온디바이스에서 동작하는 AI의 경우는 사실 모바일 칩셋의 성능도 성능이지만 배터리 문제가 큰 편인데요.

단순히 CPU 혹은 GPU 가속을 Metal API를 통해 사용하는것과는 다른 방식을 사용합니다.

Metal API의 경우는 Graphics 즉 아이폰 칩셋 내의 GPU에 Low-level로 접속해서 최고의 성능을 이끌어내는 것을 목표로 하는데요.

실제 최근 앱스토어에 간간히 올라오는 온디바이스 Stable Diffusion(그림그리는 앱) 혹은 최근의 언어모델 7B급의 모델을 구겨넣는 경우는 배터리를 엄청 사용한다 하더라도 일단 '돌아간다'에 의의를 두고 있기 때문에 보통의 경우 상시 동작하는 AI를 가정하지 않습니다.

또한, 사용자에게 최대한의 성능을 제공해줘야하니 당연히 발열도 엄청나구요.

위 스크린샷에서 "모델을 Core ML로 변환"이라는 부분이 있는데요.

딥러닝 개발/연구 할 때 가장 많이 쓰는 프레임워크가 PyTorch라는 프레임워크입니다.

하지만 해당 코드는 파이썬으로 작성되어있고, 그 뒷단에는 C++로 구성된 CUDA기반의 커널들이 존재합니다.

따라서 해당 코드를 곧바로 아이폰에서 사용하는건 굉장히 까다로운 것도 있지만 배터리 등 모바일 기기의 효율성 측면을 고려하지 않는다는 문제가 있습니다.

이때 애플은 ONNX에 기반한 CoreML 자체 프레임워크를 내세워서 '이거 쓰면 우리가 알아서 기기 상태에 따라 전기량이나 성능이나 그런거 조절해줄게'라고 하는 접근법을 사용합니다.

근데 문제는 이렇게 해서 접근 난도가 꽤나 높았다는 거구요(...)

그러던 중에 자연어처리 연구 분야가 Hugging Face 하나로 천하통일이 됩니다.

그리고 나서는 Exporters( https://github.com/huggingface/exporters )라는 형태로, Hugging Face Transformers라는 라이브러리에 기반한 모델 중 일부 모델을 Core ML로 손쉽게 변환해주는 킷이 나오게 됩니다.

사실 이 Exporters 이전에도 Core ML Tools( https://apple.github.io/coremltools/docs-guides/ ) 라는 Apple의 공식 변환 툴이 있었지만, 모델의 아키텍처를 하나하나 만들어줘야한다는 치명적인 단점이 있었습니다. -> 그래서 아무도 안썼어요...

아무튼 exporters를 사용하면 아래와 같은 명령어 한 줄로 (물론 지원하는 모델 한정) PyTorch/Transformers 모델을 Core ML 모델로 변환할 수 있습니다. (진짜, 짱 편해졌어요.)

그러면 이 Core ML로 변환하면 무엇이 나오냐 하면...

아래와 같이 `.mlpackage` 파일이 탄생합니다.

Apple은 Core ML 배포를 구버전의 mlmodel 이라는 방법과 신규 버전의 mlpackage라는 두 방식을 사용하는데요.

현재로는 대부분 mlpackage를 사용하길 권장하지만, 일부 모델의 경우 mlmodel로 컨버팅해야만 정상 동작하는 경우가 있습니다.

저는 현재 제가 직접 Pretrain한 BERT 모델을 기반으로 분류기를 만들고 있기 때문에 mlpackage를 통해 컨버팅해서 사용하고 있습니다.

이렇게 학습한 모델을 Core ML의 mlpackage로 변환해 XCode에 넣어주면 아래와 같이 ML Program으로 인식하고, 앱 개발 Swift 코드에서 불러와 사용할 수 있습니다.

이렇게 모델을 가져오면 성능 테스트도 해볼 수 있는데요.

간단히 제가 쓰는 iPhone 15 Pro 기준에서 ALL, 즉 CPU + GPU + Neural Engine 모드와 CPU Only모드를 비교해보면...

모두를 사용할 경우 일부 연산은 GPU, 그리고 나머지는 NE에서 이루어지는 것을 볼 수 있습니다.

예측 한번에 겨우 1ms 내로 처리되고, 로딩 시간을 포함해도 겨우 34ms 이내로 이뤄지는 것을 볼 수 있죠!(엄청 빠르죠?)

한편 CPU만 사용하는 경우는 한 2배~3배 정도로 느려집니다. 합쳐서 약 ~100ms로 이뤄지는데, 사실 이것도 여전히 충분히 빠른 속도라고 생각해요.

이렇게 모델이 정상적으로 동작하는걸 테스트하고나면...

앱에 태워야겠죠!

그리고 해당 AI 모델을 앱 내부에 탑재했구요!

그래서 아래와 같이 온라인 AI모드, 그리고 온디바이스 AI모드가 추가되었습니다 :)

앱스토어에 단순 스샷이 올라가있었는데, 이번에 조금 꾸며봤습니다. 괜찮아보이나요? ;)

가장 똑똑한 AI 모드인 온라인 AI 모드,

그리고 내 휴대폰 안에서만 동작하는 온디바이스 AI 모드가 추가되었습니다! (짝짝짝)

다만 대부분의 사용자들의 경우 온라인 AI를 사용하는게 좀 더 좋은 성능을 보여주며 동시에 새로운 기출변형 유형에도 실시간으로 대응이 가능하기 때문에,

정말 꼭 필요하신 분들(회사 업무 장비라거나 등등..)를 위한 서비스라고 생각해주세요 :)

모쪼록 많은 분들이 좋은 반응 보여주고 계셔서 기쁜 마음입니다.

아마 다음 업데이트는 사용자 문자 리포트 기능(스팸문자 리포트)가 들어갈 것 같아요.

써주시는 모든 분들 감사합니다!

여러분의 후기 하나하나가 개발 동기가 됩니다 :)