💡 모델 관련

- 온디바이스용 모델은 3B 수준의 작은 파운데이션 모델을 만든 뒤, 여덟가지 주요 작업에 대해 파인튜닝

- 어떤 파인튜닝 레이어를 사용할지 어댑터 모델을 사용해 동적으로 결정

- 파운데이션 모델은 16비트로 학습시킨 후 4비트로 양자화하여 사용. 파인튜닝은 LoRA 튜닝으로 2비트와 4비트 양자화를 혼합함

- Whisper, Stable diffusion, Mistral, Llama, Qwen 등의 모델을 개발자에게 기본 제공하며, 애플 실리콘(온디바이스)에서 학습 및 추론 기능을 쉽게 사용할 수 있도록 제공

- 수십가지의 보편적인 AI 모델을 개발자가 쉽게 사용할 수 있는 ML SDK 제공

💁🏻‍♀️ 서버 관련

- 온디바이스로 어려운 작업은 애플의 자체 클라우드 서버를 사용해서 처리

- 클라우드는 애플 실리콘 기반의 서버를 사용하여 애플이 직접 개발하였으며, 이를 위한 전용 OS도 개발

- 개인 정보 유출을 원천 차단하기 위해 물리적인 스토리지가 아예 없고, 원격 접속도 안됨. 순수하게 모델 추론 기능만 하는 듯

- 디바이스에서 클라우드로 작업을 업로드하고 출력을 받는 모든 과정을 암호화. 애플도 볼 수 없으며 어떤 사용자의 작업이 이루어지는지도 알 수 없음

💁🏻‍♂️ 그 외

- 사용자의 정보를 앱 엔티티로 변환해서 저장하고 RAG를 위해 사용. 개발자가 신경 쓸 필요 없이 개발자의 앱을 Siri와 자동 통합

- Xcode에 코딩 도우미 기능 통합. 이 역시 온디바이스가 기본이며, 필요시에만 애플 서버 사용

AI 스타트업 수십개가 망하고 또 생기는 소리가 들립니다. 🤪