Introducing Apple's On-Device and Server Foundation Models
Apple Machine Learning Research
<애플의 온디바이스 및 서버 모델의 모든 것>
커리어리 친수들, 지난 주 wwdc 에서 발표된 애플 인텔리전스의 아티클에 대한 상세한 내용이 이번주에 공개되고 있습니다. 이 기사에서는 개인 정보 보호를 중시하는 방식으로 일상적인 작업을 지원하는 온디바이스 및 서버 기반 기초 모델을 포함한 Apple의 생성형 AI 모델 제품군인 Apple Intelligence를 소개합니다.
또한, AXLearn 프레임워크를 사용한 모델 학습, 어댑터를 통한 특정 작업에 대한 미세 조정, 개인 정보 보호 보존을 위한 노력과 같이 이러한 모델을 개발하기 위한 Apple의 접근 방식을 강조합니다.
💃 Apple Intelligence를 구성하는 두 가지 기본 모델은 무엇이며 각 모델의 특징은 무엇입니까?
답변: Apple Intelligence는 기기 내 언어 모델과 서버 기반 언어 모델, 두 가지 기본 모델로 구성됩니다. 약 30억 개의 매개변수를 가진 기기 내 모델은 iPhone 15 Pro와 같은 기기에서 빠르고 효율적인 성능을 위해 최적화되었습니다. 더 큰 서버 기반 모델은 Private Cloud Compute에서 실행되며 더 높은 기능과 더 많은 계산 리소스가 필요한 작업을 위해 설계되었습니다.
💃 Apple은 AI 모델을 개발할 때 책임감 있는 AI 개발에 어떻게 중점을 둡니까?
답변: Apple은 책임감 있는 AI 개발에 대한 네 가지 주요 원칙을 강조합니다. 첫째, 사용자에게 실질적인 요구를 해결하는 지능형 도구를 제공합니다. 둘째, 전 세계 사용자를 진정성 있게 대표하는 제품을 구축합니다. 셋째, 오용 가능성과 잠재적 피해를 식별하기 위해 설계, 모델 학습, 기능 개발, 품질 평가의 모든 단계에서 예방 조치를 취합니다. 넷째, 기기 내 처리 및 Private Cloud Compute와 같은 인프라를 통해 사용자의 개인 정보를 보호합니다.
💃 Apple은 기본 모델을 훈련하는 데 어떤 유형의 데이터를 사용합니까?
답변: Apple은 라이선스 데이터와 AppleBot이 수집한 공개적으로 사용 가능한 데이터를 사용하여 기본 모델을 학습시킵니다. 라이선스 데이터에는 특정 기능을 향상시키기 위해 선택된 데이터가 포함되며, AppleBot은 웹 게시자가 Apple Intelligence 학습을 위해 자신의 웹 콘텐츠 사용을 거부할 수 있는 옵션을 제공합니다.
💃Apple은 기본 모델의 개인 정보 보호를 어떻게 보장합니까?
답변: Apple은 기본 모델을 학습할 때 사용자의 개인 데이터나 사용자 상호 작용을 사용하지 않습니다. 또한 사회 보장 번호 및 신용 카드 번호와 같이 인터넷에서 공개적으로 사용 가능한 개인 식별 정보를 제거하기 위한 필터를 적용합니다. 또한 학습 코퍼스에 포함되지 않도록 욕설 및 기타 저품질 콘텐츠를 필터링합니다.
💃Apple은 모델 학습 후 성능을 향상시키기 위해 어떤 기술을 사용합니까?
답변: Apple은 모델 학습 후 성능을 향상시키기 위해 두 가지 새로운 알고리즘을 개발했습니다. 첫째, 교사 위원회를 통한 거부 샘플링 미세 조정 알고리즘을 사용합니다. 둘째, 미러 하강 정책 최적화 및 leave-one-out 이점 추정기를 사용하는 인간 피드백으로부터의 강화 학습(RLHF) 알고리즘을 사용합니다.
💃 Apple은 기기 내 추론을 위해 모델을 어떻게 최적화합니까?
답변: Apple은 기기 내 추론을 위해 저비트 팔레트화, 활성화 양자화, 임베딩 양자화와 같은 다양한 기술을 사용합니다. 특히 저비트 팔레트화는 압축되지 않은 모델과 동일한 정확도를 달성하면서 필요한 메모리, 전력 및 성능 요구 사항을 충족하는 데 중요한 역할을 합니다.
💃어댑터는 Apple의 기본 모델에서 어떤 역할을 합니까?
답변: 어댑터는 사전 학습된 기본 모델의 다양한 계층에 연결할 수 있는 작은 신경망 모듈입니다. 요약 또는 이미지 생성과 같은 특정 작업에 맞게 모델을 미세 조정하는 데 사용됩니다.
💃Apple은 어댑터를 사용하여 모델 성능을 어떻게 평가합니까?
답변: Apple은 요약 어댑터를 예로 들어 설명합니다. 이메일 및 알림 요약에 대한 제품 요구 사항은 미묘하지만 중요한 차이가 있으므로 이러한 특정 요구 사항을 충족하도록 팔레트화된 모델 위에 정확도 복구 저순위(LoRA) 어댑터를 미세 조정합니다.
💃Apple은 모델의 안전성과 유해 콘텐츠 생성 방지를 어떻게 평가합니까?
답변: Apple은 다양한 적대적 프롬프트를 사용하여 유해 콘텐츠, 민감한 주제 및 사실성에 대한 모델 성능을 테스트합니다. 인간 평가자가 이러한 평가 세트에서 각 모델의 위반 비율을 측정하며, 숫자가 낮을수록 바람직합니다.
💃Apple은 기본 모델의 기능을 평가하기 위해 어떤 벤치마크를 사용합니까?
답변: Apple은 모델을 평가하기 위해 내부 벤치마크와 공개 벤치마크를 모두 사용합니다. 예를 들어, IFEval(Instruction-Following Eval) 벤치마크를 사용하여 지침 준수 기능을 비슷한 크기의 모델과 비교합니다. 또한 내부 요약 및 작곡 벤치마크에서 모델의 쓰기 능력을 평가합니다.
https://machinelearning.apple.com/research/introducing-apple-foundation-models
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 6월 17일 오전 1:15
댓글 3
사용자가 화면에 입력하는 데이터나 메일이나 iMessage 에 저장된 데이터를 분석하려면 서버 어딘가에는 해당 데이터가 저장되는거 아닌가요? 구체적으로 어떻게 저장하지 않는지에 대한 이야기가 없네요.
@WONNIE 메일은 개인 데이타라 분석하지 않을 것으로 생각합니다. 댓글이 한동안 안 보여서 지금 달아요!! 애플 인텔리전스는 기존의 나와 있는 llm 을 지원합니다.
함께 읽은 게시물
📝무신사 글로벌 전략, 핵심만 쏙 정리했어요!
물
... 더 보기
워케이션 문화가 없는 조직에서 워케이션 시도하기
저
... 더 보기제가 리드하고 있는 조직(당근마켓 커뮤니티실)에서 백엔드 엔지니어를 채용 중이에요.
커뮤니티실에는 동네 이웃들의 이야기와 정보를 공유하는 동네생활팀, 이웃 간의 취미와 관심사를 연결하는 모임팀, 그리고 아파트 단지 생활을 더 편리하고 즐겁게 만들어 줄 단지팀이 있어요. 지금 내 동네에서 일어나고 있는 일들을 더 쉽게 즐기고 공유할 방법들을 찾는 일이라면 무엇이든 도전하여 실행에 옮겨요. 만드는 사람이 불편할수록 쓰는 사람은 편하다는 믿음으로 도전적인 문제를 풀어나갈 분과 함께하고자 해요.
... 더 보기혹시 Cursor 채팅만 사용하시나요? Agent 쓰는 방법!
Cursor와 함께라면, 더이상 에디터는 단순한 입력 도구가 아닌
... 더 보기
