Introducing Llama 3.1: Our most capable models to date
AI at Meta
Meta, AI의 개방성과 혁신을 결합한 Llama 3.1 405B 공개
Meta는 AI의 개방적 접근성을 강조하며, 최신 Llama 3.1 405B 모델을 공개했습니다. 이 모델은 8개 언어를 지원하고 128K의 컨텍스트 길이를 제공합니다. Meta는 개발자들에게 더 많은 도구와 컴포넌트를 제공하여 맞춤형 에이전트 개발을 지원하고 있습니다. 보안과 안전을 위해 Llama Guard 3와 Prompt Guard도 함께 출시했습니다. AWS, NVIDIA 등 25개 이상의 파트너사들이 첫날부터 서비스를 제공할 예정이며, 미국에서는 WhatsApp과 meta.ai를 통해 Llama 3.1 405B를 체험할 수 있습니다. Llama 3.1 405B의 경우 양자화한 상태에서 Hugging Chat 시스템에서 확인할 수 있습니다.
https://ai.meta.com/blog/meta-llama-3-1/
ICML Best Paper: AI 모델 구조 추출 기법과 그 안전성 과제
이번에 ICML best paper를 소개하겠습니다. 이번 논문은 생성 언어 모델의 임베딩 투영 계층을 추출하는 공격 기법을 소개합니다. OpenAI의 ChatGPT나 Google의 PaLM-2와 같은 블랙박스 생산 모델에서 은닉 차원과 전체 투영 행렬을 복구할 수 있음을 보여줍니다. 저자들은 OpenAI의 ada와 babbage 모델의 투영 행렬을 $20 미만으로 추출하고, gpt-3.5-turbo 모델의 정확한 은닉 차원 크기를 복구했습니다. 이 공격은 로짓 바이어스와 로그 확률에 접근할 수 있는 API를 활용합니다. 저자들은 잠재적 방어 및 완화 방법을 제안하고 향후 연구 방향에 대해 논의합니다. AI Safety관련으로 처음 best paper에 들어간만큼 추후 관련 연구들이 활발할 것을 예상하고 이습니다.
https://arxiv.org/abs/2403.06634
AI 개발자 과정의 압도적인 수준 차이! 입문자에서 전공자까지! 아이펠 9기 모집중 : https://bit.ly/4ePP8iK
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 7월 24일 오전 5:58