[0723]모두에게 전하는 모두연 AI뉴스!

• Meta, AI의 개방성과 혁신을 결합한 Llama 3.1 405B 공개

Meta는 AI의 개방적 접근성을 강조하며, 최신 Llama 3.1 405B 모델을 공개했습니다. 이 모델은 8개 언어를 지원하고 128K의 컨텍스트 길이를 제공합니다. Meta는 개발자들에게 더 많은 도구와 컴포넌트를 제공하여 맞춤형 에이전트 개발을 지원하고 있습니다. 보안과 안전을 위해 Llama Guard 3와 Prompt Guard도 함께 출시했습니다. AWS, NVIDIA 등 25개 이상의 파트너사들이 첫날부터 서비스를 제공할 예정이며, 미국에서는 WhatsApp과 meta.ai를 통해 Llama 3.1 405B를 체험할 수 있습니다. Llama 3.1 405B의 경우 양자화한 상태에서 Hugging Chat 시스템에서 확인할 수 있습니다.

https://ai.meta.com/blog/meta-llama-3-1/

• ICML Best Paper: AI 모델 구조 추출 기법과 그 안전성 과제

이번에 ICML best paper를 소개하겠습니다. 이번 논문은 생성 언어 모델의 임베딩 투영 계층을 추출하는 공격 기법을 소개합니다. OpenAI의 ChatGPT나 Google의 PaLM-2와 같은 블랙박스 생산 모델에서 은닉 차원과 전체 투영 행렬을 복구할 수 있음을 보여줍니다. 저자들은 OpenAI의 ada와 babbage 모델의 투영 행렬을 $20 미만으로 추출하고, gpt-3.5-turbo 모델의 정확한 은닉 차원 크기를 복구했습니다. 이 공격은 로짓 바이어스와 로그 확률에 접근할 수 있는 API를 활용합니다. 저자들은 잠재적 방어 및 완화 방법을 제안하고 향후 연구 방향에 대해 논의합니다. AI Safety관련으로 처음 best paper에 들어간만큼 추후 관련 연구들이 활발할 것을 예상하고 이습니다.

https://arxiv.org/abs/2403.06634

AI 개발자 과정의 압도적인 수준 차이! 입문자에서 전공자까지! 아이펠 9기 모집중 : https://bit.ly/4ePP8iK