[1010]모두에게 전하는 모두연 AI뉴스!

• Diff Transformer: 중요한 문맥에 집중해 긴 문맥 이해와 환각 완화 성능 개선

차등 주의력 메커니즘(Diff Transformer)은 관련 없는 문맥에 대한 주의를 줄이고, 중요한 컨텍스트에 대한 주의력을 증폭시키는 새로운 방법입니다. 이 메커니즘은 두 개의 소프트맥스 주의도를 비교하여 노이즈를 제거하고 희소 주의 패턴을 강화합니다. 실험 결과, Diff Transformer는 언어 모델링에서 기존 트랜스포머보다 뛰어난 성능을 보였으며, 특히 장문맥 모델링, 핵심 정보 검색, 환각 완화, 인컨텍스트 학습 등의 실제 애플리케이션에서 유의미한 성능 향상을 제공했습니다. 이를 통해 Diff Transformer는 질문 답변과 텍스트 요약에서 환각을 줄이고, 더욱 견고한 학습을 가능하게 합니다.

https://huggingface.co/papers/2410.05258

• PVIT: 개인화된 대화를 위한 시각적 명령어 튜닝 프레임워크로 MLLM의 성능 향상

최근 다중 모드 대규모 언어 모델(MLLM)은 발전을 이루었지만, 특정 개인을 인식하지 못하는 '안면 실명' 문제로 개인화된 대화에 어려움을 겪습니다. 이러한 한계는 맞춤형 시각 비서나 가정용 로봇 등 개인화된 환경에서 MLLM의 활용을 제한합니다. 이를 해결하기 위해, 개인화된 시각적 명령어 튜닝(PVIT)이라는 새로운 데이터 큐레이션 및 훈련 프레임워크가 제안되었습니다. PVIT은 개인화된 대화를 위한 학습 데이터를 자율적으로 생성하는 파이프라인을 구축하여, MLLM이 특정 개인을 인식하고 개인화된 대화를 가능하게 합니다. 실험 결과, 이 프레임워크를 적용한 모델은 P-Bench 벤치마크에서 개인화된 성능이 크게 향상된 것으로 나타났습니다.

https://huggingface.co/papers/2410.07113

AI학교 아이펠에서 최신 AI연구를 완성해보세요! https://bit.ly/3Y0ZO7Q
AI엔지니어 선배팅 : https://forms.gle/d35G1TMSvdFPXFSdA