[1017]모두에게 전하는 모두연 AI뉴스!

• MoEE: 전문가 라우터와 내부 특징 결합으로 LLM 임베딩 성능 향상

대규모 언어 모델(LLM)은 생성 작업에 탁월하지만, 디코더 전용 아키텍처는 추가적인 표현 미세 조정이 없으면 임베딩 모델로서의 잠재력이 제한됩니다. 이를 해결하기 위해 전문가 혼합(MoE) LLM을 분석한 결과, 미세 조정 없이도 MoE의 라우터 가중치(RW)가 다양한 임베딩 작업에서 유망한 성능을 발휘할 수 있음을 확인했습니다. RW는 LLM의 숨겨진 상태(HS)를 보완하며, 프롬프트 선택과 높은 수준의 의미론에 강점을 보였습니다. RW와 HS를 결합한 MoEE 모델은 이 둘을 따로 사용하는 것보다 더 나은 성능을 보였으며, MTEB 벤치마크에서 추가적인 미세 조정 없이도 임베딩 성능이 크게 개선되었습니다.

https://huggingface.co/papers/2410.10814

• ProSA: LLM의 프롬프트 민감도를 측정하고 성능을 높이는 프레임워크

대규모 언어 모델(LLM)은 성능이 프롬프트에 매우 민감하며, 이는 평가와 사용자 만족도에 문제를 야기할 수 있습니다. 이를 해결하기 위해, LLM의 프롬프트 민감도를 평가하는 프레임워크인 ProSA를 소개합니다. ProSA는 새로운 민감도 측정 지표인 PromptSensiScore를 통합하고, 디코딩 신뢰도를 통해 프롬프트 변화의 영향을 분석합니다. 연구 결과, 프롬프트 감도는 데이터 세트와 모델에 따라 변동하며, 특히 복잡한 작업에서 소수의 예시가 민감도를 완화할 수 있습니다. 또한, 모델 신뢰도가 높을수록 프롬프트에 대한 견고성이 증가하는 경향이 관찰되었습니다.

https://huggingface.co/papers/2410.12405

[마감임박!] AI개발자 과정! 입문자에서 전공자까지! AI학교 아이펠 10기 합류 : https://bit.ly/3Y0ZO7Q