Paper page - Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free
huggingface.co
[1017]모두에게 전하는 모두연 AI뉴스!
MoEE: 전문가 라우터와 내부 특징 결합으로 LLM 임베딩 성능 향상
대규모 언어 모델(LLM)은 생성 작업에 탁월하지만, 디코더 전용 아키텍처는 추가적인 표현 미세 조정이 없으면 임베딩 모델로서의 잠재력이 제한됩니다. 이를 해결하기 위해 전문가 혼합(MoE) LLM을 분석한 결과, 미세 조정 없이도 MoE의 라우터 가중치(RW)가 다양한 임베딩 작업에서 유망한 성능을 발휘할 수 있음을 확인했습니다. RW는 LLM의 숨겨진 상태(HS)를 보완하며, 프롬프트 선택과 높은 수준의 의미론에 강점을 보였습니다. RW와 HS를 결합한 MoEE 모델은 이 둘을 따로 사용하는 것보다 더 나은 성능을 보였으며, MTEB 벤치마크에서 추가적인 미세 조정 없이도 임베딩 성능이 크게 개선되었습니다.
https://huggingface.co/papers/2410.10814
ProSA: LLM의 프롬프트 민감도를 측정하고 성능을 높이는 프레임워크
대규모 언어 모델(LLM)은 성능이 프롬프트에 매우 민감하며, 이는 평가와 사용자 만족도에 문제를 야기할 수 있습니다. 이를 해결하기 위해, LLM의 프롬프트 민감도를 평가하는 프레임워크인 ProSA를 소개합니다. ProSA는 새로운 민감도 측정 지표인 PromptSensiScore를 통합하고, 디코딩 신뢰도를 통해 프롬프트 변화의 영향을 분석합니다. 연구 결과, 프롬프트 감도는 데이터 세트와 모델에 따라 변동하며, 특히 복잡한 작업에서 소수의 예시가 민감도를 완화할 수 있습니다. 또한, 모델 신뢰도가 높을수록 프롬프트에 대한 견고성이 증가하는 경향이 관찰되었습니다.
https://huggingface.co/papers/2410.12405
[마감임박!] AI개발자 과정! 입문자에서 전공자까지! AI학교 아이펠 10기 합류 : https://bit.ly/3Y0ZO7Q
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 10월 17일 오전 6:02
댓글 0
함께 읽은 게시물
(번역) Create React App 지원 종료
C
... 더 보기
MCP는 기술적으로는 거의 순수하게 Function Calling의 Thin Wrapper에 불과함.
다만, 현재 대부분의 애플리케이션이 Function Calling을 지원하지 않는 상태라, LLM에 Function Calling을 주입할 수 있는 서버를 쉽게 만들 수 있는 라이브러리를 제공했던 것이 MCP를 확산시키는 데에 크게 기여를 한 것.
GPT-4.5 출시 후 GPT-4o의 성능이 빠르게 좋아지고 있음. GPT-4.5로 GPT-4o를 튜닝하면서 성능을 끌어올리고 있는 것이 아닌가 싶음. GPT-4o 수준의 파인튜닝 속도가 진짜 빠르다는 것이 놀라움. 이것이 OpenAI의 최대 강점일 수도.
포폴 코칭 중 기억남는 대화 [1]
Q) 🙋♀️ 데이터를 활용해 UX를 개선했다는 걸 잘 보여주고 싶어요. 포폴에서 어떤 식으로 서술하면 좋을까요? (예비 디자이너 분)
... 더 보기
