Text Embedding Models

LLM 뿐만아니라 요즘은 Text Embedding 쪽도 기술 발전이 빠르고, 경쟁이 치열한데요. Embedding 모델도 여러가지 모델들이 존재합니다. LLM leaderboard와 같이 [MTEB leaderboard](https://huggingface.co/spaces/mteb/leaderboard)를 통해서 오픈소스 embedding 모델들의 현재 점수들을 확인할 수 있습니다. 하지만 많은 회사들이 Long-context 지원(8k input), 사용 편리성, 속도와 품질 등을 고려해서 open ai에서 만든 text-embedding-ada-002 모델을 많이 사용하고 있는데요. (text-embedding-ada-002 내용 참고: https://openai.com/blog/new-and-improved-embedding-model) 최근 Jina AI에서도 8K context input을 지원하는 모델을 오픈소스로 공개했습니다. 자세한 설명은 아래의 링크를 참고해주세요. 참고 - https://jina.ai/news/jina-ai-launches-worlds-first-open-source-8k-text-embedding-rivaling-openai/?utm_source=pytorchkr 또한 Cohere에서는 MTEB leaderboard 등의 SOTA 모델로 Embed v3을 공개했으며, multilingual도 지원하고 있습니다. 실제로 국내 스타트업들에서도 cohere 의 multilingual 모델을 많이 사용하고 있는 것 같습니다. 자세한 설명은 아래의 링크를 참고해주세요. 참고 - https://txt.cohere.com/introducing-embed-v3/?utm_source=pytorchkr