점프 투 파이썬
위키독스
최근 업데이트된 'langchain-hugginface' 를 활용하여 오픈되어 있는 HuggingFace Embedding 모델을 Inference API 방식과 Local 에서 임베딩 하는 튜토리얼을 추가/업데이트 하였습니다.
링크: https://wikidocs.net/233817
한국어 성능이 뛰어난 모델로 알려진 (multilingual-e5 계열, BGE-m3) 을 주로 다뤘습니다.
• BGE-M3 에서 FlagEmbedding 이라는 패키지로 임베딩 할 수 있는데요. 내장 기능은 기존의 임베딩 외에도 추가 기능을 제공합니다.
• Dense Vector (기존 임베딩)
• lexical weights 를 활용한 Sparse Vector
• ColBERT 스코어를 제공합니다.
자세한 내용은 최신 튜토리얼에서 확인하실 수 있습니다.
#langchain #huggingface #embeddings #rag
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 7월 19일 오후 7:11