HuggingFace 임베딩

최근 업데이트된 'langchain-hugginface' 를 활용하여 오픈되어 있는 HuggingFace Embedding 모델을 Inference API 방식과 Local 에서 임베딩 하는 튜토리얼을 추가/업데이트 하였습니다.

링크: https://wikidocs.net/233817

한국어 성능이 뛰어난 모델로 알려진 (multilingual-e5 계열, BGE-m3) 을 주로 다뤘습니다.

• BGE-M3 에서 FlagEmbedding 이라는 패키지로 임베딩 할 수 있는데요. 내장 기능은 기존의 임베딩 외에도 추가 기능을 제공합니다.

• Dense Vector (기존 임베딩)

• lexical weights 를 활용한 Sparse Vector

• ColBERT 스코어를 제공합니다.

자세한 내용은 최신 튜토리얼에서 확인하실 수 있습니다.

#langchain #huggingface #embeddings #rag