🚌 Vector DB 버스 타실래요? Milvus! | (아재 개그스러운 제목에 대해 먼저 사죄드립니다. 🙇🏻♂️)
Vector DB 란 scalar 데이터가 아닌 vector embedding 을 저장/인덱스/쿼리를 하는 DB 를 말합니다.
embedding model 를 통해 특정 dimension 으로 벡터화 된 값을 관련 메타데이터와 함께 하나의 엔티티로 저장하게 되는데요,
속도와 정확성간의 trade-off 를 위해 인덱스 생성 후 Approximate Nearest Neighbor (ANN) 검색을 하는 형태로 동작합니다.
최근 RAG 와 관련된 프로젝트를 진행하면서 Milvus 라는 Vector DB 를 사용하게 되었는데요,
저희가 Milvus 를 사용하게 된 이유는 다음과 같습니다.
* ANN benchmark(https://ann-benchmarks.com/index.html) 에서 milvus 는 성능상 상위 랭커이다.
* 커뮤니티가 활성화되어 있다.
* sdk 가 잘 되어 있다. (python, Go, Java, etc)
* langchain-community 패키지에 통합이 잘되어 있다.(langchain 은 LLM 기반 어플리케이션 구현을 지원해주는 Framework 입니다.)
* k8s 환경에서 scale out, scale up, fail over 이 가능하다.
* on-disk index 를 포함해서 다양한 index 를 지원한다. (DiskANN 을 최초로 지원)
* 지속적으로 release 되면서 유지 보수되고 있다.
* 오픈소스이다. 공짜다.
* admin tool 인 attu 가 공식적으로 오픈소스로 제공되고 있어 milvus manage 가 쉽다.
현재까지 프로젝트 진행하면서 특별한 말썽(?)을 일으키지 않고 준수한 성능을 보여주어 매우 만족하고 있습니다.
혹시나 Vector DB 를 고민하고 계신 분들이 있다면 Milvus 도 한번 검토해보시면 좋을것 같습니다.
📚 함께 보면 좋은 글
* Milvus Document: https://milvus.io/docs/v2.3.x
* Devocean Milvus Quick Start: https://devocean.sk.com/blog/techBoardDetail.do?ID=165368
좋아요 6 • 저장 9
