🚌 Vector DB 버스 타실래요? Milvus!

(아재 개그스러운 제목에 대해 먼저 사죄드립니다. 🙇🏻‍♂️) Vector DB 란 scalar 데이터가 아닌 vector embedding 을 저장/인덱스/쿼리를 하는 DB 를 말합니다. embedding model 를 통해 특정 dimension 으로 벡터화 된 값을 관련 메타데이터와 함께 하나의 엔티티로 저장하게 되는데요, 속도와 정확성간의 trade-off 를 위해 인덱스 생성 후 Approximate Nearest Neighbor (ANN) 검색을 하는 형태로 동작합니다. 최근 RAG 와 관련된 프로젝트를 진행하면서 Milvus 라는 Vector DB 를 사용하게 되었는데요, 저희가 Milvus 를 사용하게 된 이유는 다음과 같습니다. * ANN benchmark(https://ann-benchmarks.com/index.html) 에서 milvus 는 성능상 상위 랭커이다. * 커뮤니티가 활성화되어 있다. * sdk 가 잘 되어 있다. (python, Go, Java, etc) * langchain-community 패키지에 통합이 잘되어 있다.(langchain 은 LLM 기반 어플리케이션 구현을 지원해주는 Framework 입니다.) * k8s 환경에서 scale out, scale up, fail over 이 가능하다. * on-disk index 를 포함해서 다양한 index 를 지원한다. (DiskANN 을 최초로 지원) * 지속적으로 release 되면서 유지 보수되고 있다. * 오픈소스이다. 공짜다. * admin tool 인 attu 가 공식적으로 오픈소스로 제공되고 있어 milvus manage 가 쉽다. 현재까지 프로젝트 진행하면서 특별한 말썽(?)을 일으키지 않고 준수한 성능을 보여주어 매우 만족하고 있습니다. 혹시나 Vector DB 를 고민하고 계신 분들이 있다면 Milvus 도 한번 검토해보시면 좋을것 같습니다. 📚 함께 보면 좋은 글 * Milvus Document: https://milvus.io/docs/v2.3.x * Devocean Milvus Quick Start: https://devocean.sk.com/blog/techBoardDetail.do?ID=165368