시장에서 가장 인기 있는 벡터 데이터베이스

🍀 벡터 데이터베이스 개념 방대한 양의 고차원 데이터를 벡터 형태로 최적화 하여 보관하고 쿼리하기 위해 특화된 DB로 이미지 비전이나 LLM 등의 분야에서 벡터 임베딩에 대한 수요가 늘면서 많이 언급되고 있다. 일반적인 DB와 달리 쿼리를 벡터로 변환한 뒤 벡터들간의 유사도를 기반으로 검색을 할 수 있다. 이러한 벡터는 특징이나 속성을 수학적으로 표현한 것으로, 텍스트, 이미지, 오디오 등 다양한 데이터를 표현하는 데 사용할 수 있다. 벡터 데이터베이스를 인간의 뇌가 기억을 저장하고 정리하는 방식과 유사한 데이터 저장 및 정리 방식으로 생각할 수 있다. 새로운 것을 배울 때 우리의 뇌는 그 정보를 벡터로 표현한다. 이 벡터 표현은 기억에 저장되어 나중에 해당 정보를 검색하는 데 사용할 수 있다. 🍀 사용 가능한 최고의(?) 벡터 데이터베이스 🍉 Milvus(https://milvus.io/) 고성능 유사도 검색을 위해 설계된 오픈 소스 벡터 데이터베이스입니다. Faiss 라이브러리를 기반으로 하며 대규모 벡터 데이터 세트를 저장하고 검색하는 데 사용할 수 있다. Milvus는 알리바바, 바이두, 텐센트와 같은 회사에서 사용하고 있다. 🍉 Pinecone(https://www.pinecone.io/) 머신 러닝 애플리케이션을 위해 설계된 벡터 데이터베이스입니다. 빠르고 확장 가능하며 다양한 머신 러닝 알고리즘을 지원한다. Pinecone은 고밀도 벡터의 효율적인 유사성 검색을 위한 라이브러리인 Faiss를 기반으로 구축되었습니다. Pinecone은 Google, Microsoft, Uber와 같은 회사에서 사용하고 있다. 🍉 Weaviate(https://weaviate.io/) 연결된 데이터를 저장하고 검색하기 위해 설계된 오픈 소스 벡터 데이터베이스이다. Elasticsearch 검색 엔진을 기반으로 하며 관계에 의해 서로 연결된 데이터를 저장하고 검색하는 데 사용할 수 있다. Weaviate는 잘란도, 이베이와 같은 회사에서 사용하고 있다. 🍉 Chroma(https://www.trychroma.com/) AI 네이티브 오픈소스 임베딩 데이터베이스이다. 임베딩의 대규모 데이터 세트를 저장하고 검색하기 위해 설계되었다. Chroma는 구글, 아마존, 페이스북과 같은 회사에서 사용한다 🍉 Faiss(https://github.com/facebookresearch/faiss) facebook에서 만든 고밀도 벡터의 효율적인 유사도 검색과 클러스터링을 위한 라이브러리이다. 벡터 데이터베이스 자체는 아니지만 벡터 데이터베이스를 구축하는 데 사용할 수 있다. Faiss는 Google, Microsoft, Amazon과 같은 회사에서 사용한다.