ChatGPT의 전두엽(장기기억 저장소)인 VectorDB 알아보기

요즘 ChatGPT나 LLM을 얘기하면서 항상 같이 등장하는 VectorDB에 대한 잘 정리된 내용이 있어 공유해봅니다~상세 내용은 그림과 자세한 설명이 되어 있는 원문을 꼭 참고해주시구요~^^ 🔔 벡터 데이터베이스란? 🚩 벡터 데이터베이스는 방대한 양의 고차원 데이터를 벡터 형태로 최적화 하여 보관하고 쿼리하기 위해 특화된 DB. 벡터DB를 통해서 AI에 시맨틱 정보 검색, 장기 메모리 등의 고급 기능들을 구현 가능 🔔 벡터 데이터베이스의 내부 작동 🚩 원문 그림 참고 🔔 어떻게 작동하는가? 🚩 벡터 데이터베이스는 ANN(Approximate Nearest Neighbor) 검색에 모두 참여하는 서로 다른 알고리즘의 조합 사용. 이러한 알고리즘은 해싱, 양자화 또는 그래프 기반 검색을 통해 검색 최적화 🔔 벡터 인덱스 생성에서 사용하는 알고리즘 🚩 Random Projection 🚩 Product Quantization 🚩 Loclity-sensitive hashing 🚩 Hierarchical Navigable Small World (HSNW) 🔔 유사성 측정 🚩 코사인 유사성 🚩 유클리드 거리 🚩 내적 🔔 메타데이터를 통한 필터링 🚩 Post-filtering: 🚩 Pre-filtering: 🔔 데이터베이스 관련 🚩 원문 그림 참고 🔔 Vector Index 와 Vector DB의 차이점 🚩 원문 참고