최근 자체적인 생성형 AI를 만들기 위한 여러가지 노력들이 있습니다. 특히 검색 증강 생성(Retrieval Augmented Generation, RAG) 모델을 활용하여 외부 소스의 정보를 사전에 지식 데이터베이스로 사용하며 생성형 AI 모델의 정확성과 신뢰성을 향상시키기 위해 다양한 방법으로 실험이 진행 되고 있습니다. Amazon OpenSearch Service는 Vector Database로 많은 호응을 얻고 있으며, 2.9 버전부터 Neural Search 기능이 출시됨에 따라 AI/ML 모델과 통합하여 Semantic 검색 기능을 강화 할 수 있게 되었습니다.

Neural Search 기능은 Embedding Model과 함께 동작하며, 이러한 색인 파이프라인을 구성하는 것은 복잡한 작업입니다. 전통적인 방식에서는 먼저 색인 파이프라인에서 임베딩 모델을 사용해 데이터를 임베딩 처리한 후, 데이터를 색인합니다. 그리고 나서, 백엔드 API 시스템에서는 검색 키워드를 임베딩한 후 Semantic 검색을 수행합니다. 이 과정은 Semantic 검색 기능을 구현하기 위한 방법으로 사용 되었습니다.

아래 블로그에서 OpenSearch 콘솔에서 외부 모델에 대한 AI/ML 커넥터를 구성하여 복잡한 색인 절차와 검색 절차를 단순화 하는 방법을 확인하실 수 있습니다.

https://aws.amazon.com/ko/blogs/tech/conversational-search-on-amazon-opensearch-service/