🔍 검색 기능은 어떻게 구성되어 있을까? 회사에서 검색 SaaS 를 사용하고 있어 직접 검색엔진을 구현할 기회는 없지만 다양한 검색 기능들을 이해할 필요는 있죠. 이 글은 검색 기능별 역색인(

🔍 검색 기능은 어떻게 구성되어 있을까? 회사에서 검색 SaaS 를 사용하고 있어 직접 검색엔진을 구현할 기회는 없지만 다양한 검색 기능들을 이해할 필요는 있죠. 이 글은 검색 기능별 역색인(inverted index)구조를 어떻게 구성하는지 설명합니다. [용어 정리] 색인(Index): 문서에서 키워드를 찾아보기 쉽도록 정렬/나열된 목록. 역색인(inverted Index): 쿼리를 통해 문서를 찾아내는 방식. 책 뒷면에 있는 키워드에서 문서 페이지를 찾는 방식. 둘의 차이는 단어에서 볼 수 있듯이 방향성입니다. 일반적인 색인(Froward Index)는 docID → 문서를 mapping 하고 역색인은 쿼리(문서내용) → docID을 mapping 하고 있습니다. 따라서 검색할 때 역색인이 아주 유용하게 쓰이겠죠? [요약] 1. Numeric search 주로 범위 검색이 있을 텐데, 특정 숫자를 key로 두면 무한에 가까워질 수 있기 때문에(5, 5.2, 5.9..) bucket 을 지정해 [5,6) 같이 일정 범위 단위로 구성합니다. 2. Phrase search 구문은 단어의 순열로 생각할 수 있는데요. 순서(pos)정보를 저장하여 구문과 가장 가까운 단어 조합을 찾을 수 있습니다. 3. Preprocessing 쿼리에 전처리를 적용하여 성능을 높일 수 있습니다. 구두점이나 쉼표 등은 없앤다던가 'a' 와 'the' 등 을 제거하여 semantic 한 것에 집중할 수도 있습니다(no-op). 한 단어가 여러 형태(과거형, 미래형..)를 가지고 있는 경우도 많기 때문에 이 경우도 하나의 단어로 처리(Stemming)하는 것, 단어의 substring의 수를 지정하여 해당 단어로 처리할지를 고려할 수 있습니다.(n-gram) 4. Fuzzy Search 동의어를 고려한 검색기능 입니다.(hello = hi, bonjour..) 자동으로는 못할 것 같고 사람이 직접 넣어주어야 할 것입니다. 모든 동의어를 한번에 고려하여 구성할 수는 없을 것이고 필요시 마다 넣어주는 것도 가능하겠죠. index size가 늘어나는 것은 어쩔 수 없겠네요. 5. Snippet 단순히 문서 검색말고 쿼리가 문서의 어떤 부분에 있는지 정확히 알고 싶은 경우가 있습니다. 검색 결과를 하이라이트하며 보여주는 경우가 있겠네요. snippet 은 문자별 offset을 추가하여 주변 텍스트의 범위를 빠르게 제공합니다. 6. Per Field Search 문서 내용 전체를 하나의 필드로 구성하여 검색할 수 있지만, 각 필드 별 검색을 제공 해야 하는 경우 독립된 역색인을 구성합니다. 용량과 성능을 고려하여 검색에 사용할 필드만 구성하는 것이 필요합니다. 7. Scoring and Ranking 쿼리에 매칭된 여러 문서 중 사용자에게 가장 적합한 것을 선별하여 맨 앞에 보여 줄 필요가 있습니다. 어떤 것이 적합한 지는 각 유저의 환경에 따라 다르겠죠. 기본적으로 good default ranking 위에 사용자의 검색 경험을 반영하여(user case specific ranking) 결과를 제공합니다. good default ranking 으로는 최신 순, 검색한 시간, 필드별 중요도 등이 있습니다. 8. Faceting 어떤 필드의 scope을 지정한 상태에서 검색을 원할 경우가 있습니다. 대표적인 것으로 부동산 어플에서 여러 조건 내에서 검색하는 경우가 있겠네요.