Qdrant가 전통적인 검색 알고리즘에 BM25에 어텐션(트랜스포머)을 끼얹은 BM42를 발표했습니다.

BM42는 BM25의 IDF(역문서빈도) 개념을 유지하면서, 트랜스포머의 어텐션 가중치를 이용해 언어 모델의 의미 검색 개념을 결합하여 검색 결과의 의미론적 관련성을 크게 향상 시킬 수 있다고 합니다.

특히 짧은 문서에서도 높은 검색 성능을 유지하고, 기존의 SPLADE 같은 방법에 비해서 간편하면서도 계산 자원과 메모리를 크게 줄일 수 있다고 하네요.

기존의 IDF 방식은 의미론적 검색이 어렵거나 시스템이 복잡하고, 벡터 서치는 작은 규모에서는 간편하게 사용할 수 있어서 좋긴 한데, 규모가 커지면 성능이 떨어져서 하이브리드 검색이나 리랭킹등을 해야해서 결국 복잡해지는데요. BM42가 기존의 문제들을 많이 해결해 줄 수 있을지 기대가 됩니다.

물론, 모두가 원하는..은총알이 되진 않겠지만요. 😅

https://qdrant.tech/articles/bm42/