🧐 LLM 기반 솔루션이 실제 서비스에서 실패하는 이유

[😈데블챌 2기 13일차, RAG(검색증강생성) 기반 솔루션의 한계] 최근 LLM AI들이 놀랄만한 성능을 보여주면서, 많은 기업과 조직에서 LLM을 각자의 서비스와 솔루션에 녹이려는 시도들이 이루어 지고 있습니다. 하지만 LLM의 환각 현상과 답변의 일관성 부족이라는 문제로 도입이 어려웠고, 이에 대한 대응으로 각광받는 기술이 바로 "RAG(검색증강생성)" 기법 입니다. * RAG의개념 먼저 RAG를 간략하게 설명하자면, 특정 데이터 소스를 사용해 대규모 언어 모델(LLM)의 "근거"를 갖추는 데 사용되는 기법입니다. 예를 들어, LLM을 활용한 회사 챗봇이 답변을 생성할 때, 회사 내규 문서나 관련 소스에서 검색하여 생성하도록 설계하는 방식이 있습니다. 검색 및 생성 프로세스의 통합을 통해 RAG 모델은 외부 정보 소스를 기반으로 정확하고 상세하며 상황에 맞는 응답을 제공할 수 있습니다. 그러나 RAG 기반 모델에서 조차도, 몇 가지 문제가 발생하곤 합니다. * 검색 품질 불량 RAG 모델이 근거를 검색할 때 벡터 임베딩, 코사인 유사도 라는 개념이 활용되는데, 일종의 '단어장','사전'에 비유해볼 수 있습니다. 배열이 뒤죽박죽인 사전은 오히려 잘못된 정보를 제공할 것입니다. 즉 모델이 근거 정보를 확보하는 검색 알고리즘의 정확도가 중요합니다. * 청크 이슈 청크(Chunk)란 큰 문서나 정보를 LLM 모델에 입력할 수 있도록 구분한 조각 단위입니다. 문제는 청크의 사이즈에 따라 문맥적인 정보나 세부 정보가 왜곡되어 일관성이 떨어트릴 수 있다는 것 입니다. 또한 청크와 쿼리(사용자 질문)가 같이 LLM 모델에 입력되므로, 때로는 입력 크기가 제한되거나 추론 성능이 감소할 수 있습니다. * 여전한 환각 때로는 RAG 모델이 문서에 근거하지 않는 환각 답변이 여전히 발생합니다. 이러한 가능성은 솔루션 단계에선 치명적인 영향을 줄 수 있습니다. * 개인 정보 보호 및 보안 문제 보통 RAG 솔루션은 대형 LLM 모델의 API를 활용해야 하므로, 개인정보 및 보안 문제에 대한 위협을 받을 수 밖에 없습니다. 어떤 기업도 RAG에 모든 정보를 사용하는 위험을 감수하지는 않을 것 입니다. 아티클에서는 앞서 언급한 내용외에도 RAG 솔루션의 문제점과 해결방안에 대해 다루고 있습니다. LLM은 매력적인 잠재력을 갖고 있음에도, 아직까지 조직 단위의 활용 사례보단 개인적인 경험들이 많이 공유되고 있습니다. 그렇기에 앞으로 "똑똑한 신입을 만들기 위한 메뉴얼(RAG 전략)"이 중요한 조직 경쟁력의 요소가 되지 않을까 싶습니다 : ) https://pub.towardsai.net/why-rag-applications-fail-in-production-a-technical-deep-dive-15cc976af52c