How to improve RAG results in your LLM apps: from basics to advanced
Medium
RAG를 활용한 LLM 퍼포먼스 개선
얼마전에 RAG대신 agent를 활용하는 편이 좋다는 의견의 블로그를 공유드렸는데요, 이번에는 RAG를 잘 활용하면 LLM을 통해 원하는 결과를 얻을 수 있다는 글입니다.
RAG는 LLM의 훈련 데이터에 없는 외부 데이터를 통합하여 LLM의 텍스트 생성 과정에 활용할 수 있게 해주는 기법인데요, . 이는 환각(hallucination)을 줄이고 LLM 응답의 관련성을 높일 수 있습니다.
기본 RAG 절차: RAG는 인덱싱, 검색, 생성의 세 단계로 구성됩니다. 데이터를 준비하고(vector로 변환), 사용자 쿼리에 가장 관련된 텍스트 조각을 검색한 다음, LLM에 의한 응답 생성에 이를 사용합니다.
성능 개선 기법:
전 검색 기법: 인덱싱 단계에서 데이터의 품질을 높이고, 적절한 청크 크기와 중복을 결정하며, 사용자 쿼리를 재작성하여 데이터베이스와 일치시킵니다.
검색 기법: 쿼리 준비 후 검색 결과를 개선하기 위해 다양한 검색 방법과 임베딩 모델을 사용할 수 있습니다.
후 검색 기법: 관련 청크를 검색한 후에는 재순위 지정, 정보 압축 등을 통해 생성 품질을 더욱 향상시킬 수 있습니다.
품질과 대기 시간 균형: 더 빠른 모델 사용, 병렬 처리, 캐싱을 통해 대기 시간을 줄이면서 품질을 유지할 수 있습니다.
자세한 내용은 아래 링크를 참고해주세요!
https://medium.com/design-bootcamp/how-to-improve-rag-results-in-your-llm-apps-from-basics-to-advanced-822818014144
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 2월 12일 오전 8:49
댓글 0
함께 읽은 게시물
실력 향상을 위한 해외 유튜브 채널 10개
취업 준비와 코딩 공부할 때 도움 되는 해외 유튜브 채널 10개를 간략하게 소개합니다.
1. Gaurav Sen: https://www.youtube.com/@gkcs
- 전반적인 개발자 성장(특히 주니어와 시니어), 취업, 코딩 공부 노하우
- 시스템 설계의 기초 개념 설명 영상이 많다. 특정 시스템 설계를 분석하거나 모의 면접하는 영상이 꽤 많지만 개인적으로 설명이 겉도는 느낌이 있다
- 주니어+/중니어+에게 특화된 취업 및 공부 노하우
2. Abdul Bari(컴공 전공, 알고리즘 공부 필수 채널): https:... 더 보기
제가 리드하고 있는 조직(당근마켓 커뮤니티실)에서 백엔드 엔지니어를 채용 중이에요.
커뮤니티실에는 동네 이웃들의 이야기와 정보를 공유하는 동네생활팀, 이웃 간의 취미와 관심사를 연결하는 모임팀, 그리고 아파트 단지 생활을 더 편리하고 즐겁게 만들어 줄 단지팀이 있어요. 지금 내 동네에서 일어나고 있는 일들을 더 쉽게 즐기고 공유할 방법들을 찾는 일이라면 무엇이든 도전하여 실행에 옮겨요. 만드는 사람이 불편할수록 쓰는 사람은 편하다는 믿음으로 도전적인 문제를 풀어나갈 분과 함께하고자 해요.
... 더 보기📝무신사 글로벌 전략, 핵심만 쏙 정리했어요!
물
... 더 보기
