🔥LLM "평가" 튜토리얼 업데이트 완료! (총 14개 파일)🔥

가장 많은 요청이 있었던... 평가를 드디어 오늘 업데이트 했다는 소식을 공유 드리게 되어 너무나 기쁩니다 ㅠㅠ 다른 주제 대비 어쩌면 생소한 분야이기도 한 "평가" 를 정말 친절하게, 그리고 깊이있게 다루었습니다. 국내 서적이나 영상 그 어디에 내놓아도 자부할 수 있을만큼 정말 공들였습니다. ⭐️주요내용 - RAGAS 를 활용한 합성 데이터셋 생성 - RAGAS 를 활용한 평가(context precision, recall, faithfullness, relevancy 등) - 평가용 데이터셋 업로드(HuggingFace) - LangSmith 데이터셋 생성 - LLM-as-judge 케이스별(질문-답변, 문맥-답변(cot_qa), criteria(여성비하, 범죄, 일관성 등), labeled_criteria, 점수(scoring) - 임베딩 거리 기반 답변 평가 - Custom LLM 평가 - 휴리스틱 평가(Rouge, BLEU, METEOR, SemScore) - 실험 비교 - Summary 평가 - 할루시네이션(Groundedness) 평가 - 실험 대조(Pairwise) 평가 - 반복 평가 - 온라인 평가를 활용한 평가 자동화 ✅ 튜토리얼 링크: https://wikidocs.net/259208 💻 깃헙 소스코드: https://github.com/teddylee777/langchain-kr/tree/main/16-Evaluations 이번에 작업하면서 정말 "평가"의 재미에 푹 빠졌습니다. 그럼 즐거운 한 주 되세요! 감사합니다. #ragas #rag #evaluation #langsmith