한국어 파인튜닝 LLM 모델 LangServe 로 무료 호스팅

오늘은 최근 yanolja 에서 공개한 EEVE-Korean-Instruct-10.8B-v1.0 한국어 파인튜닝된 LLM 을 활용하는 영상을 업로드하였습니다. 일단, 성능이 너무너무너무 기대이상이었습니다. 커뮤니티에서 칭찬하는데에는 이유가 있더라구요. 1. 이 모델을 허깅페이스에서 다운로드 2. Ollama 얹히기 3. LangServe LLM 호스팅 4. Remote LLM 으로 추론 5. Streamlit 으로 PDF 파일에 대한 RAG 데모 등의 내용을 다룹니다. 관심 있으신 분은 아래 링크에서 보실 수 있으며, 오늘 오후 9:30에 예약 걸어두었습니다. 링크: https://youtu.be/VkcaigvTrug 즐거운 저녁 되세요! 감사합니다.