Private한 한국형 GPT 프로젝트!

> 질문 : 제주2공항의 규모는 얼마나 되나요? > 대답 : 제주 제 2 공항은 현재 공항과 비교했을 때 부지 면적이 약 3배 이상 (약 580만 평방미터)에 달하며, 활주로 1분, 여객터미널 및 화물터미널 등 다양한 시설이 건설될 예정입니다. 또한, 운영 계획에 따라 유동적이지만, 연간 약 2500만 명 (국내선 1000만 명, 국제선 500만 명)의 처리 능력을 가질 것으로 예상됩니다. 참고로, 현재 제주공항은 부지 면적이 약 3배 이상 늘어났으며, 활주로 2개 (각각 800m)가 추가 건설되었습니다. 위와 같이 한국에 관련된 대답을 잘하기도 하고, 정보도 잘 알고 있어요! 이런 프로젝트를 모두 생각만 하고 실제로 만들기 쉽지 않았을 텐데요! Colab으로 직접 실행시켜볼 수도 있으니 확인해 보세요! (이하 프로젝트 소개) 📍 KoPrivateGPT 본 프로젝트는 privateGPT와 localGPT에서 영감을 받아 만들어졌습니다. 해당 프로젝트들은 여러 문서들을 벡터 DB에 저장을 하여, 문서 내용에 대해 LLM과 대화할 수 있는 프로젝트입니다. 오픈소스 Document Q&A라고 보시면 됩니다. 그러나 해당 프로젝트들은 한국에서 활용하기 어려울 정도의 성능을 한국어에서 보여줍니다. 이를 해결하기 위하여 한국어 버전의 KoPrivateGPT 프로젝트를 만들었습니다. 한국어를 이용하여 오프라인에서도 모든 문서들에 대해 LLM에게 질문을 해보세요. 100% 프라이버시가 보장되며, 어떠한 데이터도 외부로 전송되지 않습니다. 인터넷 연결 없이 문서를 불러오고 질문을 해보세요! (더 좋은 성능 확보를 위해 OpenAI의 GPT 모델을 사용할 수도 있습니다. 다만, 이 경우 인터넷 연결이 필요하며 프라이버시가 보장되지 않습니다.) 원래 프로젝트에서 한국에 맞게 변형한 부분은 현재까지 다음과 같습니다. - 한국어 모델 KoAlpaca 적용 - 한국어 모델 KuLLM 적용 (동작하나, 성능이 좋지 않아 KoAlpaca 사용을 추천합니다) - 한국어 임베딩 Korean-Sentence-Embedding 적용 - HWP 파일 문서 호환 추가 (hwp-converter-api 사용) https://github.com/NomaDamas/KoPrivateGPT