Haystack 을 이용한 간단한 LLM 기반 챗봇 앱


메모를 입력하면 입력한 데이터 기반으로 대답을 해주는 챗봇을 

만들어 보았습니다.


예를 들어 아래의 스샷 처럼 내용을 입력하면,

내용을 기반으로 대답을 해줍니다.


이런것도 저장을 해볼까요.


저장하고 난 후 챗봇 대화창에 다음처럼 입력을 하면,

대답을 해줍니다.


ai 기반이며, 다음과 같은 LLM 모델을 사용하였습니다.

Multilanguage 모델입니다.


deepset/xlm-roberta-large-squad2 · Hugging Face


기본적인 Flow 는 로그인을 하면 Mongodb 에 저장이 되고,

VectorDB 에 넣고 VectorDB 에서 뽑아낸 Context 조각을 LLM 에 던지면

구문 분석을 통해, 대답을 하는 구조 입니다.


기존 ChatGPT 시리즈와는 조금 다른건

  • 생성을 하지 않는다. (가짜 데이터가 없습니다.)

  • 다른 사용자와의 학습데이터가 섞이지 않는다.

  • 그로 인래 나만의 데이터를 기반으로 하는 개인화된 비서 앱이 됩니다.


Creating a Hybrid Retrieval Pipeline | Haystack

Langchain 보다는, 개인적으로 낫다고 생각하는 Haystack 를 사용했습니다.

사용 예제는 아래에 colab 로 제공 되고 있어서 쉽게 활용 가능합니다.

Creating a Hybrid Retrieval Pipeline | Haystack (deepset.ai)


GitHub - deepset-ai/haystack: :mag: LLM orchestration framework to build customizable…



마지막으로 앱은 아래의 주소에서 다운이 가능합니다.


https://apps.apple.com/us/app/chatbout-ai/id6469441705


한번 공유 해보았습니다.

읽어주셔서 감사합니다.


나만의 개인비서 ChatBout.ai 앱을 만들어 봤습니다.

Medium

나만의 개인비서 ChatBout.ai 앱을 만들어 봤습니다.

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 12월 10일 오후 12:01

 • 

조회 339

댓글 0