(초보자)법률관련 챗봇을 만들어 보려고합니다.

Question

아직 부트캠프에서 공부중인 예비 초보 개발자입니다.

이클립스와 mysql 연동 까지 해놓은상태이고 데이터는 법률 데이터 공동활용 api이용해서 받을생각입니다.

법률데이터를 가지고 챗봇을 만들어보려고합니다. 라마3.1이 오픈소스로 풀렸다고 하던데 이걸 코드로 다운받으면 그냥 사용할수있는것인가요? 아니면 GPT4o-MINI가 저렴하다던데 이걸 이용하는게 저렴할까요? 또 간략하게 ,짧게 나마  자연어, 데이터언어 해석처리 하는 구조가 어떻게 되는지 알려주시면 감사하겠습니다!

문종호 · Answer

안녕하세요.

말씀해주신 질문은 읽어보았습니다.

법률데이터를 가지고 그데이터를 기반으로 동작하는 챗봇을 만든다하면 일단 기본적인 구현방법은

1. 법률데이터 학습
- 라마와 같은 로컬모델로 머신러닝을 통해서 데이터셋 학습
- gpt, 클로드, 클로바 와같은 api를 사용해 파인튜닝

2. VectorDB 를 이용한 벡터화
- 임베딩필수

3. RAG 활용
- 위 정확한 데이터를 프롬프팅에 이용하기위해 정확한 데이터 추출

4. 이후 기능적인 로직

이 필요합니다.

물론 gpt와같은 api로만 이용해서 프롬프팅을 할순있지만 llm측면에선 할루시네이션 즉 환각이 생길 가능성이 높습니다.

어떻게 구현하실진 모르겠지만.. 로컬모델을 쓴다하면 머신러닝이 필요한 장비가 있으셔야할거고 api로 쓴다하면 많은 비용이 드실겁니다.

챗봇이라는게 이전에 응답한 데이터를 가지고있고 그거에 이어서 답변을 해야하기에 이부분을 고려하시면되겠네요.

자세한건 댓글로 남겨주시거나 궁금한게있으시면 카톡남겨주시면 도와드리겠습니다.

화이팅입니다~