유안타증권 AI Agent 프로젝트: 실전 LLM 서비스 개발(고생)기

이제 LLM을 사용하는 서비스들에 대한 이야기들이 점점 나오고 있네요.

제가 있는 조직에서도 LLM을 사용해서 애플리케이션을 만들고 있습니다.

LLM특성상 할루시네이션 문제가 꼭 생기기 마련입니다.

이것을 해결하기 위해 RAG, vector db등을 사용하는데...

사실 이렇게 한다고 다 해결되지 않는게 문제라서 '고생기' 라는 표현을 쓰신 것 같습니다.

그리고 유료서비스라면 어느정도 서비스에 LLM을 사용할 수 있는 명분이 생깁니다만,

무료 서비스라면 LLM사용시 토큰당 비용을 반드시 계산 해야만합니다.

안그러면 비용이 어마어마하게 증가하기 때문입니다.

본문의 내용에도 나옵니다만, 캡을 반드시 설정해두어서 과금 폭탄을 맞지 않도록 해야해요...

(이건 AWS같은 클라우드 서비스를 사용할때와 같군요..)

바라기는 LLM서비스들의 성능이 빨리 올라와서 더 많은 곳에 유용한 LLM서비스들이 생겨나길 바랍니다.

https://medium.com/crowdworks-tech/%EC%9C%A0%EC%95%88%ED%83%80%EC%A6%9D%EA%B6%8C-ai-agent-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EC%8B%A4%EC%A0%84-llm-%EC%84%9C%EB%B9%84%EC%8A%A4-%EA%B0%9C%EB%B0%9C-%EA%B3%A0%EC%83%9D-%EA%B8%B0-3b874a457aaa