유안타증권 AI Agent 프로젝트: 실전 LLM 서비스 개발(고생)기
Medium
유안타증권 AI Agent 프로젝트: 실전 LLM 서비스 개발(고생)기
이제 LLM을 사용하는 서비스들에 대한 이야기들이 점점 나오고 있네요.
제가 있는 조직에서도 LLM을 사용해서 애플리케이션을 만들고 있습니다.
LLM특성상 할루시네이션 문제가 꼭 생기기 마련입니다.
이것을 해결하기 위해 RAG, vector db등을 사용하는데...
사실 이렇게 한다고 다 해결되지 않는게 문제라서 '고생기' 라는 표현을 쓰신 것 같습니다.
그리고 유료서비스라면 어느정도 서비스에 LLM을 사용할 수 있는 명분이 생깁니다만,
무료 서비스라면 LLM사용시 토큰당 비용을 반드시 계산 해야만합니다.
안그러면 비용이 어마어마하게 증가하기 때문입니다.
본문의 내용에도 나옵니다만, 캡을 반드시 설정해두어서 과금 폭탄을 맞지 않도록 해야해요...
(이건 AWS같은 클라우드 서비스를 사용할때와 같군요..)
바라기는 LLM서비스들의 성능이 빨리 올라와서 더 많은 곳에 유용한 LLM서비스들이 생겨나길 바랍니다.
https://medium.com/crowdworks-tech/%EC%9C%A0%EC%95%88%ED%83%80%EC%A6%9D%EA%B6%8C-ai-agent-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EC%8B%A4%EC%A0%84-llm-%EC%84%9C%EB%B9%84%EC%8A%A4-%EA%B0%9C%EB%B0%9C-%EA%B3%A0%EC%83%9D-%EA%B8%B0-3b874a457aaa
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 2월 28일 오전 1:34
댓글 0
함께 읽은 게시물
2019년 저서 <생산성 마스터가 되는 비법(How to be a Productivity Ninja)>으로 인기를 얻은 그레이엄 올콧은 투자은행을 대상으로 연설을 했는데 “친절함이 모든 것의 원동력이 된다. 당신이 친절하면 이긴다. 그게 전부”라고 말했다. 대부분의 청중은 이에 동의했지만, 일부는 매우 강하게 반대했다.
... 더 보기AI로 인해 영어는 이제 진짜 말하기만이 답 입니다. 그리고 말만 할 줄 알면 기회가 정말 크게 넓어질거구요.
이제는 모두가 체감하고 있듯이 앞으로 영어로 읽기 쓰기는 큰 의미가 없어지겠지만, 말하기는 더욱 중요해질 것이거든요.
가장 훌륭한 경비절감 방법은 ‘몰입’이다. 가장 훌륭한 생산성 향상 방법도 ‘몰입’이다. 이는 많은 경영학자들이 연구를 통해 증명한 사실이다.
... 더 보기파이썬 프로그램의 메모리는 어떻게 관리될까? 🤔
c
... 더 보기
