유안타증권 AI Agent 프로젝트: 실전 LLM 서비스 개발(고생)기
Medium
유안타증권 AI Agent 프로젝트: 실전 LLM 서비스 개발(고생)기
이제 LLM을 사용하는 서비스들에 대한 이야기들이 점점 나오고 있네요.
제가 있는 조직에서도 LLM을 사용해서 애플리케이션을 만들고 있습니다.
LLM특성상 할루시네이션 문제가 꼭 생기기 마련입니다.
이것을 해결하기 위해 RAG, vector db등을 사용하는데...
사실 이렇게 한다고 다 해결되지 않는게 문제라서 '고생기' 라는 표현을 쓰신 것 같습니다.
그리고 유료서비스라면 어느정도 서비스에 LLM을 사용할 수 있는 명분이 생깁니다만,
무료 서비스라면 LLM사용시 토큰당 비용을 반드시 계산 해야만합니다.
안그러면 비용이 어마어마하게 증가하기 때문입니다.
본문의 내용에도 나옵니다만, 캡을 반드시 설정해두어서 과금 폭탄을 맞지 않도록 해야해요...
(이건 AWS같은 클라우드 서비스를 사용할때와 같군요..)
바라기는 LLM서비스들의 성능이 빨리 올라와서 더 많은 곳에 유용한 LLM서비스들이 생겨나길 바랍니다.
https://medium.com/crowdworks-tech/%EC%9C%A0%EC%95%88%ED%83%80%EC%A6%9D%EA%B6%8C-ai-agent-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EC%8B%A4%EC%A0%84-llm-%EC%84%9C%EB%B9%84%EC%8A%A4-%EA%B0%9C%EB%B0%9C-%EA%B3%A0%EC%83%9D-%EA%B8%B0-3b874a457aaa
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 2월 28일 오전 1:34
댓글 0
함께 읽은 게시물
< PM/PO 커리어 3단계: 당신은 How, What, Why 중 어디
1. PM/PO 커리어는 3개의 단계로 나눠 생각해 볼 수 있다. 그 세가지는 일을 할 때 거치는 3단계와도 같다. 일의 3단계는 무얼까.
“직원들에게 월급 외에 출근할 이유를 줘야 합니다. 팀장이 좋다던가, 이 일이 날 성장시킨다던가, 이 일이 좋다던가, 이게 다 여기에 해당합니다.“ 박웅현 TBWA 코리아 조직문화연구소 소장은 직원들을 조직에 남게하는 방법을 이렇게 제안했다.
... 더 보기![박웅현 TBWA 조직문화연구소장 "모든 직원은 고객, '회사 팬' 만들어야" [뉴시스 포럼-10년후 한국]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
🪄 플레이모어와 함께할 동료를 찾습니다
첫
... 더 보기< 진짜 강함은 자기 틀림을 인정하는 용기에서 나온다 >
1. 진짜로 강한 사람이 왜 부드러운 줄 아는가? 유연하기 때문이다.
... 더 보기< 똑똑한 사람은 복잡하게 말하지 않는다 >
1. 누군가가 화려한 단어나 두루뭉술한 개념을 많이 사용한다면 아마 자신이 무슨 말을 하는지도 모를 것이다.
