👀 LLM을 실제 비즈니스에 적용해본다고 가정해봅시다.

실질적으로 이익을 보기 전까지 넘어야할 허들은 무엇이 있을까요?

기업 소유의 데이터를 LLM에 input할 수 있는 형태로 바꾸고, 해당 데이터를 바탕으로 fine-tuning, prompting, RAG 등의 시스템을 구축하기 위해 테스팅하고, 더 나아가 해당 모델의 앞뒤로 다양한 컴포넌트들이 붙으며 최종적으로 서비스 가능한 형태로 만들어지겠죠.

이 과정에서 과연 1) 초대형 모델들이 서비스 가능할정도로 가벼울지, 그리고 2) 내 서비스에 꼭 그렇게 큰 초대형 모델까지 써야 해야할지에 대한 의구심이 생기고 있습니다.

🔎 Yann Lecun 이라는 현재 NYU 교수이자 Meta의 Chief AI Scientist의 최근 트윗을 보면 전세계적으로 인공지능 시장의 상황이 유사하다는 것을 볼 수 있습니다.

"많은 고객들이 자문하고 있습니다 : 잠깐만, 내가 왜 내 사업에 대해 거의 모르는 초대형 모델에 왜 돈을 지불하고 있지? 그냥 오히려 정보 가져오기 (information retrieval) 에 더 수월한 작은 오픈 소스 모델을 사용할 수도 있지 않을까?"

Quote: “A lot of customer are asking themselves: Wait a second, why am I paying for super large model that knows very little about my business? Couldn’t I just use one of these open-source models, and by the way, maybe use a much smaller, open-source model for that (information retrieval) workflow?”

👉 Yann Lecun의 트윗 :

https://x.com/ylecun/status/1752437014840930553?s=46

다음 글에는 실제로 비즈니스들에서 어떻게 오픈소스 LLM들을 활용하는 지에 대한 16가지 예시를 다룬 기사를 소개해보겠습니다!