딥러닝의 3대 요소는 알고리즘, 하드웨어, 데이터인데요. 알고리즘과 하드웨어라는 요소가 덜 중요해지는 과정과 반대로 데이터가 중요해지는 과정을 설명해주는 좋은 글입니다.

기술적인 설명도 이해하기 쉽게 설명해줍니다. 저는 요즘 RAG 라는 말을 많이 들었는데, 마침 여기서 설명해주시더라고요. 이해하기로는 LLM을 fine tuning 할 때 쓰는 기술이고, LLM의 context window 사이즈가 작은 한계를 극복하기 위한 목적입니다. 그런데 구글이 context window 사이즈를 엄청 늘린 gemini 1.5 를 발표하면서 RAG의 중요성이 덜 해질 것 같아요.

AI 기술 기업이 아닌 보통 기업의 입장에서 바라보면 지금까지 그래왔던 것처럼 알고리즘은 계속 좋아질 것이고, 가져다쓰거나 돈 내고 쓰면 될 것 입니다. 하드웨어는 모델을 학습시킬 때에 비해 추론할 때는 엄청 비싼 장비가 필요하지 않습니다. 기술적인 테크닉이 어느정도 궤도에 다다랐을 때, 데이터만 남게될 겁니다. 남들은 접근하지 못하는 데이터요.

https://www.yonghosee.com/ai-strategies-must-align-with-data