lnkd.in
OpenAI의 연구원의 말에 따르면, LLM 모델의 파라미터의 대부분은 단순한 지식을 담고 있을 뿐이라서 추론 능력을 향상 시키기 위해 모델의 크기를 더 키울 필요는 없다고 합니다. (수백, 수천억 이상을 말하는 것이겠죠)
더불어 LLM의 추론 능력이 충분히 뛰어나면, 지식 정보는 외부에서 끌어와서 RAG로 해결하면 되니 AI가 지식을 기억해 둘 필요가 없기 때문에 더욱 그렇고요.
그걸 일찌감치 발견했기에 SearchGPT를 개발하기 시작한 것 같네요.
그리고 최적해를 찾기 위한 시뮬레이션을 깊게 오래 할 수록 더 좋은 답변을 찾을 수 있기 때문에, 이에 따라 이제 학습 보다는 추론 시간에 더 많은 컴퓨팅 자원을 사용하는 패러다임으로 쉬프트하게 될 것이라고 하네요.
o1은 GPT-4 보다는 GPT3.5가 나왔을 때와 같은 느낌으로, AI 학습과 사용에 큰 패러다임 변화가 생긴 것 같은데요. 특히 RAG/Agent 구조의 변화와 로컬/서버 모델의 용처 구분이 좀 더 분명해 질 것 같습니다. o2는 진짜 AGI에 가까워질까요? 과연 앞으로 또 어떤 재미난 일들이 생길지 기대됩니다. 😎🍿🥤
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 9월 13일 오전 12:57
댓글 0
함께 읽은 게시물
훌륭한 데이터 분석가란 어떤 사람인가?
‘훌륭한 데이터 분석가란 어떤 사람인가?’에 대해
... 더 보기[데이터 분석가가 프로그래밍을 할 줄 알아야 하는 이유]
데이터 분석에서 데이터를 수집하고 정리하는 과정인 [데이터 전처리]는
업무 시간의 최대 80%를 차지할 정도로 시간이 많이 걸리는 일입니다.
하지만 프로그래밍을 할 줄 아는 데이터 분석가는
아래와 같은 능력을 통해 문제를 효율적으로 해결할수 있습니다.
1. 효율적인 데이터 수집 및 전처리
데이터 분석을 위해서는 먼저 데이터를 수집하고 데이터를 전처리해야 합니다.
이 때 프로그래밍을 사용하면 로우 데이터(Raw Data)를 수집, 집계, 또는 요약하는
복잡한 데이터 전처리 과정을 효율적으로 수행할 수 있... 더 보기
-
