3명의 OpenAI 엔지니어들이 이틀 안에 당신의 프로덕트를 따라할 수 있는가?

인터넷에 올라온 "새로 출시된 OpenAI 기능들이 기존의 RAG 방식을 대체할까?"라는 질문을 시작으로, 관련 기능이 얼마나 완성도 높은지 직접 실험해보았습니다.

이번 컨퍼런스에서는 누구나 GPT를 이용해 서비스를 만들 수 있는 'GPTs'가 주목을 받았지만, 'assistants API' 역시 눈길을 끌었습니다. 이 API는 GPT가 다양한 도구를 활용할 수 있게 해주는 'agent' 역할을 합니다. 특히, rag를 기본 기능으로 제공한다는 점이 굉장히 흥미로웠습니다. (RAG에 대한 더 자세한 정보는 https://research.ibm.com/blog/retrieval-augmented-generation-RAG)

그동안 RAG 구조를 만들기 위해서는 langchain이나 llamaindex를 활용하여 데이터(문서) loading, 데이터를 chunking하는 Indexing, 메타데이터도 지정해주는 Storing 등 세 가지 복잡한 과정을 거쳐야 했습니다. 이러한 과정을 어떻게 맞춤 설정하느냐에 따라 상황에 맞는 효율적인 RAG 구조를 구축할 수 있습니다. 하지만 이제 OpenAI는 API 한 번의 호출로 이 모든 과정을 간소화할 수 있다고 하네요.

📖 실제로 논문에 대한 assistants API 테스트를 해본 결과,

- 같은 질문에 대해 아웃풋이 일정하지 않다

- 숫자나 작은 디테일까지 필요한 질문의 경우 기존의 rag 방식보다 성능이 떨어진다

그럼에도 불구하고, 마치 LightGBM 자체로 평균 이상의 모델 성능을 낼 수 있는 것 처럼, assistants API도 결국에는 RAG의 표준이 될 가능성이 있습니다. 물론 가끔은 상황에 맞는 튜닝이 필요하겠지만, 많은 간단한 요구 사항들은 OpenAI의 API로 충분히 해결될 수 있을 것으로 보입니다.

OpenAI Dev 컨퍼런스 요약 참고 : https://community.openai.com/t/first-openai-devday-summarised/476053

관련 레딧 커뮤니티 질문 : https://www.reddit.com/r/LangChain/comments/17pzvrw/will_new_chatgpt_updates_replace_rag/?share_id=41sOFbULeTp349e_p9E8Y&utm_content=1&utm_medium=android_app&utm_name=androidcss&utm_source=share&utm_term=1