- YouTube
youtu.be
OpenAI Assistant V2 RAG 성능 테스트
OpenAI Assistant V2 가 V1에서 판올림 된 이후 성능이 많이 좋아졌다는 호평이 많습니다. OpenAI 공식 홈페이지에 게재되어 있는 글에 따르면 file_search라는 검색 도구 개선 툴을 새롭게 런칭했다고 합니다.
아래의 영상은 OpenAI Assistant V2 의 RAG 성능을 테스트 해볼 수 있는 코드에 대한 튜토리얼 영상입니다.
- 영상: https://youtu.be/b2FhSt7AhpU?si=5wl92CO7Oz4vyAGK
✅ 주요 업데이트 내용
① file_search 도구 출시: 최대 10,000개의 파일을 처리, 이전보다 500배 더 많은 용량을 지원. 속도가 더 빠르고, 다중 스레드를 통해 병렬 검색을 지원, 개선된 ranker 및 query rewrite 기능을 제공.
② vector_store 도입: 파일이 추가되면 자동으로 분석, 분할, 임베딩. 여러 Assistant와 스레드에서 사용할 수 있어 파일 관리와 과금이 간소화
③ Assistants API에서 실행마다 최대 토큰 수를 제어할 수 있어 비용 관리가 용이
④ tool_choice: 특정 도구(file_search, code_interpreter 등)의 사용을 강제 가능.
⑤ 대화 이력 관리: 역할을 assistant로 설정하여 사용자 지정 대화 이력을 생성
⑥ 설정: temperature, JSON 모드, top_p 설정 가능
⑦ FineTuning 모델 지정 가능: 현재는 gpt-3.5-turbo-0125 모델만 가능
출처: https://platform.openai.com/docs/assistants/whats-new
OpenAI Assistant V2 의 RAG 성능을 테스트 해보실 수 있는 링크는 영상의 '더보기' 란에 추가해 놓았습니다.
감사합니다. 즐거운 토요일 되세요!
#rag #assistant #openai
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 9월 7일 오전 9:32
댓글 0
함께 읽은 게시물
데이터 분석가 600명의 이직 결심 사유는 무엇일까요?
데
... 더 보기
앞으로의 코테는 설명을 주고 코드를 짜라고 하는 것이 아니라, 코드를 주고 설명을 하라는 것이 유효할 것이다.
내 경우는 이미 그렇게 하고 있는데, 요구사항을 주고 개발을 요청. 결과물이 요구사항대로 개발이 잘 되었다면, 다음 단계로 제출한 코드를 리뷰하며 설명을 요청한다.
나는 종종 생산성을 올리기 위한 각종 개발 툴은 물론, 라이브러리나 소스 코드를 구매하기도 한다.
소스 코드의 경우 실제로 써먹지 못하는 경우도 상당수 되긴 하지만, 그래도 구성이나 코드를 보면서 배우는게 있기 때문에 학습 비용이라고 생각하고 가끔 구매하는 편이다.
