[요즘IT]‘OpenAI DevDay 2024’ 최고급 청바지를 선보이다

10월1일 진행한 OpenAI의 DevDay 2024에 대한 정갈하고(?) 세심하게 정리한 내용이 있어 공유해봅니다. 보다 상세한 내용은 원문을 참고해주세요. 플리즈~^^

1. Realtime API “야너두 음성 대화 앱 만들 수 있어!”

• 이번에 오픈데이가 출시한 실시간 API는 기존의 음성인식, 의도파악 및 답변 생성, 음성출력의 3단계를 하나로 통합하여 시간과 리소스의 효율성이 크게 향상

• 개발자가 애플리케이션에 오픈AI의 AI 모델을 사용해 멀티모달 처리 기능을 장착할 수 있도록 하는 클라우드 서비스

2. Vision fine-tuning “이제 이미지도 파인튜닝할 수 있어!”

• 기존에는 텍스트에 적용하던 fine-tuning(미세 조정)을 이미지에도 적용하게 되어, 보다 특화되고 개인화된 서비스를 개발 지원

• OpenAI는 이 기능을 통해 시각 검색, 자율 주행차나 스마트 시티를 위한 객체 감지, 의료 이미지 분석과 같은 다양한 분야의 앱이 발전할 수 있을 것으로 기대

3. Prompt Caching “물어봤던 거네? 반값에 해줄게!”

• 비슷한 요청이 반복해서 들어올 경우 이를 기억하고 있다가 빠르게 답변을 내놓을 수 있게

• 저장된 요청에 대한 응답 시에는 입력 토큰 금액을 절반(50%)만 지불하도록 하여 비용 절감과 응답시간 개선 기대

4. Distillation “작은 모델로도 충분해!”

• 대형 언어 모델(LLM)은 뛰어난 성능을 자랑하지만, 그만큼 무겁고 비용이 많이 든다는 단점이 있는데, 간단한 서비스를 만들 때는 모델의 크기를 줄여 비용을 절감하는 것이 필요한데, 이를 위해 OpenAI가 제안한 기능이 바로 ‘Distillation(정제, 증류)’ 기능

• 각 개발자는 자신에게 필요한 모델들을 직접 파인 튜닝하고, 원하는 만큼 모델 크기를 줄여 응답 시간과 비용을 절감

• source: https://yozm.wishket.com/magazine/detail/2790/