커리어리 친구들, 구글 딥마인드가 13배 빠르고 10배 저렴한 AI 훈련 방법 ‘제스트’ 공개를 했습니다.

구글 딥마인드가 이미지 및 텍스트 처리를 위한 멀티모달 인공지능(AI) 모델의 성능을 높이고 비용을 줄이는 새로운 훈련 방법을 선보였다. 이를 통해 특정 작업에 대한 훈련 시간을 13배나 단축할 수 있었으며 필요한 컴퓨팅 성능은 10배나 적었다고 주장했습니다.

기존에는 훈련 데이터를 무작위로 선택하거나, 개별 관련성을 기반으로 선택하는 방식을 사용했습니다. 반면 제스트는 데이터를 개별적으로 선택하는 대신, 고품질 데이터를 포함하는 '배치(batch)' 선택법을 도입했습니다. 배치는 전체 훈련 데이터셋을 특정 크기로 나눈 데이터 단위를 뜻합니다.

이를 위해 제스트는 고품질 소스에서 사전 훈련한 소형 모델을 만들고, 이를 통해 전체 배치에 대한 데이터 품질을 평가하고 순위를 매깁니다. 즉 소형 제스트 모델을 통해 가장 적합한 배치를 선택, 멀티모달 AI 모델을 훈련하는 방식입니다.

연구진은 소규모의 고품질 데이터 세트로 사전 훈련한 제스트 모델을 만드는 과정이 가장 중요하다고 강조했고, 이 모델의 품질이 전체적인 성능을 결정한다고 합니다.

이처럼 신중하게 큐레이팅된 소규모 데이터셋으로 학습한 제스트 모델은 이후 더 큰 데이터를 필터링해 고품질의 데이터를 가려내게 됩니다.

딥마인드 연구진은 "작고 잘 큐레이팅된 데이터셋의 분포로 데이터 선택 과정을 유도하는 능력이 제스트 방법의 핵심”이라며 "이 방식은 최첨단 모델의 훈련 시간을 13배 단축하고 필요한 컴퓨팅 성능을 90%까지 줄일 수 있다"라고 주장했습니다.

https://www-aitimes-com.cdn.ampproject.org/c/s/www.aitimes.com/news/articleViewAmp.html?idxno=161363