CLIP: Connecting Text and Images
Openai
[ 무너지는 이미지-자연어의 경계 ] ● 개요 - OpenAI에서 자연어 처리 모델인 GTP-3를 발표했었다. - 그리고 상당히 좋은 성능 중심에는 transformer라는 아키텍처가 있다. - 그런데 이렇게 좋은걸 자연어 처리 말고 이미지 처리에도 활용할 수 있을까? - OpenAI에서는 transformer를 활용한 이미지 처리 모델 두 개를 발표함. ● 현재 이미지 처리 모델의 개선점은? 현재 이미지 처리 모델은 매우 특정한 '기능'만 있다. 예를 들어 사진의 각도가 조금 달라져도 인식을 못하는 경우가 있다. ● 작동 방식 - 자연어와 이미지를 '동시에' 배운다. 따라서 모델이 이미지에 대해 배우는데 자연어의 도움을 받는다. - 이미지와 관련된 자연어를 배워 이미지의 '컨셉'을 배운다. ● 데이터 분석 측면에서 어떤 가치를 지니는가? - 따라서 하나의 모델을 갖고 다양한 이미지를 분류하고 다양한 기능을 할 수 있다. - 또한, 인터넷에서 긁어올 수 있는 자연어에 비해 이미지 데이터는 매우 비싼데, 보다 낮은 비용으로 모델을 구축할 수 있다. ● 비즈니스 임팩트 - 보다 많은 재능을 가진 AI 모델을 구축함으로써 데이터, 모델 구축 등에 들어가는 금전적 비용과 노동력을 아낄 수 있다. - 다양한 요인(factor)을 고려함으로써 비즈니스의 다양한 서비스를 엮을 수 있다 ※ 보다 자세한 내용은 OpenAI 블로그를 참고 바랍니다.
2021년 1월 29일 오후 2:34