Oriol Vinyals on Twitter
Farewell convolutions : ) Transformer가 자연어처리 분야에서 BERT, GPT 의 등장으로 기존 방법론들을 장악해버렸는데, 급기야는 이미지분류 문제까지 잘 해결할 수 있다는 논문이 ICLR 2021 에 제출되었습니다. CNN을 활용한 이미지분류 아키텍처에서 CNN을 단순하게 Transformer의 encoder 블럭들로 대체한 구조를 갖고 있는데, ResNet 보다 적은 학습시간으로(즉, 비용이 적게 들면서도) 더 정확한 성능을 보여준다는 주장입니다. 이 논문의 conclusion에서 지적하는 바와 같이 아직 분류 문제에만 적용되었을 뿐 object detection 이나 segmentation 등 기존의 모든 기술들을 대체할 수 있는 수준은 아니지만, 왠지 어디선가는 이미 시도하고 있을 법 합니다. 아무래도 한동안은 Transformer가 딥러닝 계에서의 챔피언으로 군림하겠네요 ㅎㅎ
2020년 10월 10일 오전 2:32
댓글 0
주간 인기 TOP 10
지난주 커리어리에서 인기 있던 게시물이에요!
현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.
커리어리 | 일잘러들의 커리어 SNS