Oriol Vinyals on Twitter
X (formerly Twitter)
Farewell convolutions : )
Transformer가 자연어처리 분야에서 BERT, GPT 의 등장으로 기존 방법론들을 장악해버렸는데, 급기야는 이미지분류 문제까지 잘 해결할 수 있다는 논문이 ICLR 2021 에 제출되었습니다.
CNN을 활용한 이미지분류 아키텍처에서 CNN을 단순하게 Transformer의 encoder 블럭들로 대체한 구조를 갖고 있는데, ResNet 보다 적은 학습시간으로(즉, 비용이 적게 들면서도) 더 정확한 성능을 보여준다는 주장입니다.
이 논문의 conclusion에서 지적하는 바와 같이 아직 분류 문제에만 적용되었을 뿐 object detection 이나 segmentation 등 기존의 모든 기술들을 대체할 수 있는 수준은 아니지만, 왠지 어디선가는 이미 시도하고 있을 법 합니다.
아무래도 한동안은 Transformer가 딥러닝 계에서의 챔피언으로 군림하겠네요 ㅎㅎ
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2020년 10월 10일 오전 2:32
댓글 0
함께 읽은 게시물
< 집착, 신념, 두려움 – 당신을 망치는 3가지 필터 >
1. 당신에게는 세 가지 여과 장치가 있는데, 첫째는 당신의 집착, 둘째는 당신의 신념, 셋째는 당신의 두려움입니다.
오픈AI는 아이브의 AI 기기 개발 스타트업인 io를 전액 주식 거래로 인수하기로 했다. io의 기업가치는 약 65억달러(약 8조9000억원)로 평가된다.
... 더 보기
리더. 국어사전을 보면 조직이나 단체에서 전체를 이끌어가는 위치에 있는 사람이라고 기술되어 있다. 지식백과사전에는 어떤 조직이나 단체에서 목표의 달성이나 방향에 따라 이끌어 가는 중심적인 위치에 있는 사람, 구성원들에 대한 결정의 책임을 지고 또한 집단 외부와의 조정 기능의 역할도 하는 사람이라고 되어 있다.
... 더 보기
< '모든 것을 받아들이기'의 진짜 의미 >
1. 아무것도 기대하지 않으면 현재를 살게 된다.
