Farewell convolutions : ) Transformer가 자연어처리 분야에서 BERT, GPT 의 등장으로 기존 방법론들을 장악해버렸는데, 급기야는 이미지분류 문제까지 잘 해결할 수 있다는 논문이 ICLR 2021 에 제출되었습니다. CNN을 활용한 이미지분류 아키텍처에서 CNN을 단순하게 Transformer의 encoder 블럭들로 대체한 구조를 갖고 있는데, ResNet 보다 적은 학습시간으로(즉, 비용이 적게 들면서도) 더 정확한 성능을 보여준다는 주장입니다. 이 논문의 conclusion에서 지적하는 바와 같이 아직 분류 문제에만 적용되었을 뿐 object detection 이나 segmentation 등 기존의 모든 기술들을 대체할 수 있는 수준은 아니지만, 왠지 어디선가는 이미 시도하고 있을 법 합니다. 아무래도 한동안은 Transformer가 딥러닝 계에서의 챔피언으로 군림하겠네요 ㅎㅎ

Oriol Vinyals on Twitter

X (formerly Twitter)

Oriol Vinyals on Twitter

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2020년 10월 10일 오전 2:32

댓글 0

    함께 읽은 게시물

    < 왜 나는 그때 그 선배의 말을 듣지 않았을까? >​

    1. 모든 학습 곡선에는 같은 패턴이 있다. 어떤 분야의 초보자가 있다고 하자. 이제 몇 가지 지식을 배운다. 그럼 마치 그 분야를 완전히 이해한 것처럼 느낀다. 누구나 0점에서 80점까지는 쉽다. 문제는 80점부터다. 전문가의 영역이다.

    ... 더 보기

    AI시대 필요한 요구문서와 협업방법

    ... 더 보기

    Confluence Mobile - WEBNORI

    wiki.webnori.com

    Confluence Mobile - WEBNORI

    월급 루팡의 최후, SNS때문에 해고당했다!

    ... 더 보기

    레일즈와 카카오 문화

    ... 더 보기

    레일즈 철학과 카카오 문화

    K리그 프로그래머

    레일즈 철학과 카카오 문화

     • 

    저장 6 • 조회 2,793


    < 퇴근길 작은 트럭에게 약속의 무게를 배우다 >

    1

    ... 더 보기

    지나간 버스

    

    ... 더 보기

     • 

    저장 3 • 조회 775