커리어리 친구들, 현재 머신러닝에서 자연어 처리 분야에 "트랜스포머가 모든 것을 다 먹어치고 있다" 라고 말해도 과언이 아닐 정도로 BERT 부터 GPT-3 , Visual Transformer 까

커리어리 친구들, 현재 머신러닝에서 자연어 처리 분야에 "트랜스포머가 모든 것을 다 먹어치고 있다" 라고 말해도 과언이 아닐 정도로 BERT 부터 GPT-3 , Visual Transformer 까지 트랜스포머 모델이 없이는 아무것도 못합니다. 이 글은 제가 작년 구글 AI 리서치를 번역할 때 적어 놓은 글인데, "Reformer: 효율적인 트랜스포머" 라는 제목으로 어텐션 레이어(attention layer)에 대해 어떠한 문제가 있는지와 메모리 상의 문제들을 Reforemer 로 어떻게 해결한 지에 대해 오픈소스의 코랩(Google colaboratory) 를 정리한 글입니다. 오늘 조회수가 2천회 돌파했다고 브런치에 알려 줘서 커리어리 친구들 중에서 머신러닝을 공부하신 분들께 도움이 되었으면 합니다.