<Reformer:효율적인 트랜스포머> 커리어 | 커리어리

<Reformer:효율적인 트랜스포머> 커리어리 친구들, 현재 머신러닝에서 자연어 처리 분야에 "트랜스포머가 모든 것을 다 먹어치고 있다" 라고 말해도 과언이 아닐 정도로 BERT 부터 GPT-3 , Visual Transformer 까지 트랜스포머 모델이 없이는 아무것도 못합니다. 이 글은 제가 작년 구글 AI 리서치를 번역할 때 적어 놓은 글인데, "Reformer: 효율적인 트랜스포머" 라는 제목으로 어텐션 레이어(attention layer)에 대해 어떠한 문제가 있는지와 메모리 상의 문제들을 Reforemer 로 어떻게 해결한 지에 대해 오픈소스의 코랩(Google colaboratory) 를 정리한 글입니다. 오늘 조회수가 2천회 돌파했다고 브런치에 알려 줘서 커리어리 친구들 중에서 머신러닝을 공부하신 분들께 도움이 되었으면 합니다.

Reformer:효율적인 트랜스포머

brunch

2021년 7월 28일 오전 5:36

댓글 0

주간 인기 TOP 10

지난주 커리어리에서 인기 있던 게시물이에요!

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 개발자를 위한 커리어 SNS