🌈Transformers from Scratch-트랜스포머 완벽 가이드

딥러닝을 공부하다보면 Transformer에 대해 익히게 됩니다. 이 트랜스포머를 구성하는 요소에 대해 알려면 어떤 지식이 필요할까요? Transformer를 이해하기 위해 필요한 지식들을 잘 정리한 문서를 공유드립니다. 이 문서는 Scratch로 바닥부터 하나씩 이해할 수 있도록 내용이 전개됩니다. 이미지가 정말 잘 표현되어 있어서, 이해가 어려울만한 부분을 이미지 보고 이해하곤 합니다! 딥러닝을 공부하신다면 일단 저장해두시고 이후에 꼭 보시면 좋을 것 같아요 :) 내용이 짧진 않고 많지만 하나씩 보시면 학습에 도움될 것 같습니다! 저도 한번 다시 보려고 합니다 :) ✨️ 추천드리고 싶은 분 - 딥러닝을 공부하시는 분 - Transfomer를 바닥부터 이해하고 싶으신 분 🎁 설명하는 파트 ► One-hot encoding ► Dot product ► Matrix multiplication ► Matrix multiplication as a table lookup ► First order sequence model ► Second order sequence model ► Second order sequence model with skips ► Masking ► Rest Stop and an Off Ramp ► Attention as matrix multiplication ► Second order sequence model as matrix multiplications ► Sequence completion ► Embeddings ► Positional encoding ► De-embeddings ► Softmax ► Multi-head attention ► Single head attention revisited ► Skip connection ► Multiple layers ► Decoder stack ► Encoder stack ► Cross-attention ► Tokenizing ► Byte pair encoding ► Audio input