Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스(~ 08/02)를 일부 번역해보았습니다. • DeepMind는 토크나이저 사용 없이 언어를 처리하고 [CLS]

Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스(~ 08/02)를 일부 번역해보았습니다. • DeepMind는 토크나이저 사용 없이 언어를 처리하고 [CLS] 토큰 없이 여러 분류 작업을 동시에 미세 조정할 수 있는 Perceiver IO(https://arxiv.org/pdf/2107.14795v2.pdf)를 발표했습니다. 코드베이스(https://github.com/deepmind/deepmind-research/tree/master/perceiver?fbclid=IwAR0VsS7distPVt5fKrmDhHQcHOw6TEJEGZ-mpG_WNWDrrHIqQABiLG0uYQs)를 참조하세요. 블로그 게시물(https://deepmind.com/blog/article/building-architectures-that-can-handle-the-worlds-data?fbclid=IwAR1dPYiaWPlZ-Dnv-Ujajxb3ZHhl3B_6rvJYFmdrfGtg1aHK5pmbVCR8CXM)도 재미있어 보이네요. • 2주 전 DeepMind는 AlphaFold 2(https://www.nature.com/articles/s41586-021-03819-2)를 사용하여 인체 모든 단백질(https://alphafold.ebi.ac.uk/)의 예측된 구조를 공유했습니다. 코드(https://github.com/deepmind/alphafold/)는 최근에 공개했으며 블로그 게시물(https://deepmind.com/blog/article/putting-the-power-of-alphafold-into-the-worlds-hands?fbclid=IwAR2GNIHf9UfTEHvkXoedxTcKANoP66mqiuWRgT9G_FzQ6VGYYZS5Nyk-KbQ) 또한 흥미롭습니다. • 초파리 뇌(https://arxiv.org/pdf/2101.06887.pdf)와 유사한 네트워크를 사용하여 희소 이진 해시 코드 형태로 단어의 의미론적 표현을 학습하는 IBM-Watson의 작업을 확인해보세요. • 소형 모델이 자기 지도 표현(과도하게 군집화된 표현 공간) 학습을 제대로 수행 못하는 이유에 관해 연구하고 수정 사항을 제시하는 흥미로운 논문(https://arxiv.org/pdf/2107.14762v1.pdf)이 아카이브에 올라왔습니다. • Georgia Tech의 본 연구(https://arxiv.org/pdf/2107.13509.pdf)는 AI에 대한 배경 지식이 있는 사람과 없는 사람이 AI 기반 도구를 사용하고 해석하는 방식에 대해 조사했습니다. • 수치 해석을 활용하여 단지 매개변수 1/5로 SOTA 결과를 달성한 Google의 H-Transformer-1D(https://arxiv.org/pdf/2107.11906.pdf)에 대해서는 이미 들어보셨을 것 같네요.