Hi, there! 11월 26일 ~ 12월 3일 간 나온 AI 주요 포스트와 논문을 추려보았습니다. • DeepMind의 AI가 수학 매듭론 문제를 해결하는데 큰 도움이 되었습니다.(https://www.nature.com/articles/d41586-021-03593-1) • 자동화된 추론(Reasoning)에 대한 간략한 소개입니다.(https://www.amazon.science/blog/a-gentle-introduction-to-automated-reasoning) • 이산화탄소 저장소 평가를 위한 물리 기반의 딥러닝(https://www.psu.edu/news/engineering/story/physics-informed-deep-learning-assess-carbon-dioxide-storage-sites/) • 딥러닝 모델의 빠른 초기화 작업을 위한 Facebook 오픈 소스 GHN-2 AI(https://www.infoq.com/news/2021/11/facebook-ghn-meta-model/) – 메타 러닝!!!!! 제(= AWS의 응용 과학자 Adrian de Wynter)가 메타 러닝을 전문으로 하기로 마음먹었을 때 많은 사람들이 "ML 하는데 그게 무슨 소용이 있나요?"라고 물었습니다. 나 역시도 "ML을 ML에 넣으면 어떻게 될까? 쓸데없이 복잡하지 않을까? 더 간단하게 만들 수 없을까? 에잇, 모르겠다!”라고 생각했죠. 그러나 이 분야가 현장에서 직접 사용되는 걸 보면 매우 즐겁습니다. 어떤 모델 서비스가 수많은 고객에게 제공될 경우 그 모델이 고객 단 한 명의 문제에 수렴할지 말지는 아무도 관심 없습니다. 이 사실을 깨닫고 나면 즐거움이 더 커질 것입니다. 아, 물론 메타 러닝이 작동하지 않을 수 있습니다. 파이프라인이 고객당 하나의 모델을 찾아내도록 확장 불가능할지도 모릅니다. 거기에 시간에 따른 드리프트를 추가하면 매우 (NP) 어렵고, 비-볼록이며, 매우 불연속적이고, 결정 불가능에 가까운 아주 재밌는 문제가 발생하죠! • 연합 학습에 대한 공정성 모델(https://arxiv.org/abs/2112.00818) • 천문학과 천체 물리학을 위한 언어 모델 astroBERT 구축(https://arxiv.org/abs/2112.00590) – BERT 스타일 사전 훈련에 관련된 모든 응용 산출물을 좋아하길 바랍니다. • 싱할라 감성 예측: 싱할라 Facebook 포스트에 대한 반응 예측(https://arxiv.org/abs/2112.00468) – 비영어권의 NLP 연구를 항상 강조하고 싶군요. • 구어 이해를 위한 자동 음성 인식이 여전히 필요할까요?(https://arxiv.org/abs/2111.14842) • 벤치마크로 거짓말을 하지 않는 방법: NLP 리더보드 재배치하기(https://arxiv.org/abs/2112.01342) – NLP 리더보드는 일반적인 성능 지표로는 괜찮지만 이 논문에서 지적하는 것처럼 속이기 매우 쉽습니다. 소프트웨어 개발할 때의 릿코드와 유사합니다. • TinyML 플랫폼 벤치마킹(https://arxiv.org/abs/2112.01319) – 벤치마크 논문은 꽤나 틈새시장입니다. 그러나 다 떠나서 이 논문은 TinyML에 대한 훌륭한 조감도를 제시합니다. • 편미분 방정식을 풀기 위해 물리 정보 신경망을 사용한 계층적 학습(https://arxiv.org/abs/2112.01254) • 제약이 있는 기계학습: Bagel 프레임워크(https://arxiv.org/abs/2112.01088) – 제가 이 논문을 올린 까닭은 "Bagel"이라는 단어 때문입니다. 저는 문제마다 다르겠지만 B&B(분기한정법)가 더 전문화된 알고리즘(예를 들자면 NAS의 경우 DARTS)을 능가할 수 있는, 보다 일반적이고 단순한 접근 방식이라고 생각합니다. • 희소 그래디언트를 이용한, 차등 개인 정보 SGD(https://arxiv.org/abs/2112.00845) – "최대 70%의 표현 희소성을 달성하면서 동일한 반복 횟수 내에서 정확도를 유지합니다." • 연합 학습의 공정성과 강건성에 대한 데이터 분포의 영향(https://arxiv.org/abs/2112.01274) – "훈련된 모델이 공정성/보안이 중요한 콘텍스트에 배포되는 경우 정확도에 거의 영향을 미치지 않는 작은 변형이 여전히 중요할 수 있음을 보여줍니다." • 분산 정책 그래디언트로 조건부 언어 모델 제어하기(https://arxiv.org/abs/2112.00791) • Out-of-distribution 탐지를 이해하기 위해 증명 가능한 형태로 보장하기(https://arxiv.org/abs/2112.00787) – 저는 모든 OOD + 형식적 증명을 지지하지만 이 쪽의 주된 문제는 집합에 속하지 않는 것은 따라서 여집합에 속할 거라고 증명하는 것처럼 보이기 때문입니다. 네, 이건 기술적 비판이라기보다는 철학적 비판에 가깝습니다. • 감정은 미묘합니다: 대조 학습을 사용한 감정 기반 텍스트 표현 학습(https://arxiv.org/abs/2112.01054) – 또한 학습하기도 매우 어렵습니다… • FedRAD: 강건한, 적응 형의 연합 증류법(https://arxiv.org/abs/2112.01405) 위 내용은 Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스에서 발췌, 번역하고 개인적으로 내용을 추가하여 만든 것입니다.