Hi, there! 11월 5일 ~ 11월 12일 간 나온 AI 주요 포스트와 논문을 추려보았습니다. • 개인 정보를 보호하는 기계 학습: 기밀 엄수와 신뢰 유지(https://www.microsoft.com/en-us/research/blog/privacy-preserving-machine-learning-maintaining-confidentiality-and-preserving-trust/) – 민감 정보를 사용하여 ML 모델을 학습할 때 개인 정보 보호 및 기밀 엄수를 보장하기 위한 여러 연구들을 소개합니다. • Facebook의 멀티링구얼 단일 모델이 14개 언어 쌍 중 10개 언어 쌍에서 특별히 훈련된 바이링구얼 모델을 능가하여 WMT을 우승했습니다.(https://ai.facebook.com/blog/the-first-ever-multilingual-model-to-win-wmt-beating-out-bilingual-models/) 논문(https://arxiv.org/pdf/2108.03265.pdf)과 코드(https://github.com/pytorch/fairseq/tree/main/examples/wmt21)를 확인하세요. • 모델 앙상블은 생각보다 빠르다.(https://ai.googleblog.com/2021/11/model-ensembles-are-faster-than-you.html) – 위원회의 지혜: 더 빠르고 정확한 모델에 대한, 간과된 접근법(https://arxiv.org/pdf/2012.01988.pdf). • 레이블이 없는 비디오를 보며 더 정확하게 미래 시점 예측하기(https://ai.googleblog.com/2021/11/making-better-future-predictions-by.html) – Google이 내레이션이 붙은 교육용 비디오를 순환하며 시간 역학을 학습하는 자가 지도 방법론을 제안했습니다. 논문(https://arxiv.org/pdf/2101.02337.pdf)도 참고하세요. • 태스크 중심의 언어 모델링(https://arxiv.org/pdf/2111.04130.pdf) – 대규모 사전 훈련 없이 바닥부터 자연어를 처리하는 단순하고 효율적인 프레임워크입니다. • 규모 확장을 통해 ASR에 대한 제로와 퓨 샷 학습 개선하기(https://arxiv.org/pdf/2111.05948.pdf) – Facebook은 대규모(1-10B 매개변수 모델) 범용 영어 ASR 모델을 훈련하여 다수의 도메인에서 제로 샷과 퓨 샷 성능을 향상할 수 있는 새로운 방법론을 제안합니다. • 추론을 먼저 하고 응답합니다. 지식이 주입된 대화를 위한 모듈식 생성(https://arxiv.org/pdf/2111.05204.pdf) – Hallucination(관련 없거나 모순된 언어를 생성하는 현상)이 감소된, 지식 기반 대화를 위한 해석 가능 형태의 모듈식 접근 방식입니다. • NLP 관련 크라우드 소싱 HIT(Human Intelligence Task)에 대한 조사(https://arxiv.org/pdf/2111.05241.pdf) – NLP 크라우드 소싱 작업을 설계하는 방법에 대한 몇 가지 인사이트입니다. 위 내용은 Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스에서 발췌, 번역하고 개인적으로 내용을 추가하여 만든 것입니다.