Hi, there! 9월 17일 ~ 9월 24일 간 나온 AI 주요 포스트와 논문을 추려보았습니다. 평가자 피드백을 통한 강화 학습을 반복 적용하여 책 전체 내용을 훌륭히 요약해내거나 건물 내부 이미지를 사각지대까지 모조리 예측, 생성해내는 작업은 정말 대단해 보이네요. 근데 왠지 OpenAI나 Google 정도가 아니면 엄두가 안나는 작업처럼 보이기도... 😔 • 사람에게 받은 피드백을 강화 학습에 결합하여 작업을 재귀적으로 분해하는 방식으로 책 전체 내용 요약하기: OpenAI에서 사람의 피드백을 통해 책의 전체 내용을 재귀, 반복적으로 요약해냅니다. 블로그(https://openai.com/blog/summarizing-books)와 논문(https://arxiv.org/pdf/2109.10862.pdf)을 확인하세요. • Pathdreamer(https://ai.googleblog.com/2021/09/pathdreamer-world-model-for-indoor.html)는 에이전트가 탐색을 성공적으로 할 수 있게, 건물 내 전 지역에 대한 고해상도 360 º 시각적 관측값을 생성해내는 Google의 새 월드 모델입니다. 논문(https://arxiv.org/abs/2105.08756)도 살펴보세요. • Google이 강력한 엔드 투 엔드 음성 번역 모델인 Translatotron 2(https://ai.googleblog.com/2021/09/high-quality-robust-and-responsible.html)를 발표했습니다. • WIT는 멀티모달 다국어 학습(논문(https://dl.acm.org/doi/10.1145/3404835.3463257)과 블로그(https://ai.googleblog.com/2021/09/announcing-wit-wikipedia-based-image.html) 참조)을 위한 최대 규모 이미지 및 텍스트 멀티모달 데이터셋입니다. 이것은 위키피디아, 그리고 자료가 부족한 언어의 경우 언어 표현과 언어 간의 연결을 학습하는 MURAL(https://arxiv.org/pdf/2109.05125.pdf) 모델을 기반으로 만들어졌습니다. • 규모(scaling)의 법칙 vs. 모델 아키텍처(https://openreview.net/pdf?id=Wrtp36cbl61) – 귀납적 편향(inductive bias)은 규모의 법칙에 얼마나 영향을 받을까요? 언어 과제에 대한, 광범위하고 실증적인 연구 자료입니다. • 언어 정화(detoxify) 모델의 과제(https://arxiv.org/pdf/2109.07445.pdf) – 몇 가지 유해한 표현(toxicity) 완화 전략, 모델 편향과 언어 모델 품질 측면에서의 유해한 표현 완화 결과를 분석했습니다. • QA에서의 지식 상충 – 훈련으로 학습한 사실이 추론 시 주어지는 사실과 상충되면 어떻게 될까요? 논문(https://arxiv.org/pdf/2109.05052.pdf)을 통해 알아보세요. (여기 트윗에서 저자(https://twitter.com/ShayneRedford/status/1440707394162421764)가 추가한 정보를 볼 수 있습니다.) • PLATO-XL(https://arxiv.org/pdf/2109.09519.pdf) – 대화 생성을 위한 대규모 사전 훈련 작업을 탐색하였습니다. 위 내용은 Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스에서 발췌, 번역하고 개인적으로 내용을 추가하여 만든 것입니다.