Hi, there! 11월 26일 ~ 12월 | 커리어리

Hi, there! 11월 26일 ~ 12월 3일 간 나온 AI 주요 포스트와 논문을 추려보았습니다. • DeepMind의 AI가 수학 매듭론 문제를 해결하는데 큰 도움이 되었습니다.(https://www.nature.com/articles/d41586-021-03593-1) • 자동화된 추론(Reasoning)에 대한 간략한 소개입니다.(https://www.amazon.science/blog/a-gentle-introduction-to-automated-reasoning) • 이산화탄소 저장소 평가를 위한 물리 기반의 딥러닝(https://www.psu.edu/news/engineering/story/physics-informed-deep-learning-assess-carbon-dioxide-storage-sites/) • 딥러닝 모델의 빠른 초기화 작업을 위한 Facebook 오픈 소스 GHN-2 AI(https://www.infoq.com/news/2021/11/facebook-ghn-meta-model/) – 메타 러닝!!!!! 제(= AWS의 응용 과학자 Adrian de Wynter)가 메타 러닝을 전문으로 하기로 마음먹었을 때 많은 사람들이 "ML 하는데 그게 무슨 소용이 있나요?"라고 물었습니다. 나 역시도 "ML을 ML에 넣으면 어떻게 될까? 쓸데없이 복잡하지 않을까? 더 간단하게 만들 수 없을까? 에잇, 모르겠다!”라고 생각했죠. 그러나 이 분야가 현장에서 직접 사용되는 걸 보면 매우 즐겁습니다. 어떤 모델 서비스가 수많은 고객에게 제공될 경우 그 모델이 고객 단 한 명의 문제에 수렴할지 말지는 아무도 관심 없습니다. 이 사실을 깨닫고 나면 즐거움이 더 커질 것입니다. 아, 물론 메타 러닝이 작동하지 않을 수 있습니다. 파이프라인이 고객당 하나의 모델을 찾아내도록 확장 불가능할지도 모릅니다. 거기에 시간에 따른 드리프트를 추가하면 매우 (NP) 어렵고, 비-볼록이며, 매우 불연속적이고, 결정 불가능에 가까운 아주 재밌는 문제가 발생하죠! • 연합 학습에 대한 공정성 모델(https://arxiv.org/abs/2112.00818) • 천문학과 천체 물리학을 위한 언어 모델 astroBERT 구축(https://arxiv.org/abs/2112.00590) – BERT 스타일 사전 훈련에 관련된 모든 응용 산출물을 좋아하길 바랍니다. • 싱할라 감성 예측: 싱할라 Facebook 포스트에 대한 반응 예측(https://arxiv.org/abs/2112.00468) – 비영어권의 NLP 연구를 항상 강조하고 싶군요. • 구어 이해를 위한 자동 음성 인식이 여전히 필요할까요?(https://arxiv.org/abs/2111.14842) • 벤치마크로 거짓말을 하지 않는 방법: NLP 리더보드 재배치하기(https://arxiv.org/abs/2112.01342) – NLP 리더보드는 일반적인 성능 지표로는 괜찮지만 이 논문에서 지적하는 것처럼 속이기 매우 쉽습니다. 소프트웨어 개발할 때의 릿코드와 유사합니다. • TinyML 플랫폼 벤치마킹(https://arxiv.org/abs/2112.01319) – 벤치마크 논문은 꽤나 틈새시장입니다. 그러나 다 떠나서 이 논문은 TinyML에 대한 훌륭한 조감도를 제시합니다. • 편미분 방정식을 풀기 위해 물리 정보 신경망을 사용한 계층적 학습(https://arxiv.org/abs/2112.01254) • 제약이 있는 기계학습: Bagel 프레임워크(https://arxiv.org/abs/2112.01088) – 제가 이 논문을 올린 까닭은 "Bagel"이라는 단어 때문입니다. 저는 문제마다 다르겠지만 B&B(분기한정법)가 더 전문화된 알고리즘(예를 들자면 NAS의 경우 DARTS)을 능가할 수 있는, 보다 일반적이고 단순한 접근 방식이라고 생각합니다. • 희소 그래디언트를 이용한, 차등 개인 정보 SGD(https://arxiv.org/abs/2112.00845) – "최대 70%의 표현 희소성을 달성하면서 동일한 반복 횟수 내에서 정확도를 유지합니다." • 연합 학습의 공정성과 강건성에 대한 데이터 분포의 영향(https://arxiv.org/abs/2112.01274) – "훈련된 모델이 공정성/보안이 중요한 콘텍스트에 배포되는 경우 정확도에 거의 영향을 미치지 않는 작은 변형이 여전히 중요할 수 있음을 보여줍니다." • 분산 정책 그래디언트로 조건부 언어 모델 제어하기(https://arxiv.org/abs/2112.00791) • Out-of-distribution 탐지를 이해하기 위해 증명 가능한 형태로 보장하기(https://arxiv.org/abs/2112.00787) – 저는 모든 OOD + 형식적 증명을 지지하지만 이 쪽의 주된 문제는 집합에 속하지 않는 것은 따라서 여집합에 속할 거라고 증명하는 것처럼 보이기 때문입니다. 네, 이건 기술적 비판이라기보다는 철학적 비판에 가깝습니다. • 감정은 미묘합니다: 대조 학습을 사용한 감정 기반 텍스트 표현 학습(https://arxiv.org/abs/2112.01054) – 또한 학습하기도 매우 어렵습니다… • FedRAD: 강건한, 적응 형의 연합 증류법(https://arxiv.org/abs/2112.01405) 위 내용은 Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스에서 발췌, 번역하고 개인적으로 내용을 추가하여 만든 것입니다.

Exploring the beauty of pure mathematics in novel ways

Deepmind

2021년 12월 10일 오전 2:30

댓글 0

주간 인기 TOP 10

지난주 커리어리에서 인기 있던 게시물이에요!

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 개발자를 위한 커리어 SNS