Hi, there! 10월 1일 ~ 10월 8일 간 나온 AI 주요 포스트와 논문을 추려보았습니다. • AI로 유전자 발현을 예측하기(https://deepmind.com/blog/article/enformer) – DeepMind에서 Transformer 기반의 Enformer 아키텍처로 DNA 서열이 유전자 발현에 미치는 영향에 관한 예측 성능을 향상했습니다. • AI가 실패하는 7가지 경우(https://spectrum.ieee.org/ai-failures) – 버즈피드 스타일 리스트를 담은 잡지가 IEEE에 있다는 것 자체가 신기하네요... • 뛰어난 신소재를 찾기 위해 AI를 이용하기 시작했습니다.(https://thenextweb.com/news/ai-tool-discovers-new-materials-for-ev-batteries) • WIT 발표: Wikipedia 기반 이미지 텍스트 데이터셋(https://ai.googleblog.com/2021/09/announcing-wit-wikipedia-based-image.html) – 데이터셋 특별 주간 같네요. 아래 아마존의 것도 확인해보세요. • 사람의 명령을 이행하도록 가정용 로봇을 훈련하기 위한 신규 데이터셋(https://www.amazon.science/blog/new-dataset-for-training-household-robots-to-follow-human-commands) – 와우! 서보 한, 두 개에다가 라즈베리 파이를 사서 작업해봐도 좋을 것 같아요. • 백악관이 AI 피해를 제한하는 기술 '권리장전'을 제안했습니다.(https://apnews.com/article/joe-biden-science-technology-business-biometrics-b9dbf5fee3bf0e 407b988b31e21f5300) • Rigetti가 '상업적으로 이용 가능한' 양자 컴퓨터를 영국에 공개했습니다.(https://artificialintelligence-news.com/2021/10/04/rigetti-unveils-commercially-ready-uk-quantum-computer/) – 세상에, 흥분 안 할 수가 없군요. • 뉴런의 어셈블리로 잘 분리된 분포를 분류하는 법을 학습할 수 있다(https://arxiv.org/abs/2110.03171) – 읽어보지는 않았지만 무슨 내용인지 알 것 같습니다. C. H. Papadimitrou가 논문 저자 중 한 명이므로 읽을 가치가 충분해 보입니다. • Out-of-Distribution에 대한 ML 모델의 일반화와 개인 정보 보호 간의 연관성(https://arxiv.org/abs/2110.03369) – 실제 해결안이 아닌 공격에 대한 복원력(예방 조치)에 중점을 둡니다. 제 생각에 한번 살펴볼 가치가 있는 논문입니다. • 대규모 사전 훈련의 한계 탐색(https://arxiv.org/abs/2110.02095) – "이 작업을 통해 우리는 해당 현상을 체계적으로 연구했고 업스트림의 정확도를 높이면 다운스트림 작업의 성능이 포화(즉, 선형적으로 증가하다가 점차 정체)된다는 것을 확인했습니다." 저는 이론을 좋아하지만 이처럼 잘 설계된 실험 논문을 읽는 일은 항상 즐겁습니다. • 음성 기록을 이용하여 기계 학습 모델로 자폐 스펙트럼 장애를 감지하기 (https://arxiv.org/abs/2110.03281) • Neural Tangent Kernel로 연합 학습을 강화하다(https://arxiv.org/abs/2110.03681) • 높은 학습률이 균질성을 가져온다: 수렴과 균형 효과(https://arxiv.org/abs/2110.03677) – 아주 좋은 논문이지만 좀 더 발전시킬 수 있는 내용이라고 생각합니다. • ReLU 신경망의 최적 기억 능력(https://arxiv.org/abs/2110.03187) – 컴퓨터 과학 이론의 틈새시장이지만 꽤 재미있는 영역입니다. 우리는 ReLU 네트워크가 '튜링 완전'이라는 사실을 이미 알고 있으며 계산학적 관점에서 ReLU 네트워크를 훈련하는 작업이 어렵다는 걸 알고 있습니다. 이건 꽤 명백합니다. 그러나 Vapnik-Chervonenkis 차원 관점에서 볼 때 학습 가능성은 어느 정도일까요? '튜링 완전'은 그에 대해 어떤 정보도 주지 못하며 Hardness라고 해도 마찬가지입니다. • 데이터 중심 AI는 데이터의 개념을 재고해야 한다(https://arxiv.org/abs/2110.02491) – 논쟁의 여지가 있는 논문이라고 생각합니다. • 귀납법, 칼 포퍼 그리고 기계 학습(https://arxiv.org/abs/2110.00840) – 이번 주 베스트 픽입니다. Valiant도 이 주제에 대해 아주 훌륭한 논의를 진행한 적이 있습니다. 이 논문이 마음에 든다면 Valiant의 것도 참조하세요. 그는 학습 이론의 기초 토대를 쌓은 공로로 튜링 상을 받았습니다. 위 내용은 Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스에서 발췌, 번역하고 개인적으로 내용을 추가하여 만든 것입니다.