Hi, there! 10월 1일 ~ 10월 8 | 커리어리

Hi, there! 10월 1일 ~ 10월 8일 간 나온 AI 주요 포스트와 논문을 추려보았습니다. • AI로 유전자 발현을 예측하기(https://deepmind.com/blog/article/enformer) – DeepMind에서 Transformer 기반의 Enformer 아키텍처로 DNA 서열이 유전자 발현에 미치는 영향에 관한 예측 성능을 향상했습니다. • AI가 실패하는 7가지 경우(https://spectrum.ieee.org/ai-failures) – 버즈피드 스타일 리스트를 담은 잡지가 IEEE에 있다는 것 자체가 신기하네요... • 뛰어난 신소재를 찾기 위해 AI를 이용하기 시작했습니다.(https://thenextweb.com/news/ai-tool-discovers-new-materials-for-ev-batteries) • WIT 발표: Wikipedia 기반 이미지 텍스트 데이터셋(https://ai.googleblog.com/2021/09/announcing-wit-wikipedia-based-image.html) – 데이터셋 특별 주간 같네요. 아래 아마존의 것도 확인해보세요. • 사람의 명령을 이행하도록 가정용 로봇을 훈련하기 위한 신규 데이터셋(https://www.amazon.science/blog/new-dataset-for-training-household-robots-to-follow-human-commands) – 와우! 서보 한, 두 개에다가 라즈베리 파이를 사서 작업해봐도 좋을 것 같아요. • 백악관이 AI 피해를 제한하는 기술 '권리장전'을 제안했습니다.(https://apnews.com/article/joe-biden-science-technology-business-biometrics-b9dbf5fee3bf0e 407b988b31e21f5300) • Rigetti가 '상업적으로 이용 가능한' 양자 컴퓨터를 영국에 공개했습니다.(https://artificialintelligence-news.com/2021/10/04/rigetti-unveils-commercially-ready-uk-quantum-computer/) – 세상에, 흥분 안 할 수가 없군요. • 뉴런의 어셈블리로 잘 분리된 분포를 분류하는 법을 학습할 수 있다(https://arxiv.org/abs/2110.03171) – 읽어보지는 않았지만 무슨 내용인지 알 것 같습니다. C. H. Papadimitrou가 논문 저자 중 한 명이므로 읽을 가치가 충분해 보입니다. • Out-of-Distribution에 대한 ML 모델의 일반화와 개인 정보 보호 간의 연관성(https://arxiv.org/abs/2110.03369) – 실제 해결안이 아닌 공격에 대한 복원력(예방 조치)에 중점을 둡니다. 제 생각에 한번 살펴볼 가치가 있는 논문입니다. • 대규모 사전 훈련의 한계 탐색(https://arxiv.org/abs/2110.02095) – "이 작업을 통해 우리는 해당 현상을 체계적으로 연구했고 업스트림의 정확도를 높이면 다운스트림 작업의 성능이 포화(즉, 선형적으로 증가하다가 점차 정체)된다는 것을 확인했습니다." 저는 이론을 좋아하지만 이처럼 잘 설계된 실험 논문을 읽는 일은 항상 즐겁습니다. • 음성 기록을 이용하여 기계 학습 모델로 자폐 스펙트럼 장애를 감지하기 (https://arxiv.org/abs/2110.03281) • Neural Tangent Kernel로 연합 학습을 강화하다(https://arxiv.org/abs/2110.03681) • 높은 학습률이 균질성을 가져온다: 수렴과 균형 효과(https://arxiv.org/abs/2110.03677) – 아주 좋은 논문이지만 좀 더 발전시킬 수 있는 내용이라고 생각합니다. • ReLU 신경망의 최적 기억 능력(https://arxiv.org/abs/2110.03187) – 컴퓨터 과학 이론의 틈새시장이지만 꽤 재미있는 영역입니다. 우리는 ReLU 네트워크가 '튜링 완전'이라는 사실을 이미 알고 있으며 계산학적 관점에서 ReLU 네트워크를 훈련하는 작업이 어렵다는 걸 알고 있습니다. 이건 꽤 명백합니다. 그러나 Vapnik-Chervonenkis 차원 관점에서 볼 때 학습 가능성은 어느 정도일까요? '튜링 완전'은 그에 대해 어떤 정보도 주지 못하며 Hardness라고 해도 마찬가지입니다. • 데이터 중심 AI는 데이터의 개념을 재고해야 한다(https://arxiv.org/abs/2110.02491) – 논쟁의 여지가 있는 논문이라고 생각합니다. • 귀납법, 칼 포퍼 그리고 기계 학습(https://arxiv.org/abs/2110.00840) – 이번 주 베스트 픽입니다. Valiant도 이 주제에 대해 아주 훌륭한 논의를 진행한 적이 있습니다. 이 논문이 마음에 든다면 Valiant의 것도 참조하세요. 그는 학습 이론의 기초 토대를 쌓은 공로로 튜링 상을 받았습니다. 위 내용은 Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스에서 발췌, 번역하고 개인적으로 내용을 추가하여 만든 것입니다.

Predicting gene expression with AI

Deepmind

2021년 10월 10일 오전 4:44

댓글 0

함께 보면 더 좋은

OpenAI는 그 거대한 뉴럴 네트워크 모델을 어떻게 합리적인 시간 안에 학습시킬 수 있었을까요? 해답은 다양한 딥러닝 병렬 처리 기법들의 조합입니다. - 데이터 병렬 처리 - 서로 다른 GPU에서 배치의 서로 다른 하위 집합을 실행합니다. - 파이프라인 병렬 처리 - 서로 다른 GPU에서 모델의 서로 다른 레이어를 실행합니다. - 텐서 병렬 처리 - 여러 개의 GPU에 분할되는 행렬 곱셈처럼 단일 작업에 대한 수리적 연산을 나눕니다. - 전문가 혼합(MoE) - 각 레이어의 일부만 사용하여 각 샘플을 처리합니다. 초거대 모델에 대한 업계 관심에 높아지고 있고 산업 한가운데에 있는 저 또한 그러한 열기를 느끼고 있는데요. 때마침 지난 6월 9일 OpenAI는 병렬 처리 기법들에 대해 간결하지만, 종합적으로 다룬 글을 자사 블로그에 게재했습니다. 개론으로 삼을만한 아주 좋은 글이기에 직접 번역해봤습니다.

OpenAI는 뉴럴 네트워크 대형 모델을 어떻게 학습시키는가

Velog

추천 프로필

현직자에게 업계 주요 소식을 받아보세요.

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 일잘러들의 커리어 SNS