Hi, there! 9월 3일 ~ 9월 10일 간 나온 AI 주요 포스트와 논문을 추려보았습니다. Alexa 뉴스레터 작성자는 매주 바뀌는데요, 이번 주 담당 Adrian de Wynter는 아메리칸 조크를 꽤나 많이 구사하네요. 😔 • 분자 에너지 예측 성능을 개선하기 위해 적대적 공격 사용하기(https://news.mit.edu/2021/using-adversarial-attacks-refine-molecular-energy-predictions-0901) – 꽤 재밌는 내용입니다. 사실 적대적 공격은 모델을 망가뜨리기 위한 것입니다. 그러나 올바르게 사용하면(즉, "왜 내 모델이 망가지지?" 살펴보면) 성능을 향상할 수 있습니다! • 자유 소프트웨어 재단이 철학적, 법적 질문에 대한 Copilot 백서를 요청하다(https://www.fsf.org/blogs/licensing/fsf-funded-call-for-white-papers-on-philosophical-and-legal-questions-around-copilot) – 자유 소프트웨어 재단이 Github의 Copilot을 "받아들일 수 없고 부당한" 것이라고 언급했습니다. 그들은 또한 자유 소프트웨어 개발자들에게 Github 보이콧을 촉구하고 있습니다. 이건 굉장히 흥미로운 딜레마인데요. 생각해 보세요. Github은 소규모 개발자를 위한 무료 플랫폼이었고 오픈 소스 정신을 구현했던 곳입니다. • 탐욕형 AI 에이전트는 협력하는 법을 배웁니다(https://spectrum.ieee.org/reinforcement-learning?) – 실상: 게임 설정에 따라 상호 협력만이 유일한 최적 전략이 될 수 있습니다. 더 중요한 점으로, 확률론적으로 반복되는 죄수의 딜레마 게임에서 에이전트가 몇 턴을 플레이할지 미리 알도록 게임을 설정하면 배신이 최적의 전략이자 유일한 내쉬 균형이 됩니다. 따라서 기본적으로 이 문제에 크고 복잡한 모델을 적용해봤자 무의미할 수 있습니다. • 자가 재생산하는 기계로 가는 길(https://www.wsj.com/articles/the-road-to-self-reproducing-machines-11630605493) – 월 스트릿 저널을 구독하고 계시다면 이 글은 꽤 읽어볼 만한 가치가 있습니다(Frank Wilczek의 기고입니다!). 유료로 막혀있다면 굳이 페이월을 우회해서 읽으실 필요는 없습니다... • 비지도 학습으로 알려지지 않은 적대적 공격을 탐지할 수 있습니다(https://bdtechtalks.com/2021/08/30/unsupervised-learning-adversarial-attacks-detection/) – 다양한 논문을 리뷰한 글입니다. 적대적 공격과 탐지, 이 군비 경쟁을 안 좋아할 수가 없군요. (참고로 이 글은 고기혁 박사님을 포함한 KAIST 연구진의 논문을 다루고 있네요. 👍) • 이제 기계를 학습시킬 수 있으니까 학습한 걸 잊게 만들 수도 있지 않을까?(https://arstechnica.com/information-technology/2021/08/now-that-machines-can-learn-can-they-unlearn/) – 이건 미친 소리 같지만, 꽤 효과가 있을 수도 있습니다. 근데 이게 만약 가능하더라도 그냥 우리가 잊고 싶어 하는 정보를 입력 안 하고 모델을 재학습 시키면 되는 게 아닐까요? 농담이고요, 사실 수학적인 관점에서 매우 흥미로운 문제입니다. 왜냐하면 모델의 고유한 비선형성(과 기억하는 정도의 크기)으로 인해 파라미터 수십억 개에 걸쳐 주어진 데이터 포인트의 경로를 최소 1개 이상 "추적" 가능해야 하기 때문입니다. 재미있네요! • BERT는 오버 스펙일 수 있습니다: 생물의학 분야에서의 작지만 소중한 잔차 합성곱 신경망 기반 엔터티 연결 방법(https://arxiv.org/abs/2109.02237) – 동일한 내용을 제안하는 여러 논문들이 있습니다. 일부 독자가 언급하는 진짜 문제는 이러한 모델을 훈련시키기가 매우 어렵다는 점입니다. • 경사 하강법의 복잡성: CLS = PPAD ∩ PLS(https://arxiv.org/abs/2011.01929) – 이것은 주목할 만한 논문입니다. 논문의 가장 큰 시사점은 경사 하강법의 복잡도 특성을 설명한 점이지만 그다음은(저는 더 흥미로운 내용이라고 생각...) CLS를 PPAD(내쉬 균형 기억나세요?)의 일부 형태로 접을 수 있다는 점입니다. • 안녕하세요, 제 이름은 Martha입니다. 이름을 이용하여 생성 대화 모델에서 편향을 측정하고 완화합니다.(https://arxiv.org/abs/2109.03300) – 꽤 흥미로운 접근 방식입니다. 저 또한 이름(그리고 대명사!)을 사용하는 것이 편향을 측정하는 데 매우 효과적이라고 주장하지만, 그것을 완화시키는 것은 전혀 다른 이야기입니다. 저는 전문가로 발돋움하기 위해 이름을 바꾼 사람들을 꽤 ​​많이 알고 있습니다. 그래서... 네, 풀어야 할 숙제가 꽤 많을 것으로 예상합니다. • 그래픽 모델의 능동적 추론과 인식적 가치(https://arxiv.org/pdf/2109.00541.pdf) – 초록을 읽고 제가 물리학을 전공하던 시절을 돌이켜 보게 되었습니다. 그리고 골치가 아파지기 시작했죠. • 차등 개인 정보 보호가 NLP를 만나면: 악마는 디테일 안에 있습니다.(https://arxiv.org/pdf/2109.03175.pdf) – "우리가 기여한 바는 텍스트에 대한 차등 개인 정보 보호 오토 인코더 ADePT를 형식적으로 분석한 것입니다(...) 우리의 증명으로는 ADePT가 차등 개인 정보 보호를 만족시키지 못하므로 논문의 실험 결과를 입증할 수 없음을 알립니다.” 보이시나요? 이것이 바로 논문에서 형식적 증명을 사용해야 하는 이유입니다. • 사전 훈련된 RoBERTa-GPT2와 외부 지식을 사용한 공감적 대화 생성(https://arxiv.org/abs/2109.03004) – 이것이 만들어지게 되어 매우 기쁩니다! 내 능력치보다 더 공감을 잘해주는 모델은 정말 유용할 것입니다. 농담하는 것처럼 들리지만 그렇지 않습니다. 이러한 유형의 감정적인 활동은 저를 포함해 일부 사람들에게 매우 어렵고 일상에서의 상호 작용에 큰 부담이 됩니다. 해당 모델의 의학적 사용은 적어도 감정 플래시 카드보다는 삶의 질을 더욱 끌어올려 줄 것입니다. • GOLD: 데이터 증강으로 대화에서의 논점 일탈 탐지 기법 개선하기(https://arxiv.org/abs/2109.03079) – 이 논문은 제 아카이브 빙고에서 "PWATAC" 칸을 체크하게 만들었습니다. 저는 이 논문을 좋아하지만 어쩔 수 없네요. 아, PWATAC가 뭐냐고요? Papsers With an Acronym on the Title as an Attention-Catcher 즉, 주목받을 목적으로 두문자어를 포함한 논문들입니다. 제 빙고의 다른 멤버들은 다음과 같습니다. - "어쩌고 BERT: 뭔가를 위한 무엇하기" - "당신에게 필요한 건 무엇뿐" - "그래프 신경망으로 뭔가를 무엇하기" - "(이곳에 딥 러닝 주제 입력)에 대한 스케일링 법칙" 때로는 짓궂은 말장난도 포함합니다. 고맙게도 더 이상 세서미 스트리트 캐릭터는 없네요. • 생물의학 영역에서는 GPT-3 모델이 열악한 퓨 샷 러너입니다.(https://arxiv.org/abs/2109.02555) – 공정하게 말하자면 생물의학은 매우 까다로운 영역입니다. 위 내용은 Alexa AI Deep Learning Blog에서 발행하는 AI 주간 뉴스에서 발췌, 번역하고 개인적으로 내용을 추가하여 만든 것입니다.