커리어리 친구들, 올해도 싱그러운 새 봄이 오고 있습니다. 건조한 바람 때문에 많은 곳에서 산불이 나서 너무 안타깝습니다. 지난주 조지아 벤지오 교수가 아들과 함께 독특한 논문을 발표했는데 요약해서

커리어리 친구들, 올해도 싱그러운 새 봄이 오고 있습니다. 건조한 바람 때문에 많은 곳에서 산불이 나서 너무 안타깝습니다. 지난주 조지아 벤지오 교수가 아들과 함께 독특한 논문을 발표했는데 요약해서 전달해봅니다. 생성적 플로 네트워크(Generative Flow Networks)를 위해 GFlowNets라고 부르는 데, 강화 학습, 심층 생성적(deep-generative) 모델 및 에너지 기반 확률 모델링의 교차점 어딘가에 있다고 벤지오 교수는 말했습니다. 또한 GFlowNets은 변이 모델 및 추론과 관련이 있으며 설명적 인과 요인과 그것들을 연관시키는 메커니즘 모두를 풀기 ​​위해 비모수적 베이지안 모델링, 생성적 능동 학습, 추상 표현의 비지도 또는 자기 지도 학습을 위한 새로운 문을 열 수 있다고 주장했습니다. 그러나 특히 시스템을 구현하기 위해 2017년 이후로 많은 논문과 강연에서 논의해 온 합리적인 방법으로 분포 일반화와 같은 귀납적 편향이 있습니다. 이를 통해 신경망은 그래프와 같은 데이터 구조에 대한 분포를 모델링하여 샘플을 추출할 뿐만 아니라 모든 종류의 확률적 양(예: 자유 에너지, 변수의 임의 하위 집합에 대한 조건부 확률 또는 분할 함수)을 추정할 수 있습니다. 그렇지 않으면 다루기 어려워 보입니다. 예를 들어 NeurIPS 논문에서와 같은 분자 또는 현재 및 향후 작업에서 설명 및 인과 관계 그래프입니다. 동시에, 이것은 처음에는 이상하게 보일 수도 있고 길들여야 할 필요가 있는 새로운 짐승처럼 적절한 최적화 알고리즘은 여전히 ​​빠른 발전을 하고 있으며 향후 연구에서 많은 기회가 우리를 기다리고 있을 것입니다. 많은 학생들이 새로운 개념을 소화하는 데 시간이 걸렸지만 그만한 가치가 있습니다. 향후 수많은 새로운 논문이 나올 예정입니다. 벤지오 교수의 아들인 엠마뉴엘은 GFlowNets에 대한 첫 번째 논문을 이끌었고, 원래 GFlowNet 논문인 NeurIPS 2021 논문과 함께 이에 대한 블로그 항목을 작성했습니다. 그리고 더 최근에, 벤지오 교수는 기본적인 아이디어를 설명하기 위한 튜토리얼을 작성했고, 거기에서 최근 공개적으로 이용 가능한 모든 논문을 찾을 수 있을 것입니다. 또한 최근 밀라에서 내부적으로 진행한 이 다소 기술적인 이야기와 GFlowNets, 인과 관계 및 의식에 대한 보다 접근하기 쉽고 철학적인 토론을 참조하기 바랍니다. 신경망에 시스템 2 귀납적 편향을 도입함으로써 SOTA AI와 인간 지능 간의 격차를 줄이기 위한 GFlowNets의 향후 개발에 대한 창을 제공합니다. 저도 아직 SOTA AI 모델은 자세히는 모르나 GFlowNets 를 어디에 적용할까 생각하면서 논문과 이 블로그를 읽어 보았습니다. 벤지오 교수는 GFlowNets 활용으로 분자 분석에 대해 예를 들었는 데, 저는 양자 역학 컴퓨팅과 함께 이용하면 좀더 스케일 업 하지 않을까 기대해봅니다. 관련된 블로그는 아래에 있으니 관심 있는 분들은 어렵더라도 한번 읽어 보기를 추천합니다.