[개선된 그래프 신경망을 사용한 교통 예측 � | 커리어리

[개선된 그래프 신경망을 사용한 교통 예측 🚗] 제가 사는 강남에서 여의도까지 택시를 타고 가려면 올림픽대로 또는 노들길 중 택일해야 합니다. 그러나 놀랍게도 강변 북로를 택한, 즉 한강 다리를 두 번 건넌 택시 기사님이 계셨습니다. 근데 도착 시간이 평소보다 빨랐어요. 경외의 눈빛을 보내니까 기사님이 알파고처럼 화답하셨습니다. "짬에서 나오는 빅데이터를 통해 최적 루트를 도출하였습니다. 알겠습니까? 휴먼. 그럼 나는 기사식당 오모가리 먹으러 20000... " 😔 지도 상의 각 지점을 Node로, 지점과 지점을 연결하는 도로를 Edge로 본다면 도로망은 거대한 Graph입니다. 목적지까지의 예상 도착 시간(ETA)을 정확히 구하려면 해당 경로의 정보만이 아닌, 연결된 인접 도로의 실시간 교통 정보까지 고려해야 할 것입니다. 지난 9월 3일 DeepMind는 Google Map과의 협업을 통해 ETA 정확도 개선 작업을 수행했다고 밝혔습니다. 앞서 말한 것처럼 Graph Neural Network(GNN)을 자연스럽게 사용했지요. Google의 막강한 인프라를 통해(나는 GPU 한 장 쓰려고 맨날 버지니아 가서 경매 뛰는데... 😔) 전 세계의 도로망을 아주 잘게(이름하여 Super-segments) 나누고 그것을 기반으로 GNN 단일 모델을 학습시켜 ETA를 제공합니다. 블로그 내용 중 특기할만한 점은 두 가지 더 있습니다. (1) 상용 서비스에 제공하는 모델은 추가 학습을 수행함에 따라 그래프 구조가 휙휙 바뀌면 안 되겠죠. 학습률을 잘 조정하는 것이 관건인데 MetaGradients, 즉 학습 중 동적으로 조정하는 방법론이 가장 성공적이었다고 합니다. (2) 손실 함수로 단순하게 이동 시간 오차를 줄이는 것보다 여러 다중 손실, 예컨대 그래프 전체 순회 시간 등을 추가로 더하여 학습하는 것이 모델 성능 면에서 더 좋았다고 하네요. 언젠가 저 알파고 기사님을 다시 만나면 Google Map의 최적 루트로 오모가리 빵 정면 승부를 해보겠습니다. 😔

Traffic prediction with advanced Graph Neural Networks

Deepmind

2020년 9월 16일 오후 3:04

댓글 0

함께 보면 더 좋은

OpenAI는 그 거대한 뉴럴 네트워크 모델을 어떻게 합리적인 시간 안에 학습시킬 수 있었을까요? 해답은 다양한 딥러닝 병렬 처리 기법들의 조합입니다. - 데이터 병렬 처리 - 서로 다른 GPU에서 배치의 서로 다른 하위 집합을 실행합니다. - 파이프라인 병렬 처리 - 서로 다른 GPU에서 모델의 서로 다른 레이어를 실행합니다. - 텐서 병렬 처리 - 여러 개의 GPU에 분할되는 행렬 곱셈처럼 단일 작업에 대한 수리적 연산을 나눕니다. - 전문가 혼합(MoE) - 각 레이어의 일부만 사용하여 각 샘플을 처리합니다. 초거대 모델에 대한 업계 관심에 높아지고 있고 산업 한가운데에 있는 저 또한 그러한 열기를 느끼고 있는데요. 때마침 지난 6월 9일 OpenAI는 병렬 처리 기법들에 대해 간결하지만, 종합적으로 다룬 글을 자사 블로그에 게재했습니다. 개론으로 삼을만한 아주 좋은 글이기에 직접 번역해봤습니다.

OpenAI는 뉴럴 네트워크 대형 모델을 어떻게 학습시키는가

Velog

추천 프로필

현직자에게 업계 주요 소식을 받아보세요.

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 일잘러들의 커리어 SNS