Cloudflare 서비스가 다운되었습니다. 어디가 망가졌고 누가 영향을 받았으며 어떻게 대처했을까요? 1. 어디가 망가졌나? 한국시간 오후 7:21분, 여러 게임들에 네트워크 장애가 발생합니다. 모두 Cloudflare 를 사용하고 있었고 장애가 리포트 됩니다. 나중에 Cloudflare 측에서 밝힌 바에 따르면 IP Transit provider 에 문제가 생겼다고 하네요. Transit provider 란 공개적으로 노출되어 있는 목적지 (publicly reachable destination) 를 peering 으로 연결해 주는 서비스입니다. P2P를 생각하시면 되는데요. 데이터를 요청하거나 받아올 때 어디로 가야하는지를 알려줘야 하는데 이 서비스에 장애가 났으니 데이터가 길을 잃게 된거죠. 2. 누가 영향을 받았나? 실시간 데이터가 많이 오가는 게임 서비스가 주로 영향을 받았습니다. 유명한 것들만 추려서 써보면 다음과 같습니다. 게임: Call of Duty, GTA 5, League of Legends, Apex Legends, Destiny 2, FIFA, World of Warcraft 서비스: PSN, Xbox Live and Steam 어마어마하군요...   보통 웹 서비스의 경우는 Peering 을 사용하지 않고 여러 request 를 통해 데이터를 받아옵니다. 하지만 게임의 경우는 응답속도나 지연이 중요하기 때문에 peer to peer 로 연결하게 되고 클라우드 플레어에서 제공하는 network 를 사용했다면 이번 장애에 영향을 받게 됩니다. 3. 어떻게 대처했나? 이런 경우는 가장 중요한 것은 무조건 현재상황을 최대한 빠르고 정확하게 공지하는 것입니다. https://www.cloudflarestatus.com/incidents/hptvkprkvp23 여기 링크를 보시면 분 단위로 어떤 식으로 대처하는지 나와 있습니다. 중요한 것은 빠른 대처, 그리고 예상 복구시간 입니다. 여기서 재미있는 포인트가 몇 개 있는데요. 1. 열심히 문제를 파악하고 있다/해결하고 있다는 것을 어필합니다. - We are continuing to investigate this issue. - We are continuing to work on a fix for this issue 2. 임시방편을 적용합니다. 20:57 에 보면 일단 session peering 을 끈 것으로 보입니다. 24:05 에 다시 켜는 것을 볼 수 있죠. 임시로 일단 문제를 일으키는 부분을 끄고 문제를 해결한 뒤 제대로 된 해결책을 적용하는 식으로 최대한 빠른 대응을 하고 있는 것을 볼 수 있습니다. ****** 마치며 ****** 아직도 이 문제는 현재진행형입니다. 계속적으로 문제를 해결하고 있는 Cloudflare 개발진을 생각하면 남일같지가 않네요. 지금도 고생하고 있을 그들을 위해 문제가 빨리 완벽하게 해결되길 바랍니다. Update: Cloudflare 가 범인이 아니라  Level 3/CenturyLink 의 문제라고 합니다. 오히려 Cloudflare 의 자동화된 문제파악 시스템 덕분에 빠르게 문제를 찾았다고 하네요. 존 그레이엄 커밍의 변입니다.  “Today we saw a widespread Internet outage online that impacted many multiple providers. This was not a Cloudflare-specific outage. Level 3/CenturyLink was responsible for an outage that affected many Internet services, including Cloudflare. Cloudflare's automated systems detected the problem and routed around them, but the extent of the problem required manual intervention as well.”