📃 LINE 플랫폼 서버의 장애 대응 프로세스와 문화 ✍️ 장애(Outage) 없는 서비스가 있을까요? 제가 생각하기엔 어느 정도 규모가 있는 서비스의 대부분은 한 번쯤 크든 작든 장애를 경험했

📃 LINE 플랫폼 서버의 장애 대응 프로세스와 문화 ✍️ 장애(Outage) 없는 서비스가 있을까요? 제가 생각하기엔 어느 정도 규모가 있는 서비스의 대부분은 한 번쯤 크든 작든 장애를 경험했을 거라 생각이 듭니다. 물론 개발자 혹은 특정 한 사람의 실수로 인해 장애를 발생하는 경우도 있습니다만, 그게 꼭 그 한 사람의 책임이나 잘못이라고 정리를 해버려선 안된다고 생각합니다. 장애는 피할 수 없습니다. 생각하지 못한 트래픽이 발생하거나, 말도 안 되게 서버의 전기선을 쥐가 갉아먹는다거나 예외 상황은 언제나 있기 마련이니까요. 그럼 이 장애를 어떻게 받아들여야 할까요? 이 글에서는 장애가 발생하고 해결하는 데까지의 일련의 프로세스를 공유하고 있습니다. 장애를 탐지하고 전파하고, 신속하게 원인을 파악해서 복구하고 이를 공유하며, 회고를 통해 재발하지 않도록 방지 대책을 수립하여야 합니다. 여기서 개인적으로 중요하다 생각하는 건 '회고'인데요. 일부 부서 사람들끼리만 장애를 확인하고 해결했다고 다가 아니라 팀 또는 조직 전체에 공유를 하며 '부끄러운 게 아니라' 비슷한 장애를 만나지 않도록 이런 과정을 lesson으로 삼아야 하죠. 장애는 곧 서비스의 신뢰성을 높여주는데 분명히 기여한다고 생각합니다. 혹시 장애를 맞았다면, 장애를 맞기 전이라면 이런 프로세스를 미리 구성해 두고 팀이 함게 성장하는 문화를 마련해 보는 건 어떨까요?