AWS도 같은 문제 생기면 헉..!

HoJ Kim

Head of Solution Engineering

한국시간으로 금일 오전부터 마이크로소프트의 서비스 장애로 인하여 글로벌 서비스 업체들의 광범위한 장애가 발생하고 있습니다. < 장애 발생 시간 > * 7/18 6:00pm(ET): 한국시간 7/19(금) 오전 8시 < 장애 원인 및 현상 > * 장애원인: 사이버 보안 제품인 크라우드스트라이커의 '팰컨 센서' 업데이트로 인해 윈도우OS와 충돌을 일으키면서 블루스크린 및 복구 부팅 루프 발생 * 장애현상: 윈도우 블루스크린(BSOD) 지속적으로 나타나는 현상으로 인한 시스템 마비 < 장애 있었던 업체들/고객들 > * 항공사 * 유나이티드 항공 * 델타 항공 * 아메리칸 항공 * 라이언에어 * 프론티어 그룹 홀딩스의 계열사인 프론티어 항공: 7월18일 밤11시 - 7월19일 새벽 1시까지, 현재는 운행 재개 * 뭄바이 공항: 승객 수동 확인 방식 * 델리공항: 정전으로 인한 공항 일부 서비스 영향 * 홍콩 공항: 승객 수동 확인 방식 * 시드니 공항: 출국 전광판 정보 사라짐 * 젯스타 항공: 승객 체크인과 항공편 탑승 문제 * 버진 오스트레일리아: 항공편 운항 전면 중단 * 암스테르담 스키폴 공항 * 런던 스탠스 테트 공항: 일부 수속 수동이나 정상 운영 * 인디라 간디 국제공항: 게이트 안내와 수하물 태그 수기 작성 * 인디고(Indigo): 수기 보딩 패스 작성 * 홍콩 공항 * 스파이스제트(SpiceJet) * 프론티어: 미국 저가항공사 , 정전으로 인한 미국내 일부 항공편 취소 * Ryanair * 베를린 공항 * 인천공항: 온라인 예약, 모바일체크인, 항공권발권, 보딩 수속 지연 * 제주항공: 발권과 예약 시스템 오류 * 이스타항공: 발권과 예약 시스템 오류 * 김포공항: 키오스크 먹통 * 제주공항: 키오스크 먹통 * 에어프레미아: 발권과 예약 시스템 오류 * 스키폴 공항: 네델란드 암스테르담 * 항공권 예약 발권서비스를 제공하는 독일 아마데우스 자회사 나비테어 시스템 오류 * 금융 * 영국 런던증권거래소: 20분 매매지연, 규제뉴스 서비스 부문(RNS) 일부 데이터 미제공 * 말레이시아 증권 거래소 * 이탈리아 밀라노증권거래소: 지수산정 30분 지연 * 이스라엘 중양은행 * 남아프리카공화국 캐피텍 은행 * 알리안츠: 전산망 마비로 직원 로그인 불가 * 영구 은행 * 호주의 커먼웰스: 송금서비스 중단 * 의료 * 영국 NHS: 의료기록 저장과 예약시스템 장애로 신규환자 예약, 진료 및 처방 등 의료 활동 중단 * 영국약국협회: 시스템 장애 * 미국 애리조나: 911전산망 마비 * 미국 주요 혈액은행: 혈액공급 지연 * 독일: 병원 진료, 수술 취소 * 알래스카의 911 및 비응급 콜센터 장애 * 철도 및 교통 * 미국 워싱턴 WMATA: 지하철 운행 연기 * 보스턴 MBTA: 열차 위치와 도착정보 확인 불가 * 미국 뉴저지 뉴어크: 물류터미널 개시 연기 * 런던 택시: 카드 결재 중단 * 이탈리아 철도 서비스 이탈로와 트레니탈리아: 시스템 다운 * 영국 철도 회사 * 통신 및 미디어 * 텔스트라 * 영국 스카이뉴스: 사내망 마비로 생방송 중단 * 프랑스 CANAL+, TF1: 방송 마비 * 호주 ABC, SBS: 정규 방송 진행 불가 * 뉴질랜드 ABC방송: 정규방송 중단 * 게임 * 국내 펄어비스'검은 사막' 서비스 긴급 점검 * 국내 그라비타의 라그나로크 온라인 게임 서비스 접속 장애 * MS가 엑스박스(XBOX) 콘솔과 PC 게임 패스를 통해 서비스하는 일부 게임 장애 * 서비스 * 쿠팡 풀필먼트서비스, 쿠팡 로지스틱스 서비스: 전산망 먹통 * 일본 맥도날드: POS 장애로 30% 점포 운영 제한 * 오사카 유니버설 스튜디오재팬: 계산 시스템 장애 * 미국 애리조나 힐튼호텔: 카드키 생성시스템 먹통 * 기타 * Azure, Microsoft 365 등과 같은 다양한 Microsoft 서비스 * MS가 제공하는 윈도 PC의 자동 재부팅 반복 - 일본 * 미국 캘리포리나 샌디에이고: 구치소 수감처리 시스템 다운 < 장애 해결 방법 > 1) 윈도우 안전모드에서 문제 파일 삭제 * 윈도 안전모드로 부팅(F8) > 고급복구 옵션 보기 > 문제 해결 > 고급 옵션 > 시작 설정 > 다시 시작 > 안전모드드 재시작(F4) > 명령프롬프트에서 크라우드 스트라이크 디렉터리로 이동: cd C:\Windows\system32\drivers\CrowdStrike > dir -00000291*.sys 파일을 찾은 후 >del C-00000291.sys 명령으로 파일 삭제 2) 안전모드에서 크라우드스트라이크 폴더 이름 변경 * 안전모드 부팅 및 명령 프롬프트 > 디렉토리 이동: cd C:\Windows\system32\drivers > 폴더 이름 변경: ren CrowdStrike CrowdStrike_old > 재부팅 3) CrowdStrike 프로그램 삭제하기 * 윈도우 제어판 열기 > 프로그램 삭제 > CrowdStrike Windows Sensor 삭제 > 재부팅 4) 기타 - 맥이나 리눅스에서 삭제하기 * https://www.dell.com/support/kbdoc/ko-kr/000126135/crowdstrike-falcon-sensor%EB%A5%BC-%EC%A0%9C%EA%B1%B0%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95 >> 중장기 해결/대처방안으로 비윈도우OS에 대한 수요가 늘어날 수 잇으며, 이후로 '멀티클라우드 전략' 또는 '하이브리드 클라우드 전략'기반의 DR서비스 또는 HA구성이 증가할 것으로 예상됨. <참고> * https://www.crowdstrike.com/blog/uninstall-protection-for-the-falcon-agent/ * https://singularity-approaching.tistory.com/18 * https://namu.wiki/w/2024%EB%85%84%20%ED%81%AC%EB%9D%BC%EC%9A%B0%EB%93%9C%EC%8A%A4%ED%8A%B8%EB%9D%BC%EC%9D%B4%ED%81%AC%EB%B0%9C%20%EC%A0%84%EC%82%B0%20%EB%A7%88%EB%B9%84%20%EC%82%AC%ED%83%9C * source: https://fastforward.com.cy/breakthrough/microsoft-service-outage-causes-widespread-disruptions-us-asia