러시아 검색 서비스인 Yandex에서 800개의 마이크로 서비스로 운영중이던 시스템에서 요청 재시도로 인해서 발생했던 장애를 가상의 스토리로 다시 정리한 글인데 재미도 있고 네트워크 문제를 피하기 위해서 흔히 하는 요청 재시도의 복잡한 문제를 쉽게 이해할 수 있는 글입니다.

서비스를 구현하면서 반복되는 요청 실패 문제를 해결하기 위해서 재시도를 구현하는데 재시도로 인한 문제를 방지하기 위해서 지수 백오프와 지터를 구현해서 적용합니다. 지수 백오프는 요청이 실패했을 때 재시도를 똑같은 시간마다 하는게 아니라 1,2,4, 8초 같은 식으로 늘려가는 방법을 말하고 지터는 모든 클라이언트가 똑같은 시간에 재시도를 해서 서버에 과부하가 일어나지 않도록 임의의 시간을 추가해서 각 클라이언트가 다른 간격으로 재시도를 하게 하는 방법입니다.

하지만 백엔드에 큰 장애가 발생하게 되자 문제 상황을 해결하기 위해 롤백을 했음에도 재시도로 인한 요청이 너무 많아서 백엔드 시스템에 정상적으로 돌아오지 않았고 결국 트래픽을 차단해서 문제를 해결했습니다.

재시도로 인해서 시스템 복구에 더 오랜 시간이 걸리자 재시도가 왜 요청을 증폭시키는지를 조사하고 이를 해결하기 위해서 서킷브레이커와 재시도 예산을 테스트하고 비교한 결과 재시도 예산을 선택하게 됩니다. 서킷 브레이커는 일정 임계점에 이르면 요청을 차단하는 방법이고 재시도 예산은 재시도를 할 수 있는 예산을 가지고 그만큼만 재시도하는 방식입니다.

재시도를 개선해 나가면서 각 단계의 시뮬레이션 결과와 동료들과 논의한 가상 스토리가 있어서 언뜻 쉬워보이는 재시도의 복잡성을 쉽게 이해할 수 있습니다.

https://medium.com/yandex/good-retry-bad-retry-an-incident-story-648072d3cee6

약 3주동안 컨테이너가 어떻게 cpu를 사용하는지 공부했습니다.

3주가 걸린만큼 내용이 어려웠는데요. 공부 후 쿠버네티스에서 limit.cpu를 설정안하면 어떤 일이 일어나는지 알았습니다. 그리고 역시나 운영체제를 이해하는 것이 얼마나 중요한지 깨닫는 시간이었습니다.

 * 블로그: https://malwareanalysis.tistory.com/773
 * 유투브: https://youtu.be/TD2GpWOGD2s?si=91A_WuQTsCShxAnq

3주동안 컨테이너에서 어떻게 cpu를 제어하는지 공부한 후

씬커님, 권수님과 함께 보안주제로 팟캐스트를 진행했습니다. 1부에서는 아래 내용에 대해 이야기했습니다.

 * 팟캐스트 링크: https://youtu.be/YtWgE8hZDpA?si=ANP9Rjqy1DfiJt08

이야기한 내용
 * 보안 컨설팅과 보안 실무로 일했을 때 차이점
 * 보안기술 컨설팅과 보안관리 컨설팅의 차이점
 * 보안 거버넌스란?
 * 개발자가 알아야하는 최소 보안
 * 시스템 접속 이력을 남겨야하는 이유
 * 보안 엔지니어의 역할
 * 보안팀과 의사소통이 어려운 이유
 * 좋은 해싱함수란?
 * bcrypt
 * 권수님이 개발 중에 신경쓰는 보안
 * 어디까지 개인정보로 생각해야하는가?
 * 위치정보를 어디까지 개인정보로 봐야하는가?
 * 토큰 개발을 할 때 보안관점에서 무엇을 생각하는가?
 * 세션 TTL은 얼마나 하면 좋을까?
 * 디바이스 트러스트 정보는 어떤 데이터베이스를 사용해야할까?
 * 접근제어
 * 접근통제와 인증

씬커님, 권수님과 이야기하는 보안 팟캐스트 1부

현장 프로모션 운영

강인후

디지털 트랜스포메이션

이경님

네트워크

Jonas

LG U+ HRD

김선영

LG U+ 인공지능 엔지니어

come true !

LG 유플러스 프론트엔드 개발자

윤재원

LG U+ 프론트엔드 개발자

김희찬

AI 서비스 개발자

이호경

i1m.

LG U+ 백엔드 개발자

채명철

LG U+ Team Leader

최동규

이윤경

LG U+ 데브옵스 개발자

신명철

LG U+ AI Scientist

최재혁

장원익

LG U+ 데브옵스 엔지니어

이승민

AI Technical Program Manager

임희관 (Brandon)

LG U+ UX Writer

LG U+ 안드로이드 개발자

박유진

AI Engineer

신윤호

lg 유플러스 선임

김준희

부산대학교 정보컴퓨터공학부

김종철

LGU+ 프로젝트 매니저, 신사업/신기술 발굴

하슬비

LGU+ CRM

김요한

LG유플러스 / AI PM

신왕수

LGU+ PM

박왕근

LGU+ 책임

이영민

LGU+  UX Designer

이지연

LGU+ 선임

샤뉴

LGU+ 디자이너

김지유

LGU+ 프로젝트매니저

김진석

leeJames

LGU+ 사원

소희

LGU+ AI Scientist

Seongik Park

LGU+ 백엔드 개발자

호풍

LGU+ 책임연구원

유성호

LGU+ ML Engineer

김시윤

LGU+ 백엔드

유신일

소프트웨어 엔지니어

정동진

LGU+

햄뿡이

LGU+ ㅋ

한성주

LGU+ 프로젝트 개발

신병석

LGU+ 프로덕트 매니저

송희두

프로덕트 매니저/서비스 기획

김동희

LG 유플러스 

소금이

개발

Kim nakun

LGU+ 데브옵스 엔지니어

최성욱

LGU+ 개발 리더

방욱재

LGU+ 안드로이드 개발자

김범태

형준

LGU+ 인공지능 개발자

한정훈

LGU+ 개발자

우현

신유진

LGU+ 프론트엔드 개발자

김태성

experience director

김동일

데이터분석가

류성균

게임 기획/서비스 기획

박신영

이경재

신희철

LG유플러스 상품기획 마케터

정문기

LG유플러스 사원

최은정

LG유플러스 PM

김현태

LG유플러스

신은별

안창현

리스크관리

용용

LG유플러스 마케터

박소영

LG유플러스 인사담당자

김유리

마케팅 매니저

Hyeyoung Suk

lg유플러스 프로덕트 매니져

이종삭

LG유플러스 서비스기획

문명필 

신성스

박영웅

장광복

LG유플러스 선임

김민규

LG유플러스 서비스기획 및 제휴 매니저

LG유플러스 책임

LG유플러스 UX

이은경

서비스 기획

봄이 ?

사업 개발

김보균

LG유플러스 프로덕트매니저

문진선

LG유플러스 프로덕트 매니저

서무원

정서현

한민형

류제승

lg유플러스 ux리서처

김수영

LG유플러스 팀장

이민홍

마케팅기획

shyuuga

권순홍

LG유플러스 UX디자이너

백지윤

lg유플러스 주임

고윤권

정혜원

UX researcher

윤상섭

LG유플러스 상무

이해성

소연

LG유플러스 프로젝트 매니저

채성태

LG유플러스 B2B데이터마케터

임영제

김소인

미스터 규

언어

프론트엔드

백엔드

데이터베이스

데브옵스

재직자

강인후