OOMKilled & Kubernetes QoS
CloudYuga
Kubernetes 클러스터 운영이 주 업무는 아니지만 SRE팀에서 Kubernetes에 앱을 배포하는 시스템을 만들고 있다보니 최근 Kubernetes를 많이 보게 됩니다. Kubernetes를 자세히 알지는 못하기 때문에 이슈 상황마다 하나씩 공부를 하고 있습니다.
최근 CPU 리소스를 어떻게 관리하는지에 관해 공부했는데 이 글에서 OOM에 관련한 정보를 얻을 수 있었습니다.
애플리케이션이 할당된 메모리보다 많이 사용하거나 워커 인스턴스의 메모리가 부족한 경우 OOMKilled로 컨테이너가 죽게 되는데 이때 누구를 죽일지 선택해야 하므로 리눅스 커널의 OOM Killer가 이 일을 합니다. OOM Killer는 시스템에 가장 영향을 적게 주기 위해 가장 적은 수의 프로세스를 죽이면서 최대 메모리를 다시 확보하기 위해서 어떤 프로세스를 죽이는게 맞는지를 선택합니다.
이 선택을 위해서 내부적으로 oom_score를 관리해서 oom_score가 높은 프로세스를 죽이게 됩니다. oom_score는 oom_score_adj로 조정할 수 있도록 제공하고 있으므로 Kubernetes도 우선 숭위를 조정하기 위해 oom_score_adj를 사용하게 됩니다. Kuberntes에서는 Pod을 관리하기 위해 QoS 클래스가 있으므로 Guaranteed 팟은 -998로, BestEffort는 1000으로 Burstable은 min(max(2, 1000 - (1000 * memoryRequestBytes) / machineMemoryCapacityBytes), 999) 로 보여하게 됩니다. 결국 BestEffort를 먼저 죽이고 Guaranteed는 나중에 죽이도록 전수 조정을 해주게 됩니다.
다음 내용이 궁금하다면?
이미 회원이신가요?
2023년 3월 11일 오전 11:14
댓글 0
함께 읽은 게시물
직장인으로서 10년 정도 일하게 되면 피할 수 없는 순간이 바로 조직에서 리더의 역할을 받게 되는 인사발령이다. 팀원이었을 때는 내게 주어진 업무를 내가 가진 능력과 주변 동료들의 도움으로 해결하고, 그에 합당한 평가와 보상을 기다리며, 나쁘지 않는 리워드와 내 위치에 안도하며 또 새해를 맞이하고 하루하루를 버텨나가는 과정에 큰 어려움이 없다.
... 더 보기-
👋 LLM 활용에 도움이 되는 가이드 모음
✅️Prompting Guide 101 by Google : https://lnkd.in/d8UwPWeN
... 더 보기데이터 엔지니어로 성장하고 싶다면~
🍀 데이터 엔지니어란?
소프트웨어 엔지니어링과 프로그래밍의 업무 역량 사이의 간극을 메우는 전문가로 데이터 엔지니어는 고급 분석 기술, 강력한 프로그래밍 기술, 통계적 지식, 빅데이터 기술에 대한 명확한 이해를 갖춘 사람입니다.
🍀 데이터 엔지니어는 어떤 일을 하나요?
정형 및 비정형 데이터에 쉽게 액세스할 수 있는 데이터 인프라를 설계, 관리, 테스트, 유지, 저장하고 작업을 하며, 대규모 데이터 처리를 탐색하고 확장 가능하고 안정적인 작업 환경을 보장하기 위해 전문 지식과 소프트 스킬 필요
🔱 서버와 애플... 더 보기
개발자는 개발만 잘하면 될까
최근에 친구가 추천해준 데일 카네기의 인간관계론을 읽던 중 고액 연봉을 받는 엔지니어들의 특징에 대한 흥미로운 내용이 있었다.
... 더 보기< 스포티파이와 멜론, 같은 음악인데 왜 경험은 다를까? >
1. 엔터테인먼트 프로덕트의 본질은 콘텐츠다. 사용자는 콘텐츠를 소비하며 감정을 느낀다. 재미, 감동, 공포, 희열. 인간의 다양한 감정이 콘텐츠를 통해 꺼내진다.
