Self hosted k8s에서 EKS로 있는데 CNI 때문에 문제가 생겨서 찾아보다가 개념을 잘 정리해주신 글이 있어 공유합니다. 글을 이해하기 위한 사전지식도 정리되어서 좋네요
AWS CNI 단점 이라고 써있는 ‘EC2 인스턴스 유형(예 : m5.large)과 사양에 따라 Worker Node에 생성할 수 있는 Pod수가 제한이 됨’ 이 정확히 제가 겪은 문제였어요. 엄청 많은 수의 spark job이 배치로 동작하면서 Airflow worker + spark driver + executor 팟들이 생성되어서요.
—-
AWS EKS는 Kubernetes Network Addon인 CNI( Container Networking Interface )로
VPC( Virtual Private Cloud )의 IP 주소를 Pod에 할당하는 AWS VPC CNI를 사용하고 있음
즉 생성되는 Pod가 할당 받는 IP주소는 AWS VPC에서 할당해주는 IP주소가 됨.