Senior Backend Engineer, Inference Platform

글로벌 및 로컬 요청 라우팅 구축 및 최적화, 데이터 센터 전반의 리소스 동적 할당을 위한 오토스케일링 시스템 개발, 다중 테넌트 트래픽 쉐이핑 및 스마트 속도 제한 설계, 지연 시간과 처리량 간의 트레이드오프 엔지니어링, 프리픽스 캐싱 최적화, ML 연구원과 협업하여 새로운 모델 아키텍처 프로덕션 적용, 시스템 레벨 성능 프로파일링 및 병목 현상 해결.

5년 이상의 대규모 결함 허용 분산 시스템 및 API 마이크로서비스 구축 경험, 복잡한 시스템의 효율성·확장성·안정성 설계 및 개선 능력, OS 개념(멀티스레딩, 메모리 관리, 네트워킹, 스토리지 성능)에 대한 깊은 이해, Rust, Go, Python, TypeScript 중 하나 이상의 전문가 수준 프로그래밍 능력, (우대) 현대적 LLM 및 생성형 모델 서빙 지식, SGLang, vLLM, NVIDIA Dynamo 등 오픈소스 추론 생태계 경험, Kubernetes 또는 컨테이너 오케스트레이션 경험, GPU 소프트웨어 스택(CUDA, Triton, NCCL) 및 HPC 기술(InfiniBand, NVLink, MPI) 숙련도, 컴퓨터 공학 관련 학사/석사 학위 또는 그에 준하는 실무 경험.