anthropic
Engineering Manager, API Core Capabilities
개발인프라·DevOps
AI 요약
Anthropic에서 Claude API의 핵심 경로(/v1/messages) 및 요청 라이프사이클을 담당하는 API Core 팀을 이끌 엔지니어링 리더를 채용합니다. 대규모 트래픽 환경에서 API의 효율성, 처리량, 안정성을 극대화하고 인프라 및 추론 팀과 협력하여 컴퓨팅 자원을 효율적으로 배분하는 역할을 수행합니다.
주요 업무
- API Core 팀의 채용, 성과 관리, 경력 개발 및 조직 건강성 관리
- 서비스 효율성, 처리량 확장, 속도 제한 및 가속 제한 시스템에 대한 기술 전략 및 로드맵 수립
- 토큰 경로 효율성 향상, 요청당 오버헤드 감소, 프로토콜 수준 최적화 및 차세대 API 서빙을 위한 아키텍처 변경 주도
- 추론(Inference) 및 컴퓨팅 팀과 협력하여 용량 계획, 리전별 로드 밸런싱 및 컴퓨팅 제약 기간 대응 방안 수립
- 할당량 모델, 집행, 티어 간 공정성 및 GTM/지원 팀용 운영 도구를 포함한 속도 제한 및 가속 제한 하위 시스템 총괄
- /v1/messages 경로에 대한 신뢰성 표준(지연 시간 SLO, 에러 버짓 관리, 장애 검토 프로세스) 설정 및 유지
- 인프라, 추론, 세이프가드 등 타 팀과의 협력을 통한 플랫폼 아키텍처 일관성 확보
자격 요건
- 고처리량, 저지연 백엔드 서비스 또는 개발자 플랫폼을 구축하는 엔지니어링 팀을 10년 이상 관리한 경험
- 대규모 시스템(수백만 QPS, 다중 리전, 자원 제한 환경)에서 서비스 효율성 또는 처리량을 크게 개선한 실적
- 시스템 레벨 성능 엔지니어링(Rust, Go, 프로파일링, 얼로케이터 및 런타임 튜닝), 대규모 분산 시스템(로드 밸런싱, 속도 제한, 백프레셔, 요청 라우팅), 또는 API 플랫폼 디자인 중 하나 이상에 대한 깊은 전문성
- 자원 제약 상황에서 단기 완화 조치와 장기적 재작성/마이그레이션 간의 균형을 맞추며 아키텍처 의사결정을 내릴 수 있는 능력
- GTM, 재무, 임원진 등 비엔지니어링 이해관계자와 기술적 트레이드오프를 명확히 소통할 수 있는 뛰어난 커뮤니케이션 역량
- 명확한 기대치 설정, 피드백 제공을 통해 고성능 팀을 육성할 수 있는 능력
기술 스택
RustGoAPIDistributed SystemsLoad BalancingRate Limiting