anthropic
Staff Software Engineer, Inference
개발AI·머신러닝인프라·DevOps연구·R&D
AI 요약
Anthropic의 Inference 팀에서 Claude 모델을 전 세계 사용자에게 효율적으로 서비스하기 위한 대규모 분산 시스템 및 인프라를 구축하고 최적화할 Staff Software Engineer를 채용합니다.
주요 업무
지능형 라우팅 알고리즘 설계 및 최적화, 컴퓨팅 플릿 자동 확장 관리, 신규 모델 배포를 위한 프로덕션급 파이프라인 구축, 신규 AI 가속기 플랫폼 통합, 추론 기능(구조화된 샘플링, 프롬프트 캐싱 등) 기여, 성능 분석 및 튜닝, 멀티 리전 배포 및 지리적 라우팅 관리
자격 요건
관련 분야 학사 학위 이상 또는 그에 준하는 경력, 분산 시스템 및 대규모 서비스 오케스트레이션에 대한 풍부한 소프트웨어 엔지니어링 경험, 성능 최적화 및 지능형 요청 라우팅 숙련도, Kubernetes 및 클라우드 인프라(AWS, GCP) 경험, Python 또는 Rust 숙련도. (우대: LLM 추론 최적화, 배치 전략, 캐싱 및 멀티 가속기 배포 경험)
기술 스택
PythonRustKubernetesAWSGCPDistributed SystemsLLM Inference OptimizationBatchingCaching