anthropic
Sr. Software Engineer, Inference
개발AI·머신러닝인프라·DevOps연구·R&D
AI 요약
Anthropic의 Inference 팀에서 Claude 모델을 전 세계 사용자에게 안정적이고 효율적으로 서비스하기 위한 대규모 추론 인프라를 구축하고 관리할 엔지니어를 채용합니다. 분산 시스템, ML 시스템 배포, 클라우드 인프라 역량을 바탕으로 연구와 비즈니스 성과를 동시에 지원하는 역할을 수행합니다.
주요 업무
Claude 모델 서빙을 위한 비판적 시스템 구축 및 유지보수, 컴퓨팅 효율성 극대화 및 고성능 추론 인프라 제공, 지능형 라우팅 알고리즘 설계, 컴퓨팅 플릿 오토스케일링, 신규 모델 배포 파이프라인 구축, 신규 AI 가속기 플랫폼 통합, 추론 기능(구조화된 샘플링, 프롬프트 캐싱 등) 기여, 신규 모델 아키텍처 추론 지원, 성능 튜닝을 위한 관측 데이터 분석, 다중 지역 배포 및 지리적 라우팅 관리.
자격 요건
관련 분야 학사 학위 이상 또는 그에 준하는 경력, 분산 시스템 중심의 풍부한 소프트웨어 엔지니어링 경험, 대규모 ML 시스템 구현 및 배포 경험, 로드 밸런싱/요청 라우팅/트래픽 관리 시스템 경험, LLM 추론 최적화(배칭, 캐싱 전략) 숙지, Kubernetes 및 클라우드 인프라(AWS, GCP) 경험, Python 또는 Rust 숙련도, 유연하고 임팩트 중심적인 사고방식.
기술 스택
PythonRustKubernetesAWSGCPDistributed SystemsMachine Learning SystemsLLM Inference OptimizationAI Accelerators