anthropic
Engineering Manager, Agent Prompts & Evals
개발AI·머신러닝인프라·DevOps품질·테스트
AI 요약
앤스로픽(Anthropic)에서 Claude 모델의 성능 평가 및 프롬프트 인프라를 총괄할 'Engineering Manager, Agent Prompts & Evals'를 채용합니다. 이 역할은 프롬프트 엔지니어와 플랫폼 엔지니어 팀을 리드하며, 모델 출시의 신뢰성을 보장하는 평가 프레임워크와 시스템 프롬프트 파이프라인을 구축하고 운영하는 핵심적인 위치입니다.
주요 업무
프롬프트 엔지니어 및 플랫폼 소프트웨어 엔지니어 팀 리드 및 성장 지원, 제품 측면의 평가(Eval) 플랫폼(프레임워크, 대시보드, CI 통합 등) 소유 및 운영, 시스템 프롬프트 인프라(버전 관리, 배포, 롤백 등) 관리, 모델 출시 프로세스 운영 및 안정화, 타 부서(연구, 제품 등)와의 협업 및 로드맵 조율, 시니어 엔지니어 채용 및 유지
자격 요건
8년 이상의 소프트웨어 엔지니어링 경력, 3년 이상의 엔지니어링 팀 매니징 경력(플랫폼, 인프라 또는 개발자 도구 팀 리딩 경험 필수), 시스템 디자인 및 파이프라인 아키텍처에 대한 기술적 깊이, Claude를 활용한 설계 및 구축 능력, 제품 마인드셋, (우대) LLM 평가/ML 실험 플랫폼/모델 품질 관련 업무 경험, (우대) A/B 테스트 인프라/CI/CD 플랫폼/대규모 테스트 인프라 경험, (우대) AI 안전 및 정렬에 대한 관심
기술 스택
LLMClaudeCI/CDML Experimentation PlatformsA/B Testing InfrastructureSystem Design