anthropic
Research Lead, Training Insights
AI·머신러닝연구·R&D
AI 요약
Anthropic에서 모델의 성능을 측정하고 평가하는 'Training Insights' 팀의 리서치 리드를 채용합니다. LLM의 역량 진화 과정을 연구하고 새로운 평가 프레임워크를 구축하며, 연구팀을 이끌어 안전하고 신뢰할 수 있는 AI 시스템 구축에 기여하는 고도의 전문성을 요하는 역할입니다.
주요 업무
모델 역량 측정 및 특성화 전략 수립, 새로운 장기적(long-horizon) 평가 방법론 연구 및 구축, RL 훈련 중 모델 역량 진화 측정 접근법 개발, 전사적 평가 로드맵 관리 및 공백 식별, 모델 출시 평가 내러티브 형성, 연구원 및 연구 엔지니어 팀 리딩 및 멘토링, 재사용 가능한 평가 인프라 구축.
자격 요건
LLM 또는 복잡한 ML 시스템 평가 설계 및 운영 경험, 기술 프로젝트 또는 팀 리딩 경험, 실험 설계 및 코드 구현 능력(Python 등), 전략적 사고 및 기술적 결과 전달 능력, AI 안전에 대한 깊은 관심. (우대) 장기적/에이전트 작업 평가 구축 경험, RL 훈련 역학 이해, ML 평가 관련 논문 출판, 레드팀 방법론 경험, 심리측정학 또는 실험심리학 배경.
기술 스택
LLMMachine LearningReinforcement LearningPythonEvaluation FrameworksRed TeamingMLOps