Research Engineer, LangSmith Engine

실제 업무 환경에서 작동하는 Engine 에이전트의 품질과 효율을 측정하는 벤치마크 및 평가 체계 구축 및 유지, 모델·프롬프트·컨텍스트·도구·오케스트레이션·에이전트 전략 개선을 위한 실험 설계 및 실행, 포스트트레이닝 및 파인튜닝 기법 탐색·적용, 성공한 실험을 프로덕션 개선으로 전환하고 회귀를 방지, ML 로드맵과 기술 방향 정의, 다른 엔지니어 멘토링 및 기술 리더십 발휘

필수: ML/AI 연구 또는 유사 분야 4년 이상 경력, 관련 전공 석사 또는 박사, LLMs와 AI agents 실무 경험, 모델 행동 분석 및 실제 성능 개선 경험, AI/ML 시스템용 벤치마크·평가·실험 설계 역량, 연구 프로토타입을 프로덕션 임팩트로 연결하는 소프트웨어 엔지니어링 역량, 높은 자율성과 연구 판단력. 우대: Machine Learning/Computer Science/Physics 박사, LLM-as-a-judge·automated graders·synthetic data generation·human evaluation 경험, reinforcement learning·preference optimization·SFT·RLHF/RLAIF 등 포스트트레이닝 경험, 프로덕션에서 LLM 에이전트의 cost/latency/task efficiency 최적화 경험, model serving·inference optimization·distributed systems·GPU infrastructure 경험.