microsoftus

Senior Data Scientist – LLM Evaluation

데이터AI·머신러닝연구·R&D

AI 요약

Microsoft의 Senior Data Scientist for LLM Evaluation 포지션으로, Copilot의 실제 사용 성능을 평가하기 위한 새로운 평가 방법론과 자동화 프레임워크를 설계·구현하는 역할입니다. LLM 평가, 분류기 학습, 데이터 수집 실험, 프로덕션용 모델 파이프라인 코드 작성이 핵심이며, 사용자 연구 및 제품 리더와 협업합니다.

주요 업무

Copilot 성능 측정 및 실패 모드 식별, 완화 전략 수립, 데이터 마이닝 및 prompt engineering 수행, LLM as a judge 및 분류기 학습, 다양한 시나리오와 엣지 케이스를 포괄하는 평가 프레임워크 설계·구현, 자동화 테스트 시스템 구축, 재사용 가능한 프레임워크 일반화, 모델 파이프라인 및 intervention 시스템용 효율적 코드 작성, 사용자 연구 기반 검증 및 AI 관련 자문, 최신 연구 동향 추적 및 알고리즘 적용.

자격 요건

필수: 데이터사이언스, 수학, 통계, 계량경제학, 경제학, 운영연구, 컴퓨터공학 또는 관련 분야 박사 + 1년 이상 데이터사이언스 경험, 또는 석사 + 3년 이상, 또는 학사 + 5년 이상, 또는 이에 준하는 경험. 구조화/비구조화 데이터 관리, 통계 기법 적용 및 결과 보고 경험 필요. 우대: 관련 분야 박사 + 3년 이상, 석사 + 5년 이상, 학사 + 7년 이상 데이터사이언스 경험. 대형 언어 모델 프롬프팅 및 활용 경험, production-quality Python 코드 작성 경험, Responsible AI 관심 필요.

기술 스택

PythonLLMprompt engineering

AI 점수 95core

지원하기

Senior Data Scientist – LLM Evaluation

AI 요약

주요 업무

자격 요건

기술 스택

microsoftus의 다른 공고

알림