mistralai

Applied AI, Evaluation Engineer

개발AI·머신러닝품질·테스트연구·R&D

AI 요약

Mistral AI의 Applied AI 팀에서 LLM의 성능을 정밀하게 측정하고 평가 시스템을 구축할 Evaluation Engineer를 채용합니다. 고객의 실제 비즈니스 사례에 맞춘 평가 프레임워크와 인프라를 설계하며, 연구와 엔지니어링의 접점에서 모델의 신뢰성을 확보하는 핵심 역할을 수행합니다.

주요 업무

다양한 고객 유스케이스(텍스트 생성, 추론, 코드 등)에 대한 LLM 평가 프레임워크 설계 및 구현, 확장 가능한 평가 인프라 및 파이프라인 구축, 도메인 특화(사이버 보안, 금융, 의료 등) 신규 평가 방법론 개발, 기업 고객 맞춤형 평가 스위트 제작, 연구 팀과 협업하여 평가 인사이트를 모델 개선에 반영, 제품 팀과 협력하여 평가 도구 지속적 개선

자격 요건

영어 능통자, ML 평가 및 LLM/에이전트 시스템 벤치마킹 경력 3년 이상, API 및 백엔드를 활용한 AI/ML 제품 구현 경험, ML 및 LLM 알고리즘에 대한 깊은 이해, 우수한 Python 코딩 기술, 기술적 개념을 쉽게 설명할 수 있는 커뮤니케이션 능력, (우대) 오픈소스 평가 프레임워크(LM Eval Harness, OpenAI Evals 등) 기여 또는 관련 연구 발표 경험, (우대) PyTorch 및 HuggingFace Transformers 활용 경험, (우대) 솔루션 아키텍트 또는 기술 PM 경험

기술 스택

PythonLLMPyTorchHuggingFace TransformersAPIsML frameworks

AI 점수 95core

지원하기

Applied AI, Evaluation Engineer

AI 요약

주요 업무

자격 요건

기술 스택

mistralai의 다른 공고

알림