mistralai

AI Engineer, Product

개발AI·머신러닝품질·테스트

AI 요약

유럽의 선도적인 AI 기업 Mistral AI에서 LLM 평가 프레임워크 구축 및 모델 배포 프로세스를 담당할 AI 엔지니어를 채용합니다. TypeScript/Python 역량과 프로덕션 LLM 경험을 바탕으로 모델의 품질, 지연 시간, 안전성을 개선하고 안정적인 릴리스 운영을 주도하는 역할입니다.

주요 업무

• LLM 평가 프레임워크 구축 및 유지보수 • 주요 지표(성공률, 도움 정도, 환각, 안전성, 지연 시간, 비용) 정의 및 추적 • 프롬프트, 모델, 시스템 프롬프트에 대한 A/B 테스트 수행 및 분석 • LLM 호출 관측성 설정 (구조화된 로깅, 트레이싱, 대시보드) • 모델 릴리스 운영 (카나리/섀도우 트래픽, SLO 기반 롤백, 회귀 탐지) • 핵심 동작 개선 (메모리 정책, 의도 분류, 도구 호출 신뢰성 등) • 타 팀을 위한 평가 템플릿 및 문서 작성

자격 요건

• 강력한 TypeScript 또는 Python 기술 역량 • 프로덕션 환경에서의 LLM 경험 (프롬프트, 도구/함수 호출, 시스템 프롬프트 등) • 평가(Evals) 및 A/B 테스트 설계 및 데이터 기반 의사결정 능력 • 관측성(Observability) 도구 활용 능력 (로깅, 트레이싱, 대시보드, 알림) • 제품 중심 마인드셋 및 자율적인 업무 수행 능력 • (우대) 안전 시스템 구축 경험 (모더레이션, PII 처리, 가드레일) • (우대) 릴리스 운영 경험 (카나리/섀도우 배포, 자동 롤백, 실험 플랫폼)

기술 스택

TypeScriptPythonLLMA/B TestingObservabilityLoggingTracingDashboardsAlertingCanary Release

AI 점수 95core

지원하기

AI 요약

주요 업무

자격 요건

기술 스택

mistralai의 다른 공고

알림