selectstar
AI Research Engineer_Eval
정규직(풀타임)대면근무AI·머신러닝연구·R&D
AI 요약
셀렉트스타 AI R&D Eval Team에서 LLM 평가(Evaluation) 및 Human Alignment 중심의 연구개발 인재 모집. LLM 성능 평가, 벤치마크 설계·구축, Reward Model·sLM 기반 학습 및 튜닝, Human-in-the-loop 구조 설계 등 연구 설계부터 구현·제품/고객 적용까지 수행할 수 있는 경력자 대상.
주요 업무
LLM 성능 평가 연구 및 실험 설계; LLM-as-Judge 구조·평가 루브릭·프롬프트 설계; 신뢰성·재현성 있는 평가 방식 연구 및 다양한 벤치마크 기획·구축; Human Alignment 및 Auto Adapt 연구(프롬프트 자동 최적화, Human-in-the-loop 평가 구조 설계); 고객 피드백 기반 문제 정의·가설 설정·검증 및 실험 설계→데이터/모델 구성→결과 분석→인사이트 도출 전과정 수행; Datumo Eval 및 신규 솔루션 연계를 위한 제안·PoC 수행
자격 요건
학사 졸업 후 약 3년차(만 2년 이상) 수준의 경력 또는 동등한 실전 경험; 기본적인 ML/딥러닝 이해 및 Python·PyTorch 기반 모델 실험 경험; LLM 평가 및 정렬 관련 핵심 업무 중 일부를 독립적으로 설계하고 끝까지 수행한 경험 필수; 병역 특례 및 외국인 지원 불가. (연차·학위는 절대적 기준 아님)
기술 스택
PythonPyTorchHuggingFace TransformersvLLMDeepSpeedFSDPLoRARAGReward ModelRLHFRLAIFDPOPrompt engineeringPrompt BackpropsTask-vector어노테이션/데이터 파이프라인 설계