baseten
Engineering Manager - Forward Deployed Engineering (LLM)
AI 요약
Baseten은 AI 기업을 위한 LLM 추론 플랫폼을 제공하는 회사로, 엔지니어링 매니저(Player & Coach)를 채용합니다. 이 직무는 Forward Deployed Engineers 팀을 이끌며 LLM 추론 워크로드를 구축, 확장 및 최적화하는 역할을 담당합니다. Python 기반의 소프트웨어 개발 경험과 LLM, 추론 최적화 경험이 필수적이며, 리더십 및 고객 대면 경험이 우대됩니다. 경쟁력 있는 보상과 복지를 제공하며, AI 분야의 미래를 함께 만들어갈 인재를 찾고 있습니다.
주요 업무
Forward Deployed Engineers 팀 리딩, 멘토링 및 성장 지원, LLM 추론 워크로드 구축, 확장 및 최적화, 고성능/저지연 AI 애플리케이션 배포 및 관리, 제품/인프라/고객 엔지니어링 팀과의 협업, 전략적 제품 이니셔티브 및 고객 참여 주도, Python 기반 소프트웨어 시스템 및 제품 기능 개발, Baseten 솔루션 엔드투엔드 설계/구현/배포, 고객과의 협업 (영업, 구현, 확장), 모호한 목표를 명확한 사양 및 PoC로 전환, AI/ML 프로젝트 최적화 및 개선, 제품 및 고객 프로젝트 엔드투엔드 소유.
자격 요건
필수: 컴퓨터 과학, 공학 또는 관련 분야 학사 학위 이상, 4년 이상의 전문 소프트웨어 엔지니어링 경력 (1년 이상 리더십/멘토링 경험 포함), Python 기반의 ML 추론 시스템 구축 또는 최적화 경험, LLM, 추론 최적화 또는 서빙 프레임워크 (vLLM, TensorRT, Triton, Hugging Face, Ray Serve 등) 경험, 프로덕션 ML 시스템에서의 관찰 가능성, 프로파일링, 비용/성능 트레이드오프에 대한 이해, 뛰어난 커뮤니케이션 및 협업 능력.
우대: 고객 대면 엔지니어링 팀 리딩 경험, 엔터프라이즈 파트너와의 직접적인 협업 경험, GPU 인프라, 분산 추론 또는 모델 압축 기술에 대한 깊은 이해.
기술 스택
PythonLLMvLLMTensorRTTritonHugging FaceRay ServeDockerComfyUIGPU 인프라분산 추론모델 압축