databricks
Staff Software Engineer- Search Quality
개발AI·머신러닝데이터
AI 요약
데이터브릭스(Databricks)에서 AI 에이전트와 사용자를 위한 검색 품질을 책임지는 Search Quality Engineer를 채용합니다. 하이브리드 검색 및 시맨틱 벡터 검색을 통해 LLM의 정확도를 높이고, 데이터 기반의 의사결정을 지원하는 검색 백본을 구축하는 것이 핵심입니다.
주요 업무
- AI 에이전트를 위한 검색 레이어 최적화 (LLM이 정확한 비즈니스 액션을 수행할 수 있도록 'Ground Truth' 제공)
- 일반 사용자를 위한 검색 인터페이스 및 결과 품질 개선
- 하이브리드 검색(키워드 기반 + 시맨틱 벡터 검색) 시스템 구축 및 밸런싱
- 인간의 가독성과 LLM 컨텍스트 모두를 만족시키는 랭킹 모델 미세 조정(Fine-tuning)
- AI 환각 방지를 위한 가드레일 및 관련성 스코어링 시스템 구축
자격 요건
- Lucene, Elasticsearch, 임베딩(Embeddings) 및 랭킹 알고리즘에 대한 전문 지식
- 검색 관련성 지표(nDCG, MRR, Precision@K)에 대한 집착 및 평가 프레임워크(Human-in-the-loop 및 LLM 기반) 구축 경험
- 전통적인 정보 검색(IR) 지식을 최첨단 RAG(Retrieval-Augmented Generation) 분야에 적용할 수 있는 역량
- 정형 SQL 테이블, 비정형 문서, 실시간 비즈니스 지표 등 다양한 데이터 형태에 대한 이해
기술 스택
LuceneElasticsearchEmbeddingsRanking algorithmsRAGLLMSQLApache SparkDelta LakeMLflow
databricks의 다른 공고
Sales Dev AI Program Manager
Director, Regional System Integrator Portfolio
영업Staff Research Engineer, Data Agents
AI·머신러닝, 연구·R&DSr. Specialist Solutions Architect - Data Engineering & Warehousing
영업Solutions Architect (Benelux Hunter Pre-sales)
영업Sr. Technology Partner Director, Business Applications
영업Delivery Solutions Architect
영업, 고객지원Solutions Architect
영업