openai

Software Engineer, Data Acquisition

개발데이터인프라·DevOps

AI 요약

OpenAI의 Foundations 조직 내 Data Acquisition 팀에서 모델 학습을 위한 대규모 데이터 수집 및 처리 시스템을 구축할 소프트웨어 엔지니어를 채용합니다. 이 역할은 웹 크롤링, 데이터 인덱싱, 페타바이트급 데이터를 처리하는 분산 시스템 설계 및 운영을 담당하며, OpenAI 모델의 성능을 결정짓는 핵심 데이터를 확보하는 데 중점을 둡니다.

주요 업무

웹 크롤링·데이터 수집·검색 분야의 엔지니어링 프로젝트 리드, 데이터 처리·아키텍처·스케일링 팀과 협업하여 데이터 흐름 및 시스템 운영 보장, 법무 팀과 협력하여 컴플라이언스 및 데이터 프라이버시 문제 처리, 페타바이트급 데이터를 처리하는 확장 가능한 분산 시스템 개발 및 배포, 데이터 인덱싱 및 검색 알고리즘 설계 및 구현, Key-value DB 기반 백엔드 서비스 구축 및 유지보수, Kubernetes 및 IaC 환경 내 솔루션 배포 및 시스템 점검, 시스템 성능 분석을 위한 데이터 실험 수행

자격 요건

컴퓨터 과학 또는 관련 분야 학사/석사/박사 학위 소지자, 4년 이상의 소프트웨어 개발 업계 경력, 대규모 상태 저장 분산 시스템(Stateful Distributed Systems) 및 데이터 처리에 대한 강력한 전문성, Kubernetes 및 Infrastructure-as-Code(IaC) 개념에 대한 숙련도, 대규모 웹 크롤러 경험자 우대, 새로운 접근 방식과 기술 시도에 대한 열정, 다중 작업 처리 및 우선순위 변경에 대한 적응력, 우수한 서면 및 구두 커뮤니케이션 능력

기술 스택

KubernetesInfrastructure-as-CodeDistributed SystemsWeb CrawlersKey-value DatabasesData IndexingData Ingestion

AI 점수 90core

지원하기

Software Engineer, Data Acquisition

AI 요약

주요 업무

자격 요건

기술 스택

openai의 다른 공고

알림