OpenAI의 데이터 엔지니어 채용 공고

OpenAI의 채용 공고를 우연히 봤다가, 이런 공고를 보는 것으로도 좋은 영감을 받을 수 있을 것 같아 간단히 정리해봅니다. 공고의 특성상 나중에 내려갈 수도 있으니 간단하게 번역해보았습니다. 제 생각은 (생각)이라고 하고 써두었어요 --- * Analytics Data Engineer, Applied Engineering라고 부름 * (생각) 이 직무의 이름은 전통적인 DE의 역할 외에도 조금 더 넓을 수 있다는 의미라 생각. Applied Engineering은 서비스에 배포하기 위한 다양한 업무를 소화할 가능성이 존재 * 팀 소개 * Applied 팀은 연구, 엔지니어링, 제품, 디자인 전반에 기술을 소비자와 기업에 제공 * 배포를 통해 배우고 AI 이점을 배포하는 동시에 이 도구가 책임감 있고 안전하게 사용되도록 노력 * 무한한 성장보다 안전이 더 중요함 * 역할 소개 * OpenAI용 데이터 파이프라인, 핵심 테이블 구축 * 분석, 비즈니스 결정을 안내하는 시스템, 제품 성장, 악의적 행위자 방지하는데 중요함(생각 : 분석 인프라, 어뷰징 탐지 등인듯) * 연구자와 협업해서 새로운 모델을 학습할 때 도움 * 역할의 구체적인 업무 * 데이터 파이프라인 설계, 구축해 모든 사용자 이벤트 데이터가 데이터 웨어하우스에 원활하게 통합되도록 함 * Growth, Engagement, Revenue를 포함한 제품의 핵심 지표를 추적할 수 있는 표준 데이터 세트 개발 * 인프라, 데이터 과학, 제품, 마케팅, 재무, 연구 등 다양한 팀과 협업해 요구 사항을 파악해 솔루션 제공 * 견고하고 fault-tolerant한 시스템을 만들기 * 데이터 아키텍처, 엔지니어링 의사 결정에 참여해 풍부한 경험과 지식 활용 * 업계 및 회사 표준에 따른 데이터 보안, 무결성, 규정 준수 보장 * (생각) : 업무 자체는 일반적인 데이터 엔지니어 채용 공고와 크게 다르진 않은 것 같음. 대부분 일반적인 내용이고 역할이 넓어보임. Growth, Engagement, Revenue에 대한 개념을 알고 있어야 해서 데이터 분석 경험이나 이런 지식이 필요할 것 같음 * 이런 상황이면 좋음 * 데이터 엔지니어 3년 이상, 8년 이상 소프트웨어 엔지니어링 * 파이썬, 스칼라, 자바 언어 하나 이상에 능숙 * 하둡, Flink, HDFS, S3 같은 분산 처리 기술 및 프레임워크의 경험 * Airflow, Dagster, prefect 같은 ETL 스케줄러 전문 지식 * Spark에 대한 이해, Spark 코드 작성 및 디버깅, 최적화 역량 * (생각) 실시간으로 데이터를 처리하는 것, 하둡 베이스, 스파크로 한다는 것을 알 수 있음. 이 부분에 대해 깊게 검증하지 않을까?라는 생각. OpenAI 지원자가 꽤 많을텐데 프로젝트도 중요하고 하나를 얼마나 깊게 아는가에 대해 확인하지 않을까 싶음. 나중에 어떤 분이 채용이 되었을지 보는 것도 좋을 것 같음 * 샌프란 본사에만 근무하고 신입에겐 이주 지원을 제공 https://openai.com/ko-KR/careers/analytics-data-engineer-applied-engineering/