🌈 쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 🎁 이 자료를 추천하는 이유 - 데이터 엔지니어링팀이 하는 일을 잘 정리한 글입니다 - 신입 데이터 엔지니어분이 데이터 엔지니어로 알면 좋은 Tip을 중간 중간 작성해주셨습니다 - 데이터 엔지니어가 다루는 기술을 잘 작성해줬습니다(Airflow 등) 👍 읽으면 좋은 분 - 데이터 엔지니어가 어떤 일을 하는지 궁금하신 분 - 데이터 엔지니어를 준비하고 계신 분 - 모빌리티 회사의 데이터 엔지니어가 하는 일이 궁금하신 분 📋 내용 데이터 그룹과 데이터 엔지니어링 팀 데이터 그룹의 구성 - 데이터 분석 팀 - 비즈니스 데이터 팀 - 데이터 엔지니어링 팀 - 데이터 엔지니어링팀의 기본 업무 : 다른 팀을 위한 "지원" 데이터 엔지니어링 팀 업무 1) 자유로운 통합 데이터 분석 환경 만들기 - 서비스 운영 DB가 아닌 별도의 저장소의 분석 환경이 필요함 - 여러 장소에 저장된 데이터를 한 곳으로 모아야 함 - Google Cloud Platform의 BIgQuery를 데이터 웨어하우스로 사용하고, Apache Airflow를 Workflow 툴로 사용함 - 데이터를 취합할 때 생각해야 하는 점 - ㄱ. 데이터가 어떤 형태고, 어떻게 가져오는게 최적화된 방법일까? - ㄴ. 한 번에 가져오는 데이터 양이 많아서 처리 속도와 메모리에 문제가 없나? 있다면 어떻게 할까? - ㄷ. 데이터 소스가 서비스 DB인 경우 부하를 주지 않으며 빠르게 데이터를 가져오려면 어떻게 할까? - ㄹ. 서비스 DB에 UPDATE, DELETE가 수행되어도 일관성 있게 데이터를 가져오려면 어떻게 할까? - ㅁ. 파이프라인을 재 실행해도 멱등하게 데이터를 수집하려면 어떻게 할까? - 데이터를 별도로 정제 및 집계해 데이터 마트로 만듬 - 쏘카는 SODA Store라는 데이터 마트를 만들어 운영하고 있음. 기존에 500줄의 쿼리로 작성해야 했던 내용을 10줄 이내로 추출할 수 있음 2) 데이터 지표와 보고서 만들기 - 실제 비즈니스 목적을 가진 분석 지표와 보고서를 생성 - 지표 관련 로직 - ㄱ. 어느 정도로 Task를 쪼개야 유지보수와 재사용이 쉬울까? - ㄴ. 쿼리는 어떻게 구조화하고 최적화해야 읽기도 좋고 성능도 좋을까? - ㄷ. 어느 시간대에 어떤 순서로 실행해야 올바르게 파이프라인이 동작할까? - 구글 스프레드시트, 구글 데이터 스튜디오, 태블로를 사용하고 있습니다 3) 데이터 기반의 백엔드 서비스 개발 및 운영 - 분석 및 모델링 결과를 서비스에 반영하기 위한 백엔드 서비스도 데이터 엔지니어링팀이 담당하고 있음 - 유지 보수를 위한 클린 코드, 아키텍처나 CI/CD를 고민하며 백엔드 서비스를 개발함 - 파이썬 모듈 개발이나 기술 문화 도입에 힘쓰고 있음 - CI/CD 툴은 BuddyWorks를 사용하고 서버 프레임워크는 Flask, RPC 통신은 gRPC를 사용함 4) 데이터 그룹의 인프라/리소스 관리 - GCP를 사용하고 있음 - Google Compute Engine, BigQuery, ㄷ이터 정합성 검사, 네트워크 방화벽 등 - GKE(Google Kubernetes Engine) 데이터 엔지니어링팀 업무 총 정리 - 전사 직원을 위한 통합 데이터 저장소 마련 - 다양한 데이터 소스의 통합 데이터 저장소로 이동하는 파이프라인 설계 - 좀 더 편리한 분석을 위한 데이터 마트 구축 - 타 부서를 위한 지표, 시각화 및 보고서 개발 - 보고서의 데이터가 지속적으로 업데이트되는 파이프라인 설계 - 업무 규칙 협의, 지표 및 데이터 검증 - 데이터 기반의 백엔드 서비스 개발 및 운영 - 데이터 그룹 내 오퍼레이션, 머신러닝을 서빙하는 백엔드 서비스 개발 - 지속적이고 유지보수가 쉬운 개발 방법론 연구 및 적용 - 운영에 차질이 없도록 로그, 리소스 모니터링 - 데이터 그룹 인프라 및 리소스 관리 - GCP 서비스 운영 및 관리 - 리소스, 네트워크, 빅쿼리 사용량 모니터링 - GKE에 올라가는 helm chart 및 리소스 관리 - 개발 환경과 배포 파이프라인(CI/CD) 관리 앞으로 목표와 할 일들 - GKE 환경과 Airflow on GKE - 타다 데이터 엔지니어링 - 실시간 스트리밍 데이터