데이터 워크플로우(Data Workflow) - 데이터 엔지니어 편

먼저 데이터 워크플로우(Data Workflow)는 무엇일까요❓ 데이터 워크플로우(Data Workflow)란, 기업에서 사용되는 데이터를 수집, 처리, 분석, 그리고 활용까지 이어지는 전체 과정을 나타내는 프로세스를 의미해요. 데이터 직군은 데이터 워크플로우를 통해 구체적이고 체계적인 업무 범위를 파악하고, 다른 업무들에 비해 더 집중해야 할 영역을 파악할 수 있습니다. 데이터 직군 중 데이터 엔지니어(Data Engineer)는 데이터 파이프라인의 초반부를 맡아 - 데이터 수집 - 데이터 저장 - 데이터 관리 - 데이터 자동화 - 데이터 통합 - 데이터 전처리 - 데이터 변환 단계를 맡고 있어요. 필요한 데이터를 외부 소스(Data Source)에서 수집하는 단계에서부터, 수집한 데이터를 저장하기 위해 데이터 저장 장소인 - 데이터베이스 (Database) - 데이터 웨어하우스 (Data Warehouse) - 데이터 레이크 (Data Lake) - 데이터 레이크하우스 (Data LakeHouse) 를 관리하고 최적화하는 업무를 맡게 됩니다. 기본적인 엔지니어링 업무부터, 쿼리 및 API와 같은 벡엔드 업무까지, 다양한 이슈를 해결하는 업무이기에 문제를 빠르게 파악하고, 문서화하는 작업들이 필요해요. 특히 데이터 품질을 확인하는 작업들이 많기 때문에, 한 장소에서 다른 장소로 데이터를 옮기는 과정을 자동화하거나 최적화하는 스킬들이 요구됩니다.