데이터 워크플로우(Data Workflow) - 데이터 엔지니어 편

먼저 데이터 워크플로우(Data Workflow)는 무엇일까요❓

데이터 워크플로우(Data Workflow)란, 기업에서 사용되는 데이터를 수집, 처리, 분석, 그리고 활용까지 이어지는 전체 과정을 나타내는 프로세스를 의미해요.

데이터 직군은 데이터 워크플로우를 통해 구체적이고 체계적인 업무 범위를 파악하고, 다른 업무들에 비해 더 집중해야 할 영역을 파악할 수 있습니다.

데이터 직군 중 데이터 엔지니어(Data Engineer)는
데이터 파이프라인의 초반부를 맡아

- 데이터 수집
- 데이터 저장
- 데이터 관리
- 데이터 자동화
- 데이터 통합
- 데이터 전처리
- 데이터 변환


단계를 맡고 있어요.

필요한 데이터를 외부 소스(Data Source)에서 수집하는 단계에서부터,
수집한 데이터를 저장하기 위해 데이터 저장 장소인

- 데이터베이스 (Database)
- 데이터 웨어하우스 (Data Warehouse)
- 데이터 레이크 (Data Lake)
- 데이터 레이크하우스 (Data LakeHouse)

를 관리하고 최적화하는 업무를 맡게 됩니다.

기본적인 엔지니어링 업무부터,
쿼리 및 API와 같은 벡엔드 업무까지,
다양한 이슈를 해결하는 업무이기에
문제를 빠르게 파악하고, 문서화하는 작업들이 필요해요.

특히 데이터 품질을 확인하는 작업들이 많기 때문에,
한 장소에서 다른 장소로 데이터를 옮기는 과정을
자동화하거나 최적화하는 스킬들이 요구됩니다.

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2024년 12월 29일 오전 6:19

댓글 0