데이터 엔지니어가 가장 먼저 배워야 하는 것은 JSON입니다

데이터 엔지니어(DE)를 꿈꾸고 있으신가요?

데이터 엔지니어는 다양한 데이터 소스(Data Source)를 연결하고
소스에서 추출한 데이터를 안정적으로 저장 및 관리하는 역할을 합니다.

데이터 엔지니어는 비교적 최근에 등장한 IT 직업군으로,
DBA(Database Administer)와 비슷하게 데이터의 저장, 관리 및 보수를 관리하는 엔지니어의 역할을 하지만, 데이터베이스(Database)보다 더 확장된 범위의 데이터 저장소를 다룹니다.

단순히 내부의 데이터만을 저장하고 관리하는 것을 넘어
외부의 데이터를 가져와 내부에서 사용할 수 있도록 연결점을 만드는
데이터 파이프라인(Data Pipeline)을 만드는 것이 핵심입니다.

데이터 엔지니어의 핵심 업무로 ETL(Extract, Transform, Load)가 가장 많이 언급됩니다.
그 외에도 대용량 데이터 처리를 담당하는 Apache Hadoop, Spark, Git과 같은 프로그래밍도 많이 언급되죠.

하지만 데이터 엔지니어링의 핵심은 바로 데이터를 가져오는 연결고리를 만드는 것이고,
그 업무의 중심에는 JSON이 있습니다.

JSON을 다루는 법을 이해하면,
가지고 오고 싶은 데이터를 효율적이고 정확하게 가져올수 있습니다.

데이터 엔지니어를 준비하고 있다면,
API와 웹 서비스에서 데이터 교환을 위한 표준 형식인 JSON을
맨 처음 공부해보세요.

데이터 엔지니어링의 시야가 더 넓어질거에요.

#데이터리차드 #데이터엔지니어 #JSON