ㅣ혹시 코딩 할 줄 아세요? 2019년에 이직했을 당시 회사의 개발자 동료에게 들어본 말입니다. 당시 저는 적당한 규모의 스타트업의 첫 번째 데이터 엔지니어로 입사했었는데, 아무래도 데이터 엔지니

ㅣ혹시 코딩 할 줄 아세요? 2019년에 이직했을 당시 회사의 개발자 동료에게 들어본 말입니다. 당시 저는 적당한 규모의 스타트업의 첫 번째 데이터 엔지니어로 입사했었는데, 아무래도 데이터 엔지니어라는 포지션이 생소하고 어떤 일을 하는지 잘 알려져 있지 않아서 그런 것 같다고 생각했지만.. 3년이 흐른 지금도 데이터 엔지니어라는 포지션의 정의, 그리고 도대체 회사에서 어떤 일을 하는지에 대한 것들이 다른 직군 분들이 보시기에 정확히 정리되진 않은 것 같습니다. (심지어는 데이터 엔지니어들 사이에서도요!) 최근에 블라인드 게시글 중 데이터 엔지니어를 개발자로 취급해야 하나요? 라는 글도 봤었고, 하물며 저한테 데이터 엔지니어는 무슨 일을 하나요? 하고 물어봐도 한 문장으로 설명하기가 어렵기도 하고요. 그래서 이 기회에 요즘 세상의 데이터 엔지니어란 무엇이고, 어떤 일을 하며, 최근의 트렌드가 무엇인지 한 번 정리해보는 시간을 가져보려 합니다. > 데이터 엔지니어의 업무 - 서비스의 다양한 곳에서 발생하는 정형/비정형 데이터를 수집하기 위한 배치/실시간 파이프라인 구축 및 운영 - 데이터 레이크/데이터 웨어하우스 등 전사 인원들의 원활한 데이터 분석을 위한 데이터 플랫폼 운영 - 대용량의 데이터 가공을 통해 실제 서비스 혹은 분석에 사용될 수 있는 데이터 마트 구축 - 데이터 기반 서비스 제공 및 서빙 - 관련 *Ops 또한 담당 > 데이터 엔지니어가 갖춰야 할 기술 - Tech skills: 분산 처리에 대한 이해 / DB/SQL에 대한 이해 / 프로그래밍 / (클라우드) 인프라에 대한 이해 - (특히 스타트업에서 정말 중요한) Soft skills: 서비스에 대한 이해 / 뛰어난 커뮤니케이션 스킬 / Time to market을 지키는 능력 / Time to market을 지키지 않을 능력 > 데이터 엔지니어가 활약할 수 있는 회사 - 고객이 명확히 존재하는 회사 (주로 B2C 회사) - 데이터 기술 플랫폼을 만드는 회사 >> 전체 내용을 보시려면 링크 클릭 플리즈~ ^^ https://nephtyws.github.io/story/what-is-data-engineer/