[분석형 엔지니어의 탄생]

현재 아마존에서 제가 일하고 있는 BI Engineer는 매우 흥미로운 포지션입니다. 여러분들이 잘 알고 있는 데이터 사이언스(Data Sience)에는 크게 3가지 직종이 있습니다. 데이터 사이언스의 대표적인 직업들은 - 데이터 분석가 - 데이터 엔지니어 - 데이터 과학자 가 있습니다. 이 3가지 직종은 데이터 사이언스 분야에서 주요 역할들을 맡고 있는데요. 데이터 분석가, 엔지니어, 과학자 모두 기업의 데이터 의사결정을 하기 위해 각자의 영역에서 발전하고 있었습니다. 하지만 기업의 크기가 커지고 여러 부서로 나누어지면서 데이터 전문가들이 데이터로 의사결정하는 전체 과정을 지켜보는 것은 점점 어렵게 되었습니다. 이런 상황에서 [데이터 분석가]와 [데이터 엔지니어]를 조합한 [분석형 엔지니어]가 등장하게 되었습니다. 제가 일하고 있는 BIE역시 하이브리드형 직종으로 [분석가]와 [엔지니어]의 영혼을 둘다 가지고 있는데요. 그럼 BIE (Business Intelligence Engineer)는 기업내에서 어떤 역할을 맡고 있을까요? 먼저 저 스스로를 데이터 분석가라고 말하고 있지만, BI 엔지니어는 문제를 해결할 때 다양한 엔지니어링 프레임워크를 사용하여 고객의 문제를 푸는 역할을 맡고 있어요. 특히 데이터 분석을 할때 또는 대시보드를 만들 때, 어떻게 사람이 개입해야하는 부분을 자동화하거나 데이터의 흐름을 최적화할지를 많이 고민하는 역할을 맡고 있는데요. 동시에 담당 부서와 소통하면서 분석에 필요한 도메인 지식을 최종 프로덕트에 녹여내는 역할도 맡고 있습니다. 덕분에 분석과 엔지니어링을 동시에 할수 있는 제너럴리스트로 성장하는 것이 가능한 포지션입니다. - 고객의 문제를 찾아내어 정의하는 역할 (데이터 분석가) - 문제를 엔지니어링 프레임워크로 변환하여 설계하는 역할 (데이터 엔지니어) - 고객과 소통하며 페인 포인트 (Pain Point)를 찾아내는 역할 (기획자, PM) - 데이터를 고객의 요구에 맞추어 문제없이 잘 흐르게 만드는 역할 (데이터 엔지니어) - 대시보드 또는 리포트를 만들어 의사결정을 돕는 역할 (데이터 분석가) - 고객에게 최종 승인을 받기 전 프로덕트를 검수하고 부족한 점을 개선하는 역할 (기획자, PM) 이렇게 다양한 역할들을 한 포지션에서 다루는 이유는 - 분석이라는 한 부분만을 다루는 것이 아닌 데이터 사이언스에서 END-TO-END 과정을 경험하기 위해서 - 우리가 중요시여기는 문제와 고객을 이해하고 또 프로젝트가 어떻게 생성되고, 발전하여, 고객에 다다르는지를 이해하기 위해서 - 문제가 발생하였을때 가장 효율적으로 문제를 해결하고 결과를 개선시키기 위해서 등이 있습니다. 많은 데이터 탐험가들이 데이터 사이언스에 관심을 가지는 만큼, 점점 넓고 거대한 데이터의 직업들에서 BI Engineer는 최근 데이터에 관심이 많은 기업들에게 가장 핫한 직종 중 하나입니다. 다음 시간에는 제가 어떤 과정을 통해 BIE로 성장하게 되었는지에 대해 이야기해보자 합니다. 기대해주세요 :) #AMAZON #BIE #데이터리차드 #데이터분석 #데이터엔지니어