Analytics Engineering이란?! (vs DE)

Analytics Engineering 과 Data Engineering은 무슨 차이가 있을까요? 데이터 분석가로 데이터 엔지니어들과 함께 일하다보면 때로는 내가 원하는 가벼운 실험을 하기 위해 데이터 파이프라인을 직접 만들고, 배치작업을 돌릴 때가 있습니다. 관련 공부를 하다가 Analytics Engineering이라는 용어에 대해 알게 되었고, Data Engineering과는 어떤 차이가 있는지 궁금하여 Rudder Stack의 아티클을 보게 되었습니다! [💡 큐레이터의 인사이트] ❓ Analytics Engineering 이란? - 데이터 파이프라인의 하위 사용자들(DA, DS, PO 등)을 위한 유연하고 클린한(!) 데이터 파이프라인 모델을 구축한다. - 비즈니스 상황에 필요한 데이터를 편하게 활용할 수 있도록 파이프라인을 구성하고 리팩토링한다. - 비즈니스에 필요한 데이터의 플로우를 정확하게 잘 이해하는 것이 중요하다! Analytics Engineering을 통해 BI 툴에 마운팅되는 데이터를 위한 SQL은 더 간결하고 쉬워진다! ❓ Data Engineering 과는 어떤 차이인가? - Analytics Engineering은 데이터 엔지니어와 End User(DA, DS, PO 등) 사이에 위치하게 된다. - Analytics Engineer가 비즈니스에서 적합한 데이터 활용을 위해 고민하고 일하기 때문에 Data Engineer는 상위 데이터 파이프라인 자체, Infrastructure 최적화(ETL, CI/CD, 에러 대처 등)에 더욱 집중할 수 있다. - 아직은 DE 내의 세부 분야로 느껴지긴 합니다. 좀 더 비즈니스에 집중한 엔지니어링이라고 할 수 있겠네요! ❗ DE와 AE가 하모니를 이루는 밝은 미래 - 데이터 엔지니어, 분석 엔지니어가 함께라면 에러 없는 데이터를 적재하는 초기 파이프라인 흐름부터 데이터 활용을 위한 리팩토링과 마트 구성, BI를 위한 데이터 파이프라인까지 완벽! - 데이터를 활용하여 빠르게 비즈니스의 성장을 도모한다면 기술적인 부분과 비즈니스적인 엔지니어링의 하모니를 경험할 수 있다! 이 아티클을 읽으며 임팩트를 만들 수 있는 분석가라면 Analytics Engineering에 관심을 가져야겠다는 생각이 들었습니다! 분석가만이 데이터를 분석하는 것이 아니라 사내 모든 구성원의 데이터 리터러시를 높이는 동시에, 데이터를 쉽게 분석할 수 있도록 하여 빠르게 인사이트를 뽑아내는 것이 필수겠네요! 😃