[좋은 분석환경은 공짜가 아니다] 마이리얼트립 양승화님의 브런치 글을 읽고, 인상적인 부분의 요약과 코멘트를 공유합니다. 📍 인상적인 부분 요약 - 마이리얼트립 데이터 조직을 처음 만들던 시기 (약 2년 반 전)에는, 따로 데이터 엔지니어가 없었다. - 운영 DB에 그대로 쿼리를 날리기도, 일간 지표를 수기로 업데이트하기도, 추출 요청 하나하나를 csv 파일로 주고받기도 했다. - 본격 데이터 엔지니어가 충원되기까지, 데이터 분석가가 분석환경을 구축하고 데이터 파이프라인을 책임졌다. (후일담, 와 이걸 개발자 없이 만들었다구요?) - 이후 데이터 엔지니어와 조직이 생기면서 훨씬 효율적으로 바뀌고 유지보수가 편해졌지만, 지금도 테이블 구조 정의나 분성용 마트 데이터를 만드는 등에는 데이터 분석가들이 꽤 깊숙이 관여하고 있다. ✨ 이 과정에서 배운 것: "좋은 분석 환경은 공짜가 아니고, 이를 잘 만들고 관리하는 것은 모든 데이터 조직이 공통으로 노력해야 하는 일이다." - 환경 구축은 엔지니어에게 맡기고 분석가는 한걸음 물러서 있는 경우가 많지만, 실제로 쓸만한 분석환경을 만들기 위해서는 굉장히 다양한 주제에 대해서 데이터 분석가, 데이터 엔지니어, 백엔드 개발자, 클라이언트 개발자 등등 여러 직군의 협업이 필요하다. - 마이리얼트립의 ALL Data Scrum 미팅에서는, 사내 데이터 조직이 모두 모여서 데이터 분석이나 엔지니어링에 대한 이슈, 특히 "더 좋은 분석환경을 만들기 위해서 우리가 함께 무엇을 해야 하는가" 논의한다. - 돌아보면 적절한 시기에 필요한 사람들을 정말 잘 만났고, 빠르게 서로의 관점을 공유하면서 같은 지점을 바라볼 수 있어서 금방 여기까지 올 수 있었던 것 같다. 💬 코멘트 ◾ 데이터분석가로 커리어를 시작한지 얼마 되지 않았지만, 공감되는 부분이 많았습니다. 특히 관련 조직의 협업이 중요하다는 부분에서요. 단적으로 테이블 하나를 새로 만들 때, 기술적인 구현 자체는 엔지니어의 몫이지만 어떤 컬럼을 어떻게 왜 쓰려고 하는지 등을 명확히 하는 일은 분석가의 주도적으로 관여해야 하는 부분이니까요. ◾ 데이터분석을 하다보면 마케팅이나 서비스 운영팀의 요청으로 데이터 추출을 할 일이 많은데, 그때 서로의 언어를 알면 커뮤니케이션이 훨씬 활발한 것처럼 분석가-엔지니어도 비슷하다고 느꼈습니다. ◾ 스타트업 경험은 아직 없지만 지금 당연하게 여기는 환경을 처음부터 만들었다고 상상하니, '그게 가능한가?'하는 생각이 먼저 들었습니다. 동시에 파이프라인 관리를 한 번 해보면 분석 업무에서도 굉장히 도움이 되겠다는 생각도 들었고요. ◾ 최근에 '데이터분석을 하면서 엔지니어링 지식이 필요할까, 필요하다면 얼마나?'라는 고민을 계속 가지고 있었는데, 좀 더 진지하게 해야겠다는 쪽으로 무게를 한 스푼 얹은 글이었습니다.