🌈 2022년 주목해야 할 데이터 및 분석 동향 🎁 이 글을 추천하는 이유 - 데이터 업계의 동향을 설명한 자료입니다 - 최근에 저도 느끼는 부분이 작성되어 있어서 더욱 공감했습니다 :) - 참고로 많이 의역했습니다. 자세히 궁금하시면 원문을 보시는 것을 추천드려요-! - 제가 생각한 간단 요약도 (=> 와 함께 붙였습니다) - 잘못된 해석 & 다른 의견 언제나 환영입니다! ✍ 내용 요약 1. 데이터 스택은 점점 더 틈새 시장으로 가고, 데이터팀은 점점 도구 선택이 힘들어짐 - 점점 데이터 솔루션이 많이 생기고 있으며, 더 세분화되고 있음 - 스타트업에선 비전에 맞는 핵심 문제 해결을 집중해야 하기 때문에, 이런 데이터 솔루션을 많이 사용했음 - 전문화된 도구를 사용하는 것이 일반적인 도구를 사용하는 것보다 좋다고 이야기하지만, 이 부분으로 문제가 발생함 - 즉, 새로운 도구를 계속 추가하면서 마이그레이션 작업도 해야하고, 작업 Workflow에 도구를 추가해야 함 - 도구가 점점 분산될수록 덜 합리적이고, 덜 지능적이고, 덜 집중이 됨 => 점점 데이터 SaaS가 많이 생기는 이 추세에서 많은 것을 선택하는 것이 결국 피로감을 만든다는 의미 2. 데이터팀은 "Mission Statements"를 디벨롭 - 팀이 무엇을 향하고 싶은지 목적 의식을 구체화 - 팀 내에서 기대치를 재설정 - 비즈니스와 연결된 목표 설정 - 팀이 진짜 하고 싶은 것을 팀원들과 이야기하고, 후속 세션을 이야기하며 점점 목표를 달성하려고 노력해야 함 3. 노트북과 데이터 카탈로그는 엔터프라이즈로 이동 - 일을 더 잘하기 위해 대시보드 이상의 것이 필요하며, 그 맥락으로 노트북 환경을 선택함 - 데이터 카탈로그는 좋은 퀄리티의 데이터를 만들 때 도움이 되며, 새로운 노트북도 찾기 편해짐 4. 데이터 스택이 점점 변하고 있음 - Rust가 데이터 엔지니어링에 더 맞을 수 있음 - 데이터 변환, 전처리, 탐색에선 더 이상 파이썬을 사용할 이유가 없음 - SQL 기반의 데이터 웨어하우스가 더 사용하기 편해지면서, 파이썬으로 하면 더 비용이 많이 들게 됨 => 여러가지 도구가 생기면서 환경이 변화하고 있다는 뜻 5. 데이터 관련 협업은 "데이터가 존재하는 Google Docs"가 아닌 더 확장될 것 - 최근 협업을 이야기하는 도구가 많이 생겼지만, 실제로 그 도구들은 데이터용 Google Sheet를 제공하고, 하루 단위로 데이터를 추출함 - 실시간으로 다른 사람과 SQL 쿼리를 작성하는 것을 원하지 않고, 협업이 전체적으로 부족함 - 2022년은 데이터 협업의 모습에 대해 여러 고민이 나올 것 => 데이터 관련 협업의 Best Practices에 대해 고민할 필요가 있음 6. 메타버스에 비즈니스가 없어도, 데이터 업무를 하는 사람이 존재할 것 - 메타버스에서 사용할 여러 데이터 도구가 나올 것 7. 분석의 마지막 부분(Last Mile)의 중요성이 증가될 것 - 2021년에 Data Mesh 이야기가 많았음 - 누군가와 이야기하느냐에 따라 의미가 달랐지만, 모두 알고 싶어했음 - 이것처럼 분석의 Last Mile도 비슷한 상황 - Reverse ETL, Headless BI 등 => 분석의 마지막이 제일 중요하단 의미 => 인프라/데이터 웨어하우스는 발전했지만 인사이트로 무엇을 해야할지 결정하는 것은 매우 어려움. 이런 부분에 대해 많은 이야기가 나올 것 9. 셀프 서비스가 진행되는 그 날까지 - 회사의 모든 구성원들이 셀프 서비스로 데이터를 분석하는 환경을 꿈꿔옴. 그로 인해 데이터팀이 더 유익한 일을 할 수 있을 것이라 기대했음 - 데이터 파이프라인을 구축하고, 데이터 스토리를 전달하는 것을 진행했음. 이젠 다시 모든 구성원들이 셀프 서비스를 할 수 있도록 도전해볼 것 10. Decision Scientist의 부흥 - 데이터를 비즈니스, 의사 결정에 더 잘 사용하는 부분에 집중할 것 - 데이터가 효과적으로 사용되도록 만드는 직군이 생길 것 - Meta 같은 곳엔 이미 Decision Scientist를 고용하고 있고, 점점 주류로 확장될 것