[아마존이 제안하는 데이터기반 조직을 위한 역 | 커리어리

[아마존이 제안하는 데이터기반 조직을 위한 역량] AWS Innovate 의 데이터 특집 발표 중에서 인상적으로 들었던 발표 내용을 공유합니다. <데이터 기반 조직을 위한 역량 - 조직구조/거버넌스/플랫폼> 이라는 제목으로, 세션이 종료되면 다시 볼 수 없는 것을 알고 있어서 약 18분 분량의 내용 전문을 정리했습니다. 추상적인 단어를 많이 사용하고 있지만, 찬찬히 읽어 보시면 가까운 곳에서 예시를 찾아볼 수 있겠다는 생각도 듭니다. 개인적으로 조직 내에서 프로덕트로서의 데이터에 관심이 있었는데, 그것을 이상적으로 해내고 있다는 점에서 흥미로웠습니다. 📍 요약 - 데이터 기반 조직을 위해 조직구조와 거버넌스, 데이터 플랫폼 역량이 필요함 - 병목현상을 피할 수 있는 '현대적 데이터 커뮤니티'를 고려해야 함 - 데이터 거버넌스는 데이터를 보다 잘 활용하게 하는 것이 목적임 - 민첩한 플랫폼을 위해 데이터레이크 구조를 고려해야 함 - AWS의 지원 프로그램, D2E 👉 데이터기반 조직이란 더 나은 의사결정과 예측 못한 상황에 대한 더 나은 대응력을 강화하고, 고객경험과 참여를 개선하며, 새로운 기회를 발견할 뿐 아니라 운영 효율성을 개선할 수 있는 능력을 가지고 있다. 👉 데이터기반 조직을 위한 역량 1) 조직구조 2) 거버넌스 3) 데이터 플랫폼 👉 AWS: 기반 혁신의 플라이휠 ▪️ 고객경험 정의 → 고객의 피드백 → 데이터 확보 → 서비스(=비즈니스 프로덕트) 개선 ▪️ 이를 위해 다양한 실험을 수행하고 창조된 혁신을 다시 비즈니스 프로덕트에 반영 ▪️ '프로덕트 기반 운영 모델' 1) 데이터 프로덕트: 조직 내부에 제공하는 서비스 2) 비즈니스 프로덕트: 고객에게 제공하는 서비스 👉 프로덕트 기반의 조직구조? 흔히 볼 수 있는 중앙집중형 거버넌스와 통제는 특정 부서에서 병목현상으로 인한 혁신의 속도가 느려진다는 것이 가장 큰 문제다. 또 다른 예인 COE(Center Of Excellence)형은 (예: 분석 COE, 데이터 COE 등) 크로스펑션팀을 하나로 모아 분석을 통해 공통 비즈니스 과제를 해결하는 좋은 아이디어다. 데이터 분석을 조직 전체에 전파하는 역할을 수행하는 장점이 있다. 단, 모든 요구사항이 이 팀으로 모이는 병목현상을 주의해야 한다. 💡 AWS - 현대적 데이터 커뮤니티 + 분산형 의사결정 + 핵심역량에 대한 거버넌스 + 표준 수립 및 준수 + 데이터 에코시스템 관리 - 통제력에 대한 우려 - 생산자의 참여를 독려해야 함 👉 AWS의 변화 과정과 장점 (1) 자바 기반 통합 구조 → 아마존 시스템 내 프로덕트 기반(홈페이지, 계정, 광고, 검색 등)으로 재구성 (2) 프로덕트를 중심의 팀 조직 - 독자적 운영을 위해 팀이 필요한 모든 기능을 가지고 있어야 하므로, 중앙집중형 조직의 병목현상 최소화 한다. (3) 일을 팀에 할당 - 전: TFT를 만들어 그 일을 정의 → 어떻게 나눠서 일할지 반복적 회의 → 완료 → 지원부서로 이전 → 이후 잊혀짐 → 다음 프로젝트 시작 → 처음부터 다시 반복 - 후: 팀이 프로젝트를 자기 사업처럼 소유하고 운영할 수 있는 권한 부여 → 도멘인 전문가 / 높은 생산성 및 품질 → 회사의 전체적인 일에 연결되었다는 느낌 → 더 많은 혁신을 더 짧은 시간 안에 (4) 반복을 통한 리스크 경감 - 결국 각 팀이 작은 일을 맡고 있기 때문에, 구현에 드는 리스크와 비용 절감된다. - 내부적으로 각 프로덕트에 필요한 데이터도 프로덕트로 인식하게 만든다. 📍 데이터 기반 문화를 위해 필요한 것 1️⃣ 데이터 프로덕트 고객은 쇼핑몰에서 상품을 검색하고 설명을 읽은 뒤 구매나 구독을 결정한다. 이 과정에서 생산자와 소비자 사이에 일종의 계약이 성립된다. 데이터 프로덕트도 동일하다. 각 프로덕트 팀들은 자신들의 비즈니스 프로덕트를 만들고 개선하기 위해 데이터가 필요하다. 그 데이터를 쉽게 찾을 수 있다면 각 팀이 실행하는 여러가지 실험들이 더 빨라진다. 이를 위한 것이 바로 데이터 프로덕트다. 2️⃣ 데이터 커뮤니티 데이터 기반 조직을 위한 플라이휠에서 가장 중요한 요소는 '실험에 드는 시간과 비용 절감'이다. '현대적인 데이터 커뮤니티'는 책임을 양 끝단, 즉 비즈니스에 가장 가까운 팀에 맡김으로써 민첩성을 부여한다. 과거에는 거버넌스/데이터품질/인프라/보안 을 중앙의 IT팀에서 모두 수행했다. 느려질 수밖에 없다. 포브스는 '데이터 접근을 10%만 늘려도 700억원 이상의 순이익이 증가한다.'고 했다. 💡 AWS: 데이터 마켓플레이스 1) 데이터 레이크 플랫폼팀: 마켓플레이스를 운영하는 팀. 보안통제, 데이터 검색, 업로딩, 공유 등의 기능을 운영한다. 2) 생산자팀: 데이터 공유를 원하는 팀이자 도메인 전문가. 데이터를 잘 이해하고 있으며 거버넌스를 정의하고, 데이터 정제 및 품질에 대한 책임을 진다. 3) 소비자팀: 데이터 사용을 원하는 팀. 고객의 이슈에 보다 가까운 사람들. 자신들의 프로덕트에 필요한 데이터를 찾고자 하며, 품질에 대한 확신을 얻고 싶다. 따라서 데이터에 대한 투명성을 매우 필요로 한다. 3️⃣ 데이터 거버넌스 거버넌스의 목표를 '게이트 키퍼'로 생각한다면, 거버넌스는 데이터 기반 문화와 역량을 만드는 데 방해가 된다. 따라서 거버넌스의 목표를 데이터의 접근을 '제한'하는 것이 아니라, 더 '많이' 할 수 있도록 정의하는 것이 중요하다. 어떤 데이터에 대해 '왜 접근 권한을 가져야 하는지' 따지는게 아니라, 반대로 '왜 접근 권한을 가지면 안 되는지' 따져야 한다. 개인정보, 보안사항, 정부규제 등의 이슈도 물론 있지만, 근본적으로 데이터에 대한 많은 접근을 허용하는 것이 목표가 되어야 한다. 이슈를 톨게이트처럼 다루기 보다는 데이터가 활용되기 위해 해소되어야 하는 것으로 간주해야 한다. 💡 AWS 1) 프로그램 데이터 전략을 비즈니스 목표와 연계한다. 모니터링을 위해 데이터 운영 프로세스의 자동화 및 대시보드 구축도 포함 된다. 2) 데이터 프로덕트 팀 도메인 전문가이면서 데이터 프로덕트의 처음부터 끝까지 전과정에 대한 오너십을 가질 수 있어야 한다. 다른 팀의 피드백을 듣고 개선도 가능해야 한다. 3) 플랫폼 비즈니스 과제와 데이터 품질을 만족할 수 있는, 즉 데이터 프로덕트가 공유 가능한 데이터 플랫폼 역량을 구축해야 한다. 4) 데이터 보호정책 데이터 규제 준수를 위한 프로세스를 수립해야 한다. 이를 위해 사전에 의도된 설계에 따라 데이터 보호정책 및 가이드라인을 수립하고 자동화 한다. 또한 엔드 투 엔드 추적가능성을 위해 강력한 데이터 리니지를 갖춰야 한다. 4️⃣ 데이터 리터러시 데이터 거버넌스는 데이터 생산자와 소비자 간에 데이터를 이해하고 소통하기 위해서도 필요하다. 이를 위해 필요한 것을 데이터 리터러시라고 하며, 현대적인 데이터 커뮤니티를 만드는 가장 밑바탕이다. 이를 위해 먼저 '데이터 카탈로그'를 통해 데이터가 특정 비즈니스 주제와 연관이 있는지, 적용 가능한 것인지 맥락을 파악할 수 있어야 한다. 데이터 품질은 그래서 소비자가 이 데이터에 대한 신뢰를 가지기 위해 중요하다. 또한 데이터를 활용하기 위해서는 그 데이터에 대한 스토리를 쉽게 공유해줘야 한다. 즉, 각 데이터에는 적절하고 풍부한 설명을 달아줘야 이해할 수 있다. 마지막으로, 데이터에 대한 이해를 돕기 위해 시각적으로 잘 설계된 UI도 필요하다. 이러한 도구를 잘 이용하기 위해서는 적절한 훈련과 인증과정이 필요할 수도 있다. 예) AWS의 마켓플레이스 Finspace - 데이터를 검색할 수 있으며, 결과가 상세하고, 스키마에 대한 안내를 시각적으로 제공함 5️⃣ 피드백: 생산자와 소비자간 협업하는 방법 확인된 데이터 프로덕트에 대해 생산자와 소비자는 서로 피드백을 주고받을 수 있어야 한다. 어떤 데이터가 활용되는지, 누가 이 데이터를 요청하는지, 품질에 대한 요청사항은 무엇인지 등을 확인하고 개선함으로써 데이터 프로덕트를 개선할 수 있다. 그러면 최종적으로 혁신을 보다 빨리 진행할 수 있게 된다. 6️⃣ 데이터 플랫폼 데이터 기반 조직은 데이터 플랫폼을 활용할 수 있음으로써 완성된다. 데이터를 처리해서 소비자에게 전달만 하는 것이 아니다. 비즈니스 문제나 기회를 찾아내고, 가설을 정의한 다음, 필요에 따라 데이터를 수집하고 데이터 레이크를 점진적으로 구축하는 것, 그리고 확산하는 것이다. 강력한 데이터 전략은 강력한 애플리케이션 및 통합전략이 필요하다. 기업의 많은 트랜잭션들이 아무도 신경 쓰지 않는 보고서를 위해 돌아간다. 이는 곧 데이터 사일로를 만들게 되므로, 이를 제거할 수 있는 강력한 전략이 필요하다. 전통적인 플랫폼은 민첩하게 만들어지지 않았기 때문에 데이터 기반 조직에 필요한 역량을 제공하지 못했다. 중앙에 저장되어 있다가 유저들이 요구할 때 소비되는 구조는 병목현상을 일으킨다. 💡 AWS 데이터를 어떻게 사용할지, 결과를 어떻게 정의할 것인지 미리 알 필요가 없다. 데이터를 소스 데이터 포맷으로 저장할 수 있으며, 스토리지와 컴퓨팅을 분리할 수 있기 때문에 대규모 데이터를 처리를 적은 비용으로 확장할 수 있다. - 아마존은 가장 포괄적인 데이터 플랫폼을 제공한다. (S3, Redshift, Kinesis 등) 여기에 최신 데이터레이크 아키텍처인 Data Lakehouse는 다양한 기능과 연결한다.

2021년 8월 22일 오후 2:44

댓글 1

주간 인기 TOP 10

지난주 커리어리에서 인기 있던 게시물이에요!

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 개발자를 위한 커리어 SNS