📊 [데이터는 어떻게 우버의 어플리케이션을 구성하는가?] 🎬 Introduction 데이터는 우리의 프로덕트에서 아주 중요합니다. 데이터 분석은 사람들이 우리의 서비스를 사용하면서 마찰이 적도

📊 [데이터는 어떻게 우버의 어플리케이션을 구성하는가?] 🎬 Introduction 데이터는 우리의 프로덕트에서 아주 중요합니다. 데이터 분석은 사람들이 우리의 서비스를 사용하면서 마찰이 적도록(frictionless), 즉 서비스를 더 효율적으로 사용할 수 있도록 합니다. 이는 우리의 엔지니어, 프로덕트 매니저, 데이터 분석가, 데이터 사이언티스트들이 정보 기반의 의사결정을 할 수 있도록 합니다. 데이터 분석의 영향은 우버 어플리케이션의 모든 화면에서 찾아볼 수 있습니다. 홈 화면에 무엇을 보여줄지, 어떤 상품을 보여줄지, 어떤 메세지를 유저에게 노출할지, 유저들이 왜 차량을 이용하거나 회원가입을 하는 등의 액션 중에 중단을 하는지 등등… 엄청나게 많은 유저와 수많은 피쳐들을 바탕으로 모든 지역을 지원하는 것은 복잡한 문제입니다. 게다가 우리의 어플리케이션은 계속해서 새로운 프로덕트로 확장해나가고 있고, 기저에 있는 기술들은 이를 발전시키고 지원할 필요가 있습니다. 데이터는 이런 것들을 가능하게 하는 중요한 도구입니다. 이 글에서는 특히 Rider Data에 집중해보고자 합니다. 우리가 어떻게 데이터를 수집하고, 처리하며, 라이더 어플리케이션에 어떤 변화들을 가져오는지를 소개하고자 합니다. 🎬 Rider Data Rider Data는 Uber Rider APP과 Rider 사이의 모든 상호작용들을 포함합니다. 이는 매일 Uber의 온라인 시스템에서 발생하는 몇 백만개의 이벤트들에 대한 것인데, Rider APP에 활용하기 위해 몇 백개의 Apache Hive 테이블로 저장되고 있습니다. 우리가 데이터 분석을 통해 풀고자 하는 주요 문제로는, 유입된 유저의 Action을 이끌어내거나, 유저 유입을 증가시키거나, 개인화, 유저 커뮤니케이션 등이 있습니다. 🎬 Online Data Collection [1] Mobile Event Logging Rider Data는 여러 가지 소스를 가지고 있지만, 메인은 유저가 APP과 어떻게 상호작용하는가를 캐치하는 것입니다. 유저 상호작용은 모바일의 Event Logging에 따라 기록됩니다. Logging Architecture는 몇 가지 원칙을 바탕으로 설계됩니다. - Standardization of logs (로그의 표준화) - Consistency across platforms (iOS, Android, Web) (플랫폼 간의 일관성) - Respecting user privacy settings (개인정보보호) - Optimizing network usage (네트워크 최적화) - Reliable without degrading the user experience (유저의 경험을 해치지 않음) [2] Standardizing Logs 수 백명의 엔지니어들이 로그를 생성하고 수정하는데에 관여하고 있기 때문에, 표준화된 로그 처리 방식을 구축하고 이를 따르는 것이 중요합니다. 클라이언트에서 기록되는 로그들은 자동화(유저가 UI와 상호작용하거나, 광고에 노출되거나 하는 등의 이미 정의된 이벤트들의 경우)되거나, 개발자들에 의해 수동적으로 추가되기도 합니다. 메타데이터의 기본은 일반적인 페이로드로 규정됩니다. 이는 위치, 앱 버전, 기기, 화면명 등과 같은 모든 이벤트마다 전송되는 데이터로 구성됩니다. 이는 백엔드에서 지표를 구성하는데에 있어 아주 중요합니다. 게다가, 플랫폼에 상관없이 이벤트들이 일관성을 갖고, 표준화된 메타데이터를 갖기 위해서 우리는 이벤트 모델들이 각자의 페이로드를 정의하도록 하는 절약적인 구조를 정의했습니다. 스키마는 각 플랫폼에 따라 다른 Event ID를 갖는 열거 자료형(서로 연관된 상수들의 집합)을 만들고, 이벤트의 발생에 따른 등록 시점에 필요한 페이로드 구조를 정의하고, 이벤트 타입을 정의합니다. [3] Publishing Logs 이 로그들은 통합된 수집체계로 수집되는데, 이는 클라이언트에서 만들어지는 모든 메세지를 처리할 수 있는 프레임워크입니다. 이 통합된 수집체계는 메세지를 하나의 큐에 저장하고, 모아서, 몇 초에 한번씩 일괄적인 양식에 따라 백엔드의 이벤트 프로세서로 전송합니다. 이벤트들은 계속해서 규모가 커지거나 변화를 반복합니다. 오늘도 수 백가지 형태의 이벤트들이 처리되고 있습니다. 빠른 성장의 또 다른 문제는 다른 OS 사이에서 로그를 맞춰나가고 필요 수준의 신호 잡음비를 유지해나가는 것입니다. 메타데이터를 기반으로, 이벤트를 수신하는 Event Processor는 이것이 어떻게 처리되고 전파되어야 하는지를 결정합니다. Event Processor는 또 이벤트를 계속해서 공급하고, 메타데이터와 매핑이 사용불가능하지 않는 한 이벤트를 하부구조로 전파하지 않습니다. 이는 신호 잡음비를 향상시키기 위한 노력이기도 합니다. [4] Backend Event Logging 유저 상호작용과 함께, 유저들에게 무엇을 보여줄지를 결정하는 것도 중요합니다. 이는 백엔드의 Service Layer로부터 데이터를 Logging하는 것으로 이루어집니다. 백엔드의 Logging은 모바일 기기에서 다룰 수 없거나 다루기에는 너무 큰 메타데이터를 처리합니다. 다른 시스템이나 모바일 기기에서 백엔드로의 요청이 이루어질 때 마다, 로그 데이터가 쌓입니다. 매 레코드들은 하나의 모바일 상호작용으로 묶이는 Key를 갖습니다. 이러한 구조는 모바일 대역폭이 효율적으로 사용될 수 있도록 합니다. 더 자세한 내용은 본문에서 확인해보세요!