책 [데이터 드리븐 리포트]를 읽고 758

데이터 기반 의사결정 분야의 저명한 글로벌 리더인 피얀카 자인의 저서 'Behind Every Good Decision'에 따르면 분석의 80%는 기본 통계와 시각화 같은 간단한 방식으로 이뤄지고 20% 정도만 고도화된 분석 도구를 사용한다고 합니다.

탐색적 자료 분석 EDA (Exploratory Data Analysis)는 데이터의 특성을 파악하고 이상치를 찾아내며 변수 간의 관계를 이해하는 전반적인 과정을 의미합니다. 판매 데이터를 분석하여 고객에게 가장 인기 있는 제품이나 서비스, 가장 매출이 높은 지역, 가장 효과적인 마케팅 캠페인, 가장 수익성이 높은 고객 세그먼트를 파악하는 데 사용할 수 있습니다.

탐색적 자료 분석 EDA의 기본적인 분석 과정은 1) 데이터 불러오기, 2) 데이터를 훑어보고 데이터 타입 확인, 3) 결측치 처리, 4) 이상치 처리, 5) 종속변수 분포 확인, 6) 종속변수와 독립변수 관계, 7) 상관관계 분석 순서로 이루어집니다.

데이터 시각화는 복잡한 설명서 대신 쉽게 이해할 수 있는 그림이나 도표로 정보를 나타냄으로써 텍스트나 숫자로 정보를 전달하는 것보다 훨씬 더 효과적으로 상대방을 이해시키고 설득할 수 있습니다. 시간 경과에 따른 판매 실적을 보여주는 대시보드나 회사 부서별 이직률을 보여주는 차트와 그래프를 만드는 데 사용할 수 있습니다.

가설검정은 데이터 분석에 핵심적인 요소로, 어떤 주장이 사실인지 아닌지를 판단하는 데 꼭 필요합니다. 예를 들어 신약이 실제로 효과가 있는지 확인하거나 마케팅 캠페인이 실제로 판매량을 증가시키는 데 도움이 되는지 알아볼 때 가설검정이 필요합니다. 

가설검정은 귀무가설과 대립가설을 설정하고 수집한 데이터를 바탕으로 이 가설들을 검증하는 과정입니다. 이 과정에서 'p-값'이라는 중요한 개념이 등장하는데, 이는 귀무가설이 참일 경우 관찰된 데이터가 발생할 확률을 나타냅니다.

자연어 처리를 활용한 텍스트 분석 중 하나인 토픽 모델링은 대량의 텍스트가 주어졌을 때 효과적인 분석 방법입니다. 토픽 모델링 기반 뉴스 기사 분석을 통한 특정 이슈를 도출할 수 있습니다. HR 부서에서 직원 만족도 조사 시 개방형 질문에 대한 응답 분석도 할 수 있습니다.