📔 시나브로 독서 [데이터 천재들은 어떻게 기획하고 분석할까?,조성준 외] 🔖 발췌 어떻게 빅데이터를 분석할 것인가? 데이터 요리법의 첫 번째로는 데이터에 숨어 있는 특징을 눈으로 확인할

📔 시나브로 독서 [데이터 천재들은 어떻게 기획하고 분석할까?,조성준 외] 🔖 발췌 어떻게 빅데이터를 분석할 것인가? 데이터 요리법의 첫 번째로는 데이터에 숨어 있는 특징을 눈으로 확인할 수 있는 가장 기본적이고 직관적인 '시각화'가 있다. 두번째는 분류와 예측으로 과거에 일어났던 일을 데이터로 만들어 '학습'한 후, 미래를 예측하는 것이다. 가령 특정 부품의 고장, 고객의 구매 관심 제품, 상담원의 조기 퇴사, 두 달 후 개봉할 영화의 관객 수 등이 모두 예측의 대상이다. 예측을 할 수 있는 방법은 매우 다양하다. 통계학에서 전통적으로 사용한 회귀분석 이외에도 인공지능, 머신러닝 분야의 총아인 뉴럴네트워크 및 그 후속 모델인 딥러닝 모델이 대표적이다. 세 번째로는 군집화 또는 클러스터링으로서 유사한 대상끼리 묶는 것이다. 이를테면 코스피, 코스닥 기업들의 사업보고서에 등장하는 단어들의 유사성을 토대로 이들을 묶는 경우이다. 유사한 업종을 함께 묶는다면, 투자기관에서 포트폴리오를 구성할 때 이를 기준으로 삼을 수 있다. 이외에도 제품을 찾는데 특화된 분석법도 있고, 소셜네트워크에서 친한 그룹을 찾아내는 방법도 있다. 데이터 자체가 숫자가 아니고 비정형 데이터인 경우에는 특수한 분석이 필요하다. 예를 들어 소셜미디어에 노출된 사람들의 의견, 감상 등을 분석하려면 자연어 처리라는 인공지능 기법을 사용해야만 문자를 숫자로 바꿀 수가 있다. 소셜미디어에 올린 사진을 분석하려면 이미지를 분석하는 특별한 이미지 처리, 컴퓨터 비전 방법을 활용하여 숫자로 바꾸어야 한다. 이때 컴퓨터 비전은 사람의 눈과 뇌가 하는 작업을 수학적 알고리즘을 통해 컴퓨터가 수행할 수 있도록 만드는 것을 말한다. 물론 문서나 이미지도 앞서 이야기한 시각화, 예측, 군집호의 대상이 된다. 분석은 실제로 큰 비용과 오랜 시간이 요구되는 활동이다. 금을 캐기 위해 어두컴컴한 터널 속에 들어간 광부와도 같다. 이때 금은 바로 '인사이트'다. 데이터 광산에서 금을 캐는 활동, 그것이 곧 '데이터 마이닝'이라고 할 수 있다.