Four Techniques for Outlier Detection - KDnuggets
KDnuggets
아웃라이어 탐지를 위한 기법 네가지
데이터분석 분야에서 아웃라이어라는 건 어떤 데이터 집단이 가진 특성에서 크게 벗어나는 관측 데이터를 의미합니다. 따라서 아웃라이어를 탐지하려면 대상 집단이 가진 특성을 가장 잘 표현하는 데이터 모델을 정의하는 작업이 먼저 필요합니다.
만약 해당 집단이 평균을 중심으로 정규 분포 형태로 퍼져있다면 평균과 분산만으로도 아웃라이어를 충분히 탐지할 수 있을 테고, 좀 더 복잡한 조건에 영향을 받는다면 그에 맞는 회귀 모델이나 트리 모델 등을 이용해서 모델을 만든 후 해당 모델의 예측치에서 크게 벗어나는지를 확인하는 방식을 사용해야겠죠.
이 글에서는 아주 기본적으로 많이 사용하는 방법 4가지만을 소개하고 있지만, 실상 어떤 모델링 기법을 사용하던 정상적인 데이터들을 잘 표현하는 모델을 먼저 만들고 그 모델의 기대값과 실제 관측된 데이터를 비교해서 그 차이가 큰 데이터를 아웃라이어로 판단한다는 기본 개념은 모두 동일합니다.
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2021년 2월 10일 오후 1:06
댓글 0
함께 읽은 게시물
< 인생을 바꾸는 ‘큰 돌멩이’의 법칙 >
1. 스티브 잡스는 매일 아침 거울 앞에서 스스로에게 물었다. 오늘이 내 삶의 마지막 날이라면, 지금 이 일을 계속할 거냐고.
예전부터 생각해왔던 것이지만, 회사에서 내가 무언가를 이뤘다고 생각하는 것이 얼마나 가소로운 생각이었나 싶다. 팀과 조직이 클 수록 그렇다. 나의 결과는 결국 내가 있는, 나를 둘러싼 환경이 결정하는 것이라서, 잘했다고 설레발도, 못했다고 좌절도 할 필요가 없다는 것을 뒤늗게 깨달았다.
야근의 관성
제가 한국에서 직장 생활을 시작하고 가장 먼저 배운 것은 아이러니하게도 야근이었습니다. 신입이었던 제게 야근은 선택의 문제가 아니었거든요. 선배들에게 야근은 너무나 당연한 루틴이었고, 저녁 5시가 되면 "퇴근 안 해?"가 아니라 "저녁 뭐 먹을까?"라는 질문을 던졌습니다. 누가 정해놓은 것처럼 부장님이 퇴근해야 과장님이, 과장님이 퇴근해야 대리님이, 대리님이 퇴근해야 비로서 저 같은 신입도 퇴근 생각을 할 수 있었습니다.
... 더 보기“퇴사하고 싶습니다.” 최근 한 기업의 대표님이 가슴 아팠던 직원의 퇴사 이야기를 터놓았습니다. 사실 아직도 퇴사 사유를 정확히 잘 모른다고 합니다. 그 확고함에 어쩔 수 없이 보냈을 뿐. 많은 대표님이 비슷한 경험을 해봤을 것입니다.
... 더 보기
