지인 소개로 2013년 10월 유데미에서 데이터 관련 컨설팅을 일주일 2시간 정도로 가볍게 시작했다. 처음에는 별 생각없이 사이드로 시작했던 것이 일을 할수록 회사와 사람들이 마음에 들어 10개월 후 2014년 8월에는 풀타임으로 조인했다. 처음에는 마케팅 관련 데이터 파이프라인을 만드는 것에 집중했다. 마케팅 관련 예산이 크다보니 데이터 기반으로 빠르게 돌아가려면 캠페인별 지표(ROAS: Return On Ad Spend)가 바로바로 계산되어야 했기 때문이다.

그 다음에는 A/B 테스트 관련 시스템을 만드는 것에 집중했는데 그 이유는 추천 엔진을 만들기 위한 사전작업으로 생각했기 때문이다. 그때 까지만 해도 추천엔진을 마케터들이 룰 기반으로 만들어 운영하던 상황이었는데 이를 머신 러닝 중심으로 바꿀 계획을 갖고 있었고 아무리 좋은 의도를 갖고 있어도 누군가 하던 일을 대신한다는 것은 어느 정도의 저항을 만들어낸다. 그래서 객관적으로 비교할 수 있는 A/B 테스트 시스템을 먼저 만들어서 나중에 저항을 최소화하려 했고 커다란 문제 없이 머신 러닝 기반으로 이전할 수 있었다.

A/B 테스트 시스템 디자인부터 계산하면 최종 머신 러닝 기반의 추천 엔진의 릴리스까지는 거의 1년이 걸렸는데 샌프란시스코에 있는 팀과 터키 앙카라에 있는 팀이 거의 24시간 이어 일을 하지 않았다면 훨씬 더 긴 시간이 걸렸으리라 믿는다. 이 과정을 통해 배운 점을 몇가지 공유해보자면 다음과 같다.

1. UI/UX가 추천엔진 구현만큼 중요하다. 왜 추천하는지 이유를 설명하는 것이 굉장히 중요하며 페이지(홈페이지, 아이템 상세페이지, 체크아웃 페이지 등등)마다 그 페이지의 문맥에 맞는 추천을 하는 것이 중요하다.

2. 처음에는 너무 복잡하게 구현하지 말고 간단하게 만들고 점진적으로 고도화하는 것이 좋다.예를 들어 머신러닝 기반의 추천엔진 구현은 인프라 비용과 운영 등에 있어 복잡도가 높다. 시작할 때는 간단하게 구현할 수 있는 인기도 기반이나 아이템 유사도 기반이 더 효율적이며 조금 데이터가 쌓이면 협업 필터링(Collaborative Filtering)을 사용해볼 수 있다. 최종적으로 사용자와 아이템에 대해 평점이나 구매 여부등을 예측하는 머신러닝 모델을 만들어보는 것인데 이는 여러가지 난이도가 높기에 이를 구현하고 운영할 수 있는 인력이 있고 이게 정말 필요할 때 하는 것이 낫다.

3. 동시에 아이템과 사용자에 대한 데이터 (메타 데이터)를 계속 만들어가는 것이 중요하다. 아이템의 경우 분류체계와 태그 시스템 등을 만들어 아이템을 체계에 맞게 분류하고 관련된 키워드들을 지정해야 한다. 사용자들의 아이템별 반응을 기록할 수 있다면 (클릭한 것과 안 한 것들) 대략적으로라도 어떤 카테고리에 관심이 있고 없고 여부를 파악할 수 있다. 이 것만 가지고도 간단하게 규칙기반으로 추천엔진 유닛을 만들어볼 수 있다.

4. 위 3번이 가능하려면 간단한 수준으로라도 사용자 이벤트 로그를 남겨야 한다. 어떤 아이템이 누구에게 노출되었고 그에 대해 어떤 반응이 있었는지 (무반응, 클릭, 구매, 소비 등등) 이를 로그 형태로 기록을 해야하고 주기적으로 이를 프로세싱해서 사용자별로 feature들을 만들 수 있다. 이 정보들이 나중에 평점이나 구매여부 예측하는 머신러닝 모델을 만들 때 유용해지며 A/B 테스트 시스템을 만들때도 결과를 해석할 때 큰 도움이 된다.

5. 또 추천엔진을 만들 때 불필요하게 개인정보를 많이 쓰면 나중에 개인정보 보호와 관계된 이슈들이 많이 생길 수 있기에 최대한 사용하지 말던지 익명화해서 사용하는 것이 좋다. 유럽연합의 개인정보보호법인 GDPR 준수와 관련되어서 나중에 불필요한 개인정보를 추천엔진에서 제거하느라 상당한 시간낭비가 있었다.

이외에도 하고 싶은 이야기가 많지만 여기서 다 다룰 수 있는 내용은 아니기에 친정 같은 유데미 플랫폼 위에서 입문자를 위한 추천엔진 만들기 강의를 하나 만들었다.

파이썬과 머신 러닝으로 만들어보는 추천 엔진: https://bit.ly/3Tc8ftt 

오픈 기념해서 이벤트를 2개 동시 진행 중인데 4/7일까지 진행 예정이며 많관부!

• 강의 구매 후기 이벤트(커피 증정) https://forms.gle/YZ59QW64LcdnL7wU7

• 1:1 멘토링 이벤트 :  https://forms.gle/nkeXynW1oxV5gbTB6