🥲눈물의 Personalize 도입 일기 Part 2. 도입을 결정한 후 마침 AWS 에서 진행하는 Personalize 온라인 핸즈온 교육에 참석할 기회가 있어 러닝 커브를 줄일 수 있었다.

🥲눈물의 Personalize 도입 일기 Part 2. 도입을 결정한 후 마침 AWS 에서 진행하는 Personalize 온라인 핸즈온 교육에 참석할 기회가 있어 러닝 커브를 줄일 수 있었다. 처음 해야 할 것은 Dataset으로 구분되는 작업 그룹을 만들고 추천 유형에 따라 Ecommerce, Video, Custom 으로 구분될 수 있는 도메인을 정하는 것이었다. 3가지 유형은 그 도메인 특성에 따라 요구되는 필수 데이터 항목이 조금씩 다르기도 했기에 우리는 우리만의 Custom 도메인의 Dataset 만들기로 했다. 두번째로 생각해야 하는 것은 솔루션 - Recipe 로 명명되는 알고리즘을 선택하는 것이었다. Personalize 는 추천에 사용 가능한 기본 알고리즘이 Recipe 라는 형태로 구현되어 있고, 이를 솔루션이라는 단위를 통해 관리 할 수 있었다. 큰 범주에서는 Item Recommendation, User Segmentation 으로 솔루션을 나눌 수 있는데, Item Recommendation은 단순히 상품이 아닌, 추천 가능한 모든 데이터 단위들이 아이템으로 정의 될 수 있기에 우리는 사용자들의 글을 아이템으로 정의하고 알고리즘으로는 User Personalization 을 선택하였다. 이 알고리즘은 사용자의 행태를 User Interaction 이라고 불리는 사용자와 아이템이 연결된 이벤트 형태로 나타내는 데이터 셋이 필수로 지정되어야 한다. 이 이벤트 데이터를 학습시켜 시간의 흐름에 따라 변하는 사용자의 관심도를 반영한 모델을 만들면 해당 사용자의 과거 행태에 기반하여 앞으로 선택 가능성이 높은 아이템을 추천해주는 방식의 솔루션 제공되었다. 그렇다면 어떤 데이터를 학습 데이터로 쓸 것인가. 커리어리는 Amplitude 를 통해 사용자 경험을 분석하고 제품 개선에 이용하고 있다. 이 Amplitude 의 raw 이벤트 데이터는 별도의 분석 DB 에 적재되고 있었으므로 이를 이용하면 User Interaction 데이터를 만드는 것은 큰 문제는 아니었다. 사용자에게 노출되는 많은 글 중에서 사용자가 흥미를 보였다고 해석할 수 있는 이벤트를 정의하기 위해 Amplitude 를 가장 많이 쓰는 PM 분들과 많은 논의를 했고, 특정 글에 대한 '더보기' , '좋아요', '저장하기', '공유하기' 기능을 학습 이벤트로 정의 하였다. AWS Personalize 에서 제공하는 API 를 통해 학습 데이터 셋을 만드는 것과 주기적인 데이터 ingestion 기능을 구현하기 시작했다. 레퍼런스가 많이 없다 보니 공식 Document 를 참고하여 만들다 보니 많은 시행 착오를 겪었지만, 사용자 ID 를 입력하면 100ms 가 안되는 시간에 추천 글 목록이 500개까지 출력되는 API가 동작하는 모습을 구성했을 때 개선된 추천 시스템을 구성했다라는 뿌듯함을 느낄 수 있었다. 그렇지만, 본 게임은 이제부터. 이 추천 시스템이 커리어리의 사용자에게 가치 있는지 어떻게 평가해야 할까. 그리고 얼마나 유의미한 것인지 판단해야 하는 눈물의 시간이 다가왔다. (계속) Part1 -> https://careerly.co.kr/comments/63943