오프라인과 온라인 A/B 테스트를 통해 오픈챗 추천 모델 개선하기

* 라인의 기술 블로그 URL이 변경되었네요! * 새로운 블로그에 올라온 글입니다. 오프라인과 온라인 A/B 테스트를 통해 오픈챗 추천 모델 개선하기 * 라인에서 오픈챗이란 기능이 있는데(일본, 태국, 대만 서비스) 여기서 오픈챗 메인 페이지에 노출되는 추천 서비스에 대한 내용을 다룹니다 * 추천 시스템에서 널리 사용하는 2 단계 프레임워크 적용 * 후보 선정(Candidate Selection) * 랭킹(Ranking) * 온라인 AB 테스트의 지표 * CPI : 가입 수 / 노출 수 * UU CPI : 가입자 수 / 노출된 사용자 수 * CTR : 커버 뷰 횟수 / 노출 수 * CVR : 가입 수 / 커버 뷰 횟수 * Request CPI / 가입 신청 수 / 노출 수 * 최소 1주(2주 이상 권장)을 테스트해야 함 * 필터 버블 : 사용자의 히스토리를 기반으로 제공하는 개인화 알고리즘의 결과가 거품 안에 갇힌 것처럼 사용자가 선호하는 관점으로만 구성되는 현상 * 오프라인과 온라인 테스트의 간극을 확인 -> 이게 점점 심해지곤 함 * Adhoc AB 테스트 https://techblog.lycorp.co.jp/ko/improve-openchat-recommendation-model-with-offline-and-online-ab-test