오프라인과 온라인 A/B 테스트를 통해 오픈챗 추천 모델 개선하기
LY Corporation Tech Blog
라인의 기술 블로그 URL이 변경되었네요!
새로운 블로그에 올라온 글입니다. 오프라인과 온라인 A/B 테스트를 통해 오픈챗 추천 모델 개선하기
라인에서 오픈챗이란 기능이 있는데(일본, 태국, 대만 서비스) 여기서 오픈챗 메인 페이지에 노출되는 추천 서비스에 대한 내용을 다룹니다
추천 시스템에서 널리 사용하는 2 단계 프레임워크 적용
후보 선정(Candidate Selection)
랭킹(Ranking)
온라인 AB 테스트의 지표
CPI : 가입 수 / 노출 수
UU CPI : 가입자 수 / 노출된 사용자 수
CTR : 커버 뷰 횟수 / 노출 수
CVR : 가입 수 / 커버 뷰 횟수
Request CPI / 가입 신청 수 / 노출 수
최소 1주(2주 이상 권장)을 테스트해야 함
필터 버블 : 사용자의 히스토리를 기반으로 제공하는 개인화 알고리즘의 결과가 거품 안에 갇힌 것처럼 사용자가 선호하는 관점으로만 구성되는 현상
오프라인과 온라인 테스트의 간극을 확인 -> 이게 점점 심해지곤 함
Adhoc AB 테스트
https://techblog.lycorp.co.jp/ko/improve-openchat-recommendation-model-with-offline-and-online-ab-test
다음 내용이 궁금하다면?
이미 회원이신가요?
2023년 11월 30일 오전 7:22