오프라인과 온라인 A/B 테스트를 통해 오픈챗 추천 모델 개선하기


  • 라인의 기술 블로그 URL이 변경되었네요!

  • 새로운 블로그에 올라온 글입니다. 오프라인과 온라인 A/B 테스트를 통해 오픈챗 추천 모델 개선하기

  • 라인에서 오픈챗이란 기능이 있는데(일본, 태국, 대만 서비스) 여기서 오픈챗 메인 페이지에 노출되는 추천 서비스에 대한 내용을 다룹니다

  • 추천 시스템에서 널리 사용하는 2 단계 프레임워크 적용

    • 후보 선정(Candidate Selection)

    • 랭킹(Ranking)

  • 온라인 AB 테스트의 지표

    • CPI : 가입 수 / 노출 수

    • UU CPI : 가입자 수 / 노출된 사용자 수

    • CTR : 커버 뷰 횟수 / 노출 수

    • CVR : 가입 수 / 커버 뷰 횟수

    • Request CPI / 가입 신청 수 / 노출 수

  • 최소 1주(2주 이상 권장)을 테스트해야 함

  • 필터 버블 : 사용자의 히스토리를 기반으로 제공하는 개인화 알고리즘의 결과가 거품 안에 갇힌 것처럼 사용자가 선호하는 관점으로만 구성되는 현상

  • 오프라인과 온라인 테스트의 간극을 확인 -> 이게 점점 심해지곤 함

    • Adhoc AB 테스트



https://techblog.lycorp.co.jp/ko/improve-openchat-recommendation-model-with-offline-and-online-ab-test


오프라인과 온라인 A/B 테스트를 통해 오픈챗 추천 모델 개선하기

LY Corporation Tech Blog

오프라인과 온라인 A/B 테스트를 통해 오픈챗 추천 모델 개선하기

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 11월 30일 오전 7:22

댓글 0