[ 추천시스템의 고질적 문제를 해결하는 방법 ] 네이버 클로바에서 추천시스템 3.0이라고 명명한 업그레이드된 추천시스템을 설명한 영상입니다. 기존 추천시스템은 데이터가 생성되는 데서 어쩔 수 없이 생기는 bias, cold start 문제로 새로운 사용자/상품 추천에의 어려움, 새로운 모델을 적용할 때 오프라인/온라인 결과 차이에서 오는 어려움이 있어왔는데, 이 세 가지 문제를 위치 편향 제거, 그래프 뉴럴 넷 이용, 인과관계를 활용해서 오프라인에서도 온라인의 결과를 예측할 수 있도록 했다고 하네요. 실제로 Line Wallet 서비스에 적용하면서 CTR이 향상되는 결과를 보였다고 합니다. 마지막 발표 파트인 Counterfactual Evaluation에서는 A/B 테스트를 넘어서 여러 개의 모델을 한 번에 서빙하고 가장 좋은 모델에게 트래픽을 몰아주는 방식을 취하고, 그 데이터를 활용해 오프라인 모델들의 성적을 학습해서 계속해서 테스트할 수 있는 후보군을 만들어둔다는 설명이 인상적이었어요. "스스로 변화하는 환경에 적응"할 수 있도록 설계했다고 합니다.