[ 📰 뉴욕 타임즈는 어떻게 A/B 테스트를 할까? ] 다른 언론사들과 마찬가지로 뉴욕타임즈도 제목에 대한 고민이 많다. 다른점은, 디지털로 성공적으로 전환했기 때문에 보다 체계적으로 한다는 것

[ 📰 뉴욕 타임즈는 어떻게 A/B 테스트를 할까? ] 다른 언론사들과 마찬가지로 뉴욕타임즈도 제목에 대한 고민이 많다. 다른점은, 디지털로 성공적으로 전환했기 때문에 보다 체계적으로 한다는 것이다. 구체적으로, A/B 테스팅을 통해 조회수가 많이 나오는 제목을 선정한다. 그렇다면, 몇 개나, 몇 개의 제목을 A/B에 돌리는지, 그리고 실제 효과가 있는지 데이터를 통해 알아보자. 실험 방법은 다음과 같다. 1. NYT 홈페이지의 제목과 같은 정보를 scraping을 통해 수집한다. 2. 뉴욕 타임즈 공식 API와 연계하여 메타데이터를 수집한다. 3. 데이터 베이스에 저장하면서 분석한다 4. 5분마다 뉴욕타임즈의 뉴스를 수집했고, 3주 동안 실험이 진행되었다 📰 그럼 뉴욕타임즈가 제목을 변경한 내역을 예시와 함께 살펴보자. ●알아차리기도 어려울 정도로 사소하게 바뀌기도 하고 - Don't Give in to Terror - Don't Give In to Terror ● 내용이 추가되면서 제목이 바뀌기도 한다. 다음은 스페이스엑스가 로켓을 발사하는 과정을 실시간으로 업데이트 하면서 제목도 바뀌는 모습 - SpaceX to Test Launch Another Prototype of Rocket to Mars - SpaceX Halts to Launch ...이하 동일 - SpaceX to Retry Test Launch ... 이하 동일 - SpaceX Launches, Lands and Explodes ... - SpaceX Mars Rocket Prototype Explodes, but This Time It Landed First ● 그리고 실제 A/B 테스팅을 한 기사들이 추적되기도 한다 - Speak Softly, and Carry a Big Agenda - Biden Is the Anti-Trump, and It's working - 실제 이 기사는 두 번째 제목으로 바뀌고 몇 시간 후에 최고 조회수를 찍었다. 📰 뉴욕 타임즈는 아티클의 29%에 대해 이렇게 A/B 테스팅을 했다. 그리고 한 아티클에 대해 최대 8개의 제목을 갖고 테스팅을 했다. 다음은 데이터 분석을 통해 얻어낸 인사이트다. ● 실제 효과가 있을까? - 그렇다. A/B 테스팅을 한 아티클의 80%는 '인기' 아티클로 선정이 된다. - 그리고 A/B 테스트를 하는 제목의 개수와 인기 아티클로 선정될 확률은 강력한 양의 상관관계를 갖는다 - 하지만, 인기 있는 아티클에 A/B 테스팅을 하는지, 테스트를 해서 인기가 많아지는지는 더 분석해보아야 한다 ● A/B 테스팅이 제한된 아티클에 한해서만 이루러진다 - 전체 아티클의 29%에 대해 A/B 테스팅이 이루어지고, 그 중 70% 이상은 제목 2가지만 갖고 실험을 한다 - 최대 8개의 제목을 갖고 실험을 하기도 했지만 극소수다 - 충분히 자동화를 통해 더 많은 A/B 테스팅을 해도 될 것 같지만 그러지 않는 이유가 있을 수도 있다 - NYT 매출의 62%는 구독료에서 나온다. 광고 수익은 27%로 상대적으로 적기 때문에 아티클 노출에 그만큼 추가 노력을 들일 필요가 없을 수도 있다. ● A/B 테스팅도 좋지만, 자극적인 제목이 달리기도 한다 - Meghan Markle의 인터뷰 내용에 대한 기사인데, 가장 많은 선택을 받은 제목은 다음과 같다 - Megan Says Life With the U.K. Royals Almost Drove Her to Suicide - 하지만 실제 인터뷰 내용은 인종차별에 대한 내용이 대부분이다. 링크에 들어가보시면 수집하고있는 데이터를 직접 볼 수 있습니다. 관심 있으신 분들은 확인해보세요 :)