<팬데믹 시대의 A/B 테스트> Covid-19으로 인해 각 국가에서는 유례없는 락다운으로 사람들의 삶의 패턴이 완전히 바뀌었다. 다행히 내가 사는 유럽에서도 이제는 점차 락다운이 해제되고 있다. 하지만 삶의 새로운 패턴이 빠른 시간 안에 원래대로 돌아가긴 힘들 것이다. 기업의 입장에서도 기존에 알고 있던 '소비자' 혹은 '사용자' 에 대한 지식이 많이 바뀌었을 것이다. 사용자들이 여행지를 검색하는 패턴, 미팅하던 패턴, 구매하는 상품 유형 등 많은 부분이 바뀌었을 것이고, '여행'과 같이 수요가 급감한 산업도 있지만, 온라인 위주의 서비스는 오히려 이 위기를 기회로 만들고 있다. 이에 습관처럼 수행하던 A/B 테스트도 다시 한번 돌아볼 필요가 있다. - 급감한 수요 및 트래픽(예, 여행 산업)으로 인해 샘플 사이즈를 늘리거나 테스트 기간(runtime)을 늘리는 등 통계적으로 유의미한 결과를 얻을 수 있도록 통계적 측면에서의 고려가 필요하다. - 하지만 이보다 더 중요한 것은 '지금 내가 검증하고 있는 이 가설이 post-Covid 시대에도 유효한가'를 생각해보는 것이다. 이 기간에 임시로 사용할 기능이라면 괜찮다. 하지만 장기적으로 봤을 때 지금(amid Covid-19) 유효한 결과라도 1년 후 사용자들의 패턴이 원래대로 돌아왔을 때도 유효할 지는 아무도 모른다. - 이에 지금 시점에 테스트하는 가설은 좀 더 숙고가 필요하다. 위와 같은 리스크를 완화할 수 있는 방법의 하나는 같은 테스트를 1년 후에 (예를 들어, 사용자들의 패턴이 2019년 수준으로 돌아왔을 때) 또 수행해 보는 것이다. 물론 Covid-19로 인해 사용자들의 패턴이 완전히 바뀔 수도 있다. 하지만 지금 할 수 있는 말은 '아무도 모른다' 이다. 그렇기에 늘 하던 A/B 테스트라도 좀 더 길게 생각해보고 수행하는 것이 필요하겠다.