Slack이 테스트 프레임워크를 교체하면서 AI를 활용한 이야기 입니다.

과거에 React의 테스트 프레임워크로 사용하던 Enzyme이 더는 최신 React를 지원하지 않아서 요즘 많이 사용하는 React Testing Library로 바꾸기로 결정은 했는데 Enzyme으로 작성된 15,000개 이상의 테스트를 변환해야 하는 상황이었습니다.

이를 모두 수동으로 변환할수는 없기에 자동화를 하는 고민을 시도했고 테스트를 AST로 변환해서 자동으로 변환하려고 했지만 테스트의 복잡성을 제대로 다룰 수 없다는 것을 알게 되었고 결국 45% 정도만 자동으로 변환하고 나머지는 수동으로 처리하도록 안내했다고 합니다.

이후 자동화를 개선할 수 있는 방법을 고민하면서 AI를 사용하는 접근 방법을 연구하기 시작했고 AST와 함께 React의 DOM 트리 컬렉션을 함께 프롬프트로 제공하자 불규칙한 자동화 결과를 크게 개선할 수 있었습니다. 그래서 자동 변환된 테스트의 채택률이 크게 올라서 개발자의 시간을 22% 줄일 수 있었다고 합니다.

테스트 변환 자동화에 AI를 사용하고 프롬프트에 다양한 테스트를 시도한 것이 꽤 흥미롭네요.

https://slack.engineering/balancing-old-tricks-with-new-feats-ai-powered-conversion-from-enzyme-to-react-testing-library-at-slack/