AI가 PM을 대신할 수 있을까?

AI가 OO을 대신 할 수 있을까? 라는 질문은 정말 많이 들어본 것 같아요. 그렇다면 그냥 우려하는게 아니라 진짜 실험해보면 얼마나?! 잘 대신해 낼 수 있을지, 얼마나 사람들이 더 선호하는지 알 수 있겠죠? AI의 PM 능력을 프롬프트 엔지니어와 함께 실험해 본 결과입니다.

1. AI의 능력 평가: AI가 실제 PM 작업을 얼마나 잘 수행할 수 있는지를 측정하기 위해, Lenny는 어려운 PM 작업에 대한 사례를 수집하고, 최신 AI 모델과 프롬프트 엔지니어링 기법을 사용하여 AI의 성능을 평가했습니다.

2. 실험 방법: 세 가지 PM 작업(제품 전략 개발, KPI 정의, ROI 추정)을 선정하여 AI와 인간의 답변을 비교했습니다. 각 작업에 대해 두 가지 답변을 제시하고, 사람들에게 어떤 답변이 더 나은지 투표하도록 했습니다.

3. 결과:

   • 제품 전략 개발: AI가 제시한 답변이 55%의 지지를 받아 승리했지만, 많은 사람들이 AI라는 사실을 알고도 선호했습니다.

   • KPI 정의: AI 답변이 68%의 지지를 받으며 승리했습니다.

   • ROI 추정: 인간 답변이 58%의 지지를 얻어 승리했지만, 매우 근소한 차이로 나타났습니다.

4. 결론: AI는 특정 PM 작업에서 인간보다 나은 성과를 보였지만, 여전히 독립적으로 PM 역할을 수행하기에는 부족합니다. 그러나 AI는 지속적으로 발전하고 있으며, 향후 몇 년 내에 인간 PM을 대체할 가능성이 높아지고 있습니다.

https://www.lennysnewsletter.com/p/how-close-is-ai-to-replacing-product