🧠 ChatGPT로 프로덕트를 만들려고 하신다면

ChatGPT가 나오면서 많은 분들이 ‘이걸 활용해서 재밌는(혹은 수익성이 있는) 서비스를 만들 수 없을까?’하고 생각하실 것 같습니다! OpenAI에서 ChatGPT의 오픈 API를 제공하고 있기 때문에(현재는 waiting list를 받고 있습니다.) 챗지피티를 활용한 다양한 서비스는 만들 수 있습니다. 저 또한 재밌는 것을 만들어보려고 시도하고 있는데요!🙂 문서를 서치 하던 중, 구글의 머신러닝 엔지니어이신 박지호님께서 블로그에 쓰신 글을 보게 되었고, 좋은 인사이트를 많이 얻게 되었습니다. 이 글에서는 비단 ChatGPT 뿐만 아니라 머신러닝 모델을 데이터 프로덕트로 만들어서 활용하고자 하는 기획자, 개발자들이 본다면 좋을 내용을 담고 있습니다! ChatGPT, 머신러닝을 활용한 데이터 프로덕트에 관심이 있으신 분이라면 추천드립니다!🙂 (글도 정말 잘 쓰셔서 너무 재밌게 읽었습니다) [💡 큐레이터의 요약] 1️⃣  ML 모델 성능은 어떻게 측정할 것인가 - OpenAI는 ChatGPT의 평가용 데이터 셋과 학습 방법에 대해 충분히 고지를 해놓았습니다. - 그럼에도 API 사용자(프로덕트 기획자)는 자신의 프로덕트에 input될 실제 데이터와 OpenAI의 테스트용 데이터가 다를 수 있음을 인지해야 합니다. 2️⃣  오류에 얼마나 민감한가 - ChatGPT로 만들 프로덕트는 고객과 대화하는 방식이기 때문에 한 번의 실수는 치명적입니다. - 국내에도 ‘이루다’의 케이스가 있었던 것처럼, ChatGPT로 만들 프로덕트의 1% 오류 가능성에 대해 고려해야 합니다. 3️⃣  모델 개선 / 오류 교정을 어떻게 할 것인가 - 전반적인 개선: ChatGPT의 API를 사용한다면, OpenAI가 업데이트를 하지 않는 이상 전반적인 ML을 개선하는 것은 불가능합니다. (Input Prompt를 바꾸는 Prompt Engineering이 유일한 방법입니다.) - 오류 개별 교정: ChatGPT를 사용하여 프로덕트를 만들 때, 개별 오류 교정도 거의 불가능에 가깝습니다. 답변에 대해 인터페이스에 있는 👍 나 👎 을 할 수 밖에 없습니다. 4️⃣  답변 안정성은 어떻게 보장하는가 - OpenAI에서 모델을 업데이트하면 내 프로덕트의 답변도 한 순간에 바뀔 수 있습니다. - 고객은 당연히 혼란스러울 수 있습니다. (어제의 답변과 오늘의 답변이 바뀔 수도!) 5️⃣  얼마나 속도에 민감한가 - 실제로 ChatGPT에 한국어로 질의를 해보면 답변 시간에 대한 로딩이 조금 있는 것을 알 수 있습니다.(그래도 엄청나게 훌륭한 속도이긴 해서 놀랍습니다!) - 하지만 IT 기술에 익숙하지 않은 유저라면 어떨까요? 반대편에 사람이 있다고 생각하는 할머니라면 이 로딩을 기다리실 수 있을지 고려해봐야 합니다. 6️⃣  데이터에 대한 법적 책임은 어떻게 되나 - 가장 중요한 부분일 수 있습니다. - API를 통해 들어가고 나오는 Input/Output(합쳐서 Content)로 인해 발생하는 법적 책임은 전적으로 프로덕트를 만든 사람에게 돌아갈 가능성이 큽니다. 이미 국내의 기업들도 ChatGPT를 활용하여 프로토타입 형태의 서비스를 내놓고 고객이 사용하게 하고 있습니다. 정말 멋집니다! 하지만 모델에 대한 주도권을 가지고 있지 않은 상태에서 API를 활용한 데이터 프로덕트는 고려해야 할 부분들이 많다는 생각이 듭니다. 특히, 단순히 데이터나 통계를 쏴주는 API가 아닌 Generative한 대화형 머신러닝인 ChatGPT라면 더욱 많은 사항들을 고려하여 프로덕트를 만들어야겠다는 생각이 드네요! 🧐