졸업 후 처음으로 모교를 방문했습니다.

후배들과 각 분야에서 일하고 있는 선배들이 간단한 식사와 함께 대화를 나누는 시간을 가졌습니다. 저는 데이터 분석 관련 분야로 취업을 원하는 후배들과 함께 식사를 하며 이런 저런 이야기를 나누었습니다. 그 중에 한 후배가 prompt engineering이 무엇인지에 대한 질문을 했고, 제가 생각하는 prompt engineering은 무엇인가에 대해 얘기했습니다.

사실 저도 소문만 무성한 prompt engineer라는 직업에 대한 의문과 과연 내가 하고 있는 것이 prompt engineering이라고 할 수 있을까? 라는 고민을 항상 하였던 차에 대화를 통해서 제가 지금 하고 있는 일에 대해 정리해볼 수 있는 좋은 기회였습니다. 그래서 기억이 휘발 되기 전에 그날 제가 정의했던 prompt engineer, prompt engineering에 대해서 정리해보려 합니다.

제가 생각하는 prompt engineer란 "프롬프트를 잘 짜는 사람"이라고 생각합니다. 그리고 "프롬프트를 잘 짜는 사람"이 되기 위해서는 몇 가지 조건이 필요합니다.

첫 번째로, 반드시 도메인을 이해해야 합니다. 특정 분야의 도메인을 이해할수록 더 높은 품질의 프롬프트를 만들 수 있습니다. 이전 포스팅에서도 언급했지만 AI는 아기와 같아서 부모의 모습을 닮아갑니다. 때문에 결과의 수준은 엔지니어의 수준에서 결정된다고 생각합니다.

두 번째로, engineer이기 때문에 기본적인 개발 지식이 필요합니다. 생성형 AI 플랫폼을 통해 AI를 사용하는 경우가 많지만, 서비스를 개발하는 관점에서는 개발팀에 참여하게 되면 좀 더 로우레벨의 모델을 사용해 로직을 설계하고 개발하는 데 일정 수준의 프로그래밍 스킬이 필요하다고 생각합니다.

세 번째로, 두 번째의 연장선으로 여러 가지 기술, 기법들을 알아야 합니다. 예를 들어 일반적으로 생성형 AI 관련 프로젝트를 수행하다 보면 Hallucination 문제가 항상 발생합니다. 그래서 Hallucination을 줄이고 데이터 밀도를 높이기 위해 RAG 기법과 few shot 기술 등을 사용하게 됩니다. 이 외에도 지금도 계속해서 prompt에 대한 논문과 기술들이 발견되고 있는 상황에서 여러 가지 기법들을 계속해서 학습하고 적용해야 합니다.

네 번째로, 데이터를 잘 알아야 합니다. 첫 번째 도메인에 대한 내용과 다른 점은 여기서 말하는 데이터는 데이터의 구조, 데이터 전처리에 대한 내용입니다. 분석에서 'garbage in, garbage out'라는 말이 있듯이, AI에게도 역시 좋은 것을 주어야 좋은 결과를 얻을 수 있습니다. 때문에 질 좋은 결과를 얻기 위해선 데이터를 이해하고 어떻게 활용할지에 대한 충분한 고민이 필요합니다.

결론적으로, prompt engineer는 도메인 지식, 개발 지식, 기술 및 기법 이해, 그리고 데이터 활용 능력을 갖춘 전문가를 의미한다고 생각합니다.

혹시 여러분들이 생각하는 prompt engineer, prompt engineering 이란 무엇인가요?