📝 Prompt Engineering is All You Need - Many-Shot ICL

최근 구글 딥마인드에서 Many-Shot In-Context Learning 이라는 논문을 내 놓았다.

Few-Shot Example, 즉 프롬프트에 몇 개의 예제를 주면 성능이 올라가는 프롬프팅 기법이 있는데, 기존에는 일정 갯수 이상으로는 효율이 떨어지기도 하고 컨텍스트 길이 때문에라도 일정 수준 갯수 이상을 사용 할 수 없었다.

그런데(1) Gemini 1.5 이후 1백만개의 토큰을 사용 할 수 있게 되면서 샘플을 매우 많이 넣을 수 있게 되어 샘플을 최대한 많이 넣는 실험을 해 본 것. 그래서 Many-Shot이다.

그런데(2) 놀랍게도 수백개에서 최대 8,192개까지도 예시를 넣으면 넣을 수록 성능이 놀라가더란 얘기.

그런데(3) 이 논문에서의 핵심은, 예시를 인간이 작성한 예시가 아니라, LLM이 생성한 예시를 넣어도 잘 되더라는 이야기.

한 두개의 예제를 넣고, 그와 같은 샘플을 생성하라는 프롬프트를 통해 대량의 샘플을 생성. 그 샘플들을 넣어도 인간의 샘플을 넣은 것 만큼 성능이 나온다고 한다.

고성능의 모델이라면 학습되어 있는 정보를 명시적으로 끄집어내는 과정을 진행함으로써 추론 능력이 향상되는 것 같다.

그리고 이를 통해 파인튜닝을 할 필요 없이도 파인튜닝 한 것 만큼의 성능을 올릴 수 있다고 한다.

즉, 모델링이나 파인튜닝 없이 프롬프트 엔지니어링만으로 진짜 말 그대로 거의 모든 문제를 해결 할 수도 있다는 말.

하지만, 이 방식은 토큰을 엄청나게 잡아먹기 때문에 일반적인 서비스에는 사용하기 어렵기는 할 것이다.

임시적으로 빠르게 해결해야 할 문제가 있거나, 파인튜닝 전에 어떤 데이터가 필요한지 아이디어를 얻기 위해, 그리고 프롬프트 엔지니어링을 실험하거나 소규모 사용자 대상의 서비스 목적으로 매우 좋을 것 같다.