최근 LLM에게 여러 응답을 받아 그것을 취합하는 방식의 기법이 상당히 각광받고 있는데요. 대부분은 투표 절차를 통해 결과를 선택하는 방식이었는데, MoA는 결과를 취합하여 최종 응답을 생성하는 방식입니다.

MoA는 다음의 세 단계의 프롬프트 체이닝을 사용하는데요.

1️⃣ 사용자의 프롬프트에 대해 3개의 후보 응답을 생성합니다.

2️⃣ 각 후보 응답의 장단점을 분석하고 이에 대해 추론합니다.

3️⃣ 원래 입력, 후보 응답들, 그리고 추론 결과를 바탕으로 최종 응답을 생성합니다.

프롬프트의 예를 들면 다음과 같습니다.

Prompt 1: [사용자 입력]에 대해 3가지 다른 관점에서 답변을 생성하세요.

Prompt 2: 앞서 생성된 3가지 후보 응답에 대해 각각의 강점과 약점을 분석하고, 어떤 점에서 유용하거나 부족한지 설명하세요.

Prompt 3: 원래 사용자의 질문, 3가지 후보 응답, 그리고 각 응답에 대한 분석을 고려하여 가장 적절하고 포괄적인 최종 응답을 생성하세요.

이러한 방식을 통해 높은 성능 향상을 꾀할 수 있었고, 특히 챗봇 응답에서 인간 평가자에게 높은 선호도를 보였다고 합니다.

무엇보다 중요한 것은 이 방식을 통한 결과물을 학습데이터로 삼아 작은 모델을 파인튜닝을 하면 높은 성능 향상을 보일 수 있었다는 것 입니다.

이제 어느정도 수준의 LLM을 만드는 것은 쉬운 일이 되었지만, 성능 향상을 위한 데이터를 얻기는 여전히 쉽지 않은데요. 이를 잘 활용하면 충분히 좋은 수준의 커스텀 LLM을 만들 수 있지 않을까 싶습니다.