프록시 튜닝: 모델 가중치 변경 없이 LLM 파인튜닝하기

Sebastian Raschka가 소개한 흥미로운 LLM 파인튜닝 방법을 알게 되었다. 이 방법은 '프록시 튜닝'(https://arxiv.org/abs/2401.08565)으로, 복잡한 가중치 업데이트 없이도 LLM을 효과적으로 파인튜닝할 수 있는 접근법이다. 가정해 보자. 우리의 목표는 큰 규모의 타깃 모델 A(예: Llama 2 70B Base)를 파인튜닝하는 것이다. 이를 위해, 먼저 작은 규모의 베이스 모델 B(예: Llama 2 7B Base)를 선택한다. 이 모델 B를 원하는 특정 작업에 맞춰 파인튜닝하여 새로운 모델 B'를 생성한다. 예를 들어, Llama 2 7B Chat 같은 채팅 모델을 만드는 것이다. 이제 우리의 목표는, 큰 규모의 타깃 모델 A의 파인튜닝 버전인 Llama 2 70B Chat을 만드는 것이다. 이 연구에 따르면, 출력 로짓 벡터에 대해 A(x) + B(x) - B'(x)라는 단순한 연산만으로 이를 달성할 수 있다고 한다. 인스트럭션 튜닝, 도메인 적응, 다양한 다운스트림 작업에서 이 방법이 효과적이라고 보고되었다. 이 방법은 파인튜닝하려는 모델과 토크나이저가 동일하며, 크기가 좀 더 작은 모델이 필요하다는 제약이 있다. 또한, GPU에 세 개의 모델을 동시에 올려야 한다는 점도 고려해야 한다. 그러나 이 방법의 작동 원리는 상대적으로 간단하다. A(x) - A'(x)의 출력 차이가 B(x) - B'(x)와 매우 유사하기 때문에, 이를 효과적으로 대체할 수 있는 것으로 보인다.