1,750억개의 매개변수가 사용된 초거대 AI GPT-3, 그런데 이 정도의 매개변수가 반드시 필요한 것은 아니라는 연구 결과가 나왔습니다. 구체적으로는 성능 저하 없이 GPT-3 매개변수를 1,750억개에서 60%까지 줄이는 데 성공했다고 합니다. 구글, MS, 네이버 등 많은 기업에서 초거대AI를 연구하고 있는데, 우위를 비교할 때 가장 쉽게 언급하는 것은 매개변수 개수이지만, 매개변수가 적더라도 더 효과적일 수 있어 보입니다. 다만, 매개변수를 줄이는 이 연구는 가지치기 형태로, 결과에 사용되지 않는 매개변수를 제거해가는 형태였다는 점에서, 학습 과정에서도 매개변수를 효과적으로 줄일 수 있을지는 잘 모르겠네요.