OpenAI의 오픈소스 모델 gpt-oss 시리즈의 차별점(?) 중에 하나는 가중치를 4.25bit 양자화해서 공개했다는 것이다.

이에따라 20b 모델은 약간 사양 좋은 맥북에서 돌릴 수 있으며, 심지어 활성 파라미터가 3.6B 밖에 안되기 때문에 CPU 에서도 왠만큼 돌아간다(!)

즉, 이를테면 전성비, 이건 메성비인가 ㅋㅋ 암튼 사용 메모리 대비 성능이 매우 뛰어나다.

다른 공개 모델들도 양자화하려면 할 수 있지만, 양자화하면 성능이 저하되거나 안정성이 떨어질 수 있어서 잘 사용되지 않는다.

이게 정말 대단한거다. 그냥 자랑하려는 수준이 아니라, 즉시 사용할 수 있도록, 그리고 많은 곳에 사용할 수 있도록 툴 사용 성능이나 안전 테스트, 라이센스 등 여러가지를 고려해놨다.

오픈소스 모델을 쓴다고 하면 이제는 오픈AI 모델이 최우선 순위가 될 것이다. 역시 무서운 놈들...