📝 Llama 3 8B은 양자화 시 Llama 2 7B보다 성능 저하가 더 두드러진다고

양자화 시켰을 때 성능저하가 두드러진다는 것은, 풀 프리시전인 BF16의 가장 작은 소수점까지 데이터를 흡수(?)하여 학습되었다는 의미일 수 있다고 함.

Llama 3를 학습시킨 데이터는 15T로 Llama 2의 2T에 비해 굉장히 많은 양의 데이터를 학습시킴.

즉, 8B의 파라미터로 담을 수 있는 최대치의 데이터는 15T 수준이 아닐까라는 의견들이 있음. (아직 과학적인 연구가 이루어진 것은 아님)

이에 따라 Llama 3 8B의 경우 파인튜닝을 통한 도메인 최적화나 성능 향상도 제약이 있을 수 있다고 함.

일전에 LLM 모델이 구조가 달라도 결국은 데이터의 양과 종류에 수렴된다는 의견도 있었는데, 파라미터 크기별 포화 데이터양이 밝혀지면 재밌을 듯.