๐งฎ๐ฐ์์ฆ S๊ธ ๋ฆฌ์์ฒ๋ค์ ๋น ํ ํฌ์์ ์ค์นด์ํด์ค๋ ค๊ณ ์ฐ๋ฝํ๋ฉด โGPU ๋ช ๊ฐ๋ ์ธ ์ ์์ด์?โ๋ผ๋ ๋ง๋ถํฐ ํ๋ค๋๋, OpenAI๋ ๋ณ์ ์๊ตฌ๋จผ ๐คฃ #ํ๋ฆผ ์ํผ, ๊ฑ ์ฌ๋ฏธ๋ก ๊ณ์ฐํด๋ด ์๋ค. O
๐งฎ๐ฐ์์ฆ S๊ธ ๋ฆฌ์์ฒ๋ค์ ๋น ํ ํฌ์์ ์ค์นด์ํด์ค๋ ค๊ณ ์ฐ๋ฝํ๋ฉด โGPU ๋ช ๊ฐ๋ ์ธ ์ ์์ด์?โ๋ผ๋ ๋ง๋ถํฐ ํ๋ค๋๋, OpenAI๋ ๋ณ์ ์๊ตฌ๋จผ ๐คฃ #ํ๋ฆผ ์ํผ, ๊ฑ ์ฌ๋ฏธ๋ก ๊ณ์ฐํด๋ด ์๋ค. OpenAI๊ฐ GPU๋ฅผ ์ฝ 20~40๋ง๊ฐ์ฏค ์ฌ์ฉํ๊ณ ์๋ ๊ฒ์ผ๋ก ์์๋๋๋ฐ, ๊ทธ ์ค ํ๋ จ์ ์ฌ์ฉํ๋ GPU๋ฅผ ๋ณด์์ ์ผ๋ก ์ก์ 10๋ง๊ฐ๋ผ๊ณ ํ๋ค๋ฉด, Superalignment์ 20%์ GPU๋ฅผ ์ฝ์ํ์์ผ๋, ์ฝ 2๋ง๊ฐ. ๊ทธ๋ ๋ค๋ ๊ฒ์ Ilya ๊ฐ์ ์ฒ์ฌ๋ฅผ ์์ ํ๋ ค๋ฉด ์ต์ 4๋ง๊ฐ ์ ๋์ GPU๋ ๊ฐ์ง๊ณ ์์ด์ผํ๋ค๋ ๊ฒ. A100 1๊ฐ์ 1๋ง๋ถ์ด๋, 2์ต๋ฌ๋ฌ = ์ฝ 3์ฒ์ต. Ilya ์ ์ฌํ๋ฉด 3์ฒ์ต์์ด์น ์ฅ๋น ์ฌ์ค์ผ ํจ. ๐คฃ ๋ด ๋งฅ๋ถ ์์ด ๋ ๊ฐ์. ๐ฅน