[Info๐ปmation] ํ์ด์ค๋ถ, ๊ฐํ๋ ์ค์๊ฐ ์๊ณ ๋ฆฌ์ฆ CLARA โฉ ๊ธ ์์ฝ ๊ธฐ์ฌ์์ ํ์ด์ค๋ถ์ โ์ ์ ๊ฐ ๊ฐ์ง ๊ณ์ ์ ์ ๊ณ ํ๊ธฐ ์ ์ ์ด๋ฏธ 99.5%๋ ๋จธ์ ๋ฌ๋์ผ๋ก ๊ฒ์ถํด ๋ ๋๋ค.โ๋ผ๊ณ
[Info๐ปmation] ํ์ด์ค๋ถ, ๊ฐํ๋ ์ค์๊ฐ ์๊ณ ๋ฆฌ์ฆ CLARA โฉ ๊ธ ์์ฝ ๊ธฐ์ฌ์์ ํ์ด์ค๋ถ์ โ์ ์ ๊ฐ ๊ฐ์ง ๊ณ์ ์ ์ ๊ณ ํ๊ธฐ ์ ์ ์ด๋ฏธ 99.5%๋ ๋จธ์ ๋ฌ๋์ผ๋ก ๊ฒ์ถํด ๋ ๋๋ค.โ๋ผ๊ณ ๋ฐํ์ต๋๋ค. ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ , ์ธ์ด์ ๋ณต์กํ ๋์์ค ๋๋ฌธ์ ์ธ๊ฐ์ ํ๋จ์ ์ฌ์ ํ ํ์ํฉ๋๋ค. ๊ธฐ์ฌ๋ฅผ ํตํด ๊ณต์ ๋, ํ์ด์ค๋ถ์ ์๋ก์ด ๊ฐํ ์ ์ฑ ์ Confidence of Labels and Raters (= CLARA / ๋ผ๋ฒจ๋ง๊ณผ ํ๊ฐ์์ ์ ๋ขฐ์ฑ)์ ๋๋ค. ๋ชจ๋ํฐ๋ง ์์ ๊ฒฐ์ ์ ๋ถํ์ค์ฑ์ ๊ฐ์ ํ๊ธฐ ์ํด ๋์ ๋ ์์คํ ์ ๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก๋ ๋ชจ๋ํฐ๋ง ์์(์ง์)์ ์ค์ด๋ฉด์ ๋ ์ ํํ ๊ฒฐ๊ณผ๋ฅผ ๋ด๋ ์์คํ ์ ๋๋ค. ๊ธฐ์ฌ์ ๊ฐ๋ฉด ์๊ณ ๋ฆฌ์ฆ ํ๋ฆ๋๊ฐ ์์ธํ ๋์ ์์ต๋๋ค. ์ด๋ค ํ๊ฐ๊ฐ ํ์ํ ๋, ์ธ๊ฐ๊ณผ ๋จธ์ ๋ฌ๋์ด ๋์์ ํ์ธํ๊ณ , ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๋ค์ ๋จธ์ ๋ฌ๋์ด ํฌ๋ก์ค ์ฒดํน์ ํ๋๋ฐ ์ด๋ ์ธ๊ฐ์ ๊ณผ๊ฑฐ ์ ํ๊น์ง ์ฐธ์กฐํฉ๋๋ค. ๋ํ ๊ธฐ์กด์ ๋ค์๊ฒฐ์ ์์น์ผ๋ก ์งํํ๋ ํ๊ฐ ๋ฐฉ์๋ณด๋ค ๋ฆฌ์์ค๋ฅผ 20% ์ ๋ ์ค์ผ ์ ์๋ต๋๋ค. ๐ฃ๋์ ์๊ฐ ์ ๋จธ ๊ฒ์ํ์์ ๊ฐ๋ ๋ณด์ด๋ ๊ธ๋ก โ์ ํ๋ธ ์๊ณ ๋ฆฌ์ฆ ๊ทผํฉโ ๋๋ โ์ด๊ฒ์ด ์ ํ๋ธ ์๊ณ ๋ฆฌ์ฆโ ์ ๋ชฉ์ด ์์ต๋๋ค. ์ ํ ๋ค๋ฅธ ์ฃผ์ ์ ๋ด์ฉ์ด์ง๋ง ์ธ๋ด์ผ์ด ๋น์ทํ๋ค๋ ์ด์ ๋ก ์ถ์ฒ ์์์ผ๋ก ๋์ค๊ณ ๋ ํ๋๋ฐ, ์ด๋ฅผ ๋น๊ผฐ ์ ๋จธ๊ธ ์ ๋๋ค. ์ง์ ์ต๋์ ํ ํฌ ํ์ฌ์ธ ๊ตฌ๊ธ(์ ํ๋ธ)์ ํ์ด์ค๋ถ์ ์๊ณ ๋ฆฌ์ฆ์ ๊ฒฝํํ๋ค ๋ณด๋ฉด, ๋คํ์ธ์ง(?) ์์ง ์ธ๊ฐ์ด ๋ณผ๋ ์ด์ํ ๋๊ฐ ์์ต๋๋ค. ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ ์ ๊ธฐ์ฌ์ฒ๋ผ ๋ฌด๋ ค 99.5%๋ผ๋ ์์น๋ ๋๋ผ์ธ ๋ฐ๋ฆ์ ๋๋ค. ๊ธฐ์ฌ์ ์๊ฐ๋ ํ์ด์ค๋ถ ์๊ณ ๋ฆฌ์ฆ์์ ๋ฌด์์์ ๋ชจ๋ํฐ๋ง ์์์ ํ๊ฐ๋ฅผ ์ปดํจํฐ๊ฐ ํฌ๋ก์ค ์ฒดํน ํ๋๋ฐ, ์ด๋ ๋ชจ๋ํฐ๋ง ์์์ ๊ณผ๊ฑฐ ํ๊ฐ๋ค ๊น์ง ๊ณ ๋ ค ํ๋ค๋ ์ ์ ๋๋ค. ์ต์ข ๊ฐ๋ ์๋ ์ธ๊ฐ์ด ์๋ ์ปดํจํฐ์ด๊ตฌ๋, ๋ผ๋ ์๊ฐ์ด ๋ค์์ต๋๋ค. *์ฐธ๊ณ ํ์ด์ค๋ถ ๋ด ์ปค๋ฎค๋ํฐ ๊ฒ์ด ๊ฐํ ๋ฐ ์๊ณ ๋ฆฌ์ฆ ๊ด๋ จ ๋ด์ฉ https://research.fb.com/blog/2020/08/improving-the-accuracy-of-community-standards-enforcement-by-certainty-estimation-of-human-decisions/ -------------------------------- [Chip๐News] : ์ต์ ๋ด์ค๋ค์ ๋ํด ๋ณธ์ธ ์๊ฐ์ ๋จ๊น๋๋ค. [Newโก๏ธBM] : ํด์ธ ๊ธฐ์ ๋ค์ ๋น์ฆ๋์ค ๋ชจ๋ธ์ ํจ๊ป ๊ณต์ ํ๊ณ ์๊ฐ์ ๋๋๋๋ค. [New๐คณ App] : ๊ตญ๋ด์ธ ์๋น์ค๋ค์ ๊ณต์ ํ๊ณ ์๊ฐ์ ๋๋๋๋ค. [Info๐ปmation] : ์์๋๋ฉด ๊ฝค๋ ์ข์๋งํ ์ ๋ณด๋ฅผ ๊ณต์ ํฉ๋๋ค.