Community

[Info๐Ÿ‘ปmation] ํŽ˜์ด์Šค๋ถ, ๊ฐ•ํ™”๋œ ์‹ค์‹œ๊ฐ„ ์•Œ๊ณ ๋ฆฌ์ฆ˜ CLARA โฉ ๊ธ€ ์š”์•ฝ ๊ธฐ์‚ฌ์—์„œ ํŽ˜์ด์Šค๋ถ์€ โ€œ์œ ์ €๊ฐ€ ๊ฐ€์งœ ๊ณ„์ •์„ ์‹ ๊ณ ํ•˜๊ธฐ ์ „์— ์ด๋ฏธ 99.5%๋Š” ๋จธ์‹ ๋Ÿฌ๋‹์œผ๋กœ ๊ฒ€์ถœํ•ด ๋ƒ…๋‹ˆ๋‹ค.โ€๋ผ๊ณ 

[Info๐Ÿ‘ปmation] ํŽ˜์ด์Šค๋ถ, ๊ฐ•ํ™”๋œ ์‹ค์‹œ๊ฐ„ ์•Œ๊ณ ๋ฆฌ์ฆ˜ CLARA โฉ ๊ธ€ ์š”์•ฝ ๊ธฐ์‚ฌ์—์„œ ํŽ˜์ด์Šค๋ถ์€ โ€œ์œ ์ €๊ฐ€ ๊ฐ€์งœ ๊ณ„์ •์„ ์‹ ๊ณ ํ•˜๊ธฐ ์ „์— ์ด๋ฏธ 99.5%๋Š” ๋จธ์‹ ๋Ÿฌ๋‹์œผ๋กœ ๊ฒ€์ถœํ•ด ๋ƒ…๋‹ˆ๋‹ค.โ€๋ผ๊ณ  ๋ฐํ˜”์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿผ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ , ์–ธ์–ด์˜ ๋ณต์žกํ•œ ๋‰˜์•™์Šค ๋•Œ๋ฌธ์— ์ธ๊ฐ„์˜ ํŒ๋‹จ์€ ์—ฌ์ „ํžˆ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์‚ฌ๋ฅผ ํ†ตํ•ด ๊ณต์œ ๋œ, ํŽ˜์ด์Šค๋ถ์˜ ์ƒˆ๋กœ์šด ๊ฐ•ํ™” ์ •์ฑ…์€ Confidence of Labels and Raters (= CLARA / ๋ผ๋ฒจ๋ง๊ณผ ํ‰๊ฐ€์ž์˜ ์‹ ๋ขฐ์„ฑ)์ž…๋‹ˆ๋‹ค. ๋ชจ๋‹ˆํ„ฐ๋ง ์š”์› ๊ฒฐ์ •์˜ ๋ถˆํ™•์‹ค์„ฑ์„ ๊ฐœ์„ ํ•˜๊ธฐ ์œ„ํ•ด ๋„์ž…๋œ ์‹œ์Šคํ…œ์ž…๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ์ ์œผ๋กœ๋Š” ๋ชจ๋‹ˆํ„ฐ๋ง ์š”์›(์ง์›)์€ ์ค„์ด๋ฉด์„œ ๋” ์ •ํ™•ํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋‚ด๋Š” ์‹œ์Šคํ…œ์ž…๋‹ˆ๋‹ค. ๊ธฐ์‚ฌ์— ๊ฐ€๋ฉด ์•Œ๊ณ ๋ฆฌ์ฆ˜ ํ๋ฆ„๋„๊ฐ€ ์ž์„ธํžˆ ๋‚˜์™€ ์žˆ์Šต๋‹ˆ๋‹ค. ์–ด๋–ค ํ‰๊ฐ€๊ฐ€ ํ•„์š”ํ•  ๋•Œ, ์ธ๊ฐ„๊ณผ ๋จธ์‹  ๋Ÿฌ๋‹์ด ๋™์‹œ์— ํ™•์ธํ•˜๊ณ , ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๋‹ค์‹œ ๋จธ์‹ ๋Ÿฌ๋‹์ด ํฌ๋กœ์Šค ์ฒดํ‚น์„ ํ•˜๋Š”๋ฐ ์ด๋•Œ ์ธ๊ฐ„์˜ ๊ณผ๊ฑฐ ์„ ํƒ๊นŒ์ง€ ์ฐธ์กฐํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ๊ธฐ์กด์— ๋‹ค์ˆ˜๊ฒฐ์˜ ์›์น™์œผ๋กœ ์ง„ํ–‰ํ–ˆ๋˜ ํ‰๊ฐ€ ๋ฐฉ์‹๋ณด๋‹ค ๋ฆฌ์†Œ์Šค๋ฅผ 20% ์ •๋„ ์ค„์ผ ์ˆ˜ ์žˆ๋‹ต๋‹ˆ๋‹ค. ๐Ÿ—ฃ๋‚˜์˜ ์ƒ๊ฐ ์œ ๋จธ ๊ฒŒ์‹œํŒ์—์„œ ๊ฐ€๋” ๋ณด์ด๋Š” ๊ธ€๋กœ โ€œ์œ ํŠœ๋ธŒ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ทผํ™ฉโ€ ๋˜๋Š” โ€œ์ด๊ฒƒ์ด ์œ ํŠœ๋ธŒ ์•Œ๊ณ ๋ฆฌ์ฆ˜โ€ ์ œ๋ชฉ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ „ํ˜€ ๋‹ค๋ฅธ ์ฃผ์ œ์™€ ๋‚ด์šฉ์ด์ง€๋งŒ ์ธ๋‚ด์ผ์ด ๋น„์Šทํ•˜๋‹ค๋Š” ์ด์œ ๋กœ ์ถ”์ฒœ ์˜์ƒ์œผ๋กœ ๋‚˜์˜ค๊ณ ๋Š” ํ•˜๋Š”๋ฐ, ์ด๋ฅผ ๋น„๊ผฐ ์œ ๋จธ๊ธ€ ์ž…๋‹ˆ๋‹ค. ์ง€์ƒ ์ตœ๋Œ€์˜ ํ…Œํฌ ํšŒ์‚ฌ์ธ ๊ตฌ๊ธ€(์œ ํŠœ๋ธŒ)์™€ ํŽ˜์ด์Šค๋ถ์˜ ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ๊ฒฝํ—˜ํ•˜๋‹ค ๋ณด๋ฉด, ๋‹คํ–‰์ธ์ง€(?) ์•„์ง ์ธ๊ฐ„์ด ๋ณผ๋•Œ ์–ด์ƒ‰ํ•  ๋•Œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿผ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ  ์œ„ ๊ธฐ์‚ฌ์ฒ˜๋Ÿผ ๋ฌด๋ ค 99.5%๋ผ๋Š” ์ˆ˜์น˜๋Š” ๋†€๋ผ์šธ ๋”ฐ๋ฆ„์ž…๋‹ˆ๋‹ค. ๊ธฐ์‚ฌ์— ์†Œ๊ฐœ๋œ ํŽ˜์ด์Šค๋ถ ์•Œ๊ณ ๋ฆฌ์ฆ˜์—์„œ ๋ฌด์„œ์›€์€ ๋ชจ๋‹ˆํ„ฐ๋ง ์š”์›์˜ ํ‰๊ฐ€๋ฅผ ์ปดํ“จํ„ฐ๊ฐ€ ํฌ๋กœ์Šค ์ฒดํ‚น ํ•˜๋Š”๋ฐ, ์ด๋•Œ ๋ชจ๋‹ˆํ„ฐ๋ง ์š”์›์˜ ๊ณผ๊ฑฐ ํ‰๊ฐ€๋“ค ๊นŒ์ง€ ๊ณ ๋ ค ํ•œ๋‹ค๋Š” ์ ์ž…๋‹ˆ๋‹ค. ์ตœ์ข… ๊ฐ๋…์ž๋Š” ์ธ๊ฐ„์ด ์•„๋‹Œ ์ปดํ“จํ„ฐ์ด๊ตฌ๋‚˜, ๋ผ๋Š” ์ƒ๊ฐ์ด ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. *์ฐธ๊ณ  ํŽ˜์ด์Šค๋ถ ๋‚ด ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ฒ€์—ด ๊ฐ•ํ™” ๋ฐ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ด€๋ จ ๋‚ด์šฉ https://research.fb.com/blog/2020/08/improving-the-accuracy-of-community-standards-enforcement-by-certainty-estimation-of-human-decisions/ -------------------------------- [Chip๐ŸŸNews] : ์ตœ์‹  ๋‰ด์Šค๋“ค์— ๋Œ€ํ•ด ๋ณธ์ธ ์ƒ๊ฐ์„ ๋‚จ๊น๋‹ˆ๋‹ค. [Newโšก๏ธBM] : ํ•ด์™ธ ๊ธฐ์—…๋“ค์˜ ๋น„์ฆˆ๋‹ˆ์Šค ๋ชจ๋ธ์„ ํ•จ๊ป˜ ๊ณต์œ ํ•˜๊ณ  ์ƒ๊ฐ์„ ๋‚˜๋ˆ•๋‹ˆ๋‹ค. [New๐Ÿคณ App] : ๊ตญ๋‚ด์™ธ ์„œ๋น„์Šค๋“ค์„ ๊ณต์œ ํ•˜๊ณ  ์ƒ๊ฐ์„ ๋‚˜๋ˆ•๋‹ˆ๋‹ค. [Info๐Ÿ‘ปmation] : ์•Œ์•„๋‘๋ฉด ๊ฝค๋‚˜ ์ข‹์„๋งŒํ•œ ์ •๋ณด๋ฅผ ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค.

์•Œ๋ฆผ

์•Œ๋ฆผ์ด ์—†์Šต๋‹ˆ๋‹ค