๐ŸŒˆ Exploiting Contemporary ML ๐ŸŽ ์ด ๊ธ€์„ ์ถ”์ฒœํ•˜๋Š” ์ด์œ  - ์ตœ๊ทผ์— ๋ณธ ๋จธ์‹ ๋Ÿฌ๋‹ ๊ด€๋ จ ๊ธ€ ์ค‘ ์ œ์ผ ์ธ์‚ฌ์ดํŠธ๊ฐ€ ๋งŽ์€ ๊ธ€์ด๋ผ ์ถ”์ฒœ๋“œ๋ฆฝ๋‹ˆ๋‹ค! - ๊ธ€ ์ž‘์„ฑ์ž๋ถ„์ด HCI ์—ฐ๊ตฌ์‹ค๋กœ๋ถ€ํ„ฐ ์ตœ์‹  ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ์„ HCI ์—ฐ๊ตฌ์— "์‘์šฉ"๋งŒ ํ•˜๋Š” ๊ฒฝ์šฐ ์–ด๋–ค ๊ฒƒ์„ ๋ฐฐ์›Œ์•ผํ•˜๋Š”์ง€ ์š”์ฒญ์„ ๋“ฃ๊ณ  ์ž‘์„ฑํ•œ ๊ฐ€์ด๋“œ๋ผ์ธ์ž…๋‹ˆ๋‹ค(๊ฐœ์ธ์ ์œผ๋กœ ์—„์ฒญ ํ˜„์‹ค์ ์ด๋ผ๊ณ  ๋Š๊ปด์„œ ๋งค์šฐ ์ข‹์•˜์–ด์š”) - ํ•™๊ต ๊ฐ•์˜์˜ ํ•œ๊ณ„๋ฅผ ์‹œ์ž‘์œผ๋กœ ์ด์•ผ๊ธฐ๋ฅผ ์ „๊ฐœํ•˜๋ฉฐ, ๋ชจ๋ธ์„ ํ™œ์šฉํ•˜๊ธฐ ์œ„ํ•ด ์•Œ์•„์•ผ ํ•˜๋Š” ๋‚ด์šฉ์„ ์ถ”๋ฆฐ ๊ฒƒ๋„ ์ธ์ƒ ๊นŠ์—ˆ์Šต๋‹ˆ๋‹ค - NLP์˜ Transfer Learning, Graph Data, XAI, ํ• ๋‹น ๋ฌธ์ œ, ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ์˜ ํ•ต์‹ฌ์„ ๊ฐ„๋‹จํžˆ ์ •๋ฆฌํ•˜๊ณ  ๋ณด๋ฉด ์ข‹์€ ์ž๋ฃŒ๋ฅผ ์ถ”์ฒœํ•ด์ค๋‹ˆ๋‹ค ๐Ÿ‘ ์ฝ์œผ๋ฉด ์ข‹์€ ๋ถ„ - ๋จธ์‹ ๋Ÿฌ๋‹ ๋ชจ๋ธ์„ ํ™œ์šฉํ•˜๊ธฐ ์œ„ํ•œ ์ง€์‹์ด ํ•„์š”ํ•˜์‹  ๋ถ„ - NLP์˜ Transfer Learning, Graph Data, XAI, ํ• ๋‹น ๋ฌธ์ œ, ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ๋ฅผ ๋‹ค๋ฃจ์‹œ๋Š” ๋ถ„ - ๋จธ์‹ ๋Ÿฌ๋‹/๋”ฅ๋Ÿฌ๋‹ ๊ด€๋ จ ์—…๊ณ„์— ๊ณ„์‹  ๋ถ„ ๐ŸŽ‚ ์ œ๋ชฉ์˜ ์˜๋ฏธ - Exploiting: ML ๋ชจ๋ธ์— ๋Œ€ํ•œ ์›๋ก ์  ์ดํ•ด๋Š” ๋น„์ „๊ณต์ž๋กœ์„œ ๋ชจ๋ธ ์‚ฌ์šฉ์„ ํ•จ์— ์žˆ์–ด ๊ฑด๋„ˆ๋›ฐ์–ด๋„ ์ƒ๊ด€ ์—†๋‹ค๋Š” ๋œป - Contemporary: ์–ด์ œ ์•„์นด์ด๋ธŒ์— ์˜ฌ๋ผ์˜จ ๋…ผ๋ฌธ๋„ exploit ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•œ๋‹ค๋Š” ๋œป ๐Ÿ’ก ํ•™๊ต ๊ฐ•์˜์˜ ํ•œ๊ณ„ - ๋จธ์‹ ๋Ÿฌ๋‹ ํ•™๋ฌธ์˜ ๊ฐ€์žฅ ๊ธฐ์ดˆ ๊ณผ๋ชฉ : ์‹คํ•ด์„ํ•™, ํ™•๋ฅ ๋ก  - But, ๋จธ์‹ ๋Ÿฌ๋‹์˜ ์„ธ๋ถ€ ๋ถ„์•ผ์—์„œ ์‘์šฉ์„ฑ์ด ๋†’์€ ๊ณณ์œผ๋กœ ๊ฐˆ์ˆ˜๋ก ์œ„ ์ง€์‹๊ณผ ๋ฉ€์–ด์ง€๊ณ  ๋ชจ๋‘ ์•Œ์•„์•ผํ•  ํ•„์š”๊ฐ€ ์—†์Œ - CS231n ๊ฐ•์˜๋ฅผ ๋“ฃ๋”๋ผ๋„ ์–ด์ œ ๋‚˜์˜จ ๋…ผ๋ฌธ์„ ์ฝ๊ณ  ๊ตฌํ˜„ํ•˜๊ธด ์–ด๋ ค์›€ - ์ตœ๊ทผ ์—ฐ๊ตฌ๋ฅผ ๋ฐ˜์˜ํ•œ ๊ฐ•์˜๊ฐ€ ๋‚˜์˜ค๊ธฐ ์ „๊นŒ์ง„ ํ•™๊ต ๊ฐ•์˜๊ฐ€ ๊ฐ€์ง€๋Š” ํ•œ๊ณ„๊ฐ€ ์žˆ์Œ ๐ŸŒทExploit์„ ํ•˜๊ธฐ ์œ„ํ•ด์„œ ๋ฐฐ์›Œ์•ผ ํ•  ๊ฒƒ - ์—ฐ์† ๊ฐ€์†๊ธฐ๋ฅผ ๋‹ค๋ฃจ๋Š” ๋ฐฉ๋ฒ• - CS231n๊ณผ ๊ฐ™์€ ๊ฐ•์˜ : Andrew Nh์ด๋‚˜ Murphy ๊ฐ•์˜์—์„œ ๋‹ค๋ฃจ๋Š” ๊ฒƒ ์ดํ›„์˜ ๋‚ด์šฉ์— ๋Œ€ํ•œ ์ดํ•ด๊ฐ€ ํ•„์š” - ๋…ผ๋ฌธ์—์„œ ์–ธ๊ธ‰ํ•˜๋Š” ๋ฐฑ๊ทธ๋ผ์šด๋“œ ์ง€์‹ - ์‘์šฉ์„ ์›ํ•˜๋Š” ๋ถ„์•ผ์˜ task ์ด๋ฆ„๊ณผ task์˜ objective function์˜ ๊ตฌ์กฐ, ๋Œ€ํ‘œ์ ์ธ Academic dataset๊ณผ ํ‰๊ฐ€ Metric - ๋น…ํ…Œํฌ ๊ธฐ์—…์—์„œ ์‘์šฉํ•˜๊ณ ์ž ํ•˜๋Š” ๋ถ„์•ผ์— transformer๋ฅผ ์ ์šฉํ–ˆ๋Š”์ง€? ๊ทธ ๋ชจ๋ธ์˜ weight๋Š” ๊ณต๊ฐœ๋˜์–ด ์žˆ๋Š”์ง€? ๐Ÿ“‹ Graph Data - GNN์€ transfer์™€ ์–ด๋Š์ •๋„ ๋™์น˜ ๊ด€๊ณ„ - Message passing์ด๋ผ๋˜๊ฐ€ multi-hop ๋“ฑ์˜ ๊ทธ๋ž˜ํ”„ ํŠน์ • ์šฉ์–ด๋Š” ํŠธ๋žœ์Šคํฌ๋จธ์˜ ์—ฐ์‚ฐ๊ณผ ๋‹ค๋ฅผ๋ฐ” ์—†์Œ - GNN์„ ์‘์šฉํ•˜๋ ค๋ฉด ๋ฐ์ดํ„ฐ๊ฐ€ ๊ทธ๋ž˜ํ”„ ๊ตฌ์กฐ์ธ์ง€, ๋…ธ๋“œ, ์—ฃ์ง€, ์กฐํ•ฉ์ธ์ง€ ๋“ฑ์„ ์ž˜ ํŒŒ์•…ํ•ด์•ผ ํ•จ - ์ถ”์ฒœ ์„œ๋ฒ ์ด ๋…ผ๋ฌธ : https://arxiv.org/abs/1901.00596 ๐Ÿ”ฅ XAI์— ๋Œ€ํ•˜์—ฌ - Interpretability vs Explainability - Interpretability : causality์™€ ๊ฐ™์€ ์˜๋ฏธ. ๋ชจ๋ธ ์ธํผ๋Ÿฐ์Šค์˜ ์–ด๋–ค ๋ถ€๋ถ„์ด output์˜ cause์ธ์ง€ ์‚ฌ๋žŒ์ด ์•Œ ์ˆ˜ ์žˆ๋Š” ์ •๋„ - Explainability : ๋ชจ๋ธ inference์˜ output ์„ค๋ช…์„ ์‚ฌ๋žŒ์ด๋‚˜ ๋ชจ๋ธ ์Šค์Šค๋กœ ๋งŒ๋“œ๋Š” ๊ฒƒ - ์ถ”์ฒœ ์„œ๋ฒ ์ด ๋…ผ๋ฌธ : https://arxiv.org/abs/2006.11371 ์ œ๊ฐ€ ์ •๋ฆฌํ•œ ๋ถ€๋ถ„์€ ๊ธ€์˜ ์ผ๋ถ€๋ถ„์ž…๋‹ˆ๋‹ค! ๊ผญ ์Šคํฌ๋žฉ + ์ฝ์–ด๋ณด์‹œ๋Š” ๊ฒƒ์„ ์ถ”์ฒœ๋“œ๋ฆฝ๋‹ˆ๋‹ค :)

Exploiting Contemporary ML

Wonjae

Exploiting Contemporary ML

2021๋…„ 1์›” 23์ผ ์˜ค์ „ 5:39

๋Œ“๊ธ€ 0

์ฃผ๊ฐ„ ์ธ๊ธฐ TOP 10

์ง€๋‚œ์ฃผ ์ปค๋ฆฌ์–ด๋ฆฌ์—์„œ ์ธ๊ธฐ ์žˆ๋˜ ๊ฒŒ์‹œ๋ฌผ์ด์—์š”!

โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ
โ€Œโ€Œ

๊ฐœ๋ฐœ์ž๋ฅผ ์œ„ํ•œ ๋ถ€ํŠธ์บ ํ”„ ํ•„๋… ์•„ํ‹ฐํด ๋ชจ์Œ

์ง€๊ธˆ ๋ฐ”๋กœ ํ™•์ธํ•ด๋ณด์„ธ์š”!

๋ณด๋Ÿฌ ๊ฐ€๊ธฐ