🌈 Exploiting Contemporary ML 🎁 이 글을 추천하는 이유 - 최근에 본 머신러닝 관련 글 중 제일 인사이트가 많은 글이라 추천드립니다! - 글 작성자분이 HCI 연구실로부터 최신 머신러닝 모델을 HCI 연구에 "응용"만 하는 경우 어떤 것을 배워야하는지 요청을 듣고 작성한 가이드라인입니다(개인적으로 엄청 현실적이라고 느껴서 매우 좋았어요) - 학교 강의의 한계를 시작으로 이야기를 전개하며, 모델을 활용하기 위해 알아야 하는 내용을 추린 것도 인상 깊었습니다 - NLP의 Transfer Learning, Graph Data, XAI, 할당 문제, 시계열 데이터의 핵심을 간단히 정리하고 보면 좋은 자료를 추천해줍니다 👍 읽으면 좋은 분 - 머신러닝 모델을 활용하기 위한 지식이 필요하신 분 - NLP의 Transfer Learning, Graph Data, XAI, 할당 문제, 시계열 데이터를 다루시는 분 - 머신러닝/딥러닝 관련 업계에 계신 분 🎂 제목의 의미 - Exploiting: ML 모델에 대한 원론적 이해는 비전공자로서 모델 사용을 함에 있어 건너뛰어도 상관 없다는 뜻 - Contemporary: 어제 아카이브에 올라온 논문도 exploit 할 수 있어야 한다는 뜻 💡 학교 강의의 한계 - 머신러닝 학문의 가장 기초 과목 : 실해석학, 확률론 - But, 머신러닝의 세부 분야에서 응용성이 높은 곳으로 갈수록 위 지식과 멀어지고 모두 알아야할 필요가 없음 - CS231n 강의를 듣더라도 어제 나온 논문을 읽고 구현하긴 어려움 - 최근 연구를 반영한 강의가 나오기 전까진 학교 강의가 가지는 한계가 있음 🌷Exploit을 하기 위해서 배워야 할 것 - 연속 가속기를 다루는 방법 - CS231n과 같은 강의 : Andrew Nh이나 Murphy 강의에서 다루는 것 이후의 내용에 대한 이해가 필요 - 논문에서 언급하는 백그라운드 지식 - 응용을 원하는 분야의 task 이름과 task의 objective function의 구조, 대표적인 Academic dataset과 평가 Metric - 빅테크 기업에서 응용하고자 하는 분야에 transformer를 적용했는지? 그 모델의 weight는 공개되어 있는지? 📋 Graph Data - GNN은 transfer와 어느정도 동치 관계 - Message passing이라던가 multi-hop 등의 그래프 특정 용어는 트랜스포머의 연산과 다를바 없음 - GNN을 응용하려면 데이터가 그래프 구조인지, 노드, 엣지, 조합인지 등을 잘 파악해야 함 - 추천 서베이 논문 : https://arxiv.org/abs/1901.00596 🔥 XAI에 대하여 - Interpretability vs Explainability - Interpretability : causality와 같은 의미. 모델 인퍼런스의 어떤 부분이 output의 cause인지 사람이 알 수 있는 정도 - Explainability : 모델 inference의 output 설명을 사람이나 모델 스스로 만드는 것 - 추천 서베이 논문 : https://arxiv.org/abs/2006.11371 제가 정리한 부분은 글의 일부분입니다! 꼭 스크랩 + 읽어보시는 것을 추천드립니다 :)