확실히 알아두면 만사가 편해지는 머신러닝 10가지 알고리즘 | 요즘IT
요즘IT
🤐 LLM 분야의 떠오르는 화두: Abstention (기권)
최근 LLM의 환각현상(Hallucination)을 줄이기 위한 대안으로 최근 떠오르는 방법론 중 하나는 "Abstention"입니다. 단어의 뜻은 "기권, 자제"인데요, 우리 말로는 "답변 포기"정도가 될 것 같습니다.
즉, LLM이 스스로가 불확실한 정보에 대해서는 답변을 거부할 수 있도록 하는 방법에 대한 연구인데요, 요즘 관련 연구가 많이 나오는 것 같습니다. 관심 있으신 분들은 시작하기 좋은 논문 3편을 아래에 소개해두었으니 간단하게 살펴보셔도 좋을 것 같습니다.
The Art of Refusal: A Survey of Abstention in Large Language Models
LLM의 답변 포기(Abstention) 방법에 대한 Survey Paper
아래 세가지 관점을 기준으로 기존 연구를 분석합니다.
(1) The Query: 질문 자체의 모호성으로 답변 회피가 필요한 경우
(2) The Model: 모델 지식의 부족으로 답변 회피가 필요한 경우
(3) Human Values: 윤리적/사회적 가치 등의 이유로 답변 회피가 필요한 경우
https://arxiv.org/pdf/2407.18418
The Art of Saying No: Contextual Noncompliance in Language Models
답변하지 않아도 되는(Noncompliance) 질문 유형을 세분화하고 관련 데이터셋을 제공
"(1) The Query" 유형에 해당하는 방법론과 데이터를 소개합니다.
AllenAI, University of Washington, Microsoft Research 등 굵직한 기관들이 참여한 논문이네요.
https://www.arxiv.org/pdf/2407.12043
R-Tuning: Instructing Large Language Models to Say ‘I Don’t Know’
Instruction Tuning 단계에서 모델이 Parametric Knowledge 를 벗어나는 질문에 대해서는 답변하지 않도록 하기 위해 1) 무엇을 모르는 지를 파악하고 2) 모르는 것에 대해서는 답변하지 않도록 학습하는 방법 제시
"(2) The Model" 유형에 해당하는 방법론을 제시합니다.
최근 NAACL 2024에서 Outstanding Paper awards를 수상했어요.
https://aclanthology.org/2024.naacl-long.394/
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 8월 1일 오후 10:22
댓글 0
함께 읽은 게시물
🌎 해외에서 일하면 뭐가 좋을까요❓
외국어를 사용해서? 돈을 더 많이 벌어서? 새로운 기회가 많아서? 글로벌 경력을 쌓을 수 있어서?
... 더 보기< 뛰어난 리더는 '시간'을 가장 까다롭게 쓴다 >
1. 관리자 업무 중 상당한 부분을 차지하는 일은 인력, 돈, 자본 등의 자원을 할당하는 것이다.
IT 회사의 업무에서, 지금까지는 디자이너와 특히 개발자가 병목이었는데, 대 AI 시대에는 기획자가 병목이 될 수도 있겠다. 조금이라도 규모가 있는 기업에서의 가장 큰 병목은 보통 의사결정자라는 것을 생각해보면 그렇다.
즉, 실무보다 의사결정을 AI에게 맡기는 것이 병목을 해소할 수 있는 가장 확실한 방법이며, 그러므로 부장님과 사장님을 AI로 대체하는 것이야말로 인류의 번영을 위한 가장 빠른 지름길이다. (아님. 아니 맞나?!)
기본적으로 알아야 할 머신러닝 알고리즘 10
머신러닝을 공부하면서 늘 헤깔리는 것중에 하나가 알고리즘 부문인 거 같습니다. 마침, 이 알고리즘을 깔끔하게 정리한 글이 있어 공유해 봅니다.
데이터 영역에 관심있는 분들 뿐만 아니라 머신러닝이나 AI에 관심있는 분들은 원문을 꼭 일독하시길 강추(!)합니다~^^
📜 지도학습
👉 선형회귀, 로지스틱 회귀, K-최근접 이웃, 나이브 베이즈, 결정 트리, 랜덤 포레스트, XG부스트, 라이트GBM,
📜 비지도학습
👉 K-평균 군집화, 주성분 분석(PCA)
🔔 선형 회귀(Linear Regression)
🚩 문제 유... 더 보기
