[0904]모두에게 전하는 모두연 AI뉴스!

• AI, 오류에도 정답을 맞춘다? LLM '불충실한 추론' 현상 규명

이번에 소개할 논문은 대규모 언어 모델(LLM)이 생성한 CoT 추론 텍스트의 신뢰성, 즉 '충실성'을 조사합니다. 특히, LLM이 CoT 텍스트 내 오류에서 회복하는 방식을 분석하여, 모델이 잘못된 추론에도 불구하고 정답에 도달하는 '불충실한 추론' 현상을 확인했습니다. 또한, 오류의 명확성, 정답에 대한 증거 제공 등의 요인이 LLM의 오류 회복 행동에 미치는 영향을 분석하고, 충실한 회복과 불충실한 회복 사이에 서로 다른 메커니즘이 존재함을 밝혔습니다. 이 연구는 LLM 추론의 신뢰성 문제를 깊이 있게 탐구하며, 불충실한 추론을 줄이고 모델 해석 가능성을 높이는 방향을 제시합니다.

https://openreview.net/forum?id=IPZ28ZqD4I#discussion

• AI, 인간처럼 경제 활동? LLM의 의사 결정, 행동 경제학 렌즈로 분석

이번 논문은 대규모 언어 모델(LLM)이 경제적 의사 결정에서 어떤 행동 편향을 보이는지 분석하는 프레임워크를 제시합니다. 연구진은 불평등 회피, 위험 및 손실 회피, 시간 할인과 같은 경제적 편향을 평가하기 위해 행동 경제학 실험에서 사용되는 게임을 LLM에 적용하고, 그 결과를 인간 피실험자의 결과와 비교합니다. 연구 결과, LLM은 인간과 유사한 측면도 있지만, 몇 가지 뚜렷한 차이를 보입니다. 예를 들어 LLM은 손실 회피 성향이 낮고, 시간 할인율이 높은 경향을 보입니다. 또한, 프롬프트를 통해 LLM의 행동 편향을 조정하려는 시도는 성공적이지 못했습니다. 이 연구는 LLM의 경제적 의사 결정 능력을 평가하고 개선하기 위한 중요한 첫걸음을 제시하며, LLM이 인간의 경제적 의사 결정을 지원하는 데 있어 잠재력과 한계를 모두 보여줍니다.

https://openreview.net/forum?id=Rx3wC8sCTJ#discussion

이론과 실무를 잇-다! 데이터로 비즈니스 가치를 만드는 데이터 사이언티스트 전문 과정 모집 중 : https://bit.ly/3YBFXNf