• 인간 설계자를 넘어서는 AI, Meta Agent Search

이 연구는 자동화된 에이전트 시스템 디자인(ADAS)이라는 새로운 연구 분야를 제시합니다. ADAS는 강력한 범용 에이전트를 자동으로 생성하는 것을 목표로 하며, 특히 코드를 통해 에이전트를 정의하고 메타 에이전트가 더 나은 에이전트를 프로그래밍하는 방식을 탐구합니다. 이 접근법은 튜링 완전성을 통해 이론적으로 모든 에이전트 시스템 학습을 가능하게 합니다. Meta Agent Search라는 알고리즘은 이 아이디어를 구현하며, 메타 에이전트가 지속적으로 새로운 에이전트를 프로그래밍하고 평가하며, 이를 아카이브에 추가하여 다음 반복에서 활용합니다. 실험 결과, Meta Agent Search는 코딩, 과학, 수학 등 다양한 분야에서 최첨단 수작업 에이전트를 능가하는 새로운 디자인의 에이전트를 생성했습니다. 또한, 생성된 에이전트는 도메인 및 모델 간 전이에서도 뛰어난 성능을 유지하며 강력함과 범용성을 입증했습니다.

https://huggingface.co/papers/2408.08435

• 훈련 데이터, 얼마나 기억하니? 언어 모델 암기 심층 탐구

이 연구는 대규모 언어 모델(LM)의 암기(memorisation) 현상을 정량화하고 분석하는 새로운 방법을 제시합니다. 암기란 모델이 훈련 데이터셋의 특정 인스턴스를 학습한 결과, 해당 인스턴스를 정확하게 예측하는 능력에 미치는 인과적 영향으로 정의됩니다. 이 연구는 암기를 반사실적 추론(counterfactual reasoning) 문제로 보고, 계량경제학의 차이-차이 접근법(difference-in-differences design)을 활용하여 해결합니다. 즉, 모델이 특정 인스턴스를 훈련 데이터에서 보았을 때와 보지 않았을 때의 성능 차이를 추정하는 것입니다. 이를 통해 모델의 훈련 과정 전체에 걸친 암기 패턴을 보여주는 암기 프로파일을 생성합니다. 실험 결과, 암기는 모델 크기가 클수록, 훈련 후반부보다 훈련 초반부에 더 강하게 나타나며, 학습률과 훈련 데이터에서의 인스턴스 위치에 따라 암기 정도가 달라진다는 것을 확인했습니다. 또한, 큰 모델의 암기는 작은 모델에서의 암기로부터 예측가능하다는 점도 밝혀졌습니다.

https://arxiv.org/pdf/2406.04327

사전 신청 후 과정 입학하면 데이터 분야 참고 서적 증정! 데이터사이언티스트 과정 지원하기 : https://bit.ly/3YBFXNf