• 다양성이 승리한다: LLM 파인튜닝의 새로운 지평

이 연구는 대규모 언어 모델의 효과적인 파인튜닝을 위한 데이터 선택 문제를 다룹니다. 기존 연구들이 주로 개별 인스턴스의 품질과 같은 국소적인 기준에 초점을 맞춘 반면, 이 연구는 데이터 다양성이라는 전역적인 접근 방식의 중요성을 강조합니다. k-means 클러스터링을 활용하여 선택된 데이터 부분 집합이 전체 데이터셋을 효과적으로 나타내도록 보장하고, 액티브 학습 기법에서 영감을 받은 반복적인 개선 방법을 통해 각 훈련 반복에서 클러스터의 중요도 및 샘플링 가중치를 재평가하면서 클러스터에서 인스턴스를 재샘플링합니다. 이를 통해 이상치의 영향을 줄이고 품질이 낮은 데이터가 포함된 클러스터를 자동으로 필터링합니다. 자연어 추론, 일반적인 세상 지식, 코드 및 수학 추론 작업 등 다양한 작업에 대한 광범위한 평가와 다양한 계열의 모델 파인튜닝을 통해 일관된 개선을 관찰하여 무작위 선택 대비 7%, 기존 샘플링 방법 대비 3.8% 향상된 결과를 얻었습니다. 이 연구는 광범위한 평가 작업에서 성능을 향상시키기 위한 LLM 파인튜닝 시 다양성 우선 샘플링의 중요성을 강조합니다.

https://huggingface.co/papers/2409.11378

• CoT, LLM 추론 능력의 마법인가? 효과와 한계 탐구

이 논문은 대규모 언어 모델(LLM)에서 추론 능력을 이끌어내는 데 널리 사용되는 프롬프팅 기술인 연쇄 사고(CoT)의 효과를 분석합니다. 본 연구는 CoT를 사용한 100개 이상의 논문에 대한 메타 분석과 14개 모델에 대한 20개 데이터셋 평가를 통해 CoT가 주로 수학, 논리, 알고리즘 추론과 관련된 작업에서 상당한 성능 향상을 가져온다는 것을 보여줍니다. 반면 이는 CoT가 복잡한 질문에 답변하는 LLM의 능력을 향상시키지만 주로 수학 또는 논리적 추론이 필요한 작업에서 큰 이점을 제공하며, 다른 유형의 작업에서는 그 효과가 미미하다는 것을 시사합니다. 이러한 결과는 CoT가 불필요하게 광범위하게 사용되는 경우가 많으며, 더 낮은 추론 비용으로 유사한 성능을 얻을 수 있는 효율적인 프롬프팅 전략이 존재함을 의미합니다. 또한 프롬프트 기반 CoT를 넘어 검색, 상호작용 에이전트 또는 CoT에 맞춰 더욱 강력하게 파인튜닝된 모델과 같은 새로운 접근 방식으로 나아가야 할 필요성을 제기합니다.

https://huggingface.co/papers/2409.12183

이론과 실무를 잇-다!

데이터로 비즈니스 가치를 만드는 데이터 사이언티스트 전문 과정 모집 중 : https://bit.ly/3YBFXNf