• LongWriter: 장문 출력을 위한 LLM 개선과 LongWriter-6k 데이터 세트 및 LongBench-Write 벤치마크 개발

현재의 장문맥 대규모 언어 모델(LLM)은 최대 100,000개의 토큰을 처리할 수 있지만, 2,000단어를 초과하는 출력을 생성하는 데 어려움을 겪고 있습니다. 이는 감독 미세 조정(SFT) 중에 긴 출력 예시가 부족하기 때문입니다. 이 문제를 해결하기 위해, 에이전트 기반 파이프라인인 AgentWrite를 도입하여 모델이 20,000단어 이상의 일관된 출력을 생성할 수 있도록 했습니다. 이를 통해 2천 단어에서 32천 단어까지의 데이터를 포함한 LongWriter-6k 데이터 세트를 구축하고, 이를 사용해 기존 모델의 출력 길이를 10,000단어 이상으로 확장하는 데 성공했습니다. 또한, LongBench-Write라는 벤치마크를 개발하여, 개선된 모델이 초장문 생성에서 뛰어난 성능을 발휘함을 입증했습니다.

https://huggingface.co/papers/2408.07055

• OpenResearcher: AI 기반 플랫폼을 통한 연구 동향 파악 및 도메인 별 지식 제공

OpenResearcher는 연구자들이 최신 연구 동향을 파악하고 새로운 분야를 탐구하는 데 도움을 주기 위해 인공지능(AI) 기술을 활용한 혁신적인 플랫폼입니다. 이 플랫폼은 검색 증강 생성(RAG)을 기반으로 대규모 언어 모델(LLM)과 최신 도메인별 지식을 통합하여, 연구자의 쿼리를 이해하고 과학 문헌을 검색하며, 필터링된 정확하고 포괄적인 답변을 제공합니다. 또한, 답변을 자체 수정할 수 있는 다양한 도구를 개발하여 효율성과 효과성을 높입니다. OpenResearcher는 연구자들이 시간을 절약하고 새로운 인사이트를 발견하며, 과학적 혁신을 촉진할 수 있도록 지원합니다.

https://huggingface.co/papers/2408.06941

사전 신청 후 과정 입학하면 데이터 분야 참고 서적 증정! 데이터사이언티스트 과정 지원하기 : https://bit.ly/3YBFXNf