모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 SW/AI 커뮤니티입니다.

🗞️  SW/AI 한줄 뉴스
1. LG유플러스, AI 비서 '익시' 출시
https://n.news.naver.com/mnews/article/082/0001264158

2. 협상 대신 소송을 택한 오픈ai/메타/구글
https://www.aitimes.com/news/articleView.html?idxno=158632

-

🤵‍♂️ 빠르다 빨라 AI 세상
1. 고도로 압축된 텍스트를 활용한 LLM 훈련: '이퀄 인포 윈도우' 기법과 효율성 향상 방안
이 논문은 대규모 언어 모델(LLM)을 고도로 압축된 텍스트로 훈련시키는 방안을 탐구합니다. 표준 하위 단어 토큰화 방식 대신, 신경망을 이용한 텍스트 압축 방식이 훨씬 더 높은 압축률을 달성할 수 있음을 지적하며, 이러한 접근이 학습 및 서비스 효율성을 높이고 긴 텍스트 스팬 처리를 용이하게 할 수 있음을 제시합니다. 하지만, 강력한 압축이 학습에 부적합한 출력을 생성하는 문제를 극복하기 위해, 텍스트를 동일한 비트 길이의 블록으로 분할하는 '이퀄 인포 윈도우'라는 새로운 압축 기법을 도입합니다. 이 기법을 통해, 신경적으로 압축된 텍스트에 대한 효과적인 학습이 가능해지며, 난해성 및 추론 속도 벤치마크에서 기존 바이트 수준의 기준선을 상당히 능가하는 결과를 달성합니다. 또한, 이 방법은 하위 단어 토큰화기보다 난해도는 낮지만 시퀀스 길이가 짧아 자동 회귀 생성 단계가 감소하고 지연 시간이 줄어든다는 이점을 가집니다. 논문은 또한 학습 가능성에 기여하는 요소에 대해 광범위한 분석을 제공하며, 고압축 토큰화기의 성능을 개선할 구체적인 방안을 제안합니다.
https://huggingface.co/papers/2404.03626

2. ReFT: 대규모 모델 미세 조정을 위한 저순위 선형 부분공간 활용 방안과 그 우수성
매개변수 효율적인 미세 조정(PEFT) 방법은 대규모 모델의 소수 가중치만을 업데이트하여 모델을 조정하는 접근 방식입니다. 이에 비해, 표현 미세 조정(ReFT)은 모델의 숨겨진 표현에 직접적인 개입을 학습함으로써, 풍부한 의미 정보를 부호화하는 표현을 편집하는 방식을 제안합니다. ReFT의 한 형태로, 저순위 선형 부분공간을 활용하는 LoReFT 방법이 개발되었습니다. LoReFT는 기존 PEFT에 비해 매개변수 효율성을 10배에서 50배 향상시키는 동시에 기존의 최첨단 PEFT 방법보다 더 우수한 성능을 제공합니다. 8가지 상식 추론 과제와 4가지 산술 추론 과제, 그리고 Alpaca-Eval v1.0 및 GLUE 벤치마크에서 LoReFT의 효율성과 성능이 검증되었으며, 거의 모든 평가에서 최신 PEFT 방법을 능가하는 결과를 보여주었습니다. 이는 ReFT, 특히 LoReFT가 대규모 모델의 미세 조정에서 매우 유망한 대안임을 시사합니다.
https://huggingface.co/papers/2404.03592

-

🦸‍♂️ 오늘의 SW 스피드웨건
1. faces.js : 벡터 기반 만화 얼굴 생성을 위한 자바스크립트 라이브러리
faces.js는 만화 스타일의 얼굴을 벡터 그래픽(SVG)으로 생성하는 JavaScript 라이브러리입니다. 사용자는 JavaScript 객체를 통해 얼굴을 저장하고 나중에 다시 그릴 수 있으며, 현재 얼굴 특징의 선택지는 제한적이며 간단한 편입니다. 이 프로젝트는 GitHub에서 새로운 옵션을 추가하기 위해 포크할 수 있습니다.
https://zengm.com/facesjs/

2. Python: 데이터코어와 AI 어시스턴트로 트레이딩 전략 백테스트하기
이 글에서는 Python과 Datalore 노트북을 사용하여 일일 Dow Jones 평균 회귀 전략의 백테스팅 과정을 설명합니다. 코드 작성 없이도 AI의 도움을 받아 백테스팅을 수행할 수 있으며, Datalore의 대화형 차트 및 보고 기능을 통해 백테스트 결과를 효과적으로 분석하고 공유할 수 있습니다. 주로 DJIA 지수 내의 가장 많이 떨어진 10개 주식을 매수하고 다음 거래일 종료 시 매도하는 평균 회귀 전략의 실행 가능성을 탐구합니다.
https://blog.jetbrains.com/datalore/2024/04/05/backtesting-a-trading-strategy-in-python-with-datalore-and-ai-assistant/

다른 생각에서 시작한 AI교육,
모두의연구소 AI학교 아이펠 온라인 8기
🔥 놓치지 마세요! ► https://bit.ly/3T1rC8r