• DEEP TRANSFORMERS의 심장, ATLAS: 차세대 AI의 기억을 설계하다

ATLAS는 긴 컨텍스트 이해에서 기존 트랜스포머의 이차적 복잡성과 최신 순환 신경망(RNN)의 한계를 해결하기 위해 제안된 새로운 장기 메모리 모듈입니다.  ATLAS는 제한된 메모리 용량, 온라인 방식의 메모리 업데이트, 비효율적인 메모리 관리 문제를 개선하고자 합니다.  이를 위해 고차원 특징 매핑(예: 다항식 커널)과 깊은 메모리 구조로 용량을 늘리고, 현재 및 과거 토큰을 모두 고려하여 메모리를 최적화하는 Omega 규칙을 도입하며(온라인 방식 탈피), Muon과 같은 고급 옵티마이저를 사용하여 메모리 관리를 강화합니다.  또한, ATLAS는 DEEP TRANSFORMERS라는 새로운 트랜스포머 유사 아키텍처 제품군의 일부로, 다양한 벤치마크에서 기존 트랜스포머 및 RNN보다 우수한 성능을 보였습니다.

https://huggingface.co/papers/2505.23735

• EasyText: 픽셀 위에 자유롭게 그리는 다국어 텍스트 아트

EasyText는 Diffusion Transformer (DiT)를 기반으로 하는 다국어 텍스트 렌더링 프레임워크로, 명시적인 위치 제어 또는 레이아웃 프리 방식으로 텍스트를 렌더링할 수 있으며 곡선 및 경사 지역도 효과적으로 처리합니다.  이 시스템은 문자 위치 인코딩 및 보간 기술을 통해 제어 가능하고 정밀한 텍스트 렌더링을 구현하며, 사전 훈련과 미세 조정을 위한 대규모 합성 텍스트 이미지 데이터셋 및 고품질 주석 데이터셋을 구축했습니다.  실험 결과 EasyText는 다국어 텍스트 렌더링, 시각적 품질, 레이아웃 인식 텍스트 통합 측면에서 뛰어난 성능을 보입니다.

https://huggingface.co/papers/2505.24417

AI 전문가로 가는 최적의 여정, 인공지능학교 아이펠 14기 모집중 : https://aiffel.io/