골빈해커

Chief Maker

RMT(Recurrent Memory Transformer)를 사용하여 Transformer를 최대 2M 토큰으로 확장할 수 있다고. GPT-4 의 최대 토큰수가 32K 이니 이의 거의 100배 가량 되는 컨텍스트 길이를 가질 수 있다는 이야기로, 이정도면 백과 사전을 넣을 수 있는 수준. 이게 상용화 되면 (극단적으로 봤을 때)메모리 DB도 파인 튜닝도 뭐도 다 필요 없어지고, 진짜 LLM 하나로 모든 것을 다 처리 할 수 있게 될 것.