10억(!)개의 토큰을 처리할 수 있(다고 주장하)는 LongNet 발표. GPT-3 를 위해 학습시킨 위키피디아 데이터의 토큰수가 30억개라고 하니, 이정도면 뭐 왠만한 회사의 모든 정보를 통째

10억(!)개의 토큰을 처리할 수 있(다고 주장하)는 LongNet 발표. GPT-3 를 위해 학습시킨 위키피디아 데이터의 토큰수가 30억개라고 하니, 이정도면 뭐 왠만한 회사의 모든 정보를 통째로 완벽하게 암기해서 답 할 수 있는 수준. 저자들 주장으로는 성능도 떨어지지는 않는다고 하는데, 과연 이것이 진짜 작동하는 것인지, 상용화는 가능한 것일지 정말 궁금해지네요. https://arxiv.org/abs/2307.02486