곧 출시될 iOS 17과 macOS Sonoma에는 Transformer를 이용한 텍스트 자동 완성 기능이 들어간다고 알려졌는데요. Jack Cook이라는 분이 베타버전에 들어있는 모델을 파 보았더니, 모델의 구조가 “GPT-2”를 기반으로 한 것으로 보인다고 합니다. 모델의 크기는 34M, 약 3천 4백만개로 GPT-2의 가장 작은 크기의 모델인 117M의 1/3이 채 안되는 훨씬 작은 크기인데요. 그만큼 성능은 많이 떨어져서 “말을 만들어내는” 수준은 아니고, 뒤에 나올 한 두 단어 정도를 예측하는 수준으로 보입니다. 하지만 아무리 작은 모델이라고 해도 온디바이스로 GPT라니.. 아무래도 Apple Vision Pro를 위한 인터페이스도 크게 염두해두고 있는 것이겠죠? 내년에 정말 대단한 데모를 볼 수도 있겠습니다. https://jackcook.com/2023/09/08/predictive-text.html