거의 모든 LLM 기술의 코어인 Transformer보다 효율적이고 좋다는 기술들이 많이 발표되고 있지만, Transformer 기반이 아닌 LLM으로 대세가 바뀔 가능성은 거의 없을 것이다.

그 이유는 Transformer 가 준 표준처럼 되어서, 라이브러리나 인프라 뿐 아니라 AI 칩 까지 거의 모든 생태계가 Transformer 를 중심으로 발전하고 있기 때문이다.

당장 GPU의 Nvidia만 봐도 뭐.

물론 Transformer 를 극도로 효율화 시켜도 따라잡지 못할 정도로 높은 수준의 효율과 성능을 보이는 기술이 나오면 바뀔 수도 있겠지만, 과연 그런 기술이 나올지는 모르겠다. 그리고 만일 그런 기술을 만들어 낼 수 있다면 그건 아마 앞으로 AI가 만들어 내지 않을까.