커리어리 친구들, 트랜스포머의 대항마라 볼 수 있는 Mamba 모델에 대해 기술적으로 잘 설명해 높은 자료인데요, 바로 Mamba는 State Space Model을 기반으로 만들어진 아키텍쳐로 구성되어 있습니다.

Mamba의 아키텍쳐를 이해하기 위해서는 우선 State Space Model이 어떻게 딥러닝에서 사용되는지를 파악하고 Mamba에서의 SSM은 다른 SSM과 어떻게 다른지 설명할 예정입니다.

이후에 Mamba 만이 갖고 있는 Selective 메커니즘과 Selective Scan에 대해 이야기할 에정이며 마지막으로 전체 Mamba의 아키텍쳐에 대해 설명되었습니다.

그런데 이미 수많은 회사와 llm 오픈소스에서 트랜스포머를 채택하고 있어서 이를 변경하기란 쉽지 않을 것 같습니다.

https://modulabs.co.kr/blog/introducing-mamba