State Space Model (Mamba)
IA & ML · Fondo
Una alternativa a la arquitectura Transformer que procesa secuencias con complejidad lineal O(n) en lugar de atencion cuadratica O(n^2), permitiendo el manejo eficiente de secuencias muy largas. Mamba introdujo espacios de estados selectivos donde el modelo filtra información dinamicamente segun el contenido. Las arquitecturas hibridas como Jamba combinan la eficiencia de SSM con la capacidad de recuperacion de la atencion.