State Space Model (Mamba)
IA & ML · Fundo
Uma alternativa a arquitetura Transformer que processa sequencias com complexidade linear O(n) em vez de atencao quadratica O(n^2), permitindo tratamento eficiente de sequencias muito longas. Mamba introduziu espaços de estado seletivos onde o modelo filtra informações dinamicamente com base no conteudo. Arquiteturas hibridas como Jamba combinam a eficiência de SSM com a capacidade de recuperacao da atencao.