在较高层次上，S4学习如何通过中间状态 h(t) 将输入x(t) 映射到输出 y(t) 上。 在此，由于SSM被设计于很好地处理连续数据，例如音频、传感器数据和图像，因此x、y、t 是x的函数。 S4通过三个连续参数矩阵A、B和C将它们互联，具体形式表现为以下两个方程（Mamba ...

Mamba 虽好，但发展尚早。 深度学习架构有很多，但近些年最成功的莫过于 Transformer，其已经在多个应用领域确立了自己的主导地位。 如此成功的一大关键推动力是注意力机制，这能让基于 Transformer 的模型关注与输入序列相关的部分，实现更好的上下文理解。

大模型推理的核心瓶颈长期在于自回归解码的串行本质。投机解码（Speculative Decoding, SD）通过引入一个轻量级的草稿模型来预测后续 token，并交由目标模型并行验证，从而有效加速了推理过程。

【新智元导读】曼巴回来了！Transformer框架最有力挑战者之一Mamba的最新进化版本Mamba-3来了，已进入ICLR 2026盲审环节，超长文本处理和低延时是其相对Transformer的显著优势。另一个挑战者是FBAM，从不同的角度探索Transformer的下一代框架。 算法巨蟒「Mamba」悄然蜕变 ...

至今为止 Transformer 架构依然是 AI 模型的主流架构，自从其确立了统治地位后，号称 Transformer 杀手的各类改进工作就没有停止过。 在一众挑战者中最具影响力的自然是 2023 年社区爆火的基于结构化的状态空间序列模型（SSM）架构的 Mamba。 Mamba 的爆火可能和名字 ...

诞生6周年的Transformer，霸主之位终于要被颠覆了？CMU、普林斯顿研究者发布的Mamba，解决了Transformer核心注意力层无法扩展的致命bug，推理速度直接飙升了5倍！一个时代要结束了？ 深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世 ...

随着AI应用像五层蛋糕一样层层铺开，英伟达不仅在基础设施和芯片领域占据主导地位，还是西方少数几家大力投资开源模型的公司之一。正是在此背景下，英伟达推出了Nemotron 3 Super，主要目标是大规模运行智能体AI应用，使其成为像OpenClaw这样的智能体的理想选择。

本文提出iDMa随机轨迹预测框架，创新性地将扩散模型（DDPM）与Mamba架构相结合，通过双参数学习机制（同时优化均值与方差 ...

Falcon Mamba 7B有什么特别之处？ TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。 今天，阿布扎比支持的技术创新研究所(TII) 开源了全球第一个通用的大型Mamba架构模型 ...

【导读】CVPR 2025，混合新架构MambaVision来了！Mamba+Transformer混合架构专门为CV应用设计。MambaVision 在Top-1精度和图像吞吐量方面实现了新的SOTA，显著超越了基于Transformer和Mamba的模型。 正如标题所言「Attention is all you need」，Transformer已成为不同领域的「霸主」 ...

自闭症谱系障碍（ASD）是一种神经发育障碍，其特征是视觉注意力模式异常，这通常表现为注视异常。尽管在视觉注意力建模方面取得了显著的进展，无论是准确性还是效率都有所提高，但大多数现有方法主要是为预测典型注意力模式而设计的，在应用于ASD患者 ...