题目:BB贝博艾弗森团队提出 MambaX:基于状态预测控制的图像超分辨率新框架,成果被《IEEE Transactions on Pattern Analysis and Machine Intelligence》接收

发布者:吉鑫发布时间:2026-09-07浏览次数:10

摘要

  近日,BB贝博艾弗森洪丹枫教授团队联合中国科学院空天信息创新研究院、东京大学及法国格勒诺布尔相关研究团队,在图像超分辨率(Image Super-Resolution, SR)领域取得新进展,提出基于状态预测控制的图像超分辨率框架 MambaX。相关论文已被《IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)》接收。

MambaX总体设计

   针对传统状态空间模型(State Space Model, SSM)固定线性控制映射感受野有限、复杂图像适应性不足以及中间状态误差易累积等问题,MambaX 的核心将空间像素与光谱序列表示为多阶段潜在状态轨迹,并通过动态学习非线性控制参数,对超分辨率重建过程进行逐状态调节与优化。其总体框架如图1所示,主要包含三个核心设计:

        1)渐进跨域转换(Progressive Cross-Domain Transition):针对图像空间与潜在状态空间之间的域差异及复杂退化,利用具有不同感受野的多种映射算子生成候选表示,并通过可学习权重自适应融合,使退化对齐与域转换逐步完成,从而缓解大倍率退化下跨域迁移中的误差累积问题。

  2)非线性状态预测控制(Nonlinear State Predictive Control, nSPC):通过定制神经网络动态预测状态空间模型中的多阶段控制参数,其中,离散化变量Δ(t) 根据输入自适应生成,并进一步间接调节状态转移相关矩阵 A 与 B;输出控制矩阵 C(t) 则采用动态非线性生成方式,使模型能够根据不同图像内容灵活调整状态演化过程,同时兼顾表达能力与稳定性。

        3)交叉控制融合(Cross-control Fusion):将辅助模态信息用于生成状态控制矩阵,在统一潜在状态空间中利用一种模态的控制参数引导另一种模态的状态演化,使多模态互补信息由传统的“特征融合”转变为更具动态性的“状态控制”,从而提升多模态超分辨率重建的稳定性、鲁棒性与可解释性。

实验验证:跨尺度、跨场景与跨模态

        MambaX 的优势不仅体现在指标提升上,更体现在其跨尺度、跨场景、跨模态的稳定表现上。为全面验证模型能力,论文系统开展了计算机视觉单图像超分辨率、遥感单图像超分辨率以及多模态遥感融合超分辨率三类实验。结果表明,无论是在 2倍、4 倍还是8倍不同退化强度下,还是面对近景高光谱、城市地表、大范围遥感场景以及多模态遥感影像等复杂任务,模型在空间细节恢复、结构边缘保持和跨波段光谱一致性方面均能表现出明显优势。

未来展望

  从更广的角度看,MambaX 展示了“以状态为核心、以控制为纽带”的图像重建范式:不再仅依赖更深的网络或更大的注意力模块提升最终输出,而是显式干预中间状态的演化过程。该思路为跨分辨率、跨光谱维度和跨模态图像建模提供了新的状态空间视角。

获取与资助

论文链接:https://doi.org/10.1109/TPAMI.2026.3721958

项目主页/代码:https://github.com/danfenghong/IEEE_MambaX

本研究获得国家自然科学基金(42271350)以及中国科学院国际合作计划(313GJHZ2023066FN)的支持。