在手持拍摄、车载相机或机器人视觉中，曝光时间内目标和镜头之间的相对运动会形成空间变化的运动模糊。与普通散焦模糊不同，运动模糊核方向和长度随像素位置变化，尤其在纹理较弱或存在遮挡的区域，单帧反卷积很难稳定恢复细节。多帧方法利用视频序列的时间冗余，通过运动补偿把相邻帧对齐到参考帧，再结合时序约束抑制噪声和伪影，已经成为动态场景去模糊的主流思路。

一、运动模糊退化模型与可微运动补偿

动态场景模糊可以近似描述为清晰图像与空间变化核卷积后叠加噪声的结果。对于参考帧中心像素，模糊核取决于曝光时间内的运动轨迹，因此传统单图去模糊使用的全局或者均匀卷积核假设并不成立。这也解释了为什么单帧去模糊算法在静态区域表现尚可，但遇到快速旋转、前景和背景运动不一致时会出现拖影残留和振铃效应。

基于多帧的方法把退化模型扩展为：模糊帧由一个清晰潜像序列在时间维度上平均得到。恢复思路不是从单帧估计模糊核，而是利用相邻帧提供的互补信息。运动补偿负责把相邻帧的潜在清晰内容对齐到参考帧坐标。可微运动补偿一般通过光流估计和空间变换实现：先估计参考帧到相邻帧的光流，再用双线性采样把相邻帧映射回来。双线性采样是可微操作，因此可以嵌入神经网络进行端到端训练。

下面是一个基于PyTorch的可微运动补偿实现，它利用grid_sample完成光流对齐。网格坐标需要从像素坐标归一化到[-1,1]，光流也按图像宽高归一化。

import torch
import torch.nn.functional as F
def warp_frame(frame, flow):
    n, c, h, w = frame.shape
    grid_y, grid_x = torch.meshgrid(
        torch.arange(h, dtype=torch.float32, device=frame.device),
        torch.arange(w, dtype=torch.float32, device=frame.device),
        indexing='ij'
    )
    grid_x = 2.0 * grid_x / (w - 1) - 1.0
    grid_y = 2.0 * grid_y / (h - 1) - 1.0
    grid = torch.stack((grid_x, grid_y), dim=-1).unsqueeze(0).repeat(n, 1, 1, 1)
    flow_normalized = torch.stack(
        (flow[:, 0] * 2.0 / (w - 1), flow[:, 1] * 2.0 / (h - 1)),
        dim=1
    ).permute(0, 2, 3, 1)
    warped = F.grid_sample(
        frame,
        grid + flow_normalized,
        mode='bilinear',
        padding_mode='zeros',
        align_corners=True
    )
    return warped

该实现的要点是grid_sample的采样坐标由基础网格和光流相加得到。注意flow的通道顺序通常是x方向位移和y方向位移，归一化尺度必须与图像宽高对应，否则在非正方形图像上会出现偏移量不对称。

二、遮挡处理与多帧融合权重

运动补偿最棘手的部分并不是光流估计本身，而是遮挡。当一个物体从背景前经过时，相邻帧中某些背景像素在参考帧里被遮挡，光流无法为这些区域找到正确对应。如果直接对错误对齐的特征做融合，会在运动边界产生明显的鬼影和纹理串扰。因此，鲁棒的运动补偿需要显式建模遮挡和融合权重。

前后向一致性检查是常用的遮挡判定方式。它估计参考帧到相邻帧的前向光流，以及相邻帧回到参考帧的后向光流，然后把后向光流重新映射回参考帧。如果某个像素前向光流和映射回来的后向光流之和接近零，说明该像素在两帧中能够稳定对应；否则很可能是遮挡点。用一个阈值可以把一致性误差转换为遮挡掩码。

def forward_backward_occlusion(flow_fwd, flow_bwd, threshold=1.0):
    n, c, h, w = flow_fwd.shape
    grid_y, grid_x = torch.meshgrid(
        torch.arange(h, dtype=torch.float32, device=flow_fwd.device),
        torch.arange(w, dtype=torch.float32, device=flow_fwd.device),
        indexing='ij'
    )
    grid_x = 2.0 * grid_x / (w - 1) - 1.0
    grid_y = 2.0 * grid_y / (h - 1) - 1.0
    base_grid = torch.stack((grid_x, grid_y), dim=-1).unsqueeze(0).repeat(n, 1, 1, 1)
    flow_norm = torch.stack(
        (flow_fwd[:, 0] * 2.0 / (w - 1), flow_fwd[:, 1] * 2.0 / (h - 1)),
        dim=1
    ).permute(0, 2, 3, 1)
    warped_flow_bwd = F.grid_sample(
        flow_bwd,
        base_grid + flow_norm,
        mode='bilinear',
        padding_mode='zeros',
        align_corners=True
    )
    consistency = torch.norm(flow_fwd + warped_flow_bwd, dim=1)
    occlusion = (consistency > threshold).float()
    return occlusion

上面的代码中，如果flow_fwd和重映射后的flow_bwd不能抵消，consistency会明显大于零。需要注意的是，弱纹理区域的光流估计本身噪声较大，仅靠一致性检查会把这些区域误判为遮挡。工程上通常先对光流做边缘感知平滑，或者引入额外的置信度分支。

得到遮挡掩码后，融合阶段可以为对齐后的帧分配权重。简单做法是用1 - occlusion作为权重，与参考帧加权平均；更鲁棒的做法是让网络输出像素级融合权重，并配合注意力机制对对齐特征进行选择。融合权重的可学习性很重要，因为遮挡边界处的模糊十分常见，手工设计的二值掩码往往不够精细。

三、时序约束如何减少抖动与伪影

如果只对每一帧独立做多帧去模糊，虽然单帧清晰度可以提升，但相邻输出帧之间可能出现纹理抖动、亮度跳变和边缘闪烁。这类问题在视频播放时尤其明显。时序约束的核心思想是让当前帧的重建结果与前后帧保持几何和光度上的一致性，把时间维度当作额外的先验信息。

一种直接的时序约束是时序warp损失。训练时，输入一个短片段而不是孤立的单帧，将前一帧的清晰输出按照前向光流对齐到当前帧，然后计算与当前帧输出的差异。这个损失会惩罚那些无法用运动解释的时间不一致。其实现可以复用上文的warp_frame。

def temporal_warp_loss(out_curr, out_prev, flow_fwd):
    warped_prev = warp_frame(out_prev, flow_fwd)
    return torch.mean(torch.abs(out_curr - warped_prev))

除了损失函数，循环网络结构也能提供隐式时序约束。例如在编码器中加入ConvLSTM或者门控循环单元，让当前帧的隐状态携带过去帧的运动和纹理信息。这样模型在遮挡区域即使暂时无法从相邻帧获得有效补偿，也能利用隐状态维护时间一致性。此类结构还可以和滑动窗口策略结合，每次处理连续三到五帧，既保留局部时间上下文，又避免长序列导致的计算量过大。

时序约束的另一个落点是光流平滑和边缘保持。很多运动补偿伪影来自光流突变，在损失中加入光流梯度惩罚或者使用各向异性平滑，可以降低光流噪声。与输出端的时序warp损失配合，前向光流负责对齐，后向光流和循环状态负责约束，形成完整的时序正则体系。

四、从单帧到视频：完整去模糊流程与性能权衡

一个完整的视频去模糊流程通常包含光流估计、运动补偿、特征融合和时序约束四个模块。光流估计可以使用预训练的RAFT或者轻量化的SpyNet，运动补偿采用可微warp，融合模块用卷积层和注意力生成像素权重，时序约束通过warp损失和循环网络实现。训练时可以使用两阶段策略：先固定光流网络训练融合模块，再联合微调，以降低训练不稳定性。

性能方面，光流估计是最耗时的部分。对于实时应用，可以采用下采样光流或共享浅层特征来降低计算量。融合模块如果使用过多的残差块和注意力层，也会在1080p视频上形成瓶颈。工程上常见的取舍包括：在低分辨率估计光流并在高分辨率下做融合；对静态区域直接用单帧去模糊结果，对动态区域启用多帧补偿；使用混合精度和算子融合加速推理。

下面用表格对比几种典型配置的差异。

实际项目中，是否引入循环网络取决于目标平台和场景复杂度。如果场景运动速度较慢且遮挡较少，轻量的光流加融合已经足够；如果涉及快速移动目标和复杂遮挡，就需要更完整的运动补偿与时序约束方案。