北大开源全新图像压缩感知网络：参数量、推理时间大幅节省，性能显著提升

发布时间：2025-04-05 02:03:54 来源：时事追踪网 作者：凌风

新智元报道编辑：LRST【新智元导读】PCNet网络具有创新的协同采样算子和优化的重建网络，实验结果证明，其在图像重建精度、计算效率和任务扩展性方面均优于现有方法，为高分辨率图像的压缩感知提供了新的解决方案。压缩感知（Compressed Sensing，CS）是一种信号降采样技术，可大幅节省图像获取成本，其核心思想是「无需完整记录图像信息，通过计算即可还原目标图像」。CS的典型应用包括：降低相机成本：利用廉价设备就能拍摄出高质量图像；加速医疗成像：将核磁共振成像（MRI）时间从40分钟缩短至10分钟内，减少被检查者的不适；探索未知世界，助力科学研究：将「看不见」的事物变为「看得见」，如观测细胞活动等转瞬即逝的微观现象，以及通过分布式射电望远镜观测银河系中心的黑洞。CS的两个核心问题是：如何设计采样矩阵，从而尽可能多地保留图像信息？如何设计高效的重建算法，从而精准复原图像内容？CS的数学模型可表示为，其中x是原始图像，A是采样矩阵，y是压缩观测值。现有CS方法主要存在两个局限性：采样矩阵信息保留能力不足：将图像切块，逐块采样，导致观测值信息量有限；重建算法的计算开销过大、复原精度有限。针对现有的问题，北京大学信息工程学院的研究人员提出了一种实用、紧致的图像压缩感知网络PCNet，其针对压缩感知（Compressed Sensing, CS）领域长期存在的关键难题，设计了一种全新的协同采样算子，提高了模型在任意采样率下的灵活性、可解释性和恢复性能。论文链接：https://ieeexplore.ieee.org/document/10763443代码链接：https://arxiv.org/abs/2411.13081发表刊物：IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)PCNet1. 新型压缩采样矩阵设计现有的压缩采样矩阵设计方法在信息保留能力上存在局限性，难以同时捕获图像的局部与全局特征。PCNet 针对此问题，提出了一种新型的协同压缩采样矩阵，显著提高了采样过程中的信息保留能力。该设计通过以下两步实现：（1）局部特征提取：通过一个轻量级的小型卷积网络对输入图像进行滤波，充分捕捉图像的局部细节特征，例如边缘和纹理。这一过程有效降低了数据的冗余性，同时为后续全局特征融合奠定了基础。（2）全局降维与特征融合：在完成局部特征提取后，进一步使用一个全局矩阵对滤波结果进行降维操作。全局矩阵通过引入更大的感受野，将图像的全局信息（如大尺度结构和整体布局）与局部特征有机结合，从而生成具有丰富信息的压缩观测值。这种两阶段的采样方法，不仅确保了对细节特征的捕捉，还弥补了传统切块式采样方法在全局信息保留上的不足，使得生成的压缩观测值信息量更大、利用效率更高。2. 新型图像重建网络设计为了实现从压缩观测值到高质量图像的精准重建，本研究设计了一种融合优化理论与深度学习的图像重建网络。该网络在以下几个方面进行了创新性改进：（1）基于近端梯度下降（Proximal Gradient Descent, PGD）的深度展开结构传统 PGD 算法在求解稀疏优化问题时具有较强的理论保证，但其迭代过程较为缓慢，且难以适应复杂的图像数据。PCNet 将 PGD 算法的每一次迭代操作转化为深度神经网络中的一个层，通过这种深度展开策略，使得网络兼具理论可解释性和实际效率。（2）模块化设计提升重建精度在深度展开网络中，结合了最新的模块设计，包括注意力机制（Attention Mechanism）和多尺度特征融合模块，进一步提升了重建效果：注意力机制：通过引入通道注意力和空间注意力，有效增强了网络对重要图像区域（如边缘和纹理）的关注能力。多尺度特征融合：在不同尺度上提取和整合特征，确保网络既能恢复局部细节，也能重建全局结构。（3）轻量化与高效性为了适应高分辨率图像（如2K、4K、8K）的处理需求，PCNet 在设计中采用了参数量和计算开销较低的网络架构，同时通过优化内存使用和并行计算能力，大幅提高了推理效率。3. 应用范围的扩展性与通用性除了在标准压缩感知任务中的表现，PCNet 的设计还具备较强的扩展性，其核心思想可以直接应用于以下任务中：（1）量化压缩感知（Quantized CS）利用所提出的协同压缩采样矩阵，应对观测值受量化误差影响的场景，实现高效的量化数据还原。（2）自监督压缩感知（Self-Supervised CS）将采样矩阵与重建网络设计融入自监督学习框架，降低对真值数据的依赖，同时提升算法的通用性和鲁棒性。PCNet 的这些创新设计显著解决了现有方法在采样和重建方面的性能瓶颈，为压缩感知技术的实际应用提供了全新的可能性。图1 提出的实用、紧致的压缩感知网络PCNet。图2 提出的协同采样算子。实验结果为了验证所提出方法 PCNet 的有效性与优势，本工作在多个基准数据集和多种任务场景下进行了详尽的实验评估，如图3所示。这些评估涵盖了压缩感知性能、算法效率和通用性测试。以下是实验结果的详细描述：1. 图像重建精度PCNet 在多个公开的图像基准数据集（Set11、CBSD68、Urban100、DIV2K）上进行了系统实验，并与当前主流的压缩感知方法进行了对比，重点评估了重建图像的峰值信噪比（PSNR）和结构相似性（SSIM）。结果表明，在Set11数据集上，PCNet在PSNR和SSIM上均超越现有方法，特别是在低采样率条件下，能够重建出更高质量、细节更清晰的图像；在CBSD68数据集的自然图像测试集中，PCNet展现出卓越的细节保留能力，尤其在边缘和纹理区域，其性能显著优于传统方法；在Urban100数据集的城市场景中，PCNet 在高频细节（如建筑物的边缘线条和窗户结构）上实现了更高的清晰度和精确度；在 DIV2K 数据集上，面对高分辨率（2K、4K、8K）图像的挑战，PCNet 在不同采样率下均取得显著性能提升，充分展示了其对高分辨率场景的适应能力。2. 计算效率与资源消耗实验还评估了PCNet在计算效率和资源消耗方面的性能，结果表明，在相同硬件条件下，PCNet的推理时间平均比传统方法减少了40%，充分证明了其轻量化设计的优越性；在内存使用方面，PCNet的优化设计显著降低了高分辨率重建任务的内存占用，使其能够在有限资源的设备上高效运行；在参数量方面，与复杂的深度学习方法相比，PCNet的参数量减少了30%以上，但性能却显著提升。3. 任务扩展性与通用性测试除了在标准压缩感知任务中的卓越表现外，PCNet的实验还验证了其在其他相关任务中的适用性。在量化压缩感知任务中，PCNet的协同采样矩阵设计能够有效适应量化误差，即使在量化误差较大的情况下，重建性能仍优于现有方法；在自监督学习任务中，PCNet在无标注数据的场景下结合自监督框架进行训练，展现了出色的适应能力和鲁棒性。图3 方法与其他CS方法的对比结果。参考资料：https://ieeexplore.ieee.org/document/10763443

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“号”用户上传并发布，本平台仅提供信息存储服务。

相关文章