专利摘要

本发明公开了一种多光谱与全色图像联合配准与模糊核估计方法与系统，本发明方法包括建立图像偏移量学习子网络、空间和光谱模糊核估计子网络，连接得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核。本发明仅利用从卫星直接得到的低空间分辨率多光谱图像和高空间分辨率的全色图像以及其空间光谱联系，可无监督训练学习得到配准的全色图像以及空间和光谱模糊核，可应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

权利要求

1.一种多光谱与全色图像联合配准与模糊核估计方法，其特征在于，包括：

1）建立图像偏移量学习子网络，以根据输入的多光谱图像、全色图像得到全色图像相对多光谱图像的图像偏移量；根据多光谱图像、已配准全色图像之间的空间和光谱联系建立空间和光谱模糊核估计子网络以估计空间模糊核与光谱模糊核；

2）连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络，得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；

3）结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核。

2.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤1）中多光谱图像、已配准全色图像之间的空间和光谱联系是指：多光谱图像Y和已配准全色图像Z的光谱模糊核R两者的空间卷积操作结果进行光谱下采样操作后得到的第一下采样结果、已配准全色图像Z和多光谱图像Y的空间模糊核C两者的空间卷积操作结果进行空间下采样操作后得到的第二下采样结果两者相等。

3.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤1）中建立的图像偏移量学习子网络包括：

一个边缘扩充层，用于对输入的多光谱图像做边缘扩充，使之能在缩放的时候保持正确的位置和比例关系；

一个通道平均层，用于对边缘扩充后的多光谱图像做通道平均，压缩为单通道图像，降低计算参数量，使得训练更加稳定；

一个图片缩放层，用于对经过通道平均的多光谱图像进行放大操作；

一个堆叠层，用于将输入的全色图像、放大的多光谱图像堆叠在一起得到堆叠特征F1；

两个空洞卷积层，用于依次对堆叠特征F1进一步特征提取得到扩大感受野特征F2；

两个常规卷积层，用于依次对扩大感受野特征F2进一步特征提取并回归出全色图像每个像素在行、列两个方向上的偏移量，从而得到全色图像相对多光谱图像的图像偏移量F3。

4.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤1）中建立的空间和光谱模糊核估计子网络包括：一个用于对输入的多光谱图像做光谱下采样的全连接层，该全连接层仅包含1个节点，无偏置，其可学习权重参数大小为L×1，L为多光谱图像通道数，该学习权重参数为待求解的光谱模糊核R；一个用于对输入的全色图像做空间下采样的带步长的卷积层，该卷积层的步长为s，卷积层的步长s为已配准全色图像Z、多光谱图像Y的尺寸比值，该卷积层仅包含一个卷积核，该卷积核为待求解的空间模糊核C，该卷积核有两个待优化参数，包括模糊核大小k和标准差σ，且模糊核大小k引入插值操作使得模糊核大小k处处可导。

5.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤2）中连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络具体是指将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样，得到已配准全色图像，将已配准全色图像作为空间和光谱模糊核估计子网络的一路输入，将输入图像偏移量学习子网络的多光谱图像同时作为空间和光谱模糊核估计子网络的另一路输入。

6.根据权利要求5所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样的步骤包括：针对输入的全色图像上的任意坐标为(x,y)的像素p，根据对应在行、列两个方向上的偏移量为(Δx, Δy)计算得到已配准全色图像中对应的坐标为(x+Δx,y+Δy)的像素p′；针对每一个像素p′的坐标对其向上、向下取整得到相邻像素点的坐标分别为p′tl([x+Δx],[y+Δy]),p′tr([x+Δx],[y+Δy+1]), p′bl([x+Δx+1],[y+Δy]), p′br([x+Δx+1],[y+Δy+1])，其中p′tl,p′tr, p′bl, p′br分别为左上、右上、左下、右下的相邻像素点，然后根据左上、右上、左下、右下的相邻像素点p′tl,p′tr, p′bl, p′br插值得到像素p′的新像素值。

7.根据权利要求2所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤3）中结合遥感卫星原始全色图像与多光谱图像构建训练数据集是指：针对配准全色图像Z、多光谱图像Y，将已配准全色图像Z、多光谱图像Y分别带重叠地裁剪为相同数量的小块，得到已配准全色图像Z对应的小块集合{Zi}和多光谱图像Y对应的小块集合{Yi}，将{Yi,Zi}构建多光谱、全色图像配准与模糊核估计网络的训练数据集。

8.根据权利要求7所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤3）中通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络时，采用的损失函数loss的函数表达式为：

loss=(1-SIMM(Y′, Z′))+λ·k+β·var(F3)

上式中，SSIM表示结构相似性计算，Y′表示第一下采样结果，Z′表示第二下采样结果，λ·k为用于避免过大的空间模糊核引起的恢复图像的结构失真的正则项，β·var(F3)为用于保证图像偏移量学习子网络输出全色图像相对多光谱图像的图像偏移量的平滑性的正则项，k为模糊核大小，F3为全色图像相对多光谱图像的图像偏移量，var(F3) 表示全色图像相对多光谱图像的图像偏移量F3逐层标准差之和，β和λ为常数系数。

9.一种多光谱与全色图像联合配准与模糊核估计系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述多光谱与全色图像联合配准与模糊核估计方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述多光谱与全色图像联合配准与模糊核估计方法的计算机程序。

一种多光谱与全色图像联合配准与模糊核估计方法与系统专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。