专利摘要

本发明公开了一种基于注意力网络尺度特征融合的遥感场景分类方法，该方法包括：输入包括多种类型遥感场景图像的训练数据集；对训练数据集进行预处理；通过卷积神经网络提取遥感图像多个尺度的特征，使用多选框注意力网络模型得到图像不同尺度下的关注区域，对关注区域进行裁剪和缩放并输入到三层网络结构中；融合原始图像不同尺度的特征及其关注区域的影像特征，并且利用LBP全局特征表达，并输入到网络全连接层来完成分类预测；将训练数据集的图像输入多选框注意力网络模型MS‑APN进行学习训练；通过训练好的多选框注意力网络模型MS‑APN进行遥感图像的场景分类。本发明能提取到遥感图像的多尺度和多角度特征，具有较好的遥感图像的场景分类识别效果。

权利要求

1.一种基于注意力网络尺度特征融合的遥感场景分类方法，其特征在于，该方法包括以下步骤：

训练阶段：

步骤1、输入包括多种类型遥感场景图像的训练数据集；

步骤2、对训练数据集进行预处理，使输入的图像在尺寸上保持一致，并对图像的像素值进行归一化处理；

步骤3、构建多选框注意力网络模型MS-APN作为图像分类模型，通过卷积神经网络提取遥感图像多个尺度的特征，使用多选框注意力网络模型得到图像不同尺度下的关注区域，对关注区域进行裁剪和缩放并输入到三层网络结构中；融合原始图像不同尺度的特征及其关注区域的影像特征，并且利用LBP全局特征表达，并输入到网络全连接层来完成分类预测；

步骤4、将训练数据集的图像输入多选框注意力网络模型MS-APN进行学习训练，使用两种损失函数交替训练的方式，直到两种损失函数都收敛，此时固定整个模型的参数，得到最终用于分类的多选框注意力网络模型MS-APN；

测试阶段：

步骤5、输入待识别的遥感图像，通过训练好的多选框注意力网络模型MS-APN，输出遥感图像中的场景分类结果。

2.根据权利要求1所述的基于注意力网络尺度特征融合的遥感场景分类方法，其特征在于，所述步骤1中输入的遥感场景图像包括多个不同的公开数据集，每个数据集包括多种类型的遥感场景，每个遥感场景包括多张图像。

3.根据权利要求1所述的基于注意力网络尺度特征融合的遥感场景分类方法，其特征在于，所述步骤2中对图像的像素值进行归一化处理的方法为：

输入的图像是RGB彩色三通道图像，图像的每个像素点的值的范围在0～255之间，将所有像素值的范围从[0,255]归一化到[0,1]之间，加速训练网络的初始迭代的收敛速度，公式如下：

yi,j＝2xi,j/255

其中，xi,j表示预处理前的图像，yi,j表示预处理后的图像，其中i∈[0,223]，j∈[0,223]。

4.根据权利要求1所述的基于注意力网络尺度特征融合的遥感场景分类方法，其特征在于，所述步骤3包括：

步骤3.1、多尺度特征提取：选用VGG-16作为图像分类子网络来提取遥感场景图像的多尺度特征，VGG-16网络由13层卷积层和3层全连接层组成，首先输入网络的场景图像经过2次2层3×3的卷积和最大池化下采样操作，再经过3次3层3×3的卷积和最大池化下采样操作，最后经过3层全连接层由softmax分类器输出所属类别的概率；

步骤3.2、注意力关注区域提取：采用不同的先验矩形框来选定关注区域，最后将提取到的多个特征区域采用联合识别定位到不同尺度下的关注区域；

步骤3.3、多尺度特征融合：融合原始图像不同尺度的特征及其关注区域的影像特征，并且利用LBP全局特征表达，并输入到网络全连接层来完成分类预测。

5.根据权利要求4所述的基于注意力网络尺度特征融合的遥感场景分类方法，其特征在于，所述步骤3.2的具体方法为：

如果APN输出的通道为正方形候选框中心点的坐标(ta,tb)，th是正方形候选框的一半，N是正方形候选框的像素点个数，Wi和Hi分别表示第i个先验矩形框的长和宽的一半，经过比较设置i的最大值为3，定义第i个先验矩形框的长和宽的比值为Ki，则有：

N＝(2th)2＝4th2，Ki＝Wi/Hi

规定了先验矩形框的面积等于输出的正方形框的面积，于是：

N＝2Wi×2Hi＝4KiHi2

得到一个新的关于Wi和Hi的表达式如下：

其中，int()为向下取整的函数；使用先验矩形框的左上角和右下角的两个顶点来表示矩形框，得到目标区域的左上角和右下角的坐标值：

ta(ul)＝ta-Wi，tb(ul)＝tb-Hi

ta(br)＝ta+Wi，tb(br)＝tb+Hi

其中，表示元素点乘运算，Xatt表示被裁剪后的目标区域；M(·)函数是一个可导的裁剪函数，由于它连续函数的特征，所以更容易在神经网络的反向传播中进行优化：

其中，是sigmoid函数，公式表示为：

输出的结果是0至1的开区间，当k足够大时，只有当x值介于ta(ul)与ta(br)区间，y值介于tb(ul)与tb(br)区间，即在特征区域的点，该点通过裁剪函数M(·)时才趋近于1，其他的情况下M(·)趋近于0；最后利用双线性插值方法来放大选中的目标区域来得到下一个输入网络的尺度，公式为：

其中，m和n的值用以下公式来表示：

其中，(m，n)表示原图像关注区域的任意一点，(i，j)表示图像经过方法操作后对应的(m，n)的值，S表示图片放大尺寸，[-]和{-}分别为取整部分和小数部分。

6.根据权利要求4所述的基于注意力网络尺度特征融合的遥感场景分类方法，其特征在于，所述步骤3.1包括：

1)输入到网络模型的多尺度图像进入第一个尺度层的分类子网络进行特征提取和分类操作，得到第一个尺度层分类子网络预测正确分类标签的概率Pt(1)；

2)第一个尺度层分类子网络提取到的特征输入到多选框注意力网络d1，得到目标区域，将目标区域进行剪裁和放大操作后，作为第二个尺度层的输入；

3)将第一个尺度层输出的多尺度特征图像输入到第二个尺度层分类子网络进行特征提取和分类，得到第二个尺度层分类子网络预测正确标签的概率Pt(2)；

4)第二个尺度层分类子网络提取到的特征输入到多选框注意力网络d2，得到目标区域，将目标区域进行剪裁和放大操作后，作为第三个尺度层的输入；

5)将第二个尺度层输出的多尺度特征图像输入到第三个尺度层分类子网络进行特征提取和分类，得到第三个尺度层分类子网络预测正确标签的概率Pt(3)；

6)通过设定网络模型的正确分类标签概率为Pt(3)大于Pt(2)，Pt(2)大于Pt(1)，从而确定多选框注意力网络提取的目标区域更加准确；

7)最后将三层分类子网络提取到的特征输入到LBP算子进行特征融合，从而完成场景分类任务。

7.根据权利要求1所述的基于注意力网络尺度特征融合的遥感场景分类方法，其特征在于，所述步骤4中：

MSA-CNN网络模型损失函数包含两Lcls和Lrank两个部分，其中Lcls表示类别损失函数，包含了三层分类网络中预测遥感图像类别相对真实类别标签产生的损失，Lrank表示网络前后两层中高层次网络预测的概率比低层次网络预测的概率低时产生的损失，联合损失函数使用两种损失函数交替训练的方式，模型的联合损失函数L(x)的公式为：

其中，Y(s)表示网络模型预测图像所属的类别，Y*表示遥感图像真实的类别，Pt(s)表示网络结构中S层预测正确标签的概率值，Lrank的计算公式为：

Lrank(Pt(s),Pt(s+1))＝max{0,Pt(s)-Pt(s+1)+0.05}

其中，通过取最大值的方法，更新网络模型中S+1层预测真实类别概率小于S层预测真实类别概率时产生的损失值，促使网络模型预测真实类别的概率随着层次的递增逐渐升高，当Pt(s)-Pt(s+1)+0.05＞0时，相邻层次网络之间的损失才会更新，其中额外增加0.05是为了防止双方均为0而导致损失停止不更新的情况。

8.根据权利要求7所述的基于注意力网络尺度特征融合的遥感场景分类方法，其特征在于，所述步骤4中：

MSA-CNN网络模型采用VGG-16网络与MS-APN循环交叉训练的方式，首先使用预训练的VGG-16网络的参数实现多尺度遥感影像的特征提取与分类子网络的初始化，利用VGG-16网络最后一层卷积层中响应值最高的区域初始化MS-APN的参数{ta,tb,th,Ki}；然后固定MS-APN的参数，训练VGG-16子网络直至其损失函数Lcls收敛，固定VGG-16网络的参数，训练MS-APN直至其损失函数Lrank收敛，最后循环交叉训练MS-APN与VGG-16子网络，直至Lcls与Lrank联合损失函数都收敛，此时固定整个模型的参数，得到最终用于分类的模型并进行最后的场景分类预测。

一种基于注意力网络尺度特征融合的遥感场景分类方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。