专利摘要
本发明公开了一种基于深度学习的绿色柑橘识别方法、设备及装置，涉及图像识别技术领域，该方法包括：在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图；通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图；通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图；根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别。本发明通过在特征提取卷积网络中，添加预设密集连接卷积单元，实现特征复用，以克服现有的深度卷积网络中当信息通过很多层之后会消失或过度膨胀，使得重要信息丢失的问题，进而提高了对绿色柑橘图像的识别准确率。
权利要求
1.一种基于深度学习的绿色柑橘识别方法，其特征在于，所述基于深度学习的绿色柑橘识别方法包括以下步骤：
在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图；
通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图；
通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图；
根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别；
所述通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图的步骤，具体包括：
获取预设密集连接卷积单元对应的非线性转化函数；
通过所述非线性转化函数对所述初始特征图进行采样，获得中间特征图，并记录采样次数；
判断所述采样次数是否大于或等于预设次数；
在所述采样次数大于或等于所述预设次数时，将所述中间特征图作为特征采样图；
所述通过所述非线性转化函数对所述初始特征图进行采样，获得中间特征图的步骤，具体包括：
根据所述非线性转化函数确定批量归一化函数和线性整流函数；
根据第一预设卷积核、所述批量归一化函数和所述线性整流函数对所述初始特征图进行第一采样运算，获得第一特征采样图；
根据第二预设卷积核、所述批量归一化函数和所述线性整流函数对所述第一特征采样图进行第二采样运算，获得中间特征图，所述第一预设卷积核的尺寸小于所述第二预设卷积核的尺寸。
2.如权利要求1所述的基于深度学习的绿色柑橘识别方法，其特征在于，所述判断所述采样次数是否大于或等于预设次数的步骤之后，还包括：
在所述采样次数小于所述预设次数时，对所述中间特征图和所述初始特征图进行拼接，获得拼接特征图；
将所述拼接特征图作为初始特征图，并返回所述通过所述非线性转化函数对所述初始特征图进行采样，获得中间特征图的步骤。
3.如权利要求1或2所述的基于深度学习的绿色柑橘识别方法，其特征在于，所述根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别的步骤之前，还包括：
根据所述目标特征图创建输出特征图集；
判断所述输出特征图集中所述目标特征图的数量是否大于预设值；
在所述数量大于所述预设值时，将所述输出特征图集作为目标输出特征图集；
相应地，所述根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别的步骤，具体包括：
根据所述目标输出特征图集，通过预设识别模型对所述待识别绿色柑橘图像进行识别。
4.如权利要求3所述的基于深度学习的绿色柑橘识别方法，其特征在于，所述判断所述输出特征图集中所述目标特征图的数量是否大于预设值的步骤之后，还包括：
在所述数量小于或等于所述预设值时，将所述目标特征图作为初始特征图，并返回所述通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图的步骤。
5.如权利要求1或2所述的基于深度学习的绿色柑橘识别方法，其特征在于，所述在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图的步骤之前，还包括：
在接收到绿色柑橘样本图像时，对所述绿色柑橘样本图像进行预处理，获得预处理图像；
根据所述绿色柑橘样本图像和所述预处理图像生成样本图像集；
通过预设密集连接卷积单元和预设残差卷积单元对所述样本图像集进行采样，获得目标特征样本集；
基于所述目标特征样本集，根据预设识别算法创建预设识别模型。
6.一种基于深度学习的绿色柑橘识别设备，其特征在于，所述基于深度学习的绿色柑橘识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的绿色柑橘识别程序，所述基于深度学习的绿色柑橘识别程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于深度学习的绿色柑橘识别方法的步骤。
7.一种存储介质，其特征在于，所述存储介质上存储有基于深度学习的绿色柑橘识别程序，所述基于深度学习的绿色柑橘识别程序被处理器执行时实现如权利要求1至5中任一项所述的基于深度学习的绿色柑橘识别方法的步骤。
8.一种基于深度学习的绿色柑橘识别装置，其特征在于，所述基于深度学习的绿色柑橘识别装置包括：
预处理模块，用于在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图；
采样模块，用于通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图；
卷积输出模块：用于通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图；
识别模块，用于根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别；
所述采样模块，还用于获取预设密集连接卷积单元对应的非线性转化函数；根据所述非线性转化函数确定批量归一化函数和线性整流函数；根据第一预设卷积核、所述批量归一化函数和所述线性整流函数对所述初始特征图进行第一采样运算，获得第一特征采样图；根据第二预设卷积核、所述批量归一化函数和所述线性整流函数对所述第一特征采样图进行第二采样运算，获得中间特征图，所述第一预设卷积核的尺寸小于所述第二预设卷积核的尺寸，并记录采样次数；判断所述采样次数是否大于或等于预设次数；在所述采样次数大于或等于所述预设次数时，将所述中间特征图作为特征采样图。
说明书
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于深度学习的绿色柑橘识别方法、设备及装置。
背景技术
随着以节约投入、增加产出为目标的“精准农业”概念的提出，对果树进行估产有助于种植者提前进行相关收获规划。在收获时间之前对未成熟的绿色柑橘进行早期的产量预测有助于种植者提前确定果树的生产情况，以便果农在水果未成熟阶段正确计划养分或肥料的施用。
目前国内外关于水果检测方面已经做了很多研究，但研究对象主要偏向于与背景颜色差异明显的水果，而对未成熟或者成熟后为绿色的水果检测的相关研究相对较少，这是因为绿色水果果实与背景的叶子颜色很相近，使得识别难度较大，识别准确率较低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于深度学习的绿色柑橘识别方法、设备及装置，旨在解决现有技术中对与叶子颜色的相近的基于深度学习的绿色柑橘识别难度较大，识别准确率较低的技术问题。
为实现上述目的，本发明提供一种基于深度学习的绿色柑橘识别方法，所述基于深度学习的绿色柑橘识别方法包括以下步骤：
在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图；
通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图；
通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图；
根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别。
优选的，所述通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图的步骤，具体包括：
获取预设密集连接卷积单元对应的非线性转化函数；
通过所述非线性转化函数对所述初始特征图进行采样，获得中间特征图，并记录采样次数；
判断所述采样次数是否大于或等于预设次数；
在所述采样次数大于或等于所述预设次数时，将所述中间特征图作为特征采样图。
优选的，所述判断所述采样次数是否大于或等于预设次数的步骤之后，还包括：
在所述采样次数小于所述预设次数时，对所述中间特征图和所述初始特征图进行拼接，获得拼接特征图；
将所述拼接特征图作为初始特征图，并返回所述通过所述非线性转化函数对所述初始特征图进行采样，获得中间特征图的步骤。
优选的，所述通过所述非线性转化函数对所述初始特征图进行采样，获得中间特征图的步骤，具体包括：
根据所述非线性转化函数确定批量归一化函数和线性整流函数；
根据第一预设卷积核、所述批量归一化函数和所述线性整流函数对所述初始特征图进行第一采样运算，获得第一特征采样图；
根据第二预设卷积核、所述批量归一化函数和所述线性整流函数对所述第一特征采样图进行第二采样运算，获得中间特征图，所述第一预设卷积核的尺寸小于所述第二预设卷积核的尺寸。
优选的，所述根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别的步骤之前，还包括：
根据所述目标特征图创建输出特征图集；
判断所述输出特征图集中所述目标特征图的数量是否大于预设值；
在所述数量大于所述预设值时，将所述输出特征图集作为目标输出特征图集；
相应地，所述根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别的步骤，具体包括：
根据所述目标输出特征图集，通过预设识别模型对所述待识别绿色柑橘图像进行识别。
优选的，所述判断所述输出特征图集中所述目标特征图的数量是否大于预设值的步骤之后，还包括：
在所述数量小于或等于所述预设值时，将所述目标特征图作为初始特征图，并返回所述通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图的步骤。
优选的，所述在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图的步骤之前，还包括：
在接收到绿色柑橘样本图像时，对所述绿色柑橘样本图像进行预处理，获得预处理图像；
根据所述绿色柑橘样本图像和所述预处理图像生成样本图像集；
通过预设密集连接卷积单元和预设残差卷积单元对所述样本图像集进行采样，获得目标特征样本集；
基于所述目标特征样本集，根据预设识别算法创建预设识别模型。
此外，为实现上述目的，本发明还提出一种基于深度学习的绿色柑橘识别设备，所述基于深度学习的绿色柑橘识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的绿色柑橘识别程序，所述基于深度学习的绿色柑橘识别程序被所述处理器执行时实现如上文所述的基于深度学习的绿色柑橘识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于深度学习的绿色柑橘识别程序，所述基于深度学习的绿色柑橘识别程序被处理器执行时实现如上文所述的基于深度学习的绿色柑橘识别方法的步骤。
此外，为实现上述目的，本发明还提出一种基于深度学习的绿色柑橘识别装置，所述基于深度学习的绿色柑橘识别装置包括：
预处理模块，用于在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图；
采样模块，用于通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图；
卷积输出模块：用于通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图；
识别模块，用于根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别。
本发明中，通过在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图；通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图；通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图；根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别。本发明通过在特征提取卷积网络中，添加预设密集连接卷积单元，实现特征复用，以克服现有的深度卷积网络中当信息通过很多层之后会消失或过度膨胀，使得重要信息丢失的问题，进而提高了对绿色柑橘图像的识别准确率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于深度学习的绿色柑橘识别设备的结构示意图；
图2为本发明基于深度学习的绿色柑橘识别方法第一实施例的流程示意图；
图3为本发明基于深度学习的绿色柑橘识别方法第二实施例的流程示意图；
图4为本发明基于深度学习的绿色柑橘识别装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于深度学习的绿色柑橘识别设备结构示意图。
如图1所示，该基于深度学习的绿色柑橘识别设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对基于深度学习的绿色柑橘识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于深度学习的绿色柑橘识别程序。
在图1所示的基于深度学习的绿色柑橘识别设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述基于深度学习的绿色柑橘识别设备通过处理器1001调用存储器1005中存储的基于深度学习的绿色柑橘识别程序，并执行本发明实施例提供的基于深度学习的绿色柑橘识别方法。
基于上述硬件结构，提出本发明基于深度学习的绿色柑橘识别方法的实施例。
参照图2，图2为本发明基于深度学习的绿色柑橘识别方法第一实施例的流程示意图，提出本发明基于深度学习的绿色柑橘识别方法第一实施例。
在第一实施例中，所述基于深度学习的绿色柑橘识别方法包括以下步骤：
步骤S10：在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图。
应理解的是，本实施例的执行主体是所述基于深度学习的绿色柑橘识别设备，该基于深度学习的绿色柑橘识别设备具有图像处理、数据通信及程序运行等功能，所述基于深度学习的绿色柑橘识别设备可以为电脑或服务器等计算机设备，当然，还可为其他具有相似功能的设备，本实施方式对此不加以限制。
需要说明的是，为了便于后续的图像采样，需要对待识别绿色柑橘图像进行预处理，所述预处理方式可包括图像增加、去噪或者预采样等，具体方式可由用户主观选择，本实施方式对此不加以限制。
步骤S20：通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图。
需要说明的是，所述预设密集连接卷积单元包括多个卷积层，且每个卷积层都会接受其前面所有层作为其额外的输入。在深度学习网络中，模型的深度越大，梯度消失的问题就会越发明显，本实施例通过对网络层之间的依赖关系进行修改，使得在进行特征提取时获得更多的特征。
例如，所述预设密集连接卷积单元包括L层卷积神经网络，则在预设密集连接卷积单元中存在 个连接，而传统网络结构中只存在L个连接。
由于预设密集连接卷积单元每层都会接受其前面所有层作为其额外的输入，可以实现特征复用。第L层的输出如以下公式所示：
xl＝Hl([x0，x1，…，xl-1])
其中，[x0，x1，…，xl-1]表示与第L层的特征图尺寸相同的前面若干层所生成的特征图集合，Hl()代表是非线性转化函数，它是包括一系列的批量归一化函数(BN)，线性整流函数(Relu)和卷积(Conv)的组合操作。
步骤S30：通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图。
需要说明的是，所述预设残差卷积单元包括多个残差学习单元，对于一个堆积层结构(几层堆积而成)当输入为x时其学习到的特征记为H(x)，希望其可以学习到残差F(x)＝H(x)-x，这样其实原始的学习特征是F(x)+x。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。通过在一些层之间设置了快捷链路(shortcutconnections)，有效缓解了反向传播中的梯度消失问题,为了降低池化带来的梯度负面效果。
可以理解的是，基于深度学习的绿色柑橘识别设备通过预设密集连接卷积单元和预设残差卷积单元对所述特征采样图进行处理，完成对待识别绿色柑橘图像中的特征，再根据提取到的特征进行识别。
步骤S40：根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别。
需要说明的是，实现绿色柑橘图像的智能识别，需要先创建识别模型，具体创建过程包括：在接收到绿色柑橘样本图像时，对所述绿色柑橘样本图像进行预处理，获得预处理图像；根据所述绿色柑橘样本图像和所述预处理图像生成样本图像集；通过预设密集连接卷积单元和预设残差卷积单元对所述样本图像集进行采样，获得目标特征样本集；基于所述目标特征样本集，根据预设识别算法创建预设识别模型。
需要说明的是，为了增强实验数据集的丰富性，使得识别模型能处理一天中不同时间下的图像，需要对收集到的图像进行颜色，亮度，旋转和图像清晰度方面的预处理，并对数据集进行扩充。
具体地，本实施通过灰色世界算法来消除光照对颜色渲染的影响。灰色世界算法基于灰色世界假设，即对于呈现大量颜色变化的图像，R、G和B分量的平均值趋于相同的灰色值。在物理上，灰色世界算法假设自然物体的平均反射光通常是一个固定的值，近似为灰色。利用色彩平衡算法将该假设应用于训练集中的图像，可以消除环境光对图像的影响，以此来扩充数据集。
其次，考虑到现实中光照强度的多变性，可以通过改变亮度函数的参数来调整原始数据集图像的亮度，并将这三个新结果添加到训练集中。如果图像亮度太高或太低，由于目标边缘不清楚，在手动注释期间将很难绘制边界框。在训练期间，这些训练集图像将对检测模型的性能产生不利影响。为了避免生成此类图像，根据在手动注释过程中是否可以准确识别目标边缘选择适当参数范围(0.3，0.5和0.7)进行亮度变化。通过模拟不同光照强度下的果园生长情况。弥补了神经网络对图像采集时间集中所造成的各种光照强度不具有鲁棒性的缺点。
此外，通过拍摄获取到的图像的像素过高，考虑到训练过程中对内存的损耗，以左上、右上、左下和右下为基准对每张图像进行裁剪，再对剪裁后的图像进行了90°、180°、270°旋转和镜像，以进一步扩展图像数据集，处理后的图像也可以提高神经网络的检测性能。
另外，考虑到在实际的拍摄过程中，拍摄距离远，聚焦不正确或移动都会导致获取的图像变得不清晰，而模糊的图像也会影响神经网络的检测结果。为了进一步提高检测模型的鲁棒性，分别使用高斯模糊、中值模糊对图像进行处理，并将这新图像添加到数据集中。
可以理解的是，高斯噪声是理论研究中最常见的噪声，一般而言，高斯噪声是最为恶劣的噪声，而椒盐噪声是视觉上最为常见的一种噪声，如果模型能在这些噪声下学习新的特征，就可以增加模型的抗噪能力，所以使用高斯噪声和椒盐噪声对图像进行处理，生成带噪点的图像，用以训练模型来提高模型的鲁棒性。
需要说明的是，本实施例以扩展或的训练图像集，在基于YOLOV3算法进行神经网络训练，完成基于特征识别的预设识别模型。
所述预设识别模型沿用YOLOV3算法的思想，在识别网络中通过上采样的形式将所述目标特征图还原到原图中并进行识别。在识别过程中，将输入的所述待识别绿色柑橘图像分为N*N个单元格，如果待识别目标的中心落在某个单元格，那么该单元格负责预测这个目标。每个单元格将预测个边界框、边界框的置信度以及由该单元格负责的边界框属于第个类别的概率。在YOLOV3网络结构中使用了均方和误差作为损失函数，主要由三个部分组成:坐标误差、交并比误差和分类误差，如以下公式所示：
Loss＝Ecoord+Eiou+Ecls
其中，Ecoord为坐标误差，其中坐标误差的具体如以下公式所示：
其中，S表示输入的待识别绿色柑橘图像被划分为S*S个单元格，B表示每个单元格所预测的边界框个数， 的取值为1或0，即i第个单元格的第j个边界框中是否存在检测目标，若存在则为1，不存在则为0。tx，ty，tw，th分别表示预测边界框的中心坐标、高度和宽度； 分别表示实际边界框的中心坐标、高度和宽度。
Eiou为交并比误差，具体如以下公式所示：
其中， 的取值为0或者1，表示当前网格单元的边框回归是否负责预测某个对象，若有负责则取值为1，没有则为0。Gij的取值与 保持一致。
Ecls为分类误差，具体如以下公式所示：
其中，c表示检测目标所属的类别， 表示单元格中目标属于类别c的实际概率， 为预测概率。
在第一实施例中，通过在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图；通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图；通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图；根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别。本实施例通过在特征提取卷积网络中，添加预设密集连接卷积单元，实现特征复用，以克服现有的深度卷积网络中当信息通过很多层之后会消失或过度膨胀，使得重要信息丢失的问题，进而提高了对绿色柑橘图像的识别准确率。
参照图3，图3为本发明基于深度学习的绿色柑橘识别方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明基于深度学习的绿色柑橘识别方法的第二实施例。
在第二实施例中，所述步骤S20，具体包括：
步骤S201：获取预设密集连接卷积单元对应的非线性转化函数。
需要说明的是，本实施例以Darknet-53网络为基础进行特征提取，在Darknet-53网络中一共存在5个步长为2的下采样层，将后三个下采样层替换成预设密集连接卷积单元，因为后三个层最靠近YOLOV3的3个尺度的输出特征，且在网络中处于可以提取到更多语义信息的后层，将这三处的特征加强传播，实现特征重用，有利于获得的3个尺度的输出特征得到丰富的内容，进而提高检测效果。
需要说明的是，所述非线性转化函数包括一系列的批量归一化函数(BN)，线性整流函数(Relu)和卷积(Conv)的组合操作。具体地，非线性转化函数可为：H＝BN+ReLU+3*3Conv。
步骤S202：通过所述非线性转化函数对所述初始特征图进行采样，获得中间特征图，并记录采样次数。
需要说明的是，为了提高计算效率，减少特征映射的数量，在3*3卷积之前引入1×1卷积作为瓶颈层，即非线性转化函数为：H＝BN+ReLU+1*1Conv+BN+ReLU+3*3Conv，当然，卷积核的尺寸还可以由用户主观设置，本实施方式对此不加以限制。
在具体实现中，根据上述非线性转化函数进行采样的具体过程的过程包括：根据所述非线性转化函数确定批量归一化函数和线性整流函数；根据第一预设卷积核、所述批量归一化函数和所述线性整流函数对所述初始特征图进行第一采样运算，获得第一特征采样图；根据第二预设卷积核、所述批量归一化函数和所述线性整流函数对所述第一特征采样图进行第二采样运算，获得中间特征图，所述第一预设卷积核的尺寸小于所述第二预设卷积核的尺寸。
需要说明的是，所述第一预设卷积核为1*1卷积核，假设输入图像为X0，则先对X0应用BN+ReLU+1*1Conv进行非线性运算；所述第二预设卷积核为3*3卷积核，对上述非线性运算结果再应用BN+ReLU+3*3Conv进行计算，得到中间特征图X1。将第一采样运算和第二采样运算作为一次采样。
步骤S203：判断所述采样次数是否大于或等于预设次数。
需要说明的是，预设密集连接卷积单元包含多个卷积层，实现特征特征复用也需要执行多层运算，在本实施例中设置预设次数为4次，当然还可以设置其他次数，本实施例对此不加以限制。
步骤S204：在所述采样次数大于或等于所述预设次数时，将所述中间特征图作为特征采样图。
需要说明的是，当采样次数达到4次时，说明达到预期采样效果，可以将特征图进行输出，将最后得到的中间特征图作为特征采样图。
步骤S205：在所述采样次数小于所述预设次数时，对所述中间特征图和所述初始特征图进行拼接，获得拼接特征图，将所述拼接特征图作为初始特征图，并返回所述通过所述非线性转化函数对所述初始特征图进行采样，获得中间特征图的步骤。
需要说明的是，为实现特征复用，每个卷积层都要将前面所有层的输出作为输入。例如，H1层对输入X0执行如上文所述的采样过程后，得到输出X1，之后，H2对由[X0，X1]形成的特征图应用相同的操作，得到X2，再将X2和[X0，X1]拼接成[X0，X1，X2]并用作H3的输入，得到X3；X3和[X0，X1，X2]被拼接为[X0，X1，X2，X3]作为H4的输入。次数采样次数达到预设次数，将H4的输出X4作为特征采样图输出。
在本实施例中，Darknet-53网络通常输出3个尺度，因此在步骤S40之前，还包括：
步骤S401：根据所述目标特征图创建输出特征图集。
需要说明是，所述输出特征图集为目标特征图的集合，在进行多次采样，会存在多个目标特征图。因此，为多个目标特征图建立输出特征图集，同时可以直接获取所述输出特征图集中目标特征图的数量。
步骤S402：判断所述输出特征图集中所述目标特征图的数量是否大于预设值。
需要说明的是，通常一次采样只会得到一个目标特征图，因此根据目标特征图的数量可以判断当前采样的次数。Darknet-53网络通常输出3个尺度的输出特征，因此，预设值设置为2，当然，根据用于需求预设值还可以设置其他值，本实施方式对此不加以限制。
步骤S403：在所述数量大于所述预设值时，将所述输出特征图集作为目标输出特征图集。
需要说明的是，当所述数量大于所述预设值时，说明获得了预设数量的目标特征图，并将输出特征图集作为目标输出特征图集。相应地，所述根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别的步骤，具体包括：根据所述目标输出特征图集，通过预设识别模型对所述待识别绿色柑橘图像进行识别。
步骤S404：在所述数量小于或等于所述预设值时，将所述目标特征图作为初始特征图，并返回所述通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图的步骤。
需要说明的是，当所述数量大于所述预设值时，说明特征图数量不足，需要继续进行采样。此时将前一次采样的输出作为，下一次采样的输入进行采样。
在自然环境下，柑橘树的果实在果树上的分布往往是成片式的，随着拍摄角度的选取以及拍摄距离的改变，一张图片中出现的果实数量是不相同的，尤其对于还未成熟的绿色柑橘，此时果实体积相对较小且互相遮挡，使得检测的难度更大。因此，选择了100张果实数量在1个到5个之间的图片，100张果实数量在5个到10个之间的图片和100张果实数量大于10个的图片，来对比测试本实施例模型、YOLOV3模型和Faster-RCNN模型的检测效果。
实验效果如图所示，对比实验结果如下表所示。
从实验结果可以看出，本实施例模型的整体识别效果相对于YOLOV3模型和Faster-RCNN模型是有提高的，尤其是对于识别10个以上果实的图片，D-YOLOV3模型比原模型的精确度高出约6个百分点，比Faster-RCNN模型的精确度高出约2.5个百分点，对于多果实的图片，D-YOLOV3模型可以识别出更多的果实，而在现实场景下，多果实的情况是很普遍的，这表明本实施例模型更具有优势。
在第二实施例中，通过在3*3卷积之前加入1*1卷积作为瓶颈层，提高了计算效率，减少特征映射的数量，进一步提高了特征复用的效果。同时，通过多次采样，输出多个特征图，以便于后续的图像识别过程。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于深度学习的绿色柑橘识别程序，所述基于深度学习的绿色柑橘识别程序被处理器执行时实现如上文所述的基于深度学习的绿色柑橘识别方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图4，本发明实施例还提出一种基于深度学习的绿色柑橘识别装置，所述基于深度学习的绿色柑橘识别装置包括：
预处理模块10，用于在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图。
需要说明的是，为了便于后续的图像采样，需要对待识别绿色柑橘图像进行预处理，所述预处理方式可包括图像增加、去噪或者预采样等，具体方式可由用户主观选择，本实施方式对此不加以限制。
采样模块20，用于通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图。
需要说明的是，所述预设密集连接卷积单元包括多个卷积层，且每个卷积层都会接受其前面所有层作为其额外的输入。在深度学习网络中，模型的深度越大，梯度消失的问题就会越发明显，本实施例通过对网络层之间的依赖关系进行修改，使得在进行特征提取时获得更多的特征。
例如，所述预设密集连接卷积单元包括L层卷积神经网络，则在预设密集连接卷积单元中存在 个连接，而传统网络结构中只存在L个连接。
由于预设密集连接卷积单元每层都会接受其前面所有层作为其额外的输入，可以实现特征复用。第L层的输出如以下公式所示：
xl＝Hl([x0，x1，…，xl-1])
其中，[x0，x1，…，xl-1]表示与第L层的特征图尺寸相同的前面若干层所生成的特征图集合，Hl()代表是非线性转化函数，它是包括一系列的批量归一化函数(BN)，线性整流函数(Relu)和卷积(Conv)的组合操作。
卷积输出模块30，用于通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图。
需要说明的是，所述预设残差卷积单元包括多个残差学习单元，如图3所示，对于一个堆积层结构(几层堆积而成)当输入为x时其学习到的特征记为H(x)，希望其可以学习到残差F(x)＝H(x)-x，这样其实原始的学习特征是F(x)+x。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。通过在一些层之间设置了快捷链路(shortcut connections)，有效缓解了反向传播中的梯度消失问题,为了降低池化带来的梯度负面效果。
可以理解的是，通过预设密集连接卷积单元和预设残差卷积单元对所述特征采样图进行处理，完成对待识别绿色柑橘图像中的特征，再根据提取到的特征进行识别。
识别模块40，用于根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别。
需要说明的是，实现绿色柑橘图像的智能识别，需要先创建识别模型，具体创建过程包括：在接收到绿色柑橘样本图像时，对所述绿色柑橘样本图像进行预处理，获得预处理图像；根据所述绿色柑橘样本图像和所述预处理图像生成样本图像集；通过预设密集连接卷积单元和预设残差卷积单元对所述样本图像集进行采样，获得目标特征样本集；基于所述目标特征样本集，根据预设识别算法创建预设识别模型。
需要说明的是，为了增强实验数据集的丰富性，使得识别模型能处理一天中不同时间下的图像，需要对收集到的图像进行颜色，亮度，旋转和图像清晰度方面的预处理，并对数据集进行扩充。
具体地，本实施通过灰色世界算法来消除光照对颜色渲染的影响。灰色世界算法基于灰色世界假设，即对于呈现大量颜色变化的图像，R、G和B分量的平均值趋于相同的灰色值。在物理上，灰色世界算法假设自然物体的平均反射光通常是一个固定的值，近似为灰色。利用色彩平衡算法将该假设应用于训练集中的图像，可以消除环境光对图像的影响，以此来扩充数据集。
其次，考虑到现实中光照强度的多变性，可以通过改变亮度函数的参数来调整原始数据集图像的亮度，并将这三个新结果添加到训练集中。如果图像亮度太高或太低，由于目标边缘不清楚，在手动注释期间将很难绘制边界框。在训练期间，这些训练集图像将对检测模型的性能产生不利影响。为了避免生成此类图像，根据在手动注释过程中是否可以准确识别目标边缘选择适当参数范围(0.3，0.5和0.7)进行亮度变化。通过模拟不同光照强度下的果园生长情况。弥补了神经网络对图像采集时间集中所造成的各种光照强度不具有鲁棒性的缺点。
此外，通过拍摄获取到的图像的像素过高，考虑到训练过程中对内存的损耗，以左上、右上、左下和右下为基准对每张图像进行裁剪，再对剪裁后的图像进行了90°、180°、270°旋转和镜像，以进一步扩展图像数据集，处理后的图像也可以提高神经网络的检测性能。
另外，考虑到在实际的拍摄过程中，拍摄距离远，聚焦不正确或移动都会导致获取的图像变得不清晰，而模糊的图像也会影响神经网络的检测结果。为了进一步提高检测模型的鲁棒性，分别使用高斯模糊、中值模糊对图像进行处理，并将这新图像添加到数据集中。
可以理解的是，高斯噪声是理论研究中最常见的噪声，一般而言，高斯噪声是最为恶劣的噪声，而椒盐噪声是视觉上最为常见的一种噪声，如果模型能在这些噪声下学习新的特征，就可以增加模型的抗噪能力，所以使用高斯噪声和椒盐噪声对图像进行处理，生成带噪点的图像，用以训练模型来提高模型的鲁棒性。
需要说明的是，本实施例以扩展或的训练图像集，在基于YOLOV3算法进行神经网络训练，完成基于特征识别的预设识别模型。
所述预设识别模型沿用YOLOV3算法的思想，在识别网络中通过上采样的形式将所述目标特征图还原到原图中并进行识别。在识别过程中，将输入的所述待识别绿色柑橘图像分为N*N个单元格，如果待识别目标的中心落在某个单元格，那么该单元格负责预测这个目标。每个单元格将预测个边界框、边界框的置信度以及由该单元格负责的边界框属于第个类别的概率。在YOLOV3网络结构中使用了均方和误差作为损失函数，主要由三个部分组成:坐标误差、交并比误差和分类误差，如以下公式所示：
Loss＝Ecoord+Eiou+Ecls
其中，Ecoord为坐标误差，其中坐标误差的具体如以下公式所示：
其中，S表示输入的待识别绿色柑橘图像被划分为S*S个单元格，B表示每个单元格所预测的边界框个数， 的取值为1或0，即i第个单元格的第j个边界框中是否存在检测目标，若存在则为1，不存在则为0。tx，ty，tw，th分别表示预测边界框的中心坐标、高度和宽度； 分别表示实际边界框的中心坐标、高度和宽度。
Eiou为交并比误差，具体如以下公式所示：
其中， 的取值为0或者1，表示当前网格单元的边框回归是否负责预测某个对象，若有负责则取值为1，没有则为0。Gij的取值与 保持一致。
Ecls为分类误差，具体如以下公式所示：
其中，c表示检测目标所属的类别， 表示单元格中目标属于类别c的实际概率， 为预测概率。
在本实施例中，通过在接收到待识别绿色柑橘图像时，对所述待识别绿色柑橘图像进行预处理，获得初始特征图；通过预设密集连接卷积单元对所述初始特征图进行采样，获得特征采样图；通过预设残差卷积单元对所述特征采样图进行卷积处理，获得目标特征图；根据所述目标特征图，通过预设识别模型对所述待识别绿色柑橘图像进行识别。本实施例通过在特征提取卷积网络中，添加预设密集连接卷积单元，实现特征复用，以克服现有的深度卷积网络中当信息通过很多层之后会消失或过度膨胀，使得重要信息丢失的问题，进而提高了对绿色柑橘图像的识别准确率。
本发明所述基于深度学习的绿色柑橘识别装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
基于深度学习的绿色柑橘识别方法、设备及装置专利购买费用说明
Q：办理专利转让的流程及所需资料
A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。
1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。
2：按规定缴纳著录项目变更手续费。
3：同时提交相关证明文件原件。
4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。
Q:专利著录项目变更费用如何缴交
A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式
Q：专利转让变更，多久能出结果
A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。
动态评分
0.0