专利摘要

本发明公开了一种基于集成注意力机制的门厅人员监控方法。所述方法，包括：获取多个门厅图像；将所述多个门厅图像输入卷积神经网络的第一部分以获得部分深度特征图；将所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；将所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图；以及，基于所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述门厅的监控结果。这样，基于更高精度的所述门厅图像的语义分割结果，能够更为精确地对门厅的人员聚集程度进行监控。

权利要求

1.一种基于自集成注意力机制的智慧园区的门厅人员监控方法，其特征在于，包括：

获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的门厅的多个门厅图像；

将所述多个门厅图像输入卷积神经网络的第一部分以获得部分深度特征图；

将所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；

将所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；

融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图；以及

基于所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述门厅的监控结果。

2.根据权利要求1所述的智慧园区的门厅人员监控方法，其中，所述卷积神经网络的第一部分具有第一层数，所述卷积神经网络的第二部分具有第二层数，所述第一层数小于所述第二层数。

3.根据权利要求1所述的智慧园区的门厅人员监控方法，其中，所述第一层数是N，所述第二层数是M，则满足。

4.根据权利要求1所述的智慧园区的门厅人员监控方法，其中，将所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图，包括：

将所述部分深度特征图输入所述自集成注意力神经网络的池化层以获得池化特征图；

将所述池化特征图输入所述自集成注意力神经网络的插值层以获得插值特征图；

将所述插值特征图输入所述自集成注意力神经网络的卷积层以获得卷积特征图；

将所述卷积特征图输入所述自集成注意力神经网络的下采样层以获得下采样特征图，所述下采样层的下采样系数与所述插值层的插值系数相对应；以及

将所述下采样特征图与所述部分深度特征图进行点乘以获得所述部分深度注意力图。

5.根据权利要求1所述的智慧园区的门厅人员监控方法，其中，融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图，包括：

基于以下等式融合所述部分深度注意力图和所述全局深度特征图获得所述最终特征图：其中，为所述最终特征图，为所述部分深度注意力图，为所述全局深度特征图，“”表示所述部分深度注意力图和所述全局深度特征图相对应位置处的元素相加，为用于控制所述最终特征图中所述部分深度注意力图和所述全局深度特征图之间的平衡的加权参数。

6.根据权利要求4所述的智慧园区的门厅人员监控方法，其中，。

7.根据权利要求5所述的智慧园区的门厅人员监控方法，其中，。

8.根据权利要求1所述的智慧园区的门厅人员监控方法，其中，具有所述自集成注意力神经网络的卷积神经网络由训练用门厅图像训练而获得，所述训练用门厅图像具有门厅的已标注的标签。

9.一种基于自集成注意力机制的智能园区的门厅监控装置，包括：

图像获取单元，用于获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的门厅的多个门厅图像；

部分深度特征图生成单元，用于将所述图像获取单元获取的所述多个门厅图像输入卷积神经网络的第一部分以获得部分深度特征图；

部分深度注意力图生成单元，用于将所述部分深度特征图生成单元获得的所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；

全局深度特征图生成单元，用于将所述部分深度注意力图生成单元获得的所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；

融合单元，融合所述部分深度注意力图生成单元获得的所述部分深度注意力图和所述全局深度特征图生成单元获得的所述全局深度特征图以获得最终特征图；以及

图像语义分割单元，用于基于所述融合单元获得的所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述门厅的监控结果。

10.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-8中任一项所述的基于自集成注意力机制的智慧园区的门厅人员监控方法。

说明书

技术领域

本申请涉及人工智能技术领域，且更为具体地，涉及一种基于自集成注意力机制的智慧园区的门厅人员监控方法、装置和电子设备。

背景技术

智慧城市是把新一代信息技术充分运用在城市中各行各业的城市信息化高级形态。智慧园区是智能城市建设的重要部分，人员在智慧园区的各门厅前的聚集程度是园区监控的重要内容，尤其是在传播性疾病（例如，新冠肺炎）爆发的阶段，这里，智慧园区内的门厅表示园区内各楼宇的门前和进门区域。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展（尤其是图像语义分割技术的发展）为智能园区的门厅人员聚集程度的监控提供了新的解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于自集成注意力机制的智慧园区的门厅人员监控方法、装置和电子设备，其基于自集成注意力机制的卷积神经网络模型对所采集的门厅图像进行图像语义分割，以提高门厅图像的分割精度和识别精度，从而能够精确地对智能园区内的门厅的人员聚集程度进行远程监控。

根据本申请的一个方面，提供了一种基于自集成注意力机制的智慧园区的门厅人员监控方法，其特征在于，包括：

获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的门厅的多个门厅图像；

将所述多个门厅图像输入卷积神经网络的第一部分以获得部分深度特征图；

将所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；

将所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；

融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图；以及

基于所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述门厅的监控结果。

在上述智慧园区的门厅人员监控方法中，所述卷积神经网络的第一部分具有第一层数，所述卷积神经网络的第二部分具有第二层数，所述第一层数小于所述第二层数。

在上述智慧园区的门厅人员监控方法中，所述第一层数是N，所述第二层数是M，则满足 。

在上述智慧园区的门厅人员监控方法中，将所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图，包括：

将所述部分深度特征图输入所述自集成注意力神经网络的池化层以获得池化特征图；

将所述池化特征图输入所述自集成注意力神经网络的插值层以获得插值特征图；

将所述插值特征图输入所述自集成注意力神经网络的卷积层以获得卷积特征图；

将所述卷积特征图输入所述自集成注意力神经网络的下采样层以获得下采样特征图，所述下采样层的下采样系数与所述插值层的插值系数相对应；以及

将所述下采样特征图与所述部分深度特征图进行点乘以获得所述部分深度注意力图。

在上述智慧园区的门厅人员监控方法中，融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图，包括：

基于以上等式融合所述部分深度注意力图和所述全局深度特征图获得所述最终特征图： 其中， 为所述最终特征图， 为所述部分深度注意力图， 为所述全局深度特征图，“ 表示所述部分深度注意力图和所述全局深度特征图相对应位置处的元素相加， 为用于控制所述最终特征图中所述部分深度注意力图和所述全局深度特征图之间的平衡的加权参数。

在上述智慧园区的门厅人员监控方法中， 。在上述智慧园区的门厅人员监控方法中， 。

在上述智慧园区的门厅人员监控方法中，具有所述自集成注意力神经网络的卷积神经网络由训练用门厅图像训练而获得，所述训练用门厅图像具有门厅的已标注的标签。

根据本申请的另一方面，提供了一种基于自集成注意力机制的智能园区的门厅监控装置，包括：

图像获取单元，用于获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的门厅的多个门厅图像；

部分深度特征图生成单元，用于将所述图像获取单元获取的所述多个门厅图像输入卷积神经网络的第一部分以获得部分深度特征图；

部分深度注意力图生成单元，用于将所述部分深度特征图生成单元获得的所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；

全局深度特征图生成单元，用于将所述部分深度注意力图生成单元获得的所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；

融合单元，融合所述部分深度注意力图生成单元获得的所述部分深度注意力图和所述全局深度特征图生成单元获得的所述全局深度特征图以获得最终特征图；以及

图像语义分割单元，用于基于所述融合单元获得的所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述门厅的监控结果。

在上述门厅监控装置中，所述卷积神经网络的第一部分具有第一层数，所述卷积神经网络的第二部分具有第二层数，所述第一层数小于所述第二层数。

在上述门厅监控装置中，所述第一层数是N，所述第二层数是M，则满足 。

在上述门厅监控装置中，所述部分深度注意力图生成单元，进一步包括：

池化子单元，将所述部分深度特征图生成单元获得的所述部分深度特征图输入所述自集成注意力神经网络的池化层以获得池化特征图；

插值子单元，用于将所述池化子单元获得的所述池化特征图输入所述自集成注意力神经网络的插值层以获得插值特征图；

卷积子单元，用于将所述插值子单元获得的所述插值特征图输入所述自集成注意力神经网络的卷积层以获得卷积特征图；

下采样子单元，用于将所述卷积子单元获得的所述卷积特征图输入所述自集成注意力神经网络的下采样层以获得下采样特征图；以及

点乘子单元，用于将所述下采样子单元获得的所述下采样特征图与所述部分深度特征图生成单元获得的所述部分深度特征图进行点乘以获得所述部分深度注意力图。

在上述门厅监控装置中，所述融合单元，进一步用于：

基于以上等式融合所述部分深度注意力图和所述全局深度特征图获得所述最终特征图： 其中， 为所述最终特征图， 为所述部分深度注意力图， 为所述全局深度特征图，“ ”表示所述部分深度注意力图和所述全局深度特征图相对应位置处的元素相加， 为用于控制所述最终特征图中所述部分深度注意力图和所述全局深度特征图之间的平衡的加权参数。

在上述门厅监控装置中， 。

在上述门厅监控装置中， 。

在上述门厅监控装置中，具有所述自集成注意力神经网络的卷积神经网络由训练用门厅图像训练而获得，所述训练用门厅图像具有门厅的已标注的标签。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于自集成注意力机制的智慧园区的门厅人员监控方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于自集成注意力机制的智慧园区的门厅人员监控方法。

与现有技术相比，本申请提供的基于自集成注意力机制的智慧园区的门厅人员监控方法、装置和电子设备，其基于自集成注意力机制的卷积神经网络模型对所采集的门厅图像进行图像语义分割，以提高门厅图像的分割精度和识别精度，从而能够精确地对智能园区内的门厅的人员聚集程度进行远程监控。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法的应用场景图。

图2图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法的流程图。

图3图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法的系统架构的示意图。

图4图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法中，自集成注意力神经网络从部分深度特征图获得部分深度注意力图的流程图。

图5图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法中的自集成注意力神经网络的架构的示意图。

图6图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅监控装置的框图。

图7图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅监控装置中的部分深度注意力图生成单元的框图。

图8图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

图1图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法的应用场景图。

如图1所示，在该应用场景中，智能园区内的楼宇B的门厅周围一定距离处设有多个图像采集装置（在该示例中，以包括三个图像采集装置C1、C2和C3为示例，当然，本领域技术人员可以理解，也可以包括其它数目的图像采集装置），所述图像采集装置C1,C2,C3用于从多个不同拍摄角度拍摄所述门厅的图像。所述门厅图像被输入至部署有深度神经网络模型的门厅监控服务器S中进行图像语义分割处理，以获得图像语义分割结果，其中，所述图像语义分割结果表示所述门厅的监控结果。

具体到该应用场景中，所述门厅图像的图像语义分析结果（即，所述门厅的监控结果）为从门厅图像中获得人员的的分割结果。也就是，通过所述图像语义分割结果便能够获知所述门厅区域内有多少人员聚集，即，对所述门厅的人员聚集程度进行监控。

应可以理解，门厅的监控质量取决于门厅图像的图像语义分割结果的精度，而图像语义分割结果的精度在很大程度上取决于所构建的深度神经网络模型的模型架构。也就是，在该应用场景中，如何基于应用场景的特征和技术目的构建适配的用于图像语义分割的深度神经网络模型是技术实施的关键。

图像语义分割技术表示对图像进行分割并识别出相应的内容，例如，有一张图像为一个人骑着摩托车，图像语义分割的任务为将这张图像中的人、摩托车和背景分割开并识别他们相应的类别。现有的图像语义分割任务大多基于传统的卷积神经网络模型来执行。传统的卷积神经网络模型包括卷积层、池化层、全连接层，在执行图像语义分割任务的过程中，通过卷积神经网络处理源图像以获得特征图，并基于特征图进行语义分割（即，识别不同部分的内容）。在具体实践中，本申请发明人发现基于传统卷积神经网络模型的图像语义分割精度难以满足应用要求。

究其原因，本申请发明人发现，在图像语义分割过程中，用于语义分割的图像特征在源图像的源域和通过卷积神经网络获得的特征图的目标域之间存在差异，如果仅基于目标域内的特征图进行图像语义分割，这种差异将降低图像语义分割结果的精确性。

针对上述技术问题，本申请的基本构思是通过特定的卷积神经网络模型处理门厅图像的源图像以获得包括源域内和目标域内的图像特征的融合特征图，并基于融合特征图进行图像语义分割处理，以获得更好的语义分割结果。从而，能够有效地提高门厅的人员聚集程度的监控质量。

基于此，本申请提出了一种基于自集成注意力机制的智慧园区的门厅人员监控方法，其包括：获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的门厅的多个门厅图像；将所述多个门厅图像输入卷积神经网络的第一部分以获得部分深度特征图；将所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；将所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图；以及，基于所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述门厅的监控结果。

本申请的部分深度特征图能够提取到源图像在源域内的特征，而全局特征图能够提取到特征图在目标域内的特征，从而通过融合部分深度特征图和全局深度特征图，使得所获得的特征图包含源域内和目标域内的图像特征，从而使得最终特征图能够实现更好的语义分割结果。

由于部分深度特征图所包含的图像特征在深度维度上低于全局深度特征图，因此，其图像特征在语义分割上比较模糊，因此，在融合部分深度特征图和全局深度特征图之前，需要进一步优化。具体地，考虑到在门厅监控的过程中，人员和门厅自身的形状等特征在门厅图像上非常明显，因此，采用自集成注意力神经网络，基于所述门厅图像在源域内的特征，对所述门厅图像在源域内受关注的区域给予注意力（即，门厅内人员），来提高语义分割精度。

相应地，根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法，其基于自集成注意力机制的卷积神经网络模型对所采集的门厅图像进行图像语义分割，以提高门厅图像的分割精度和识别精度，从而能够精确地对智能园区内的门厅的人员聚集程度进行远程监控。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法的流程图。如图2所示，根据本申请实施例的门厅人员监控方法，包括：S110，获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的门厅的多个门厅图像；S120，将所述多个门厅图像输入卷积神经网络的第一部分以获得部分深度特征图；S130，将所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；S140，将所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；S150，融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图；以及，S160，基于所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述门厅的监控结果。

在步骤S110中，获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的门厅的多个门厅图像。值得一提的是，为了节约能量，所述图像采集装置可被设置分时段进行工作，例如，其可被设置为在人员流动频繁的时段工作（例如，早上上班时间段、中午吃饭时间段和下午下班时间段）而其他时间段处于待机状态，用于从多个不同拍摄角度拍摄所述门厅，其原因在于，在实际应用场景中，门厅的人员聚集程度在时间域上有特定的分布规律。

在步骤S120至S150中，所述多个门厅图像被输入至基于自集成注意力机制的卷积神经网络模型中进行处理，以获得图像语义分割结果，即，所述门厅的监控结果。

图3图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法的系统架构的示意图。在本申请实施例中，所述基于自集成注意力机制的卷积神经网络模型，包括卷积神经网络的第一部分（例如，如图3所示的P1），自集成注意力神经网络（例如，如3所示的Na）和卷积神经网络的第二部分（例如，如图3所示的P2），其中，所述卷积神经网络的第一部分P1，用于从多个所述门厅图像中获得部分深度特征图（例如，如图3所示的Fp）；所述自集成注意力神经网络Na，用于从所述部分深度特征图Fp中获得部分深度注意力图（例如，如图3所示的Fa）；所述卷积神经网络的第二部分P2，用于从所述部分深度特征图中获得全局深度特征图（例如，如图3所示的Fg）。进一步地，所述基于自集成注意力机制的卷积神经网络模型，进一步地融合所述部分深度特征图和全局深度特征图，以获得最终特征图（例如，如图3所示的Fs）。应可以理解，在步骤S160中，最终特征图同时包含所述门厅图像在源域内和特征图在目标域内的特征，从而使得基于所述最终特征图能够实现更好的语义分割结果。

具体来说，考虑到所述部分深度特征图要充分提取所述门厅图像在源域内的特征，同时从所述部分深度特征图获得的所述部分深度注意力图要能够有效地与全局深度特征图融合，在本申请实施例中，获得所述部分深度特征图的所述卷积神经网络的第一部分的层数优选地限定在小于所述卷积神经网络的总层数的一半以下。也就是，设定所述卷积神经网络的第一部分具有第一层数，所述卷积神经网络的第二部分具有第二层数，所述第一层数小于所述第二层数。

进一步地，考虑到如果第二层数与第一层数的比值过大（也就是，所述第二层数过小），则所述部分深度注意力图中的特征将过于向目标域偏移，从而不能很好地反映所述门厅图像在源域内的特征，相应地，在本申请实施例中，优选地，设定所述第一层数是N，所述第二层数是M，两者比值满足 。

例如，在50层的卷积神经网络架构下，所述第一部分可以包括30层，而所述第二部分可以包括20层。而在30层的卷积神经网络架构下，所述第一部分可以包括20层，而所述第二部分可以包括10层。当然，在模型架构中，所述卷积神经网络的第一部分的第一层数和其第二部分的第二层数的具体取值并不为本申请所局限，其还可以被设置其他层数。

进一步地，由于所述部分深度特征图所包含的图像特征在深度维度上低于所述全局深度特征图，因此，其图像特征在语义分割上比较模糊，因此，在融合部分深度特征图和全局深度特征图之前，需要对所述部分深度特征图进行优化。具体地，在本申请实施例中，考虑到在门厅监控的过程中，人员以及门厅自身的形状等特征在门厅图像中十分明显，因此，采用自集成注意力神经网络，基于所述门厅图像在源域内的特征，对所述门厅图像在源域内受关注的区域给予注意力（即，门厅内人员），来提高语义分割精度。

具体来说，图4图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法中，自集成注意力神经网络从部分深度特征图获得部分深度注意力图的流程图。如图4所示，自集成注意力神经网络从部分深度特征图获得部分深度注意力图的过程，包括：S210，将所述部分深度特征图输入所述自集成注意力神经网络的池化层以获得池化特征图；S220，将所述池化特征图输入所述自集成注意力神经网络的插值层以获得插值特征图；S230，将所述插值特征图输入所述自集成注意力神经网络的卷积层以获得卷积特征图；S240，将所述卷积特征图输入所述自集成注意力神经网络的下采样层以获得下采样特征图，所述下采样层的下采样系数与所述插值层的插值系数相对应；以及，S250，将所述下采样特征图与所述部分深度特征图进行点乘以获得所述部分深度注意力图。

也就是，在本申请实施例中，所述自集成注意力神经网络，包括：池化层（例如，如图5所示的Il）、插值层（例如，如图5所示的It）、卷积层（例如，如图5所示的CNN）、下采样层（例如，如图5所示的Ds），以及，点成层（例如，如图5所示的Mu），其中，所述池化层，用于对所述部分深度特征图（例如，如图5所示的Fp）进行池化处理以获得池化特征图（例如，如图5所示的Fl），所述池化例如为3×3平均池化；所述插值层，用于对所述池化特征图进行插值处理以获得插值特征图（例如，如图5所示意的Fi），所述插值例如为系数为2的线性插值；所述卷积层，用于对所述插值进行卷积处理以获得卷积特征图（例如，如图5所示意的Fc），所述卷积层例如为2×2卷积层并以Sigmoid激活函数进行激活；所述下采样层，用于对所述卷积特征图进行下采样处理以获得下采样特征图（例如，如图5所示意的Fd），所述下采样例如具有与所述线性插值的插值系数对应的2的下采样系数；所述点乘层，用于将所述下采样特征图Fd与所述部分深度特征图进行点乘以获得所述部分深度注意力图（例如，如图5所示的Fa）。

特别地，通过先差值再下采样的自注意力神经网络的网络架构，可以以更精细的粒度关注所述部分深度特征图中需要给予注意力的部分，从而使得所述部分深度注意力图能够更好地反应所述部分深度特征图中对于所述门厅图像在源域内的图像特征有更加本质性的表示的特征。

进一步地，在步骤S150中，在本申请实施例中，融合所述部分深度注意力图和所述全局深度特征图以获得最终特征图，包括：基于以下等式融合所述部分深度注意力图和所述全局深度特征图获得所述最终特征图： ，其中 为所述最终特征图，

为所述部分深度注意力图， 为所述全局深度特征图，“ ”表示所述部分深度注意力图和所述全局深度特征图相对应位置处的元素相加， 为用于控制所述最终特征图中所述部分深度注意力图和所述全局深度特征图之间的平衡的加权参数。

通过以加权参数 来控制所述最终特征图中所述部分深度注意力图和所述全局深度特征图之间的平衡，可以实现最终特征图中来自于图像源域和目标域的特征之间的平衡，从而使得以最终特征图实现的图像分割既能够考虑到图像源域内的低维度特征，比如形状特征，又能够考虑到图像目标域内的高维度特征，比如经由卷积神经网络提取出的高维隐变量特征。

在本申请实施例中，所述加权参数 。当 时，所述最终特征图将忽略由所述部分深度注意力图所表示的浅层特征在最终特征内体现的源域特征部分，而当 时，所述最终特征图将不能良好地体现由所述全局深度特征图对于目标域特征部分的良好表示。值得一提的是， 的较大值相对于 的较小值更加有害。

综上，基于本申请实施例的基于自集成注意力机制的智慧园区的门厅人员监控方法被阐明，其基于自集成注意力机制的卷积神经网络模型对所采集的门厅图像进行图像语义分割，以提高门厅图像的分割精度和识别精度，从而能够精确地对智能园区内的门厅的人员聚集程度进行远程监控。

值得一提的是，在本申请实施例中，具有所述自集成注意力神经网络的卷积神经网络模型由训练用门厅图像训练而获得，所述训练用门厅图像具有门厅的已标注的标签。优选地，训练数据包含所在园区以标记的门厅图像。在训练过程中，通过最小化卷积神经网络输出的图像分割结果与已标注的标签之间的差异来通过反向传播更新卷积神经网络的参数。

示例性装置

图6图示了根据本申请实施例的基于自集成注意力机制的智慧园区的门厅监控装置的框图。

如图6所示，根据本申请实施例的门厅监控装置600，包括：图像获取单元610，用于获取由多个不同拍摄角度的图像采集装置所拍摄的所述智慧园区的门厅的多个门厅图像；部分深度特征图生成单元 620，用于将所述图像获取单元获取的所述多个门厅图像输入卷积神经网络的第一部分以获得部分深度特征图；部分深度注意力图生成单元 630，用于将所述部分深度特征图生成单元获得的所述部分深度特征图输入所述卷积神经网络的自集成注意力神经网络以获得部分深度注意力图；全局深度特征图生成单元 640，用于将所述部分深度注意力图生成单元获得的所述部分深度特征图输入所述卷积神经网络的第二部分以获得全局深度特征图；融合单元 650，融合所述部分深度注意力图生成单元获得的所述部分深度注意力图和所述全局深度特征图生成单元获得的所述全局深度特征图以获得最终特征图；以及,图像语义分割单元 660，用于基于所述融合单元获得的所述最终特征图进行图像语义分割以获得图像语义分割结果，所述图像语义分割结果表示所述门厅的监控结果。

在一个示例中，在上述门厅监控装置 600中，所述卷积神经网络的第一部分具有第一层数，所述卷积神经网络的第二部分具有第二层数，所述第一层数小于所述第二层数。

在一个示例中，在上述门厅监控装置 600中，所述第一层数是N，所述第二层数是M，则满足 。

在一个示例中，在上述门厅监控装置 600中，所述部分深度注意力图生成单元630，包括：池化子单元 631，将所述部分深度特征图生成单元获得的所述部分深度特征图输入所述自集成注意力神经网络的池化层以获得池化特征图；插值子单元 632，用于将所述池化子单元获得的所述池化特征图输入所述自集成注意力神经网络的插值层以获得插值特征图；卷积子单元 633，用于将所述插值子单元获得的所述插值特征图输入所述自集成注意力神经网络的卷积层以获得卷积特征图；下采样子单元 634，用于将所述卷积子单元获得的所述卷积特征图输入所述自集成注意力神经网络的下采样层以获得下采样特征图；以及，点乘子单元 635，用于将所述下采样子单元获得的所述下采样特征图与所述部分深度特征图生成单元获得的所述部分深度特征图进行点乘以获得所述部分深度注意力图，如图7所示。

在一个示例中，在上述门厅监控装置 600中，所述融合单元 650，进一步用于：基于以上等式融合所述部分深度注意力图和所述全局深度特征图获得所述最终特征图： 其中， 为所述最终特征图， 为所述部分深度注意力图， 为所述全局深度特征图，“ ”表示所述部分深度注意力图和所述全局深度特征图相对应位置处的元素相加， 为用于控制所述最终特征图中所述部分深度注意力图和所述全局深度特征图之间的平衡的加权参数。

在一个示例中，在上述门厅监控装置 600中， 。

在一个示例中，在上述门厅监控装置 600中， 。

在一个示例中，在上述门厅监控装置 600中，具有所述自集成注意力神经网络的卷积神经网络由训练用门厅图像训练而获得，所述训练用门厅图像具有门厅的已标注的标签。

这里，本领域技术人员可以理解，上述门厅监控装置 600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的基于自集成注意力机制的门厅人员监控方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的门厅监控装置 600可以实现在各种终端设备中，例如用于监控门厅的服务器等。在一个示例中，根据本申请实施例的门厅监控装置 600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该门厅监控装置 600可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该门厅监控装置 600同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该门厅监控装置 600与该终端设备也可以是分立的设备，并且该门厅监控装置 600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图8来描述根据本申请实施例的电子设备。

图8图示了根据本申请实施例的电子设备的框图。

如图8所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于自集成注意力机制的门厅人员监控方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如门厅图像、部分深度特征图等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括图像语义分割结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的基于自集成注意力机制的门厅人员监控方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于自集成注意力机制的门厅人员监控方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

基于自集成注意力机制的门厅人员监控方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。