专利摘要

本申请涉及一种基于视觉的室内语义地图构建方法、装置和计算机设备。所述方法包括：通过相机摄像头获取室内环境的图像数据流，根据图像数据流通过预设的模型分别构建度量图、区域划分层、房间拓扑图和对象层，将度量图、对象层、区域划分层和房间拓扑图逐层级联，完成基于视觉的室内语义地图构建。本发明提出的基于视觉的室内语义地图构建方法尤其适用于建立具有复杂语义信息的语义地图，其包括了物体类别、属性及物体之间的关系描述等语义信息，可以支撑复杂语义对象的检索、匹配和推理等任务，进一步提高了无人平台的感知能力和理解能力，增强了无人平台执行任务的自主性和智能性。

权利要求

1.一种基于视觉的室内语义地图构建方法，其特征在于，所述方法包括：

通过相机摄像头获取室内环境的图像数据流；所述图像数据流包括色彩图、深度图、相机位姿信息、相机参数信息、无人平台运动轨迹和姿态数据；

将所述图像数据流输入到预设的视觉SLAM模型中，构建所述室内环境的度量图；

将所述图像数据流输入到预设的区域分割模型中，将所述室内环境划分为独立的房间，得到区域划分层；

将不同区域的所述图像数据流中的图像信息输入到预设的场景识别模型中，得到对应区域的场景类别标签；根据所述区域划分层和所述场景类别标签，构建房间拓扑图；

将所述图像数据流输入到预设的场景图生成模型中，由所述图像数据流中的单张图像得到局部场景图，由同一区域的多张局部场景图得到所述区域的全局场景图；将所述全局场景图上的语义信息实时定位并标注在所述度量图上，得到对象层；所述语义信息包括所述全局场景图中检测到的对象、所述对象的类别、所述对象的属性和所述对象间的位置关系；

将所述度量图、对象层、区域划分层和房间拓扑图逐层级联，完成基于视觉的室内语义地图构建。

2.根据权利要求1所述的方法，其特征在于，将所述图像数据流输入到预设的视觉SLAM模型中，构建所述室内环境的度量图，包括：

将所述图像数据流输入到预设的基于神经网络的视觉SLAM模型中，通过边界搜索算法自动构建所述室内环境的度量图；

将所述度量图栅格化后进行存储。

3.根据权利要求1所述的方法，其特征在于，将所述图像数据流输入到预设的区域分割模型中，将所述室内环境划分为独立的房间，得到区域划分层，包括：

将所述图像数据流输入到预设的区域分割模型中，根据门、廊的宽度、布局、形状的特征信息，通过基于特征匹配的传统算法或基于深度网络学习算法将所述室内环境划分为独立的房间，得到区域划分层。

4.根据权利要求1所述的方法，其特征在于，将不同区域的所述图像数据流中的图像信息输入到预设的场景识别模型中，得到对应区域的场景类别标签；根据所述区域划分层和所述场景类别标签，构建房间拓扑图，包括：

将不同区域的所述图像数据流中的图像信息输入到预设的场景识别模型中，得到对应区域的场景类别标签；所述场景识别模型为深度学习模型；

根据所述区域划分层和所述场景类别标签，构建房间拓扑图；所述房间拓扑图由边和节点构成，所述节点为所述区域划分层中的具体房间节点或两个相连区域的区域连接节点，所述边表示从一个节点到另一个节点所需要的导航行为以及距离，所述导航行为为指引所述无人平台从一个节点到另一个节点的规则信息。

5.根据权利要求1所述的方法，其特征在于，将所述图像数据流输入到预设的场景图生成模型中，由所述图像数据流中的单张图像得到局部场景图，由同一区域的多张局部场景图得到所述区域的全局场景图，包括：

将所述图像数据流输入到预设的场景图生成模型中，由同一区域的图像序列中提取关键帧；任意两个所述关键帧的重合度在预设的阈值之内；

通过区域候选网络得到所述关键帧中的对象候选区域；

为所述对象候选区域中的对象建立全连接图，任意两个对象之间设有双向边，所述双向边表示两个对象之间的关系，所述边的特征通过所连接的两个对象候选区域的联合框提取；

通过第一神经网络预测所述对象的类别和所述对象的属性，根据所述对象的类别和所述对象的属性，通过第二神经网络预测对象间的位置关系；

根据所述对象的类别、所述对象的属性和所述对象间的位置关系，得到局部场景图；

由同一区域的多张所述局部场景图得到所述区域的全局场景图。

6.根据权利要求5所述的方法，其特征在于，由同一区域的多张所述局部场景图得到所述区域的全局场景图，包括：

将所述关键帧中的第一帧图像对应的局部场景图作为初始化的全局场景图；

根据图像特征计算后续局部场景图中新增对象节点与所述全局场景图中已有对象节点的相似度；

删除重复对象节点，将所述局部场景图中新出现的对象节点及属性添加到全局场景图中，最后得到所述区域的全局场景图。

7.根据权利要求1所述的方法，其特征在于，将所述全局场景图上的语义信息实时定位并标注在所述度量图上，得到对象层；所述语义信息包括所述全局场景图中检测到的对象、所述对象的类别、所述对象的属性和所述对象间的位置关系，包括：

根据所述全局场景图中检测到的对象的深度信息、包围盒、相机参数和位姿信息，将所述对象以矩形框的形式映射到所述度量图对应的位置上；

将所述对象的类别、所述对象的属性和所述对象间的位置关系作为语义信息标注在所述度量图上，得到对象层。

8.一种基于视觉的室内语义地图构建装置，其特征在于，所述装置包括：

图像数据流获取模块，用于通过相机摄像头获取室内环境的图像数据流；所述图像数据流包括色彩图、深度图、相机位姿信息、相机参数信息、无人平台运动轨迹和姿态数据；

度量图构建模块，用于将所述图像数据流输入到预设的视觉SLAM模型中，构建所述室内环境的度量图；

区域划分层构建模块，用于将所述图像数据流输入到预设的区域分割模型中，将所述室内环境划分为独立的房间，得到区域划分层；

房间拓扑图构建模块，用于将不同区域的所述图像数据流中的图像信息输入到预设的场景识别模型中，得到对应区域的场景类别标签；根据所述区域划分层和所述场景类别标签，构建房间拓扑图；

对象层构建模块，用于将所述图像数据流输入到预设的场景图生成模型中，由所述图像数据流中的单张图像得到局部场景图，由同一区域的多张局部场景图得到所述区域的全局场景图；将所述全局场景图上的语义信息实时定位并标注在所述度量图上，得到对象层；所述语义信息包括所述全局场景图中检测到的对象、所述对象的类别、所述对象的属性和所述对象间的位置关系；

级联模块，用于将所述度量图、对象层、区域划分层和房间拓扑图逐层级联，完成基于视觉的室内语义地图构建。

9.根据权利要求8所述的装置，其特征在于，所述对象层构建模块还用于：

根据所述全局场景图中检测到的对象的深度信息、包围盒、相机参数和位姿信息，将所述对象以矩形框的形式映射到所述度量图对应的位置上；

将所述对象的类别、所述对象的属性和所述对象间的位置关系作为语义信息标注在所述度量图上，得到对象层。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

一种基于视觉的室内语义地图构建方法、装置及设备专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。