专利摘要

本发明实施例提供一种双目立体匹配装置及方法，所述装置包括：空间特征提取模块，用于获取双目摄像装置采集并传来的左图像和右图像，并提取出第一空间特征图以及第二空间特征图；语义分割模块，用于提取出第一语义特征图以及第二语义特征图；边界检测模块，用于提取出第一边界特征图以及第二边界特征图；匹配代价构建模块，用于构建出第一匹配代价、第二匹配代价以及第三匹配代价；代价融合模块，用于计算生成与各个阶段对应的融合匹配代价；视差图获取模块，用于逐个阶段计算过渡视差图，并将最后一阶段的过渡视差图进行处理后作为目标视差图计算出目标视差图。本实施例能有效提高在弱纹理区域和纹理重复的区域获得的视差图的准确性。

权利要求

1.一种双目立体匹配装置，其特征在于，所述装置包括：

空间特征提取模块，与双目摄像装置相连，用于获取所述双目摄像装置采集并传来的左图像和右图像，并基于预存的空间特征图提取模型从所述左图像提取出多个不同分辨率的第一空间特征图以及从所述右图像中提取出多个不同分辨率的第二空间特征图；

语义分割模块，与所述空间特征提取模块相连，用于根据预存的语义特征图提取模型提取出每个所述第一空间特征图对应的第一语义特征图以及每个所述第二空间特征图对应的第二语义特征图；

边界检测模块，与所述空间特征提取模块相连，用于根据预存的边界特征图提取模型提取出每个所述第一空间特征图对应的第一边界特征图以及每个所述第二空间特征图对应的第二边界特征图；

匹配代价构建模块，与所述空间特征提取模块、语义分割模块和边界检测模块相连，用于将所述多个不同分辨率按照从低至高的顺序分成若干个阶段，在每个阶段，采用基于距离的方法分别构建出针对所述第一空间特征图和第二空间特征图的第一匹配代价、针对所述第一语义特征图和第二语义特征图的第二匹配代价以及针对所述第一边界特征图和第二边界特征图的第三匹配代价；

代价融合模块，与所述匹配代价构建模块相连，用于基于注意力引导机制根据每个阶段的所述第一匹配代价、第二匹配代价及第三匹配代价进行计算生成与各个所述阶段对应的融合匹配代价；以及

视差图获取模块，与所述代价融合模块相连，用于按照分辨率从低到高的顺序依次在各个阶段采用预存的视差解码器对所述融合匹配代价进行解码并视差回归以产生每个阶段的过渡视差图和第一阶段后的每一阶段的过渡残差图，其中，将最后一阶段之前的每一阶段的过渡视差图进行双线性上采样后本阶段对应的倍数与下一阶段的过渡残差图的求和结果作为下一阶段的过渡视差图，而最后一阶段的过渡视差图进行双线性上采样本阶段对应的倍数作为目标视差图，最后一阶段之前的每个阶段对应的分辨率与本阶段对应的倍数的乘积均等于下一阶段的分辨率，最后一阶段之前的分辨率与本阶段对应的倍数的乘积等于目标视差图的分辨率。

2.如权利要求1所述的双目立体匹配装置，其特征在于，所述匹配代价构建模块包括：

第一代价计算单元，用于采用基于距离的方法分别构建出第一阶段对应的第一匹配代价、第二匹配代价和第三匹配代价；

特征处理单元，用于从第二阶段开始，在每个阶段将前一阶段对应的过渡视差图进行双线性上采样至当前阶段对应的分辨率后与当前阶段对应的第二空间特征图、第二语义特征图和第二边界特征图进行扭曲操作以获得当前阶段的过渡空间特征图、过渡语义特征图和过渡边界特征图；以及

第二代价计算单元，用于从第二阶段开始，在每个阶段采用基于距离的方法分别构建出针对当前阶段的所述第一空间特征图和过渡空间特征图的第一匹配代价、针对所述第一语义特征图和过渡语义特征图的第二匹配代价以及针对所述第一边界特征图和过渡边界特征图的第三匹配代价。

3.如权利要求1所述的双目立体匹配装置，其特征在于，所述空间特征图提取模型为预先训练好的ResNet50网络模型。

4.如权利要求1所述的双目立体匹配装置，其特征在于，所述代价融合模块包括：

注意图生成单元，用于采用所述第一匹配代价生成注意图；以及

计算单元，用于根据所述注意图、第一匹配代价、第二匹配代价和第三匹配代价计算生成与各个所述阶段对应的融合匹配代价。

5.如权利要求1所述的双目立体匹配装置，其特征在于，所述视差解码器是基于堆积的3D卷积层的视差解码器。

6.一种双目立体匹配方法，其特征在于，所述方法包括以下步骤：

获取双目摄像装置采集并传来的左图像和右图像，并基于预存的空间特征图提取模型从所述左图像提取出多个不同分辨率的第一空间特征图以及从所述右图像中提取出多个不同分辨率的第二空间特征图；

根据预存的语义特征图提取模型提取出每个所述第一空间特征图对应的第一语义特征图以及每个所述第二空间特征图对应的第二语义特征图；

根据预存的边界特征图提取模型提取出每个所述第一空间特征图对应的第一边界特征图以及每个所述第二空间特征图对应的第二边界特征图；

将所述多个不同分辨率按照从低至高的顺序分成若干个阶段，在每个阶段，采用基于距离的方法分别构建出针对所述第一空间特征图和第二空间特征图的第一匹配代价、针对所述第一语义特征图和第二语义特征图的第二匹配代价以及针对所述第一边界特征图和第二边界特征图的第三匹配代价；

基于注意力引导机制根据每个阶段的所述第一匹配代价、第二匹配代价及第三匹配代价进行计算生成与各个所述阶段对应的融合匹配代价；以及

按照分辨率从低到高的顺序依次在各个阶段采用预存的视差解码器对所述融合匹配代价进行解码并视差回归以产生每个阶段的过渡视差图和第一阶段后的每一阶段的过渡残差图，其中，将最后一阶段之前的每一阶段的过渡视差图进行双线性上采样后本阶段对应的倍数与下一阶段的过渡残差图的求和结果作为下一阶段的过渡视差图，而最后一阶段的过渡视差图进行双线性上采样本阶段对应的倍数作为目标视差图，最后一阶段之前的每个阶段对应的分辨率与本阶段对应的倍数的乘积均等于下一阶段的分辨率，最后一阶段之前的分辨率与本阶段对应的倍数的乘积等于目标视差图的分辨率。

7.如权利要求6所述的双目立体匹配方法，其特征在于，所述将所述多个不同分辨率按照从低至高的顺序分成若干个阶段，在每个阶段，采用基于距离的方法分别构建出针对所述第一空间特征图和第二空间特征图的第一匹配代价、针对所述第一语义特征图和第二语义特征图的第二匹配代价以及针对所述第一边界特征图和第二边界特征图的第三匹配代价具体包括：采用基于距离的方法分别构建出第一阶段对应的第一匹配代价、第二匹配代价和第三匹配代价；

从第二阶段开始，在每个阶段将前一阶段对应的过渡视差图进行双线性上采样至当前阶段对应的分辨率后与当前阶段对应的第二空间特征图、第二语义特征图和第二边界特征图进行扭曲操作以获得当前阶段的过渡空间特征图、过渡语义特征图和过渡边界特征图；以及

从第二阶段开始，在每个阶段采用基于距离的方法分别构建出针对当前阶段的所述第一空间特征图和过渡空间特征图的第一匹配代价、针对所述第一语义特征图和过渡语义特征图的第二匹配代价以及针对所述第一边界特征图和过渡边界特征图的第三匹配代价。

8.如权利要求6所述的双目立体匹配方法，其特征在于，所述空间特征图提取模型为预先训练好的ResNet50网络模型。

9.如权利要求6所述的双目立体匹配方法，其特征在于，所述基于注意力引导机制根据每个阶段的所述第一匹配代价、第二匹配代价及第三匹配代价进行计算生成与各个所述阶段对应的融合匹配代价具体包括：

采用所述第一匹配代价生成注意图；以及

根据所述注意图、第一匹配代价、第二匹配代价和第三匹配代价计算生成与各个所述阶段对应的融合匹配代价。

10.如权利要求6所述的双目立体匹配方法，其特征在于，所述视差解码器是基于堆积的3D卷积层的视差解码器。

双目立体匹配装置及方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。