专利摘要

专利摘要

本实用新型公开了一种目标物体多视角图像采集与观测角度自动标记装置，属于传感器检测领域。基于移动式视觉传感器自身采集数据对观测角度进行估计的方法依赖于稳定的可追踪图像特征，难以应对传感器旋转角度较大的情形，且无法估计平移距离参数的问题；基于第三方固定式视觉传感器的方法存在采集视角遮挡、坐标转换问题。基于上述问题，本实用新型针对需要大幅度连续变化的多角度采集目标视角与图像数据的场景，借助固定式视觉传感器与移动式视觉传感器的位姿估计和信息融合结果，实现了高精度的传感器视角标签与视觉信息同步获取，解决了仅靠视觉传感器自身位姿估计难以满足位姿采集下传感器标签获取精度问题，标签精度高，稳定性和实时性好。

权利要求

1.一种目标物体多视角图像采集与观测角度自动标记装置，其特征在于，包括：固定式视觉传感器(1)、非对称共面靶标(2)、移动视觉传感器(3)、基坐标板(4)和固定靶标(6)；

非对称共面靶标(2)固定于移动视觉传感器(3)上方，与移动视觉传感器(3)同时在相对于被测工件(5)的三维笛卡尔空间内运动；固定靶标(6)印刷于基坐标板(4)表面，被测工件(5)置于基坐标板(4)上；

固定式视觉传感器(1)，用于获取被测工件(5)的固定视角图像；

移动视觉传感器(3)，用于获取被测工件(5)的变化视角图像；

非对称共面靶标(2)，用于获取固定式视觉传感器(1)与移动视觉传感器(3)之间的位姿变换矩阵，从而得到固定式视觉传感器(1)与移动视觉传感器(3)之间的相对位姿；

固定靶标(6)，用于估计移动视觉传感器(3)相对于基坐标板(4)的相对位姿。

2.根据权利要求1所述的一种目标物体多视角图像采集与观测角度自动标记装置，其特征在于，非对称共面靶标(2)包括多个呈非对称共面结构分布的靶点。

3.根据权利要求2所述的一种目标物体多视角图像采集与观测角度自动标记装置，其特征在于，每个靶点固定于对应的靶点支撑杆上；各个靶点支撑板固定于同一支座上。

4.根据权利要求3所述的一种目标物体多视角图像采集与观测角度自动标记装置，其特征在于，靶点数目选取范围为4-6个。

5.根据权利要求1所述的一种目标物体多视角图像采集与观测角度自动标记装置，其特征在于，固定靶标(6)分布于基坐标板(4)的四角。

6.根据权利要求5所述的一种目标物体多视角图像采集与观测角度自动标记装置，其特征在于，每个固定靶标采用呈九宫格分布的黑白方块；不同的黑白方块组合用于区分基坐标板(4)的不同位置。

7.根据权利要求1所述的一种目标物体多视角图像采集与观测角度自动标记装置，其特征在于，固定式视觉传感器采用焦距小于3.5mm的定焦式广角镜头，与被测工件距离为被测工件外径的10～15倍，40°～50°观测角俯视被测工件。

说明书

技术领域

本实用新型属于传感器检测技术领域，更具体地，涉及一种目标物体多视角图像采集与观测角度自动标记装置。

背景技术

获取含有准确标签的数据是机器学习中流行的监督式学习的核心难题。视觉数据包含了种类丰富，内容多样的信息，是智能设备感知环境的重要工具。通过视觉数据和监督学习方法实现机器人目标抓取，目标位姿识别，目标六自由度跟踪都需要准确的相机观测角度标签。因此，获取目标物体的观测姿态标签与多角度观测信息的方法吸引了众多学者的关注。

移动式视觉传感器可通过处理环境信息，同时对自身的位姿进行估计，这类方法(例如参考Karlsson N,Bernardo E D,Ostrowski J等.The vSLAM Algorithm for RobustLocalization and Mapping[C]//Proceedings of the 2005 IEEE InternationalConference on Robotics and Automation.IEEE,2006.； Goncalves,Luis,Di Bernardo,Enrico,Benson,Dave,等.A Visual Front-end for Simultaneous Localization andMapping[J].ieee icra,2005.)中移动式传感器大多依赖于图像中关键特征等信息对自身空间状态进行估计，具有传感器依赖少，位姿获取过程简洁高效的优势。但是这类方法难以估计自身平移运动的尺度，需要环境或目标物体具有持续可追踪的特征，并且在视觉传感器存在较大旋转角度的情况下容易丢失被追踪特征。

通过固定式视觉传感器可估计目标物体的空间状态，这类方法(例如参考Kehl W,Manhardt F,Tombari F等.SSD-6D:Making RGB-based 3D detection and 6D poseestimation great again[C]//2017IEEE International Conference on ComputerVision(ICCV).IEEE,2017.；Asif U,Bennamoun M, Sohel F.Real-time pose estimationof rigid objects using RGB-D imagery[C]// IEEE Conference on IndustrialElectronics&Applications.IEEE,2013.)通过视觉信息对目标物体的六自由度空间状态进行估计和追踪，可用于获取视觉传感器的观测角度。上述方法可有效避免传感器旋转角度过大导致的视觉特征丢失问题。然而这类方法难以确定移动式视觉传感器外壳与光心坐标系之间的关联关系，且存在手持遮挡情况下的空间状态估计精度难以满足标签采集的需求。

实用新型内容

针对现有技术的以上缺陷或改进需求，本实用新型提供了一种目标物体多视角图像采集与观测角度自动标记装置，其目的在于克服移动式视觉传感器空间状态估计受旋转影响，难以准确获取平移距离信息的缺点，以及第三方固定式视觉传感器空间状态估计存在的采集视角遮挡，及坐标转换问题。

为实现上述目的，本实用新型提供了一种目标物体多视角图像采集与观测角度自动标记装置，包括：固定式视觉传感器、非对称共面靶标、移动视觉传感器、基坐标板和固定靶标；

非对称共面靶标固定于移动视觉传感器上方，与移动视觉传感器同时在相对于被测工件的三维笛卡尔空间内运动；固定靶标印刷于基坐标板表面，被测工件置于基坐标板上；

固定式视觉传感器，用于获取被测工件的固定视角图像；移动视觉传感器，用于获取被测工件的变化视角图像；非对称共面靶标，用于获取固定式视觉传感器与移动视觉传感器之间的位姿变换矩阵，从而得到固定式视觉传感器与移动视觉传感器之间的相对位姿；固定靶标，用于估计移动视觉传感器相对于基坐标板的相对位姿。

进一步地，非对称共面靶标包括多个呈非对称共面结构分布的靶点。

进一步地，每个靶点固定于对应的靶点支撑杆上；各个靶点支撑板固定于同一支座上。

进一步地，靶点数目选取范围为4-6个。

进一步地，固定靶标分布于基坐标板的四角。

进一步地，每个固定靶标采用呈九宫格分布的黑白方块；不同的黑白方块组合用于区分基坐标板的不同位置。

进一步地，固定式视觉传感器采用焦距小于3.5mm的定焦式广角镜头，与被测工件距离为被测工件外径的10～15倍，40°～50°观测角俯视被测工件。

总体而言，通过本实用新型所构思的以上技术方案与现有技术相比，能够取得下列有益效果。

针对基于移动式视觉传感器自身采集数据对观测角度进行估计的方法依赖于稳定的可追踪图像特征，难以应对传感器旋转角度较大的情形，且无法估计平移距离参数的问题；以及基于第三方固定式视觉传感器的方法存在采集视角遮挡、坐标转换问题；本实用新型针对需要大幅度连续变化的多角度采集目标视角与图像数据的场景，借助固定式视觉传感器与移动式视觉传感器的位姿估计和信息融合结果，实现了高精度的传感器视角标签与视觉信息同步获取，解决了仅靠视觉传感器自身位姿估计难以满足位姿采集下传感器标签获取精度问题，标签精度高，稳定性和实时性好。

附图说明

图1是本实用新型提供的目标物体多视角图像采集与观测角度自动标记装置结构示意图；

图2是本实用新型提供的非对称共面靶标结构示意图；

图3是本实用新型的一组靶标观测角度估计结果；

其中，1为固定式视觉传感器、2为非对称共面靶标、3为移动视觉传感器、4为基坐标板、5为被测工件，6为固定靶标，21为靶点，22为靶点支撑杆，23为支座。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。此外，下面所描述的本实用新型各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本实用新型第一个实施例提供了一种目标物体多视角图像采集与观测角度自动标记装置，包括：固定式视觉传感器1、非对称共面靶标2、移动视觉传感器3、基坐标板4和固定靶标6；

固定式视觉传感器1，用于获取被测工件5的固定视角图像；

非对称共面靶标2固定于移动视觉传感器3上方；使用者通过手持移动视觉传感器3，使非对称共面靶标2与移动视觉传感器3同时在相对于被测工件5的三维笛卡尔空间内运动，其中移动视觉传感器3用于获取被测工件5的变化视角图像；非对称共面靶标2用于获取固定式视觉传感器1 与移动视觉传感器3之间的位姿变换矩阵，从而计算固定式视觉传感器1 与移动视觉传感器3之间的相对位姿；

本实用新型将靶标设计为如图2所示的非对称共面结构，其中21为靶点，22为靶点支撑杆，23为支座；优选地，靶点之间夹角分别为70°、70°、 70°、85°，靶点支撑杆长度分别为50、50、40、70mm。非对称结构保证了固定式视觉传感器与该靶标的位姿变换矩阵唯一性，从而通过计算该位姿变换矩阵来获取固定式视觉传感器1与移动视觉传感器3之间的相对位姿； 4点为所需的最小靶点数目，靶点数目选取范围为4-6点。

为了测量一般小型工业零件，基坐标板4尺寸设置为400mm×400mm，用于承载被测工件。

固定靶标6印刷于基坐标板4表面，被测工件5置于基坐标板4之上；固定靶标6用于估计移动视觉传感器3相对于基坐标板4的相对位姿，靶标上黑白色方块给移动式视觉传感器3提供了估计相对位姿时需要的角点。由于计算被测工件位姿时至少需要四个角点，故固定靶标6采用九宫格的形式(采用不同的黑白色方块组合可用于区分基坐标板4的不同位置)，黑白方块方块总数不限。此外，为避免角点被遮挡而无法完成位姿估计，选择在基坐标板4的四角上布置固定靶标6。

本实用新型中固定式视觉传感器1采用焦距小于3.5mm的定焦式广角镜头，与被测工件距离为被测工件外径的10～15倍，40°～50°观测角俯视被测工件；固定式视觉传感器1和移动视觉传感器3可选用cognex in-sight 7000。

上述装置的基本工作原理为：首先，固定式视觉传感器1采集非对称靶标2的图像，并通过采集的图像及固定式视觉传感器1内部参数求解移动式视觉传感器3相对于基坐标板4的位姿；而后，移动式视觉传感器3 采集包含基坐标板4及被测工件5的图像，并通过该图像估计自身相对于基坐标板4的位姿；最终，将上述两个位姿估计结果进行信息融合计算，从而获取移动式视觉传感器3相对于基坐标板4的准确位姿。相比于单一的移动式视觉传感器，该装置的创新之处在于引入了固定式视觉传感器1 和非对称靶标2进行准确位姿估计，借助固定式视觉传感器与移动式视觉传感器的位姿估计和信息融合结果，提升了移动式视觉传感器3的位姿估计精度。

上述装置的多视角图像采集与观测角度自动标记过程，具体包括：

S1.在对被测工件进行多视角图像采集前，标定基坐标板4与固定式视觉传感器1坐标变换关系：

S101.从固定式视觉传感器1中获取非对称共面靶标2的图像，基于固定式视觉传感器1内部参数求解非对称共面靶标2与固定式视觉传感器1 的相对位姿；其中，非对称共面靶标2位于固定传感器视角范围内设定的任一位置；

非对称共面靶标2与固定式视觉传感器1的相对位姿计算公式为：

T＝A-1H

其中，T为非对称共面靶标2在固定式视觉传感器1的位姿参数，A为离线标定获得的固定式视觉传感器1内部参数，H为单应矩阵，ui,vi为靶点i在固定式视觉传感器1采集的图像中的坐标，xi,yi为靶点在靶标坐标系下的坐标值，i＝1,2,3,4。

S102.通过移动视觉传感器3采集固定靶标6的图像，通过单应矩阵法估计移动视觉传感器3与基坐标板4的相对位姿；

S103.根据最小二乘法求解非对称共面靶标2与移动视觉传感器3的坐标变换关系；

非对称共面靶标2与移动视觉传感器3的坐标变换关系用下式计算：

上式可通过最小二乘法求解，其中，m和n为移动视觉传感器3的不同位姿，Tm、Tn分别为非对称共面靶标2处于位姿m、n中在固定式视觉传感器1下的位姿参数，B为移动视觉传感器3在基坐标板4下的位姿参数， X为非对称靶标2与移动视觉传感器3的坐标变换关系。

S104.基于S101中非对称共面靶标2与固定式视觉传感器1的相对位姿、 S103中非对称共面靶标2与移动视觉传感器3坐标变换关系，得到移动视觉传感器3相对固定式视觉传感器1的位姿；基于S102中移动视觉传感器 3相对于基坐标板4的位姿，得到基坐标板4与固定式视觉传感器1坐标变换关系。

S2.将被测工件5放置于基坐标板4上，将移动式传感器3置于能够采集到被测工件5和固定靶标6的任一位置，对被测工件进行多视角图像采集：

S201.通过固定式视觉传感器1获取非对称共面靶标2的位姿，通过 S103得到的非对称共面靶标2与移动视觉传感器3的坐标变换关系计算出固定式视觉传感器1相对于移动视觉传感器3的位姿，通过S104得到的基坐标板4与固定式视觉传感器1坐标变换关系，计算移动视觉传感器3相对于基坐标板4的位姿，将其作为固定式视觉传感器感知结果。

S202.通过移动式视觉传感器3采集固定靶标6的图像，估计移动式视觉传感器3相对于基坐标板4的位姿，将其作为移动视觉传感器感知结果；

S203.基于卡尔曼滤波融合固定式视觉传感器感知结果和移动视觉传感器感知结果作为观测位姿的估计结果；通过移动视觉传感器采集当前观测角度下的图像。

为了验证本实用新型装置的有效性，对移动视觉传感器的位姿进行估计，图3为本实用新型的一组靶标观测角度估计结果，相机被设置在已知位姿对被测工件进行图像采集，通过本实用新型提出装置进行位姿估计与已知位姿进行对比，其平移误差小于0.1mm，角度误差小于0.5°，因此本实用新型能够准确的对目标图像进行数据采集，且精确估计传感器相对于被测目标的观测角度。

本领域的技术人员容易理解，以上所述仅为本实用新型的较佳实施例而已，并不用以限制本实用新型，凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。

目标物体多视角图像采集与观测角度自动标记装置专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。