专利摘要
基于手势识别的机械臂位姿控制方法，使得可以通过智能腕带获取人臂的位姿，再将位姿通过正逆运动学，求解出工作机械臂每个关节角的角度；具体实施是智能腕带通过蓝牙无线连接PC端，将智能腕带模块采集的肌电信号传输给远程客户端；远程客户端接收到信号后，将信号转到数据处理模块，在数据处理模块中，对信号进行滤波降噪处理，处理后将手势分类；在数据处理模块中去除噪声之后再利用正逆运动学来求解关节角度；通过两个智能腕带获取操作人员的手臂的关节角度；之后就可以通过远程客户端将关节角度的信号以及操作指令信号传递给智能腕带模块；然后将手势动作的信号发送给仿真模块中的仿真机械臂；仿真臂发送信号给工作机械臂，机械臂执行命令。
权利要求
1.一种基于手势识别的机械臂位姿控制方法，其特征在于：使用两个智能腕带进行信号采集，采集的信号主要是两个智能腕带中的陀螺仪信号；然后通过对信号的处理将信号转换为人臂的关节角度；智能腕带的信号通过无线蓝牙传递给远程客户端；远程客户端中的数据处理模块将得到的信号先通过提出的机械臂位姿控制方法，求出各个关节角的角度信息，再通过正运动学求解得到仿人臂的末端位置，进一步优化之后，再通过逆运动学求解出机械臂的各个关节角度；
具体步骤如下：
1)首先是通过两个智能腕带获取关节角度，建立世界坐标系(x
其中下标“U”表示佩戴在上臂上的第一个智能腕带臂章框架，下标“L”表示戴在前臂上的第二个智能腕带臂章框架；当人臂做出一个新动作之后，上臂和前臂在世界坐标系的框架下可以用下面的旋转矩阵来描述：
上标f代表人臂的一个新动作；
2)通过第一个智能腕带的陀螺仪，可以得到一个四元数q＝[x,y,z,w]
q＝xi+yj+zk+w (1)
其中(x,y,z)是标量，表示笛卡尔坐标方向，w是矢量，i，j，k分别为各坐标的参数值；
其中
通过(3)计算出欧拉角α,β,γ，分别代表肩部的三个角度，α代表偏航角，β代表俯仰角，γ代表滚动角：
3)根据两个智能腕带采集到的信号，可以计算出两个肘部关节的角度，A
A
A
4)肌电信号EMG的大小由IEMG信号的平均值AIEMG表示：
其中IEMG
腕关节的角度则是假设与肌电信号EMG呈近似线性关系，腕关节角度
5)经过滤波处理以及角度判断之后将角度值α,β,γ,A
2.根据权利要求1所述的基于手势识别的机械臂位姿控制方法，其特征在于：通过两个智能腕带的陀螺仪信号通过正运动学得到的仿人臂的末端位置，其中所述的正运动学求解的算法如下：
2.1)首先对机械臂构建其D-H参数，即将关节1≤i≤6的连杆长度a
2.2)由于各连杆相对参考坐标系有转动和平移两个动作，因此对每个连杆沿关节轴建立一个关节坐标系，用以下四个参数来描述连杆：
(S1)连杆长度a
(S2)连杆转角α
(S3)连杆偏距d
(S4)关节角度θ
2.3)以基座坐标系作为T
其中，sθ
2.4)对于六自由度机械臂，获得机械臂末端执行器位姿相对基座坐标系的变换矩阵，即机械臂末端位置点坐标的变换矩阵：
其中，
3.根据权利要求2所述的基于手势识别的机械臂位姿控制方法，其特征在于：利用两个智能腕带获取到人臂的各个关节的角度，再通过正运动学获得仿人臂的末端位置，然后再通过逆运动学求解出机械臂的六个关节角度，具体的逆运动学的求解方法如下所示：
θ
由第一个关节角度，通过中间运算公式可得第二个关节角度和第三个关节角度为
其中，a
以此类推可以求出第四关节角度θ
θ
其中，c
同理可以通过求解c
其中，Atan2为反正切函数，s
在每个关节角度求出后，接着判断每个关节角度是不是在限定范围内，将各关节角度发送到仿真模块中的仿人臂进行仿真；仿真效果调试好之后，将关节角度和手势指令发送给机械臂，实现通过人体手势的动作来控制机械臂动作。
说明书
技术领域
本发明涉及一种基于手势识别的机械臂位姿控制方法，使得可以通过智能腕带获取人臂的位姿，再将位姿通过正逆运动学，求解出工作机械臂每个关节角的角度。
背景技术
随着《中国制造2025》的出台，我国制造业正式踏上了以智能制造为重要发展方向的转型升级之路。机器人替代人工生产已经成为未来制造业重要的发展趋势，工业机器人作为“制造业皇冠顶端的明珠”，将大力推动工业自动化、数字化、智能化的早日实现，为智能制造奠定基础。
在工业机器人方面，中国对机械臂的需求一直以飞快的速度在增长，目前来说，中国早已成为全球机械臂市场的一个不可或缺的组成部分。对工业机械臂的任务要求也越来越复杂，为了提高工业机械臂的工作效率和工作范围，尤其是在一些特殊的环境中，例如：工件加工、高温或者无菌环境等，远程控制工业机械臂能够让操作人员处于安全的环境中，所以远程控制机械臂的作用也越来越大。而且安排给机械臂的任务不仅越来越重，而且对机械臂的灵活性的要求也越来越高，而且随着智能化时代的到来，要求人机交互更加自然，对操作者的要求反而越来越低，希望能够直接通过手势来直接实现机械臂的控制，即将传感器技术对外部信息进行实时采集和决策应用到机械臂的控制上。
目前关于手势识别的研究很多，但国内的研究和国外的相比，进展较慢。朱茂娟、王林冰、曾奇等提出一种机器人及其示教通信系统(朱茂娟，王林冰，曾奇等.机器人及其示教通信系统：中国，205620710[P].2016-01-04),实现了示教采集器与控制器之间的数据通信，但是通信方式是有线的，具有空间局限性且缺少保密性；张健、金喆提出一种非接触式手势控制机器人(张健、金喆.一种非接触式手势控制机器人：中国，CN203973550U，2014-12-03)，通过在机械手上安装摄像头作为手势监测装置，并结合通讯装置，实现机械手的抓取，但是对摄像头的要求高，并且安装不方便并且控制的精度和稳定性不高，不利于对实际机械臂的控制使其存在很大的安全隐患。
发明内容
本发明要克服现有技术的上述缺点，提出一种基于手势识别的机械臂位姿控制方法。
首先该方法需要通过蓝牙无线通信技术，进行手势信号与机械臂之间的无线通信，而且无线控制可以扩展工作空间；其次该系统采用两个智能腕带，通过它们所采集到的数据得出人臂的姿态和手势从而将其转换成机械臂控制的指令，使用智能腕带使采集到的数据更加稳定，计算结果更加准确，控制机械臂也更加准确；最后该系统利用肌电信号和陀螺仪信号来识别手势，识别的精度更高，效果更好。
本发明为解决现有技术问题所采用的方法是：
一种基于手势识别的机械臂位姿控制方法，使用两个智能腕带进行信号采集，将采集到的信息进行处理，并且智能腕带通过蓝牙适配器与远程客户端进行无线连接，远程客户端与工作机械臂通过TCP/IP协议连接；
所述的基于手势识别的机械臂位姿控制方法，其主要的特点是使用两个智能腕带进行信号采集，采集的信号主要是陀螺仪信号；然后通过对信号的处理将信号转换为人臂的关节角度；智能腕带的信号通过无线蓝牙传递给远程客户端；远程客户端中的数据处理模块则将得到的信号先通过提出的机械臂位姿控制方法，求出各个关节角的角度信息，再通过正运动学求解得到仿人臂的末端位置，进一步优化之后，再通过逆运动学求解出机械臂的各个关节角度。
所述的基于手势识别的机械臂位姿控制系统的电脑客户端是基于Linux系统进行开发的，当系统中的数据处理模块接收到来自远程客户端发送过来的陀螺仪信号和肌电信号后，数据处理模块将接收到的信号与数据先通过滤波算法去除信号中的噪声；然后结合正逆运动学求解，将接收到的陀螺仪信号，采用四元数和坐标变换理论计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据优化后传递给仿真模块下的仿人臂，使其做出与人体相同的动作；
具体步骤如下：
1)首先是通过两个腕带获取关节角度，建立世界坐标系(xG,yG,zG)以及建立人臂的上臂坐标系(xH,yH,zH)，前臂坐标系(xF,yF,zF)；R代表旋转矩阵；上标i代表初始位置；下标G、H、F分别代表世界坐标系框架，上臂框架以及前臂框架；相对于第一个智能腕带的坐标系和相对于第二个智能腕带对应的下标的坐标系可以表示为：
其中下标“U”表示佩戴在上臂上的第一个智能腕带臂章框架，下标“L”表示戴在前臂上的第二个智能腕带臂章框架；当人臂做出一个新动作之后，前臂和上臂在世界坐标系的框架下可以用下面的旋转矩阵来描述：
2)上标f代表人臂的一个新动作；通过第一个腕带的陀螺仪，可以得到一个四元数q＝[x,y,z,w]
q＝xi+yj+zk+w(1)
其中(x,y,z)是标量，表示笛卡尔坐标方向，w是矢量，i，j，k分别为各坐标的参数值。
其中 代表上臂相对于全局的坐标系，其中，r11表示旋转矩阵 的第一行第一列的参数，Atan2为反正切函数；
通过(3)计算出欧拉角α,β,γ，分别代表肩部的三个角度，α代表偏航角，β代表俯仰角，γ代表滚动角：
3)根据两个智能腕带测到的数据，可以计算出两个肘部关节的角度，Afe代表肘部弯曲的角度，Aps代表肘部滚动的角度，计算公式如下：
Afe＝arccos(a12r13+a22r23+a32r33)(4)
Aps＝arccos(r11a11+r21a21+r31a33)(5)
4)肌电信号EMG的大小由IEMG信号的平均值AIEMG表示：
其中IEMGl(l＝1,2,...,8)是第l个肌电信号传感器的肌电数据；所以其平均值为：
腕关节的角度则是假设与肌电信号EMG呈近似线性关系，腕关节角度 计算如下：
5)经过滤波处理以及角度判断之后将角度值α,β,γ,Afe,Aps， 发送给仿真模块中的仿人臂，通过正运动学的计算得出仿人臂的末端位置p(x,y,z)；
优选地，通过两个智能腕带的传感器数据通过正运动学得到的仿人臂的末端位置，其中所述的正运动学求解的算法如下：
2.1)首先对示教机械臂构建其D-H参数，即将关节1≤i≤6的连杆长度ai、连杆转角αi、连杆偏距di和关节角θi作为输入量，选择机械臂各个关节的关节角θi作为输出量；
2.2)由于各连杆相对参考坐标系有转动和平移两个动作，因此对每个连杆沿关节轴建立一个关节坐标系，用以下四个参数来描述连杆：
(S1)连杆长度ai：关节轴i和关节轴i+1之间公垂线的长度；
(S2)连杆转角αi：作一个与两关节轴之间的公垂线垂直的平面，将关节轴i和关节轴i+1投影到该平面，在平面内轴i按右手法则绕ai转向轴i+1，其转角即为连杆转角；
(S3)连杆偏距di：公垂线ai-1与关节轴i的交点到公垂线ai与关节轴i+1的交点的有向距离长度；
(S4)关节角θi：ai-1的延长线与ai之间绕关节轴i旋转所形成的夹角，即采集得到的示教机械臂关节角度；
2.3)以基座坐标系作为T0坐标系，设 表示i关节坐标系相对i-1关节坐标系的位置和姿态，则：
其中，sθi＝sinθi，cθi＝cosθi，sαi＝sinαi，cαi＝cosαi；
2.4)对于六自由度机械臂，获得机械臂末端执行器位姿相对固定参考坐标系的变换矩阵，即机械臂末端位置点坐标的变换矩阵：
其中， 表示六自由度机械臂末端执行器位姿相对于基轴参考坐标系的变换矩阵，r11表示变换矩阵 中第一行第一列的参数，px表示x轴的参数。
优选地，利用智能腕带获取到人臂的各个关节的角度，再通过正运动学获得仿人臂的末端位置，然后再通过逆运动学求解出机械臂的六个关节角，则可按顺序求解得到，具体的逆运动学的求解方法如下所示：
θ1表示第一个关节角度参数，求解方法为
由第一个关节角，通过中间运算公式可得第二个和第三个关节角为
其中，a2为连杆1的长度，d4为连杆4的偏距，c3是cosθ3的缩写，s3是sinθ3的缩写，K为逆运动学求解时的固定常量；
以此类推可以求出第四关节角θ4，并通过c5和s5求出θ5
θ4＝Atan2(-r13s1+r23c1,-r13c1c23-r23s1c23+r33s23)(13)
其中，c23＝c2c3-s2s3，s23＝c2s3+s2c3。r13表示变换矩阵 中第一行第三列的参数值。
同理可以通过求解c6和s6，求出θ6角度：
其中，Atan2为反正切函数，si＝sinθi，ci＝cosθi；
在每个关节角度求出后，接着判断每个关节角度是不是在限定范围内，将各关节角度发送到仿真模块中的仿人臂进行仿真；仿真效果调试好之后，将关节角度和手势指令发送给机械臂，实现通过人体手势的动作来控制机械臂动作。
在每个关节角度求出后，接着判断每个关节角度是不是在限定范围内，将各关节角度发送到仿真模块中的仿真机械臂进行仿真；仿真效果调试好之后，将关节角度和手势指令发送给实际机械臂，实现通过人体手势的动作来控制实际机械臂动作。
本发明的优点和积极效果是：
本发明设计了PC端软件，使用蓝牙无线通信技术，相较于传统的示教器，蓝牙无线通信可以避免有线的拘束，还可以应用于危险环境中；该系统采用肌电信号和陀螺仪信号实现手势的识别，识别精度更高，识别的手势更多，控制机械臂更准确；并对信号进行滤波处理，能够对信号进一步优化；数据处理模块对数据进行正逆运动学求解使再次提高了手势识别的精度和效率；其扩展的智能腕带握拳复位指令，可以实现控制机械臂无线复位，提高了机械臂复位的灵活性和实用性；通过腕带姿态控制的手势识别方式实现了勉力矩传感器的机器人位置控制。
附图说明
图1为使用本发明方法的系统示意图。
图2为本发明的控制原理框图。
具体实施方式
以下结合附图对本发明做进一步详述。
一种基于手势识别的机械臂位姿控制方法，平台组成主要包括linux电脑客户端软件、两个MYO智能腕带和六自由度机械臂。linux电脑客户端软件安装在用户的电脑上，便于读取MYO智能腕带的信号以及处理数据，智能腕带与PC端软件，通过蓝牙连接，将无线蓝牙适配器插在电脑上；PC端软件与六自由度机械臂通过局域网无线连接。
结合图1和图2，本发明专利的具体实施方式如下：
使用本发明方法的系统依次包括智能腕带模块、蓝牙通信模块、远程客户端模块、数据处理模块、仿真模块、机械臂执行模块，各模块构成如下：
智能腕带模块：该模块通过蓝牙模块连接远程客户端，并且该模块是可穿戴的，智能腕带模块为无线智能腕带，其包含九轴惯性测量单元，三轴陀螺仪，三轴加速度计和三轴磁力计，进行陀螺仪信号的采集；智能腕带还有8块大小厚薄不一的生物电传感器单元，每个传感器又分为3个电极，通过这24个电极就可以捕捉用户手臂肌肉运动时产生的生物电变化即肌电信号。智能腕带捕捉手势的速度非常快，它捕捉的是人体手臂的肌电信号，并且智能腕带不受场地的限制，交互时会更加自然，同时这是可穿戴的，在移动领域智能腕带具有比较大的优势。
蓝牙通信模块：蓝牙模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接；蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信；蓝牙模块通过接收远程客户端传输过来的数据和指令信号，并将其发送给智能腕带模块；智能腕带和远程客户端软件通过蓝牙模块无线连接，远程客户端软件通过蓝牙适配器接收信号；通过蓝牙通信模块，智能腕带可以向远程客户端软件发送传感器信号和肌电信号。
远程客户端模块：远程客户端模块一端通过蓝牙通信模块连接智能腕带模块，另一端连接数据处理模块；远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据，再将肌电信号和陀螺仪信号传输给数据处理模块；
数据处理模块：该模块一端连接远程客户端，另一端连接仿真模块；该模块接收来自远程客户端模块中的肌电信号和陀螺仪信号，将接收到的信号与数据通过滤波和正逆运动学求解计算出腕带使用者手臂的关节角度，同时对于可疑的数据进行剔除，将范围内的关节角度数据传递给仿真模块下的机械臂使其做出与人体相同的动作；
在该模块中MYO智能腕带内部的体感传感器(陀螺仪)模块通过MYO智能腕带和usb蓝牙适配器组成，体感传感器模块连接linux电脑客户端软件之后，执行采集功能，将陀螺仪信号和肌电信号实时传递给PC端软件，PC端软件将收到的数据发送到数据处理模块，经过数据处理之后得到仿真模块中仿人臂的关节角度，通过将关节角度转换为机械臂的末端位置，将末端位置发送给机械臂并保存；
在采集过程中，采集到的角度数据会通过蓝牙无线通信同步发送给linux电脑客户端软件中的仿真机械臂，仿真机械臂会跟随操作人员的手势同步运动；仿真机械臂再通过局域网将信号传递给真实的机械臂，真实的机械臂接收到信号之后也随着操作人员的动作一起运动，同时操作人员手掌可以做出特定的手势向机械臂发送指令，这样就能让真实的机械臂跟随操作人员的手势运动，执行操作指令，可以完成很多人无法进入实际空间的操作。
数据处理模块收到末端位置数据包后，结合当前所使用的机械臂型号的结构参数，用逆运动学公式结合当前所使用的机械臂型号的结构参数得到每个采集时刻优化后的运动角度数据包，具体步骤如下：
1)首先对示教机械臂构建其D-H参数模型，以UR5机器人为例，由于各杆件相对参考坐标系有转动和平移两个动作，因此对每个杆件沿关节轴建立一个关节坐标系，取第n个采集时刻示教机械臂六个关节的D-H连杆参数，如表1所示：
表1
由i关节坐标系相对i-1关节坐标系的位置和姿态 的表达式如公式(9)所示。其中 且sθi＝sinθi，cθi＝cosθi，sαi＝sinαi，cαi＝cosαi，可以求得示教机械臂末端执行器在第n个采集时刻的位姿相对固定参考坐标系的变换矩阵为：
2)通过两个腕带获取关节角的方法：
建立世界坐标系(xG,yG,zG)以及建立人臂的上臂坐标系(xH,yH,zH)，前臂坐标系(xF,yF,zF)；R代表旋转矩阵；上标i代表初始位置；下标G、H、F分别代表世界坐标系框架，上臂框架以及前臂框架；相对于第一个智能腕带的坐标系和相对于第二个智能腕带对应的下标的坐标系可以表示为：
其中下标“U”表示佩戴在上臂上的第一个MYO臂章框架，下标“L”表示穿在前臂上的第二个MYO臂章框架；当人臂做出一个新动作之后，前臂和上臂在世界坐标系的框架下可以用下面的旋转矩阵来描述：
上标f代表人臂的一个新动作；通过第一个腕带的陀螺仪，可以得到一个四元数q＝[x,y,z,w]
通过上面等式中的四元数，上臂在全局框架中可以用公式(2)与公式(3)的方式表示。
其中通过这些计算出欧拉角α,β,γ，分别代表肩部的三个角度，α代表偏航角，β代表俯仰角，γ代表滚动角：
根据两个智能腕带测到的数据，可以计算出两个肘部关节的角度，Afe代表肘部弯曲的角度，Aps代表肘部滚动的角度，计算结果由公式(4)和公式(5)求出。
经过滤波处理以及角度判断之后将角度值α,β,γ，Afe，Aps， 发送给仿真模块中的仿人臂，通过计算得出手腕的末端位置p(x,y,z)；得到末端位置之后通过逆运动学求解出六自由度机械臂的六个关节角，可以依次通过公式(11)，(12)，(13)，(14)，(15)求得θ1等六个关节角度值。
仿真模块：该模块一端与数据处理模块相连接，另一端通过TCP/IP协议与执行机械臂相连接；模拟实际机械臂的工作执行情况；该模块通过网络通信接收数据处理模块的数据，再将接收到的数据传输到仿真模块中的仿真机械臂，使仿真模块中的仿真机械臂模拟出使用者手臂的动作；再通过TCP/IP协议，向机械臂执行模块发送仿真的数据包；
机械臂执行模块：该模块通过TCP/IP协议与仿真模块相连接，通过接收仿真模块的数据包使实际机械臂完成与仿真机械臂相同的动作；
用户将MYO智能腕带通过蓝牙与PC端软件相连，linux电脑客户端软件与机械臂通过局域网连接之后，用户即可运行机器人系统。
linux电脑客户端软件接收到来自用户的开启指令之后，进入工作状态；用户佩戴好腕带之后做握拳手势，即复位命令；信号稳定之后，用户便可以做出相应的手势来控制机械臂。
要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的类似的其它实施方式，同样属于本发明的保护范围。
基于手势识别的机械臂位姿控制方法专利购买费用说明
Q：办理专利转让的流程及所需资料
A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。
1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。
2：按规定缴纳著录项目变更手续费。
3：同时提交相关证明文件原件。
4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。
Q:专利著录项目变更费用如何缴交
A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式
Q：专利转让变更，多久能出结果
A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。
动态评分
0.0