专利摘要

本发明提供基于骨传导振动与机器学习的智能输入方法及系统，所述智能输入方法包括以下步骤：步骤S1，采集用户敲击手背的振动信号；步骤S2，对采集的振动信号进行滤波降噪和端点切段处理；步骤S3，对端点切段后的振动信号进行对齐处理；步骤S4，对对齐处理后的振动信号进行信号特征提取；步骤S5，将提取的特征组成训练集并传送至神经网络分类模型进行训练，得到一个训练完的神经网路分类模型。本发明通过基于骨传导振动把手背当作一个虚拟键盘，并结合机器学习的神经网路分类模型，使得文本输入的识别率高且灵敏迅速，反应速度快，提高了手戴式设备的文本输入效率，提升了用户体验，本发明的交互方式新颖有趣且方便快捷，应用广泛。

权利要求

1.一种基于骨传导振动与机器学习的智能输入方法，其特征在于，包括以下步骤：

步骤S1，采集用户敲击手背的振动信号；

步骤S2，对采集的振动信号进行滤波降噪和端点切段处理；

步骤S3，对端点切段后的振动信号进行对齐处理；

步骤S4，对对齐处理后的振动信号进行信号特征提取；

步骤S5，将提取的特征组成训练集并传送至神经网络分类模型进行训练，得到一个训练完的神经网路分类模型。

2.根据权利要求1所述的基于骨传导振动与机器学习的智能输入方法，其特征在于，所述步骤S3中，通过总体互相关法对端点切段后的振动信号进行对齐处理，所述对齐处理的具体操作是计算两个振动信号之间的偏移量，然后对当前的振动信号进行移动，移动完之后只取两个振动信号之间共有的完整部分。

3.根据权利要求2所述的基于骨传导振动与机器学习的智能输入方法，其特征在于，所述步骤S3中，通过公式 以及O(A,B)＝P(A,B)-n计算两个振动信号之间的偏移量O(A,B)，其中，a和b代表两个信号长度为n的振动信号，a(i)表示振动信号a的第i个点的振幅大小，b(i)表示振动信号b的第i个点的振幅大小，C(a,b)表示振动信号a和振动信号b的相关度；A表示对振动信号a两边长度为n的部分进行补零，进而获得的一个长度为3n的第一信号；B表示长度n的振动信号b；P(A,B)表示第一信号A中与第二信号B相关度最高的长度为n的信号位置；O(A,B)为计算所得的第一信号A与第二信号B之间的偏移量。

4.根据权利要求1至3任意一项所述基于骨传导振动与机器学习的智能输入方法，其特征在于，所述步骤S4中，提取对齐处理后的振动信号的功率谱密度特征，并将所述功率谱密度特征与对齐处理前振动信号的振幅特征共同作为提取的信号特征。

5.根据权利要求4所述基于骨传导振动与机器学习的智能输入方法，其特征在于，所述步骤S4中，通过公式 提取对齐处理后的振动信号的功率谱密度特征PSD，其中，f_s为振动信号的采样频率，n为信号长度，k表示信号长度为n的信号，FFT(k)表示对信号k的傅里叶变换，abs(FFT(k))表示对FFT(k)取绝对值。

6.根据权利要求1至3任意一项所述基于骨传导振动与机器学习的智能输入方法，其特征在于，所述步骤S5中，每个手背位置采集预定数量的训练样本，提取对应的信号特征，将训练样本的信号特征及其标签作为训练集传送至神经网络分类模型进行训练，得到一个训练完的神经网路分类模型，然后对该神经网路分类模型输入一个振动信号，所述神经网路分类模型返回所述振动信号对应的手背位置，以实现用户的输入操作。

7.根据权利要求6所述基于骨传导振动与机器学习的智能输入方法，其特征在于，所述步骤S5的神经网路分类模型包括一层输入层、一层隐藏层以及一层输出层，所述输入层的节点个数为信号特征的总维数，所述隐藏层的节点个数为所述输入层节点个数的2倍，所述输出层的节点个数为用户需要的按键数目。

8.根据权利要求1至3任意一项所述基于骨传导振动与机器学习的智能输入方法，其特征在于，所述步骤S2中，采用巴特沃兹滤波器对采集的振动信号进行滤波降噪处理，使用截止频率为20hz的高通滤波滤除直流分量和低频噪音，使用截止频率为300hz的低通滤波滤除高频噪音。

9.根据权利要求1至3任意一项所述基于骨传导振动与机器学习的智能输入方法，其特征在于，所述步骤S2中，所述端点切段处理中，先对整段振动信号进行分帧处理，然后采用每帧信号的方差作为判断标准，当某一帧信号的方差超过给定阈值时，则认为敲击信号出现，取出该帧信号前后一定长度的信号作为端点切段后的振动信号。

10.一种基于骨传导振动与机器学习的智能输入系统，其特征在于，采用了如权利要求1至9任意一项所述的基于骨传导振动与机器学习的智能输入方法。

说明书

技术领域

本发明涉及一种智能输入方法，尤其涉及一种基于骨传导振动与机器学习的智能输入方法，并涉及采用了该基于骨传导振动与机器学习的智能输入方法的智能输入系统。

背景技术

目前，可穿戴智能感知设备迅速发展，其中智能手环和智能手表等手戴式设备也颇为流行，但由于其大小，成本等限制，手表的文本输入方式不够人性化，小小的屏幕导致了用户不能轻松的打字；而如今解决该问题的主要方法包括：传统键盘和语音识别。带上传统键盘会导致不够轻便笨重，而语音识别容易收到周围环境噪声的影响，且速度不够快，同时由于要保护隐私和顾及他人的感受，在公共场所也不好使用语音输入，而如今许多科研团队研究的手指跟踪等技术虽然也能实现打字功能，但由于操作不符合用户习惯且有速度慢的缺陷，并不能很好的解决文本输入不够便捷的问题。

发明内容

本发明所要解决的技术问题是需要提供一种更加简单便捷的文本输入的基于骨传导振动与机器学习的智能输入方法，并进一步提供采用了该基于骨传导振动与机器学习的智能输入方法的智能输入系统。

对此，本发明提供一种基于骨传导振动与机器学习的智能输入方法，包括以下步骤：

步骤S1，采集用户敲击手背的振动信号；

步骤S2，对采集的振动信号进行滤波降噪和端点切段处理；

步骤S3，对端点切段后的振动信号进行对齐处理；

步骤S4，对对齐处理后的振动信号进行信号特征提取；

步骤S5，将提取的特征组成训练集并传送至神经网络分类模型进行训练，得到一个训练完的神经网路分类模型。

本发明的进一步改进在于，所述步骤S3中，通过总体互相关法对端点切段后的振动信号进行对齐处理，所述对齐处理的具体操作是计算两个振动信号之间的偏移量，然后对当前的振动信号进行移动，移动完之后只取两个振动信号之间共有的完整部分。

发明的进一步改进在于，所述步骤S3中，通过公式 以及O(A,B)＝P(A,B)-n计算两个振动信号之间的偏移量O(A,B)，其中，a和b代表两个信号长度为n的振动信号，a(i)表示振动信号a的第i个点的振幅大小，b(i)表示振动信号b的第i个点的振幅大小，C(a,b)表示振动信号a和振动信号b的相关度；A表示对振动信号a两边长度为n的部分进行补零，进而获得的一个长度为3n的第一信号；B表示长度n的振动信号b；P(A,B)表示第一信号A中与第二信号B相关度最高的长度为n的信号位置；O(A,B)为计算所得的第一信号A与第二信号B之间的偏移量。

本发明的进一步改进在于，所述步骤S4中，提取对齐处理后的振动信号的功率谱密度特征，并将所述功率谱密度特征与对齐处理前振动信号的振幅特征共同作为提取的信号特征。

本发明的进一步改进在于，所述步骤S4中，通过公式 提取对齐处理后的振动信号的功率谱密度特征PSD，其中，f_s为振动信号的采样频率，n为信号长度，k表示信号长度为n的信号，FFT(k)表示对信号k的傅里叶变换，abs(FFT(k))表示对FFT(k)取绝对值。

本发明的进一步改进在于，所述步骤S5中，每个手背位置采集预定数量的训练样本，提取对应的信号特征，将训练样本的信号特征及其标签作为训练集传送至神经网络分类模型进行训练，得到一个训练完的神经网路分类模型，然后对该神经网路分类模型输入一个振动信号，所述神经网路分类模型返回所述振动信号对应的手背位置，以实现用户的输入操作。

本发明的进一步改进在于，所述步骤S5的神经网路分类模型包括一层输入层、一层隐藏层以及一层输出层，所述输入层的节点个数为信号特征的总维数，所述隐藏层的节点个数为所述输入层节点个数的2倍，所述输出层的节点个数为用户需要的按键数目。

本发明的进一步改进在于，所述步骤S2中，采用巴特沃兹滤波器对采集的振动信号进行滤波降噪处理，使用截止频率为20hz的高通滤波滤除直流分量和低频噪音，使用截止频率为300hz的低通滤波滤除高频噪音。

本发明的进一步改进在于，所述步骤S2中，所述端点切段处理中，先对整段振动信号进行分帧处理，然后采用每帧信号的方差作为判断标准，当某一帧信号的方差超过给定阈值时，则认为敲击信号出现，取出该帧信号前后一定长度的信号作为端点切段后的振动信号。

本发明还提供一种基于骨传导振动与机器学习的智能输入系统，采用了如上所述的基于骨传导振动与机器学习的智能输入方法。

与现有技术相比，本发明的有益效果在于：通过基于骨传导振动把手背当作一个虚拟键盘，并结合机器学习的神经网路分类模型，使得文本输入的识别率高且灵敏迅速，反应速度快，提高了手戴式设备的文本输入效率，提升了用户体验，本发明的交互方式新颖有趣且方便快捷，能够满足各种穿戴设备的使用环境需求，应用广泛。

附图说明

图1是本发明一种实施例的工作流程示意图；

图2是本发明一种实施例采用压电陶瓷振动传感器采集振动信号的原理图；

图3是本发明一种实施例采用压电陶瓷振动传感器采集振动信号的结构图；

图4是本发明一种实施例实现对齐处理前的效果仿真示意图；

图5是本发明一种实施例实现对齐处理后的效果仿真示意图；

图6是本发明一种实施例的神经网路分类模型示意图；

图7是本发明一种实施例的虚拟键盘的效果示意图。

具体实施方式

下面结合附图，对本发明的较优的实施例作进一步的详细说明。

如图1所示，本发明提供基于骨传导振动与机器学习的智能输入方法，包括以下步骤：

步骤S1，采集用户敲击手背的振动信号；

步骤S2，对采集的振动信号进行滤波降噪和端点切段处理；

步骤S3，对端点切段后的振动信号进行对齐处理；

步骤S4，对对齐处理后的振动信号进行信号特征提取；

步骤S5，将提取的特征组成训练集并传送至神经网络分类模型进行训练，得到一个训练完的神经网路分类模型。

如图7所示，本例通过骨传导振动原理实现在手背上进行输入，即把手背当作一个虚拟键盘(该虚拟键盘的按键可以是手背的任意一个位置)来实现用户的输入功能，手背面积足够大，机器学习的算法反应也足够灵敏迅速，解决了现有技术中面临的识别率差，文本输入慢，屏幕小难以输入的问题，同时，用手背来敲击作为输入的方式也能延伸出有许多有趣的应用。

本例的具体技术方案是：先使用振动传感器(可嵌入智能手表或智能手环等其他手戴智能设备中)采集手指敲击手背产生的振动信号，采集的原理图和结构图分别如图2和图3所示，经过滤波去噪和端点检测实现切段处理后，提取出用户的敲击信号(切段处理后的振动信号)；然后，采用总体互相关法(GCC)进行对切段处理后的信号(敲击信号)实现对齐处理，提取振幅与频率谱密度特征等信号特征；最后，让神经网络分类模型学习所采集到的信号特征与其对应的手背位置来训练出一个映射模型，之后采集到的振动信号就可以通过训练好的神经网络分类模型映射到对应的手背位置上，识别出用户敲击的是手背上哪个位置，进而可以让手背位置与键盘一一对应，以实现基于骨传导振动与机器学习的智能输入方法。

本例在进行预测时只需要将输入信号(振动信号或是处理后得到的敲击信号)放入至训练好的神经网络分类模型中，就能直接得到结果，所需的时间是线性的，反应十分灵敏，因此如果让手背位置与九宫格键盘一一对应，如图7所示，可以实现快速的文本输入，同时识别率经测试可以达到95％以上，可以很大的提升用户输入文本的体验。

本例所述步骤S1中，将压电陶瓷振动传感器(或其他可检测振动的传感器)嵌入至智能手表或其他手戴式智能设备，检测用户敲击手背的振动信号并将该信号转化为电信号，再将电信号转化为可供处理的数字信号，图2和图3所示的就是压电陶瓷振动传感器的原理图和结构图，压电陶瓷振动传感器因压电效应使内部极性产生变化，对外显示出电压的变化。

本例所述步骤S2中，采用巴特沃兹滤波器使用频段为20～300hz的带通滤波对采集的振动信号进行滤波降噪处理，更为具体的，本例使用截止频率为20hz的高通滤波滤除直流分量和低频噪音，使用截止频率为300hz的低通滤波滤除高频噪音。

本例所述步骤S2中，所述端点切段处理也称为端点检测处理，其处理过程为先对整段振动信号进行分帧处理，然后采用每帧信号的方差作为判断标准，当某一帧信号的方差超过给定阈值时，则认为敲击信号出现，取出该帧信号前后一定长度的信号作为端点切段后的振动信号，端点切段后的振动信号也称为敲击信号。该给定阈值可以根据用户的需求进行自定义设置，也可以根据样本的训练库中的数值作为参考值。

本例所述步骤S3中，通过总体互相关法(general cross correlation，GCC)对端点切段后的振动信号进行对齐处理，所述对齐处理的具体操作是计算两个振动信号之间的偏移量，然后对当前的振动信号进行移动，移动完之后只取两个振动信号之间共有的完整部分。本例所述对齐处理处理能够将所有振动信号对齐，有利于机器学习算法分类精度的提升，其对齐处理前和对齐处理后的仿真效果图如图4和图5所示。

本例所述步骤S3中，通过公式 以及O(A,B)＝P(A,B)-n计算两个振动信号之间的偏移量O(A,B)，其中，a和b代表两个信号长度为n的振动信号，a(i)表示振动信号a的第i个点的振幅大小，b(i)表示振动信号b的第i个点的振幅大小，C(a,b)表示振动信号a和振动信号b的相关度；A表示对振动信号a两边长度为n的部分进行补零，进而获得的一个长度为3n的第一信号；B表示长度n的振动信号b；P(A,B)表示第一信号A中与第二信号B相关度最高的长度为n的信号位置；O(A,B)为计算所得的第一信号A与第二信号B之间的偏移量。

本例所述步骤S4中，提取对齐处理后的振动信号的功率谱密度特征(powerspectral density,PSD)，并将所述功率谱密度特征与对齐处理前振动信号的振幅特征共同作为提取的信号特征。优选的，所述步骤S4中，通过公式 提取对齐处理后的振动信号的功率谱密度特征PSD，其中，f_s为振动信号的采样频率，n为信号长度，k表示信号长度为n的信号，FFT(k)表示对信号k的傅里叶变换，abs(FFT(k))表示对FFT(k)取绝对值。

本例所述步骤S5中，每个手背位置采集预定数量的训练样本，提取对应的信号特征，将训练样本的信号特征及其标签作为训练集传送至神经网络分类模型进行训练，得到一个训练完的神经网路分类模型，然后对该神经网路分类模型输入一个振动信号，所述神经网路分类模型返回所述振动信号对应的手背位置，以实现用户的输入操作。所述预定数量可以根据用户的需求进行自定义设置和调整，本例所述预定数量优选为30。

本例得到训练完的神经网路分类模型之后便可以利用该神经网路分类模型进行信息输入，通过智能设备实时检测振动信号，用户敲击手背会产生一个能量较大的振动信号，此时智能设备检测到该振动信号，取出该振动信号并对该振动信号滤波去噪、端点检测、GCC对齐以及信号特征提取，将该振动信号产生的信号特征作为神经网络分类模型的输入，得到神经网络分类模型返回的结果，该结果可包括训练时输入的分类标签，如位置；该结果即为用户敲击的手背位置。

如图6所示，本例所述步骤S5的神经网路分类模型包括一层输入层、一层隐藏层以及一层输出层，所述输入层的节点个数为信号特征的总维数，所述隐藏层的节点个数为所述输入层节点个数的2倍，所述输出层的节点个数为用户需要的按键数目。

一开始神经网络分类模型对于输入的振动信号会随机输出一个结果，该结果是一个1*N’的矩阵，即输出层N’个节点对应的数值，矩阵中的值随机。

对该神经网络分类模型进行训练：训练集中包括用户需要作为按键的手背位置振动信号特征以及对应的手背位置标签，即标签为手背位置，手背位置标签的表示形式为一个1*N’的矩阵，N’为所有需要作为按键的手背位置的总数，矩阵中每个元素对应一个手背位置，而一个振动信号对应的手背位置的标签中，对应该手背位置的元素数值为1，其他元素数值为0。

用训练集训练神经网络分类模型，该神经网络分类模型经过训练，对一个振动信号输出的结果会趋向于该振动信号对应的真实标签，因此对于一个新的振动信号，该训练好的模型会输出一个1*N’的矩阵，矩阵中数值最接近1的元素对应的手背位置既是所述振动信号对应的手背位置。

该神经网络分类模型的计算过程如下：每一层节点数值的计算公式为 式中x_i为前一层的第i个节点的值，w_ij为前一层第i个节点到后一层第j个节点连线的权值，a_j为前一层的偏置单元，N为前一层的节点数目，g(x)为激活函数，H_j即为后一层第j个节点的数值。其中，激活函数g(x)使用的是logsig函数，logsig函数(激活函数g(x))的公式为；e指自然常数，约为2.71828，x为任意实数，i和j分别用于表示节点数。

本例还提供一种基于骨传导振动与机器学习的智能输入系统，采用了如上所述的基于骨传导振动与机器学习的智能输入方法。

综上所述，本例通过基于骨传导振动把手背当作一个虚拟键盘，并结合机器学习的神经网路分类模型，使得文本输入的识别率高且灵敏迅速，反应速度快，提高了手戴式设备的文本输入效率，提升了用户体验，本发明的交互方式新颖有趣且方便快捷，能够满足各种穿戴设备的使用环境需求，应用广泛。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

基于骨传导振动与机器学习的智能输入方法及系统专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。