专利摘要

本发明涉及信息处理技术，其公开了一种基于声音信号识别键盘敲击内容的方法及系统。该方法通过利用声音信号采集装置搜集击键产生的声音信号，并对声音信号进行预处理，以达到进行单键及组合键的识别目的。所述方法包含的主要步骤主要包括：使用声音搜集装置以特定的布局在桌面搜集敲击键盘的声音信号，通过采用巴特沃斯等方法对收到的声音信号进行去噪；计算出每次击键的短时能量值并做归一化处理，将数值作为一个特征；计算两个麦克风采取收到的时间差作为另一个特征并与上一个特征进行融合；利用分类算法将特征进行分类，从而能够识别出单键敲击或组合键的敲击。

权利要求

1.一种利用声音信号检测键盘敲击内容的系统，其特征在于，包括：

信号接收端，用于接收敲击键盘产生的声音信号并进行预处理；

判断模块，用于根据接收端接收到的信息，根据特征进行之前训练的参数进行分类匹配，识别出所敲击的键；

反馈模块，将判断模块检测出的结果和已知的类别进行比对，如果出现偏差，进行校正，从而是判别算法更为精确；

显示模块，用来显示识别出的结果。

2.如权利要求1所述的利用声音信号检测键盘敲击内容的系统，其特征在于：所述信号接收端包括至少两个设置在不同位置的麦克风；所述根据特征进行之前训练的参数进行分类匹配包括根据不同麦克风输出的信号之间的差别，取得所述声音信号的特征参数，并将其与事先设置或训练的特征参数进行匹配；所述反馈模块包括将判断模块检测出的结果和已有的特征参数进行比对，如果二者的特征参数出现偏差，则对其进行校正。

3.如权利要求2所述的利用声音信号检测键盘敲击内容的系统，其特征在于：所述信号接收端包括两个设置在一个智能手机上的、通过树莓派方式连接在一起的、具有固定距离的麦克风。

4.如权利要求3所述的利用声音信号检测键盘敲击内容的系统，其特征在于：所述判断模块分别将每个麦克风接输出的音频信号进行处理，得到每个麦克风输出的能量最大的波峰段，分别对得到的波峰段进行归一化处理；分别取得两个波峰段之间的能量差和时间差，并将所述能量差和时间差形成一个向量，得到特征参数。

5.如权利要求4所述的利用声音信号检测键盘敲击内容的系统，其特征在于，所述反馈模块用于反馈针对分类识别的结果的响应信息，将本次击键的特征参数对应于该得到的击键位置，并加入现有的特征参数中。

6.一种利用声音信号检测键盘敲击内容的方法，其特征在于，包括如下步骤：

S1、信号接收端搜集敲击键盘产生的声音信号，并对声音信号进行预处理；包括通过至少两个设置位置相距设定距离的麦克风搜集敲击键盘产生的声音信号，并分别对每个麦克风输出的声音信号进行预处理；

S2、利用能量检测算法并提取出每个敲击动作的击键高峰的信号片段；包括利用能量检测算法分别并提取出每个麦克风输出的、一个击键动作产生的音频信号高峰的信号片段；

S3、计算每个敲击动作的短时能量归一化值并结合时间差值作为特征进行分类；包括分别计算每个得到的音频信号高峰的信号片段的短时能量归一化值，并将两个短时能量归一化值相减得到能量差；计算两个音频信号高峰的信号片段的时间差；将得到的时间差和能量差形成一个向量，得到特征参数；使用得到的特征参数在现有的特征参数中进行匹配，得到击键内容；

S4、反馈模块反馈针对识别结果的响应信息，调整分类算法的参数。

7.根据权利要求6所述的利用声音信号检测键盘敲击内容的方法，其特征在于：所述步骤S1中对声音信号进行的预处理，具体为：

S11、对每个麦克风采集并输出的信号，分别进行巴特沃斯滤波方法进行滤波；

S12、将上述经过滤波得到的信号减去环境背景信号，得到当前信号；其中，所述环境背景信号是一段无击键动作发生时采集的环境中的声音信号。

8.根据权利要求7所述的利用声音信号检测键盘敲击内容的方法，其特征在于：所述步骤S2中，利用能量检测算法检测并提取出每个敲击动作的声音片段包括：

S21、使用能量检测算法检测出一个击键动作产生的音频信号中所要分析的、能量值最大的敲击波峰；

S22、对识别出的敲击波峰后，通过将该波峰波形的能量值与一个设定的阈值比较，得到该敲击波峰的起始点和终止点。

9.根据权利要求8所述的利用声音信号检测键盘敲击内容的方法，其特征在于：所述步骤S3进一步包括：

S31、分别对有每个麦克风输出的敲击波峰的能量值进行归一化处理，得到其短时能量值；

S32、将两个短时能量值相减，得到本次击键的短时能量差；

S33、将两个敲击波峰的起始时间相减，得到本次击键的时间差；

S34、将得到的短时能量差和时间差按照设定的顺序放置在一起，得到一个向量，即本次击键的特征参数；

S35、将得到的本次击键的参数在已有的特征参数中进行匹配，确认与本次击键的特征参数最接近的已有特征参数，进而选择该已有的特征参数对应的击键位置为本次击键位置。

10.根据权利要求9所述的利用声音信号检测键盘敲击内容的方法，其特征在于：所述步骤S4进一步包括：确认本次击键的判断结果正确后，将本次击键的特征参数对应于该得到的击键位置，并加入现有的特征参数中。

说明书

技术领域

本发明涉及基于声音信号识别领域，尤其涉及一种利用声音信号检测键盘敲击内容的方法及系统。

背景技术

如今，随着各种信号检测系统的发展，键盘击键识别变得越来越重要。通过不同的信号检测，我们能够重现出敲击键盘的内容。随着信息安全技术的发展和人们对信息保密的要求越来越高，能够检测信号的同时做好反检测，正是当下所要考虑的。在做好检测击键行为的同时，设计出更好地方式来保护人的隐私。现有的室内环境中，击键所产生的声音，手势对室内WiFi信号的影响及击键动力方面的研究都可以被作为窃听的技术，从技术原理上研究键盘识别技术，从而更好地防止击键行为被窃听。

现有键盘识别系统主要可以分为两个方面，其一，根据击键动力学获取个人敲击键盘的特征进行个人身份的认证；其二，采用声音，WiFi，光等信号进行键盘敲击内容的识别。第二种的研究方面又可以分为以下几类。(1)基于WiFi信号，采用CSI技术进行键盘敲击内容的识别。如Wikey,(2)基于声音信号等进行敲击键盘内容的识别.Context-free，通过捕捉声音信号进行键盘布局的重构。

以上的方法，要么需要采用专用的信号采集技术且对环境的条件要求比较高，要么需要的检测设备数量比较高且计算成本较高，不具有普适性。

发明内容

为了克服上述所指的现有技术中的不足之处，本发明提供一种利用声音信号检测键盘敲击内容的方法及系统，以在特定的布局中，通过利用分析采集过来的声音信号，实现对击键内容的识别，且整个过程耗费的时间及计算资源相对之前的方法较少。

本发明是通过以下技术方案实现的：

一种基于声音信号检测键盘敲击动作的系统，其包括：

S1、声音搜集装置搜集敲击键盘产生的声音信号，并对声音信号进行预处理；

S2、利用能量检测算法并提取出每个敲击动作的击键高峰的信号片段；

S3、计算每个敲击动作的短时能量归一化值并结合时间差值作为特征进行分类

S4、反馈针对识别结果的响应信息，调整分类算法的参数，进一步提升准确性。

作为本发明的进一步改进：所述信号接收端包括至少两个设置在不同位置的麦克风；所述根据特征进行之前训练的参数进行分类匹配包括根据不同麦克风输出的信号之间的差别，取得所述声音信号的特征参数，并将其与事先设置或训练的特征参数进行匹配；所述反馈模块包括将判断模块检测出的结果和已有的特征参数进行比对，如果二者的特征参数出现偏差，则对其进行校正。

作为本发明的进一步改进：所述信号接收端包括两个设置在一个智能手机上的、通过树莓派方式连接在一起的、具有固定距离的麦克风。

作为本发明的进一步改进：所述判断模块分别将每个麦克风接输出的音频信号进行处理，得到每个麦克风输出的能量最大的波峰段，分别对得到的波峰段进行归一化处理；分别取得两个波峰段之间的能量差和时间差，并将所述能量差和时间差形成一个向量，得到特征参数。

作为本发明的进一步改进：所述反馈模块用于反馈针对分类识别的结果的响应信息，将本次击键的特征参数对应于该得到的击键位置，并加入现有的特征参数中。

另外，本发明还提供了一种基于声音信号进行键盘识别的方法，包括如下步骤：

S1、信号接收端搜集敲击键盘产生的声音信号，并对声音信号进行预处理；包括通过至少两个设置位置相距设定距离的麦克风搜集敲击键盘产生的声音信号，并分别对每个麦克风输出的声音信号进行预处理；

S2、利用能量检测算法并提取出每个敲击动作的击键高峰的信号片段；包括利用能量检测算法分别并提取出每个麦克风输出的、一个击键动作产生的音频信号高峰的信号片段；

S3、计算每个敲击动作的短时能量归一化值并结合时间差值作为特征进行分类；包括分别计算每个得到的音频信号高峰的信号片段的短时能量归一化值，并将两个短时能量归一化值相减得到能量差；计算两个音频信号高峰的信号片段的时间差；将得到的时间差和能量差形成一个向量，得到特征参数；使用得到的特征参数在现有的特征参数中进行匹配，得到击键内容；

S4、反馈模块反馈针对识别结果的响应信息，调整分类算法的参数。

作为本发明的进一步改进：所述步骤S1中对声音信号进行的预处理，具体为：

S11、对每个麦克风采集并输出的信号，分别进行巴特沃斯滤波方法进行滤波；

S12、将上述经过滤波得到的信号减去环境背景信号，得到当前信号；其中，所述环境背景信号是一段无击键动作发生时采集的环境中的声音信号。

作为本发明的进一步改进：所述步骤S2中，利用能量检测算法检测并提取出每个敲击动作的声音片段包括：

S21、使用能量检测算法检测出一个击键动作产生的音频信号中所要分析的、能量值最大的敲击波峰；

S22、对识别出的敲击波峰后，通过将该波峰波形的能量值与一个设定的阈值比较，得到该敲击波峰的起始点和终止点。

作为本发明的进一步改进：所述步骤S3进一步包括：

S31、分别对有每个麦克风输出的敲击波峰的能量值进行归一化处理，得到其短时能量值；S32、将两个短时能量值相减，得到本次击键的短时能量差；

S33、将两个敲击波峰的起始时间相减，得到本次击键的时间差；

S34、将得到的短时能量差和时间差按照设定的顺序放置在一起，得到一个向量，即本次击键的特征参数；

S35、将得到的本次击键的参数在已有的特征参数中进行匹配，确认与本次击键的特征参数最接近的已有特征参数，进而选择该已有的特征参数对应的击键位置为本次击键位置。

作为本发明的进一步改进：所述步骤S4进一步包括：确认本次击键的判断结果正确后，将本次击键的特征参数对应于该得到的击键位置，并加入现有的特征参数中。

本发明的有益效果是：本发明利用声音检测的优点，设计出了一种基于声音检测的键盘敲击系统，并使用改进的算法和校正模块能够更准确对声音进行识别；本发明的声音信号的键盘击键检测的处理过程，首先根据将接收端的信号进行预处理，并结合时间差另外的这一特征，使用机器学习的分类算法判断击键内容，再通过人工和算法的不断的校正，达到更为精确的识别；本发明可以满足对所击键的内容进行分类识别，识别稳定性好。

附图说明

附图1为本发明的一种实施例的基于声音检测键盘敲击内容的系统配置示意图；

附图2为本发明的基于声音检测键盘敲击内容的方法的数据处理实时流程简图；

附图3为本发明的一种基于声音检测键盘敲击内容的系统实现控制流程图；

具体实施方式

为了便于本领域技术人员的理解，下面结合附图和实例对本发明作进一步的描述。

一种基于声音信号检测键盘敲击内容的方法，其步骤包括：

S1、声音搜集装置搜集敲击键盘产生的声音信号，并对声音信号进行预处理；

S2、利用能量检测算法并提取出每个敲击动作的击键高峰的信号片段；

S3、计算每个敲击动作的短时能量归一化值并结合时间差值作为特征进行分类

S4、反馈针对识别结果的响应信息，调整分类算法的参数，进一步提升准确性。

具体地，在步骤S1中，所述声音搜集装置可以是现有的智能手机，装置在树莓派上的麦克风等，其必须携带两个麦克风且两个麦克风的相对位置保持不变，将键盘与声音搜集装置放置在同一水平面上且保持平行，两者之间相距一定的距离，并且在步骤S1中，每次搜集信号键盘与手机的位置保持相对固定。

请参阅图1，其示出了本实施例中一种情况下上述键盘和检测装置之间的位置关系；在本实施例中，通过至少两个设置位置相距设定距离的麦克风搜集敲击键盘产生的声音信号，并分别对每个麦克风输出的声音信号进行预处理；然后利用能量检测算法分别并提取出每个麦克风输出的、一个击键动作产生的音频信号高峰的信号片段；实现上述步骤后，分别计算每个得到的音频信号高峰的信号片段的短时能量归一化值，并将两个短时能量归一化值相减得到能量差；计算两个音频信号高峰的信号片段的时间差；将得到的时间差和能量差形成一个向量，得到特征参数；使用得到的特征参数在现有的特征参数中进行匹配，得到击键内容；最后，依据本次识别的识别结果的响应信息，对上述现有的特征参数进行调整。

在本实施例中，对声音信号进行的预处理，具体为：对每个麦克风采集并输出的信号，分别进行巴特沃斯滤波方法进行滤波；然后将上述经过滤波得到的信号减去环境背景信号，得到当前信号；其中，所述环境背景信号是一段无击键动作发生时采集的环境中的声音信号。

而利用能量检测算法检测并提取出每个敲击动作的声音片段包括：使用能量检测算法检测出一个击键动作产生的音频信号中所要分析的、能量值最大的敲击波峰；之后，对识别出的敲击波峰后，通过将该波峰波形的能量值与一个设定的阈值比较，得到该敲击波峰的起始点和终止点。

在本实施例中，计算每个敲击动作的短时能量归一化值并结合时间差值作为特征进行分类具体为：分别对有每个麦克风输出的敲击波峰的能量值进行归一化处理，得到其短时能量值；然后，将两个短时能量值相减，得到本次击键的短时能量差；再将两个敲击波峰的起始时间相减，得到本次击键的时间差；之后，将得到的短时能量差和时间差按照设定的顺序放置在一起，得到一个向量，即本次击键的特征参数；最后将得到的本次击键的参数在已有的特征参数中进行匹配，确认与本次击键的特征参数最接近的已有特征参数，进而选择该已有的特征参数对应的击键位置为本次击键位置。

在本实施例中，对于已有的特征参数的调整包括：确认本次击键的判断结果正确后，将本次击键的特征参数对应于该得到的击键位置，并加入现有的特征参数中。

在本实施例中，从一个角度来讲，所述步骤S2是利用能量检测方法判断出敲击波峰并提取出完整的整个敲击动作的信号片段：

S21、一个敲击动作存在三个波峰，根据能量检测算法检测出所要分析的敲击波峰；

S22、对识别出的敲击波峰后，通过一个阈值来判断敲击的起始点和终止点作为本发明的进一步改进：所述步骤S3包括：

S31、为了使得整个键盘敲击的识别准确率更高，引入时间差作为每次敲击的另外一个特征并将两个特征进行融合；

S32、为了将分类匹配算法更为准确，引入性能更优的神经网络算法进行分类匹配，识别出每次的敲击；

本发明的基于声音信号检测键盘的方法还包括：反馈针对识别结果的响应信息，调整匹配算法的模型。

具体地，如附图2所示，本发明提供了一种实施例的基于声音信号检测敲击键盘的实现流程，求步骤包括：

S301、双手以正常的敲击速度敲击键盘上键；

S302、在信号采集阶段，进行信号的搜集并采用巴特沃斯方法进行滤波及白噪声去除的方式去除噪声；

S303、采用常见的分段算法，对获取到信号进行分割，以截取敲击动作的信号片段；

S304、计算两个麦克风获取的同一按键的短时能量值，并求出两者的短时能量差值

S305、进行多组实验，以求出多组能量差值并做归一化处理，并将此数值作为一个特征；

S306、计算两个麦克风获取同一信号片段的时间差值，并将作为一个特征与能量值进行融合；

S307、将以上两个特征作为一组向量值，利用神经网络算法进行分类；

S308、从而识别出单个键以及组合键。

在一实施例中，一种基于声音信号进行键盘识别的系统，包括：

信号接收端，用于接收敲击键盘产生的声音信号并进行预处理；

判断模块，用于根据接收端接收到的信息，根据特征进行之前训练的参数进行分类匹配，识别出所敲击的键；

反馈模块，将判断模块检测出的结果和已知的类别进行比对，如果出现偏差，进行校正，从而是判别算法更为精确；

显示模块，可利用手机端的显示屏或者其他显示模块，用来显示识别出的结果。

所述信号接收端用于接收敲击键盘所产生的声音信号,包括但不限于智能手机及树莓派链接的麦克风系统。

所述判断模块中，根据接收端接收到信息，将能量归一化后值及时间差作为特征，调整参数后，利用分类算法进行更好的匹配。

所述反馈模块用于反馈针对分类识别的结果的响应信息，调整分类算法模型。

所述判断模块采用以下步骤进行键的识别：

321，采用统计学习理论，预先建立起以设定空间内由于键盘敲击的特性不通所导致声音信号变化的模式作为训练样本的模型；

322，用于两个麦克风接收到能量差值和时间差值作为特征值输入到训练样本的模型中，从而得出目标键的类别。利用单一移动终端(如手机)即可实现上述键盘按键的识别。

以上内容是结合具体的优选方式对本发明所作的进一步详细说明，不应认定本发明的具体实施只局限于以上说明。对于本技术领域的技术人员而言，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，均应视为由本发明所提交的权利要求确定的保护范围之内。

利用声音信号检测键盘敲击内容的系统及方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。