专利摘要

专利摘要

本发明公开了一种面向听障人士的辅助发音学习方法，包括以下步骤：通过学习者拾音‑反馈通道采集学习者发音部位发出的发音音素信息；模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息；在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息；转换所述学习者特征信息为学习者振动信息，转换所述标准音素信息为标准振动信息，分别将所述学习者振动信息、所述标准振动信息反馈至所述学习者拾音‑反馈通道；分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位，利于学习者纠正自我发音，提高发音学习的效率，提高发音学习的准确率。

权利要求

1.一种面向听障人士的辅助发音学习方法，其特征在于，包括以下步骤：

通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息；

模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息；

在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息；

转换所述学习者特征信息为学习者振动信息，转换所述标准音素信息为标准振动信息，分别将所述学习者振动信息、所述标准振动信息反馈至所述学习者拾音-反馈通道；

分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位；

所述模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息的步骤，包括：

模数转换处理所述发音音素信息为音素数字信号，将所述音素数字信号从时域变换到频域以获得音素频谱图；

提取所述音素频谱图中的学习者特征信息，其中所述学习者特征信息包括语音基频信息和音素特征峰信息；

所述学习者拾音-反馈通道为数个，所述学习者发音部位为数个，各个所述学习者拾音-反馈通道分别与各个所述学习者发音部位一一对应；所述学习者拾音-反馈通道为：喉音通道、颚音通道、唇音通道和总通道；所述发音部分为：喉咙部位、下颚部位、唇部和面部；

所述分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位的步骤，包括：

转换数个所述学习者振动信息为数个所述学习者振动信息分别对应的学习者振动动作，各个所述学习者振动动作分别与各个所述学习者发音部位一一对应；

各个所述学习者振动动作分别振动对应的所述学习者发音部位；

转换数个所述标准振动信息为数个标准振动信息分别对应的标准振动动作，各个所述标准振动动作分别与各个所述学习者发音部位一一对应；

各个所述标准振动动作分别振动对应的所述学习者发音部位。

2.根据权利要求1所述的面向听障人士的辅助发音学习方法，其特征在于，所述在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息的步骤之后，还包括：

显示所述学习者特征信息与所述标准音素信息的对比分析结果。

3.根据权利要求1所述的面向听障人士的辅助发音学习方法，其特征在于，所述通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息的步骤之后，还包括：

对所述发音音素信息进行降噪处理。

4.一种执行如权利要求1至3任一项所述方法的面向听障人士的辅助发音学习系统，其特征在于，包括：

采集模块，用于通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息；

提取模块，用于模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息；

匹配模块，用于在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息；

转换模块，用于转换所述学习者特征信息为学习者振动信息，转换所述标准音素信息为标准振动信息，分别将所述学习者振动信息、所述标准振动信息反馈至所述学习者拾音-反馈通道；

振动模块，用于分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位。

5.根据权利要求4所述的面向听障人士的辅助发音学习系统，其特征在于，还包括：

显示模块，用于显示所述学习者特征信息与所述标准音素信息的对比分析结果。

6.一种面向听障人士的辅助发音学习装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述方法的步骤。

7.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。

说明书

技术领域

本发明属于语音处理技术领域，尤其涉及一种面向听障人士的辅助发音学习方法及其系统。

背景技术

听障人士学习汉语的发音，通常由教授者描述发声方法，让学习者观察教授者的唇形、用手指触摸发声部位等方式进行感知学习。

由于听障人士没有听觉的反馈，学习者无法自己感知自己的发音，需要教授者通过手势、文字、视频等方式进行间接描述，告知学习者其学习效果；这种教学方式，耗费时间较长，教学效率低，而且学习者的理解能力受到教授者表达方式的限制，教学效果较差。

发明内容

有鉴于此，本发明实施例提供了一种面向听障人士的辅助发音学习方法及其系统，可以解决上述教学效率低、教学效果较差的问题。

本发明实施例的第一方面提供了一种面向听障人士的辅助发音学习方法，包括以下步骤：通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息；模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息；在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息；转换所述学习者特征信息为学习者振动信息，转换所述标准音素信息为标准振动信息，分别将所述学习者振动信息、所述标准振动信息反馈至所述学习者拾音-反馈通道；分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位。

本发明实施例的第一方面的第一种可能实现的方式中，所述模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息的步骤，包括：模数转换处理所述发音音素信息为音素数字信号，将所述音素数字信号从时域变换到频域以获得音素频谱图；提取所述音素频谱图中的学习者特征信息，其中所述学习者特征信息包括语音基频信息和音素特征峰信息。

本发明实施例的第一方面的第二种可能实现的方式中，所述学习者拾音-反馈通道为数个，所述学习者发音部位为数个，各个所述学习者拾音-反馈通道分别与各个所述学习者发音部位一一对应。

结合本发明实施例的第一方面的第二种可能实现的方式，在本发明实施例的第三种可能实现的方式中，所述分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位的步骤，包括：转换数个所述学习者振动信息为数个所述学习者振动信息分别对应的学习者振动动作，各个所述学习者振动动作分别与各个所述学习者发音部位一一对应；各个所述学习者振动动作分别振动对应的所述学习者发音部位；转换数个所述标准振动信息为数个标准振动信息分别对应的标准振动动作，各个所述标准振动动作分别与各个所述学习者发音部位一一对应；各个所述标准振动动作分别振动对应的所述学习者发音部位。

本发明实施例的第一方面的第四种可能实现的方式中，所述在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息的步骤之后，还包括：显示所述学习者特征信息与所述标准音素信息的对比分析结果。

本发明实施例的第一方面的第五种可能实现的方式中，所述通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息的步骤之后，还包括：对所述发音音素信息进行降噪处理。

本发明实施例的第二方面提供了一种面向听障人士的辅助发音学习系统，包括：采集模块，用于通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息；提取模块，用于模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息；匹配模块，用于在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息；转换模块，用于转换所述学习者特征信息为学习者振动信息，转换所述标准音素信息为标准振动信息，分别将所述学习者振动信息、所述标准振动信息反馈至所述学习者拾音-反馈通道；振动模块，用于分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位。

本发明实施例的第二方面的第一种可能实现的方式中，还包括：显示模块，用于显示所述学习者特征信息与所述标准音素信息的对比分析结果。

本发明实施例的第三方面提供了一种面向听障人士的辅助发音学习系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述面向听障人士的辅助发音学习方法的步骤。

本发明实施例的第四方面提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述面向听障人士的辅助发音学习方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：

本发明实施例通过采集学习者发音部位的发音音素信息，将其转换为振动信息反馈至学习者拾音-反馈通道，并且将学习者的发音音素信息对应的标准音素信息转换的振动信息反馈至学习者拾音-反馈通道，另外不同发音音素信息对应不同的振动信息，学习者通过学习者发音部位的振动，可以直观地感受到发音的来源、振动频率和振动强度等反馈信息，学习者可以准确地辨别自己发出的音素信息和标准音素信息产生偏差的位置和原因；利于学习者纠正自我发音，提高发音学习的效率，提高发音学习的准确率，进而提高教学效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明提供的所述的面向听障人士的辅助发音方法的第一实施例的流程示意图；

图2示出了本发明提供的所述的面向听障人士的辅助发音方法的第二实施例的流程示意图；

图3示出了本发明提供的所述的面向听障人士的辅助发音方法的第三实施例的流程示意图；

图4示出了本发明实施例提供的不同音素的特征图与语音采集单元频段分配示意图；

图5示出了本发明实施例提供的/ā/音的声音采集振动曲线和频谱图；

图6示出了本发明实施例提供的/ā/音在不同通道的频谱分析图；

图7示出了本发明实施例提供的/f/音的声音采集振动曲线和频谱图；

图8示出了本发明实施例提供的/f/音在不同通道的频谱分析图；

图9示出了本发明实施例提供的“暴风”音的声音采集振动曲线图；

图10是本发明提供的面向听障人士的辅助发音学习系统的第一实施例的结构示意图；

图11是本发明提供的面向听障人士的辅助发音学习系统的第二实施例的结构示意图；

图12是本发明提供的面向听障人士的辅助发音学习系统的第三实施例的结构示意图；

图13是本发明提供的面向听障人士的辅助发音学习系统的第四实施例的结构示意图；

图14是本发明提供的面向听障人士的辅助发音学习系统的第五实施例的结构示意图；

图15是本发明一实施例提供的面向听障人士的辅助发音学习系统的示意图；

图16是本发明一实施例提供的面向听障人士的辅助发音学习系统的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

本发明实施例公开了一种面向听障人士的辅助发音学习方法及其系统。

请参阅图1，图1示出了本发明提供的所述的面向听障人士的辅助发音学习方法的第一实施例的流程示意图；具体地：

S101，通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息；

学习者是指学习音素发音的听障人士，音素是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个动作构成一个音素。音素分为元音与辅音两大类。如汉语音节ā(啊)只有一个音素，ài(爱)有两个音素，dāi(呆)有三个音素等。

所述学习者拾音-反馈通道为数个，所述学习者发音部位为数个，可选地，各个所述学习者拾音-反馈通道分别与各个所述学习者发音部位一一对应。

数个发音部位可以为喉咙部位、下颚部位、唇部、面部中的至少一种。不同的学习者发音部位可以分别对应设置学习者拾音-反馈通道。喉咙部位可以对应设置喉音通道，下颚部位可以对应设置颚音通道，唇部可以对应设置唇音通道，面部可以对应设置总通道。

进一步地，所述学习者拾音-反馈通道分别与各个所述学习者发音部位不是一一对应的情况下也可实现。

数个所述学习者拾音-反馈通道可以为喉音通道、颚音通道、唇音通道、总通道中的至少一种，总通道可以辅助喉音通道、颚音通道和唇音通道；也可以为喉音通道、颚音通道、唇音通道中的任意两种以上的通道。

可以分别在不同的学习者拾音-反馈通道设置语音采集装置采集不同学习者发音部位的语音，也可以在面部设置语音采集装置如总麦采集全部的声音信息，用于辅助其余部位的语音采集。

可以通过在学习者拾音-反馈通道中设置拾音器采集学习者发音部位发出的发音音素信息；具体地：在喉音通道可以采用喉头麦如骨传导拾音器采集喉咙部位的声带振动信息、元音信息；在颚音通道可以采集下颚部位的元音信息和辅音信息；在唇音通道可以采集唇部的爆破音信息和摩擦音信息；还可以在总通道通过全麦或总麦采集面部如靠近嘴唇的部分的全部语音信息。其中拾音器可以是全指向拾音器、定向拾音器、骨传导拾音器或风噪感知传感器。相比于传统录音设备采用单通道或双通道拾音方法，容易造成对发音细节识别不准确。本发明实施例通过对数个学习者发音部位进行识别，分别在贴近喉头、下颚、唇部采集其发音音素信息，能够做到对音素的精准识别。

结合图4，图4示出了本发明实施例提供的不同音素的特征图与语音采集单元频段分配示意图，其中图4中，41为喉音通道采音频率区域；42为颚音通道采音频率区域；43为唇音通道采音频率区域；44总麦采音频率区域；

不同的音素的频率和响度区域如图4所示。方框中是不同学习者拾音-反馈通道所采集到的频率区间。音素中的元音需要声带振动发声且频率较低，所以使用骨传导喉头麦能够很好地采集这部分频段的声音；音素中的爆破音、摩擦音频率很高且由嘴唇发出，因此可以使用唇麦进行采集；其它发音音素则可以由下颚麦采集；总麦可以采集所有的声音信息。

人类发音的音素具有不同的频率区间，比如/ā/、/ō/、/ē/、/ī/、/ū/、/ǖ/等元音，具有较低的声音频率，且由气管发声，因此可以被位于喉咙部位的喉音通道拾音器采集，位于下颚部位的颚音通道拾音器也可以采集到，但信号强度不如喉音通道，而位于唇部的唇音通道拾音器，由于只收集高频的摩擦音和风噪，因此唇音通道信号很弱。

如/m/、/n/、/ng/等辅音，具有更低的频率区间，且发音时嘴唇闭合，因此喉音通道的信号最强，唇音通道几乎无信号。

如/f/、/k/等清辅音，声带不发声，因此喉音通道无信号，颚音通道信号微弱，唇音通道信号最强。

如/g/、/b/等浊辅音和爆破音，则喉音通道、颚音通道、唇音通道均有信号。

作为本发明一具体实施例，结合图5，图5示出了本发明实施例提供的/ā/音的声音采集振动曲线和频谱图，其中51为全麦振动信号；52为喉音通道振动信号；53为颚音通道振动信号；54为唇音通道振动信号；55为全麦信号频谱；56为喉音通道信号频谱；57为颚音通道信号频谱；58为唇音通道信号频谱。

从图5中可以看出，喉音通道记录了清晰的声带振动信息，颚音通道记录了声音在口腔共鸣后的振动信息，由于/ā/音在高频区域强度较低，风噪很小，因此唇音通道信号很弱。

图6为本发明实施例提供的/ā/音在不同通道的频谱分析图，其中，61为全麦信号频谱；62为喉音通道信号频谱；63为颚音通道信号频谱；64为唇音通道信号频谱。

图6进一步说明了此发音的特点。因此/ā/音在喉音通道、颚音通道、唇音通道所采集到的信号强度大致为：强-强-弱。

作为本发明另一具体实施例，结合图7，图7示出了本发明实施例提供的/f/音的声音采集振动曲线和频谱图，其中，71为全麦振动信号；72为喉音通道振动信号；73为颚音通道振动信号；74为唇音通道振动信号；75为全麦信号频谱；76为喉音通道信号频谱；77为颚音通道信号频谱；78为唇音通道信号频谱。从图7中可以看出，由于/f/为清辅音，声带不振动，因此喉音通道无振动信息，颚音通道也几乎无信号。唇音通道记录了/f/音的信号。

图8为本发明实施例提供的/f/音在不同通道的频谱分析图，其中，81为全麦信号频谱；82为喉音通道信号频谱；83为颚音通道信号频谱；84唇音通道信号频谱。图8进一步说明了此发音的特点。因此/f/音在喉音通道、颚音通道、唇音通道所采集到的信号强度大致为：弱-弱-强。

作为本发明又一具体实施例，结合图9，图9为本发明实施例提供的“暴风”音的声音采集振动曲线图，其中91为喉音通道振动信号；92为颚音通道振动信号；93为唇音通道振动信号。

表1所示为三通道在“暴风”音中记录的振动强度，表示了连续音素下三个通道所记录的振动强度。

表1三通道在“暴风”音中记录的振动强度

S102，模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息；

其中学习者特征信息包括语音基频信息和音素特征峰信息；

可以采用模拟/数字转换器(A/D转换器)将所述发音音素信息转换处理为音素数字信号，其中所述发音音素信息为拾音器采集的模拟信号。

当采集数个学习者发音部位的发音音素信息时，分别对各个所述发音音素信息进行模数转换处理，分别提取各个学习者发音部位对应的各个学习者特征信息。

具体地，S102包括，

S1021，模数转换处理所述发音音素信息为音素数字信号，将所述音素数字信号从时域变换到频域以获得音素频谱图；

S1022，提取所述音素频谱图中的学习者特征信息，其中所述学习者特征信息包括语音基频信息和音素特征峰信息。

当采集数个学习者发音部位的发音音素信息时，分别将各个所述音素数字信号从时域变换到频域以获得各个音素频谱图；从各个所述音素频谱图中提取共同的学习者特征信息，所述学习者特征信息包括语音基频信息和音素特征峰。

S103，在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息；

预设的发音音素集可以为采集教授者的发音音素获得的教授者发音音素集；也可以是直接采集教授者指导学习者学习时，实时发出的发音音素获得的实时发音音素集，此时，教授者发出的发音音素应为学习者发出的同一发音音素。

预设的发音音素集还可以是通过采集不同年龄、不同性别、不同音色的发音者发出的音素，建立的标准发音音素集。

当预设的发音音素集为教授者发音音素集时，此时可以采集学习者的发音音素信息，在教授者发音音素集中匹配对应的标准音素信息。

当预设的发音音素集为实时发音音素集时，教授者发出的发音音素作为学习者的发音音素信息对应的标准音素信息。

当预设的发音音素集为标准发音音素集时，此时可以采集学习者的发音音素信息，与标准发音音素集进行匹配，不需要教授者的参与，节省教学资源，学习者可以自主学习，纠正自己的发音。

S104，转换所述学习者特征信息为学习者振动信息，转换所述标准音素信息为标准振动信息，分别将所述学习者振动信息、所述标准振动信息反馈至所述学习者拾音-反馈通道；

将音素信息转换为振动信息，并反馈至学习者发音部位。每一音素信息对应特定的不同的学习者拾音-反馈通道组合的振动信息。

S105，分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动学习者发音部位。

振动动作包括振动的位置、振动频率、振幅、时间差等；每一音素信息都对应特定的振动动作。

将学习者振动信息、标准振动信息分别转换为振动动作，振动学习者发音部位，让学习者感受到自己发出的音素引起的振动感，以及标准音素引起的振动感；让学习者感受到自己的发出的发音音素与标准音素的区别。

将采集的学习者发音部位发出的发音音素信息最终转换为振动动作，振动学习者发音部位，可以让学习者直观地感受到声音的来源、振动频率和振动强度，更直观地感受到自己发出的音素和标准音素产生偏差的位置和原因。

如元音发音不准确，学习者会在喉咙部位感受到自己发音音素和标准音素的反馈不同；如摩擦音发音不准确，学习者会在唇部感受到自己发音音素和标准音素的反馈不同。

而且由于生理结构差异，不同学习者的发音音色可能存在不同，本发明实施例通过将采集的学习者发音音素信息转换为振动信息，可以忽略不同的学习者发音音色，将不同学习者的发出的同一音素信息，统一为同一种振动基准频率，可以简化学习成本。

具体地，S105包括，

S1051，转换数个所述学习者振动信息为数个所述学习者振动信息分别对应的学习者振动动作，各个所述学习者振动动作分别与各个所述学习者发音部位一一对应；

S1052，各个所述学习者振动动作分别振动对应的所述学习者发音部位；

在各个学习者拾音-反馈通道分别设置振动装置，可以分别对应喉咙部位、下颚部位、唇部各放置振动装置，学习者根据振动装置的振动，感知自己发出的语音音素。其中振动装置可以为转子振动马达、线性马达、骨传导扬声器、微型扬声器等，可以根据适用场景，选用不同的振动装置。

S1053，转换数个所述标准振动信息为数个标准振动信息分别对应的标准振动动作，各个所述标准振动动作分别与各个所述学习者发音部位一一对应；

每一标准音素信息对应特定的标准振动信息，进而对应特定的不同学习者发音-反馈通道组合的标准振动动作。

如学习者发元音时声带振动最强，那么元音的振动组合可以设置为喉音通道震感最强，且振动频率与学习者所发元音频率相等。若学习者发摩擦音时只有嘴唇发出声音，则唇音通道会发出高频振动，其它通道不振动；则摩擦音的振动组合可以设置为唇音通道震感最强，且振动频率与学习者所发摩擦音频率相等。以此将学习者的发音转换为振动信息反馈至学习者。

学习者可以感受到自己的发音与标准音振动反馈的不同，这样学习者可以自我练习，纠正自己的发音。直到学习者的发音十分接近标准音时，学习者的的振动反馈与标准音的振动反馈相同，则学习者会感知到自己的发音已经正确。

S1054，各个所述标准振动动作分别振动对应的所述学习者发音部位。

作为本发明又一具体实施例，表2为标准“暴风”音在不同通道的振动反馈情况。

表2标准“暴风”音的在不同通道的振动强度与频率

本发明实施例通过采集学习者发音部位的发音音素信息，将其转换为振动信息反馈至学习者拾音-反馈通道，并且将学习者的发音音素信息对应的标准音素信息转换的振动信息反馈至学习者拾音-反馈通道，另外不同发音音素信息对应不同的振动信息，学习者通过学习者发音部位的振动，可以直观地感受到发音的来源、振动频率和振动强度等反馈信息，学习者可以准确地辨别自己发出的音素信息和标准音素信息产生偏差的位置和原因；利于学习者纠正自我发音，提高发音学习的效率，提高发音学习的准确率，进而提高教学效果。

本发明实施例还可以通过采集数个学习者发音部位的发音音素信息，提取各个所述发音音素信息共同的学习者特征信息，转换为振动动作反馈至学习者的拾音-反馈通道，增加反馈的准确率。

结合图2，图2示出了本发明提供的所述的面向听障人士的辅助发音学习方法的第二实施例的流程示意图，在S103之后，还包括，

S106，显示所述学习者特征信息与所述标准音素信息的对比分析结果。

其中对比分析结果可以包括发音相似度、发音改进方法、发音解剖图、发音口腔示意图、指示发音偏差的原因如错误口型的位置，发音的波形对照等。

可以在显示器上显示对比分析结果；学习者可以通过显示器显示的信息，进一步改进提高学习效率。

此时，本发明实施例通过图像和振动的方式反馈给学习者，提高学习者的学习效率，提高教学效果。

结合图3，图3示出了本发明提供的所述的面向听障人士的辅助发音学习方法的第三实施例的流程示意图，在S101之后，还包括，

S107，对所述发音音素信息进行降噪处理。

对采集的所述发音音素信息进行降噪处理，滤除环境噪音或杂音，利于后续的模数转换处理。

当采集学习者不同发音部位发出的发音音素信息时，各个学习者拾音-反馈通道的拾音器所采集到的音频范围可能会大于所需的音频区间，可以分别对采集的各个发音音素信息进行降噪处理，可以通过数字滤波的方法过滤掉不需要的音频信息，提取有效信息，有效信息是指降噪处理后的发音音素信息。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明实施例中，还提供了一种面向听障人士的辅助发音学习系统，所述面向听障人士的辅助发音学习系统包括各模块用于执行图1对应的实施例中的各步骤。具体请参阅图1对应的实施例中的相关描述。

图10是本发明提供的面向听障人士的辅助发音学习系统的第一实施例的结构示意图。如图10所示，该实施例的一种面向听障人士的辅助发音学习系统2包括：

采集模块21，用于通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息；

提取模块22，用于模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息；

匹配模块23，用于在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息；

转换模块24，用于转换所述学习者特征信息为学习者振动信息，转换所述标准音素信息为标准振动信息，分别将所述学习者振动信息、所述标准振动信息反馈至所述学习者拾音-反馈通道；

振动模块25，用于分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位。

图11是本发明提供的面向听障人士的辅助发音学习系统的第二实施例的结构示意图。如图11所示，该实施例的所述提取模块22包括：

频谱模块221，用于模数转换处理所述发音音素信息为音素数字信号，将所述音素数字信号从时域变换到频域以获得音素频谱图；

提取子模块222，用于提取所述音素频谱图中的学习者特征信息，其中所述学习者特征信息包括语音基频信息和音素特征峰信息。

图12是本发明提供的面向听障人士的辅助发音学习系统的第三实施例的结构示意图。如图12所示，该实施例的所述振动模块25包括：

学习者转换子模块251，用于转换数个所述学习者振动信息为数个所述学习者振动信息分别对应的学习者振动动作，各个所述学习者振动动作分别与各个所述学习者发音部位一一对应；

学习者振动子模块252，用于各个所述学习者振动动作分别振动对应的所述学习者发音部位；

标准音素转换子模块253，用于转换数个所述标准振动信息为数个标准振动信息分别对应的标准振动动作，各个所述标准振动动作分别与各个所述学习者发音部位一一对应；

标准音素振动子模块254，用于各个所述标准振动动作分别振动对应的所述学习者发音部位。

图13是本发明提供的面向听障人士的辅助发音学习系统的第四实施例的结构示意图。如图13所示，该实施例的还包括：所述显示模块26；

所述显示模块26，用于显示所述学习者特征信息与所述标准音素信息的对比分析结果。

图14是本发明提供的面向听障人士的辅助发音学习系统的第五实施例的结构示意图。如图14所示，该实施例的还包括：降噪处理模块27；

所述降噪处理模块27，用于对所述发音音素信息进行降噪处理。

图15是本发明一实施例提供的一种面向听障人士的辅助发音学习系统的结构示意图。其中100为学习者；22为提取模块；103为显示器；104为喉头拾音器；105为下颚拾音器；106为唇部拾音器；107为总麦；108为喉头振动装置；109为下颚振动装置；110为唇部振动装置。本发明实施例可以分别通过不同的振动特性反映学习者的元音、辅音、爆破音和摩擦音信息，显示器103可以显示发音综合准确性、发音改进方法、发音解剖图等信息。

图16是本发明一实施例提供的面向听障人士的辅助发音学习系统的示意图。如图16所示，该面向听障人士的辅助发音学习系统6包括，处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如面向听障人士的辅助发音学习的实现程序。所述处理器60执行所述计算机程序62时实现上述各个面向听障人士的辅助发音学习方法实施例中的步骤，例如图1所示的S101至S105。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图10所示模块21至25的功能。

示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述面向听障人士的辅助发音学习装置6中的执行过程。例如，所述计算机程序62可以被分割成采集模块，提取模块，匹配模块，转换模块，振动模块(虚拟装置中的模块)，各模块具体功能如下：

采集模块，用于通过学习者拾音-反馈通道采集学习者发音部位发出的发音音素信息；

提取模块，用于模数转换处理所述发音音素信息为音素数字信号，提取学习者特征信息；

匹配模块，用于在预设的发音音素集中匹配所述学习者特征信息，作为所述学习者特征信息对应的标准音素信息；

转换模块，用于转换所述学习者特征信息为学习者振动信息，转换所述标准音素信息为标准振动信息，分别将所述学习者振动信息、所述标准振动信息反馈至所述学习者拾音-反馈通道；

振动模块，用于分别转换所述学习者振动信息、所述标准振动信息为振动动作，分别振动所述学习者发音部位。

所述面向听障人士的辅助发音学习装置6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述面向听障人士的辅助发音学习装置6可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图16仅仅是所述面向听障人士的辅助发音学习装置6的示例，并不构成对所述面向听障人士的辅助发音学习装置6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述所述面向听障人士的辅助发音学习装置6还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器61可以是所述向听障人士的辅助发音学习装置6的内部存储单元，例如所述向听障人士的辅助发音学习装置6的硬盘或内存。所述存储器61也可以是所述向听障人士的辅助发音学习装置6的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器61还可以既包括所述向听障人士的辅助发音学习装置6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例中所述的面向听障人士的辅助发音学习系统，不止可以应用于听障人士的发音音素的学习，也可以应用于学习者日常口语交流中纠正发音。

采集学习者的交流对象发出的音素信息，将音素信息转换为振动信息，反馈至学习者拾音-反馈通道，振动所述学习者发音部位，让学习者感受并理解交流对象的话语信息。

本发明实施例中所述的面向听障人士的辅助发音学习系统，还可以应用于其他种类语言如英语、法语、粤语的学习。

如在英语中，同样分为元音和辅音等，根据不同发音位置的不同，采集不同发音部位的发音信息，将发音信息转换为振动信息，反馈至学习者，振动学习者的发音部位，帮助学习者自我纠正发音，提高学习效率。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括，能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

一种面向听障人士的辅助发音学习方法及其系统专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。