专利摘要

本发明公开了一种基于神经网络的高精度光学散射补偿方法。取已知的散射相位在波前传感器处对应的散射光斑点阵图样的子区；分解子区光斑对应的子区相位得相位系数；子区光斑集合与相位系数集合输入卷积神经网络中训练，得子区预测模型；子区光斑集合经模型预测得子区预测相位并合成初步相位集合；初步相位集合与散射相位集合输入全卷积神经网络中训练，得相位恢复模型；将待测散射相位对应的散射光斑点阵图样提取子区并输入子区预测模型；获得初步相位后输入相位恢复模型得散射补偿相位；散射补偿相位加载至空间光调制器完成补偿。本发明提出了一种预测散射相位的方法，提升了光学散射补偿相位的探测性能，在光学散射补偿领域具有应用前景。

权利要求

1.一种基于神经网络的高精度光学散射补偿方法，其特征在于包含以下步骤：

1)利用计算机随机生成尺寸为n×n的随机矩阵，对随机矩阵通过双三次插值获得尺寸为N×N的散射相位φ，其中n为满足4≤n＜N的正整数；

2)将散射相位φ加载至空间光调制器，平行光入射到空间光调制器经反射调制后入射到波前传感器，在波前传感器上形成散射光斑点阵图样I；

3)将散射相位φ与散射光斑点阵图样I均按照波前传感器的各个微镜所在区域进行分区，获得，并构成子区散射相位集合与子区散射光斑集合Ii；

4)利用方域正交基函数分解子区散射相位集合中的每个子区散射相位，并获得各个子区散射相位的相位系数S，子区散射相位集合中所有子区散射相位的相位系数S构成相位系数集合Si；

步骤4)中，具体采用以下公式分解获得各个子区散射相位的相位系数集合Si:

其中，Si表示第i个子区散射相位对应的泽尼克多项式系数组，代表各方形子区的预测相位，Zk(x,y)表示方形区域内泽尼克多项式的第k项基函数，，k＝1,2,3,4,5,6,...n，n代表泽尼克多项式的总项数；对二者乘积在方形区域上进行积分获取分解的泽尼克多项式系数组；

5)不断重复步骤1)至步骤4)进行m次，每次获得散射相位φi、子区散射光斑集合Ii、对应的子区散射相位集合以及相位系数集合Si，

将子区散射光斑集合Ii与相位系数集合Si将作为机器学习训练的输入-输出数据对，输入到构建的卷积神经网络中进行训练，获得针对方形子区散射相位的机器学习模型，其中i＝1,2,3……m，m为训练所用的输入-输出数据对的数量；

6)利用步骤5)所得模型预测输出获得的子区散射光斑集合Ii并将预测所得的相位系数集合Si依据步骤4)相同的方域正交基函数进行组合，获得子区预测相位集合

步骤6)中，具体采用以下公式计算生成子区预测相位集合

其中，代表各子区的预测相位，表示第i个子区相位的第k项泽尼克多项式系数，k＝1,2,3,4,5,6,...n，Zk(x,y)表示方形区域内泽尼克多项式的第k项基函数，n代表泽尼克多项式的总项数；

7)将各个子区预测相位集合按照散射相位φi组合成初步补偿相位集合φ′i；

8)将初步补偿相位集合φ′i与散射相位φi作为深度学习训练的输入-输出数据对，输入到构建的全卷积神经网络中进行训练，获得散射相位恢复的深度学习模型；

9)在需要探测光学散射补偿的光学系统中放置波前传感器，入射光经光学系统后在波前传感器上形成待测散射光斑点阵图样I′；

10)对待测散射光斑点阵图样I′提取分区为各个子区，将子区输入到步骤5)获得的机器学习模型中，输出获得相位系数集合，然后利用步骤4)中的方域正交基函数和对应相位系数进行组合获得子区预测相位；

11)将子区预测相位按照对应区域位置进行组合获得初步预测相位，输入至步骤8)获得的深度学习模型，输出获得预测散射相位；

12)将预测散射相位取反后加载至空间光调制器完成光学散射补偿。

2.根据权利要求1所述的一种基于神经网络的高精度光学散射补偿方法，其特征在于：所述步骤1)中的随机矩阵为极值在[-3π，3π]范围内的实数矩阵。

3.根据权利要求1所述的一种基于神经网络的高精度光学散射补偿方法，其特征在于：所述步骤5)中采用的卷积神经网络采用AlexNet构架并在AlexNet构架中的最后一个卷积层之后且第一个全连接层之前增加一层卷积核为3×3卷积层用于增强信息的提取。

4.根据权利要求1所述的一种基于神经网络的高精度光学散射补偿方法，其特征在于：所述步骤8)中采用的全卷积神经网络采用Unet网络构架，并将Unet网络构架中原有的卷积层更改为Resnet网络中的整体残差模块，具体是将Unet网络中编码部分的第二个卷积层和解码部分的倒数第二个卷积层替换为简单模块层，编码部分和解码部分其余的所有卷积层均替换为瓶颈层。

5.根据权利要求1所述的一种基于神经网络的高精度光学散射补偿方法，其特征在于：方法采用以下光路结构，包括空间光调制器(1)、第一透镜(2)、引入光学散射的散射样本(3)、分束器(4)、第二透镜(5)、波前传感器(6)和相机(7)；平行光入射到空间光调制器(1)，经空间光调制器(1)反射调制后再经第一透镜(2)后入射到分束器(4)发生透射和反射，分束器(4)透射后的光束经第二透镜(5)后入射到波前传感器(6)，分束器(4)反射后的光束入射到相机(7)，第一透镜(2)和分束器(4)之间设有引入光学散射的散射样本(3)。

6.根据权利要求1-5任一所述的一种基于神经网络的高精度光学散射补偿方法，其特征在于：所述波前传感器(6)采用夏克-哈特曼波前传感器。

说明书

技术领域

本发明属于光学散射补偿方法，特别涉及一种基于神经网络的高精度光学散射补偿方法，可用于散射相位的高精度探测与补偿，在生物显微成像与自适应光学领域具有应用前景。

背景技术

生物组织的折射率分布各向异性以及介质间的折射率失配等会在光学显微成像中的入射光束发生散射。随着成像深度的增加，成像结果的信噪比和分辨率降低，导致成像质量急剧下降，限制了光学显微成像的应用深度。因此，高速、准确地探测光学散射相位并针对性地进行校正，是提升光学显微成像性能的策略之一。

生物显微成像中借鉴天文学成像中广泛使用的自适应光学技术，常使用夏克-哈特曼(Shack-Hartmann)波前传感器，对生物组织引入的光学畸变进行探测，并针对性补偿。

但是传统的夏克-哈特曼波前传感器相位探测方法仅利用光斑点阵的位置偏移信息进行相位重构，没有有效利用丰富的光强分布信息。这使得这类方法的相位探测性能受限，无法对生物组织引入的复杂散射相位进行精确探测。为了克服光学散射，需要更为精确的复杂相位探测方法，用于更加精确的散射补偿。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种基于神经网络的高精度光学散射补偿方法。本发明利用神经网络对波前传感器采集的散射光斑点阵图样进行子区相位信息提取，并进行整体的相位恢复。通过本发明所述方法，可以有效解决波前传感器无法精确探测散射相位的局限，提高了光学散射相位的探测性能与补偿能力。

为了实现上述目的，如图1所示，本发明采用的技术方法包括以下步骤：

1)利用计算机随机生成尺寸为n×n的随机矩阵，对随机矩阵通过双三次插值获得尺寸为N×N的散射相位φ，其中n为满足4≤n＜N的正整数；

2)将散射相位φ加载至空间光调制器，平行光入射到空间光调制器经反射调制后入射到波前传感器，在波前传感器上形成散射光斑点阵图样I；

3)将散射相位φ与散射光斑点阵图样I均按照波前传感器的各个微镜所在区域进行分区一一对应，获得，并构成方形的子区散射相位集合 与子区散射光斑集合Ii；

4)利用方域正交基函数分解子区散射相位集合 中的每个子区散射相位，并获得用于表征方形子区散射相位的各个子区散射相位的相位系数S，子区散射相位集合 中所有子区散射相位的相位系数S构成相位系数集合Si；

所述步骤4)中，具体采用以下公式分解获得各个子区散射相位的相位系数集合Si:

其中，Si表示第i个子区散射相位对应的泽尼克多项式系数组， 代表各方形子区的预测相位，Zk(x,y)表示方形区域内泽尼克多项式的第k项基函数，，k＝1,2,3,4,5,6,...n，n代表泽尼克多项式的总项数；对二者乘积在方形区域上进行积分获取分解的泽尼克多项式系数组；

5)不断重复步骤1)至步骤4)进行m次，每次获得散射相位φi、子区散射光斑集合Ii、对应的子区散射相位集合 以及相位系数集合Si，

将子区散射光斑集合Ii与相位系数集合Si将作为机器学习训练的输入-输出数据对，具体是以子区散射光斑集合Ii作为输入，相位系数集合Si作为输出，输入到构建的卷积神经网络中进行训练，获得针对方形子区散射相位的机器学习模型，其中i＝1,2,3……m，m为训练所用的输入-输出数据对的数量；

6)利用步骤5)所得模型预测输出获得的子区散射光斑集合Ii并将预测所得的相位系数集合Si依据步骤4)相同的方域正交基函数进行组合，获得子区预测相位集合

所述步骤6)中，具体采用以下公式计算生成子区预测相位集合

其中， 代表各子区的预测相位， 表示第i个子区相位的第k项泽尼克多项式系数，k＝1,2,3,4,5,6,...n，Zk(x,y)表示方形区域内泽尼克多项式的第k项基函数，n代表泽尼克多项式的总项数；

7)将各个子区预测相位集合 按照散射相位φi组合成初步补偿相位集合φ′i；

8)将初步补偿相位集合φ′i与散射相位φi作为深度学习训练的输入-输出数据对，具体是以初步补偿相位集合φ′作为输入，散射相位集合作为输出，输入到构建的全卷积神经网络中进行训练，获得散射相位恢复的深度学习模型；

9)在需要探测光学散射补偿的光学系统中放置波前传感器，入射光经完整的光学系统散射后在波前传感器上形成待测散射光斑点阵图样I′；

10)对待测散射光斑点阵图样I′提取分区为各个子区，将子区输入到步骤5)获得的机器学习模型中，输出获得相位系数集合，然后利用步骤4)中的方域正交基函数和对应相位系数进行组合获得子区预测相位；

11)将子区预测相位按照对应区域位置进行组合获得初步预测相位，输入至步骤8)获得的深度学习模型，输出获得预测散射相位；

12)将预测散射相位取反后加载至空间光调制器完成光学散射补偿。

所述的波前传感器为由数个微镜构成的微透镜阵列，每个微镜为方形。

所述步骤1)中的随机矩阵为极值在[-3π，3π]范围内的实数矩阵。

所述步骤5)中采用的卷积神经网络采用AlexNet构架并在AlexNet构架中的最后一个卷积层之后且第一个全连接层之前增加一层卷积核为3×3卷积层用于增强信息的提取。

所述步骤8)中采用的全卷积神经网络采用Unet网络构架，并将Unet网络构架中原有的卷积层更改为Resnet网络中的整体残差模块，Unet网络分为编码部分和解码部分，具体是将Unet网络中编码部分的第二个卷积层和解码部分的倒数第二个卷积层替换为简单模块层(simple block残差模块)，编码部分和解码部分其余的所有卷积层均替换为瓶颈层(bottleneck残差模块)，通过这两种残差模块是以长短连接结合的形式对输入的初步预测相位进行处理，并降低在深层网络训练的过程中的参数量。

方法采用以下光路结构，包括空间光调制器、第一透镜、引入光学散射的散射样本、分束器、第二透镜、波前传感器和相机；平行光入射到空间光调制器，经空间光调制器反射调制后再经第一透镜后入射到分束器发生透射和反射，分束器透射后的光束经第二透镜后入射到波前传感器，分束器反射后的光束入射到相机，第一透镜和分束器之间设有引入光学散射的散射样本。

所述波前传感器采用夏克-哈特曼波前传感器。

本发明针对光学散射补偿需要对复杂相位进行精确探测的需求，通过计算机生成光学散射相位获得足量的用于神经网络训练的样本，并采用两步法完成光学散射相位的探测。首先对散射光斑先进行局部子区的相位预测，再利用神经网络对局部子区的相对相位差(即子区相位的piston项)进行补充，恢复出最终相位。

以夏克-哈特曼波前传感器为代表的直接波前探测方法，常使用模式法进行相位探测：首先，需要在无光学散射的情况下获取理想的光斑点阵图样；通过质心寻找方法对理想的光斑点阵图样中的各个光斑定位质心坐标并进行划分；引入光学散射后获取散射光斑点阵图样，并以理想情况下质心定位的区域对散射光斑点阵图样进行划分；通过质心定位方法确定散射光斑点阵图样的各个光斑质心坐标；通过对比理想光斑点阵坐标，确定质心偏移量，代入波前重建方法中，获得散射相位的泽尼克多项式系数；再将泽尼克多项式系数代入泽尼克多项式中获得光学散射相位的整体重建结果。由于强烈的光学散射，会导致散射光斑的质心难以代表子区的真实相位情况。质心确定的误差进一步干扰了泽尼克多项式系数的计算，最终降低了相位探测的精度。

而本发明所述的基于神经网络的高精度光学散射补偿方法，通过神经网络对散射光斑进行相位信息提取，获得多于质心偏移量的信息，继而使用另一个神经网络从子区相位恢复整体相位，提高了相位探测的精度，提升了光学散射补偿的性能。

本发明的有益效果是：

本发明所述方法可以在夏克-哈特曼波前传感器的基础上，提取散射光斑点阵图样所包含的复杂相位信息，能够探测模式法波前传感器无法精确探测的散射相位。

与基于机器学习的波前传感技术相比，本方法将两个神经网络相结合，通过方域正交基函数确定可以表征方形子区相位的系数，并对分块预测的子区相位进行整体恢复，实现了基于机器学习的波前传感技术无法探测的子区间相对相位差。本发明所述方法能够适用于更加复杂的散射相位探测，可为光学散射补偿提供更高精度的补偿相位。为光学散射补偿提供了新的技术支撑，在生物显微成像领域中具有重要的应用价值。

附图说明

图1为本发明方法的流程图。其中图(a)为模型训练流程，图(b)为未知光学散射预测与补偿流程；

图2为本发明在实施例中应用的光学系统示意图。其中1为空间光调制器，2为第一透镜，3为引入光学散射的散射样本，4为分束器，5为第二透镜，6为波前传感器，7为相机。

图3为在实施例中用于比较本发明所述方法与模式法所引入的光学散射相位和对应的散射光斑点阵，以及利用本发明所述方法获得的对应初步预测相位和最终预测相位；

图4为在实施例中利用模式法与本发明所述方法所获得的相位残差与对应系统点扩散函数的结果对比。

具体实施方式

以下基于深度学习的高速单图直接探测光学相位畸变的实施例可以更详细的说明本发明，但不以任何形式限制本发明。

下面结合附图和实施例对本发明作进一步说明，其具体实施例及其实施过程如下：

如图2所示，采用包括空间光调制器1、第一透镜2、引入光学散射的散射样本3、分束器4、第二透镜5、波前传感器6和相机7的光路结构；波前传感器6采用夏克-哈特曼波前传感器，平行光入射到空间光调制器1，经空间光调制器1反射调制后再经第一透镜2后入射到分束器4发生透射和反射，分束器4透射后的光束经第二透镜5后入射到波前传感器6，分束器4反射后的光束入射到相机7，第一透镜2和分束器4之间设有引入光学散射的散射样本3。

1)利用计算机随机生成尺寸为20×20，极值在[-3π，3π]范围内的随机矩阵，通过双三次插值获得尺寸为1078×1078的散射相位φ；

2)将散射相位φ加载至空间光调制器，波长为632.8nm的入射的平行光经空间光调制器后在夏克-哈特曼波前传感器上形成散射光斑点阵图样I；

3)将散射相位φ与散射光斑点阵图样I一一对应进行分区，获得方形的子区散射相位与子区散射光斑；

4)利用方域正交基函数分解子区散射相位，获得用于表征方形子区散射相位的前21项系数S，子区散射相位集合 中所有子区散射相位的相位系数S构成相位系数集合Si；；

所述步骤4)中，具体采用以下公式分解获得各个子区散射相位的相位系数集合Si:

其中，Si表示第i个子区散射相位对应的泽尼克多项式系数组， 代表各方形子区的预测相位，Zk(x,y)表示方形区域内泽尼克多项式的第k项基函数，k＝1,2,3,4,5,6,...n，n代表泽尼克多项式的总项数,此时n＝21。对二者乘积在方形区域上进行积分获取分解的泽尼克多项式系数组。

5)重复步骤1)至步骤4)，获得的32640个散射相位φi、204800个子区散射光斑集合Ii、204800个对应的子区散射相位集合 以及204800个相位系数集合Si，将子区散射光斑Ii与系数集合Si将作为机器学习训练的输入-输出数据对，输入到构建的卷积神经网络中进行训练，获得针对方形子区散射相位的机器学习模型；

6)利用步骤5)所得模型预测子区散射光斑集合Ii并将预测所得的相位系数集合Si依据步骤4)的方域正交基函数进行组合，获得204800个子区预测相位集合

所述步骤6)中，具体采用以下公式计算生成子区预测相位集合

其中， 代表各方形子区的预测相位， 表示第i个子区相位的第k项泽尼克多项式系数，k＝1,2,3,4,5,6,...n，Zk(x,y)表示方形区域内泽尼克多项式的第k项基函数，n代表泽尼克多项式的总项数,此时n＝21。

7)将子区预测相位集合 按照散射相位集合φi组合成32640个对应的初步补偿相位集合φ′i；

8)将初步补偿相位集合φ′i与散射相位集合φ′iφi作为深度学习训练的输入-输出数据对，对输入相位进行尺寸调整后输入到构建的全卷积神经网络中进行训练，获得散射相位恢复的深度学习模型；

9)在含有夏克-哈特曼波前传感器的光学系统中引入散射相位，入射光经散射后在波前传感器上形成待测散射光斑点阵图样I′；

10)对散射光斑点阵图样I′提取子区输入到步骤5)获得的机器学习模型中，获得相位系数后利用步骤4)中的方域正交基函数组合获得子区预测相位；

11)子区预测相位组合获得初步预测相位，输入至步骤8)获得的深度学习模型，获得预测的散射相位；

12)将预测所得散射相位取反加载至空间光调制器完成光学散射补偿。

图3为用于比较本发明所述方法与模式法所引入的光学散射相位和对应的散射光斑点阵，以及利用本发明所述方法获得的对应初步预测相位和最终预测相位。所引入光学散射相位不属于机器学习与深度学习模型训练的数据集。图3(a)为所引入的光学散射相位；图3(b)为波前传感器获取的散射光斑点阵图样；图3(c)为本发明所述方法中获得的初步预测相位；图3(d)为本发明所述方法中获得的最终预测相位。

图4展示了利用模式法与本发明所述方法所获得的相位残差与对应系统点扩散函数的结果对比。图4(a)为基于模式法的波前探测方法所得相位残差；图4(b)为本发明所述方法预测后所得相位残差；图4(c)为使用模式法进行光学散射补偿后的系统的点扩散函数图样；图4(d)为使用本发明所述方法进行光学散射补偿后的系统的点扩散函数图样。

在本实施例中对于1078×1078尺寸光学散射相位进行探测，基于模式法的波前探测方法对前36项圆域泽尼克多项式系数进行预测并构建相位的耗时为0.5690s，相位畸变探测残差为3.0495rad。本发明所述方法的耗时为0.8213s，相位畸变探测残差为0.1819rad。本发明所述方法的探测时间虽比模式法长44.34％，但相位探测残差比模式法低94.04％，精度明显高于模式法。

本发明总体采用两步法，利用机器学习与深度学习方法中的不同神经网络建立起波前传感器散射光斑点阵图样中子区散射光斑与子区散射相位特征系数，以及初步预测相位与最终预测相位之间的非线性映射关系。本发明利用波前传感器作为探测器件，具有能够对复杂光学散射相位进行高精度探测，为光学散射补偿提供了一种新的技术支撑，可应用于生物显微成像。

基于神经网络的高精度光学散射补偿方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。