专利摘要

本发明提供一种基于深度学习的哈特曼波前传感器模式波前复原方法，使用哈特曼波前传感器的焦平面相机采集到的图像作为输入，使用经过训练的人工神经网络对该图像进行运算，直接得到哈特曼波前传感器入射光波前的模式系数。相对于传统基于子孔径平均斜率的波前复原方法，本发明提供的方法可以从焦平面相机图像中处理包括子孔径光斑位置和光斑形态在内的更多信息，能够更有效地减小单纯依靠平均斜率而导致的模式混淆和模式耦合误差。在同样的焦平面相机测量噪声强度下，本方法能够以更高的精度复原出更高阶的模式系数。

权利要求

1.一种基于深度学习的哈特曼波前传感器模式波前复原方法，其特征在于：利用人工神经网络直接对哈特曼波前传感器采集的图像进行计算以复原出入射光波前的模式系数，具体步骤如下：

步骤(1)：根据哈特曼波前传感器入射光波长λ、入瞳函数P(x0,y0)以及微透镜阵列透过率函数T(x0,y0)建立焦平面光强分布If(xf,yf)与哈特曼波前传感器入瞳复振幅U0(x0,y0)之间的关系函数F1(xf,yf,U0)；其中，(x0,y0)为入瞳平面坐标，(xf,yf)为焦平面坐标；

步骤(2)：根据关系函数F1(xf,yf,U0)以及焦平面相机的二维采样函数S(m,n,xf,yf)建立焦平面相机图像I(m,n)与U0(x0,y0)之间的关系函数F2(m,n,U0)；其中，(m,n)为像素点在焦平面相机图像上的位置；

步骤(3)：利用计算机随机生成模式系数矩阵AKL，其中，AKL矩阵的行数为K，表示模式阶数共有K阶，AKL矩阵的列数为L，表示共生成L组模式系数；模式函数表示为Mk(x0,y0)，其中k为模式阶次；

步骤(4)：根据模式函数Mk(x0,y0)和模式系数矩阵AKL的第j列向量生成相位函数序列：

步骤(5)：将相位函数φ0(x0,y0)＝φ0j(x0,y0)逐次代入哈特曼波前传感器入瞳复振幅计算公式得到复振幅序列U0j(x0,y0)，其中A0(x0,y0)为振幅函数可根据哈特曼波前传感器的实际应用场景灵活设置；

步骤(6)：针对L个哈特曼波前传感器入瞳复振幅U0j(x0,y0)分别计算对应的焦平面相机图像I0j(m,n)；按照实际应用场景随机生成包含可能面临的各种噪声强度的噪声图像序列Itj(m,n)；

步骤(7)：计算焦平面相机图像序列Ij(m,n)＝I0j(m,n)+Itj(m,n)作为后续人工神经网络训练的输入数据集，记录向量为人工神经网络训练的标签集；

步骤(8)：建立人工神经网络，其输入为维度与焦平面相机采集图像匹配的二维矩阵或单元数与焦平面相机采集图像像素总和相等的一维向量；

步骤(9)：利用输入样本集Ij(m,n)和标签样本集组成的L个样本集对步骤(8)建立的人工神经网络进行训练，训练完毕后保存该人工神经网络；

步骤(10)：在实际应用中进行波前探测时，以焦平面相机采集到的图像作为输入，利用经步骤(9)训练后的人工神经网络计算对应的输出，作为波前复原的模式系数。

2.根据权利要求1所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法，其特征在于：所述步骤(1)中的F1(xf,yf,U0)的表达式可根据夫琅禾费衍射公式计算：

其中，f为微透镜焦距，微透镜阵列的透过率函数T(x0,y0)有如下关系：

其中，a、b分别为微透镜x和y方向间距，dms为第ms行微透镜中心位置横向偏移量，Ms、Ns分别为x和y方向的微透镜数目，δ函数为单位冲激函数，Ω(x0,y0)为微透镜的入瞳函数。

3.根据权利要求1所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法，其特征在于：所述步骤(1)中的哈特曼波前传感器的入瞳函数P(x0,y0)可以是圆形函数、环形函数或其他任意形状函数。

4.根据权利要求1所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法，其特征在于：所述步骤(2)中的F2(m,n,U0)的表达式可表示为：

F2(m,n,U0)＝S(m,n,xf,yf)F1(xf,yf,U0)，

其中，焦平面相机的采样函数S(m,n,xf,yf)可表示为：

S(m,n,xf,yf)＝δ(xf+mp,yf+np),

其中，p为焦平面相机的像素尺寸，Mc、Nc分别为焦平面相机的x和y方向的像素数。

5.根据权利要求1所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法，其特征在于：所述步骤(3)中的模式函数可以是泽尼克模式函数、Karhunen–Loève模式函数、变形镜驱动器影响函数或其它任意类型的二维函数。

6.根据权利要求1所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法，其特征在于：所述步骤(5)中的振幅函数A0(x0,y0)可以服从均匀分布、高斯分布或其他任意分布。

7.根据权利要求1所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法，其特征在于：所述步骤(8)中的人工神经网络可以是感知机、多层感知机、深度神经网络、卷积神经网络、循环神经网络或其他任意类型满足输入输出维度的神经网络。

8.根据权利要求2所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法，其特征在于：所述的微透镜入瞳函数Ω(x0,y0)可以是正方形、长方形、六边形或其他任意形状。

说明书

技术领域

本发明属于光学信息测量技术领域，涉及一种测量光学波前的方法，特别涉及一种基于深度学习的哈特曼波前传感器模式波前复原方法。

背景技术

现有哈特曼波前传感器的模式波前复原方法通常根据各子孔径的平均斜率重构出像差模式的系数(Guang-ming Dai,“Modal wave-front reconstruction with Zernikepolynomials and Karhunen–Loève functions,”J.Opt.Soc.Am.A13,1218-1225，1996)。平均斜率的获取依赖于子孔径图像的质心计算，每一个子孔径通常只能得到x和y方向两个斜率。这在子孔径入射光波前像差仅包含倾斜，不存在离焦及更高阶次的像差时是成立的，然而当哈特曼波前传感器的入射光波前畸变的空间频率明显高于哈特曼子孔径的采样率时，传统波前复原方法将面临很大的模式混淆误差(Jan Herrmann,“Cross coupling andaliasing in modal wave-front estimation,”J.Opt.Soc.Am.71,989-992，1981)，即哈特曼波前传感器在模式重构时将高阶像差引起的波前斜率的变化重构为低阶模式像差。利用传统波前复原方法，这些引起混淆的高阶模式像差不但无法测量，还会影响低阶像差的测量精度。

上述问题的根源在于传统方法在对哈特曼波前传感器采集到的图像进行处理的过程中使用了各子孔径平均斜率组成的斜率向量来表征模式。这个斜率向量的维度最多只能为哈特曼波前传感器有效子孔径数的两倍，并且由于某些阶次像差的斜率向量过于接近，在探测噪声的影响下还会引起明显的模式耦合。如果能够以更多维度的特征来表征波前像差，则不同模式的区分度将得到有效的提升，模式间的混淆与耦合也能得到更好的抑制，从而提高哈特曼波前传感器的模式复原阶次和相位复原精度。

其实，模式的所有特征都来源于哈特曼波前传感器所采集的图像。如果能够直接建立模式系数与哈特曼波前传感器采集图像之间的映射关系，而不借助于引起特征降维的子孔径平均波前斜率计算这一过程，则有望大幅提高哈特曼波前传感器可准确复原的模式阶次。发明专利ZL201210237127.6曾提出以传统哈特曼波前传感器得到的波前探测像差作为起始点，利用迭代算法反复在波前像差与子孔径光斑间进行循环，通过比较迭代出的子孔径光斑与初始子孔径光斑间的形态来提高哈特曼波前传感器的测量精度。但是该方法需要的迭代过程将限制其在如自适应光学等实时性要求较高的场景下的应用。

发明内容

本发明要解决的技术问题是：如何直接利用哈特曼波前传感器采集的子孔径光斑图像获取波前像差模式系数，从而提高哈特曼波前传感器的模式复原阶次。

本发明解决其技术问题所采用的技术方案是：一种基于深度学习的哈特曼波前传感器模式波前复原方法，利用人工神经网络直接对哈特曼波前传感器采集的图像进行计算以复原出入射光波前的模式系数，具体步骤如下：

步骤(1)：根据哈特曼波前传感器入射光波长λ、入瞳函数P(x0,y0)以及微透镜阵列透过率函数T(x0,y0)建立焦平面光强分布If(xf,yf)与哈特曼波前传感器入瞳复振幅U0(x0,y0)之间的关系函数F1(xf,yf,U0)；其中，(x0,y0)为入瞳平面坐标，(xf,yf)为焦平面坐标；

步骤(2)：根据关系函数F1(xf,yf,U0)以及焦平面相机的二维采样函数S(m,n,xf,yf)建立焦平面相机图像I(m,n)与U0(x0,y0)之间的关系函数F2(m,n,U0)；其中，(m,n)为像素点在焦平面相机图像上的位置；

步骤(3)：利用计算机随机生成模式系数矩阵AKL，其中，AKL矩阵的行数为K，表示模式阶数共有K阶，AKL矩阵的列数为L，表示共生成L组模式系数；模式函数表示为Mk(x0,y0)，其中k为模式阶次；

步骤(4)：根据模式函数Mk(x0,y0)和模式系数矩阵AKL的第j列向量 生成相位函数序列：

步骤(5)：将相位函数φ0(x0,y0)＝φ0j(x0,y0)逐次代入哈特曼波前传感器入瞳复振幅计算公式 得到复振幅序列U0j(x0,y0)，其中A0(x0,y0)为振幅函数可根据哈特曼波前传感器的实际应用场景灵活设置；

步骤(6)：针对L个哈特曼波前传感器入瞳复振幅U0j(x0,y0)分别计算对应的焦平面相机图像I0j(m,n)；按照实际应用场景随机生成包含可能面临的各种噪声强度的噪声图像序列Itj(m,n)；

步骤(7)：计算焦平面相机图像序列Ij(m,n)＝I0j(m,n)+Itj(m,n)作为后续人工神经网络训练的输入数据集，记录向量 为人工神经网络训练的标签集；

步骤(8)：建立人工神经网络，其输入为维度与焦平面相机采集图像匹配的二维矩阵或单元数与焦平面相机采集图像像素总和相等的一维向量；

步骤(9)：利用输入样本集Ij(m,n)和标签样本集 组成的L个样本集对步骤(8)建立的人工神经网络进行训练，训练完毕后保存该人工神经网络；

步骤(10)：在实际应用中进行波前探测时，以焦平面相机采集到的图像作为输入，利用经步骤(9)训练后的人工神经网络计算对应的输出，作为波前复原的模式系数。

所述步骤(1)中的F1(xf,yf,U0)的表达式可根据夫琅禾费衍射公式计算：

其中，f为微透镜焦距。微透镜阵列的透过率函数T(x0,y0)有如下关系：

其中，a、b分别为微透镜x和y方向间距，dms为第ms行微透镜中心位置横向偏移量，Ms、Ns分别为x和y方向的微透镜数目，δ函数为单位冲激函数，Ω(x0,y0)为微透镜的入瞳函数；

所述步骤(1)中的哈特曼波前传感器的入瞳函数P(x0,y0)可以是圆形函数、环形函数或其他任意形状函数；

所述步骤(2)中的F2(m,n,U0)的表达式可表示为：

F2(m,n,U0)＝S(m,n,xf,yf)F1(xf,yf,U0)，

其中，焦平面相机的采样函数S(m,n,xf,yf)可表示为：

S(m,n,xf,yf)＝δ(xf+mp,yf+np),

其中，p为焦平面相机的像素尺寸，Mc、Nc分别为焦平面相机的x和y方向的像素数；

所述步骤(3)中的模式函数可以是泽尼克模式函数、Karhunen–Loève模式函数、变形镜驱动器影响函数或其它任意类型的二维函数；

所述步骤(5)中的振幅函数A0(x0,y0)可以服从均匀分布、高斯分布或其他任意分布；

所述步骤(8)中的人工神经网络可以是感知机、多层感知机、深度神经网络、卷积神经网络、循环神经网络或其他任意类型满足输入输出维度的神经网络；

所述的微透镜入瞳函数Ω(x0,y0)可以是正方形、长方形、六边形或其他任意形状；

本发明与现有技术相比有如下优点：

本发明使用人工神经网络建立入射光波前像差的模式系数与哈特曼波前传感器采集图像之间的关系。本发明提供的方法可以从焦平面相机图像中处理包括子孔径光斑位置和光斑形态在内的更多信息，能够更有效地减小单纯依靠子孔径平均斜率而导致的模式混淆和模式耦合误差。在同样的焦平面相机测量噪声强度下，本方法能够以更高的精度复原出更高阶的模式系数。

附图说明

图1为所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法流程图。

图2为一种19单元哈特曼波前传感器的子孔径排布示意图(其微透镜入瞳函数为六边形，外圆为入瞳函数)。

图3为模拟生成的入射光为平行光时对应的焦平面相机图像和入射光波前像差为均方根等于1弧度的第38阶泽尼克像差时对应的焦平面相机图像示意图，其中，图3(a)为模拟生成的入射光为平行光时对应的焦平面相机图像，图3(b)为入射光波前像差为均方根等于1弧度的第38阶泽尼克像差时对应的焦平面相机图像，图3(c)为入射光波前像差为均方根等于1弧度的第38阶泽尼克像差；

图4为本发明使用的一种人工神经网络的具体实现方式即卷积神经网络的结构图。

图5为给定某随机像差，具有不同复原阶次的传统方法和利用本发明提供方法测得的第1至第19阶泽尼克模式系数对比图。

图6为给定某随机像差，具有不同复原阶次的传统方法和利用本发明提供方法测得的第20至第38阶泽尼克模式系数对比图。

具体实施方式

下面结合附图具体介绍本发明的一种实施例。

图1为本发明所述的一种基于深度学习的哈特曼波前传感器模式波前复原方法原理流程图，主要包括计算机模拟生成训练数据集流程和实际测量流程。图2为一种19单元哈特曼波前传感器的子孔径排布，其微透镜入瞳函数为六边形，外圆为入瞳函数。如图2所示，本实施例使用一种包含19个子孔径的哈特曼波前传感器。假定本实施例使用的光源波长λ为500nm；哈特曼波前传感器入瞳为直径等于1.9mm的圆函数P(x0,y0)；微透镜x方向间距a为0.37mm，y方向间距b约为0.32mm；微透镜的形状为六边形；微透镜的焦距f等于2.20cm；焦平面相机的像素尺寸p为15μm，规格为128x128，数据深度为12位。下面通过以下步骤实现对入射光波前的高精度的复原。

步骤1：根据哈特曼波前传感器入射光波长λ、入瞳函数P(x0,y0)以及微透镜阵列透过率函数T(x0,y0)建立焦平面光强分布If(xf,yf)与哈特曼波前传感器入瞳复振幅U0(x0,y0)之间的关系函数F1(xf,yf,U0):

步骤2：根据关系函数F1(xf,yf,U0)以及焦平面相机的二维采样函数S(m,n,xf,yf)建立焦平面相机图像I(m,n)与U0(x0,y0)之间的关系函数F2(m,n,U0):

F2(m,n,U0)＝S(m,n,xf,yf)F1(xf,yf,U0)；

步骤3：利用计算机随机生成模式系数矩阵AKL，其中，AKL矩阵的行数K等于38，表示模式阶数共有38阶，AKL矩阵的列数L为100000，表示共生成100000组模式系数；模式函数选择Zernike模式，表示为Mk(x0,y0)，其中k为模式阶次，k＝1,2,……,38；

步骤4：根据模式函数Mk(x0,y0)和模式系数矩阵AKL的第j列向量 生成相位函数序列：

步骤5：设定入射光强度为均匀分布(A0(x0,y0)＝1)，将相位函数序列φ0(x0,y0)＝φ0j(x0,y0)逐次代入哈特曼波前传感器入瞳复振幅计算公式 得到复振幅序列U0j(x0,y0)；

步骤6：针对100000个哈特曼波前传感器入瞳复振幅U0j(x0,y0)分别计算对应的焦平面相机图像I0j(m,n)；利用计算机随机生成满足噪声均方根分别等于20,30,40,50,60的噪声图像各20000幅，并随机改变其顺序，得到噪声图像序列Itj(m,n)；

步骤7：计算焦平面相机图像序列Ij(m,n)＝I0j(m,n)+Itj(m,n)作为后续人工神经网络训练的输入数据集，记录向量 为人工神经网络训练的标签集；

步骤8：建立如图4所示的卷积神经网络，该神经网络包括卷积层、池化层和两层全连接层。各层的隐藏单元数或卷积核的配置情况在图中有详细标注。其输入为维度128x128的二维图像，输出为包含38个元素的一维向量，中间包括三层隐藏层；

步骤9：利用输入样本集Ij(m,n)和标签样本集 组成的L个样本集对步骤8建立的卷积神经网络进行训练，训练完毕后保存该卷积神经网络；

步骤10：利用计算随机模拟生成哈特曼波前传感器图像，模拟时设置哈特曼入射光波前像差满足子孔径与大气相干长度之比为8.8，模式像差的阶数为38，随机噪声图像的噪声均方根分别为25,35,45,55的图像各2500幅，共10000幅。利用经步骤9训练后的人工神经网络计算对应的输出作为波前复原的模式系数。

经统计，利用本发明提供的波前复原方法对10000幅测试图像的平均波前相位复原误差均方根为24nm。随机选择一幅图像，采用传统基于子孔径平均斜率的波前复原方法(已包含焦平面相机阈值处理过程，方法参考Xiaoyu Ma,et.al.“Error analysis ofCCD-based point source centroidcomputation under the background light,”Opt.Express 17,8525-8541,2009)和本发明提供的波前复原方法得到的泽尼克系数与真实像差的泽尼克系数对比如图5(第1阶至第19阶)和图6(第20阶至第38阶)所示。其中，“传统15阶矩阵复原”、“传统20阶矩阵复原”、“传统27阶矩阵复原”(传统方法的复原矩阵生成过程可参考Guang-ming Dai,“Modal wave-front reconstruction with Zernikepolynomials and Karhunen–Loève functions,”J.Opt.Soc.Am.A13,1218-1225，1996)对应的波前相位复原误差均方根分别为158nm、157nm、178nm。受到模式截断误差、模式耦合与混淆误差的影响，随着复原矩阵阶次的增加，传统方法的复原误差先减小后增加，当复原矩阵的阶次增加到38阶时，波前相位复原误差均方根增至18456nm，由于该复原结果误差太大，并未在图5和图6中进行展示。与传统方法相比，本发明提供的“深度学习38阶复原”方法的复原误差仅为23nm。

本发明未详细阐述的部分属于本领域公知技术。

一种基于深度学习的哈特曼波前传感器模式波前复原方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。