专利摘要

本发明涉及一种拥挤场景下视频异常事件检测方法。具体步骤是：训练阶段，首先对视频分块并提取块的光流信息表示块的局部特征，然后以块的局部特征作为原子构建图，采用拉普拉斯特征映射降维并采用自适应聚类方法对局部特征分类，获得类中心作为码字；最后由码字组成码本。测试阶段，先对视频分块提取局部特征，然后计算与码本的特征距离相似度，并结合前一时刻的8‑邻域信息检测事件。本发明只需对光流特征构成的原子集合进行聚类即可建立正常事件模型，历史时刻的邻域信息进一步提高了异常事件检测的准确性。

权利要求

1.一种拥挤场景下视频异常事件检测方法，其特征在于包括如下步骤：

步骤(1)特征提取，具体如下：

将视频中每一帧分割成互不重叠且大小为N×N的块，并连续取M帧，得到大小为N×N×M的立体块，因此M帧长的视频由若干个立体块组成，每个立体块称为原子；设视频帧的分辨率大小为W×H，每一帧得到块的数量其中表示向下取整；t时刻loci位置块的运动信息用一个直方图表示1≤loci≤f_block，loci是整数，其中hi，1≤i≤4，是loci位置块根据光流方向按90度间隔量化获得的4个方向上的光流幅值之和；当前时刻为t，结合t时刻的前(M-1)/2帧与后(M-1)/2帧的直方图信息，t时刻loci位置上的原子表示为M取奇数，1≤loci≤f_block；对于一段视频，以M帧为单位分成P小段，得到的原子数量为P×f_block，由这些原子构成该视频的原子集合；

步骤(2)特征学习，具体如下：

2-1.采用拉普拉斯特征映射方法把原子集合映射到低维空间中，再对其进行聚类；首先对原子集构建图G＝(V,E)，顶点集V表示各个原子，带权重的边E表示各个原子之间的相似度，图中第i个原子与第j个原子之间边的权重按式(1)计算，1≤i≤P×f_block，1≤j≤P×f_block:

公式(1)右边第一项中的数学表达式为：

余弦距离其中<xi,xj>表示求xi与xj的内积，定义σr是尺度因子，其中xG是xr第G个近邻点，近邻的距离度量采用欧氏距离，r＝i或j；

公式(1)右边第二项中，表示第i个原子与第j个原子空间上的欧氏距离；σs为空间尺度因子；构建完图后，借助于图对原子进行谱聚类；在图论中，聚类的问题转变为图割的问题；其原则是子图内的边权重最大化和各子图间的边权重最小化；被切断的边权重之和最小，即使式(3)所示目标函数最小化；

其中wij由公式(1)给出；yi和yj分别是xi和xj映射到目标空间上的坐标向量，Y由向量yi组成，1≤i≤P×f_block；目标函数最小化的问题等价于求解最优的Y：

Yopt＝argmin(YLY)s.t.YTDY＝1(4)

公式(4)中，拉普拉斯矩阵L＝D-W；D是对角阵，其对角线上元素值dii＝∑jwij；W由wij构成；计算L相对于D的广义特征值和特征向量，选取l个最小非零特征值以及对应的特征向量；将求得的l个特征向量并成一个(P×f_block)×l的特征向量空间，其中每一行代表原子在l维空间的坐标；最后根据每个原子的l维空间坐标，采用Lihi Zelnik-Manor的自适应聚类方法在l维空间对原子进行聚类，聚类后得到Num0个类，每一类的类中心表示一类事件的局部特征，类中心按式(5)计算:

Nk表示属于第k类事件的原子个数；类中心作为码字，位置loci上所有可能的码字组成码本；

2-2.在loci位置块上建立码本的过程如下：

(a)建立初始码本，将训练数据进行步骤2-1的特征学习得到Num类事件，Num＝Num0；按式(6)计算wk,loci，如果wk,loci>0，则把第k类的类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；

其中nk,loci表示位置loci上第k类事件发生的次数，1≤loci≤f_block；

(b)输入新的训练数据将它与loci位置块上的码本比较，若满足特征距离相似度时，th为设定的阈值；将加入到一个新的集合U中，否则把加入到位置loci上最相似类局部特征的训练数据中，然后重新计算这类局部特征的类中心，更新码本中码字,其中是按式(7)计算的特征距离的相似度；

其中表示在位置loci上的码本中第k个码字,1≤k≤Num；

(c)当集合U中的数据数量未达到Q时，返回步骤(b)；当集合U中的数据数量达到Q时，重新对集合U进行步骤2-1操作，聚类成Num1类，更新Num0为Num0＝Num1，如果wk,loci>0，则就把第k类事件类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；清空集合U，类目总数Num更新为Num＝Num+Num1，判断所有输入的训练数据是否训练完毕，若未完毕则返回步骤(b)；

步骤(3)视频异常事件检测，具体是：

将测试数据与训练阶段建立的loci位置块的码本进行比较,1≤loci≤f_block，若满足时，则初步认为在loci位置块上有异常事件发生，否则没有发生；

步骤(4)时空后处理，具体是：

在t时刻，若loci位置块的初始被判有异常事件发生，则考虑loci位置块在t-1时刻的8-邻域，如果在邻域中至少有两个位置存在异常，则判loci位置块上有异常事件发生，否则没有异常事件发生。

说明书

技术领域

本发明属于智能视频监控技术领域，涉及一种拥挤场景下视频异常事件检测方法。

背景技术

视频异常事件检测是指能自动分析视频监控场景中发生的事件，如果发生异常事件就能立刻发出报警信号，从而提高相关部门的响应和救援效率。例如步行街上的骑车、轮滑和车辆通行，广场上人群的恐慌、踩踏等这些异常事件都能及时的被检测到并进行报警。它在视频监控领域有着广泛的应用前景。

目前现有的异常事件检测方法可以大致分为两类：1)通过对目标对象进行跟踪，分析其运动轨迹，进而对其做出判断；2)不需要对目标对象进行跟踪，通过建立正常事件模型，对光流、纹理等特征作出分析。第一类方法，通过对目标对象进行跟踪，获取运动方向与目标的运动速度以及根据目标对象特征与尺寸比，该类方法针对场景中只存在少数运动目标时得到了较好的应用，但是在拥挤的环境下,由于目标之间相互重叠，很难对目标对象进行跟踪，因此这类方法的检测性能欠佳。本发明采用第二类方法。

发明内容

本发明的目的是提供一种拥挤场景下视频异常事件检测方法，以提高异常事件检测率。

为解决上述问题，本发明提供的技术方案如下：

步骤(1)特征提取，具体如下：

将视频中每一帧分割成互不重叠且大小为N×N的块，并连续取M帧，得到大小为N×N×M的立体块，因此M帧长的视频由若干个立体块组成，每个立体块称为原子。设视频帧的分辨率大小为W×H，每一帧得到块的数量 其中 表示向下取整。t时刻loci位置块的运动信息用一个直方图表示 1≤loci≤f_block，loci是整数，其中hi，1≤i≤4，是loci位置块根据光流方向按90度间隔量化获得的4个方向上的光流幅值之和。当前时刻为t，结合t时刻的前(M-1)/2帧与后(M-1)/2帧的直方图信息，t时刻loci位置上的原子表示为 M取奇数，1≤loci≤f_block。对于一段视频，以M帧为单位分成P小段，得到的原子数量为P×f_block，由这些原子构成该视频的原子集合。

步骤(2)特征学习，具体如下：

2-1.采用拉普拉斯特征映射方法把原子集合映射到低维空间中，再对其进行聚类。首先对原子集构建图G＝(V,E)，顶点集V表示各个原子，带权重的边E表示各个原子之间的相似度，图中第i个原子与第j个原子之间边的权重按式(1)计算，1≤i≤P×f_block，1≤j≤P×f_block:

公式(1)右边第一项中 的数学表达式为：

余弦距离其中<xi,xj>表示求xi与xj的内积，定义 的形式就是式(2)中i＝r，j＝G时，σr是尺度因子，其中xG是xr第G个近邻点，近邻的距离度量采用欧氏距离，r＝i或j。

公式(1)右边第二项中， 表示第i个原子与第j个原子空间上的欧氏距离；σs为空间尺度因子。构建完图后，借助于图对原子进行谱聚类。在图论中，聚类的问题转变为图割的问题。其原则是子图内的边权重最大化和各子图间的边权重最小化。被切断的边权重之和最小，即使式(3)所示目标函数最小化。

其中wij由公式(1)给出；yi和yj分别是xi和xj映射到目标空间上的坐标向量，Y由向量yi组成，1≤i≤P×f_block。目标函数最小化的问题等价于求解最优的Y：

Yopt＝argmin(YLY) s.t.YTDY＝1(4)

公式(4)中，拉普拉斯矩阵L＝D-W。D是对角阵，其对角线上元素值dii＝Σjwij；W由wij构成。计算L相对于D的广义特征值和特征向量，选取l个最小非零特征值以及对应的特征向量。将求得的l个特征向量并成一个(P×f_block)×l的特征向量空间，其中每一行代表原子在l维空间的坐标。最后根据每个原子的l维空间坐标，采用Lihi Zelnik-Manor的自适应聚类方法(Lihi Zelnik-Manor,Self-Tuning Spectral Clustering.In Proceedings ofthe 18th Annual Conference on Neural Information Processing Systems 2004)在l维空间对原子进行聚类，自适应确定聚类的类数。聚类后得到Num0个类，每一类的类中心表示一类事件的局部特征，类中心按式(5)计算:

Nk表示属于第k类事件的原子个数。类中心作为码字，位置loci上所有可能的码字组成码本。

2-2.在loci位置块上建立码本的过程如下：

(a)建立初始码本，将训练数据进行步骤2-1的特征学习得到Num类事件，Num＝Num0。按式(6)计算wk,loci，如果wk,loci>0，则把第k类的类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；

其中nk,loci表示位置loci上第k类事件发生的次数，1≤loci≤f_block。

(b)输入新的训练数据 将它与loci位置块上的码本比较，若满足特征距离相似度 时，th为设定的阈值；将 加入到一个新的集合U中，否则把 加入到位置loci上最相似类局部特征的训练数据中，然后重新计算这类局部特征的类中心，更新码本中码字,其中 是按式(7)计算的特征距离的相似度；

其中 表示在位置loci上的码本中第k个码字,1≤k≤Num。

(c)当集合U中的数据数量未达到Q时，返回步骤(b)；当集合U中的数据数量达到Q时，重新对集合U进行步骤2-1操作，聚类成Num1类，更新Num0为Num0＝Num1，如果wk,loci>0，则就把第k类事件类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；清空集合U，类目总数Num更新为Num＝Num+Num1，判断所有输入的训练数据 是否训练完毕，若未完毕则返回步骤(b)。

步骤(3)视频异常事件检测，具体是：

将测试数据 与训练阶段建立的loci位置块的码本进行比较,1≤loci≤f_block，若满足 时，则初步认为 在loci位置块上有异常事件发生，否则没有发生；

步骤(4)时空后处理，具体是：

在t时刻，若loci位置块的初始被判有异常事件发生，则考虑loci位置块在t-1时刻的8-邻域，如果在邻域中至少有两个位置存在异常，则判loci位置块上有异常事件发生，否则没有异常事件发生。

本发明只需对光流特征构成的原子集合进行谱聚类即可建立正常事件模型。时空后处理考虑了判决位置的历史时刻的邻域信息，进一步提高了异常事件检测的准确性。

附图说明

图1为异常事件检测模型训练过程图；

图2为异常事件检测模型检测过程图。

具体实施方式

以下结合附图和实施实例对本发明加以详细说明。

本发明的异常检测模型训练和检测过程分别如图1、图2所示，具体步骤如下：

步骤(1)特征提取，具体是：

将视频中每一帧分割成互不重叠且大小为N×N的块，并连续取M帧，得到大小为N×N×M的立体块，因此M帧长的视频可以由若干个立体块组成，每个立体块称为原子，取N＝10，M＝3。设视频帧的分辨率大小为320×240，每一帧得到块的数量f_block＝768。t时刻loci位置块的运动信息用一个直方图表示 1≤loci≤f_block，loci是整数，其中hi，1≤i≤4，是loci位置块根据光流方向按90度间隔量化获得的4个方向上的光流幅值之和。当前时刻为t，结合t时刻的前1帧与后1帧的直方图信息，t时刻loci位置上的原子可以表示为 取P＝10，得到的原子数量为P×f_block＝7680，由这些原子构成该视频的原子集合。

步骤(2)特征学习，具体如下：

2-1.采用拉普拉斯特征映射方法把原子集合映射到低维空间中，再对其进行聚类。首先对原子集构建图G＝(V,E)，顶点集V表示各个原子，带权重的边E表示各个原子之间的相似度，图中第i个原子与第j个原子之间边的权重按式(1)计算，1≤i≤P×f_block，1≤j≤P×f_block。取G＝7，σs＝0.4。

构建完图后，借助于图对原子进行谱聚类。使式(3)所示目标函数最小化。目标函数最小化的问题等价于求解式(4)的最优。计算L相对于D的广义特征值和特征向量，选取l个最小非零特征值以及对应的特征向量，取l＝10。将求得的l个特征向量并成一个(P×f_block)×l的特征向量空间，其中每一行代表原子在l维空间的坐标。最后根据每个原子的l维空间坐标，采用Lihi Zelnik-Manor的自适应聚类方法在l维空间对原子进行聚类，自适应确定聚类的类数。聚类后得到Num0个类，每一类的类中心表示一类事件的局部特征，类中心按式(5)计算。

2-2.在位置loci上建立码本的过程如下，1≤loci≤f_block：

(a)建立初始码本，将训练数据进行步骤2-1的特征学习得到Num类事件，Num＝Num0。按式(6)计算wk,loci，如果wk,loci>0，则把第k类的类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；

其中nk,loci表示位置loci上第k类事件发生的次数，1≤loci≤f_block。

(b)输入新的训练数据 将它与loci位置块上的码本比较，若满足特征距离相似度 时，th为设定的阈值，取th＝0.85，将 加入到一个新的集合U中，否则把 加入到位置loci上最相似类局部特征的训练数据中，然后重新计算这类局部特征的类中心，更新码本中码字,其中 是按式(7)计算的特征距离的相似度；

其中 表示在位置loci上的码本中第k个码字,1≤k≤Num。

(c)当集合U中的数据数量未达到Q时，返回步骤(b)；当集合U中的数据数量达到Q时，重新对集合U进行步骤2-1操作，聚类成Num1类，更新Num0为Num0＝Num1，如果wk,loci>0，则就把第k类事件类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；清空集合U，类目总数Num更新为Num＝Num+Num1，判断所有输入的训练数据 是否训练完毕，若未完毕则返回步骤(b)。

步骤(3)视频异常事件检测，具体是：

将测试数据 与训练阶段建立的loci位置块的码本进行比较,1≤loci≤f_block，若满足 时，则初步认为 在loci位置块上有异常事件发生，否则没有发生；

步骤(4)时空后处理，具体是：

在t时刻，若loci位置块的初始被判有异常事件发生，则考虑loci位置块在t-1时刻的8-邻域，如果在邻域中至少有两个位置存在异常，则判loci位置块上有异常事件发生，否则没有异常事件发生。

一种拥挤场景下视频异常事件检测方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。