IPC分类号 : H04N7/18,G06K9/00,G06K9/46,G06K9/62,G08B13/196
专利摘要
专利摘要
本发明涉及一种智慧城市视频监控中突发情况的预警检测方法,包括建立一个预警检测系统,为保证监控的实时性,采用双通道上传视频;由客户端对监控视频流进行预处理,本地主机通过背景模型、关键帧提取、背景分离、前景特征提取等,仅把关键帧中的前景特征提取后封装压缩打包上传云服务器;同时视频流由另一通道上传云服务器端,经帧截取、对象检测分割、对象特征提取及采用SACBA自适应关联规则分类算法构造分类器,通过不断增加的原始视频数据扩充和更新异常特征库,逐步提高对多种类型突发情况检测的准确度;云服务器将收到的封装特征数据包信息与异常特征库进行对比,做出预警判断反馈给客户端。本方法可保证监控预警的实时性与准确性。
权利要求
1.一种智慧城市视频监控中突发情况的检测方法,首先是建立一个预警检测系统,设有客户端和云服务器端,所述的客户端设有监控摄像头、本地主机和安装在本地主机内的处理软件;云服务器端设有云服务器和安装在云服务器内的处理软件以及建立的异常特征库;其特征在于,再按如下步骤操作:
⑴、由客户端的本地主机获取城市各个监控摄像头传送的监控视频,对监控摄像头输出的大量监控视频流进行预处理;
(1.1)、客户端中的本地主机通过处理软件采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类;
(1.2)、本地主机采用帧差法对截取的视频帧进行关键帧提取,只对关键帧进行操作使本地主机数据处理量大幅地降低;
(1.3)、本地主机将提取的关键帧与混合高斯背景模型中的前景图像结合,将图像中具有轨迹特征、表情特征、纹理特征、速度特征、加速度特征的前景特征分别提取出来,加入完整性检测标志,封装打包成封装特征数据包上传至云服务器;
(1.4)、客户端中的本地主机还实时接收云服务器端的云服务器反馈的信息,并根据反馈预警的威胁类型与威胁等级,做出对应的警示与处理;
⑵、所述的云服务器端的云服务器通过另一通道同步获取城市各个监控摄像头传送的监控视频,对大量监控视频流进行预处理;
(2.1)、云服务器对监控视频流采用等间隔进行帧截取,将视频流转为图片;
(2.2)、所述的图片经过对象检测分割完成前景对象分离;
(2.3)、将前景对象进行特征分类,分出轨迹特征、表情特征、纹理特征、速度特征和加速度特征;
(2.4)、云服务器将经过特征分类的前景对象通过SACBA关联规则挖掘和分类器构建,采用自适应阈值关联规则的SACBA分类算法,所述的SACBA关联规则挖掘用于发现数据中隐含的潜在有用的信息,为每一类特征数据建立一个模型描述;分类器用于选取优先级别的关联规则进行构造,通过分类器提取海量监控视频数据中的异常特征,传给异常特征库,同时异常特征库通过不断增加的原始视频数据扩充,实时自动更新异常特征库的数据;
(2.5)、云服务器接收客户端的封装特征数据包数据,检测所述数据包的完整性,确认数据包完整之后,与构建的异常特征库进行匹配解析特征属性,并根据不同突发情况,判断出突发情况的威胁类型与威胁等级,反馈给客户端的本地主机。
2.根据权利要求1所述的智慧城市视频监控中突发情况的预警检测方法,其特征在于:所述的步骤(1.1)中客户端的本地主机采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类;其特征在于,操作步骤为:
(1.1.1)、所述的混合高斯背景模型是通过多个高斯概率密度函数的加权平均来平滑地表示任意形状的密度分布函数;
令I(x,y,t)表示像素点在t时刻的像素值,则密度分布函数P(I(x,y,t))表示为
上式中:k为高斯分布的个数,称为高斯混合概率密度的混合系数; 为t时刻第i个高斯分布, 为均值,δt为协方差矩阵;
(1.1.2)、对于一个像素的k个高斯分量,根据 的值从大到小进行排列,对于满足下式的前B个高斯分布被当作是背景模型;
其中:Wk为权值,T是背景模型占有高斯分布的最小比例,设置为0.7;
(1.1.3)、对于当前像素(x,y,t),若其值I(x,y,t)与其背景模型中第k个高斯分布匹配,其中k≤B,即I(x,y,t)在 范围之内,其中 为期望值, 为t时刻第k个高斯分布的标准差,λ为常数,设置为2.5,那么该像素被认为是背景,否则是前景;
令输出图像为output,计算公式为:
在检测完前景之后,若该像素被认为是前景,即前B个高斯分布中没有一个与之匹配,则用一个新的高斯分布取代权重最小的那个高斯分布;新的分布的期望值即为当前的像素值,同时为它分配一个初始偏差std_init和初始权重值weight_init;
(1.1.4)、若该像素被认为是背景,则对该像素的各个高斯分布的权重 做如下调整:
其中:α为学习率,α值在0~1之间,M为总帧数,Di,t为常数,如果第i个高斯分布与当前像素匹配,则Di,t=1,否则Di,t=0;
对于与当前像素匹配的高斯分布,更新它们的期望值和偏差值。
3.根据权利要求1所述的智慧城市视频监控中突发情况的预警检测方法,其特征在于:所述的步骤(1.2)中本地主机采用帧差法对截取的视频帧进行关键帧提取,所述的帧差法是利用同一个镜头中的各帧之间的变化非常小,通过直方图进行视频图像的相似度的比较,当两帧间的直方图发生剧烈变化时,此时进入了下一个镜头,将镜头的第一帧定位为关键帧;并采用绝对距离法比较相邻帧的灰度直方图差别,以两帧对应像素的灰度差的绝对值之和作为帧间差;帧间差计算公式:
其中:Fi(x,y)、Fj(x,y)分别表示第i、j帧(x,y)位置的灰度值,若表示i、j帧间差超过设定的阈值时,则认为有镜头切换。
说明书
技术领域
本发明涉及一种智慧城市视频监控中突发情况的预警检测方法。
背景技术
视频监控种类繁多,传统监控视频异常检测方法不能很好适应多种环境。因为目前的检测方法,每个摄像头每天产生的视频数量巨大,如果本地处理,由于视频种类的多样性,以及本地主机计算能力有限,在面对海量监控视频时处理的准确度、响应速度都很低,因此在本地主机进行检测分析,预警结果的准确性得不到保证;如果上传云服务器处理,也由于监控视频数据量巨大,上传云端处理过程耗时太长,还会因为网络堵塞等情况影响处理效果,易使突发情况不能实时预警,错过最佳响应时间。如何利用视频监控数据判断突发事件,例如在突发恐怖、暴力、群体聚集等事件的检测中,要做到快速准确的完成预警检测是一件非常困难的事情。
近几年视频监控技术发展较快,如在中国公开的专利申请号为201210047156.6的“视频监控中异常行为的检测方法”,该方法通过光流法计算目标帧间变化熵值,计算目标运动能量,根据目标帧间变化熵值和运动能量进行决策,如果发生异常,则报警。该检测方法的不足之处一是,使用光流法计算熵值变化,光流法进行检测时计算量较大,无法保证实时性和实用性;二是,大量场合存在正常聚集运动情况,如跳广场舞的广场视频监控,或是人员密集的商场,这些场景运动能量会给监控系统造成大量误报,且该方法熵值变化使用同一个阈值,不具有实用性。
中国专利号为201210223375.5中,公开的“视频监控中的团体人群异常行为检测方法”中,通过基于视频粒子的长周期的运动估计方法,得到目标的运动轨迹,对轨迹间距离,行进速度信息进行谱聚类分析,通过正常轨迹突然变化来进行堵塞和跌倒的识别,但该方法检测的行为过于单一,对于运动特征不明显的异常场景,存在大量误报漏报,判断工作集中在本地主机,在处理多个实时视频流时,主机的性能有较大限制。
中国专利申请号201610841596.7的“基于视频监控平台的人员游荡行为检测方法”中,公开了使用高斯混合背景法进行背景建模,并且根据轮廓复杂度、面积和外接矩形长宽比特征进行简单的筛选,获取行人前景块,然后进一步判断视频状态改变的程度,进而得到异常行为的视频流,其判断工作集中在本地主机,在处理多个实时视频流时,主机的性能有较大限制。
还有中国专利申请号201611151575.9的“一种智慧城市智能监控系统”中,公开了由监控信息采集系统、监控信息处理端和监控信息响应端组成的系统,及介绍了该系统通过点阵布局,对城市平面空间的全覆盖,一经触发监控信息采集端直接与监控信息处理端相连,并指挥监控信息响应端做出响应,最大程度地保证了应急响应的及时性。该监控系统的不足之处是整个城市实时视频数据量巨大,监控信息采集端的数据传输到监控信息处理端过程耗时较长,而且极易受网络环境的限制,使实时性难以得到保障。
随着城市规模的扩大,管理水平的不断提升,要求城市管理向国际化水平的发展,为此很有必要开发一种智慧城市视频监控中突发情况的预警检测方法。
发明内容
本发明的目的是要解决的现有技术存在的问题,而提供一种智慧城市视频监控中突发情况的预警检测方法,当监控视频中出现突发情况时,可以在第一时间判断出突发情况的威胁类型与威胁等级,及时进行预警和处理。
为达到上述目的,本发明采用的技术方案是:提供一种智慧城市视频监控中突发情况的检测方法,首先是建立一个预警检测系统,设有客户端和云服务器端,所述的客户端设有监控摄像头、本地主机和安装在本地主机内的处理软件;云服务器端设有云服务器和安装在云服务器内的处理软件以及建立的异常特征库;再按如下步骤操作:
⑴、由客户端的本地主机获取城市各个监控摄像头传送的监控视频,对监控摄像头输出的大量监控视频流进行预处理;
(1.1)、客户端中的本地主机通过处理软件采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类;
(1.2)、本地主机采用帧差法对截取的视频帧进行关键帧提取,只对关键帧进行操作使本地主机数据处理量大幅地降低;
(1.3)、本地主机将提取的关键帧与混合高斯背景模型中的前景图像结合,将图像中具有轨迹特征、表情特征、纹理特征、速度特征、加速度特征的前景特征分别提取出来,加入完整性检测标志,封装打包成封装特征数据包上传至云服务器;
(1.4)、客户端中的本地主机还实时接收云服务器端的云服务器反馈的信息,并根据反馈预警的威胁类型与威胁等级,做出对应的警示与处理;
⑵、所述的云服务器端的云服务器通过另一通道同步获取城市各个监控摄像头传送的监控视频,对大量监控视频流进行预处理;
(2.1)、云服务器对监控视频流采用等间隔进行帧截取,将视频流转为图片;
(2.2)、所述的图片经过对象检测分割完成前景对象分离;
(2.3)、将前景对象进行特征分类,分出轨迹特征、表情特征、纹理特征、速度特征和加速度特征;
(2.4)、云服务器将经过特征分类的前景对象通过SACBA关联规则挖掘和分类器构建,采用自适应阈值关联规则的SACBA分类算法,所述的SACBA关联规则挖掘用于发现数据中隐含的潜在有用的信息,为每一类特征数据建立一个模型描述;分类器用于选取优先级别的关联规则进行构造,通过分类器提取海量监控视频数据中的异常特征,传给异常特征库,同时异常特征库通过不断增加的原始视频数据扩充,实时自动更新异常特征库的数据;
(2.5)、云服务器接收客户端的封装特征数据包数据,检测所述数据包的完整性,确认数据包完整之后,与构建的异常特征库进行匹配解析特征属性,并根据不同突发情况,判断出突发情况的威胁类型与威胁等级,反馈给客户端的本地主机。
所述的步骤(1.1)中客户端的本地主机采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类;操作步骤为:
(1.1.1)、所述的混合高斯背景模型是通过多个高斯概率密度函数的加权平均来平滑地表示任意形状的密度分布函数;
令I(x,y,t)表示像素点在t时刻的像素值,则密度分布函数P(I(x,y,t))表示为
上式中:k为高斯分布的个数,称为高斯混合概率密度的混合系数; 为t时刻第i个高斯分布, 为均值,δt为协方差矩阵;
(1.1.2)、对于一个像素的k个高斯分量,根据 的值从大到小进行排列,对于满足下式的前B个高斯分布被当作是背景模型;
其中:Wk为权值,T是背景模型占有高斯分布的最小比例,设置为0.7;
(1.1.3)、对于当前像素(x,y,t),若其值I(x,y,t)与其背景模型中第k个高斯分布匹配,其中k≤B,即I(x,y,t)在 范围之内,其中 为期望值, 为t时刻第k个高斯分布的标准差,λ为常数,设置为2.5,那么该像素被认为是背景,否则是前景;
令输出图像为output,计算公式为:
在检测完前景之后,若该像素被认为是前景,即前B个高斯分布中没有一个与之匹配,则用一个新的高斯分布取代权重最小的那个高斯分布;新的分布的期望值即为当前的像素值,同时为它分配一个初始偏差std_init和初始权重值weight_init;
(1.1.4)、若该像素被认为是背景,则对该像素的各个高斯分布的权重 做如下调整:
其中:α为学习率,α值在0~1之间,M为总帧数,Di,t为常数,如果第i个高斯分布与当前像素匹配,则Di,t=1,否则Di,t=0;
对于与当前像素匹配的高斯分布,更新它们的期望值和偏差值。
所述的步骤(1.2)中本地主机采用帧差法对截取的视频帧进行关键帧提取,所述的帧差法是利用同一个镜头中的各帧之间的变化非常小,通过直方图进行视频图像的相似度的比较,当两帧间的直方图发生剧烈变化时,此时进入了下一个镜头,将镜头的第一帧定位为关键帧;并采用绝对距离法比较相邻帧的灰度直方图差别,以两帧对应像素的灰度差的绝对值之和作为帧间差;帧间差计算公式:
其中:Fi(x,y)、Fj(x,y)分别表示第i、j帧(x,y)位置的灰度值,若表示i、j帧间差超过设定的阈值时,则认为有镜头切换。
本发明的方法首先是建立一个预警检测系统,设有客户端和云服务器端,采用双通道分别向客户端和云服务器端传送监控视频。客户端和云服务器端分别对海量的监控视频流进行了视频预处理,分析,合理的取舍和划分。在客户端采用了混合高斯背景模型、关键帧提取、背景分离、前景特征提取等操作,仅仅把关键帧中的前景特征提取后封装压缩打包上传云服务器,云服务器通过将传送的封装特征数据包与云服务器端的异常特征库进行对比,反馈判断结果给客户端。由于上传压缩的封装特征数据包很小,上传响应过程几乎实时进行,当监控视频中发生突发情况时,可以第一时间进行处理。当原始视频流通过另一通道上传云服务器端,云服务器进行帧截取,对象检测分割,提取表情、轨迹、纹理、速度、加速度等特征,通过SACBA关联规则分类算法进行分类器构造,通过不断增加的原始视频数据,逐步扩充异常特征库,使得在不同场景的监控视频信息都能实时准确地通过客户端传来的数据与异常特征库对比匹配,用于云服务器实时准确地对突发情况做出威胁类型与威胁等级的判断。
本发明的方法中云服务器端的SACBA关联规则挖掘采用自适应阈值关联规则的SACBA分类算法;传统关联分类算法都依赖于人为设定的支持度和置信度阈值,根据经验给出的阈值,不能根据具体场景动态变化而变化。当阈值设置过低,会产生过多分类规则,甚至产生过拟合问题,阈值设置过高,则会忽略一些稀少特征项,不能发现足够的分类规则,导致准确度下降。而本发明采用的SACBA分类算法则根据监控视频流特征,由系统自动生成支持度和置信度阈值,当云服务器计算时间过长,响应过程缓慢时,系统会自动提高阈值,让系统实时性得到保证,当反馈到本地系统的准确度偏低时,系统自动降低阈值,待本地管理人员确认之后,作为新的阈值;最大频繁项集的产生由支持度决定,最后所产生的精确分类规则由置信度决定。本发明的方法中根据阈值关联规则进行剪枝,从中选择优先级较高的规则来覆盖训练样本,并生成分类器;根据不同特征集,设置动态支持度和置信度阈值,根据不同特征的重要性,设置不同支持度和置信度,极大提高了异常特征库对于不同场景的适应性。
本发明的智慧城市视频监控中突发情况的预警检测方法,与现有技术相比具有的有益效果是:
⑴、本发明的方法客户端对海量监控视频流进行了合理的取舍和划分,仅仅把关键帧中的前景特征提取后压缩打包上传云服务器,云服务器将封装特征数据包的信息与云服务器端的异常特征库进行对比,做出判断结果反馈给客户端。由于上传的封装特征数据包很小,上传响应过程几乎实时进行,当监控视频中有突发情况时,云服务器判断出突发情况的威胁类型与威胁等级,及时反馈给客户端,本地主机可以在第一时间进行处理,达到对突发情况的检测预警的目的。
⑵、本发明的方法中原始视频流通过另一条通道上传云服务器,经过帧截取,对象检测分割,提取表情、轨迹、速度、加速度等特征,并采用SACBA自适应阈值关联规则分类算法进行分类器构造,通过不断增加和更新的原始视频数据,逐步扩充和更新异常特征库,逐步提高对多种类型突发情况检测的准确度;云服务器将收到的封装特征数据包信息与异常特征库进行对比,实时做出准确的预警判断反馈给客户端。应用本方法可保证监控预警的实时性与准确性。
⑶、本发明的方法中云服务器端采用了SACBA关联规则挖掘和分类器构建,采用了一种新的自适应阈值关联规则的SACBA分类算法,解决了传统关联分类算法依赖人为设定的支持度和置信度阈值所存在的弊病,SACBA算法是由系统自动生成支持度和置信度阈值;根据阈值关联规则进行剪枝,从中选择优先级较高的规则来覆盖训练样本,并生成分类器;能自动根据不同特征集设置动态支持度和置信度阈值,根据不同特征的重要性设置不同支持度和置性度,极大提高了异常特征库对于不同场景判断的准确性。
附图说明
图1为本发明的智慧城市视频监控中突发情况的预警检测方法操作步骤示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明,但本发明的实施不限于此。
实施例1:本发明提供一种智慧城市视频监控中突发情况的预警检测方法,首先是建立一个预警检测系统,设有客户端和云服务器端,所述的客户端设有监控摄像头、本地主机和安装在本地主机内的处理软件;云服务器端设有云服务器和安装在云服务器内的处理软件以及建立的异常特征库;再按如下步骤操作:参见图1。
⑴、由客户端的本地主机获取城市各个监控摄像头传送的监控视频,对监控摄像头输出的大量监控视频流进行预处理;
(1.1)、客户端中的本地主机通过处理软件采用混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类;
本方法为保证适应场景的多样性,采用的是混合高斯背景模型将所有视频帧截取的图像像素分为背景和前景两类,其操作步骤为:
(1.1.1)、所述的混合高斯背景模型是通过多个高斯概率密度函数的加权平均来平滑地表示任意形状的密度分布函数;
令I(x,y,t)表示像素点在t时刻的像素值,则密度分布函数P(I(x,y,t))表示为
上式中:k为高斯分布的个数,称为高斯混合概率密度的混合系数; 为t时刻第i个高斯分布, 为均值,δt为协方差矩阵;
(1.1.2)、对于一个像素的K个高斯分量,根据 的值从大到小进行排列,对于满足下式的前B个高斯分布被当作是背景模型;
其中:Wk为权值,T是背景模型占有高斯分布的最小比例,设置为0.7;
(1.1.3)、对于当前像素(x,y,t),若其值I(x,y,t)与其背景模型中第k个高斯分布匹配,其中k≤B,即I(x,y,t)在 范围之内,其中 为期望值, 为t时刻第k个高斯分布的标准差,λ为常数,一般设置为2.5,那么该像素被认为是背景,否则是前景;
令输出图像为output,计算公式为:
在检测完前景之后,若该像素被认为是前景,即前B个高斯分布中没有一个与之匹配,则用一个新的高斯分布取代权重最小的那个高斯分布;新的分布的期望值即为当前的像素值,同时为它分配一个初始偏差std_init和初始权重值weight_init;
(1.1.4)、若该像素被认为是背景,则对该像素的各个高斯分布的权重 做如下调整:
其中:α为学习率,α值在0~1之间,M为总帧数,Di,t为常数,如果第i个高斯分布与当前像素匹配,则Di,t=1,否则Di,t=0;
对于与当前像素匹配的高斯分布,更新它们的期望值和偏差值。
(1.2)、本地主机采用帧差法对截取的视频帧进行关键帧提取,只对关键帧进行操作可使本地主机数据处理量大幅地降低;
所述的帧差法是利用同一个镜头中的各帧之间的变化非常小,通过直方图进行视频图像的相似度的比较,当两帧间的直方图发生剧烈变化时,此时进入了下一个镜头,将镜头的第一帧定位为关键帧;并采用绝对距离法比较相邻帧的灰度直方图差别,以两帧对应像素的灰度差的绝对值之和作为帧间差;
帧间差计算公式如下:
其中:Fi(x,y),Fj(x,y)分别表示第i、j帧(x,y)位置的灰度值,若表示i、j帧间的差超过设定的阈值时,则认为有镜头切换。
帧差法提取关键帧相比其他关键帧提取算法,在计算复杂度,适应场景的范围上都有明显优势。
(1.3)、前景特征提取步骤是将提取的关键帧与混合高斯背景模型中的前景图像结合,将图像中具有轨迹特征、表情特征、纹理特征、速度特征、加速度特征的前景特征分别提取出来,加入完整性检测标志,封装打包和压缩上传至云服务器。
(1.4)、客户端中的本地主机接收云服务器端的云服务器反馈的信息,并根据反馈的预警威胁类型与威胁等级,做出对应的警示与处理。
⑵、所述的云服务器端的云服务器通过另一通道同步获取城市各个监控摄像头传送的监控视频,对大量监控视频流进行预处理;
(2.1)、云服务器对监控视频流采用等间隔进行帧截取,将视频流转为图片;
(2.2)、所述的图片经过对象检测分割完成前景对象分离;
(2.3)、将前景对象进行特征分类,分出轨迹特征、表情特征、纹理特征、速度特征和加速度特征;
(2.4)、云服务器将经过特征分类的前景对象通过SACBA关联规则挖掘和分类器构建,采用自适应阈值关联规则的SACBA分类算法,所述的SACBA关联规则挖掘用于发现数据中隐含的潜在有用的信息,为每一类特征数据建立一个模型描述;分类器用于选取优先级别的关联规则进行构造,通过分类器提取海量监控视频数据中的异常特征,传给异常特征库,同时异常特征库通过不断增加的原始视频数据扩充,实时自动更新异常特征库的数据;
(2.5)、云服务器接收客户端的封装特征数据包数据,检测所述数据包的完整性,确认数据包完整之后,与构建的异常特征库进行匹配解析特征属性,并根据不同突发情况,判断出突发情况的威胁类型与威胁等级,反馈给客户端的本地主机。
本发明的方法采用双通道上传视频,由客户端与云服务器端分别对海量监控视频流进行了合理的取舍和划分,客户端仅仅把关键帧中的前景特征提取后压缩打包上传云服务器端,上传的封装特征数据包很小,上传响应过程几乎实时进行,很好地解决了现有技术中由于海量监控视频放在本地主机处理和判断,使处理速度和判断的准确度无法保障的问题。本发明的方法使得在不同场景的监控视频都能准确迅速传送,可以在第一时间进行处理,达到对突发情况的监控与预警的目的。
一种智慧城市视频监控中突发情况的预警检测方法专利购买费用说明
Q:办理专利转让的流程及所需资料
A:专利权人变更需要办理著录项目变更手续,有代理机构的,变更手续应当由代理机构办理。
1:专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。
2:按规定缴纳著录项目变更手续费。
3:同时提交相关证明文件原件。
4:专利权转移的,变更后的专利权人委托新专利代理机构的,应当提交变更后的全体专利申请人签字或者盖章的委托书。
Q:专利著录项目变更费用如何缴交
A:(1)直接到国家知识产权局受理大厅收费窗口缴纳,(2)通过代办处缴纳,(3)通过邮局或者银行汇款,更多缴纳方式
Q:专利转让变更,多久能出结果
A:著录项目变更请求书递交后,一般1-2个月左右就会收到通知,国家知识产权局会下达《转让手续合格通知书》。
动态评分
0.0