CN115862061A - 基于rgb-d图像的人体检测方法、系统、装置及介质 - Google Patents
基于rgb-d图像的人体检测方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN115862061A CN115862061A CN202211490193.4A CN202211490193A CN115862061A CN 115862061 A CN115862061 A CN 115862061A CN 202211490193 A CN202211490193 A CN 202211490193A CN 115862061 A CN115862061 A CN 115862061A
- Authority
- CN
- China
- Prior art keywords
- image
- rgb
- human body
- target
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000007621 cluster analysis Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于RGB‑D图像的人体检测方法、系统、装置及介质,通过获取RGB‑D图像,对Depth图像进行前景分割,得到前景图像,根据前景图像以及预设的聚类分析规则,得到n个聚类结果,根据聚类结果、RGB图像以及预设的RGB人体检测网络,得到目标的检测结果。则在应用于公共场所对人流进行检测时,由于不仅考虑了RGB图像,还将RGB‑D图像中的Depth图像作为参考,即结合RGB图像和Depth图像各自优势,避免光照、影子影响,同时利用聚类结果、RGB图像及预设的RGB人体检测网络,在提高检测效率的基础上减少其他行人、背景等的干扰,因此有效提高遮挡场景下的行人检测准确率,降低误检和漏检。
Description
技术领域
本发明涉及多媒体技术领域,具体涉及基于RGB-D图像的人体检测方法、系统、装置及介质。
背景技术
行人检测技术广泛应用于公共场所的信息统计和相关应急措施,如人流量控制、商场布局参考和公共安防等,该技术不仅在智能监控系统中具有广泛的应用前景和巨大潜力,在计算机视觉中也是一个具有吸引力及挑战性的问题。行人运动的视觉分析是一个新兴前沿的研究领域,涉及智能辅助驾驶,运动捕捉、智能监控、人体行为识别与分析以及环境控制和监测等多个领域。
在人流量较大的公共场所中,由于人与人之间互相遮挡、人与物体之间互相遮挡,容易造成行人检测过程中的误检或者漏检,即存在检测不准确的问题。
因此,现有技术有待于改善。
发明内容
本发明的主要目的在于提出一种基于RGB-D图像的人体检测方法、系统、装置及介质,以至少解决现有人体检测方法所存在的不准确的技术问题。
本发明的第一方面,提供一种基于RGB-D图像的人体检测方法,包括:获取包含人体目标的RGB-D图像;其中,RGB-D图像包括RGB图像和Depth图像;对Depth图像进行前景分割,得到前景图像;通过预设的聚类分析规则对前景图像进行处理,得到n个聚类结果;其中,n为大于等于0的整数;根据n个聚类结果对RGB图像进行处理,得到n个RGB子图;通过预设的RGB人体检测网络对RGB子图进行人体检测,得到人体目标的检测结果。
本发明的第二方面,提供了一种基于RGB-D图像的人体检测装置,包括:图像获取单元,用于获取包含人体目标的RGB-D图像;其中,RGB-D图像包括RGB图像和Depth图像;前景分割单元,用于对Depth图像进行前景分割,得到前景图像;聚类分析单元,用于根据前景图像以及预设的聚类分析规则,得到n个聚类结果;其中,n为大于等于0的整数;图像处理单元,用于根据n个聚类结果对RGB图像进行处理,得到n个RGB子图;目标检测单元,用于通过预设的RGB人体检测网络对RGB子图进行人体检测,得到人体目标的检测结果。
本发明的第三方面,提供了一种人体检测系统,人体检测系统包括深度相机及处理器;深度相机用于采集与目标相关的RGB-D图像;其中,RGB-D图像包括RGB图像和Depth图像;处理器用于执行如第一方面的人体检测方法中的步骤。
本发明的第四方面,提供了一种电子设备,包括存储器、处理器以及总线;总线用于实现存储器、处理器之间的连接通信;处理器用于执行存储在存储器上的计算机程序;处理器执行计算机程序时,实现第一方面提供的人体检测方法中的步骤。
本发明的第五方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时,实现第一方面提供的人体检测方法中的步骤。
本发明提供了一种基于RGB-D图像的人体检测方法、系统、装置及介质,通过获取深度相机对目标所采集的RGB-D图像,对Depth图像进行前景分割,得到前景图像,根据前景图像以及预设的聚类分析规则,得到n个聚类结果,根据聚类结果、RGB图像及预设的RGB人体检测网络,得到目标的检测结果。则在应用于公共场所对人流进行检测时,由于不仅考虑了RGB图像,还将RGB-D图像中的Depth图像作为参考,结合RGB图像和Depth图像各自优势,可以避免纯RGB图像中由于光线、影子造成的误检,同时利用聚类结果、RGB图像及预设的RGB人体检测网络,能够将所分割的人体送入RGB人体检测网络,可以减少其他行人、背景等的干扰。因此利用RGB-D图像的检测方式,即采用多模态的方式可以有效的提高遮挡场景下的行人检测准确率,降低误检和漏检。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人体检测系统的结构示意图;
图2为本发明实施例提供的基于RGB-D图像的人体检测方法的流程示意图;
图3为本发明实施例提供的基于RGB-D图像的人体检测方法中获取聚类结果的流程示意图;
图4为本发明实施例中将前景图像投影至地平面并得到投影至地平面的散点所对应的示意图;
图5为本发明实施例中不同类别的散点对应颜色不同的示意图;
图6为本发明实施例中不同的聚类结果对应的示意图;
图7为本发明实施例提供的基于RGB-D图像的人体检测装置的结构示意图;
图8为本发明实施例中提供的电子设备内部的模块连接示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要注意的是,相关术语如“第一”、“第二”等可以用于描述各种组件,但是这些术语并不限制该组件。这些术语仅用于区分一个组件和另一组件。例如,不脱离本发明的范围,第一组件可以被称为第二组件,并且第二组件类似地也可以被称为第一组件。术语“和/或”是指相关项和描述项的任何一个或多个的组合。
现有的人体检测方法中,尤其是基于RGB的人体检测方法,其几乎是单纯对RGB图像进行分析,并没有考虑多模态信息,如没有用到深度信息,会使得只用RGB图像的检测方法仍然存在误检、漏检等情况,即存在检测准确率低的技术问题。
而一些考虑深度信息的人体检测方法,往往由于图像计算量过大,往往在分析时没有对图像中所有像素信息进行分析,对于这种漏掉部分像素信息的检测方法也会因此存在检测准确率低的技术问题。
请参阅图1,图1为本发明实施例提供的人体检测系统10,人体检测系统10包括深度相机11及处理器12;深度相机11用于采集包含人体目标的RGB-D图像;其中,RGB-D图像包括RGB图像和Depth图像;处理器12用于执行基于RGB-D图像的人体检测方法,以得到人体目标的检测结果。
深度相机11包括结构光深度相机、双目深度相机、飞行时间深度相机、及带有RGB摄像头的深度相机(即,RGB-D相机)等相机,其可用于获取深度图像(即RGB-D图像中的Depth图像)。在实际应用时,当深度相机被安装在商场区域,则可以通过本实施例的人体检测方法对商场区域中人流进行检测。
请参阅图2,图2为本发明实施例提供的基于RGB-D图像的人体检测方法的流程示意图。本实施例提供的人体检测方法包括以下步骤:
步骤S210,获取包含人体目标的RGB-D图像。
其中,RGB-D图像可以包括RGB图像和Depth图像,即RGB-D图像本质是两幅图像,一个是普通的RGB三通道彩色图像,一个是Depth图像(深度图像)。RGB图像用于描述物体的表观、颜色、纹理信息,而Depth图像用于描述物体的空间深度信息。
下面对于RGB图像、Depth图像的定义、关系进行阐述:
RGB图像的RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。
在3D计算机图形中,Depth图像是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中,Depth图像类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的,因而像素点之间具有一对一的对应关系。
应当理解的是,获取深度相机对目标所采集的RGB-D图像时,所采集的RGB-D图像可以是多个连续帧对应的RGB-D图像。例如:获取的是长达20秒的涵盖有200帧所对应的200个RGB-D图像,这里的200帧是连续帧(200个帧数且是连续的,每一帧所对应的图像都是静止的),则所对应的200个RGB-D图像则为连续帧所对应的RGB-D图像。而又基于RGB-D图像可以包括RGB图像和Depth图像,由此,实际获取的是多个连续帧对应的RGB图像及Depth图像;当得到第一帧RGB图像,也同时得到对应的第一帧Depth图像;则在进行后续步骤S220、步骤S230、步骤S240、步骤S250时,所分析的是对象可以是其中一帧RGB-D图像。
步骤S220,对Depth图像进行前景分割,得到前景图像。
具体的,Depth图像会含有背景、前景等部分,当对Depth图像进行前景分割,即可以将背景、前景进行分割,由此得到前景图像;所得到的前景图像往往与目标之间的相关性更强,便于降低检测过程中信息处理量。同时,前景分割可以将背景图像抽离,也即在后续处理时能够避免背景图像的干扰。
步骤S230,通过预设的聚类分析规则对前景图像进行处理,得到n个聚类结果;
在本实施例中,当得到前景图像之后,由于前景图像与目标之间的相关性更强,因此对前景图像进行人体检测的有效性更高。通过预设的聚类分析规则对前景图像进行处理,可以得到n个聚类结果;其中,n个聚类结果中每一个聚类结果对应一个目标物体,由于出现在画面中的目标物体可能是人体,还可能因为环境复杂,包括有货箱、购物/手推车等非人体目标;也即该聚类结果表示一个预设范围内所检测到的所有目标物体。
应当理解的是,通过聚类可以对前景图像进行处理后得到n个聚类结果,则本实施例的深度相机应用于商场区域时,所得到的的n个聚类结果是对于前景图像中所有的像素进行分析后所得到的结果,即所有聚类结果能够反映出前景图像中所能够涵盖的所有目标,虽然具有一定计算量,但是不会存在漏检的问题。
步骤S240,根据n个聚类结果对RGB图像进行处理,得到n个RGB子图。
在本实施例中,将n个聚类结果映射至RGB图像,或根据n个聚类结果对RGB图像进行分割,每个聚类结果对应一个RGB子图,得到n个RGB子图。
步骤S250,通过预设的RGB人体检测网络对RGB子图进行人体检测,得到人体目标的检测结果。
在本实施例中,将RGB子图输入预设的RGB人体检测网络中,针对RGB子图中的目标进行人体检测,会判定RGB子图中的图像是否为人体目标,以剔除非人体目标的干扰。根据聚类结果再映射回RGB图像,或实现对于聚类得到的目标进行分割,并且将得到RGB子图送入RGB人体检测网络,可以达到减少其他行人、背景等的干扰的技术效果。
当得到n个RGB子图之后,可以基于预设的RGB人体检测网络,即通过预先训练好的RGB人体检测网络,来快速、准确分析出与n个RGB子图对应的目标检测结果。其中,RGB人体检测网络表示一种神经网络模型,例如是训练好的神经网络模型,其可以利用计算机视觉技术判断图像中的目标是否为人体。
通过上述实施例的实施,首先在RGB图像的基础上增加Depth图像,在一定程度上可以解决纯RGB图像无法解决的问题,例如采用Depth图像可以不受光照、影子等影响;其次通过对Depth图像进行前景分割后所得的前景图像进行聚类分析,无需将背景图像掺杂进来,则能够降低检测过程中信息处理量;最后基于训练好的RGB人体检测网络,无需进行实际的计算,仅涉及模型的自动化检测分析,能够快速、准确得到目标的检测结果,也即提高行人检测的准确率,减少行人检测的误检和漏检。
在本实施例中,对Depth图像进行前景分割,得到前景图像的步骤,具体包括:根据Depth图像中像素值进行前景分割,得到前景图像。
具体的,分离处理包括形态学操作和背景建模,形态学操作用于改变Depth图像中目标的形状,背景建模表示建立一个背景模型,该背景模型可以用于对Depth图像中的目标进行检测。也即通过形态学操作和背景建模可以将Depth图像的背景图像、前景图像进行分离,从而得到前景图像。一般的,前景图像包含目标,而背景图像不包含目标,由此将前景图像从Depth图像中拆分出来,能够有效降低所需要处理的图像信息量。
请参阅图3及图4,图3示出本发明实施例所提供的基于RGB-D图像的人体检测方法中获取聚类结果的流程示意图,图4示出前景图像投影至地平面得到对应散点的示意图;在本实施例中,根据前景图像以及预设的聚类分析规则,得到n个聚类结果的步骤,具体包括:
步骤S231,通过预设拟合算法对Depth图像进行平面拟合,得到拟合后的地平面。
具体的,对Depth图像进行平面的拟合的方法包括采用RANSAC算法和最小二乘法算法,由此可以通过上述算法得到拟合后,也即拟合好的地平面。
步骤S232,将前景图像投影至地平面,得到投影至地平面的散点。
具体的,由于前景图像中往往涵盖各种目标,例如人体、宠物、障碍物等;当将前景图像投影至地平面时,所得到的散点就是组成上述各种目标对应的点;其中,将前景图像投影至地平面,得到投影至地平面的散点的有益效果为:一方面是可减少行人姿态的影响,一方面是利用这些散点来区分不同的目标。
步骤S233,对散点进行聚类分析,得到n个聚类结果。
具体的,请参阅图5,不同类别的散点可以利用不同颜色进行区分,以及不同颜色散点用于匹配对应的目标,当对散点进行聚类分析得到区分后的目标后,各个目标对应不同颜色的散点。也就是说,聚类分析主要参考的是散点的类别来区分出对应的目标物体。在得到区分后的目标物体后,根据目标物体及Depth图像可以得到n个聚类结果,例如是将目标物体对应映射于Depth图像中,不同的聚类结果可以参阅图6,图6中包括两种聚类结果(一个聚类结果是图6中的白色区域,另一个聚类结果是图6中黑色区域),即聚类结果表示Depth图像中的区域。
在本实施例中,根据目标物体及Depth图像得到n个聚类结果的步骤,具体包括:将不同的目标物体映射至Depth图像,得到分割后的深度图,根据深度图得到n个聚类结果。
具体的,当得到不同的目标物体之后,即区分完成后,根据映射关系,不同的目标物体映射回Depth图像,获得分割好后的深度图,分割好的深度图中包括n个聚类结果,也即可以通过深度图得到n个聚类结果。其中,“分割后的深度图”并不直接等同于Depth图像,“分割后的深度图”应当理解为不同的目标物体映射回Depth图像后所产生的图像。
在本实施例中,在将RGB子图输入预设的RGB人体检测网络中进行人体检测,得到目标的检测结果的步骤之后,还包括:当检测结果为目标属于非人体,则变更与目标对应的标记;当检测结果为目标属于人体,则维持与目标对应的标记。
具体的,当得到检测结果后,若该检测结果为目标属于非人体,也即该目标不是人,可能是人影、货物、障碍物、行李箱、背包等不属于人体的目标,则变更与目标对应的标记,由此不再对于该非人体目标进行检测及后续追踪定位。若该检测结果为目标属于人体,则维持与目标对应的标记。其中,标记可以是预先设定在目标上的图形,其设定是为了方便对于各目标的后续跟踪。在一具体实施例中,人体检测系统被用于监控某一区域,记录该区域是否有人经过,由于监控是长时间进行的工作,因此当需要对该人体检测系统采集的视频数据进行数据分析时,尤其是需要针对视频数据中出现人体时的画面进行提取时,利用基于RGB-D图像的人体检测方法对视频数据中的图像帧进行人体检测,并将检测结果中包括人体的图像帧进行标记,能够便于快速提取视频数据中出现人体的画面。
在本实施例中,在获取深度相机对目标所采集的RGB-D图像的步骤之后,还包括:对RGB-D图像进行分析,得到RGB-D图像中目标数量;将目标数量与预设目标数量阈值进行对比,当对比结果为目标数量大于预设目标数量阈值时,执行对Depth图像进行前景分割,得到前景图像的步骤。
即在得到RGB-D图像后,对RGB-D图像进行分析,获取RGB-D图像中目标数量,将目标数量与预设目标数量阈值进行对比、比较,当对比结果为目标数量大于预设目标数量阈值时,则表明该RGB-D图像中的目标较多,在进行人体检测时容易因为重叠、阴影而出现漏检、不准确等问题,由此将这部分的RGB-D图像识别出来,并专门针对这部分的RGB-D图像进行后续的步骤S220、步骤S230、步骤S240及步骤S250。
同时,当对比结果为目标数量小于或者等于预设目标数量阈值时,表明该RGB-D图像中的目标较少,一般不会存在人体重叠问题,也就是说无需通过Depth图像进行分析,仅利用常规RGB图像进行分析即可得到检测结果,由此,有利于降低本实施例的人体检测方法的检测工作量,也即降低人体检测系统的处理量。
另外,本发明还提供了一种人体检测系统,该人体检测系统包括深度相机及处理器;其中,深度相机用于采集与目标相关的RGB-D图像,处理器用于执行如上述实施例所提供的人体检测方法中的步骤。
由此,本发明在应用于公共场所并对人流进行检测时,由于不仅考虑了RGB图像,还将RGB-D图像中的Depth图像作为参考,结合RGB图像和Depth图像各自优势,在一定程度上可以解决纯RGB图像无法解决的问题,例如采用深度信息可以不受光照、影子等影响;其次,先利用Depth图像进行聚类将前后位置关系不同的目标进行分割,能够降低所需要进行分析的目标数量;最后,通过根据聚类结果、RGB图像及预设的RGB人体检测网络,得到目标的检测结果,由于RGB人体检测网络是预先训练好的,则可以大大提高检测效率和检测正确率。并且,其中,聚类结果再映射回RGB图像,友好的分割了遮挡的人体,并且将分割的人体送入RGB人体检测网络,可以达到减少其他行人、背景等的干扰的技术效果。另外,本发明在确定出目标为人体时,通过Depth图像准确计算目标的实际重心点,并相应得到更准确的预测重心点,则可以根据实际重心点、预测重心点制定出准确、可靠的目标跟踪策略,最终提升目标跟踪的稳定性与准确性。即本发明在应用于公共场所,例如商场、超市时,不仅在人流检测时具有较高准确率,同时也适用于人流的精准追踪、定位。
图7是本申请实施例提供的RGB-D图像的人体检测装置的示意图。包括的各单元用于执行图2对应的实施例中的各步骤。具体请参阅图2对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图7,人体检测装置70包括:
图像获取单元71,用于获取包含人体目标的RGB-D图像;其中,RGB-D图像包括RGB图像和Depth图像;
前景分割单元72,用于对Depth图像进行前景分割,得到前景图像;
聚类分析单元73,用于根据前景图像以及预设的聚类分析规则,得到n个聚类结果;其中,n为大于等于0的整数;
图像处理单元74,用于根据n个聚类结果对RGB图像进行处理,得到n个RGB子图;
目标检测单元75,用于通过预设的RGB人体检测网络对RGB子图进行人体检测,得到人体目标的检测结果。
图8示出了本发明实施例所提供的电子设备,该电子设备可用于实现前述任一实施例中的基于RGB-D图像的人体检测方法。该电子设备包括:
存储器81、处理器82、总线83及存储在存储器81上并可在处理器82上运行的计算机程序,存储器81和处理器82通过总线83连接。处理器82执行该计算机程序时,实现前述实施例中的基于RGB-D图像的人体检测方法。其中,处理器的数量可以是一个或多个。
存储器81可以是高速随机存取记忆体(RAM,Random Access Memory)存储器,也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。存储器81用于存储可执行程序代码,处理器82与存储器81耦合。
进一步的,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是设置于上述各实施例中的电子设备中,该计算机可读存储介质可以是存储器。
该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述实施例中的基于RGB-D图像的人体检测方法。进一步的,该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于RGB-D图像的人体检测方法,其特征在于,包括:
获取包含人体目标的RGB-D图像;其中,所述RGB-D图像包括RGB图像和Depth图像;
对所述Depth图像进行前景分割,得到前景图像;
通过预设的聚类分析规则对所述前景图像进行处理,得到n个聚类结果;其中,n为大于等于0的整数;
根据n个所述聚类结果对所述RGB图像进行处理,得到n个RGB子图;
通过预设的RGB人体检测网络对所述RGB子图进行人体检测,得到所述人体目标的检测结果。
2.如权利要求1所述基于RGB-D图像的人体检测方法,其特征在于,所述对所述Depth图像进行前景分割,得到前景图像,包括:
根据所述Depth图像中像素值进行前景分割,得到前景图像。
3.如权利要求1所述基于RGB-D图像的人体检测方法,其特征在于,所述根据所述前景图像以及预设的聚类分析规则,得到n个聚类结果,包括:
通过预设拟合算法对所述Depth图像进行平面拟合,得到拟合后的地平面;
将所述前景图像投影至所述地平面,得到投影至所述地平面的散点;
对所述散点进行聚类分析,得到n个聚类结果。
4.如权利要求3所述基于RGB-D图像的人体检测方法,其特征在于,所述对所述散点进行聚类分析,得到n个聚类结果,包括:
将不同的所述散点映射至所述Depth图像,得到分割后的深度图;
根据所述深度图得到n个聚类结果。
5.如权利要求1所述基于RGB-D图像的人体检测方法,其特征在于,在所述将所述RGB子图输入预设的RGB人体检测网络中进行人体检测,得到所述目标的检测结果的步骤之后,还包括:
当所述检测结果为所述目标属于非人体,则变更与所述目标对应的标记;
当所述检测结果为所述目标属于人体,则维持与所述目标对应的标记。
6.如权利要求1所述基于RGB-D图像的人体检测方法,其特征在于,在所述获取深度相机对目标所采集的RGB-D图像的步骤之后,还包括:
对所述RGB-D图像进行分析,得到所述RGB-D图像中目标数量;
将所述目标数量与预设目标数量阈值进行对比,当对比结果为所述目标数量大于预设目标数量阈值时,执行所述对所述Depth图像进行前景分割,得到前景图像的步骤。
7.一种基于RGB-D图像的人体检测装置,其特征在于,包括:
图像获取单元,用于获取包含人体目标的RGB-D图像;其中,所述RGB-D图像包括RGB图像和Depth图像;
前景分割单元,用于对所述Depth图像进行前景分割,得到前景图像;
聚类分析单元,用于根据所述前景图像以及预设的聚类分析规则,得到n个聚类结果;其中,n为大于等于0的整数;
图像处理单元,用于根据n个所述聚类结果对所述RGB图像进行处理,得到n个RGB子图;
目标检测单元,用于通过预设的RGB人体检测网络对所述RGB子图进行人体检测,得到所述人体目标的检测结果。
8.一种人体检测系统,其特征在于,包括深度相机及处理器;
所述深度相机用于采集与目标相关的RGB-D图像;其中,所述RGB-D图像包括RGB图像和Depth图像;
所述处理器用于执行如权利要求1-6中任意一项所述人体检测方法中的步骤。
9.一种电子设备,其特征在于,包括存储器、处理器及总线;
所述总线用于实现所述存储器、处理器之间的连接通信;
所述处理器用于执行存储在所述存储器上的计算机程序;
所述处理器执行所述计算机程序时,实现权利要求1至6中任意一项所述人体检测方法中的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至6中任意一项所述人体检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211490193.4A CN115862061A (zh) | 2022-11-25 | 2022-11-25 | 基于rgb-d图像的人体检测方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211490193.4A CN115862061A (zh) | 2022-11-25 | 2022-11-25 | 基于rgb-d图像的人体检测方法、系统、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115862061A true CN115862061A (zh) | 2023-03-28 |
Family
ID=85666443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211490193.4A Pending CN115862061A (zh) | 2022-11-25 | 2022-11-25 | 基于rgb-d图像的人体检测方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115862061A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119042767A (zh) * | 2024-09-24 | 2024-11-29 | Tcl空调器(中山)有限公司 | 空调控制方法、装置、空调器和存储介质 |
-
2022
- 2022-11-25 CN CN202211490193.4A patent/CN115862061A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119042767A (zh) * | 2024-09-24 | 2024-11-29 | Tcl空调器(中山)有限公司 | 空调控制方法、装置、空调器和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Neumann et al. | Nightowls: A pedestrians at night dataset | |
| Behrendt et al. | A deep learning approach to traffic lights: Detection, tracking, and classification | |
| US12002225B2 (en) | System and method for transforming video data into directional object count | |
| Sivaraman et al. | Looking at vehicles on the road: A survey of vision-based vehicle detection, tracking, and behavior analysis | |
| Senior et al. | Appearance models for occlusion handling | |
| US8620026B2 (en) | Video-based detection of multiple object types under varying poses | |
| US11348338B2 (en) | Methods and systems for crowd motion summarization via tracklet based human localization | |
| CN110298867B (zh) | 一种视频目标跟踪方法 | |
| CN112800860A (zh) | 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 | |
| WO2012022744A2 (en) | Multi-mode video event indexing | |
| Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
| Siogkas et al. | Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection | |
| Xia et al. | Vehicles overtaking detection using RGB-D data | |
| CN113052118A (zh) | 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质 | |
| Hu et al. | Depth sensor based human detection for indoor surveillance | |
| Naser et al. | Infrastructure-free NLoS obstacle detection for autonomous cars | |
| Kini et al. | Real time moving vehicle congestion detection and tracking using OpenCV | |
| CN115862061A (zh) | 基于rgb-d图像的人体检测方法、系统、装置及介质 | |
| Lateef et al. | Motion and geometry-related information fusion through a framework for object identification from a moving camera in urban driving scenarios | |
| Kanhere et al. | Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways | |
| CN119625685A (zh) | 障碍物检测方法、装置、存储介质及电子装置 | |
| CN111368883B (zh) | 基于单目摄像头的避障方法、计算装置及存储装置 | |
| Lee et al. | independent object detection based on two-dimensional contours and three-dimensional sizes | |
| Xia et al. | An automobile detection algorithm development for automated emergency braking system | |
| Chen et al. | Vision-based traffic surveys in urban environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |