[go: up one dir, main page]

CN117095455A - 一种基于视觉行为分析的学生抑郁状态识别方法 - Google Patents

一种基于视觉行为分析的学生抑郁状态识别方法 Download PDF

Info

Publication number
CN117095455A
CN117095455A CN202310916444.9A CN202310916444A CN117095455A CN 117095455 A CN117095455 A CN 117095455A CN 202310916444 A CN202310916444 A CN 202310916444A CN 117095455 A CN117095455 A CN 117095455A
Authority
CN
China
Prior art keywords
depression
student
time
behavior analysis
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310916444.9A
Other languages
English (en)
Inventor
王海权
徐权杰
于玮
胡春红
张桓瑜
邵一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202310916444.9A priority Critical patent/CN117095455A/zh
Publication of CN117095455A publication Critical patent/CN117095455A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Nonlinear Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于视觉行为分析的学生抑郁状态识别方法，包括以下步骤，首先通过YOLOv5算法，对获取到的视频进行目标检测；S2、利用分类器，对于检测到的目标进行异常行为分析；S3、通过异常行为分析，得到抑郁情绪识别结果，并进行加权综合评价，得到被追踪学生的最终抑郁情绪识别分数；S4、将得到的被追踪学生的最终抑郁情绪识别分数与设定的抑郁评估分数阈值进行比较与识别。本发明通过单目摄像机获取视频，通过算法模型对视频中被检测追踪到的人物进行异常行为分析，判断学生的抑郁状态，并将判定为抑郁状态的学生位置信息与模型处理的视频发送给相关人员，整个识别过程非常简单，提高了发现与救治的及时性。

Description

一种基于视觉行为分析的学生抑郁状态识别方法
技术领域
本发明属于计算机视觉识别技术领域，特别提供一种基于视觉行为分析的学生抑郁状态识别方法。
背景技术
计算机视觉就是通过分析摄像机获取的图像来达到对物体形成表达的科学和技术。目标检测与目标追踪是该领域目前的研究热点之一。情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，以及伴随这种心理反应的生理反应。情绪识别研究的内容包括面部表情、语音和生理信号识别等方面，通过以上内容来判断用户的情绪状态。
自杀是15-34岁人群的首要死因，其中80％的人患有抑郁症。目前判断抑郁症的主要诊断方法是心理医生通过量表进行诊断。以抑郁情绪问题的识别为例，常用的量表工具包括自评的健康问卷(PHQ-9)、抑郁情绪快速评定量表(QIDS)，也包括通常使用的他评量表，如汉密尔顿抑郁量表(HAMD)、蒙哥马利抑郁评定量表(MADRS)等。但大部分人认为，抑郁症是个难以启齿的疾病，所以大部分可能患有抑郁症的人不愿意去看心理医生。随着计算机视觉技术的不断突破，许多情绪识别技术出现。已有的技术主要是利用视频捕捉人的面部表情来进行面部表情识别，通过优化识别网络结构来提高识别精度。
针对面部表情识别技术，目前的研究多通过录制一定时长的视频或抓拍视频中的某帧来实现，实时性差，无法对心里抑郁的同学进行及时的处理。因此，如何使情绪识别技术具有及时性是本领域内的研究方向之一。
发明内容
针对上述现有技术存在的问题，本发明提供一种基于视觉行为分析的学生抑郁状态识别方法，使抑郁情绪识别具有实时性，能够及时发现心理存在问题的学生并进行心理疏导与治疗。
为了实现上述目的，本发明采用的技术方案是：一种基于视觉行为分析的学生抑郁状态识别方法，包括以下步骤：
S1、通过YOLOv5算法，对获取到的视频进行目标检测，得到目标所在位置的边界框(Bounding Box)；
S2、利用人体姿态识别与分类器，对于检测到的目标进行异常行为分析，异常行为包括：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人；
S3、通过基于长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为，得到抑郁情绪识别结果，并进行加权综合评价，得到被追踪学生的最终抑郁情绪识别分数；
S4、将得到的被追踪学生的最终抑郁情绪识别分数与设定的抑郁评估分数阈值进行比较；如果最终抑郁情绪识别分数超过设定的抑郁评估分数阈值，那么就会进行报警，并将拍摄视频地点与分析的视频片段送至相关人员处；
如果最终抑郁情绪识别分数没有超过设定的抑郁评估分数阈值，那么就会进行二次追踪定位，分析异常行为，并重复判断；如果第二次的最终抑郁情绪识别分数超过设定的抑郁评估分数阈值，那么就会进行报警；如果第二次的最终抑郁情绪识别分数没有超过设定的抑郁评估分数阈值，那么就会停止对该目标进行抑郁情绪识别。
活动视频通过学校内部带有的单目摄像机进行视频采集，当通过YOLOv5算法检测到人后，将视频转化为帧图进行保存后，自动进入异常行为的识别判断。
进一步得，通过人体姿态估计与分类器的结合使用，对于设定好的四个异常行为进行检测识别；四个异常行为为：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人；异常行为的设定基于文献搜索与各类报道综合，并进行实际效果检测后筛选。
进一步得，对于分类器，选择使用SVM分类器进行分类，用来处理上述六个特征中瞭望、抱膝下蹲、掩面哭泣这三个特征；SVM分类的类别设为：瞭望、抱膝下蹲、掩面，共计三个类别。
进一步得，在进行SVM分类之前，会将帧图像裁剪至边界框(Bounding Box)大小作为输入图像，并对输入图像进行画面预处理操作；对于图像预处理，去噪操作使用高斯滤波，以滤波器窗口中像素的平均值作为输出；使用伽马校正，对图像进行亮度补偿；使用锐化突出图像边缘细节特征以去除噪音影响。
进一步得，独自一人这一异常行为通过YOLOv5算法，对于画面中的人数进行检测并计数。
进一步得，对于需要时间计数的异常行为，以长时间的瞭望为例，当模型第一次检测到被检测对象为瞭望状态的时刻为开始时刻，D秒后为截止时刻，这段时刻中的总帧数记为A，判定为瞭望状态的帧数记为T，判定为非瞭望状态的帧数记为F，则当T/A的结果大于阈值S时，可判定为长时间瞭望。
进一步得，长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为中抑郁情绪识别分析，存在则输出为1，不存在则输出为0。
进一步得，对于异常行为的加权综合，其加权值总和为100％。
本发明的有益效果是：与现有的技术相比，本发明提供了一种基于视觉行为分析的学生抑郁状态识别方法，通过单目摄像机获取视频，通过算法模型对视频中被检测追踪到的人物进行异常行为分析，判断学生的抑郁状态，并将判定为抑郁状态的学生位置信息与模型处理的视频发送给相关人员，整个识别过程非常简单，提高了发现与救治的及时性。
附图说明
图1为本发明的总体流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1所示，一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于：
S1、通过YOLOv5算法，对获取到的视频进行检测；
S2、利用人体姿态识别与分类器，对于检测到的目标进行异常行为分析，异常行为包括：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人；异常行为的设定基于文献搜索与各类报道综合，并进行实际效果检测后筛选。
S3、通过基于长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为，得到抑郁情绪识别结果，并进行加权综合评价，得到被追踪学生的最终抑郁情绪识别分数；
S4、将得到的被追踪学生的最终抑郁情绪识别分数与设定的抑郁评估分数阈值进行比较，如果最终抑郁情绪识别分数超过设定的抑郁评估分数阈值，那么就会进行报警，将拍摄视频地点与分析的视频片段送至相关人员处，如果最终抑郁情绪识别分数没有超过设定的抑郁评估分数阈值，那么就会进行二次追踪定位与异常行为的分析，并重复判断，如果第二次的最终抑郁情绪识别分数超过设定的抑郁评估分数阈值，那么就会进行报警，如果第二次的最终抑郁情绪识别分数没有超过设定的抑郁评估分数阈值，那么则会停止对该目标进行抑郁情绪识别。
本实施例中，视频图像采集是通过单目摄像机进行视频采集。
本实施例中，目标检测是通过YOLOv5算法进行的。
本实施例中，帧视频序列是通过YOLOv5算法检测到人后，会自动进入异常行为的识别判断。
本实施例中，剔除后的图像预处理是将帧图像裁剪至边界框大小；使用高斯滤波去噪，以滤波器窗口中像素的平均值作为输出；使用伽马校正，对图像进行亮度补偿；使用锐化突出图像边缘细节特征以去除噪音影响。
本实施例中，对于异常行为分类，使用SVM分类器进行分类，分类的类别设为：瞭望、抱膝下蹲、掩面、其他，共计四个类别。并将预处理后的图像作为输入图像。异常行为的设定基于文献搜索与各类报道综合，并进行实际效果检测后筛选。
本实施例中，独自一人这一异常行为通过YOLOv5算法，对于画面中的人数进行检测并计数。
本实施例中，长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为中抑郁情绪识别分析，存在则输出为1，不存在则输出为0。
本实施例中，对于异常行为的加权综合，其加权值总和为100％。
实际应用中，当模型第一次检测到被检测对象为瞭望状态的时刻为开启时刻，D秒后为截止时刻(一般取值180s)，这段时刻中的总帧数记为A，判定为瞭望状态的帧数记为T，判定为非瞭望状态的帧数记为F，则当T/A的结果大于阈值S(一般令S＝0.95)时，可判定为长时间瞭望。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，包括以下步骤：
S1、通过YOLOv5算法，对获取到的视频进行目标检测，得到目标所在位置的边界框(Bounding Box)；
S2、利用人体姿态识别与分类器，对于检测到的目标进行异常行为分析，异常行为包括：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人；
S3、通过基于长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为，得到抑郁情绪识别结果，并进行加权综合评价，得到被追踪学生的最终抑郁情绪识别分数；
S4、将得到的被追踪学生的最终抑郁情绪识别分数与设定的抑郁评估分数阈值进行比较；如果最终抑郁情绪识别分数超过设定的抑郁评估分数阈值，那么就会进行报警，并将拍摄视频地点与分析的视频片段送至相关人员处；
如果最终抑郁情绪识别分数没有超过设定的抑郁评估分数阈值，那么就会进行二次追踪定位，分析异常行为，并重复判断；如果第二次的最终抑郁情绪识别分数超过设定的抑郁评估分数阈值，那么就会进行报警；如果第二次的最终抑郁情绪识别分数没有超过设定的抑郁评估分数阈值，那么就会停止对该目标进行抑郁情绪识别。
2.根据权利要求1所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，活动视频通过学校内部带有的单目摄像机进行视频采集，当通过YOLOv5算法检测到人后，将视频转化为帧图进行保存后，自动进入异常行为的识别判断。
3.根据权利要求1所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，通过人体姿态估计与分类器的结合使用，对于设定好的四个异常行为进行检测识别；四个异常行为为：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人；异常行为的设定基于文献搜索与各类报道综合，并进行实际效果检测后筛选。
4.根据权利要求3所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，对于分类器，选择使用SVM分类器进行分类，用来处理上述六个特征中瞭望、抱膝下蹲、掩面哭泣这三个特征；SVM分类的类别设为：瞭望、抱膝下蹲、掩面，共计三个类别。
5.根据权利要求3所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，在进行SVM分类之前，会将帧图像裁剪至边界框(Bounding Box)大小作为输入图像，并对输入图像进行画面预处理操作；对于图像预处理，去噪操作使用高斯滤波，以滤波器窗口中像素的平均值作为输出；使用伽马校正，对图像进行亮度补偿；使用锐化突出图像边缘细节特征以去除噪音影响。
6.根据权利要求3所述的一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于，独自一人这一异常行为通过YOLOv5算法，对于画面中的人数进行检测并计数。
7.按照权利要求3所述一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于：对于需要时间计数的异常行为，以长时间的瞭望为例，当模型第一次检测到被检测对象为瞭望状态的时刻为开始时刻，D秒后为截止时刻，这段时刻中的总帧数记为A，判定为瞭望状态的帧数记为T，判定为非瞭望状态的帧数记为F，则当T/A的结果大于阈值S时，可判定为长时间瞭望。
8.按照权利要求1所述一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于：长时间的瞭望、长时间抱膝下蹲、掩面哭泣、独自一人这些异常行为中抑郁情绪识别分析，存在则输出为1，不存在则输出为0。
9.按照权利要求1所述一种基于视觉行为分析的学生抑郁状态识别方法，其特征在于：对于异常行为的加权综合，其加权值总和为100%。
CN202310916444.9A 2023-07-25 2023-07-25 一种基于视觉行为分析的学生抑郁状态识别方法 Pending CN117095455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310916444.9A CN117095455A (zh) 2023-07-25 2023-07-25 一种基于视觉行为分析的学生抑郁状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310916444.9A CN117095455A (zh) 2023-07-25 2023-07-25 一种基于视觉行为分析的学生抑郁状态识别方法

Publications (1)

Publication Number Publication Date
CN117095455A true CN117095455A (zh) 2023-11-21

Family

ID=88770657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310916444.9A Pending CN117095455A (zh) 2023-07-25 2023-07-25 一种基于视觉行为分析的学生抑郁状态识别方法

Country Status (1)

Country Link
CN (1) CN117095455A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119920467A (zh) * 2025-01-02 2025-05-02 南通大学 一种用于抑郁状态监测的数据方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119920467A (zh) * 2025-01-02 2025-05-02 南通大学 一种用于抑郁状态监测的数据方法

Similar Documents

Publication Publication Date Title
US10948990B2 (en) Image classification by brain computer interface
Ventura et al. Interpreting cnn models for apparent personality trait regression
US9792823B2 (en) Multi-view learning in detection of psychological states
Zhang et al. Detecting negative emotional stress based on facial expression in real time
Abouelenien et al. Deception detection using a multimodal approach
CN109431523B (zh) 基于非社会性声音刺激行为范式的孤独症初级筛查装置
US11676713B2 (en) Data processing system for classifying keyed data representing inhaler device operation
CN108764007A (zh) 基于ocr与文本分析技术对注意力的测量方法
CN115439920A (zh) 基于情绪视听刺激和面部表情的意识状态检测系统、设备
Hou et al. A self-supervised pre-training framework for vision-based seizure classification
Dcosta et al. Perinasal indicators of deceptive behavior
Kumar et al. Analysing the effective psychological state of students using facial features
CN117095455A (zh) 一种基于视觉行为分析的学生抑郁状态识别方法
CN110598607B (zh) 非接触式与接触式协同的实时情绪智能监测系统
Zhang et al. Correlating speaker gestures in political debates with audience engagement measured via EEG
CN116311510A (zh) 一种基于图像采集的情绪检测方法及系统
KR20240066542A (ko) 멀티모달 텐서퓨전을 이용한 피로도 수준 판단방법
CN105825225A (zh) 一种机器视觉辅助脑电目标判决的方法
Jere et al. Deep learning-based architecture for social anxiety diagnosis
CN111507192A (zh) 一种仪容仪表监测方法和装置
Majed et al. Artificial intelligent algorithms based depression detection system
CN117036330A (zh) 基于视觉识别的心理状态检测方法、系统、介质及设备
Praditsangthong et al. A fear detection method based on palpebral fissure
CN115170996A (zh) 一种情绪预测方法、系统、介质及电子设备
Vasavi et al. Regression modelling for stress detection in humans by assessing most prominent thermal signature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination