[go: up one dir, main page]

WO2023152983A1 - 人物相関判定装置、人物相関判定方法および人物相関判定プログラム - Google Patents

人物相関判定装置、人物相関判定方法および人物相関判定プログラム Download PDF

Info

Publication number
WO2023152983A1
WO2023152983A1 PCT/JP2022/005726 JP2022005726W WO2023152983A1 WO 2023152983 A1 WO2023152983 A1 WO 2023152983A1 JP 2022005726 W JP2022005726 W JP 2022005726W WO 2023152983 A1 WO2023152983 A1 WO 2023152983A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature amount
persons
person
correlation
surveillance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/005726
Other languages
English (en)
French (fr)
Inventor
浩平 望月
勝大 草野
孝之 小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2023554325A priority Critical patent/JP7374401B1/ja
Priority to PCT/JP2022/005726 priority patent/WO2023152983A1/ja
Publication of WO2023152983A1 publication Critical patent/WO2023152983A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present disclosure relates to technology for determining whether or not there is a correlation between people appearing in a video.
  • Patent Literature 1 discloses a technique of analyzing the skeleton information of each person appearing in a video and identifying correlated mutual actions of a pair of people. With this technique, it is determined that there is a correlation between two people whose joint position displacement amounts are interlocked. Also, it is determined that there is a correlation between two people who are close to each other. However, there may be a correlation between two people whose joint position displacement amounts are not interlocked. Also, there is a case where there is no correlation between two people who are close to each other. In such a case, the technology of Patent Document 1 may not correctly detect a correlated pair of people.
  • the purpose of the present disclosure is to make it possible to more accurately determine whether or not there is a correlation between people appearing in a video.
  • the person correlation determination device of the present disclosure includes: a skeletal information extracting unit for extracting skeletal information of each of two or more persons appearing in the surveillance image from the surveillance image obtained by photographing the surveillance area; a feature amount calculation unit that calculates a plurality of types of feature amounts for a set of persons corresponding to the set of skeleton information, based on the extracted set of skeleton information; a situation detection unit that calculates a situation value indicating a specific situation of the surveillance area based on the surveillance image; a threshold determination unit that determines a determination threshold based on the situation value for each type of the feature quantity; a person correlation determination unit that compares the feature amount for each type of the feature amount with the determination threshold value, and determines whether there is a person correlation for the group of the persons based on a comparison result of the plurality of types of feature amounts. Prepare.
  • FIG. 1 is a configuration diagram of a person correlation determination device 100 according to Embodiment 1.
  • FIG. 4 is a configuration diagram of a situation detection unit 130 according to Embodiment 1.
  • FIG. 4 is a configuration diagram of a feature amount calculation unit 150 according to Embodiment 1.
  • FIG. 4 is a flowchart of a person correlation determination method according to Embodiment 1; 4 is a flowchart of step S150 in Embodiment 1; 4 shows a histogram 192 according to Embodiment 1;
  • FIG. FIG. 2 shows a monitor image 193A according to Embodiment 1;
  • FIG. FIG. 3 shows a monitor image 193B according to Embodiment 1;
  • FIG. FIG. 19 shows a monitoring image 193C according to Embodiment 1;
  • FIG. 10 shows a monitoring image 193D according to Embodiment 1;
  • FIG. 2 is a hardware configuration diagram of the person correlation determination device 100 according to Embodiment 1.
  • FIG. 1 is
  • Embodiment 1 The person correlation determination device 100 will be described with reference to FIGS. 1 to 11.
  • FIG. 1 A diagrammatic representation of Embodiment 1
  • the person correlation determination device 100 is a computer including hardware such as a processor 101 , a memory 102 , an auxiliary storage device 103 , a communication device 104 and an input/output interface 105 . These pieces of hardware are connected to each other via signal lines.
  • the processor 101 is an IC that performs arithmetic processing and controls other hardware.
  • processor 101 is a CPU, DSP or GPU.
  • IC is an abbreviation for Integrated Circuit.
  • CPU is an abbreviation for Central Processing Unit.
  • DSP is an abbreviation for Digital Signal Processor.
  • GPU is an abbreviation for Graphics Processing Unit.
  • Memory 102 is a volatile or non-volatile storage device. Memory 102 is also referred to as main storage or main memory. For example, memory 102 is RAM. The data stored in the memory 102 is saved in the auxiliary storage device 103 as required. RAM is an abbreviation for Random Access Memory.
  • Auxiliary storage device 103 is a non-volatile storage device.
  • the auxiliary storage device 103 is ROM, HDD, flash memory, or a combination thereof. Data stored in the auxiliary storage device 103 is loaded into the memory 102 as required.
  • ROM is an abbreviation for Read Only Memory.
  • HDD is an abbreviation for Hard Disk Drive.
  • Communication device 104 is a receiver and transmitter.
  • communication device 104 is a communication chip or NIC.
  • Communication of the person correlation determination device 100 is performed using the communication device 104 .
  • the person correlation determination device 100 communicates with the camera 106 using the communication device 104 .
  • the camera 106 may be connected to the input/output interface 105 .
  • NIC is an abbreviation for Network Interface Card.
  • the input/output interface 105 is a port to which an input device and an output device are connected.
  • the input/output interface 105 is a USB terminal
  • the input device is a keyboard and mouse
  • the output device is a display.
  • Input/output of the person correlation determination apparatus 100 is performed using the input/output interface 105 .
  • USB is an abbreviation for Universal Serial Bus.
  • the person correlation determination device 100 includes elements such as a video acquisition unit 110 , a skeleton information extraction unit 120 , a situation detection unit 130 , a threshold determination unit 140 , a feature amount calculation unit 150 and a person correlation determination unit 160 . These elements are implemented in software.
  • Auxiliary storage device 103 stores a person correlation determination program for causing a computer to function as video acquisition unit 110, skeleton information extraction unit 120, situation detection unit 130, threshold value determination unit 140, feature quantity calculation unit 150, and person correlation determination unit 160. is stored.
  • the person correlation determination program is loaded into memory 102 and executed by processor 101 .
  • the auxiliary storage device 103 further stores an OS. At least part of the OS is loaded into memory 102 and executed by processor 101 .
  • the processor 101 executes the person correlation determination program while executing the OS.
  • OS is an abbreviation for Operating System.
  • Input/output data of the person correlation determination program is stored in the storage unit 190 .
  • Memory 102 functions as storage unit 190 .
  • a storage device such as the auxiliary storage device 103 , a register within the processor 101 and a cache memory within the processor 101 may function as the storage unit 190 instead of or together with the memory 102 .
  • the person correlation determination device 100 may include multiple processors that substitute for the processor 101 .
  • the person correlation determination program can be recorded (stored) in a computer-readable manner on a non-volatile recording medium such as an optical disc or flash memory.
  • the configuration of the situation detection unit 130 will be described with reference to FIG.
  • the situation detection unit 130 includes elements such as a number of people situation detection unit 131 , a people flow situation detection unit 132 , and a movement situation detection unit 133 .
  • the configuration of the feature amount calculation unit 150 will be described based on FIG.
  • the feature amount calculator 150 includes elements such as a displacement feature amount calculator 151 , a distance feature amount calculator 152 , a position feature amount calculator 153 , a movement feature amount calculator 154 , and an orientation feature amount calculator 155 .
  • the operation procedure of the person correlation determination device 100 corresponds to the person correlation determination method. Also, the procedure of operation of the person correlation determination apparatus 100 corresponds to the procedure of processing by the person correlation determination program.
  • a person correlation determination method will be described based on FIG.
  • the camera 106 photographs the monitored area and outputs video data at each time.
  • a monitored area is an area that is monitored.
  • the video data indicates surveillance video.
  • a surveillance image is an image showing a surveillance area.
  • step S ⁇ b>110 the video acquisition unit 110 acquires video data from the camera 106 . Then, the video acquisition unit 110 stores the acquired video data in the storage unit 190 . Thereby, the video data at each time is saved in the storage unit 190 .
  • step S120 the skeleton information extraction unit 120 extracts the skeleton information of each of the one or more persons appearing in the surveillance video from the surveillance video. Skeletal information is extracted for each person. Then, skeleton information extraction section 120 stores each piece of extracted skeleton information in storage section 190 . Thereby, the skeleton information at each time is saved in the storage unit 190 for each person. Skeletal information indicates the position of each of one or more joints in a person's skeleton. Furthermore, the skeleton information indicates the position of each part of the face. Examples of facial parts are the eyes and nose. The position of each joint and the position of each part of the face are indicated by coordinate values in the surveillance image.
  • Skeletal information is extracted as follows. First, the skeleton information extraction unit 120 detects a person appearing in the surveillance video. Next, the skeletal information extraction unit 120 identifies the positions of one or more joints of the detected person in the surveillance image. Joint locations can be determined using conventional techniques. Then, skeleton information extraction section 120 obtains the coordinate values of each position specified in the two-dimensional coordinates of the surveillance image.
  • step S130 skeleton information extraction section 120 determines the number of pieces of extracted skeleton information. If skeleton information for two or more persons has been extracted, the process proceeds to step S140. In other words, if two or more persons appear in the surveillance video, the process proceeds to step S140. If the skeleton information has not been extracted, or if the skeleton information for one person has been extracted, the process proceeds to step S110. That is, if no person appears in the surveillance image or if one person appears in the surveillance image, the process proceeds to step S110.
  • skeleton information extraction section 120 selects one unselected set from among the extracted sets of skeleton information.
  • a set of skeleton information consists of skeleton information for two people. That is, skeleton information extraction section 120 selects skeleton information for two people.
  • step S150 the person correlation determination unit 160 determines whether or not there is a person correlation based on the selected set of skeleton information.
  • Person correlation means correlation between persons for a set of persons corresponding to a set of skeleton information. Details of step S150 will be described later.
  • step S160 skeleton information extraction section 120 determines whether there is an unselected set of skeleton information. If there is an unselected set of skeleton information, the process proceeds to step S140. If there is no unselected set of skeleton information, the process proceeds to step S110.
  • steps S110 to S160 it is determined whether or not there is a correlation between the persons for each group of persons captured in the surveillance video.
  • step S150 the situation detection unit 130 calculates a situation value indicating a specific situation of the surveillance area based on the surveillance image.
  • the calculated situation values are the number of people situation value, the people flow situation value, and the movement situation value.
  • the people status value indicates the status of the number of people (number of people) in the monitored area. Specifically, the number-of-persons status value indicates the number of two or more persons appearing in the surveillance video.
  • the people flow status value indicates the status of the flow of people (people flow) in the monitoring area. Specifically, the crowd flow status value indicates the isotropy of the crowd flow in a plurality of surveillance images at different times.
  • the movement status value indicates the status of the range in which the person can move (movable range) in the monitoring area. Specifically, the movement status value indicates the area within which each person can move in the monitoring area.
  • the number of people status value is calculated as follows.
  • the number-of-persons state detection unit 131 counts the number of pieces of skeleton information extracted from the video data as the number of persons.
  • the number-of-persons state detection unit 131 may detect persons appearing in the surveillance video and count the number of detected persons.
  • the number-of-persons situation detection unit 131 may determine a peripheral area centered on the person corresponding to one of the selected sets of skeleton information, and count the number of other people present in the peripheral area.
  • a peripheral area is an area having a certain extent.
  • the crowd flow status value is calculated as follows. First, the people flow state detection unit 132 calculates the moving directions of the plurality of persons appearing in the surveillance video by analyzing the surveillance video up to this time. The movement direction is indicated by optical flow, for example. Then, the crowd flow detection unit 132 calculates the isotropy of the calculated moving direction. Isotropy is indicated numerically.
  • the crowd flow status value is calculated as follows.
  • a histogram 192 is shown in FIG. Histogram 192 is an example of a histogram of movement directions. The vertical axis indicates the number of people in degrees, and the horizontal axis indicates the eight directions. A dashed line indicates the reference frequency.
  • the flow of people detection unit 132 counts the number of directions having a number of people equal to or greater than the reference frequency. This number is called the isotropic number.
  • the isotropic number is six.
  • the crowd flow detection unit 132 divides the isotropic number by the number of directions. The calculated quotient is the crowd flow status value.
  • the movement status value is calculated as follows.
  • the movement state detection unit 133 calculates the area of the movable range by analyzing the mask image 191 .
  • Mask image 191 is stored in advance in storage unit 190 .
  • the mask image 191 is an image that indicates the movable range of the monitoring area. For example, mask image 191 shows a passageway within the surveillance area.
  • the mask image 191 may be created manually, or may be created automatically using surveillance video.
  • mask image 191 is automatically generated by area detection techniques. Region detection techniques are also called semantic segmentation.
  • the movement state detection unit 133 may determine a surrounding area centering on the person corresponding to one of the selected sets of skeleton information, and calculate the area of the movable range within the surrounding area.
  • the threshold determination unit 140 determines a determination threshold according to the situation of the monitored area for each type of feature amount. That is, the threshold determination unit 140 determines the determination threshold based on the situation value calculated in step S151 for each type of feature amount.
  • the determination threshold is a threshold that is compared with the feature amount to determine the presence or absence of person correlation.
  • the displacement feature amount is a feature amount relating to the amount of displacement of joints between persons. Specifically, the displacement feature amount indicates the degree of correlation between persons with respect to joint displacement amounts based on a plurality of pieces of skeletal information at different times.
  • a distance feature amount is a feature amount relating to the distance between persons. Specifically, the distance feature amount indicates the distance between the persons based on the joint distance between the persons.
  • the position feature amount is a feature amount relating to the positions of joints between persons.
  • the position feature value indicates the degree of correlation between persons with respect to joint movement trajectories based on a plurality of pieces of skeletal information at different postures or times based on the positions of the joints.
  • the movement feature amount is a feature amount relating to the direction of movement between persons. Specifically, the movement feature amount indicates the degree of similarity between persons with respect to joint movement directions based on a plurality of pieces of skeleton information at different times.
  • the orientation feature amount is a feature amount relating to the orientation of faces of persons. Specifically, the orientation feature value indicates the degree of correlation between persons in terms of face orientation based on skeleton information.
  • the threshold determination unit 140 calculates the determination threshold by calculating the learned model for each type of feature amount.
  • a trained model is constructed for each type of feature quantity.
  • a trained model is a model generated by applying multiple sets of surveillance images and appropriate determination thresholds and performing machine learning.
  • the machine learning method may be a classical method or a deep learning method.
  • a specific example of a classical approach is SVM.
  • SVM is an abbreviation for Support vector machine.
  • Specific examples of deep learning techniques are CNN and RNN.
  • CNN is an abbreviation for Convolutional neural networks.
  • RNN is an abbreviation for recurrent neural networks.
  • the determination threshold for the distance feature amount is corrected to a value larger than the reference value. This makes it difficult to determine that there is a person correlation even if the distance between the persons is short.
  • the determination threshold for the position feature amount is corrected to a value larger than the reference value. This makes it difficult to determine that there is a person correlation even if there is a correlation in the combination of postures.
  • the determination threshold for movement feature amount is corrected to a value larger than the reference value. This makes it difficult to determine that there is a person correlation even if the moving directions of the persons are the same.
  • the determination threshold for the orientation feature amount is corrected to a value larger than the reference value. This makes it difficult to determine that there is a person correlation even if the faces of the persons face each other.
  • step S153 the feature amount calculation unit 150 calculates feature amounts based on sets of skeleton information for each type of feature amount.
  • the displacement feature amount is calculated as follows. First, the displacement feature amount calculation unit 151 acquires the current skeleton information and the past skeleton information from the storage unit 190 for each selected set of skeleton information. Specifically, the past skeleton information is the previous skeleton information. However, the past skeleton information may be skeleton information before the previous time. Next, the displacement feature amount calculator 151 calculates the displacement amount (velocity) of each joint based on the current skeleton information and the past skeleton information for each selected set of skeleton information. Then, the displacement feature amount calculation unit 151 calculates the degree of correlation between the displacement amounts of the persons in the selected pair. The calculated degree of correlation is the displacement feature amount. The degree of correlation is indicated by, for example, a correlation coefficient.
  • the displacement feature amount calculator 151 may calculate the displacement amount (momentum) of each joint and calculate the degree of correlation between the displacement amounts as the displacement feature amount.
  • the displacement amount (momentum) of each joint is calculated by adding up a plurality of consecutive values of the displacement amount (velocity) of each joint.
  • the distance feature amount is calculated as follows. Based on the selected set of skeleton information, the distance feature amount calculation unit 152 calculates the distance from the position of the specific joint indicated by one skeleton information to the position of the specific joint indicated by the other skeleton information. . The calculated distance is the distance feature amount. For example, a particular joint is the neck joint.
  • the distance feature quantity calculation unit 152 may calculate the distance for each joint and calculate the statistical value of the distance as the distance feature quantity.
  • the statistic is a maximum, average or weighted average.
  • the position feature amount is calculated as follows. First, the position feature amount calculation unit 153 identifies the posture of the person based on the position of each joint indicated in the skeleton information for each selected set of skeleton information. For example, when the shoulders, elbows, and wrists are at the same height, the person is considered to be in a posture with their arms extended forward. Also, when the shoulders, elbows, and wrists are arranged in this order from the bottom, it is considered that the person is taking a posture in which the hands are raised. For example, the posture of a person is specified as follows. Posture pattern data is stored in the storage unit 190 . Posture pattern data indicates the shape of the skeleton for each type of posture. The skeletal shape is indicated by a pattern of joint positions.
  • the position feature quantity calculation unit 153 finds, from the posture pattern data, a posture corresponding to the shape of the skeleton that matches the position of each joint indicated in the skeleton information. Then, the position feature amount calculation unit 153 calculates the degree of correlation of the specified posture.
  • the degree of correlation is indicated by, for example, a correlation coefficient. For example, if one person threatens another person with a weapon, one person will extend their arm forward and the other person will raise their hand. Therefore, the degree of correlation between the posture of extending the arm forward and the posture of raising the hand is large.
  • the posture correlation is calculated as follows. Posture correlation data is stored in storage unit 190 . Posture correlation data indicates the degree of correlation for each combination of postures.
  • the position feature amount calculation unit 153 acquires the correlation degree corresponding to the same combination as the specified combination of postures from the posture correlation data.
  • the position feature amount calculation unit 153 may calculate the movement trajectory of at least one of the joints based on the time series of the skeleton information up to this time, and calculate the degree of correlation of the joint movement trajectories.
  • the movement feature amount is calculated as follows. First, the movement feature amount calculation unit 154 acquires the current skeleton information and the past skeleton information from the storage unit 190 for each selected set of skeleton information. Specifically, the past skeleton information is the previous skeleton information. However, the past skeleton information may be skeleton information before the previous time. Next, the movement feature amount calculation unit 154 obtains the movement direction of a specific joint based on the current skeleton information and the past skeleton information for each selected set of skeleton information. A specific example of a particular joint is the neck. Then, the movement feature amount calculation unit 154 calculates the degree of similarity of movement directions of specific joints in the selected pair. The calculated similarity is the movement feature amount.
  • the movement feature amount calculation unit 154 may obtain the trajectory in the movement direction using three or more pieces of skeleton information up to this time, and calculate the degree of correlation of the trajectory in the movement direction as the movement feature amount.
  • the degree of correlation is indicated by, for example, a correlation coefficient.
  • the orientation feature amount is calculated as follows. First, the orientation feature amount calculation unit 155 calculates the orientation of the person's face based on the position of each part of the face indicated by the skeleton information for each selected set of skeleton information. Then, the orientation feature amount calculation unit 155 calculates the degree of correlation of the calculated face orientation. The calculated degree of correlation is the orientation feature amount. For example, the orientation of each person's face is indicated by a vector. Then, the orientation feature amount calculation unit 155 calculates the degree of correlation based on the angle formed by the vectors.
  • the orientation feature amount calculation unit 155 may calculate the degree of correlation based on the position of each person in the video in addition to the orientation of each person's face.
  • the position of each person in the video is obtained by referring to a specific joint position (for example, neck) indicated in the skeleton information.
  • step S154 the person correlation determination unit 160 compares the feature amount with the determination threshold value for each type of feature amount.
  • step S155 the person correlation determination unit 160 determines the presence or absence of person correlation based on the comparison result of step S154.
  • the presence or absence of person correlation is determined as follows. First, the person correlation determination unit 160 counts the number of feature amounts exceeding the determination threshold. The obtained number is called the number of correlations. Next, person correlation determination section 160 compares the number of correlations with the reference number. The reference number is determined in advance. Then, the person correlation determination unit 160 determines whether or not there is a person correlation based on the comparison result between the number of correlations and the reference number. When the number of correlations is equal to or greater than the reference number, the person correlation determination unit 160 determines that there is person correlation. When the number of correlations is less than the reference number, the person correlation determination unit 160 determines that there is no person correlation.
  • the person correlation determination device 100 has the following characteristics.
  • the person correlation determination apparatus 100 calculates feature amounts of joint positions, movement directions, and face orientations based on the time series of skeleton information for two persons. Then, the person correlation determination apparatus 100 determines presence or absence of person correlation without relying only on the displacement amount of the joint position and the distance between the persons by considering these feature amounts.
  • the person correlation determination apparatus 100 automatically adjusts the threshold for determining person correlation in consideration of the number of people, the direction of the flow of people, and the movable range, and determines whether or not there is person correlation according to the situation.
  • FIG. 7 shows the surveillance image 193A.
  • Surveillance video 193A is an example of surveillance video in the first case.
  • the first case is a case in which "changes in displacement amounts of joint positions are not interlocked, but are correlated".
  • the surveillance image 193A one person holds a weapon and the other person is backing up. In this case, there is a correlation between the two persons, but in the conventional technique it is determined that there is no person correlation.
  • FIG. 8 shows the surveillance image 193B.
  • Surveillance video 193B is an example of surveillance video in the second case.
  • the second case is "the distance is short and there is no correlation".
  • surveillance image 193B two people are standing side by side at a close distance. In this case, there is no correlation between the two people, but it is determined that there is a correlation between the two people using the conventional technique.
  • the third case is the case of "long distance and correlation”.
  • Embodiment 1 takes into account feature amounts such as joint positions, movement directions, and facial orientations, in addition to joint position displacement amounts and interpersonal distances. As a result, the presence or absence of person correlation can be correctly determined without depending only on the amount of displacement of the joint positions and the distance between the persons.
  • Embodiment 1 automatically corrects the threshold for determination of person correlation in consideration of situations such as the number of people, the flow direction of people, and the movable range. As a result, it is possible to correctly determine the presence or absence of person correlation in a scene where the situation changes.
  • Camera 106 may be a 3D camera. Using a 3D camera also provides information about the depth within the monitored area. Therefore, it is possible to appropriately specify the positions of human joints. As a result, it is possible to perform more accurate person correlation determination. 3D means three dimensional.
  • the number of people status value, the people flow status value, and the movement status value are specific examples of types of status values.
  • the situation detection unit 130 may not calculate at least one of these situation values, or may calculate another type of situation value.
  • a displacement feature amount, a distance feature amount, a position feature amount, a movement feature amount, and an orientation feature amount are specific examples of types of feature amounts.
  • the feature amount calculator 150 may not calculate at least one of these feature amounts, or may calculate another type of feature amount.
  • a set of skeleton information may consist of skeleton information for three or more people. That is, it may be determined whether or not three or more persons are correlated.
  • At least one of the number of people status value, the people flow status value, and the movement status value may be calculated before step S140.
  • the person correlation determination device 100 includes a processing circuit 109 .
  • the processing circuit 109 is hardware that implements the video acquisition unit 110 , the skeleton information extraction unit 120 , the situation detection unit 130 , the threshold determination unit 140 , the feature amount calculation unit 150 , and the person correlation determination unit 160 .
  • the processing circuit 109 may be dedicated hardware, or may be the processor 101 that executes a program stored in the memory 102 .
  • processing circuitry 109 may be, for example, a single circuit, multiple circuits, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • the person correlation determination device 100 may include a plurality of processing circuits that substitute for the processing circuit 109.
  • processing circuit 109 some functions may be implemented by dedicated hardware, and the remaining functions may be implemented by software or firmware.
  • the functions of the person correlation determination device 100 can be realized by hardware, software, firmware, or a combination thereof.
  • Embodiment 1 is an example of a preferred form and is not intended to limit the technical scope of the present disclosure. Embodiment 1 may be partially implemented, or may be implemented in combination with other modes. The procedures described using flowcharts and the like may be changed as appropriate.
  • the "part" of each element of the person correlation determination device 100 may be read as “processing”, “process”, “circuit” or “circuitry”.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

骨格情報抽出部（１２０）は、監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出する。特徴量算出部（１５０）は、抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出する。状況検出部（１３０）は、前記監視映像に基づいて、監視領域の特定の状況を示す状況値を算出する。閾値決定部（１４０）は、前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定する。人物相関判定部（１６０）は、前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、比較結果に基づいて前記人物の前記組について人物相関が有るか判定する。

Description

人物相関判定装置、人物相関判定方法および人物相関判定プログラム
　本開示は、映像に映っている人物同士の相関の有無を判定する技術に関するものである。
　特許文献１は、映像に映っている各人物の骨格情報を分析し、相関が有る二人組の相互行動を特定する技術を開示している。
　この技術では、関節位置の変位量が連動している二人に相関が有ると判定される。また、距離が近い二人に相関が有ると判定される。
　しかし、関節位置の変位量が連動しない二人に相関が有る場合がある。また、距離が近い二人に相関が無い場合がある。このような場合、特許文献１の技術では、相関が有る二人組が正しく検出されない可能性がある。
特許第６８８７５８６号公報
　本開示は、映像に映っている人物同士の相関の有無をより正しく判定できるようにすることを目的とする。
　本開示の人物相関判定装置は、
　監視領域を撮影して得られた監視映像から、前記監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出する骨格情報抽出部と、
　抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出する特徴量算出部と、
　前記監視映像に基づいて、前記監視領域の特定の状況を示す状況値を算出する状況検出部と、
　前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定する閾値決定部と、
　前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、前記複数種類の特徴量の比較結果に基づいて前記人物の前記組について人物相関が有るか判定する人物相関判定部と、を備える。
　本開示によれば、映像に映っている人物同士の相関の有無をより正しく判定することができる。
実施の形態１における人物相関判定装置１００の構成図。 実施の形態１における状況検出部１３０の構成図。 実施の形態１における特徴量算出部１５０の構成図。 実施の形態１における人物相関判定方法のフローチャート。 実施の形態１におけるステップＳ１５０のフローチャート。 実施の形態１におけるヒストグラム１９２を示す図。 実施の形態１における監視映像１９３Ａを示す図。 実施の形態１における監視映像１９３Ｂを示す図。 実施の形態１における監視映像１９３Ｃを示す図。 実施の形態１における監視映像１９３Ｄを示す図。 実施の形態１における人物相関判定装置１００のハードウェア構成図。
　実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
　実施の形態１．
　人物相関判定装置１００について、図１から図１１に基づいて説明する。
＊＊＊構成の説明＊＊＊
　図１に基づいて、人物相関判定装置１００の構成を説明する。
　人物相関判定装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と通信装置１０４と入出力インタフェース１０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
　プロセッサ１０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ１０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
　ＩＣは、Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略称である。
　ＣＰＵは、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。
　ＤＳＰは、Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒの略称である。
　ＧＰＵは、Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。
　メモリ１０２は揮発性または不揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭである。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
　ＲＡＭは、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙの略称である。
　補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
　ＲＯＭは、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙの略称である。
　ＨＤＤは、Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅの略称である。
　通信装置１０４はレシーバ及びトランスミッタである。例えば、通信装置１０４は通信チップまたはＮＩＣである。
　人物相関判定装置１００の通信は通信装置１０４を用いて行われる。例えば、人物相関判定装置１００は通信装置１０４を用いてカメラ１０６と通信する。但し、カメラ１０６は入出力インタフェース１０５に接続されてもよい。
　ＮＩＣは、Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄの略称である。
　入出力インタフェース１０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース１０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。人物相関判定装置１００の入出力は入出力インタフェース１０５を用いて行われる。
　ＵＳＢは、Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓの略称である。
　人物相関判定装置１００は、映像取得部１１０と骨格情報抽出部１２０と状況検出部１３０と閾値決定部１４０と特徴量算出部１５０と人物相関判定部１６０といった要素を備える。これらの要素はソフトウェアで実現される。
　補助記憶装置１０３には、映像取得部１１０と骨格情報抽出部１２０と状況検出部１３０と閾値決定部１４０と特徴量算出部１５０と人物相関判定部１６０としてコンピュータを機能させるための人物相関判定プログラムが記憶されている。人物相関判定プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
　補助記憶装置１０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
　プロセッサ１０１は、ＯＳを実行しながら、人物相関判定プログラムを実行する。
　ＯＳは、Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍの略称である。
　人物相関判定プログラムの入出力データは記憶部１９０に記憶される。
　メモリ１０２は記憶部１９０として機能する。但し、補助記憶装置１０３、プロセッサ１０１内のレジスタおよびプロセッサ１０１内のキャッシュメモリなどの記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１９０として機能してもよい。
　人物相関判定装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。
　人物相関判定プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
　図２に基づいて、状況検出部１３０の構成を説明する。
　状況検出部１３０は、人数状況検出部１３１と人流状況検出部１３２と移動状況検出部１３３といった要素を備える。
　図３に基づいて、特徴量算出部１５０の構成を説明する。
　特徴量算出部１５０は、変位特徴量算出部１５１と距離特徴量算出部１５２と位置特徴量算出部１５３と移動特徴量算出部１５４と向き特徴量算出部１５５といった要素を備える。
＊＊＊動作の説明＊＊＊
　人物相関判定装置１００の動作の手順は人物相関判定方法に相当する。また、人物相関判定装置１００の動作の手順は人物相関判定プログラムによる処理の手順に相当する。
　図４に基づいて、人物相関判定方法を説明する。
　カメラ１０６は、監視領域を撮影し、各時刻の映像データを出力する。
　監視領域は、監視される領域である。
　映像データは、監視映像を示す。監視映像は、監視領域が映った映像である。
　ステップＳ１１０において、映像取得部１１０は、映像データをカメラ１０６から取得する。
　そして、映像取得部１１０は、取得された映像データを記憶部１９０に記憶する。これにより、各時刻の映像データが記憶部１９０に保存される。
　ステップＳ１２０において、骨格情報抽出部１２０は、監視映像に映った一人以上の人物のそれぞれの骨格情報を監視映像から抽出する。骨格情報は人物ごとに抽出される。
　そして、骨格情報抽出部１２０は、抽出された各骨格情報を記憶部１９０に記憶する。これにより、人物ごとに各時刻の骨格情報が記憶部１９０に保存される。
　骨格情報は、人物の骨格における１つ以上の関節のそれぞれの位置を示す。さらに、骨格情報は、顔の各パーツの位置を示す。顔のパーツの具体例は目および鼻である。各関節の位置および顔の各パーツの位置は、監視映像における座標値で示される。
　骨格情報は以下のように抽出される。
　まず、骨格情報抽出部１２０は、監視映像に映った人物を検出する。
　次に、骨格情報抽出部１２０は、検出された人物について監視映像に映った１つ以上の関節のそれぞれの位置を特定する。関節の位置は、従来技術を使って特定することができる。
　そして、骨格情報抽出部１２０は、監視映像の二次元座標において特定された各位置の座標値を求める。
　ステップＳ１３０において、骨格情報抽出部１２０は、抽出された骨格情報の数を判定する。
　二人分以上の骨格情報が抽出された場合、処理はステップＳ１４０に進む。つまり、二人以上の人物が監視映像に映っている場合、処理はステップＳ１４０に進む。
　骨格情報が抽出されなかった場合または一人分の骨格情報が抽出された場合、処理はステップＳ１１０に進む。つまり、人物が監視映像に映っていない場合または一人の人物が監視映像に映っている場合、処理はステップＳ１１０に進む。
　ステップＳ１４０において、骨格情報抽出部１２０は、抽出された骨格情報の組のうち未選択の組を１つ選択する。
　具体的には、骨格情報の組は二人分の骨格情報から成る。つまり、骨格情報抽出部１２０は、二人分の骨格情報を選択する。
　ステップＳ１５０において、人物相関判定部１６０は、選択された骨格情報の組に基づいて、人物相関の有無を判定する。
　人物相関は、骨格情報の組に対応する人物の組について人物同士の相関を意味する。
　ステップＳ１５０の詳細を後述する。
　ステップＳ１６０において、骨格情報抽出部１２０は、骨格情報の未選択の組が有るか判定する。
　骨格情報の未選択の組が有る場合、処理はステップＳ１４０に進む。
　骨格情報の未選択の組が無い場合、処理はステップＳ１１０に進む。
　ステップＳ１１０からステップＳ１６０が実行されることにより、監視映像に映った人物の組ごとに人物同士の相関の有無が判定される。
　図５に基づいて、ステップＳ１５０の手順を説明する。
　ステップＳ１５１において、状況検出部１３０は、監視映像に基づいて、監視領域の特定の状況を示す状況値を算出する。
　算出される状況値は、人数状況値、人流状況値および移動状況値である。
　人数状況値は、監視領域における人物の数（人数）に関する状況を示す。具体的には、人数状況値は、監視映像に映った二人以上の人物について人数を示す。
　人流状況値は、監視領域における人物の流れ（人流）に関する状況を示す。具体的には、人流状況値は、時刻が異なる複数の監視映像における人流の等方性を示す。
　移動状況値は、監視領域において人物が移動できる範囲（移動可能範囲）に関する状況を示す。具体的には、移動状況値は、監視領域において各人物が移動できる範囲の面積を示す。
　人数状況値は以下のように算出される。
　人数状況検出部１３１は、映像データから抽出された骨格情報の数を人数として数える。
　人数状況検出部１３１は、監視映像に映った人物を検出し、検出された人物の数を数えてもよい。
　人数状況検出部１３１は、選択された組の一方の骨格情報に対応する人物を中心とする周辺領域を決定し、周辺領域に存在する他人の人数を数えてもよい。周辺領域は、特定の広さを有する領域である。
　人流状況値は以下のように算出される。
　まず、人流状況検出部１３２は、今回までの複数の監視映像を解析することによって、監視映像に映った複数の人物のそれぞれの移動方向を算出する。移動方向は例えばオプティカルフローで示される。
　そして、人流状況検出部１３２は、算出された移動方向の等方性を算出する。等方性は数値で示される。
　例えば、人流状況値は以下のように算出される。
　図６に、ヒストグラム１９２を示す。ヒストグラム１９２は、移動方向のヒストグラムの例である。縦軸は人数を度数として示し、横軸は８つの方向を示す。破線は基準度数を示す。
　まず、人流状況検出部１３２は、基準度数以上の人数を有する方向の数を数える。この数を等方性数と称する。ヒストグラム１９２において、等方性数は６である。
　そして、人流状況検出部１３２は、等方性数を方向数で除算する。算出された商が人流状況値である。ヒストグラム１９２において、方向数は８である。この場合、人流状況値は０．７５（＝６／８）である。
　図５に戻り、ステップＳ１５１の説明を続ける。
　移動状況値は以下のように算出される。
　移動状況検出部１３３は、マスク画像１９１を解析することによって、移動可能範囲の面積を算出する。
　マスク画像１９１は、記憶部１９０に予め記憶される。
　マスク画像１９１は、監視領域の移動可能範囲を示す画像である。例えば、マスク画像１９１は、監視領域内の通路を示す。
　マスク画像１９１は、人手で作成されてもよいし、監視映像を使って自動で作成されてもよい。例えば、マスク画像１９１は、領域検出技術によって自動で作成される。領域検出技術はセマンティックセグメンテーションとも呼ばれる。
　移動状況検出部１３３は、選択された組の一方の骨格情報に対応する人物を中心とする周辺領域を決定し、周辺領域内の移動可能範囲の面積を算出してもよい。
　ステップＳ１５２において、閾値決定部１４０は、特徴量の種類ごとに、監視領域の状況に応じて判定閾値を決定する。
　つまり、閾値決定部１４０は、特徴量の種類ごとに、ステップＳ１５１で算出された状況値に基づいて判定閾値を決定する。
　判定閾値は、人物相関の有無を判定するために特徴量と比較される閾値である。
　特徴量の具体的な種類は、変位特徴量、距離特徴量、位置特徴量、移動特徴量および向き特徴量である。
　変位特徴量は、人物同士の関節の変位量に関する特徴量である。具体的には、変位特徴量は、時刻が異なる複数の骨格情報に基づく関節の変位量について人物同士の相関度を示す。
　距離特徴量は、人物間の距離に関する特徴量である。具体的には、距離特徴量は、人物間の関節の距離に基づく人物間の距離を示す。
　位置特徴量は、人物同士の関節の位置に関する特徴量である。具体的には、位置特徴量は、各関節の位置に基づく姿勢または時刻が異なる複数の骨格情報に基づく関節の移動軌跡について人物同士の相関度を示す。
　移動特徴量は、人物同士の移動方向に関する特徴量である。具体的には、移動特徴量は、時刻が異なる複数の骨格情報に基づく関節の移動方向について人物同士の類似度を示す。
　向き特徴量は、人物同士の顔の向きに関する特徴量である。具体的には、向き特徴量は、骨格情報に基づく顔の向きについて人物同士の相関度を示す。
　判定閾値は以下のように決定される。
　例えば、閾値決定部１４０は、特徴量の種類ごとに、数式を計算することによって判定閾値を算出する。数式は、特徴量の種類ごとに予め定義される。
　数式は、以下のような形式で示される。
　Ｔｈｒ　＝　ａ　＊　ｃ１　＋　ｂ　＊　ｃ２　＋　ｃ　＊　ｃ３　＋　Ｃ
　「Ｔｈｒ」は、判定閾値である。
　「ａ」は、人数状況値である。
　「ｃ１」は、人数状況値に対する係数である。
　「ｂ」は、人流状況値である。
　「ｃ２」は、人流状況値に対する係数である。
　「ｃ」は、移動状況値である。
　「ｃ３」は、移動状況値に対する係数である。
　「Ｃ」は、定数である。
　例えば、閾値決定部１４０は、特徴量の種類ごとに、学習済みモデルを演算することによって判定閾値を算出する。学習済みモデルは、特徴量の種類ごとに構築される。
　学習済みモデルは、監視映像と適切な判定閾値の組を複数与えて機械学習を行うことによって生成されたモデルである。
　機械学習の手法は、古典的な手法であってもよいし、深層学習手法であってもよい。
　古典的な手法の具体例はＳＶＭである。ＳＶＭはＳｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅの略称である。
　深層学習手法の具体例はＣＮＮおよびＲＮＮである。ＣＮＮはＣｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓの略称である。ＲＮＮはＲｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓの略称である。
　変位特徴量用の判定閾値と監視領域（エリア）の状況の関係について例を示す。
　人流の等方性が高くて移動可能範囲が狭い場合、狭いエリアまたは周辺に他人が多く存在するエリアで群衆が同じ方向に移動していると考えられる。例えば、駅の改札口付近で多くの人物が同じ方向に同じ速度で移動する状況が想定される。
　この場合、相関が無い人物同士が同じ速度で移動するため、人物同士に関節の変位量の相関（連動性または類似性）が見られることが多い。
　そのため、変位特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、関節の変位量に連動性があっても、人物相関が有ると判定され難くなる。
　距離特徴量用の判定閾値と監視領域の状況の関係について例を示す。
　移動可能範囲が狭くて人数が多い場合、狭いエリア内に人物が多く存在していると考えられる。例えば、駅の改札口付近または小規模店舗（例えばコンビニエンスストア）で人物同士の距離が近くなる状況が想定される。
　この場合、相関が無い人物同士の距離が近くなる。
　そのため、距離特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、人物同士の距離が近くても、人物相関が有ると判定され難くなる。
　位置特徴量用の判定閾値と監視領域の状況の関係について例を示す。
　人数が多くて移動可能範囲が狭い場合、狭いエリア内に人物が多く存在していると考えられる。例えば、駅、空港または小規模店舗で人物が密集する状況が想定される。
　この場合、監視映像において人物同士が重なり、各人物の姿勢を正しく判別できない可能性がある。
　そのため、位置特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、姿勢の組み合わせに相関があっても、人物相関が有ると判定され難くなる。
　移動特徴量用の判定閾値と監視領域の状況の関係について例を示す。
　人数が多くて人流の等方性が高い場合、エリア内に人物が多く存在し、群衆が同じ方向に移動していると考えられる。例えば、駅の改札口付近または会社への通勤路において多くの人物が同じ方向に移動する状況が想定される。
　この場合、相関が無い人物同士が同じ方向に移動する。
　そのため、移動特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、人物同士の移動方向が同じであっても、人物相関が有ると判定され難くなる。
　向き特徴量用の判定閾値と監視領域の状況の関係について例を示す。
　人数が多くて人流の等方性が低い場合、エリア内に人物が多く存在し、各人物が自由に移動していると考えられる。例えば、駅または空港で人物同士がすれ違う状況が想定される。
　この場合、相関が無い人物同士の顔が互いに向き合う。
　そのため、向き特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、人物同士の顔が互いに向き合っても、人物相関が有ると判定され難くなる。
　ステップＳ１５３において、特徴量算出部１５０は、特徴量の種類ごとに、骨格情報の組に基づいて特徴量を算出する。
　変位特徴量は以下のように算出される。
　まず、変位特徴量算出部１５１は、選択された組の骨格情報ごとに、今回の骨格情報と過去の骨格情報を記憶部１９０から取得する。具体的には、過去の骨格情報は前回の骨格情報である。但し、過去の骨格情報は前回より前の骨格情報であってもよい。
　次に、変位特徴量算出部１５１は、選択された組の骨格情報ごとに、今回の骨格情報と過去の骨格情報に基づいて、各関節の変位量（速度）を算出する。
　そして、変位特徴量算出部１５１は、選択された組における人物同士の変位量の相関度を算出する。算出された相関度が、変位特徴量である。相関度は例えば相関係数で示される。
　但し、変位特徴量算出部１５１は、各関節の変位量（運動量）を算出し、変位量の相関度を変位特徴量として算出してもよい。
　各関節の変位量（運動量）は、各関節の変位量（速度）の連続する複数の値を合算して算出される。
　距離特徴量は以下のように算出される。
　距離特徴量算出部１５２は、選択された組の骨格情報に基づいて、一方の骨格情報に示される特定の関節の位置から他方の骨格情報に示される特定の関節の位置までの距離を算出する。算出される距離が、距離特徴量である。例えば、特定の関節は首の関節である。
　但し、距離特徴量算出部１５２は、関節ごとに距離を算出し、距離の統計値を距離特徴量として算出してもよい。例えば、統計値は、最大値、平均値または加重平均である。
　位置特徴量は以下のように算出される。
　まず、位置特徴量算出部１５３は、選択された組の骨格情報ごとに、骨格情報に示される各関節の位置に基づいて、人物の姿勢を特定する。
　例えば、肩と肘と手首が同じ高さに並んでいる場合、人物は腕を前に伸ばした姿勢をとっていると考えられる。また、下から肩、肘、手首の順に並んでいる場合、人物は手を挙げた姿勢をとっていると考えられる。
　例えば、人物の姿勢は次のように特定される。姿勢パターンデータが記憶部１９０に記憶される。姿勢パターンデータは、姿勢の種類ごとに骨格の形を示す。骨格の形は、複数の関節の位置のパターンで示される。位置特徴量算出部１５３は、骨格情報に示される各関節の位置に合致する骨格の形に対応する姿勢を姿勢パターンデータから見つける。
　そして、位置特徴量算出部１５３は、特定された姿勢の相関度を算出する。相関度は例えば相関係数で示される。
　例えば、一方の人物が他方の人物を凶器で脅す場合、一方の人物は腕を前に伸ばし、他の人物は手を挙げる。そのため、腕を前に伸ばすという姿勢と手を挙げるという姿勢の相関度は大きい。
　例えば、姿勢の相関度は次のように算出される。姿勢相関データが記憶部１９０に記憶される。姿勢相関データは、姿勢の組み合わせごとに相関度を示す。位置特徴量算出部１５３は、特定された姿勢の組み合わせと同じ組み合わせに対応する相関度を姿勢相関データから取得する。
　但し、位置特徴量算出部１５３は、今回までの骨格情報の時系列に基づいて少なくともいずれかの関節の移動軌跡を算出し、関節の移動軌跡の相関度を算出してもよい。
　移動特徴量は以下のように算出される。
　まず、移動特徴量算出部１５４は、選択された組の骨格情報ごとに、今回の骨格情報と過去の骨格情報を記憶部１９０から取得する。具体的には、過去の骨格情報は前回の骨格情報である。但し、過去の骨格情報は前回より前の骨格情報であってもよい。
　次に、移動特徴量算出部１５４は、選択された組の骨格情報ごとに、今回の骨格情報と過去の骨格情報に基づいて、特定の関節の移動方向を求める。特定の関節の具体例は、首である。
　そして、移動特徴量算出部１５４は、選択された組における特定の関節の移動方向の類似度を算出する。算出された類似度が、移動特徴量である。
　但し、移動特徴量算出部１５４は、今回までの３つ以上の骨格情報を用いて移動方向の軌跡を求め、移動方向の軌跡の相関度を移動特徴量として算出してもよい。相関度は例えば相関係数で示される。
　向き特徴量は以下のように算出される。
　まず、向き特徴量算出部１５５は、選択された組の骨格情報ごとに、骨格情報に示される顔の各パーツの位置に基づいて、人物の顔の向きを算出する。
　そして、向き特徴量算出部１５５は、算出された顔の向きの相関度を算出する。算出された相関度が、向き特徴量である。
　例えば、各人物の顔の向きはベクトルで示される。そして、向き特徴量算出部１５５は、ベクトルが成す角度に基づいて相関度を算出する。
　但し、向き特徴量算出部１５５は、各人物の顔の向きに加えて映像における各人物の位置に基づいて相関度を算出してもよい。
　映像における各人物の位置は、骨格情報に示される特定の関節位置（例えば首）を参照して得られる。
　ステップＳ１５４において、人物相関判定部１６０は、特徴量の種類ごとに、特徴量を判定閾値と比較する。
　ステップＳ１５５において、人物相関判定部１６０は、ステップＳ１５４の比較結果に基づいて、人物相関の有無を判定する。
　人物相関の有無は以下のように判定される。
　まず、人物相関判定部１６０は、判定閾値を超えた特徴量の個数を数える。求まる数を相関個数と称する。
　次に、人物相関判定部１６０は、相関個数を基準個数と比較する。基準個数は予め決められる。
　そして、人物相関判定部１６０は、相関個数と基準個数の比較結果に基づいて、人物相関の有無を判定する。
　相関個数が基準個数以上である場合、人物相関判定部１６０は、人物相関が有ると判定する。
　相関個数が基準個数未満である場合、人物相関判定部１６０は、人物相関が無いと判定する。
＊＊＊実施の形態１の特徴＊＊＊
　実施の形態１において、人物相関判定装置１００は以下のような特徴を有する。
　人物相関判定装置１００は、２人分の骨格情報の時系列に基づいて、関節位置と移動方向と顔向きのそれぞれの特徴量を算出する。そして、人物相関判定装置１００は、これらの特徴量を考慮することにより、関節位置の変位量と人物間の距離だけに依存せずに人物相関の有無を判定する。
　人物相関判定装置１００は、人数と人流方向と移動可能範囲といった状況を考慮して人物相関の判定用の閾値を自動で調整し、状況に応じた人物相関の有無を判定する。
＊＊＊実施の形態１の効果＊＊＊
　従来技術は、関節位置の変位量と人物間の距離を考慮して人物相関の有無を判定していた。しかし、次のようなケースにおいて人物相関の有無は正しく判定されない。
　図７に、監視映像１９３Ａを示す。監視映像１９３Ａは、第１のケースにおける監視映像の例である。
　第１のケースは“関節位置の変位量の変化は連動しないが相関はある”というケースである。監視映像１９３Ａにおいて、一方の人物は凶器を突き付け、他方の人物は後ずさりしている。この場合、二人の人物に相関が有るが、従来技術では人物相関が無いと判定される。
　図８に、監視映像１９３Ｂを示す。監視映像１９３Ｂは、第２のケースにおける監視映像の例である。
　第２のケースは“距離が近くて相関がない”というケースである。監視映像１９３Ｂにおいて、二人の人物が近い距離で横並びに直立している。この場合、二人の人物に相関が無いが、従来技術では人物相関が有ると判定される。
　第３のケースは“距離が遠くて相関がある”というケースである。
　実施の形態１は、関節位置の変位量と人物間の距離に加えて、関節位置と移動方向と顔向きといった特徴量を考慮する。
　これにより、関節位置の変位量と人物間の距離だけに依存せずに人物相関の有無を正しく判定できる。
　従来技術では、人物相関の判定用の閾値が固定されている。そのため、状況が変化するシーンにおいて人物相関の有無が正しく判定されない。
　図９および図１０に、監視映像の例（１９３Ｃ、１９３Ｄ）を示す。監視映像１９３Ｃでは、監視領域が混在しているため、相関が無い人物同士の距離が近い。監視映像１９３Ｄでは、通路が狭いため、相関が無い人物同士の距離が近い。この場合、従来技術では人物相関が有ると判定される。
　実施の形態１は、人数と人流方向と移動可能範囲といった状況を考慮して人物相関の判定用の閾値を自動で補正する。
　これにより、状況が変化するシーンにおいて人物相関の有無を正しく判定できる。
＊＊＊実施の形態１の補足＊＊＊
　カメラ１０６は３Ｄカメラであってもよい。３Ｄカメラを用いることによって、監視領域内の奥行に関する情報も得られる。そのため、人の関節の位置を適切に特定することが可能となる。その結果、より高精度な人物相関判定が可能となる。３Ｄは三次元を意味する。
　人数状況値、人流状況値および移動状況値は、状況値の種類の具体例である。
　状況検出部１３０は、これら状況値の少なくともいずれかを算出しなくてもよいし、別の種類の状況値を算出してもよい。
　変位特徴量、距離特徴量、位置特徴量、移動特徴量および向き特徴量は、特徴量の種類の具体例である。
　特徴量算出部１５０は、これら特徴量の少なくともいずれかを算出しなくてもよいし、別の種類の特徴量を算出してもよい。
　骨格情報の組は、三人分以上の骨格情報から成ってもよい。つまり、三人以上の人物の相関の有無が判定されてもよい。
　人数状況値と人流状況値と移動状況値の少なくともいずれかが、ステップＳ１４０の前に算出されてもよい。
　図１１に基づいて、人物相関判定装置１００のハードウェア構成を説明する。
　人物相関判定装置１００は処理回路１０９を備える。
　処理回路１０９は、映像取得部１１０と骨格情報抽出部１２０と状況検出部１３０と閾値決定部１４０と特徴量算出部１５０と人物相関判定部１６０とを実現するハードウェアである。
　処理回路１０９は、専用のハードウェアであってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
　処理回路１０９が専用のハードウェアである場合、処理回路１０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
　ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略称である。
　ＦＰＧＡは、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙの略称である。
　人物相関判定装置１００は、処理回路１０９を代替する複数の処理回路を備えてもよい。
　処理回路１０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
　このように、人物相関判定装置１００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
　実施の形態１は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。実施の形態１は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
　人物相関判定装置１００の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。
　１００　人物相関判定装置、１０１　プロセッサ、１０２　メモリ、１０３　補助記憶装置、１０４　通信装置、１０５　入出力インタフェース、１０６　カメラ、１０９　処理回路、１１０　映像取得部、１２０　骨格情報抽出部、１３０　状況検出部、１３１　人数状況検出部、１３２　人流状況検出部、１３３　移動状況検出部、１４０　閾値決定部、１５０　特徴量算出部、１５１　変位特徴量算出部、１５２　距離特徴量算出部、１５３　位置特徴量算出部、１５４　移動特徴量算出部、１５５　向き特徴量算出部、１６０　人物相関判定部、１９０　記憶部、１９１　マスク画像、１９２　ヒストグラム、１９３　監視映像。

Claims (6)

  1. 　監視領域を撮影して得られた監視映像から、前記監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出する骨格情報抽出部と、
    　抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出する特徴量算出部と、
    　前記監視映像に基づいて、前記監視領域の特定の状況を示す状況値を算出する状況検出部と、
    　前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定する閾値決定部と、
    　前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、前記複数種類の特徴量の比較結果に基づいて前記人物の前記組について人物相関が有るか判定する人物相関判定部と、
    を備える人物相関判定装置。
  2. 　前記骨格情報は、１つ以上の関節のそれぞれの位置を示し、
    　前記特徴量算出部は、変位特徴量と距離特徴量と位置特徴量と移動特徴量と向き特徴量の５種類の前記特徴量のうちの２種類以上の前記特徴量を算出し、
    　前記変位特徴量は、時刻が異なる複数の骨格情報に基づく前記関節の変位量について人物同士の相関度を示し、
    　前記距離特徴量は、人物間の前記関節の距離に基づく人物間の距離を示し、
    　前記位置特徴量は、各関節の位置に基づく姿勢または前記複数の骨格情報に基づく前記関節の移動軌跡について人物同士の相関度を示し、
    　前記移動特徴量は、前記複数の骨格情報に基づく前記関節の移動方向について人物同士の類似度を示し、
    　前記向き特徴量は、顔の各パーツの位置を示す前記骨格情報に基づく前記顔の向きについて人物同士の相関度を示す
    請求項１に記載の人物相関判定装置。
  3. 　前記状況検出部は、人数状況値と人流状況値と移動状況値のうちの１種類以上の前記状況値を算出し、
    　前記人数状況値は、前記監視映像に映った前記二人以上の人物について人数を示し、
    　前記人流状況値は、時刻が異なる複数の監視映像における人流の等方性を示し、
    　前記移動状況値は、前記監視領域において各人物が移動できる範囲の面積を示す
    請求項１または請求項２に記載の人物相関判定装置。
  4. 　前記人物相関判定部は、前記判定閾値を超えた前記特徴量の個数が基準個数以上である場合に前記人物相関が有ると判定する
    請求項１から請求項３のいずれか１項に記載の人物相関判定装置。
  5. 　監視領域を撮影して得られた監視映像から、前記監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出し、
    　抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出し、
    　前記監視映像に基づいて、前記監視領域の特定の状況を示す状況値を算出し、
    　前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定し、
    　前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、前記複数種類の特徴量の比較結果に基づいて前記人物の前記組について人物相関が有るか判定する
    人物相関判定方法。
  6. 　監視領域を撮影して得られた監視映像から、前記監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出する骨格情報抽出処理と、
    　抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出する特徴量算出処理と、
    　前記監視映像に基づいて、前記監視領域の特定の状況を示す状況値を算出する状況検出処理と、
    　前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定する閾値決定処理と、
    　前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、前記複数種類の特徴量の比較結果に基づいて前記人物の前記組について人物相関が有るか判定する人物相関判定処理と、
    をコンピュータに実行させるための人物相関判定プログラム。
PCT/JP2022/005726 2022-02-14 2022-02-14 人物相関判定装置、人物相関判定方法および人物相関判定プログラム Ceased WO2023152983A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023554325A JP7374401B1 (ja) 2022-02-14 2022-02-14 人物相関判定装置、人物相関判定方法および人物相関判定プログラム
PCT/JP2022/005726 WO2023152983A1 (ja) 2022-02-14 2022-02-14 人物相関判定装置、人物相関判定方法および人物相関判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005726 WO2023152983A1 (ja) 2022-02-14 2022-02-14 人物相関判定装置、人物相関判定方法および人物相関判定プログラム

Publications (1)

Publication Number Publication Date
WO2023152983A1 true WO2023152983A1 (ja) 2023-08-17

Family

ID=87564061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005726 Ceased WO2023152983A1 (ja) 2022-02-14 2022-02-14 人物相関判定装置、人物相関判定方法および人物相関判定プログラム

Country Status (2)

Country Link
JP (1) JP7374401B1 (ja)
WO (1) WO2023152983A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021019A (ja) * 2017-07-18 2019-02-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム
JP6887586B1 (ja) * 2020-07-03 2021-06-16 三菱電機株式会社 行動特定装置、行動特定方法及び行動特定プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019021019A (ja) * 2017-07-18 2019-02-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム
JP6887586B1 (ja) * 2020-07-03 2021-06-16 三菱電機株式会社 行動特定装置、行動特定方法及び行動特定プログラム

Also Published As

Publication number Publication date
JPWO2023152983A1 (ja) 2023-08-17
JP7374401B1 (ja) 2023-11-06

Similar Documents

Publication Publication Date Title
US6611613B1 (en) Apparatus and method for detecting speaking person's eyes and face
JP7230939B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN109977764B (zh) 基于平面检测的活体识别方法、装置、终端及存储介质
US20150186716A1 (en) Learning-based estimation of hand and finger pose
US20100296701A1 (en) Person tracking method, person tracking apparatus, and person tracking program storage medium
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
CN104487999B (zh) 姿势估计装置和姿势估计方法
US10991124B2 (en) Determination apparatus and method for gaze angle
JP2011134114A (ja) パターン認識方法およびパターン認識装置
US20240104769A1 (en) Information processing apparatus, control method, and non-transitory storage medium
KR101681104B1 (ko) 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법
US20160063345A1 (en) Pattern recognition apparatus, pattern recognition method, and storage medium
JP4682820B2 (ja) オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
CN118567486B (zh) 一种数字沙盘交互方法及系统
JP7374401B1 (ja) 人物相関判定装置、人物相関判定方法および人物相関判定プログラム
CN113822122A (zh) 具有低空间抖动、低延迟和低功耗的对象和关键点检测系统
Hansen et al. Eye typing off the shelf
JP7632608B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7422572B2 (ja) 移動物体追跡装置、移動物体追跡方法及び移動物体追跡プログラム
CN111160179A (zh) 一种基于头部分割和卷积神经网络的摔倒检测方法
Roy Controlling mouse cursor based on image processing and object detection
Akhavizadegan et al. REAL-TIME AUTOMATED CONTOUR BASED MOTION TRACKING USING A SINGLE-CAMERA FOR UPPER LIMB ANGULAR MOTION MEASUREMENT
Pathak et al. Maskify: Precision Detection and Fit Assessment for Mask Compliance
CN117558051A (zh) 一种基于自适应人脸搜索区域的头部姿态估计方法
CN112308011A (zh) 多特征联合目标检测方法及装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023554325

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22926002

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22926002

Country of ref document: EP

Kind code of ref document: A1