[go: up one dir, main page]

WO2019008789A1 - 解析装置、解析方法及びプログラム - Google Patents

解析装置、解析方法及びプログラム Download PDF

Info

Publication number
WO2019008789A1
WO2019008789A1 PCT/JP2017/038132 JP2017038132W WO2019008789A1 WO 2019008789 A1 WO2019008789 A1 WO 2019008789A1 JP 2017038132 W JP2017038132 W JP 2017038132W WO 2019008789 A1 WO2019008789 A1 WO 2019008789A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coordinates
detected
face
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/038132
Other languages
English (en)
French (fr)
Inventor
晴之 林
悠介 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to CN201780092899.6A priority Critical patent/CN110832493A/zh
Priority to US16/628,485 priority patent/US11138755B2/en
Priority to JP2019528334A priority patent/JP6863461B2/ja
Priority to AU2017422614A priority patent/AU2017422614A1/en
Priority to EP17916838.0A priority patent/EP3651114B1/en
Priority to ES17916838T priority patent/ES2923934T3/es
Publication of WO2019008789A1 publication Critical patent/WO2019008789A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present invention relates to an analysis device, an analysis method, and a program.
  • Patent Documents 1 and 2 disclose an apparatus for detecting the number of people in a vehicle.
  • Patent Document 1 discloses an apparatus that analyzes an image obtained by photographing a vehicle from the side to detect a profile of a person, and determines the number of people in the vehicle based on the detection result.
  • each of a plurality of images obtained by continuously capturing a vehicle is analyzed to detect a person, and it is estimated which seat in the vehicle each person detected based on how the vehicle looks in each image
  • an apparatus for determining the number of people in a vehicle based on the number of seats determined to be sitting is disclosed.
  • An object of the present invention is to provide a new technology for detecting the number of people in a vehicle.
  • a predetermined location and person of the vehicle are detected from each of a plurality of images obtained by photographing the same vehicle a plurality of times from different directions, and each of the plurality of people in the coordinate system based on the detected predetermined location
  • Image analysis means for detecting coordinates; Grouping means for grouping the persons detected from the different images based on the coordinates; Counting means for counting the number of groups;
  • An analysis apparatus having the
  • the computer is A predetermined location and person of the vehicle are detected from each of a plurality of images obtained by photographing the same vehicle a plurality of times from different directions, and each of the plurality of people in the coordinate system based on the detected predetermined location
  • An analysis method is provided to perform the
  • a predetermined location and person of the vehicle are detected from each of a plurality of images obtained by photographing the same vehicle a plurality of times from different directions, and each of the plurality of people in the coordinate system based on the detected predetermined location
  • Image analysis means for detecting coordinates, Grouping means for grouping the persons detected from the different images based on the coordinates;
  • Counting means for counting the number of groups, A program to function as is provided.
  • a new technology is realized to detect the number of people in a vehicle.
  • the analysis device detects the number of people in the vehicle based on the analysis results of each of a plurality of images obtained by continuously capturing the same vehicle.
  • the analysis device detects a predetermined part of a vehicle and a person from each of a plurality of images obtained by photographing the same vehicle a plurality of times from different directions.
  • the analysis device detects the coordinates of each of a plurality of persons in a coordinate system based on a predetermined location of the detected vehicle.
  • the analysis device groups persons detected from different images based on the coordinates.
  • the analysis device groups together with close coordinates.
  • the analysis device counts the number of groups, and outputs the number of groups as the number of people on the vehicle.
  • Each functional unit included in the analysis apparatus includes a central processing unit (CPU) of any computer, a memory, a program loaded to the memory, a storage unit such as a hard disk storing the program (the apparatus is shipped in advance
  • a storage unit such as a hard disk storing the program
  • the apparatus is shipped in advance
  • storage media such as CDs (Compact Disc), programs downloaded from servers on the Internet, etc.)
  • CDs Compact Disc
  • FIG. 1 is a block diagram illustrating the hardware configuration of the analysis apparatus of the present embodiment.
  • the analysis apparatus includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • Peripheral circuit 4A includes various modules.
  • the analysis device may be configured of a plurality of physically and / or logically divided devices. In this case, each of the plurality of devices may have a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuit 4A, and the input / output interface 3A to mutually transmit and receive data.
  • the processor 1A is an arithmetic processing unit such as a CPU or a graphics processing unit (GPU), for example.
  • the memory 2A is, for example, a memory such as a random access memory (RAM) or a read only memory (ROM).
  • the input / output interface 3A is an interface for acquiring information from an input device (eg, a keyboard, a mouse, a microphone, a physical key, a touch panel display, a code reader, etc.), an external device, an external server, an external sensor, etc. Example: Display, speaker, printer, mailer etc.), an external device, an interface for outputting information to an external server, etc. are included.
  • the processor 1A can issue an instruction to each module and perform an operation based on the result of the operation.
  • the analysis device 10 includes an image analysis unit 11, a grouping unit 12, and a count unit 13.
  • the image analysis unit 11 detects a predetermined part of a vehicle and a person from each of a plurality of images obtained by photographing the same vehicle a plurality of times from different directions. In the present embodiment, a human face is detected. Then, the image analysis unit 11 detects the coordinates of each of a plurality of detected faces in a two-dimensional coordinate system with a predetermined portion of the detected vehicle as a reference (eg, an origin).
  • a two-dimensional coordinate system having a predetermined position of the detected vehicle as an origin may be referred to as a "vehicle coordinate system".
  • the sensor 101 and the camera 102 are installed along the road through which the vehicle passes.
  • the sensor 101 detects that the vehicle has passed a predetermined position on the road.
  • the sensor 101 may include means for emitting light (e.g., a laser) in a predetermined direction (e.g., the direction of the arrow shown) and means for receiving the reflected light.
  • the passage of the vehicle may be detected by detecting the presence of an obstacle that impedes the progress of the emitted light based on how the reflected light is received.
  • it may be detected by a weight sensor or the like that the vehicle has passed a predetermined position.
  • the sensor 101 inputs a signal indicating that to the camera 102.
  • the camera 102 captures an image according to the detection.
  • the camera 102 may continuously shoot a predetermined number of still images (e.g., several dozens to hundreds of images per second) according to the detection by the sensor 101, and generate a plurality of still image files.
  • the camera 102 may capture a moving image for a predetermined shooting time according to the detection by the sensor 101, and may generate a moving image file including a plurality of frames.
  • the predetermined number and the predetermined photographing time can be arbitrarily determined in advance according to the specifications of the camera 102, the moving speed of the vehicle, and the like.
  • the position and the direction of the camera 102 are set so as to photograph the vehicle detected by the sensor 101 by the photographing according to the detection by the sensor 101.
  • the image file generated by the camera 102 is input to the analysis device 10 in real time processing or batch processing.
  • the analysis device 10 and the camera 102 may be configured to be communicable by any communication means.
  • the image analysis unit 11 sets a plurality of images obtained by photographing the same vehicle as processing targets, and detects a vehicle and a human face from each of the plurality of images. For example, in accordance with a single detection by the sensor 101, a predetermined number of still images captured by the camera 102 or a moving image for a predetermined imaging time can be set as a processing target.
  • the detection of the faces of vehicles and people may be realized by template matching. Also, it may be realized by a detector constructed by machine learning using a large number of images. As a detector, for example, SVM (support vector machine), LDA (linear discriminant analysis), GLVQ (generalized learning vector quantization), neural network or the like can be used.
  • SVM support vector machine
  • LDA linear discriminant analysis
  • GLVQ generalized learning vector quantization
  • the face of the person to be detected may be the face of the person inside the detected vehicle, that is, the face present inside the contour of the detected vehicle. By doing this, it is possible to detect only the face of the person who is in the vehicle and to exclude the face of a person outside the vehicle, such as a passerby or a traffic guide, from the detection targets.
  • the image analysis unit 11 After detecting the vehicle from each of the plurality of images, the image analysis unit 11 detects a predetermined location and a predetermined direction of the detected vehicle from each of the plurality of images. Then, a two-dimensional coordinate system (vehicle coordinate system) is defined for each image with the detected predetermined location as the origin and the detected predetermined direction as the x-axis direction and the y-axis direction.
  • vehicle coordinate system vehicle coordinate system
  • FIG. 4 shows an example of a vehicle coordinate system set in one image F.
  • the rear end of the bumper attached to the back of the body of the vehicle is a predetermined position
  • the longitudinal direction and the height direction of the vehicle are a predetermined direction.
  • a vehicle coordinate system is defined in which the rear end of the bumper is the origin, the longitudinal direction of the vehicle is the x axis, and the height direction is the y axis.
  • the image analysis unit 11 After setting the vehicle coordinate system for each image, the image analysis unit 11 detects the coordinates of the face of the person detected from each image.
  • the coordinates of each of the plurality of faces can be obtained by a method according to the method of detecting the human face.
  • a representative point of this area B (e.g. center, upper right, upper left, lower right, lower left, etc.) Can be determined as the coordinates of the face present in the area B.
  • the coordinates of the eyes, nose, mouth (eg, representative coordinates of the area occupied by the eyes, nose, mouth) It can be determined as coordinates of a face having a nose and a mouth.
  • FIG. 5 By the image analysis by the image analysis unit 11, an analysis result as shown in FIG. 5 is obtained.
  • face ID identifier
  • coordinates in a vehicle coordinate system for each of a plurality of faces
  • frame ID an image in which each face is detected
  • the grouping unit 12 described below groups a plurality of face IDs attached to the same person's face.
  • the grouping unit 12 groups a plurality of people detected from the plurality of images based on the coordinates of the vehicle coordinate system.
  • the grouping unit 12 groups the plurality of faces detected from the plurality of images based on the coordinates of the vehicle coordinate system.
  • the grouping unit 12 groups people detected from different images based on coordinates.
  • the grouping unit 12 groups together those having similar coordinates in the vehicle coordinate system.
  • the grouping unit 12 can group a plurality of faces detected from a plurality of images using the distance between coordinates.
  • data as shown in FIG. 6 is obtained.
  • the obtained data may be stored in a storage medium such as a memory.
  • IDs of groups to which each of the faces belongs are associated with each of the plurality of faces detected by the image analysis unit 11.
  • the same group ID is associated with the face ID of the face whose coordinates in the vehicle coordinate system are close.
  • grouping may be performed by other methods.
  • the grouping unit 12 selects one or more faces detected from the first image that is the first processing target (eg, the first captured image) among the plurality of images to be processed, Belong to different groups.
  • the face ID of each face detected from the first image is associated with a different group ID and stored in a storage medium such as a memory.
  • M M is an integer of 1 or more
  • the grouping unit 12 generates M groups and causes each of the M faces to belong to each group. For example, M new group IDs are generated, and different group IDs are associated with IDs of M faces detected from the first image (see FIG. 6).
  • the grouping unit 12 causes the coordinates of each of one or more faces detected from the first image, and the coordinates of each of one or more faces detected from the second image captured immediately after that. Calculate the distance between Then, the grouping unit 12 causes the faces of the two persons to be compared to belong to the same group according to the comparison between the calculated distance and the predetermined value. For example, when the grouping unit 12 satisfies the distance condition that the calculated distance is less than the predetermined value, the grouping unit 12 causes the two faces to be processed to belong to the same group.
  • the predetermined value can be arbitrarily determined in advance.
  • the grouping unit 12 makes the 2-1 face belong to the same group as the 1-1 face.
  • the same group ID is associated with the face ID of the 1-1 face and the face ID of the 2-1 face (see FIG. 6).
  • the grouping unit 12 if the second face detected from the second image does not satisfy the distance condition for any of the faces detected from the first image, the grouping unit 12 generates a new group. , And the face 2-2 belongs to the group. For example, a new group ID is generated, and the group ID is associated with the face ID of the second face (see FIG. 6).
  • the grouping unit 12 performs the above process on all pairs of the Nth image and the (N + 1) th image taken immediately after that, and groups a plurality of faces.
  • the grouping unit 12 selects one or more faces detected from the first image that is the first processing target (eg, the first captured image) among the plurality of images to be processed, Belong to different groups.
  • the face ID of each face detected from the first image is associated with a different group ID and stored in a storage medium such as a memory.
  • M M is an integer of 1 or more
  • the grouping unit 12 generates M groups and causes each of the M faces to belong to each group. For example, M new group IDs are generated, and different group IDs are associated with IDs of M faces detected from the first image (see FIG. 6).
  • the grouping unit 12 detects one or more faces detected from the first image and one or more detected from the second image captured immediately thereafter.
  • the distance in the x-axis direction and the distance in the y-axis direction to each of the plurality of faces are calculated.
  • the grouping unit 12 belongs to the same group two faces satisfying the distance condition “the distance in the x-axis direction is less than the first predetermined value and the distance in the y-axis direction is less than the second predetermined value”. Let That is, the grouping unit 12 causes the two faces to be processed to belong to the same group when the distance condition is satisfied.
  • the first predetermined value and the second predetermined value can be arbitrarily determined in advance.
  • the grouping unit 12 when the 2-1 face detected from the second image and the 1-1 face detected from the first image satisfy the above-described distance condition, the grouping unit 12 generates the second image. Make 1 face belong to the same group as the 1-1 face.
  • the same group ID is associated with the face ID of the 1-1 face and the face ID of the 2-1 face (see FIG. 6).
  • the grouping unit 12 if the second face detected from the second image does not satisfy the distance condition for any of the faces detected from the first image, the grouping unit 12 generates a new group. , And the face 2-2 belongs to the group. For example, a new group ID is generated, and the group ID is associated with the face ID of the second face (see FIG. 6).
  • the grouping unit 12 performs the above process on all pairs of the Nth image and the (N + 1) th image taken immediately after that, and groups a plurality of faces.
  • the grouping unit 12 selects one or more faces detected from the first image that is the first processing target (eg, the first captured image) among the plurality of images to be processed, Belong to different groups.
  • the face ID of each face detected from the first image is associated with a different group ID and stored in a storage medium such as a memory.
  • M M is an integer of 1 or more
  • the grouping unit 12 generates M groups and causes each of the M faces to belong to each group. For example, M new group IDs are generated, and different group IDs are associated with IDs of M faces detected from the first image (see FIG. 6).
  • the grouping unit 12 determines representative coordinates for each group.
  • the coordinates of the members are set as representative coordinates of each group.
  • the member is a face belonging to each group, that is, a face identified by a face ID associated with each group ID.
  • the number of face IDs associated with the same group ID is the number of members.
  • the coordinates of the members are coordinates of the vehicle coordinate system of each face.
  • the grouping unit 12 calculates the distance between the representative coordinates of each of the plurality of groups and the coordinates of a person not belonging to the group. That is, the grouping unit 12 calculates the distance between each of one or more faces detected from the second image captured immediately after the first image and the representative coordinates of each of the M groups. Then, the grouping unit 12 causes the faces not belonging to the group to belong to the predetermined group in accordance with the comparison between the calculated distance and the predetermined value. That is, the grouping unit 12 causes each of the one or more faces detected from the second image to belong to the group satisfying the distance condition of “the distance is less than the predetermined value”. For example, the face ID of each of one or more faces detected from the second image is associated with the group ID of the group that satisfies the distance condition (see FIG. 6).
  • the predetermined value can be arbitrarily determined in advance.
  • the grouping unit 12 redetermines the representative coordinates of the group to which the new member has been added.
  • a statistical value for example, an average
  • y of the y coordinates of the plurality members An example is given in which the y-coordinate of the representative coordinates is an example), but the present invention is not limited thereto.
  • the grouping unit 12 When there is no group satisfying the distance condition, the grouping unit 12 generates a new group corresponding to the face detected from the second image, and causes the face to belong to the group. For example, a new group ID is generated, and the face ID of the face is associated with the group ID (see FIG. 6). Further, the grouping unit 12 sets the coordinates of the face as the representative coordinates of the group.
  • the grouping unit 12 performs the above process on all of the plurality of images to be processed, and groups the plurality of faces.
  • the grouping unit 12 calculates the distance between representative coordinates of each of a plurality of groups to which one or a plurality of faces belong and a face not belonging to the group based on the coordinates of the vehicle coordinate system. Faces that do not belong can belong to a group that satisfies the distance condition of “distance less than a predetermined value”.
  • the grouping unit 12 selects one or more faces detected from the first image that is the first processing target (eg, the first captured image) among the plurality of images to be processed, Belong to different groups.
  • the face ID of each face detected from the first image is associated with a different group ID and stored in a storage medium such as a memory.
  • M M is an integer of 1 or more
  • the grouping unit 12 generates M groups and causes each of the M faces to belong to each group. For example, M new group IDs are generated, and different group IDs are associated with IDs of M faces detected from the first image (see FIG. 6).
  • the grouping unit 12 determines representative coordinates for each group. At the timing where the number of members is 1, for example, the coordinates of the members are set as representative coordinates of each group.
  • the grouping unit 12 calculates the distance between the representative coordinates of each of the plurality of groups and the coordinates of a person not belonging to the group. That is, the grouping unit 12 determines the distance in the x-axis direction between each of one or more faces detected from the second image captured immediately after the first image and the representative coordinates of each of the M groups. And calculate the distance in the y-axis direction. Then, the grouping unit 12 sets each of the one or more faces detected from the second image to “the distance in the x-axis direction is less than a first predetermined value, and the distance in the y-axis direction is It belongs to the group satisfying the distance condition of “less than predetermined value”. For example, the face ID of each of one or more faces detected from the second image is associated with the group ID of the group that satisfies the distance condition (see FIG. 6). The first predetermined value and the second predetermined value can be arbitrarily determined in advance.
  • the grouping unit 12 redetermines the representative coordinates of the group to which the new member has been added.
  • a statistical value for example, an average
  • y of the y coordinates of the plurality members An example is given in which the y-coordinate of the representative coordinates is an example), but the present invention is not limited thereto.
  • the grouping unit 12 When there is no group satisfying the distance condition, the grouping unit 12 generates a new group corresponding to the face detected from the second image, and causes the face to belong to the group. For example, a new group ID is generated, and the face ID of the face is associated with the group ID (see FIG. 6). Further, the grouping unit 12 sets the coordinates of the face as the representative coordinates of the group.
  • the grouping unit 12 performs the above process on all of the plurality of images to be processed, and groups the plurality of faces.
  • the grouping unit 12 determines the distance in the x-axis direction between the representative coordinates of each of the plurality of groups to which one or more faces belong and the faces not belonging to the group and The distance in the axial direction is calculated, and the face not belonging to the group satisfies the distance condition of “the distance in the x-axis direction is less than the first predetermined value and the distance in the y-axis direction is less than the second predetermined value” Can belong to a group.
  • the counting unit 13 counts the number of groups. For example, using data as shown in FIG. 6, the number of group IDs is counted.
  • the analysis device 10 outputs the number of groups as the number of people in the vehicle. For example, the analysis device 10 stores the count number in the storage device in association with the image or the like.
  • the analysis device 10 stores the image obtained by photographing the vehicle in which the number of people in the vehicle does not satisfy the predetermined condition (eg, two or more, three or more, four or more, etc.) according to the user operation. It may be extracted from the device and output.
  • the predetermined condition eg, two or more, three or more, four or more, etc.
  • the image analysis unit 11 targets a plurality of images obtained by photographing the same vehicle a plurality of times from different directions as processing targets, and from each of the plurality of images : Detect the face). Then, the image analysis unit 11 detects the coordinates of each of a plurality of persons (e.g., the coordinates of each of a plurality of faces) in a coordinate system (a vehicle coordinate system) with a predetermined portion of the detected vehicle as a reference (e.g., an origin). .
  • the plurality of images are, for example, images taken by the camera 102 shown in FIG. 3 and images taken continuously by the camera 102 in response to one detection by the sensor 101.
  • the grouping unit 12 groups persons (for example, faces) detected from different images based on the coordinates of the vehicle coordinate system.
  • the grouping unit 12 groups together those having similar coordinates in the vehicle coordinate system. As a result, the faces of the same person existing across a plurality of images are grouped.
  • the counting unit 13 counts the number of groups.
  • the analysis device 10 outputs the number of groups as the number of people in the vehicle. For example, the analysis device 10 stores the count number in association with an image or the like.
  • the detection result (number of passengers) can be determined based on the analysis result of each of the plurality of images.
  • the person A is an obstacle (part of the vehicle, in the first image taken at the first timing. It may be hidden by other occupants etc. and not included in the image.
  • the vehicle moves and the positional relationship between the camera and person A and the obstacle changes, and as a result, the person A included in the first timing is included in the image. There is.
  • the detection result is determined based on the analysis result of the plurality of images.
  • the analysis device 10 of the present embodiment is different from the first embodiment in the functional configuration of the image analysis unit 11 and the grouping unit 12. This will be described below.
  • the hardware configuration of the analysis device 10 is the same as that of the first embodiment.
  • FIG. 2 shows an example of a functional block diagram of the analysis device 10 of the present embodiment.
  • the analysis device 10 includes an image analysis unit 11, a grouping unit 12, and a count unit 13.
  • the configuration of the counting unit 13 is the same as that of the first embodiment.
  • the image analysis unit 11 has a function of extracting the feature amount of the image of the human face included in the image.
  • Person included in image means a person detected from an image by image analysis.
  • the grouping unit 12 displays the face of the first person (hereinafter The group to which the first face belongs is determined based on the feature amount of the image (which may be referred to as “first face”) and the feature amount of the image of the face belonging to each group. That is, the first person is a person who belongs to a plurality of groups when the distance is compared with a predetermined value.
  • the grouping unit 12 sets each of the one or more faces detected from the second image to the above-mentioned distances among the one or more faces detected from the immediately preceding first image. Belong to the same group as the ones that satisfy the condition.
  • the grouping unit 12 determines a group to which the first face belongs based on the feature amount of the face image.
  • the image analysis unit 11 extracts feature amounts of images of the 1-1st face, the 1-2nd face, and the 2-1st face. Then, the grouping unit 12 collates the feature amount of the image of the 2-1 face with the feature amount of the image of the 1-1 face. Similarly, the grouping unit 12 collates the feature amount of the image of the 2-1 face with the feature amount of the image of the 1-2 face.
  • the grouping unit 12 causes the (2-1) th face to belong to the same group as, for example, the more similar one of the (1-1) th face and the (1-2) th face. That is, as a result of the matching, the face belonging to the same group as the face having the higher similarity to the feature amount of the image of the (2-1) th face. For example, if the face with the higher similarity to the feature amount of the image of the 2-1 face is the 1-1 face, the face ID of the 1-1 face and the 2-1 face The same group ID is associated with the face ID of (see FIG. 6).
  • the grouping unit 12 generates a 2-1st face when the degree of similarity with the 2-1st face does not exceed a predetermined threshold value in any of the 1-1st face and the 1-2nd face. May belong to a new group. That is, the 2-1 face may belong to a group different from both the 1-1 face and the 1-2 face. For example, the grouping unit 12 generates a new group ID, and associates the group ID with the face ID of the 2-1 face (see FIG. 6).
  • the image analysis unit 11 calculates the feature amount of each of the first face and the plurality of faces satisfying the distance condition between the first face and the first face. Extract Note that the image analysis unit 11 does not have to extract the feature amounts of other face images. Then, the grouping unit 12 determines whether to cause the first face to belong to any group based on the degree of similarity of the feature amounts of the face image.
  • the grouping unit 12 satisfies the above distance condition between the one or more faces detected from an image and the representative coordinates among a plurality of groups existing at that time. Belong to
  • the grouping unit 12 determines a group to which the first face belongs based on the feature amount of the face image. Specifically, the grouping unit 12 sets one of the plurality of groups that satisfy the distance condition to the first face to the group in which the member's face is most similar to the first face. Make your face belong.
  • the grouping unit 12 determines a representative member from among the groups, and determines the determined representative member and the first member. The degree of similarity can be determined between The grouping unit 12 can determine the representative member based on the imaging timing of the image including the first person. For example, the grouping unit 12 may use, as a representative member, a member included in an image whose photographing timing is closest to the image including the first face among the plurality of members. In addition, members included in an image captured within a predetermined time from the imaging timing of an image including a first person, members included in an image captured within a predetermined number of frames from an image including a first person, etc. , May be a representative member.
  • the predetermined time and the predetermined number of frames are preferably smaller.
  • the photographing timing is near, there is a high possibility that the photographing is performed with the same direction, the same expression, or the like. Therefore, it can be accurately determined whether the person is the same person.
  • the other configuration of the image analysis unit 11 and the grouping unit 12 is the same as that of the first embodiment.
  • the analysis device 10 of the present embodiment in the process of grouping the same person across a plurality of images, if there is a face (first face) in which the group to which the group belongs can not be determined based on the distance condition.
  • the group to which the face belongs can be determined based on the feature amount of the image of.
  • the distance condition is preferentially used to group the same person straddling a plurality of images, and the feature amount of the face image is used only when the determination can not be made under the distance condition.
  • the analysis apparatus 10 according to the present embodiment can reduce the processing load on the computer as compared to the processing of grouping only by the feature amount of the face image without using the distance condition. Further, the grouping accuracy is improved as compared to the processing of grouping only on the distance condition without using the feature amount of the face image.
  • the process of determining whether or not the first face is similar to the image is a first process, regardless of which of the above methods 1 to 4 is used for grouping. This can be performed between an image including a face and a face included in an image close in shooting timing.
  • the imaging timing is near, it is highly possible that the face orientation, the expression, etc. are not the same or change significantly, as compared with the case where the imaging timing is distant. Therefore, it is possible to accurately detect the group to which the face whose image is similar to the first face belongs, and make the first face belong to that group.
  • the image processed by the analysis device 10 is taken from the side of the vehicle as shown in FIG.
  • the image may be taken from the oblique front, from the side, or from the oblique rear.
  • the shooting direction can be adjusted by adjusting the direction of the optical axis of the camera.
  • the moving vehicle is photographed while fixing the direction of the camera. Therefore, the relative relationship between the optical axis of the camera and the vehicle at the shooting timing changes for each image. Then, the horizontal interval in the image of two persons (for example, the driver's seat and the front passenger seat, or next to the rear seat, etc.) arranged side by side in the vehicle appears different for each image.
  • FIG. 8 shows three images F taken continuously.
  • the arrows indicate the shooting order.
  • the transition of how to appear in the image of two persons (persons A1 and A2) arranged side by side in the vehicle is shown.
  • the faces of the two persons are extracted and shown, and the other parts such as the vehicle are omitted.
  • the traveling direction of the vehicle is from the left to the right in the figure.
  • the positions of the persons A1 and A2 (positions of the vehicle) in the image are shifted from left to right as shown ((1) ⁇ (2) ⁇ (3)).
  • FIG. 8 is an example in the case of photographing from the diagonally forward of the vehicle.
  • the positional relationship between the vehicle and the camera during continuous imaging approaches each other over time.
  • the horizontal interval Dx in the images of the persons A1 and A2 gradually decreases.
  • the positional relationship between the vehicle and the camera during shooting (while the image includes the vehicle) will be away from each other as time passes.
  • the distance Dx in the lateral direction in the image of the persons A1 and A2 arranged side by side in the vehicle gradually increases.
  • the positional relationship between the vehicle and the camera during shooting approaches each other with the passage of time, and then goes away.
  • the lateral distance Dx in the image of the persons A1 and A2 arranged side by side in the vehicle gradually decreases and then gradually increases.
  • the vehicle and camera while shooting may approach each other as time passes, and then may move away. Then, the distance Dx in the lateral direction in the image of the persons A1 and A2 arranged side by side in the vehicle gradually decreases and then gradually increases.
  • the analysis device 10 improves the accuracy of the process of grouping the same person across a plurality of images based on the distance condition by performing the process in consideration of the above-described phenomenon.
  • the hardware configuration of the analysis device 10 is the same as in the first and second embodiments.
  • FIG. 2 shows an example of a functional block diagram of the analysis device 10 of the present embodiment.
  • the analysis device 10 includes an image analysis unit 11, a grouping unit 12, and a count unit 13.
  • the configuration of the counting unit 13 is the same as in the first and second embodiments.
  • the image analysis unit 11 detects the position in the image of each of a plurality of persons (for example, faces) detected from the image. For example, the image analysis unit 11 sets a plurality of faces in a two-dimensional coordinate system with an arbitrary position (eg, lower left) of the image as an origin and an arbitrary direction (eg, horizontal direction and vertical direction) as x and y axes. Detect each coordinate.
  • An analysis result as shown in FIG. 9 is obtained by the image analysis by the image analysis unit 11 of the present embodiment.
  • the analysis result of FIG. 9 differs from the analysis result of FIG. 5 described in the first embodiment in that “in-frame coordinates” indicating the position in the frame of each face is included.
  • the grouping unit 12 corrects the coordinates of the vehicle coordinate system of each of a plurality of persons (e.g., faces) detected from the plurality of images based on the position (in-frame coordinates) in each image of the persons (e.g., faces). , Group a plurality of people (e.g., faces) based on the corrected coordinates. This will be described below.
  • the grouping unit 12 determines whether there is a face pair in which the distance in the x-axis direction (the horizontal direction of the image) is equal to or less than a predetermined value in faces detected from one image. If it exists, the x coordinate (coordinates in the longitudinal direction of the vehicle) of the vehicle coordinate system of the two faces included in the pair is corrected based on the position in the image of the two faces.
  • the predetermined value can be arbitrarily determined in advance.
  • the correction content corresponds to the representative value (example: average) of the x-coordinate (position in the horizontal direction of the image) of the in-frame coordinates of the two faces.
  • the x-coordinate of the vehicle coordinate system so that the distance Dx decreases.
  • a predetermined value is added to the x coordinate of the vehicle coordinate system of one face (the smaller value of x), and the predetermined value is reduced from the x coordinate of the vehicle coordinate system of the other face (the larger x value).
  • the predetermined value may correspond to the representative value of the x coordinate of the in-frame coordinates.
  • the x-coordinate of the vehicle coordinate system is corrected so that the interval Dx becomes large.
  • the predetermined value is reduced from the x coordinate of the vehicle coordinate system of one face (the smaller value of x), and the predetermined value is added to the x coordinate of the vehicle coordinate system of the other face (the larger x value).
  • the predetermined value may correspond to the representative value of the x coordinate of the in-frame coordinates.
  • the grouping unit 12 may hold in advance correction information in which the correction content is determined according to the representative value of the x coordinate of the in-frame coordinates. Then, the grouping unit 12 may determine the correction content using the correction information, and perform the determined correction.
  • the process of grouping a plurality of faces based on the coordinates of the corrected vehicle coordinate system is the same as the process of grouping a plurality of faces based on the coordinates of the vehicle coordinate system described in the first and second embodiments.
  • the other configurations of the image analysis unit 11 and the grouping unit 12 are the same as those of the first and second embodiments.
  • the same effects as those of the first and second embodiments can be realized. Further, according to the analysis device 10 of the present embodiment, by performing the processing taking into consideration the above-described phenomenon described with reference to FIG. 8, processing for grouping the same person across a plurality of images based on the distance condition Accuracy can be improved.
  • the analysis device 10 of the present embodiment solves the same problem as that of the third embodiment by different means. This will be described below.
  • the hardware configuration of the analysis device 10 is the same as in the first to third embodiments.
  • FIG. 2 shows an example of a functional block diagram of the analysis device 10 of the present embodiment.
  • the analysis device 10 includes an image analysis unit 11, a grouping unit 12, and a count unit 13.
  • the configurations of the image analysis unit 11 and the count unit 13 are the same as in the first and second embodiments.
  • the grouping unit 12 groups a plurality of faces detected from an image by the method 2 described in the first embodiment. That is, based on the coordinates of the vehicle coordinate system, the grouping unit 12 detects one or more faces detected from the first image and one or more detected from the second image captured immediately thereafter.
  • the distance in the x-axis direction and the distance in the y-axis direction from each of the plurality of faces are calculated, “the distance in the x-axis direction is less than a first predetermined value and the distance in the y-axis direction is less than a second predetermined value” Make two faces that satisfy the distance condition belong to the same group.
  • the grouping unit 12 sets the second predetermined value as a fixed value, and sets the first predetermined value as a variable value determined based on the position in the image of the face.
  • the grouping unit 12 detects an in-frame of the first face.
  • a representative value is determined based on the x-coordinates of the coordinates and the x-coordinates of the in-frame coordinates of the second face. For example, an average of x coordinates of both in-frame coordinates is used as a representative value.
  • the in-frame coordinates are the same concept as in the third embodiment.
  • the grouping unit 12 determines a first predetermined value based on the representative value of the x coordinate of the in-frame coordinates of the first face and the second face.
  • the first predetermined value is increased.
  • the representative value of the x coordinate of the in-frame coordinates of the first face and the second face indicates “a position in the image where the above-mentioned interval Dx appears to be relatively small”
  • the first predetermined value Make it smaller.
  • the grouping unit 12 holds in advance correspondence information (table, function, etc.) in which a first predetermined value is determined according to a representative value of x coordinates of in-frame coordinates of the first face and the second face You may leave it. Then, the grouping unit 12 may determine the distance condition using the correspondence information.
  • correspondence information table, function, etc.
  • the other configuration of the grouping unit 12 is the same as that of the first and second embodiments.
  • the same effects as those of the first and second embodiments can be realized. Further, according to the analysis device 10 of the present embodiment, by performing the processing taking into consideration the above-described phenomenon described with reference to FIG. 8, processing for grouping the same person across a plurality of images based on the distance condition Accuracy can be improved.
  • a predetermined location and person of the vehicle are detected from each of a plurality of images obtained by photographing the same vehicle a plurality of times from different directions, and each of the plurality of people in the coordinate system based on the detected predetermined location
  • Image analysis means for detecting coordinates; Grouping means for grouping the persons detected from the different images based on the coordinates; Counting means for counting the number of groups; Analyzer with.
  • the analysis device described in 1 The analysis device which groups the persons detected from the different images by using the distance between the coordinates. 3.
  • the grouping means is Calculating a distance between the coordinates of each of the one or more persons detected from the first image and the coordinates of the one or more persons detected from the second image; The analyzer which groups the said persons detected from the said different image according to the comparison with the said distance and predetermined value. 4.
  • the grouping means is Calculating a distance between representative coordinates of each of the plurality of groups and coordinates of the person who does not belong to the group; The analyzer which groups the said persons detected from the said different image according to the comparison with the said distance and predetermined value. 5.
  • the grouping means is When there is a first person who is a person who belongs to a plurality of the groups, the first person can be selected based on the feature amount of the image of the first person and the feature amount of the image of the person An analysis device that determines whether to belong to any of the groups. 6.
  • the grouping means is The first person is selected based on the feature amount of the image of the person included in the image determined based on the photographing timing of the image including the first person and the feature amount of the image of the first person. An analysis device that determines whether to belong to any of the groups. 7.
  • the image is an image of the vehicle taken from the side of the vehicle
  • the grouping unit corrects the coordinates of each of the plurality of persons detected from the plurality of images based on the position of each of the persons in the image, and groups the plurality of persons based on the corrected coordinates.
  • Analysis device 8.
  • the image analysis means detects a human face from the image, and detects an coordinate of the face in the coordinate system.
  • the computer is A predetermined location and person of the vehicle are detected from each of a plurality of images obtained by photographing the same vehicle a plurality of times from different directions, and each of the plurality of people in the coordinate system based on the detected predetermined location
  • a predetermined location and person of the vehicle are detected from each of a plurality of images obtained by photographing the same vehicle a plurality of times from different directions, and each of the plurality of people in the coordinate system based on the detected predetermined location
  • Image analysis means for detecting coordinates, Grouping means for grouping the persons detected from the different images based on the coordinates;
  • Counting means for counting the number of groups, A program to function as

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本発明によれば、同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した所定箇所を基準とする座標系における複数の人各々の座標を検出する画像解析部（１１）と、異なる画像から検出された人同士を、座標に基づきグループ化するグループ化部（１２）と、グループの数をカウントするカウント部（１３）と、を有する解析装置（１０）が提供される。

Description

解析装置、解析方法及びプログラム
　本発明は、解析装置、解析方法及びプログラムに関する。
　特許文献１及び２に、車両に乗車している人の数を検出する装置が開示されている。
　特許文献１には、車両を横から撮影した画像を解析して人物の横顔を検出し、検出結果に基づき車両に乗車している人の数を決定する装置が開示されている。
　特許文献２には、車両を連続的に撮影した複数の画像各々を解析して人物を検出し、各画像における車両の見え方に基づき検出した人各々が車内のどの座席に座っているかを推定し、人が座っていると判断された座席の数に基づき車両に乗車している人の数を決定する装置が開示されている。
国際公開第２０１４／０６１１９５号パンフレット 国際公開第２０１４／０６４８９８号パンフレット
　本発明は、車両に乗車している人の数を検出する新たな技術を提供することを課題とする。
　本発明によれば、
　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
　グループの数をカウントするカウント手段と、
を有する解析装置が提供される。
　また、本発明によれば、
　コンピュータが、
　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
　グループの数をカウントするカウント工程と、
を実行する解析方法が提供される。
　また、本発明によれば、
　コンピュータを、
　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、
　グループの数をカウントするカウント手段、
として機能させるプログラムが提供される。
　本発明によれば、車両に乗車している人の数を検出する新たな技術が実現される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の解析装置のハードウエア構成の一例を示す図である。 本実施形態の解析装置の機能ブロック図の一例である。 本実施形態の画像の撮影方法の一例を説明するための図である。 本実施形態の車両座標系の一例を説明するための図である。 本実施形態の解析装置により生成されるデータの一例を模式的に示す図である。 本実施形態の解析装置により生成されるデータの一例を模式的に示す図である。 本実施形態の解析装置の処理の流れの一例を示すフローチャートである。 本実施形態の解析装置の課題の一例を説明するための図である。 本実施形態の解析装置により生成されるデータの一例を模式的に示す図である。
＜第１の実施形態＞
　まず、本実施形態の解析装置の概要を説明する。解析装置は、同一の車両を連続的に撮影した複数の画像各々の解析結果に基づき、その車両に乗車している人の数を検出する。
　まず、解析装置は、同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出する。また、解析装置は、検出した車両の所定箇所を基準とする座標系における複数の人各々の座標を検出する。そして、解析装置は、異なる画像から検出された人同士を、座標に基づきグループ化する。解析装置は、座標が近いもの同士でまとめてグループ化する。そして、解析装置は、グループの数をカウントし、グループの数を車両に乗車している人の数として出力する。
　以上説明した本実施形態の解析装置によれば、車両に乗車している人の数を検出する新たな技術が実現される。また、本実施形態の解析装置の場合、「検出した顔毎に、検出した車両の所定箇所を原点とした２次元座標系の座標を検出し、座標が近いもの同士をグループ化」すればよく、特許文献２に開示の技術のように「検出した人各々が座っている座席」を検出する必要がない。車両や車種によって車内における座席の位置は異なり、予め保持しておいた座席位置の情報を用いる場合には乗員人数検知の精度が十分でないことがあった。本実施形態の解析装置によれば、特許文献２に開示の技術に比べて乗員人数検知の精度が向上する。
　以下、解析装置の構成を詳細に説明する。まず、解析装置のハードウエア構成の一例について説明する。本実施形態の解析装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図１は、本実施形態の解析装置のハードウエア構成を例示するブロック図である。図１に示すように、解析装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、解析装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有してもよい。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵやＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　次に、解析装置の機能構成を説明する。図２に解析装置１０の機能ブロック図の一例を示す。図示するように、解析装置１０は、画像解析部１１と、グループ化部１２と、カウント部１３とを有する。
　画像解析部１１は、同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出する。なお、本実施形態では人の顔を検出する。そして、画像解析部１１は、検出した車両の所定箇所を基準（例：原点）とした２次元座標系における検出した複数の顔各々の座標を検出する。以下、検出した車両の所定箇所を原点とした２次元座標系を「車両座標系」という場合がある。
　まず、画像解析部１１により処理される複数の画像を生成する構成の一例を説明する。図３に示すように、車両が通過する道路沿いにセンサ１０１及びカメラ１０２を設置する。
　センサ１０１は、道路上の所定位置を車両が通過したことを検出する。このような検出を実現できるセンサ１０１であればよく、詳細は制限されない。例えば、センサ１０１は、光（例：レーザ）を所定方向（例：図示する矢印の方向）に放出する手段、及び、その反射光を受光する手段を備えてもよい。そして、反射光の受光具合に基づき放出した光の進行を妨げる障害物の存在を検出することで、車両の通過を検出してもよい。その他、重量センサ等で所定位置を車両が通過したことを検出してもよい。センサ１０１は、道路上の所定位置を車両が通過したことを検出すると、その旨を示す信号をカメラ１０２に入力する。
　カメラ１０２は、センサ１０１により車両の通過を検出されると、それに応じて撮影する。例えば、カメラ１０２は、センサ１０１による検出に応じて所定数の静止画を連続撮影（例：１秒間に数十枚からは百枚程度）し、複数の静止画ファイルを生成してもよい。その他、カメラ１０２は、センサ１０１による検出に応じて所定の撮影時間の間、動画像を撮影し、複数のフレームからなる動画ファイルを生成してもよい。上記所定数及び所定の撮影時間は、予め、カメラ１０２のスペック、車両の移動速度等に応じて任意に定めることができる。カメラ１０２の位置及び向きは、センサ１０１による検出に応じた撮影で、センサ１０１により検出された車両を撮影するよう設定されている。
　カメラ１０２により生成された画像ファイルは、リアルタイム処理又はバッチ処理で、解析装置１０に入力される。解析装置１０とカメラ１０２は任意の通信手段で通信可能に構成されてもよい。
　図２に戻り、画像解析部１１は、同一の車両を撮影した複数の画像を処理対象とし、複数の画像各々から車両及び人の顔を検出する。例えば、センサ１０１による１回の検出に応じて、カメラ１０２が撮影した所定数の静止画、又は、所定の撮影時間分の動画を、処理対象とすることができる。
　車両及び人の顔の検出は、テンプレートマッチングで実現してもよい。また、多数の画像を用いた機械学習で構築した検出器で実現してもよい。検出器としては、例えば、ＳＶＭ（サポートベクターマシン）、ＬＤＡ（線形判別分析）、ＧＬＶＱ（一般化学習ベクトル量子化）、ニューラルネットワーク等を利用できる。
　なお、検出する人の顔は、検出した車両内にいる人の顔、すなわち検出した車両の輪郭より内側に存在する顔とすることができる。このようにすることで、車両に乗車している人の顔のみを検出し、車外にいる例えば通行人や交通誘導員等の人の顔を検出対象から除外できる。
　複数の画像各々から車両を検出した後、画像解析部１１は、検出した車両の所定箇所及び所定方向を複数の画像各々から検出する。そして、検出した所定箇所を原点、検出した所定方向をｘ軸方向及びｙ軸方向とした２次元座標系（車両座標系）を画像毎に定める。
　所定箇所及び所定方向の一例を説明するがこれに限定されない。図４に、１つの画像Ｆに設定された車両座標系の一例を示す。図示する例では、車両のボディーのうしろに取り付けられたバンパーの後方端部を所定箇所とし、車両の前後方向及び高さ方向を所定方向としている。そして、バンパーの後方端部を原点とし、車両の前後方向をｘ軸とし、高さ方向をｙ軸とした車両座標系が定められている。
　画像毎に車両座標系を設定した後、画像解析部１１は、各画像から検出した人の顔の座標を検出する。本実施形態では、人の顔の検出の仕方に応じた方法で、複数の顔各々の座標を求めることができる。
　例えば、人の顔の検出処理において、図４に示すように人の顔が存在するエリアＢが検出される場合、このエリアＢの代表点（例：中心、右上、左上、右下、左下等）を、そのエリアＢに存在する顔の座標として求めることができる。その他、人の顔の検出処理において、人の目、鼻、口等が検出される場合、目、鼻、口の座標（例：目、鼻、口が占めるエリアの代表座標）を、その目、鼻、口を有する顔の座標として求めることができる。
　画像解析部１１による上記画像解析により、図５に示すような解析結果が得られる。図５では、複数の画像から検出された複数の顔各々を識別する「顔ＩＤ（identifier）」と、複数の顔各々の車両座標系における「座標」と、各顔が検出された画像を識別する「フレームＩＤ」とが互いに対応付けられている。
　同じ人の顔が複数の画像に跨って存在する場合、複数の画像から検出された同じ人の顔各々に対して異なる顔ＩＤが付される。以下で説明するグループ化部１２は、同じ人の顔に対して付された複数の顔ＩＤをグループ化する。
　図２に戻り、グループ化部１２は、複数の画像から検出された複数の人を、車両座標系の座標に基づきグループ化する。本実施形態では、グループ化部１２は、複数の画像から検出された複数の顔を、車両座標系の座標に基づきグループ化する。
　グループ化部１２は、異なる画像から検出された人同士を、座標に基づきグループ化する。グループ化部１２は、車両座標系の座標が近いもの同士でまとめてグループ化する。例えば、グループ化部１２は、複数の画像から検出された複数の顔を、座標間の距離を用いてグループ化することができる。結果、例えば図６に示すようなデータが得られる。得られたデータは、メモリ等の記憶媒体に記憶されても良い。図６に示すデータでは、画像解析部１１により検出された複数の顔各々に、各々が属するグループのＩＤが対応付けられている。また、車両座標系の座標が近い顔の顔ＩＤには同一のグループＩＤが対応付けられている。以下、グループ化の方法を例示するが、他の方法でグループ化を行ってもよい。
「方法１」
　グループ化部１２は、処理対象の複数の画像の中の最初の処理対象（例：一番初めに撮影された画像）である第１の画像から検出された１つ又は複数の顔各々を、互いに異なるグループに属させる。例えば第１の画像から検出された各々の顔の顔ＩＤに異なるグループＩＤを対応付けてメモリ等の記憶媒体に記憶させる。第１の画像からＭ個（Ｍは１以上の整数）の顔が検出された場合、グループ化部１２はＭ個のグループを生成し、各グループにＭ個の顔各々を属させる。例えば、Ｍ個の新たなグループＩＤを生成し、第１の画像から検出されたＭ個の顔各々のＩＤに異なるグループＩＤを対応付ける（図６参照）。
　その後、グループ化部１２は、第１の画像から検出された１つ又は複数の顔各々の座標と、その直後に撮影された第２の画像から検出された１つ又は複数の顔各々の座標との距離を算出する。そして、グループ化部１２は、算出した距離と所定値との比較に応じて比較対象の２つの人の顔を同じグループに属させる。例えば、グループ化部１２は、算出した距離が所定値未満であるとの距離条件を満たす場合、処理対象の２つの顔を同じグループに属させる。所定値は予め任意に定めることができる。
　例えば、第２の画像から検出された第２－１の顔の座標と、第１の画像から検出された第１－１の顔の座標との距離が上記距離条件を満たす場合、グループ化部１２は、第２－１の顔を第１－１の顔と同じグループに属させる。例えば、第１－１の顔の顔ＩＤと第２－１の顔の顔ＩＤに同じグループＩＤを対応付ける（図６参照）。
　また、第２の画像から検出された第２－２の顔が、第１の画像から検出されたいずれの顔とも上記距離条件を満たさない場合、グループ化部１２は、新たなグループを生成し、第２－２の顔をそのグループに属させる。例えば、新たなグループＩＤを生成し、第２－２の顔の顔ＩＤにそのグループＩＤを対応付ける（図６参照）。
　グループ化部１２は、上記処理を、第Ｎの画像とその直後に撮影された第Ｎ＋１の画像とからなるすべてのペアに対して行い、複数の顔をグループ化する。
「方法２」
　グループ化部１２は、処理対象の複数の画像の中の最初の処理対象（例：一番初めに撮影された画像）である第１の画像から検出された１つ又は複数の顔各々を、互いに異なるグループに属させる。例えば第１の画像から検出された各々の顔の顔ＩＤに異なるグループＩＤを対応付けてメモリ等の記憶媒体に記憶させる。第１の画像からＭ個（Ｍは１以上の整数）の顔が検出された場合、グループ化部１２はＭ個のグループを生成し、各グループにＭ個の顔各々を属させる。例えば、Ｍ個の新たなグループＩＤを生成し、第１の画像から検出されたＭ個の顔各々のＩＤに異なるグループＩＤを対応付ける（図６参照）。
　その後、グループ化部１２は、車両座標系の座標に基づき、第１の画像から検出された１つ又は複数の顔各々と、その直後に撮影された第２の画像から検出された１つ又は複数の顔各々とのｘ軸方向の距離及びｙ軸方向の距離を算出する。そして、グループ化部１２は、「ｘ軸方向の距離が第１の所定値未満、かつ、ｙ軸方向の距離が第２の所定値未満」の距離条件を満たす２つの顔を同じグループに属させる。すなわち、グループ化部１２は、距離条件を満たす場合、処理対象の２つの顔を同じグループに属させる。第１の所定値及び第２の所定値は予め任意に定めることができる。
　例えば、第２の画像から検出された第２－１の顔と、第１の画像から検出された第１－１の顔とが上記距離条件を満たす場合、グループ化部１２は、第２－１の顔を第１－１の顔と同じグループに属させる。例えば、第１－１の顔の顔ＩＤと第２－１の顔の顔ＩＤに同じグループＩＤを対応付ける（図６参照）。
　また、第２の画像から検出された第２－２の顔が、第１の画像から検出されたいずれの顔とも上記距離条件を満たさない場合、グループ化部１２は、新たなグループを生成し、第２－２の顔をそのグループに属させる。例えば、新たなグループＩＤを生成し、第２－２の顔の顔ＩＤにそのグループＩＤを対応付ける（図６参照）。
　グループ化部１２は、上記処理を、第Ｎの画像とその直後に撮影された第Ｎ＋１の画像とからなるすべてのペアに対して行い、複数の顔をグループ化する。
「方法３」
　グループ化部１２は、処理対象の複数の画像の中の最初の処理対象（例：一番初めに撮影された画像）である第１の画像から検出された１つ又は複数の顔各々を、互いに異なるグループに属させる。例えば第１の画像から検出された各々の顔の顔ＩＤに異なるグループＩＤを対応付けてメモリ等の記憶媒体に記憶させる。第１の画像からＭ個（Ｍは１以上の整数）の顔が検出された場合、グループ化部１２はＭ個のグループを生成し、各グループにＭ個の顔各々を属させる。例えば、Ｍ個の新たなグループＩＤを生成し、第１の画像から検出されたＭ個の顔各々のＩＤに異なるグループＩＤを対応付ける（図６参照）。
　そして、グループ化部１２は、グループ毎に代表座標を決定する。メンバの数が１の当該タイミングでは、例えばメンバの座標を各グループの代表座標とする。メンバは、各グループに属する顔であり、すなわち各グループＩＤを対応付けられている顔ＩＤで特定される顔である。そして、同じグループＩＤを対応付けられている顔ＩＤの数がメンバの数である。メンバの座標は、各顔の車両座標系の座標である。
　その後、グループ化部１２は、複数のグループ各々の代表座標と、グループに属していない人の座標との距離を算出する。すなわち、グループ化部１２は、第１の画像の直後に撮影された第２の画像から検出された１つ又は複数の顔各々と、Ｍ個のグループ各々の代表座標との距離を算出する。そして、グループ化部１２は、算出した距離と所定値との比較に応じて、グループに属していない顔を所定のグループに属させる。すなわち、グループ化部１２は、第２の画像から検出された１つ又は複数の顔各々を、「距離が所定値未満」の距離条件を満たすグループに属させる。例えば、第２の画像から検出された１つ又は複数の顔各々の顔ＩＤに、距離条件を満たすグループのグループＩＤを対応付ける（図６参照）。所定値は予め任意に定めることができる。
　その後、グループ化部１２は、新たなメンバが加わったグループの代表座標を決定し直す。複数のメンバがいる場合の代表座標の決定の仕方としては、例えば、複数のメンバのｘ座標の統計値（例：平均）を代表座標のｘ座標とし、複数のメンバのｙ座標の統計値（例：平均）を代表座標のｙ座標とする例が挙げられるが、これに限定されない。
　なお、距離条件を満たすグループがない場合、グループ化部１２は、第２の画像から検出されたその顔に対応して新たなグループを生成し、その顔をそのグループに属させる。例えば、新たなグループＩＤを生成し、その顔の顔ＩＤにそのグループＩＤを対応付ける（図６参照）。また、グループ化部１２は、その顔の座標をそのグループの代表座標とする。
　グループ化部１２は、上記処理を処理対象の複数の画像すべてに対して行い、複数の顔をグループ化する。
　このように、グループ化部１２は、車両座標系の座標に基づき、１つ又は複数の顔が属する複数のグループ各々の代表座標と、グループに属していない顔との距離を算出し、グループに属していない顔を、「距離が所定値未満」の距離条件を満たすグループに属させることができる。
「方法４」
　グループ化部１２は、処理対象の複数の画像の中の最初の処理対象（例：一番初めに撮影された画像）である第１の画像から検出された１つ又は複数の顔各々を、互いに異なるグループに属させる。例えば第１の画像から検出された各々の顔の顔ＩＤに異なるグループＩＤを対応付けてメモリ等の記憶媒体に記憶させる。第１の画像からＭ個（Ｍは１以上の整数）の顔が検出された場合、グループ化部１２はＭ個のグループを生成し、各グループにＭ個の顔各々を属させる。例えば、Ｍ個の新たなグループＩＤを生成し、第１の画像から検出されたＭ個の顔各々のＩＤに異なるグループＩＤを対応付ける（図６参照）。
　そして、グループ化部１２は、グループ毎に代表座標を決定する。メンバの数が１の当該タイミングでは、例えばメンバの座標を各グループの代表座標とする。
　その後、グループ化部１２は、複数のグループ各々の代表座標と、グループに属していない人の座標との距離を算出する。すなわち、グループ化部１２は、第１の画像の直後に撮影された第２の画像から検出された１つ又は複数の顔各々と、Ｍ個のグループ各々の代表座標とのｘ軸方向の距離及びｙ軸方向の距離を算出する。そして、グループ化部１２は、第２の画像から検出された１つ又は複数の顔各々を、「ｘ軸方向の距離が第１の所定値未満、かつ、ｙ軸方向の距離が第２の所定値未満」の距離条件を満たすグループに属させる。例えば、第２の画像から検出された１つ又は複数の顔各々の顔ＩＤに、距離条件を満たすグループのグループＩＤを対応付ける（図６参照）。第１の所定値及び第２の所定値は予め任意に定めることができる。
　その後、グループ化部１２は、新たなメンバが加わったグループの代表座標を決定し直す。複数のメンバがいる場合の代表座標の決定の仕方としては、例えば、複数のメンバのｘ座標の統計値（例：平均）を代表座標のｘ座標とし、複数のメンバのｙ座標の統計値（例：平均）を代表座標のｙ座標とする例が挙げられるが、これに限定されない。
　なお、距離条件を満たすグループがない場合、グループ化部１２は、第２の画像から検出されたその顔に対応して新たなグループを生成し、その顔をそのグループに属させる。例えば、新たなグループＩＤを生成し、その顔の顔ＩＤにそのグループＩＤを対応付ける（図６参照）。また、グループ化部１２は、その顔の座標をそのグループの代表座標とする。
　グループ化部１２は、上記処理を処理対象の複数の画像すべてに対して行い、複数の顔をグループ化する。
　このように、グループ化部１２は、車両座標系の座標に基づき、１つ又は複数の顔が属する複数のグループ各々の代表座標と、グループに属していない顔とのｘ軸方向の距離及びｙ軸方向の距離を算出し、グループに属していない顔を、「ｘ軸方向の距離が第１の所定値未満、かつ、ｙ軸方向の距離が第２の所定値未満」の距離条件を満たすグループに属させることができる。
　図２に戻り、カウント部１３は、グループの数をカウントする。例えば、図６のようなデータを用いて、グループＩＤの数をカウントする。解析装置１０は、グループの数を、車両に乗車している人の数として出力する。例えば、解析装置１０は、カウント数を画像等と対応付けて記憶装置に記憶する。
　その後、解析装置１０は、ユーザ操作に応じて、乗車している人の数が所定条件（例：２人以上、３人以上、４人以上等）を満たさない車両を撮影した画像を上記記憶装置から抽出し、出力してもよい。
　次に、図７のフローチャートを用いて、本実施形態の解析装置１０の処理の流れの一例を説明する。
　Ｓ１１の画像解析工程で、画像解析部１１は、同一の車両を異なる方向から複数回撮影することで得られた複数の画像を処理対象とし、複数の画像各々から車両の所定箇所及び人（例：顔）を検出する。そして、画像解析部１１は、検出した車両の所定箇所を基準（例：原点）とする座標系（車両座標系）における複数の人各々の座標（例：複数の顔各々の座標）を検出する。複数の画像は、例えば、図３に示すカメラ１０２により撮影された画像であって、センサ１０１による１回の検出に応じてカメラ１０２に連続的に撮影された画像である。
　Ｓ１２のグループ化工程では、グループ化部１２は、異なる画像から検出された人同士（例：顔同士）を、車両座標系の座標に基づきグループ化する。グループ化部１２は、車両座標系の座標が近いもの同士でまとめてグループ化する。これにより、複数の画像に跨って存在する同一人物の顔がグループ化される。
　Ｓ１３のカウント工程では、カウント部１３は、グループの数をカウントする。解析装置１０は、グループの数を、車両に乗車している人の数として出力する。例えば、解析装置１０は、カウント数を画像等と対応付けて記憶する。
　次に、本実施形態の作用効果を説明する。
　本実施形態の解析装置１０によれば、複数の画像各々の解析結果に基づき、検出結果（乗車人数）を決定することができる。
　例えば、車両に人物Ａ、Ｂ及びＣの３人が乗車している場合であっても、第１のタイミングで撮影された第１の画像には、人物Ａが障害物（車両の一部、他の乗員等）に隠れて画像に含まれない場合がある。しかし、異なるタイミングで撮影された際には、車両が移動し、カメラと人物Ａと障害物との位置関係が変わる結果、第１のタイミングに含まれていなかった人物Ａが画像に含まれる場合がある。
　本実施形態の解析装置１０によれば、カメラと人と障害物との位置関係により乗員の少なくとも一部が特定の画像に含まれない場合でも、複数の画像の解析結果に基づき検出結果を決定することで車両に乗っている全ての人物をカウントできる可能性が高まる。結果、検出精度が向上する。
　また、本実施形態の解析装置１０の場合、「検出した顔毎に、検出した車両の所定箇所を原点とした車両座標系の座標を検出し、座標が近いもの同士をグループ化」すればよく、特許文献２に開示の技術のように「検出した人各々が座っている座席」を検出する必要がない。車両や車種によって車内における座席の位置は異なり、予め保持しておいた座席位置の情報を用いる場合には乗員人数検知の精度が十分でないことがあった。本実施形態の解析装置によれば、特許文献２に開示の技術に比べて乗員人数検知の精度が向上する。
＜第２の実施形態＞
　本実施形態の解析装置１０は、画像解析部１１及びグループ化部１２の機能構成が第１の実施形態と異なる。以下、説明する。
　解析装置１０のハードウエア構成は、第１の実施形態と同様である。
　図２に、本実施形態の解析装置１０の機能ブロック図の一例を示す。図示するように、解析装置１０は、画像解析部１１と、グループ化部１２と、カウント部１３とを有する。カウント部１３の構成は、第１の実施形態と同様である。
　画像解析部１１は、画像に含まれる人の顔の画像の特徴量を抽出する機能を有する。「画像に含まれる人」は、画像解析で画像から検出された人を意味する。
　グループ化部１２は、距離条件に基づき決定される所属先のグループが複数存在する人（以下、「第１の人」という場合がある）がある場合、第１の人の顔（以下、「第１の顔」という場合がある）の画像の特徴量と、グループ各々に属する顔の画像の特徴量とに基づき、第１の顔を属させるグループを決定する。すなわち、第１の人は、距離と所定値との比較に基づいた場合に複数のグループに属する人である。
　まず、第１の実施形態で説明した方法１及び２でグループ化処理を行う場合について説明する。
　方法１及び２では、グループ化部１２は、第２の画像から検出された１つ又は複数の顔各々を、直前の第１の画像から検出された１つ又は複数の顔の中の上記距離条件を満たすものと同じグループに属させる。
　第２の画像から検出された１つの顔に対して上記距離条件を満たす顔（第１の画像から検出された顔）が複数ある場合、第２の画像から検出されたその顔は第１の顔となる。この場合、グループ化部１２は、顔の画像の特徴量に基づき、第１の顔を所属させるグループを決定する。
　例えば、第２の画像から検出された第２－１の顔は、第１の画像から検出された第１－１の顔及び第１－２の顔の２つと上記距離条件を満たすとする。この場合、画像解析部１１は、第１－１の顔、第１－２の顔、及び、第２－１の顔各々の画像の特徴量を抽出する。そして、グループ化部１２は、第２－１の顔の画像の特徴量と第１－１の顔の画像の特徴量とを照合する。同様に、グループ化部１２は、第２－１の顔の画像の特徴量と第１－２の顔の画像の特徴量とを照合する。
　そして、グループ化部１２は、第２－１の顔を、第１－１の顔及び第１－２の顔のうちの例えばより類似している方と同じグループに属させる。つまり、照合の結果、第２－１の顔の画像の特徴量との類似度が高い方の顔と同じグループに属させる。例えば、第２－１の顔の画像の特徴量との類似度が高い方の顔が第１－１の顔である場合、第１－１の顔の顔ＩＤと、第２－１の顔の顔ＩＤとに同じグループＩＤを対応付ける（図６参照）。
　なお、グループ化部１２は、第１－１の顔及び第１－２の顔のいずれも、第２－１の顔との類似度が所定の閾値を超えない場合、第２－１の顔を新たなグループに属させてもよい。すなわち、第２－１の顔を、第１－１の顔及び第１－２の顔両方と異なるグループに属させてもよい。例えば、グループ化部１２は、新たなグループＩＤを生成し、第２－１の顔の顔ＩＤにそのグループＩＤを対応付ける（図６参照）。
　このように、画像解析部１１は、第１の顔が存在する場合、当該第１の顔、及び、当該第１の顔との間で上記距離条件を満たす複数の顔各々の画像の特徴量を抽出する。なお、画像解析部１１は、その他の顔の画像の特徴量を抽出しなくてもよい。そして、グループ化部１２は、顔の画像の特徴量の類似度に基づき第１の顔をいずれかのグループに属させるか否かを決定する。
　次に、第１の実施形態で説明した方法３及び４でグループ化処理を行う場合について説明する。
　方法３及び４では、グループ化部１２は、ある画像から検出された１つ又は複数の顔各々を、その時点で存在する複数のグループの中の代表座標との間で上記距離条件を満たすグループに属させる。
　そして、ある画像から検出された１つの顔に対して上記距離条件を満たすグループが複数ある場合、その画像から検出されたその顔は第１の顔となる。この場合、グループ化部１２は、顔の画像の特徴量に基づき、第１の顔を属させるグループを決定する。具体的には、グループ化部１２は、第１の顔との間で上記距離条件を満たす複数のグループの中の、メンバの顔が第１の顔と最も類似しているグループに、第１の顔を属させる。
　なお、第１の顔との間で上記距離条件を満たす複数のグループが複数のメンバを有する場合、グループ化部１２は、そのグループの中から代表メンバを決定し、決定した代表メンバと第１の顔との間で類似度を判断することができる。グループ化部１２は、第１の人を含む画像の撮影タイミングに基づき代表メンバを決定することができる。例えば、グループ化部１２は、複数のメンバの中の、第１の顔を含む画像に撮影タイミングが最も近い画像に含まれるメンバを、代表メンバとしてもよい。その他、第１の人を含む画像の撮影タイミングから所定時間以内に撮影された画像に含まれるメンバや、第１の人を含む画像から所定フレーム数以内に撮影された画像に含まれるメンバ等を、代表メンバとしてもよい。
　所定時間及び所定フレーム数は、小さい方が好ましい。撮影タイミングが近い場合、同じ向き、同じ表情等で撮影されている可能性が高い。このため、同一人物か否かを精度よく判断できる。
　画像解析部１１及びグループ化部１２のその他の構成は、第１の実施形態と同様である。
　以上説明した本実施形態の解析装置１０によれば、第１の実施形態と同様の作用効果を実現できる。
　また、本実施形態の解析装置１０によれば、複数の画像に跨る同一人物をグループ化する処理において、距離条件に基づき属させるグループを決定できない顔（第１の顔）が存在する場合、顔の画像の特徴量に基づきその顔を属させるグループを決定することができる。
　すなわち、本実施形態の解析装置１０によれば、距離条件を優先的に利用して複数の画像に跨る同一人物をグループ化し、距離条件で決定できない場合のみ顔の画像の特徴量を利用する。このような本実施形態の解析装置１０は、距離条件を利用せず、顔の画像の特徴量のみでグループ化する処理に比べて、コンピュータの処理負担を軽減できる。また、顔の画像の特徴量を利用せず、距離条件のみでグループ化する処理に比べて、グループ化の精度が向上する。
　また、本実施形態の解析装置１０によれば、上記方法１乃至４いずれでグループ化する場合であっても、第１の顔と画像が類似するか否かを判断する処理を、第１の顔を含む画像と撮影タイミングが近い画像に含まれる顔との間で行うことができる。撮影タイミングが近い場合、撮影タイミングが離れている場合に比べて、顔の向きや表情などが同じ又はあまり変化していない可能性が高い。このため、精度よく、第１の顔と画像が類似する顔が属するグループを検出し、そのグループに第１の顔を属させることができる。
＜第３の実施形態＞
　まず、本実施形態の解析装置１０が解決する課題を説明する。解析装置１０により処理される画像は、図３に示すように車両の横から撮影されたものである。斜め前方から撮影してもよいし、真横から撮影してもよいし、斜め後方から撮影してもよい。カメラの光軸の向きを調整することで、撮影向きを調整できる。
　本実施形態では、カメラの向きを固定して移動する車両を撮影する。このため、画像毎に、撮影タイミングにおけるカメラの光軸と車両との相対的な関係が変化していく。そして、車両内で横に並んだ２人（例：運転席と助手席、又は、後部座席の隣同士等）の画像内の横方向の間隔が、画像毎に異なって見える。
　図８を用いて一例を説明する。図８は、連続的に撮影された３枚の画像Ｆを示す。矢印で撮影順を示している。当該図では、車両内で横に並んだ２人（人物Ａ１及びＡ２）の画像における写り方の遷移を示す。図では、当該２人の顔のみを抽出して示して、車両等のその他を省略している。なお、車両の進行方向は、図の左から右方向である。画像内における人物Ａ１及びＡ２の位置（車両の位置）は、図示するように左から右に移る（（１）→（２）→（３））。
　図８は、車両の斜め前方から撮影した場合の例である。斜め前方から撮影する場合、連続的に撮影している間（画像に車両が含まれる間）の車両とカメラの位置関係は、時間経過とともに互いに近づくこととなる。これに伴い、人物Ａ１及びＡ２の画像内の横方向の間隔Ｄｘは徐々に小さくなる。
　図示しないが、車両の斜め後方から撮影した場合、撮影している間（画像に車両が含まれる間）の車両とカメラの位置関係は、時間経過とともに互いに遠ざかることとなる。これに伴い、車両内で横に並んだ人物Ａ１及びＡ２の画像内の横方向の間隔Ｄｘは徐々に大きくなる。
　また、図示しないが、車両の横から撮影した場合、撮影している間（画像に車両が含まれる間）の車両とカメラの位置関係は、時間経過とともに互いに近づき、その後、遠ざかることとなる。これに伴い、車両内で横に並んだ人物Ａ１及びＡ２の画像内の横方向の間隔Ｄｘは徐々に小さくなり、その後、徐々に大きくなる。
　なお、車両の斜め前方や斜め後方から撮影する場合であっても、カメラの光軸の向き等の設定の仕方によっては、撮影している間（画像に車両が含まれる間）の車両とカメラの位置関係は、時間経過とともに互いに近づき、その後、遠ざかる場合もある。そして、車両内で横に並んだ人物Ａ１及びＡ２の画像内の横方向の間隔Ｄｘは徐々に小さくなり、その後、徐々に大きくなる。
　本実施形態の解析装置１０は、上述のような現象を考慮した処理を行うことで、距離条件に基づき複数の画像に跨る同一人物をグループ化する処理の精度を向上させる。
　解析装置１０のハードウエア構成は、第１及び第２の実施形態と同様である。
　図２に、本実施形態の解析装置１０の機能ブロック図の一例を示す。図示するように、解析装置１０は、画像解析部１１と、グループ化部１２と、カウント部１３とを有する。カウント部１３の構成は、第１及び第２の実施形態と同様である。
　画像解析部１１は、画像から検出した複数の人（例：顔）各々の画像内における位置を検出する。例えば、画像解析部１１は、画像の任意の位置（例：左下）を原点とし、任意の方向（例：横方向及び縦方向）をｘ軸及びｙ軸とした２次元座標系における複数の顔各々の座標を検出する。本実施形態の画像解析部１１による画像解析により、図９に示すような解析結果が得られる。図９の解析結果は、第１の実施形態で説明した図５の解析結果に対し、各顔のフレーム内の位置を示す「フレーム内座標」を有する点で異なる。
　グループ化部１２は、複数の画像から検出された複数の人（例：顔）各々の車両座標系の座標を人（例：顔）各々の画像内における位置（フレーム内座標）に基づき補正し、補正後の座標に基づき複数の人（例：顔）をグループ化する。以下、説明する。
　まず、グループ化部１２は、１つの画像から検出した顔の中に、互いのｘ軸方向の距離（画像の横方向）が所定値以下の顔のペアが存在するか判断する。存在する場合、そのペアに含まれる２つの顔の車両座標系のｘ座標（車両の前後方向の座標）を、その２つの顔の画像内における位置に基づき補正する。なお、所定値は予め任意に定めることができる。
　補正内容は、その２つの顔のフレーム内座標のｘ座標（画像の横方向の位置）の代表値（例：平均）に応じたものとなる。
　２つの顔のフレーム内座標のｘ座標の代表値が、「上記間隔Ｄｘが相対的に大きく見える画像内の位置」を示している場合、間隔Ｄｘが小さくなるように、車両座標系のｘ座標を補正する。例えば、一方の顔（ｘの値が小さい方）の車両座標系のｘ座標に所定値を加え、他方の顔（ｘの値が大きい方）の車両座標系のｘ座標から所定値を減らす。所定値は、フレーム内座標のｘ座標の代表値に応じたものとすることができる。
　また、フレーム内座標のｘ座標の代表値が、「上記間隔Ｄｘが相対的に小さく見える画像内の位置」を示している場合、間隔Ｄｘが大きくなるように、車両座標系のｘ座標を補正する。例えば、一方の顔（ｘの値が小さい方）の車両座標系のｘ座標から所定値を減らし、他方の顔（ｘの値が大きい方）の車両座標系のｘ座標に所定値を加える。所定値は、フレーム内座標のｘ座標の代表値に応じたものとすることができる。
　例えば、グループ化部１２は、予め、フレーム内座標のｘ座標の代表値に応じて補正内容を定めた補正情報を保持しておいてもよい。そして、グループ化部１２は、補正情報を利用して補正内容を決定し、決定した補正を行ってもよい。
　補正後の車両座標系の座標に基づき複数の顔をグループ化する処理は、第１及び第２の実施形態で説明した車両座標系の座標に基づき複数の顔をグループ化する処理と同様である。また、画像解析部１１及びグループ化部１２のその他の構成は、第１及び第２の実施形態と同様である。
　以上説明した本実施形態の解析装置１０によれば、第１及び第２の実施形態と同様の作用効果を実現できる。また、本実施形態の解析装置１０によれば、図８を用いて説明した上述のような現象を考慮した処理を行うことで、距離条件に基づき複数の画像に跨る同一人物をグループ化する処理の精度を向上させることができる。
＜第４の実施形態＞
　本実施形態の解析装置１０は、第３の実施形態と同じ課題を異なる手段で解決する。以下、説明する。
　解析装置１０のハードウエア構成は、第１乃至第３の実施形態と同様である。
　図２に、本実施形態の解析装置１０の機能ブロック図の一例を示す。図示するように、解析装置１０は、画像解析部１１と、グループ化部１２と、カウント部１３とを有する。画像解析部１１及びカウント部１３の構成は、第１及び第２の実施形態と同様である。
　グループ化部１２は、第１の実施形態で説明した方法２で、画像から検出した複数の顔をグループ化する。すなわち、グループ化部１２は、車両座標系の座標に基づき、第１の画像から検出された１つ又は複数の顔各々と、その直後に撮影された第２の画像から検出された１つ又は複数の顔各々とのｘ軸方向の距離及びｙ軸方向の距離を算出し、「ｘ軸方向の距離が第１の所定値未満、かつ、ｙ軸方向の距離が第２の所定値未満」の距離条件を満たす２つの顔を同じグループに属させる。
　そして、本実施形態のグループ化部１２は、第２の所定値を固定値とし、第１の所定値を顔の画像内における位置に基づき決定する可変値とする。
　例えば、第１の画像から検出した第１の顔と、第２の画像から検出した第２の顔とが距離条件を満たすか判定する際、グループ化部１２は、第１の顔のフレーム内座標のｘ座標と、第２の顔のフレーム内座標のｘ座標とに基づき代表値を決定する。例えば、両方のフレーム内座標のｘ座標の平均を代表値とする。なお、フレーム内座標は第３の実施形態と同じ概念である。
　そして、グループ化部１２は、第１の顔及び第２の顔のフレーム内座標のｘ座標の代表値に基づき、第１の所定値を決定する。
　第１の顔及び第２の顔のフレーム内座標のｘ座標の代表値が、「上記間隔Ｄｘが相対的に大きく見える画像内の位置」を示している場合、第１の所定値を大きくする。一方、第１の顔及び第２の顔のフレーム内座標のｘ座標の代表値が、「上記間隔Ｄｘが相対的に小さく見える画像内の位置」を示している場合、第１の所定値を小さくする。このように、画像での複数の人の見え方に応じて、距離条件を最適化することができる。
　例えば、グループ化部１２は、予め、第１の顔及び第２の顔のフレーム内座標のｘ座標の代表値に応じて第１の所定値を定めた対応情報（テーブル、関数等）を保持しておいてもよい。そして、グループ化部１２は、対応情報を利用して距離条件を決定してもよい。
　グループ化部１２のその他の構成は、第１及び第２の実施形態と同様である。
　以上説明した本実施形態の解析装置１０によれば、第１及び第２の実施形態と同様の作用効果を実現できる。また、本実施形態の解析装置１０によれば、図８を用いて説明した上述のような現象を考慮した処理を行うことで、距離条件に基づき複数の画像に跨る同一人物をグループ化する処理の精度を向上させることができる。
　以下、参考形態の例を付記する。
１．　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
　グループの数をカウントするカウント手段と、
を有する解析装置。
２．　１に記載の解析装置において、
　前記グループ化手段は、異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化する解析装置。
３．　２に記載の解析装置において、
　前記グループ化手段は、
　　第１の前記画像から検出された１つ又は複数の前記人各々の座標と、第２の前記画像から検出された１つ又は複数の前記人各々の座標との距離を算出し、
　　前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化する解析装置。
４．　２に記載の解析装置において、
　前記グループ化手段は、
　　複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
　　前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化する解析装置。
５．　３又は４に記載の解析装置において、
　前記グループ化手段は、
　　複数の前記グループに属する人である第１の人がある場合、前記第１の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第１の人をいずれかの前記グループに属させるか否かを決定する解析装置。
６．　５に記載の解析装置において、
　前記グループ化手段は、
　　前記第１の人を含む前記画像の撮影タイミングに基づき決定した前記画像に含まれる前記人の画像の特徴量と、前記第１の人の画像の特徴量とに基づき、前記第１の人をいずれかの前記グループに属させるか否かを決定する解析装置。
７．　３から６のいずれかに記載の解析装置において、
　前記画像は、前記車両を前記車両の横から撮影した画像であり、
　前記グループ化手段は、複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化する解析装置。
８．　１から７のいずれかに記載の解析装置において、
　前記画像解析手段は、前記画像から人の顔を検出し、前記座標系における前記顔の座標を検出する解析装置。
９．　コンピュータが、
　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
　グループの数をカウントするカウント工程と、
を実行する解析方法。
１０．　コンピュータを、
　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、
　グループの数をカウントするカウント手段、
として機能させるプログラム。
　この出願は、２０１７年７月４日に出願された日本出願特願２０１７－１３１０８８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

  1. 　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
    　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
    　グループの数をカウントするカウント手段と、
    を有する解析装置。
  2. 　請求項１に記載の解析装置において、
    　前記グループ化手段は、異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化する解析装置。
  3. 　請求項２に記載の解析装置において、
    　前記グループ化手段は、
    　　第１の前記画像から検出された１つ又は複数の前記人各々の座標と、第２の前記画像から検出された１つ又は複数の前記人各々の座標との距離を算出し、
    　　前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化する解析装置。
  4. 　請求項２に記載の解析装置において、
    　前記グループ化手段は、
    　　複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
    　　前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化する解析装置。
  5. 　請求項３又は４に記載の解析装置において、
    　前記グループ化手段は、
    　　複数の前記グループに属する人である第１の人がある場合、前記第１の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第１の人をいずれかの前記グループに属させるか否かを決定する解析装置。
  6. 　請求項５に記載の解析装置において、
    　前記グループ化手段は、
    　　前記第１の人を含む前記画像の撮影タイミングに基づき決定した前記画像に含まれる前記人の画像の特徴量と、前記第１の人の画像の特徴量とに基づき、前記第１の人をいずれかの前記グループに属させるか否かを決定する解析装置。
  7. 　請求項３から６のいずれか１項に記載の解析装置において、
    　前記画像は、前記車両を前記車両の横から撮影した画像であり、
    　前記グループ化手段は、複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化する解析装置。
  8. 　請求項１から７のいずれか１項に記載の解析装置において、
    　前記画像解析手段は、前記画像から人の顔を検出し、前記座標系における前記顔の座標を検出する解析装置。
  9. 　コンピュータが、
    　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
    　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
    　グループの数をカウントするカウント工程と、
    を実行する解析方法。
  10. 　コンピュータを、
    　同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
    　異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、
    　グループの数をカウントするカウント手段、
    として機能させるプログラム。
PCT/JP2017/038132 2017-07-04 2017-10-23 解析装置、解析方法及びプログラム Ceased WO2019008789A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201780092899.6A CN110832493A (zh) 2017-07-04 2017-10-23 分析装置、分析方法和程序
US16/628,485 US11138755B2 (en) 2017-07-04 2017-10-23 Analysis apparatus, analysis method, and non transitory storage medium
JP2019528334A JP6863461B2 (ja) 2017-07-04 2017-10-23 解析装置、解析方法及びプログラム
AU2017422614A AU2017422614A1 (en) 2017-07-04 2017-10-23 Analysis apparatus, analysis method, and program
EP17916838.0A EP3651114B1 (en) 2017-07-04 2017-10-23 Analysis device, analysis method, and program
ES17916838T ES2923934T3 (es) 2017-07-04 2017-10-23 Dispositivo de análisis, método de análisis y programa

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017131088 2017-07-04
JP2017-131088 2017-07-04

Publications (1)

Publication Number Publication Date
WO2019008789A1 true WO2019008789A1 (ja) 2019-01-10

Family

ID=64950806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038132 Ceased WO2019008789A1 (ja) 2017-07-04 2017-10-23 解析装置、解析方法及びプログラム

Country Status (7)

Country Link
US (1) US11138755B2 (ja)
EP (1) EP3651114B1 (ja)
JP (1) JP6863461B2 (ja)
CN (1) CN110832493A (ja)
AU (1) AU2017422614A1 (ja)
ES (1) ES2923934T3 (ja)
WO (1) WO2019008789A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919064B (zh) * 2019-02-27 2020-12-22 湖南信达通信息技术有限公司 一种轨道交通车厢内实时人数统计方法和装置
US20230401808A1 (en) * 2022-06-10 2023-12-14 Plantronics, Inc. Group framing in a video system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309974A1 (en) * 2008-05-22 2009-12-17 Shreekant Agrawal Electronic Surveillance Network System
JP2012128862A (ja) * 2010-12-14 2012-07-05 Xerox Corp Ｉｒイメージングシステムを介して得られるｉｒ画像における総人数の決定方法
WO2014061195A1 (ja) 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
WO2015052896A1 (ja) * 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
JP2017131088A (ja) 2016-01-22 2017-07-27 三菱電機株式会社 固定子の製造方法および固定子

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012103193A1 (en) * 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
US20180197218A1 (en) * 2017-01-12 2018-07-12 Verizon Patent And Licensing Inc. System and method for object detection in retail environment
US20180240180A1 (en) * 2017-02-20 2018-08-23 Grabango Co. Contextually aware customer item entry for autonomous shopping applications
US10628667B2 (en) * 2018-01-11 2020-04-21 Futurewei Technologies, Inc. Activity recognition method using videotubes
WO2019191002A1 (en) * 2018-03-26 2019-10-03 Nvidia Corporation Object movement behavior learning
US11312372B2 (en) * 2019-04-16 2022-04-26 Ford Global Technologies, Llc Vehicle path prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309974A1 (en) * 2008-05-22 2009-12-17 Shreekant Agrawal Electronic Surveillance Network System
JP2012128862A (ja) * 2010-12-14 2012-07-05 Xerox Corp Ｉｒイメージングシステムを介して得られるｉｒ画像における総人数の決定方法
WO2014061195A1 (ja) 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
WO2015052896A1 (ja) * 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
JP2017131088A (ja) 2016-01-22 2017-07-27 三菱電機株式会社 固定子の製造方法および固定子

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3651114A4

Also Published As

Publication number Publication date
EP3651114B1 (en) 2022-06-08
CN110832493A (zh) 2020-02-21
AU2017422614A1 (en) 2020-01-16
ES2923934T3 (es) 2022-10-03
JPWO2019008789A1 (ja) 2020-03-19
EP3651114A1 (en) 2020-05-13
EP3651114A4 (en) 2020-05-27
US20200184674A1 (en) 2020-06-11
US11138755B2 (en) 2021-10-05
JP6863461B2 (ja) 2021-04-21

Similar Documents

Publication Publication Date Title
EP2842075B1 (en) Three-dimensional face recognition for mobile devices
US10007842B2 (en) Same person determination device and method, and control program therefor
JP7048157B2 (ja) 解析装置、解析方法及びプログラム
US12223143B2 (en) Touch recognition method and device having LiDAR sensor
US20250175581A1 (en) Gate system, gate device controlling method, and non-transitory computer readable medium storing control program of gate device
CN113632077A (zh) 识别信息赋予装置、识别信息赋予方法以及程序
JP6863461B2 (ja) 解析装置、解析方法及びプログラム
JP2020135076A (ja) 顔向き検出装置、顔向き検出方法、及びプログラム
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
US12154378B2 (en) Techniques for detecting a three-dimensional face in facial recognition
CN112801038A (zh) 一种多视点的人脸活体检测方法及系统
HK40020475A (en) Analysis device, analysis method, and program
CN117121061A (zh) 用于生成注意区域的计算机实现的方法
JP7396476B2 (ja) 処理装置、処理方法及びプログラム
CN119992613A (zh) 人脸识别的方法、装置、车辆及存储介质
WO2023007730A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
CN118736636A (zh) 脸部检测方法及装置、计算机可读存储介质、终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17916838

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019528334

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017422614

Country of ref document: AU

Date of ref document: 20171023

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017916838

Country of ref document: EP

Effective date: 20200204