[go: up one dir, main page]

WO2014203523A1 - 撮影位置決定装置及び撮影位置決定方法 - Google Patents

撮影位置決定装置及び撮影位置決定方法 Download PDF

Info

Publication number
WO2014203523A1
WO2014203523A1 PCT/JP2014/003255 JP2014003255W WO2014203523A1 WO 2014203523 A1 WO2014203523 A1 WO 2014203523A1 JP 2014003255 W JP2014003255 W JP 2014003255W WO 2014203523 A1 WO2014203523 A1 WO 2014203523A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
person
monitoring area
state map
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/003255
Other languages
English (en)
French (fr)
Inventor
陽一 合田
宏明 由雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US14/898,871 priority Critical patent/US9905010B2/en
Priority to EP14813989.2A priority patent/EP3013043A4/en
Priority to JP2015522558A priority patent/JP6218089B2/ja
Publication of WO2014203523A1 publication Critical patent/WO2014203523A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Definitions

  • the present disclosure relates to an imaging position determination device and an imaging position determination method suitable for use in a surveillance camera system.
  • Some surveillance camera systems have an image processing device that extracts a face image of a person to be verified from captured images.
  • an image processing apparatus described in Patent Document 1. This image processing apparatus extracts the face image of the person to be collated from the image captured by the imaging unit, and the face image of the person to be collated is not suitable for collation with the accumulated face image of the person who accumulated, Based on the face image, adjustment of the imaging direction of the imaging means, adjustment of the zoom magnification, and adjustment of the exposure amount are performed.
  • the image processing apparatus described in Patent Document 1 described above determines that the face image of the person to be collated is not suitable for collation, the image processing apparatus adjusts the imaging direction, zoom magnification, and exposure amount of the imaging unit. I could't adjust the situation. Moreover, it was not possible to determine that the face is not suitable for face collation with respect to the face that is closed to the eyes or the face that is not facing the front. Specifically, a change in lighting conditions can be considered as one of the factors that cause the eye state and face orientation of the person to be verified to change. The illumination conditions by the sun light change with time, and it is necessary to change the adjustment of the camera in accordance with the change. In the image processing apparatus described in Patent Document 1, the change amount is appropriately predicted. I could not. Moreover, it was not possible to determine that the face with the eyes closed was not suitable for collation.
  • the present disclosure has been made in view of such circumstances, and in a shooting position determination apparatus and a shooting position determination method for performing image processing for performing face matching from a captured image, it is possible to perform camera adjustment in accordance with the situation.
  • Another object of the present invention is to provide an imaging position determination device and an imaging position determination method that can reduce the acquisition of an eye-meditation face.
  • An imaging position determination device includes an input unit that acquires an image and a position of a person in a monitoring area, a state extraction unit that extracts the state of the person from the image acquired by the input unit, and the position of the person
  • a state map creating unit that creates a state map indicating the state of the person in the monitoring area from the state of the person; a position determining unit that determines a shooting position of the person in the monitoring area using the state map; It is characterized by having.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging position determination device according to an embodiment of the present disclosure.
  • the figure which looked at the monitoring area of the imaging position determination apparatus of FIG. 1 from right above The figure which looked at the monitoring area of the imaging position determination apparatus of FIG. 1 from the side
  • FIG. 3 is an example of an eye state map generated by an eye state map generation unit of the imaging position determination device of FIG.
  • FIG. 2 is an example of an eye state map generated by an eye state map generation unit of the imaging position determination device of FIG.
  • FIG. 3 is an example of an eye state map generated by an eye state map generation unit of the imaging position determination device of FIG.
  • FIG. 2 is an example of an eye state map generated by an eye state map generation unit of the imaging position determination device of FIG.
  • the flowchart which shows the process of the adjustment amount estimation part of the imaging position determination apparatus of FIG. It is an example of the display information produced
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging position determination device according to an embodiment of the present disclosure.
  • the imaging position determination device 1 includes a camera (imaging unit) 2, an image processing device 3, an optimum monitoring position display screen generation unit 4, various map display screen generation units 5, It has a camera installation optimal position display screen generation unit 6, a predicted adjustment amount display screen generation unit 7, and a display unit 8.
  • the camera 2 captures a monitoring area, acquires a monitoring image, and outputs it as image data.
  • the image processing device 3 includes an image receiving unit (input unit) 30, a face detection unit 31, a proper face image determination unit 32, a face state map generation unit 33, an adjustment amount prediction unit (position determination unit) 34, And a camera setting changing unit 35.
  • the image receiving unit 30 acquires an image of a person in the monitoring area from the image data output from the camera 2.
  • the face detection unit 31 performs face detection processing for detecting a human face from the image acquired by the image receiving unit 30.
  • the appropriate face image determination unit 32 includes a face size determination unit 321 that determines the face size of the person detected by the face detection unit 31, and a face brightness determination unit that determines the brightness of the face of the person detected by the face detection unit 31. 322 and an eye state detection unit (state extraction unit) 323 that detects the open / closed state of the eyes of the person detected by the face detection unit 31.
  • the face state map generation unit 33 includes an eye state map generation unit (state map generation unit) 331 that generates an eye state map indicating the open / closed state of a person's eyes in the monitoring area from the position of the person and the state of the person, A face size map generation unit 332 that generates a face size map from the face size of the face, and a face brightness map generation unit 333 that generates a face brightness map from the face brightness of the person.
  • the face state map generation unit 33 outputs the generated eye state map, face size map, and face brightness map to the various map display screen generation unit 5 and the camera installation optimum position display screen generation unit 6, respectively.
  • the adjustment amount prediction unit 34 determines the optimum monitoring position of the person in the monitoring area using the various maps generated by the face state map generation unit 33, and the determined optimum monitoring position is displayed in the optimum monitoring position display screen generation unit 4. Output.
  • the adjustment amount prediction unit 34 also predicts the adjustment amount (imaging direction, zoom magnification, exposure amount, etc.) of the camera 2 at the determined optimum monitoring position, and outputs the predicted adjustment amount to the camera setting change unit 35.
  • the camera setting change unit 35 changes the camera setting using the adjustment amount predicted by the adjustment amount prediction unit 34.
  • the optimal monitoring position display screen generation unit 4 generates display information for visually displaying the optimal monitoring position determined by the adjustment amount prediction unit 34 at a three-dimensional position optimal for the setting of the camera 2.
  • the various map display screen generation unit 5 generates display information for visually displaying the various maps generated by the face state map generation unit 33.
  • the camera installation optimum position display screen generation unit 6 analyzes the states of the various maps generated by the face state map generation unit 33 and proposes where the camera 2 can be installed for optimal monitoring. Generate display information.
  • the predicted adjustment amount display screen generation unit 7 generates display information for visually displaying the adjustment amount predicted by the adjustment amount prediction unit 34.
  • the display unit 8 includes display information output from the optimum monitoring position display screen generation unit 4, display information output from the various map display screen generation units 5, display information output from the camera installation optimal position display screen generation unit 6, and The display information output from the predicted adjustment amount display screen generation unit 7 is visually displayed.
  • FIG. 2 and 3 are diagrams showing a monitoring area 50 by the camera 2.
  • FIG. 2 is a view of the area 50 viewed from directly above
  • FIG. 3 is a view of the area 50 viewed from the side.
  • the camera 2 is arranged in the vicinity of the store entrance and shoots the person 100 coming out of the store.
  • the far end and the near end are partitioned at a constant interval, and each section is called a cell 51.
  • FIGS. 4 and 6 are views of the eye state map viewed from directly above, respectively.
  • 7 is a view of the eye state map as viewed from the side. 4 and 5, the eye state map shows the state of the human eye in a certain time zone, and the darker the cell, the more images in the eye-meditation state.
  • the time zone in which the eye state maps shown in FIGS. 4 and 5 are obtained many face images in the eye-meditation state are observed in the cells 51 in the fourth column counting from the camera 2 side.
  • FIGS. 4 and 5 there are a plurality of cells 51 in which a large number of face images in an eye-meditation state are observed, and an area corresponding to the plurality of cells 51 is referred to as a deterioration area 60.
  • the imaging direction, zoom magnification, exposure amount, and the like of the camera 2 are adjusted so that an optimal face image without an eye-meditation state can be acquired.
  • the camera 2 is adjusted so that an optimal face image (face image without eye-meditation) can be acquired in the area (optimal monitoring area) 70 corresponding to the cell 51 in the fifth column counting from the camera 2 side, Highly accurate face matching can be performed.
  • the previous deterioration area is set to 60B (B: Before)
  • the current deterioration area is set to 60A (A: After).
  • the photographing position determination device 1 a plurality of eye state maps are generated within a predetermined time, and the photographing position of a person in the monitoring area 50 according to the moving direction of the eye state map in the monitoring area 50 To change. 6 and 7, the previous area (optimal monitoring area) is 70B (B: Before), and the current area (optimal monitoring area) is 70A (A: After).
  • the photographing position determining apparatus 1 changes the photographing position of the person in the monitoring area 50 so as not to observe many face images in the closed-eye state.
  • the eye state map generation unit 331 calculates a score indicating the eye-meditation state for each cell 51 in the monitoring area 50 and integrates the cells to generate an eye state map.
  • This eye state map is created a plurality of times within a predetermined time, and each time the eye state map is generated, the adjustment amount predicting unit 34 uses the eye state map to photograph the person in the monitoring area 50 (hereinafter referred to as optimum monitoring). (Referred to as position).
  • the adjustment amount prediction unit 34 also predicts the adjustment amount (imaging direction, zoom magnification, exposure amount, etc.) of the camera 2 at the determined optimum monitoring position, and outputs the predicted adjustment amount to the camera setting change unit 35.
  • FIG. 8 is a flowchart showing the processing of the adjustment amount prediction unit 34.
  • an eye state map for a time zone A is input (step S1).
  • an eye state map for time zone B is input (step S2).
  • the difference between them is calculated (step S3).
  • the moving speed of the deterioration area that is, the eye-meditation area) is calculated from the calculated difference (step S4).
  • the optimum monitoring position is calculated (step S5).
  • face size and face brightness can be processed in the same manner.
  • face brightness it can be used that the effect of sunlight is continuous in time as the eye condition moves the eye meditation area. Information that there is a tendency that many children with small faces tend to visit stores can be used for prediction.
  • the eye state map, the face size map, and the face brightness map may be created and used at the same time every day or may be created and used for each season.
  • the lighting state can be controlled, the environment of the monitoring area can be improved by controlling the lighting state.
  • the various map display screen generation unit 5 that generates display information for displaying the eye state map, the face size map, and the face brightness map allows the user to recognize a position where the accuracy of face matching may be deteriorated. Therefore, it is possible to further improve accuracy by making fine adjustments based on the information. Further, which position is finally the monitoring position can be confirmed by the display information generated by the optimum monitoring position display screen generation unit 4 and is an obstacle that obstructs the flow line. By removing or the like, the user can also improve the monitoring environment of the position.
  • the camera setting changing unit 35 changes the optimum monitoring position using the adjustment amount of the camera 2 predicted by the adjustment amount prediction unit 34. That is, the optimum monitoring position of the person in the monitoring area 50 is changed according to the moving direction in the monitoring area 50 of the eye state map. For example, if an eye state map created at a certain time is shown in FIGS. 4 and 5, and an eye state map created at a certain time thereafter is shown in FIGS. 6 and 7, FIG. 4 and FIG. In the eye state map at the time shown in FIG. 5, it is detected that a cell having a bad eye state is moving in a direction away from the camera 2 in time, and the optimum monitoring area 70B moves to the optimum monitoring area 70A from the speed. The camera 2 is adjusted. In this way, the camera can be adjusted with an adjustment amount suitable for the situation. This is because the angle at which the sun's light, which is one of the causes of glare, changes continuously in time.
  • the various map display screen generation unit 5 generates display information for display according to the scale in the real space.
  • FIGS. 9 and 10 are examples of display information generated by the various map display screen generation unit 5, FIG. 9 is a diagram seen from directly above, and FIG. 10 is a diagram seen from the side. Since the display information generated by the various map display screen generation unit 5 is displayed on the display unit 8, the user can see which eye state is specifically deteriorated by looking at the eye state map. Can be understood intuitively. For example, as shown in FIG. 9, if there is a deterioration area 61 far to the left when viewed from the camera 2 and the cause is the influence of outside light from outside the store, the blind is lowered or the direction of the mirror is changed. It is possible to take further improvement measures such as, and further improve the monitoring environment.
  • the optimal monitoring position display screen generation unit 4 generates display information for displaying the optimal monitoring position for face detection in the current situation.
  • 11 and 12 are examples of display information generated by the optimum monitoring position display screen generation unit 4, FIG. 11 is a view seen from directly above, and FIG. 12 is a view seen from the side. Since the display information for displaying the optimum monitoring position 71 is displayed on the display unit 8, the user does not put anything that blocks the flow line in the displayed part, for example, by viewing this display. On the contrary, facilities can be arranged so that passers-by can easily pass through the location, and the monitoring environment can be further improved.
  • the camera installation optimum position display screen generation unit 6 generates display information for displaying the optimum three-dimensional position for the setting of the camera 2.
  • FIGS. 13 and 14 are examples of display information generated by the camera installation optimum position display screen generation unit 6, FIG. 13 is a view before adjusting the camera monitoring position, and FIG. 14 is a view after adjusting the camera monitoring position. . Since the display information generated by the camera installation optimal position display screen generation unit 6 is displayed on the display unit 8, the user can view the display and monitor the camera 2 at an optimal position. I know what will happen. For example, when the eye state map is in a state as shown in FIG.
  • the eye state map is deteriorated from the lower right to the upper left as shown by the arrow 90 from the distribution state of the eye state map.
  • I can guess. For example, the wind of an air conditioner blows directly.
  • the adjustment amount prediction unit 34 predicts the adjustment amount of the optimum monitoring position of the camera 2 as shown in the figure.
  • generation part 7 produces
  • the environment of the monitoring area 50 can be improved as shown in FIG. In this case, the monitoring area before adjustment is 50B (B: Before), and the monitoring area after adjustment is 50A (A: After).
  • the image receiving unit 30 that acquires the image and position of the person in the monitoring area 50, and the human eye from the image acquired by the image receiving unit 30.
  • An eye state detection unit 323 that detects an open / closed state
  • an eye state map generation unit 331 that generates an eye state map indicating the eye state of the person in the monitoring area 50 from the open / closed state of the person's eyes acquired by the eye state detection unit 323.
  • FIG. 15 is a diagram illustrating an example of a two-dimensional image that can be observed through the camera 2.
  • reference numeral 500 denotes the angle of view of the camera 2
  • reference numerals 501 and 502 denote image acquisition areas (areas corresponding to shooting positions in images taken by the camera 2).
  • An imaging position determination device includes an input unit that acquires an image and a position of a person in a monitoring area, a state extraction unit that extracts the state of the person from the image acquired by the input unit, and the position of the person
  • a state map creating unit that creates a state map indicating the state of the person in the monitoring area from the state of the person; a position determining unit that determines a shooting position of the person in the monitoring area using the state map; It is characterized by having.
  • the state map creation unit creates the state map for each time zone.
  • the shooting position can be determined in accordance with the time zone.
  • the photographing position determination device controls the illumination state in the monitoring area using the state map.
  • the environment of the monitoring area can be improved.
  • the state of the person is an open / closed state of the person's eyes.
  • the state map is created a plurality of times within a predetermined time, and the shooting position of the person in the monitoring area is changed according to the moving direction of the state map in the monitoring area.
  • the shooting position can be changed so as not to be affected by this, so that the acquisition of an eye-meditation face can be reduced.
  • the position of the obstacle in the monitoring area is estimated from the state map.
  • the image capturing unit captures the monitoring area and acquires a monitoring image
  • the imaging unit determines the determined image in the monitoring image from the determined image capturing position in the monitoring area.
  • An image acquisition area corresponding to the shooting position is determined.
  • the photographing unit is controlled based on the determined photographing position.
  • the image processing apparatus further includes a display screen generation unit that generates display information for displaying the state map.
  • the created state map can be confirmed visually.
  • the shooting position determination method of the present disclosure includes an input step of acquiring an image and a position of a person in a monitoring area, a state extraction step of extracting the state of the person from the image acquired in the input step, and the position of the person
  • a state map creating step for creating a state map indicating the state of the person in the monitoring area from the state of the person; a position determining step for determining a shooting position of the person in the monitoring area using the state map; It is characterized by having.
  • the position of the person and the shooting position in accordance with the state of the person can be determined.
  • the state map creating step creates the state map for each time period.
  • the shooting position can be determined in accordance with the time zone.
  • the photographing position determination method controls the illumination state in the monitoring area using the state map.
  • the environment of the monitoring area can be improved.
  • the state of the person is an open / closed state of the person's eyes.
  • the state map is created a plurality of times within a predetermined time, and the shooting position of the person in the monitoring area is changed according to the moving direction of the state map in the monitoring area.
  • the shooting position can be changed so as not to be affected by this, so it is possible to reduce the acquisition of an eye-meditation face.
  • the position of the obstacle in the monitoring area is estimated from the state map.
  • the method further includes a photographing step of photographing the monitoring area to obtain a monitoring image, and the photographing step determines the determined position in the monitoring image from the determined photographing position in the monitoring area. An image acquisition area corresponding to the shooting position is determined.
  • the photographing step is controlled based on the determined photographing position.
  • the method described above further includes a display screen generation step of generating display information for displaying the state map.
  • the created state map can be confirmed visually.
  • an imaging position determination device and an imaging position determination method for performing image processing for performing face matching from a captured image it is possible to perform camera adjustment according to the situation and to reduce eye-meditation face acquisition. It has an effect and can be applied to a surveillance camera system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　監視エリア（５０）内の人物の画像と位置を取得する画像受取部（３０）と、画像受取部（３０）で取得された画像から人物の目の開閉状態を検出する目状態検出部（３２３）と、目状態検出部（３２３）で取得された人物の目の開閉状態から監視エリア（５０）内の人物の目状態を示す目状態マップを作成する目状態マップ生成部（３３１）と、目状態マップ生成部（３３１）で作成された目状態マップを用いて監視エリア（５０）内の人物の撮影位置を決定する調整量予測部（３４）と、を有する。

Description

撮影位置決定装置及び撮影位置決定方法
　本開示は、監視カメラシステムに用いて好適な撮影位置決定装置及び撮影位置決定方法に関する。
　監視カメラシステムには、撮像された画像より照合対象者の顔画像を抽出する画像処理装置を有するものがある。例えば、特許文献１に記載された画像処理装置がある。この画像処理装置は、撮像手段により撮像された画像より、照合対象者の顔画像を抽出し、照合対象者の顔画像が、蓄積された蓄積者の顔画像との照合に適していない場合、顔画像に基づいて、撮像手段の撮像方向の調整、ズーム倍率の調整及び露光量の調整を行うようにしている。
日本国特開２００９－０８６９３２号公報
　しかしながら、上述した特許文献１に記載された画像処理装置は、照合対象者の顔画像が照合に適していないと判定した場合、撮像手段の撮像方向、ズーム倍率及び露光量の調整を行うが、状況に即した調整ができなかった。また、目瞑り顔や正面を向いていない顔に対して、顔照合に適していないと判定することができなかった。具体的には、照合対象者の目状態や顔向きが変化する要因の１つとして照明条件の変化が考えられる。太陽の光による照明条件は時間的に変化し、その変化に応じてカメラの調整を変更する必要があるが、特許文献１に記載された画像処理装置では、その変更量を適切に予測することができなかった。また、目瞑り顔に対して照合に適していないと判定することができなかった。
　本開示は、係る事情に鑑みてなされたものであり、撮像された画像より顔照合を行う画像処理を行う撮影位置決定装置及び撮影位置決定方法において、状況に即したカメラ調整を行うことができるとともに、目瞑り顔の取得を低減できる撮影位置決定装置及び撮影位置決定方法を提供することを目的とする。
　本開示の撮影位置決定装置は、監視エリア内の人物の画像と位置を取得する入力部と、前記入力部で取得した画像から前記人物の状態を抽出する状態抽出部と、前記人物の位置と前記人物の状態から前記監視エリア内の前記人物の状態を示す状態マップを作成する状態マップ作成部と、前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定部と、を有することを特徴とする。
　本開示によれば、状況に即したカメラ調整を行うことができるとともに、目瞑り顔の取得を低減でき、顔照合の精度向上が図れる。
本開示の一実施の形態に係る撮影位置決定装置の概略構成を示すブロック図 図１の撮影位置決定装置の監視エリアを真上から見た図 図１の撮影位置決定装置の監視エリアを横から見た図 図１の撮影位置決定装置の目状態マップ生成部で生成された目状態マップの一例であり、真上から見た図 図１の撮影位置決定装置の目状態マップ生成部で生成された目状態マップの一例であり、横から見た図 図１の撮影位置決定装置の目状態マップ生成部で生成された目状態マップの一例であり、真上から見た図 図１の撮影位置決定装置の目状態マップ生成部で生成された目状態マップの一例であり、横から見た図 図１の撮影位置決定装置の調整量予測部の処理を示すフローチャート 図１の撮影位置決定装置の各種マップ表示画面生成部で生成された表示情報の一例であり、真上から見た図 図１の撮影位置決定装置の各種マップ表示画面生成部で生成された表示情報の一例であり、横から見た図 図１の撮影位置決定装置の最適監視位置表示画面生成部で生成された表示情報の一例であり、真上から見た図 図１の撮影位置決定装置の最適監視位置表示画面生成部で生成された表示情報の一例であり、横から見た図 図１の撮影位置決定装置のカメラ設置最適位置表示画面生成部で生成された表示情報の一例であり、カメラ監視位置調整前の図 図１の撮影位置決定装置のカメラ設置最適位置表示画面生成部で生成された表示情報の一例であり、カメラ監視位置調整後の図 図１の撮影位置決定装置のカメラを通して観察できる２次元画像の一例を示す図
　以下、本開示を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
　図１は、本開示の一実施の形態に係る撮影位置決定装置の概略構成を示すブロック図である。同図において、本実施の形態に係る撮影位置決定装置１は、カメラ（撮影部）２と、画像処理装置３と、最適監視位置表示画面生成部４と、各種マップ表示画面生成部５と、カメラ設置最適位置表示画面生成部６と、予測調整量表示画面生成部７と、表示部８とを有する。
　カメラ２は、監視エリアを撮影して監視画像を取得し、画像データとして出力する。画像処理装置３は、画像受取部（入力部）３０と、顔検出部３１と、適正顔画像判定部３２と、顔状態マップ生成部３３と、調整量予測部（位置決定部）３４と、カメラ設定変更部３５とを有する。画像受取部３０は、カメラ２から出力される画像データより、監視エリア内の人物の画像を取得する。顔検出部３１は、画像受取部３０が取得した画像から人物の顔を検出する顔検出処理を行う。適正顔画像判定部３２は、顔検出部３１で検出された人物の顔サイズを判定する顔サイズ判定部３２１と、顔検出部３１で検出された人物の顔の輝度を判定する顔輝度判定部３２２と、顔検出部３１で検出された人物の目の開閉状態を検出する目状態検出部（状態抽出部）３２３とを有する。
　顔状態マップ生成部３３は、人物の位置と該人物の状態から監視エリア内の人物の目の開閉状態を示す目状態マップを作成する目状態マップ生成部（状態マップ作成部）３３１と、人物の顔サイズから顔サイズマップを生成する顔サイズマップ生成部３３２と、人物の顔輝度から顔の明るさマップを生成する顔明るさマップ生成部３３３とを有する。顔状態マップ生成部３３は、生成した目状態マップ、顔サイズマップ及び顔明るさマップを各種マップ表示画面生成部５及びカメラ設置最適位置表示画面生成部６それぞれに出力する。
　調整量予測部３４は、顔状態マップ生成部３３で生成された各種マップを用いて監視エリア内の人物の最適監視位置を決定し、決定した最適監視位置を最適監視位置表示画面生成部４に出力する。また、調整量予測部３４は、決定した最適監視位置におけるカメラ２の調整量（撮像方向、ズーム倍率及び露光量等）を予測し、予測した調整量をカメラ設定変更部３５に出力する。カメラ設定変更部３５は、調整量予測部３４で予測された調整量を用いてカメラ設定を変更する。
　最適監視位置表示画面生成部４は、調整量予測部３４で決定された最適監視位置を、カメラ２の設定に最適な３次元位置で視覚表示するための表示情報を生成する。各種マップ表示画面生成部５は、顔状態マップ生成部３３で生成された各種マップを視覚的に表示するための表示情報を生成する。カメラ設置最適位置表示画面生成部６は、顔状態マップ生成部３３で生成された各種マップの状態を分析して、カメラ２をどの位置に設置すれば最適な監視が可能となるかを提案する表示情報を生成する。予測調整量表示画面生成部７は、調整量予測部３４で予測された調整量を視覚的に表示するための表示情報を生成する。表示部８は、最適監視位置表示画面生成部４から出力される表示情報、各種マップ表示画面生成部５から出力される表示情報、カメラ設置最適位置表示画面生成部６から出力される表示情報及び予測調整量表示画面生成部７から出力される表示情報をそれぞれ視覚表示する。
　次に、本実施の形態に係る撮影位置決定装置１の動作について説明する。
　図２及び図３は、カメラ２による監視エリア５０を示す図であり、図２は同エリア５０を真上から見た図、図３は同エリア５０を横から見た図である。カメラ２は、店舗の出入り口付近に配置され、店舗内から出てくる人物１００を撮影する。監視エリア５０は、その遠端と近端との間が一定間隔で区切られており、各区画をセル５１と呼ぶ。
　図４～図７は、目状態マップ生成部３３１で生成された目状態マップの一例を示す図であり、図４及び図６はそれぞれ目状態マップを真上から見た図、図５及び図７はそれぞれ目状態マップを横から見た図である。図４及び図５において、目状態マップは、ある時間帯における人物の目の状態を示すもので、色の濃いセルほど目瞑り状態の画像が多くなる。図４及び図５に示す目状態マップが得られた時間帯では、カメラ２側から数えて４列目のセル５１において目瞑り状態の顔画像が多く観測されている。この場合、目瞑り状態の顔画像が多く観測されるセル５１は１個の場合もあるが、複数個の場合もある。図４及び図５に示す例では、目瞑り状態の顔画像が多く観測されるセル５１は複数個あり、この複数個のセル５１に対応するエリアを悪化エリア６０と呼ぶ。
　悪化エリア６０では目瞑り状態の顔画像を多く観測することになり、顔照合の精度が低下する。そこで、目瞑り状態のない最適な顔画像を取得できるように、カメラ２の撮像方向、ズーム倍率及び露光量等を調整する。例えば、カメラ２側から数えて５列目のセル５１に対応するエリア（最適監視エリア）７０で最適な顔画像（目瞑りの無い顔画像）が取得できるようにカメラ２の調整を行うと、精度の高い顔照合を行えるようになる。
　ところが、時間が経過して図６及び図７に示すような状態になると、エリア７０で目瞑り状態の顔画像が多く観測されるようになる。即ち、悪化エリア６０が移動してエリア７０まで来てしまうと、目瞑り状態の顔画像が多く観測されるようになる。この場合、図６及び図７に示すように、前回の悪化エリアを６０Ｂ（Ｂ：Before）とし、今回の悪化エリアを６０Ａ（Ａ：After）としている。本実施の形態に係る撮影位置決定装置１では、所定の時間内に目状態マップを複数生成し、目状態マップの監視エリア５０内の移動方向に応じて、監視エリア５０内の人物の撮影位置を変更するようにしている。なお、図６及び図７において、前回のエリア（最適監視エリア）を７０Ｂ（Ｂ：Before）とし、今回のエリア（最適監視エリア）を７０Ａ（Ａ：After）としている。
　このように、本実施の形態に係る撮影位置決定装置１は、目瞑り状態の顔画像を多く観測しないように、監視エリア５０内の人物の撮影位置を変更するようにしている。以下、各部の動作を説明する。まず目状態マップ生成部３３１は、監視エリア５０のセル５１ごとの目瞑り状態を示すスコアを算出し、セルごとに積算して目状態マップを生成する。この目状態マップを所定の時間内に複数回作成し、目状態マップを生成するごとに調整量予測部３４が当該目状態マップを用いて監視エリア５０内の人物の撮影位置（以下、最適監視位置と呼ぶ）を決定する。そして、決定した最適監視位置を最適監視位置表示画面生成部４に出力する。また、調整量予測部３４は、決定した最適監視位置におけるカメラ２の調整量（撮像方向、ズーム倍率及び露光量等）を予測し、予測した調整量をカメラ設定変更部３５に出力する。
　図８は、調整量予測部３４の処理を示すフローチャートである。同図において、まず時間帯Ａの目状態マップを入力する（ステップＳ１）。次いで、時間帯Ｂの目状態マップを入力する（ステップＳ２）。時間帯Ａの目状態マップと時間帯Ｂの目状態マップを入力した後、これらの差分を算出する（ステップＳ３）。そして、算出した差分より、悪化エリア（即ち、目瞑りエリア）の移動速度を算出する（ステップＳ４）。悪化エリアの移動速度を算出した後、最適監視位置を算出する（ステップＳ５）。
　なお、顔サイズと顔明るさについても同様に処理することができる。顔明るさについては、目状態と同様に、太陽光による影響が時間的に連続して目瞑りエリアが移動することを利用することができるし、顔サイズについては、例えば平日の学校の下校時刻頃に顔の小さい子供の来店が多い傾向がある等の情報を予測に用いることができる。
　また、目状態マップ、顔サイズマップ及び顔明るさマップの作成は、毎日の同時刻ごとに作成して使用するようにしてもよいし、季節ごとに作成して使用するようにしてもよい。また、照明状態を制御することができる場合には、照明状態を制御することで監視エリアの環境を改善することもできる。
　また、目状態マップ、顔サイズマップ及び顔明るさマップを表示するための表示情報を生成する各種マップ表示画面生成部５により、顔照合の精度が悪化する虞のある位置をユーザが認識できるようになり、その情報を元に微調整を加えることで更なる精度改善も可能となる。また、最終的にどの位置が監視位置となっているかについては、最適監視位置表示画面生成部４により生成される表示情報によって確認することが可能であり、動線の妨げになっている障害物を取り除くなどすることで、ユーザがその位置の監視環境を改善させることもできるようになる。
　監視エリア５０内の人物の最適監視位置が決定されると、カメラ設定変更部３５は、調整量予測部３４で予測されたカメラ２の調整量を用いて最適監視位置を変更する。即ち、目状態マップの監視エリア５０内の移動方向に応じて、監視エリア５０内の人物の最適監視位置を変更する。例えば、ある時間に作成した目状態マップが、図４及び図５に示すものとし、その後のある時間に作成した目状態マップが、図６及び図７に示すものとすると、図４及び図５に示す時間における目状態マップが時間的にカメラ２から遠ざかる方向に目状態の悪いセルが移動していることが検出されて、その速度から最適監視エリア７０Ｂが最適監視エリア７０Ａへ移動するように、カメラ２が調整される。このようにして、状況に即した調整量でカメラ調整が可能になる。何故ならば、眩しさを感じる原因の一つである太陽の光が差し込む角度は時間的に連続して変化するからである。
　各種マップ表示画面生成部５は、実空間上のスケールに合わせて表示するための表示情報を生成する。図９及び図１０は、各種マップ表示画面生成部５で生成された表示情報の一例であり、図９は真上から見た図、図１０は横から見た図である。各種マップ表示画面生成部５で生成された表示情報は表示部８にて表示されるので、ユーザはこの目状態マップを見ることで、具体的にどの辺りの各顔状態が悪化しているのかを直感的に知ることができる。例えば図９に示すように、カメラ２から見て左側遠方に悪化エリア６１があり、その原因が店外からの外光の影響であれば、ブラインドを下ろしたり、鏡の向きを変更したりするなどの改善措置を取ることができ、更なる監視環境の改善が可能となる。
　最適監視位置表示画面生成部４は、現在の状況において顔検出に最適な監視位置を表示するための表示情報を生成する。図１１及び図１２は、最適監視位置表示画面生成部４で生成された表示情報の一例であり、図１１は真上から見た図、図１２は横から見た図である。最適監視位置７１を表示するための表示情報は表示部８にて表示されるので、ユーザはこの表示を見ることで、例えば、表示されている部分に動線を遮るようなものを置かないよう注意したり、逆に通行者がその位置を通りやすいよう設備等を配置したりすることができ、更なる監視環境の改善が可能となる。
　カメラ設置最適位置表示画面生成部６は、カメラ２の設定に最適な３次元位置を表示するための表示情報を生成する。図１３及び図１４は、カメラ設置最適位置表示画面生成部６で生成された表示情報の一例であり、図１３はカメラ監視位置調整前の図、図１４はカメラ監視位置調整後の図である。カメラ設置最適位置表示画面生成部６で生成された表示情報は表示部８にて表示されるので、ユーザはこの表示を見ることで、カメラ２をどの位置に設置すれば最適な監視が可能となるかが分る。例えば、目状態マップが図１３に示すような状態の場合、目状態マップの分布状況から、矢印９０に示すように、図の右下から左上に向けて目状態を悪化させる原因となるものがあると推測できる。例えば、エアコンの風が直接吹き付けるなどである。その場合、調整量予測部３４で、図中に示すようにカメラ２の最適監視位置の調整量が予測される。そして、予測調整量表示画面生成部７が、その予測値に基づく表示情報を生成するので、ユーザがその表示を見ることでカメラ２の最適監視位置の変更を行う。これにより、図１４に示すように監視エリア５０の環境改善が可能となる。この場合、調整前の監視エリアを５０Ｂ（Ｂ：Before）とし、調整後の監視エリアを５０Ａ（Ａ：After）としている。
　このように本実施の形態に係る撮影位置決定装置１によれば、監視エリア５０内の人物の画像と位置を取得する画像受取部３０と、画像受取部３０で取得した画像から人物の目の開閉状態を検出する目状態検出部３２３と、目状態検出部３２３で取得した人物の目の開閉状態から監視エリア５０内の人物の目状態を示す目状態マップを作成する目状態マップ生成部３３１と、目状態マップ生成部３３１で作成された目状態マップを用いて監視エリア５０内の人物の撮影位置を決定する調整量予測部３４と、を有するので、人物の目状態に即したカメラ調整を行うことができ、これによって目瞑り顔の取得が低減し、顔照合精度の向上が図れる。
　なお、本実施の形態に係る撮影位置決定装置１は、目状態マップを生成するときに３次元位置を必要としたが、単に監視するだけであれば、３次元位置は不要であるので、カメラ２を通して観察できる２次元位置でも構わない。図１５は、カメラ２を通して観察できる２次元画像の一例を示す図である。同図において、５００はカメラ２の画角であり、５０１，５０２はそれぞれ画像取得領域（カメラ２で撮影された画像における撮影位置に対応する領域）である。
　（本開示の一態様の概要）
　本開示の撮影位置決定装置は、監視エリア内の人物の画像と位置を取得する入力部と、前記入力部で取得した画像から前記人物の状態を抽出する状態抽出部と、前記人物の位置と前記人物の状態から前記監視エリア内の前記人物の状態を示す状態マップを作成する状態マップ作成部と、前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定部と、を有することを特徴とする。
　上記構成によれば、人物の位置と該人物の状態に即した撮影位置を決定できる。
　上記構成において、前記状態マップ作成部は時間帯ごとに前記状態マップを作成することを特徴とする。
　上記構成によれば、時間帯に即した撮影位置を決定できる。
　上記構成において、前記撮影位置決定装置は前記状態マップを用いて前記監視エリア内の照明状態を制御することを特徴とする。
　上記構成によれば、監視エリアの環境を改善することができる。
　上記構成において、前記人物の状態は前記人物の目の開閉状態であることを特徴とする。
　上記構成によれば、目瞑り顔の取得を低減できる。
　上記構成において、所定の時間内に前記状態マップを複数回作成し、前記状態マップの前記監視エリア内の移動方向に応じて、前記監視エリア内の人物の撮影位置を変更することを特徴とする。
　上記構成によれば、例えば太陽光が差し込む角度が時間的に連続して変化しても、その影響を受けることがないように、撮影位置を変更できるので、目瞑り顔の取得を低減できる。
　上記構成において、前記状態マップから前記監視エリア内の障害物の位置を推定することを特徴とする。
　上記構成によれば、監視の邪魔となる障害物を取り除くことができ、監視環境の改善が図れる。
　上記構成において、前記監視エリアを撮影して監視画像を取得する撮影部を有し、前記撮影部は前記監視エリア内での前記決定された撮影位置から、前記監視画像内での前記決定された撮影位置に対応する画像取得領域を決定することを特徴とする。
　上記構成によれば、人物の状態に即した撮影位置を決定でき、顔照合精度の向上が図れる。
　上記構成において、前記決定された撮影位置を元に、前記撮影部を制御することを特徴とする。
　上記構成によれば、監視エリア内の人物を確実に撮影することができる。
　上記構成において、前記状態マップを表示するための表示情報を生成する表示画面生成部をさらに有することを特徴とする。
　上記構成によれば、作成した状態マップを目視で確認することができる。
　本開示の撮影位置決定方法は、監視エリア内の人物の画像と位置を取得する入力ステップと、前記入力ステップで取得した画像から前記人物の状態を抽出する状態抽出ステップと、前記人物の位置と前記人物の状態から前記監視エリア内の前記人物の状態を示す状態マップを作成する状態マップ作成ステップと、前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定ステップと、を有することを特徴とする。
　上記方法によれば、人物の位置と該人物の状態に即した撮影位置を決定できる。
　上記方法において、前記状態マップ作成ステップは時間帯ごとに前記状態マップを作成することを特徴とする。
　上記方法によれば、時間帯に即した撮影位置を決定できる。
　上記方法において、前記撮影位置決定方法は前記状態マップを用いて前記監視エリア内の照明状態を制御することを特徴とする。
　上記方法によれば、監視エリアの環境を改善することができる。
　上記方法において、前記人物の状態は前記人物の目の開閉状態であることを特徴とする。
　上記方法によれば、目瞑り顔の取得を低減できる。
　上記方法において、所定の時間内に前記状態マップを複数回作成し、前記状態マップの前記監視エリア内の移動方向に応じて、前記監視エリア内の人物の撮影位置を変更することを特徴とする。
　上記方法によれば、例えば太陽光が差し込む角度が時間的に連続して変化しても、その影響を受けることがないように、撮影位置を変更できるので、目瞑り顔の取得を低減できる。
　上記方法において、前記状態マップから前記監視エリア内の障害物の位置を推定することを特徴とする。
　上記方法によれば、監視の邪魔となる障害物を取り除くことができ、監視環境の改善が図れる。
　上記方法において、前記監視エリアを撮影して監視画像を取得する撮影ステップを有し、前記撮影ステップは前記監視エリア内での前記決定された撮影位置から、前記監視画像内での前記決定された撮影位置に対応する画像取得領域を決定することを特徴とする。
　上記方法によれば、人物の状態に即した撮影位置を決定でき、顔照合精度の向上が図れる。
　上記方法において、前記決定された撮影位置を元に、前記撮影ステップを制御することを特徴とする。
　上記方法によれば、監視エリア内の人物を確実に撮影することができる。
　上記方法において、前記状態マップを表示するための表示情報を生成する表示画面生成ステップをさらに有することを特徴とする。
　上記方法によれば、作成した状態マップを目視で確認することができる。
　本開示を詳細にまた特定の実施態様を参照して説明したが、本開示の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１３年６月１８日出願の日本特許出願（特願２０１３－１２７５９４）に基づくものであり、その内容はここに参照として取り込まれる。
　本開示は、撮像された画像より顔照合を行う画像処理を行う撮影位置決定装置及び撮影位置決定方法において、状況に即したカメラ調整を行うことができるとともに、目瞑り顔の取得を低減できるといった効果を有し、監視カメラシステムへの適用が可能である。
　１　撮影位置決定装置
　２　カメラ
　３　画像処理装置
　４　最適監視位置表示画面生成部
　５　各種マップ表示画面生成部
　６　カメラ設置最適位置表示画面生成部
　７　予測調整量表示画面生成部
　８　表示部
　３０　画像受取部
　３１　顔検出部
　３２　適正顔画像判定部
　３３　顔状態マップ生成部
　３４　調整量予測部
　３５　カメラ設定変更部
　５０　監視エリア
　５１　セル
　１００　人物
　３２１　顔サイズ判定部
　３２２　顔輝度判定部
　３２３　目状態検出部
　３３１　目状態マップ生成部
　３３２　顔サイズマップ生成部
　３３３　顔明るさマップ生成部

Claims (18)

  1. 　監視エリア内の人物の画像と位置を取得する入力部と、
    　前記入力部で取得した画像から前記人物の状態を抽出する状態抽出部と、
    　前記人物の位置と前記人物の状態から前記監視エリア内の前記人物の状態を示す状態マップを作成する状態マップ作成部と、
    　前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定部と、を有することを特徴とする撮影位置決定装置。
  2. 　前記状態マップ作成部は時間帯ごとに前記状態マップを作成することを特徴とする請求項１に記載の撮影位置決定装置。
  3. 　前記撮影位置決定装置は前記状態マップを用いて前記監視エリア内の照明状態を制御することを特徴とする請求項１に記載の撮影位置決定装置。
  4. 　前記人物の状態は前記人物の目の開閉状態であることを特徴とする請求項１に記載の撮影位置決定装置。
  5. 　所定の時間内に前記状態マップを複数回作成し、前記状態マップの前記監視エリア内の移動方向に応じて、前記監視エリア内の人物の撮影位置を変更することを特徴とする請求項１に記載の撮影位置決定装置。
  6. 　前記状態マップから前記監視エリア内の障害物の位置を推定することを特徴とする請求項１に記載の撮影位置決定装置。
  7. 　前記監視エリアを撮影して監視画像を取得する撮影部を有し、
    　前記撮影部は前記監視エリア内での前記決定された撮影位置から、前記監視画像内での前記決定された撮影位置に対応する画像取得領域を決定することを特徴とする請求項１に記載の撮影位置決定装置。
  8. 　前記決定された撮影位置を元に、前記撮影部を制御することを特徴とする請求項７に記載の撮影位置決定装置。
  9. 　前記状態マップを表示するための表示情報を生成する表示画面生成部をさらに有することを特徴とする請求項１に記載の撮影位置決定装置。
  10. 　監視エリア内の人物の画像と位置を取得する入力ステップと、
    　前記入力ステップで取得した画像から前記人物の状態を抽出する状態抽出ステップと、
    　前記人物の位置と前記人物の状態から前記監視エリア内の前記人物の状態を示す状態マップを作成する状態マップ作成ステップと、
    　前記状態マップを用いて前記監視エリア内の人物の撮影位置を決定する位置決定ステップと、を有することを特徴とする撮影位置決定方法。
  11. 　前記状態マップ作成ステップは時間帯ごとに前記状態マップを作成することを特徴とする請求項１０に記載の撮影位置決定方法。
  12. 　前記撮影位置決定方法は前記状態マップを用いて前記監視エリア内の照明状態を制御することを特徴とする請求項１０に記載の撮影位置決定方法。
  13. 　前記人物の状態は前記人物の目の開閉状態であることを特徴とする請求項１０に記載の撮影位置決定方法。
  14. 　所定の時間内に前記状態マップを複数回作成し、前記状態マップの前記監視エリア内の移動方向に応じて、前記監視エリア内の人物の撮影位置を変更することを特徴とする請求項１０に記載の撮影位置決定方法。
  15. 　前記状態マップから前記監視エリア内の障害物の位置を推定することを特徴とする請求項１０に記載の撮影位置決定方法。
  16. 　前記監視エリアを撮影して監視画像を取得する撮影ステップを有し、
    　前記撮影ステップは前記監視エリア内での前記決定された撮影位置から、前記監視画像内での前記決定された撮影位置に対応する画像取得領域を決定することを特徴とする請求項１０に記載の撮影位置決定方法。
  17. 　前記決定された撮影位置を元に、前記撮影ステップを制御することを特徴とする請求項１６に記載の撮影位置決定方法。
  18. 　前記状態マップを表示するための表示情報を生成する表示画面生成ステップをさらに有することを特徴とする請求項１０に記載の撮影位置決定方法。
PCT/JP2014/003255 2013-06-18 2014-06-17 撮影位置決定装置及び撮影位置決定方法 Ceased WO2014203523A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/898,871 US9905010B2 (en) 2013-06-18 2014-06-17 Image position determination device and image position determination method for reducing an image of a closed eye person
EP14813989.2A EP3013043A4 (en) 2013-06-18 2014-06-17 Imaging position determination device and imaging position determination method
JP2015522558A JP6218089B2 (ja) 2013-06-18 2014-06-17 撮影位置決定装置及び撮影位置決定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-127594 2013-06-18
JP2013127594 2013-06-18

Publications (1)

Publication Number Publication Date
WO2014203523A1 true WO2014203523A1 (ja) 2014-12-24

Family

ID=52104274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003255 Ceased WO2014203523A1 (ja) 2013-06-18 2014-06-17 撮影位置決定装置及び撮影位置決定方法

Country Status (4)

Country Link
US (1) US9905010B2 (ja)
EP (1) EP3013043A4 (ja)
JP (1) JP6218089B2 (ja)
WO (1) WO2014203523A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180494A1 (ja) * 2017-03-30 2018-10-04 日本電気株式会社 映像監視システム、映像監視方法および映像監視プログラム
RU2679730C1 (ru) * 2016-09-20 2019-02-12 Тосиба Инфрастракче Системз Энд Солюшнз Корпорейшн Система сопоставления изображений и способ сопоставления изображений
WO2020026325A1 (ja) * 2018-07-31 2020-02-06 日本電気株式会社 評価装置、導出装置、監視方法、監視装置、評価方法、コンピュータプログラム、および導出方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6218089B2 (ja) * 2013-06-18 2017-10-25 パナソニックＩｐマネジメント株式会社 撮影位置決定装置及び撮影位置決定方法
US10667007B2 (en) * 2014-01-22 2020-05-26 Lenovo (Singapore) Pte. Ltd. Automated video content display control using eye detection
US10186124B1 (en) 2017-10-26 2019-01-22 Scott Charles Mullins Behavioral intrusion detection system
MX2021012393A (es) 2019-04-10 2022-03-17 Scott Charles Mullins Sistemas de monitoreo.
EP4020981B1 (en) 2020-12-22 2025-11-12 Axis AB A camera and a method therein for facilitating installation of the camera

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178229A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Works Ltd 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置
JP2005505209A (ja) * 2001-09-27 2005-02-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ コンピュータベースの視覚監視用の最適マルチカメラセットアップ
JP2008009689A (ja) * 2006-06-29 2008-01-17 Matsushita Electric Ind Co Ltd 顔登録装置、顔認証装置および顔登録方法
JP2009086932A (ja) 2007-09-28 2009-04-23 Omron Corp 画像処理装置および方法、並びにプログラム
JP2011114580A (ja) * 2009-11-26 2011-06-09 Panasonic Corp 複数カメラ監視システム、携帯端末装置、センター装置及び複数カメラ監視方法
JP2012525755A (ja) * 2009-04-29 2012-10-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラの最適視角位置を選択する方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076102B2 (en) 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US20030058111A1 (en) 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US20030058237A1 (en) 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Multi-layered background models for improved background-foreground segmentation
US7110569B2 (en) 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
US20030058342A1 (en) 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Optimal multi-camera setup for computer-based visual surveillance
US7043075B2 (en) 2001-09-27 2006-05-09 Koninklijke Philips Electronics N.V. Computer vision system and method employing hierarchical object classification scheme
US7369680B2 (en) 2001-09-27 2008-05-06 Koninklijke Phhilips Electronics N.V. Method and apparatus for detecting an event based on patterns of behavior
US7202791B2 (en) 2001-09-27 2007-04-10 Koninklijke Philips N.V. Method and apparatus for modeling behavior using a probability distrubution function
EP1685535B1 (en) * 2003-08-21 2014-04-30 Philips Intellectual Property & Standards GmbH Device and method for combining two images
US20060171453A1 (en) 2005-01-04 2006-08-03 Rohlfing Thomas R Video surveillance system
WO2006118563A1 (en) * 2005-04-29 2006-11-09 Chubb International Holdings Limited Method and device for consistent region of interest
US20060255931A1 (en) 2005-05-12 2006-11-16 Hartsfield Andrew J Modular design for a security system
US7574043B2 (en) * 2005-06-27 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Method for modeling cast shadows in videos
US8031970B2 (en) * 2007-08-27 2011-10-04 Arcsoft, Inc. Method of restoring closed-eye portrait photo
JP4831434B2 (ja) * 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
GB2476500B (en) * 2009-12-24 2012-06-20 Infrared Integrated Syst Ltd Activity mapping system
JP6218089B2 (ja) * 2013-06-18 2017-10-25 パナソニックＩｐマネジメント株式会社 撮影位置決定装置及び撮影位置決定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005505209A (ja) * 2001-09-27 2005-02-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ コンピュータベースの視覚監視用の最適マルチカメラセットアップ
JP2004178229A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Works Ltd 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置
JP2008009689A (ja) * 2006-06-29 2008-01-17 Matsushita Electric Ind Co Ltd 顔登録装置、顔認証装置および顔登録方法
JP2009086932A (ja) 2007-09-28 2009-04-23 Omron Corp 画像処理装置および方法、並びにプログラム
JP2012525755A (ja) * 2009-04-29 2012-10-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラの最適視角位置を選択する方法
JP2011114580A (ja) * 2009-11-26 2011-06-09 Panasonic Corp 複数カメラ監視システム、携帯端末装置、センター装置及び複数カメラ監視方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3013043A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2679730C1 (ru) * 2016-09-20 2019-02-12 Тосиба Инфрастракче Системз Энд Солюшнз Корпорейшн Система сопоставления изображений и способ сопоставления изображений
US10515457B2 (en) 2016-09-20 2019-12-24 Kabushiki Kaisha Toshiba Image collation system and image collation method
WO2018180494A1 (ja) * 2017-03-30 2018-10-04 日本電気株式会社 映像監視システム、映像監視方法および映像監視プログラム
JPWO2018180494A1 (ja) * 2017-03-30 2020-02-06 日本電気株式会社 映像監視システム、映像監視方法および映像監視プログラム
US10909385B2 (en) 2017-03-30 2021-02-02 Nec Corporation Image monitoring system, image monitoring method, and image monitoring program
JP7147746B2 (ja) 2017-03-30 2022-10-05 日本電気株式会社 映像監視システム、映像監視方法および映像監視プログラム
WO2020026325A1 (ja) * 2018-07-31 2020-02-06 日本電気株式会社 評価装置、導出装置、監視方法、監視装置、評価方法、コンピュータプログラム、および導出方法
US11328404B2 (en) 2018-07-31 2022-05-10 Nec Corporation Evaluation apparatus, evaluation method, and non-transitory storage medium

Also Published As

Publication number Publication date
JP6218089B2 (ja) 2017-10-25
US20160133021A1 (en) 2016-05-12
JPWO2014203523A1 (ja) 2017-02-23
US9905010B2 (en) 2018-02-27
EP3013043A4 (en) 2017-04-12
EP3013043A1 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
JP6218089B2 (ja) 撮影位置決定装置及び撮影位置決定方法
US11403771B2 (en) Image processing apparatus, monitoring system, image processing method, and program
JP5435307B2 (ja) 車載カメラ装置
CN103188433B (zh) 图像除雾装置和图像除雾方法
JP4979525B2 (ja) マルチカメラシステム
JP2013005234A5 (ja)
JP5127531B2 (ja) 画像監視装置
JP2016085739A (ja) ビデオ処理で使用する少なくとも一つのパラメータの修正
EP2309454A2 (en) Apparatus and method for detecting motion
CN115103094B (zh) 一种基于注视点的摄像头模组远视角调节方法及系统
JP2009116742A (ja) 車載用画像処理装置、画像処理方法、および、プログラム
JP6820075B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
JP2006211139A (ja) 撮像装置
JP2008281385A (ja) 画像処理装置
US20190041231A1 (en) Eyeglasses-type wearable information terminal, control method thereof, and control program
JP2015177371A (ja) 監視装置
JP2007148988A (ja) 顔認証装置、顔認証方法および入退場管理装置
US10715787B1 (en) Depth imaging system and method for controlling depth imaging system thereof
JP2010175966A (ja) 画像処理装置及び撮像装置
JP2018201146A (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
JP4618062B2 (ja) 監視装置、監視システム、および監視方法
JP4872396B2 (ja) 画像編集装置、画像編集方法および画像編集プログラム
JP2017212633A (ja) 撮像装置、撮像表示方法および撮像表示プログラム
JP4816431B2 (ja) モニタリングシステム、ドライビングアシストシステム
CN103512547A (zh) 一种实现视力保护的方法及应用该方法的电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14813989

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14898871

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015522558

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014813989

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014813989

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE