[go: up one dir, main page]

WO2017047688A1 - 落下物検知追跡システム - Google Patents

落下物検知追跡システム Download PDF

Info

Publication number
WO2017047688A1
WO2017047688A1 PCT/JP2016/077237 JP2016077237W WO2017047688A1 WO 2017047688 A1 WO2017047688 A1 WO 2017047688A1 JP 2016077237 W JP2016077237 W JP 2016077237W WO 2017047688 A1 WO2017047688 A1 WO 2017047688A1
Authority
WO
WIPO (PCT)
Prior art keywords
fallen object
falling object
fallen
cameras
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/077237
Other languages
English (en)
French (fr)
Inventor
禎輝 縣
曽我　邦宏
山口　宗明
佑一郎 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2017539964A priority Critical patent/JP6450852B2/ja
Publication of WO2017047688A1 publication Critical patent/WO2017047688A1/ja
Priority to US15/922,949 priority patent/US10878584B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/006—Alarm destination chosen according to type of event, e.g. in case of fire phone the fire service, in case of medical emergency phone the ambulance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to a system for detecting and tracking a fallen object and an image processing technique therefor.
  • Patent Documents 1 to 5 Conventionally, it is known that a falling object on a road is detected from an image of a camera (for example, see Patent Documents 1 to 5). Many conventional detection systems perform image processing independently for each camera set on the road to detect falling objects. When a falling object is detected, an alarm notification is given to the monitoring center that there is a falling object at the detection point, and a dispatch command is issued from the monitoring center to the collection vehicle. There is also known a traffic control system that classifies occurrence events such as traffic jams and input events into cause events and result events (see, for example, Patent Document 6).
  • an intruding object monitoring method for tracking an object using a plurality of cameras (see, for example, Patent Document 7), or camera parameters are calibrated and converted from an acquired image coordinate system to a drawing coordinate system.
  • An image monitoring apparatus (see, for example, Patent Document 8) is known.
  • the first is that when a falling object is detected, the risk of the falling object is not considered. For example, heavy and large falling objects such as iron pipes and drums are high in risk, and light and small falling objects such as plastic bags are low in risk. If the degree of danger is not taken into account, there is a risk that collection work of dangerous fallen objects leading to a serious accident will be delayed. In addition, falling objects that do not need to be collected may be collected.
  • each camera independently detects falling objects. If each camera is operating independently, the required image processing capacity increases in proportion to the number of cameras, and if the detected fallen object comes into contact with the vehicle and moves to the monitoring range of another camera, There is a risk that it will take time to understand.
  • An object of the present invention is to provide a falling object detection system and the like that make the initial movement of collection work quicker by considering the risk of falling objects and make the situation of the site more effective by interlocking with surrounding cameras. It is in.
  • the falling object detection system detects a specific object from images of a plurality of cameras and issues an alarm.
  • Each of the multiple cameras searches for a fallen object on the road while cyclically controlling the shooting angle of view of the camera during normal times.
  • an alarm corresponding to the degree of danger is issued.
  • the position and size of the fallen object are detected and the risk is re-evaluated.
  • a search request is made to another camera.
  • Each of the plurality of cameras enters a request mode upon receiving a search request including information indicating the approximate position or danger level of the fallen object in the normal state, and searches for the fallen object.
  • falling objects with a high degree of danger can be collected quickly, and serious accidents can be prevented. Furthermore, when a fallen object moves, tracking is performed in conjunction with the peripheral camera, so that it is effective to grasp the on-site situation.
  • FIG. 1 is a configuration diagram of a falling object detection system according to Embodiment 1.
  • FIG. The functional block diagram of the camera 2.
  • FIG. The flowchart of each camera of a falling object detection system.
  • Another example of operation when a fallen object is blown by collision.
  • the operation example of this invention when a fallen object is skipped by the collision and cannot be detected again.
  • the block diagram of a fallen object detection system at the time of mounting image processing technology in a separate image processing apparatus.
  • the falling object detection system searches for an object (falling object) other than the vehicle on the road while cyclically controlling the shooting angle of view (preset) of the camera during normal times.
  • an alarm corresponding to the degree of danger is issued and the tracking mode is entered.
  • the tracking mode the position, size, and movement of the object are observed, and the risk level is re-evaluated.
  • a new report for example, an accident occurrence alarm
  • FIG. 1 is a configuration diagram of a falling object detection system according to the first embodiment of the present invention.
  • the falling object detection system includes a plurality of cameras 1 and 2 installed so as to photograph a road to be monitored, a monitoring center 3 that monitors a camera image and issues a command, and cameras 1 and 2 and a monitoring center 3. And a network 4 for connecting the two.
  • two cameras 1 and 2 will be described as representative, but a large number of cameras 1 and 2 can be installed along the road at regular intervals.
  • the cameras 1 and 2 are mounted with an image recognition device for detecting and tracking a fallen object in addition to the electric pan head and the electric zoom lens (described later). When a fallen object is detected, the camera 1 and 2 are connected to the monitoring center 3 via the network 4. Perform alarm notification.
  • the cameras 1 and 2 can be provided corresponding to each ETC roadside machine for the purpose of considering vehicles not compliant with ETC (Electronic Toll Collection System) 2.0.
  • the network 4 is a communication medium capable of IP communication.
  • an optical network such as GE-PON (Gigabit Ethernet-Passive Optical Network, Ethernet is a trademark) is used.
  • FIG. 2 is a functional block diagram of the cameras 1 and 2 of the falling object detection system of this example.
  • the cameras 1 and 2 have the same configuration, and include an imaging unit 11, a PTZ device 12, a video encoding unit 13, an image recognition unit 14, and a camera control unit 15.
  • the imaging unit 11 is a color camera body and outputs a digital signal of a captured video.
  • the PTZ device 12 is a generic name for a mechanism that pivotally supports the imaging unit 11 so as to be able to rotate the pan and tilt, a zoom lens of the imaging unit 11, and a mechanism that drives the same, and is a preset position that includes pan, tilt, and zoom values.
  • a plurality of preset positions are set so that all the sections of the road from the vicinity of the camera to the vicinity of both adjacent cameras can be photographed at a desired magnification.
  • the video encoding unit 13 encodes and outputs the digital signal from the imaging unit with the quality designated by the camera control unit 15.
  • the image recognition unit 14 is a processor that performs various image processing and recognition processing on the digital signal from the imaging unit. In addition to detecting an object (falling object) on the road, the image recognition unit 14 is associated with a normal traveling vehicle. You may perform recognition, reading of those car numbers, and the like.
  • the pan, tilt, and zoom values in the PTZ device 12 are also given to the image recognition unit 14 in order to perform coordinate conversion from the screen coordinates to the global coordinate system.
  • the camera control unit 15 manages the overall control of the camera, such as mode transition, and transmits encoded video to the network 4 and transmits / receives search requests to / from other cameras.
  • FIG. 3 shows a control flowchart by the camera control unit 24 of the cameras 1 and 2 of this example.
  • the camera control unit 24 checks whether or not there is a falling object search request from another camera, and if there is, branches to the request mode S26. This occurs when a fallen object is detected by another camera but is lost because the fallen object has moved, and a search request is made to a peripheral camera. If there is no search request, in S22, the image recognition unit 14 is searched for a fallen object within the angle of view currently captured by its own camera.
  • the vehicle information (vehicle image, color, size, etc.) obtained at the time or area in the vicinity where the fallen object was detected is used as a clue to identify the vehicle that dropped the fallen object as S23. Vehicle type, license plate number).
  • the mode is shifted to the tracking mode (FIG. 5), and the degree of danger of the fallen object and the presence / absence of the movement of the fallen object are determined and tracked.
  • the PTZ device 12 is controlled to move the angle of view to another preset position, and the process returns to the top of the flow. Since frequent position movement shortens the life of the PTZ device 12, the loop period of S21, S22 and S26 and the number of positions used can be set appropriately.
  • FIG. 4 is a flowchart of the request mode S26.
  • the mode is shifted to this mode.
  • the search request includes information on the degree of risk obtained when a fallen object is detected in addition to information for specifying the position of the request source.
  • the camera control unit 24 controls the PTZ device 12 to preset the angle of view in the direction of the requesting camera. Since the requesting camera is far away even if it is the next camera, this preset has an angle of view that includes the farthest point (disappearance point) of the road that can be seen, for example, and the zoom magnification is Set to maximum.
  • the image recognition unit 14 performs a fallen object search. After that, if no fallen object is found, it moves to another preset that has not been tried (S33), and it is determined whether all presets have been searched (S34). If it is not found even after searching all presets, the camera control unit 24 issues a lost alarm and ends the request mode in S35.
  • the image recognition unit 14 performs a tracking process of the falling object every time a frame is input in S36.
  • the tracking process is an iterative process in which an image similar to an object detected before that is detected again in the vicinity of the detected object and the position of the object is updated. During that time, the object is properly detected near the center of the screen.
  • the PTZ device 12 is controlled so that it is reflected at a high magnification.
  • the size and movement data of the fallen object is retained for a predetermined time and used to estimate the degree of danger. This iterative process is continued until a tracking failure is determined in S43 or until it is determined in S39 that it has been collected.
  • S37 it is determined whether or not the position of the fallen object (the center of gravity on the image) has moved as a result of the tracking being performed for a predetermined period in the iterative process returning from S43 or S39 to S36.
  • the camera control part 24 transmits the signal to that effect to the monitoring center 3 as S38.
  • processing and operation for transmitting position information to the collection vehicle are appropriately performed.
  • location information is also transmitted to a server or the like that manages them.
  • the monitoring center 3 if it is determined that the fallen object has been collected or is not a fallen object (lane regulation sign, construction / work machine, etc.), the monitoring center 3 notifies that and the request mode ends. To do. On the other hand, while the fallen object is not collected, the camera control unit 24 returns to S36 and continues the tracking process.
  • the image recognition unit 14 determines the risk level according to the risk level received from the requesting camera or the risk level uniquely estimated in S32.
  • the degree of risk will be described in detail with reference to FIG. If the degree of danger is high, it is determined in S41 that the fallen object has moved from the position detected by the requesting camera to the current position due to contact with the vehicle, and an accident occurrence alarm is issued. If the degree of risk is low, a visual confirmation alarm is issued in S42.
  • S43 based on the tracking result in S36, it is determined whether or not the fallen object is within the angle of view (whether or not the tracking is successful). As long as it is within the angle of view, the process branches to S42 and continues tracking. Usually, when tracking fails a plurality of times consecutively (a matching position cannot be found), it is determined that the angle of view is out of view. Since it may have been flipped off due to contact with the vehicle, the angle of view may be moved little by little in the vehicle traveling direction when it cannot be traced temporarily.
  • a search request is sent to another camera in S44, and the request mode ends.
  • This search request includes, if any, information on the risk of falling objects estimated in S42.
  • the request destination is a peripheral camera, and it may be narrowed down to a camera that exists in the traveling direction in the traveling lane where the falling object exists.
  • FIG. 5 is a flowchart of the tracking mode S24.
  • the image recognition unit 14 determines the risk of falling objects in response to the transition to the tracking mode.
  • a time-series image (moving image) of the falling object is acquired from the imaging unit 11 and the determination is performed. If the degree of danger is high, an alarm with a warning level “high” is issued (S52), and if the degree of danger is low, an alarm with a warning level “low” is issued (S53).
  • the subsequent processing is the same as S36 to S44 in the request mode of FIG. That is, the position of the fallen object is determined (S54), and if it does not move, the position information is transmitted to the collection vehicle (S55), and when the collection is completed, the tracking mode is terminated (S56).
  • an alarm corresponding to the risk determined in the previous stage is issued (S57).
  • an accident occurrence alarm is issued, and when the danger level is low and the fallen object moves, an alarm for visual confirmation is issued.
  • the fallen object is tracked (S58). If it is within the angle of view, the tracking is continued. If it moves outside the angle of view, a search request is sent to the surrounding cameras (S59). Exit tracking mode.
  • FIG. 6 is a diagram conceptually illustrating the risk estimation of the falling object of this example.
  • the risk is estimated from the size and movement information of the falling object.
  • the size of the object is the size of the object in the real space, and when the fallen object is large, it is estimated that the risk is high regardless of the material (attribute other than the size) of the object. If there is no movement regardless of the size of the fallen object, it is estimated that the object is heavy and the risk level is high. However, if a part of the fallen object is moving, it is assumed that a heavy object and a light object such as a blue sheet under the drum can have fallen together, and the risk is high. Finally, it is presumed that a small object with a movement as a whole is considered to be a plastic bag or the like and has a low risk. The degree of risk is calculated and held as a numerical value, and is determined in S40 or S51.
  • a statistical learning method using a feature amount or the like can be used as a method of detecting a fallen object by distinguishing it from a traveling vehicle or a shadow.
  • the feature amount for example, an orientation map obtained by quantizing an intensity degree gradient image in the HSV space, a histogram thereof, or the like can be used.
  • the area where most of the boundary is composed only of saturation (edges) is assumed to be an area illuminated by shadows or lights, and falling objects are detected from other newly appearing areas. sell.
  • the feature amount extracted from the traveling normal vehicle may be learned as incorrect answer data.
  • a classical method such as a background image difference method may be combined.
  • the background image updated during the fall object search at each preset position can be held and used continuously when returning to the same position again.
  • the flow and edge information in the image may be used as the feature amount for the purpose of detecting the moment of fall. After the fall, it is considered that the object is almost stationary once on the road. Therefore, an object detected many times at the same position within a predetermined time can be determined as a fallen object.
  • template matching or the like can be used in which a fallen object image is cut out from a frame in which the fallen object is detected and used as a template. Falling objects are temporarily hidden by the passing vehicle, but searching for template matching in the entire image increases the processing cost. Therefore, the processing cost can be reduced by using efficient active search, particle filter for probabilistic search, Mean Shift for local search, and the like.
  • the movement of the fallen object includes a movement of the whole fallen object (translational movement) and a local movement.
  • the former is obtained by template matching or the like, and the latter is a difference between the registered fallen object images (template matching residual).
  • the spatio-temporal FFT can be performed in two dimensions by converting the two-dimensional image data into a column vector. It is desirable that the value indicating the degree of local movement is normalized so as not to depend on the appearance or size of the fallen object.
  • FIG. 7 shows an example in which a falling object collides with a vehicle and the colliding vehicle drags the falling object without noticing.
  • a light object such as a blue sheet may have such a situation.
  • the peripheral camera is requested to search for a fallen object, but if it cannot be detected again, it returns to the normal detection mode.
  • the information (images, etc.) of the vehicle that has dragged the fallen object can be used as a specific clue by checking the video at the time of the accident occurrence alarm.
  • FIG. 8 is an example in which a fallen object moves to another position due to a collision with a vehicle.
  • the fallen object collides with the vehicle, the fallen object moves to raise an accident alarm and track the fallen object.
  • the tracking of the fallen object not only the tracking of the fallen object but also a vehicle that is stopped in the vicinity of the accident occurrence site can be detected as an abnormally stopped vehicle.
  • FIG. 9 shows an example in which a fallen object moves to another position due to a collision with the vehicle, and the vehicle stops in the monitoring range of another camera.
  • an alarm is raised and the camera 1 tracks the falling object.
  • the stopped vehicle is detected by the camera 2, it is detected as an abnormally stopped vehicle related to the accident from the relevance that the accident occurrence alarm is raised by the camera 1.
  • FIG. 10 shows an example in which a fallen object collides with a vehicle and cannot be detected again because it moves out of the road.
  • an accident occurrence alarm is raised, and when the surrounding camera cannot detect the falling object again, a loss-of-sight alarm is issued and the normal detection mode is restored.
  • an autonomous distributed cooperative system is formed in which a fallen object is detected at a place where a camera is installed, and the cameras track and cooperate with each other.
  • the monitoring center 3 only needs to be able to receive and cancel alarms, and does not require a large facility for centralized processing, and is easy to introduce.
  • the search request made in S59 is not limited to a request made from the camera, but may be made from a host system such as a traffic control system that grasps the occurrence of a traffic jam or an accident.
  • the video recognition unit 14 may perform road damage detection, obstacle recognition (detection), vehicle emergency stop detection, and the like using the explanation recognition / learning technique.
  • contrast correction, fluctuation correction, fluctuation correction, super-resolution processing, or the like may be performed as preprocessing.
  • the number of passing vehicles per predetermined time may be measured, and the traffic jam start point may be searched from the change.
  • the video recognition unit 14 can recognize the vehicle traveling direction and the traveling lane by optical flow or the like, and can issue alarms having different degrees of danger based on the positional relationship between the traveling lane and the falling object. For example, when an obstacle initially detected in the roadside zone moves to the traveling lane, an alarm with a higher severity is issued again.
  • FIG. 11 shows an example of a falling object detection system in which the image recognition unit 14 is processed by the image processing device 5 at the rear stage of the network 4 instead of the camera.
  • electrical equipment such as a connection box is often provided at the connection portion between the camera 1 and the network 4 to supply power, and the image processing apparatus 5 can be provided in this box.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Security & Cryptography (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

多数のカメラが連携して、長大な監視対象領域から落下物を検出し追跡する自律分散型のシステムが開示される。各カメラは、通常時は落下物を検知するモードで動作し、落下物を検知すると追跡モードへ移行する。検知モード、追跡モードにおいて異なる画像認識を使い分ける。追跡モードでは、落下物の危険度を判定し、危険度に応じた適切なアラームを発報する。さらに落下物を追跡し、落下物が画角外へ移動した場合には周辺のカメラに探索依頼を発行することで、複数のカメラが連動して落下物の探索を行う。危険度は、落下物の実空間での大きさと動き情報に基づくものであって、前記落下物が所定より大きいか動きのある部分の割合が所定より小さい場合には比較的高く推定される。

Description

落下物検知追跡システム
　本発明は落下物の検知と追跡を行うシステム、及びそのための画像処理技術に関するものである。
　従来、道路上の落下物を、カメラの映像から検出するものが知られる（例えば特許文献１乃至５参照）。従来の検知システムの多くは、道路に設定されたカメラ毎に独立して画像処理を行い、落下物の検知を行っている。落下物を検知すると、検知地点に落下物があることを監視センターにアラーム通知し、監視センターから回収車に出動命令を出すのが一般的である。
　また、渋滞等の発生イベントや入力イベントを、原因イベントと結果イベントに分類する交通管制システムが知られる（例えば特許文献６参照。）。
　また、周知の画像処理技術として、複数のカメラを使って物体を追尾する侵入物体監視方法（例えば特許文献７参照）や、カメラパラメータをキャリブレーションして取得画像座標系から図面座標系に変換する画像監視装置（例えば特許文献８参照）が知られる。
特許第５７２０３８０号公報 特許第５０２０２９９号公報 特開２００３－３０７７６号公報 特許第３５３６９１３号公報 特開平１１－３９５８９号公報 特開２０００－０５７４７４号公報 特許第３６４３５１３号公報 特開２００１－３１９２１８号公報
布施孝志、外２名，「高度撮影時系列画像を用いた車両動態認識手法の構築」，土木学会論文集，2003年7月20日，IV-60，No.737，p.159-173，インターネット＜URL：http://planner.t.u-tokyo.ac.jp/archive/web/research/fuse/vehicle_recognition.pdf＞
　従来の落下物検知システムには２つの問題がある。
　１つ目は、落下物を検知した際、その落下物の危険度については考慮していない点である。例えば、鉄パイプやドラム缶など重くて大きな落下物は危険度が高く、ビニール袋のように軽くて小さい落下物は危険度が低い。危険度を考慮しないと重大事故に繋がる危険な落下物の回収作業が遅れてしまうリスクがある。また、回収が必要ない落下物を回収に行ってしまうかもしれない。
　２つ目は、各カメラが独立して落下物検知を行っている点である。各カメラが独立して動作していると、カメラの台数に比例して必要な画像処理能力が増加する他、検知した落下物が車両と接触し、別カメラの監視範囲まで移動した場合、状況の把握に時間がかかってしまう恐れがある。
　本発明の目的は、落下物の危険度を考慮することで回収作業の初動を迅速にし、周辺カメラと連動することにより現場状況の把握をより効果的にする落下物検知システム等を提供することにある。
　本発明の一側面において、落下物検知システムは、複数台のカメラの映像から特定の物体を検知してアラームを発報する。複数台のカメラの夫々は、平常時、カメラの撮影画角を巡回的に制御しながら道路上の落下物を探索し、落下物を検出すると、その危険度に応じたアラームを発報するとともに追跡モードに入り、当該追跡モードでは、当該落下物の位置と大きさを検出して危険度を再評価し、当該落下物が移動したときは、それまでに再評価していた危険度に応じて、新たな発報を行い、当該落下物を画角から見失ったときは、他のカメラへ探索依頼を行う。
　また、複数台のカメラの夫々は、前記平常時、落下物の凡その位置若しくは危険度を示す情報を含む探索依頼を他のカメラから受信すると依頼モードに入り、当該落下物を探索する
　本発明によれば、危険度の高い落下物を迅速に回収でき、重大事故の発生を未然防止できる。さらに、落下物が移動する場合は、周辺カメラと連動して追跡を行うため、現場状況の把握が効果的になる。
実施例１の落下物検知システムの構成図。 カメラ２の機能ブロック図。 落下物検知システムの各カメラのフローチャート。 依頼モードのフローチャート。 追跡モードのフローチャート。 落下物の危険度判定方法。 落下物が引きずられる場合の動作例。 落下物が衝突により飛ばされる場合の動作例。 落下物が衝突により飛ばされる場合の他の動作例。 落下物が衝突により飛ばされ、再検知できない場合の本発明の動作例。 別体の画像処理装置に画像処理技術を搭載した場合の落下物検知システムの構成図。
　本発明の実施形態の落下物検知システムは、平常時は、カメラの撮影画角（プリセット）を巡回的に制御しながら、道路上の車両以外の物体（落下物）を探索する。物体を検出すると、その危険度に応じたアラームを発報するとともに追跡モードに入る。追跡モードでは、当該物体の位置や大きさや動きを観察し、危険度を再評価する。そして物体が車両との接触等により移動したときは、それまでに再評価していた危険度に応じて、新たな発報（例えば事故発生アラーム）を行う。
　図１は、本発明の実施例１に係る落下物検知システムの構成図である。落下物検知システムは、監視対象である道路を撮影するように設置された複数のカメラ１、２と、カメラの映像を監視して指令を出す監視センター３と、カメラ１、２と監視センター３を接続するネットワーク４とから構成される。
　カメラ１、２は、本例では２台に代表させて説明するが、道路沿いに一定の間隔で多数設置されうる。カメラ１、２は、電動雲台や電動ズームレンズの他、落下物検知及び追跡を行う画像認識装置を搭載し（後述）、落下物を検知した場合は、ネットワーク４を介して監視センター３にアラーム通知を行う。カメラ１、２は、ETC(Electronic Toll Collection System ) 2.0非準拠車両を考慮する目的で、各ETC路側機に対応して設けられうる。
　監視センター３は、アラーム通知があると、落下物の危険度に応じた顕示等を行い、オペレータの業務(出動命令を回収車に行う）等を支援する。画像認識により物体が追跡されているので、物体に適度にズームアップした映像が自動的に表示され得るものの、オペレータは任意にカメラまたは表示の様態を変更することができる。このとき、落下物が移動し事故が発生したと判断された場合に、回収車以外に、最寄りの消防（救急車）、警察などにも容易に連絡を行えるようにするとよい。
　ネットワーク４は、ＩＰ通信可能な通信媒体であり、例えばGE-PON（Gigabit Ethernet-Passive Optical Network、Ethernetは商標）等の光ネットワークが利用される。
　図２は、本例の落下物検知システムのカメラ１、２の機能ブロック図である。
　カメラ１、２は、同一構成であり、撮像部１１、ＰＴＺ装置１２、映像符号化部１３、画像認識部１４、カメラ制御部１５から構成される。
　撮像部１１は、カラーカメラ本体であり、撮像した映像のデジタル信号を出力する。
　ＰＴＺ装置１２は、撮像部１１をパン及びチルト旋回可能に軸支し駆動する機構と、撮像部１１のズームレンズ及びそれを駆動する機構の総称であり、パン、チルト、ズーム値からなるプリセットポジションを複数記憶し、カメラ制御部からの制御に従って撮像部１１をそのポジションに合せる。プリセットポジションは、当該カメラの付近を中心に、両隣のカメラ付近までの道路の区間を、望ましい倍率で全て撮影できるように、複数設定される。
　映像符号化部１３は、撮像部からのデジタル信号を、カメラ制御部１５から指定された品質でＭＰＥＧ符号化し出力する。
　画像認識部１４は、撮像部からのデジタル信号に、様々な画像処理、認識処理を行うプロセッサであり、道路上の物体（落下物）の検知の他、それに付随して、正常な走行車両の認識やそれらの車番の読み取り等を行ってもよい。ＰＴＺ装置１２におけるパン、チルト、ズーム値は、スクリーン座標からグローバル座標系への座標変換を行うために画像認識部１４にも与えられる。
　カメラ制御部１５は、モードの遷移等の、カメラの全体的な制御を司る他、ネットワーク４に符号化映像を送出したり、他のカメラとの間で探索依頼を送受したりする。
　図３に本例のカメラ１、２のカメラ制御部２４による制御フローチャートを示す。
　初めにＳ２１として、カメラ制御部２４は、他のカメラからの落下物探索依頼がないかをチェックし、ある場合は依頼モードＳ２６に分岐する。これは他のカメラで落下物を検知したが落下物が移動したことで見失い、周辺カメラに探索依頼を行ったときに発生する。
　探索依頼がない場合は、Ｓ２２として、自己のカメラで現在撮影している画角内に落下物がないかを画像認識部１４に探索させる。
　落下物がある場合は、Ｓ２３として、落下物を落とした車両を特定する手がかりとするため、落下物を検知した付近の時刻又は領域で得られた車両情報（車両の画像、色、大きさ、車種、ナンバープレートの車番）を保持する。
　その後、Ｓ２４として、追跡モード（図５）に移行し、落下物の危険度判定や落下物の移動の有無を判定し追跡を行う。
　一方、Ｓ２５で落下物がないと判定された場合は、ＰＴＺ装置１２を制御して画角を別のプリセットポジションに移動させ、フローの先頭に戻る。なお頻繁なポジション移動はＰＴＺ装置１２の寿命を縮めるため、このＳ２１、Ｓ２２及びＳ２６のループの周期や用いるポジションの数は、適切に設定され得る。
　図４は、依頼モードＳ２６のフローチャートである。他のカメラから探索依頼がある場合、このモードに移行する。探索依頼には、依頼元の位置を特定する情報の他、落下物を検知した際に得た危険度の情報が含まれる。
　まずＳ３１として、カメラ制御部２４は、ＰＴＺ装置１２を制御して依頼元カメラの方向に画角をプリセット移動する。依頼元カメラは、仮に隣のカメラであったとしてもかなり遠方であるので、このプリセットは、例えば見通すことができる道路の最遠点（消失点）を含むような画角であり、ズーム倍率は最大に設定される。
　その後Ｓ３２として、画像認識部１４が落下物探索を行う。
　その後落下物が見つからない場合は、未試行の別のプリセットへ移動し（Ｓ３３）、全プリセットを探索したか判定する（Ｓ３４）。
　全プリセットを探索しても見つからなかった場合、Ｓ３５として、カメラ制御部２４は見失いアラームを発報し依頼モードを終了する。
　Ｓ３２で落下物を見つけた場合、Ｓ３６として、画像認識部１４はフレームが入力されるたびに落下物の追跡処理を行う。追跡処理は、それ以前に検出された物体に類似する画像を、検出した付近で再び検出することによって、その物体の位置等を更新する繰り返し処理であり、その間、物体が画面の中央付近で適切な倍率で映るように、ＰＴＺ装置１２が制御される。また、落下物の大きさや動きのデータを所定時間保持し、危険度の推定に用いる。この繰り返し処理はＳ４３で追跡失敗が判断されるかＳ３９で回収済みと判断されるまで続けられる。
　次にＳ３７として、Ｓ４３又はＳ３９からＳ３６に戻る繰り返し処理で追跡を所定期間行った結果、落下物の位置（画像上の重心）が移動したかを判断する。
　移動しない場合は、Ｓ３８として、カメラ制御部２４はその旨の信号を監視センター３に送信する。監視センター３では、位置情報を回収車に送信するための処理や操作等が適宜為される。また、沿線に設置されたETC 2.0路側機を通じて運転支援情報として提供するために、それらを管理するサーバ等にも位置情報が送信される。
　次にＳ３９として、落下物を回収し終えた、或いは落下物ではない（車線規制の標識、工事・作業機械等）と判断されると、監視センター３からその旨が通知され、依頼モードは終了する。一方、落下物が未回収の間は、カメラ制御部２４はＳ３６に戻って追跡処理を続ける。
　Ｓ３７で落下物が移動すると判断していた場合、Ｓ４０として、画像認識部１４は依頼元カメラから受信した危険度若しくはＳ３２で独自に推定した危険度に応じて、危険度を判断する。危険度については図６で詳述する。
　危険度が高い場合は、Ｓ４１として、落下物が車両との接触によって、依頼元カメラが検出した位置から現在の位置に移動したと判定し、事故発生アラームを発報する。危険度が低い場合はＳ４２として目視確認アラームを発報する。
　次にＳ４３として、Ｓ３６の追跡結果に基づき、落下物が画角内にあるか否か（追跡に成功したか否か）を判定する。画角内にあるうちはＳ４２に分岐して追跡を継続する。通常、複数回連続して追跡に失敗した（マッチング位置が発見できない）ときに、画角外と判定される。車両との接触により弾き飛ばされた可能性もあるので、一時的に追跡できない時は、画角を少しずつ車両進行方向に移動させてもよい。
　画角外と判定された（画角外へ移動した若しくは遠方すぎて撮影できなくなった）場合には、Ｓ４４として、他のカメラに探索依頼を出し、依頼モードを終了する。この探索依頼には、もしあれば、Ｓ４２で推定した落下物の危険度の情報が含められる。依頼先は、周辺のカメラであり、落下物が存在した走行レーンでの進行方向に存在するカメラに絞ってもよい。
　図４のフローチャートにおいて、Ｓ３６～Ｓ４３で行われる追跡の処理の順序は任意である。
　図５は、追跡モードＳ２４のフローチャートである。
　初めにＳ５１として、画像認識部１４は、追跡モードに遷移したことに呼応して、落下物の危険度を判定する。その際、落下物の時系列画像（動画）を撮像部１１から取得して、判定を行う。
　危険度が高ければ、警告レベルが「高」のアラームを発報し（Ｓ５２）、危険度が低ければ、警告レベル「低」のアラームを発報する（Ｓ５３）。
　それ以降の処理は、図４の依頼モードのＳ３６～Ｓ４４と同様である。つまり、落下物の位置を判定し（Ｓ５４）、移動しない場合は回収車に位置情報を送信し（Ｓ５５）、回収が済むと追跡モードを終了する（Ｓ５６）。落下物が移動した場合、前段で判定した危険度に応じたアラームを発報する（Ｓ５７）。危険度が高く落下物が移動した場合は、事故発生アラームを発報し、危険度が低く落下物が移動した場合、目視確認を促すアラームを発報する。どちらのアラームを発報した後も落下物の追跡を行い（Ｓ５８）、画角内にある場合は追跡を継続し、画角外へ移動した場合は周辺カメラへ探索依頼を出し（Ｓ５９）、追跡モードを終了する。
　図６は、本例の落下物の危険度推定を概念的に示す図である。画像認識部１４は落下物を検知したとき、Ｓ４０やＳ５１においてその落下物の大きさと動き情報から危険度を推定する。物体の大きさは、物体の実空間での大きさであり、落下物が大きい場合は、その物体の材質（大きさ以外の属性）に関わらず危険度が高いと推定する。落下物の大きさに関わらず動きが無い場合、重い物体であり危険度が高いと推定する。ただし落下物の一部が動いているような場合、例えばドラム缶の下にブルーシート下敷きになっている等の重い物体と軽い物体が一緒に落下したと考え、危険度が高いと推定する。最後に全体的に動きがありかつ小さい物体はビニール袋などと考え危険度が低いと推定する。危険度は数値として算出および保持され、Ｓ４０やＳ５１で判定される。
　Ｓ２２やＳ３２等において、落下物を走行車両や影などと区別して検知する方法として、例えば、特徴量を用いた統計的学習手法などが利用できる。特徴量には、例えば、HSV空間での強度度勾配画像を量子化したオリエンテーションマップや、そのヒストグラム等が利用できる。境界の大部分が彩度(Saturation)のみの勾配（エッジ）で構成された領域は、影或いはライトで照らされた領域であると推定され、それ以外の新規出現領域から、落下物が検知されうる。なお、走行する通常車両から抽出される特徴量を、不正解データとして学習させておいてもよい。
　また、処理対象領域を減らすために、背景画像差分法などの古典手法を組み合わせてもよい。その場合、それぞれのプリセットポジションでの落下物探索の最中に更新した背景画像を保持しておき、再び同じポジションに戻った時にそれを継続的に使用することができる。
　また、落下物は車の進行方向に逆らって移動して落下すると考えられるため、落下の瞬間を検知する目的で画像中のフローやエッジ情報を特徴量として用いてもよい。落下後は、一旦は道路上でほぼ静止すると考えられるため、所定時間内に同じ位置で何度も検出された物体を、落下物と判断できる。
　Ｓ３６、Ｓ５８等において落下物を追跡する方法としては、落下物を検知したフレームから落下物の画像を切り出してテンプレートとするテンプレートマッチングなどが利用できる。落下物は通過する車両によって一時的に隠されるが、テンプレートマッチングを画像全体で探索すると処理コストが膨大になる。そのため、効率化したアクティブ探索や確率的探索のパーティクルフィルタ、局所探索を行うMean Shiftなどを利用することで処理コストを削減する。
　落下物の動きには、落下物全体の動き（並進運動）と局所的な動きとがあり、前者はテンプレートマッチング等により得られ、後者は位置合わせされた落下物画像の差分（テンプレートマッチング残差）や時空間ＦＦＴにより得られ、両者とも危険度の推定に用いられる。時空間ＦＦＴは２次元である画像データを列ベクトル化することで、２次元で行うことができる。局所的な動きの度合いを示す値は、落下物の見かけや大きさに依存しないように正規化されることが望ましい。
　図７、図８、図９、図１０に、トラックが荷物を落とした際の、本例の落下物検知システムの動作を模式的に示す。
　図７では、落下物が車両と衝突し、衝突した車両が気づかずに落下物を引きずっていく例である。たとえばブルーシートなどの軽い物体はこのような事態になる場合がある。まず、落下物を検知すると追跡モードに切り替わり、落下物の位置を監視する。落下物と車両が衝突し落下物が移動すると事故発生アラームを発報する。そして、衝突した車両が落下物を引きずっていくと落下物を検知したカメラは落下物を見失う。このとき、周辺カメラに落下物の探索依頼を行うが、再検知ができない場合は通常の検知モードに戻る。落下物を引きずっていった車両の情報（画像等）は、事故発生アラーム時の映像を確認することで特定の手がかりにすることができる。
　図８は、落下物が車両との衝突により別の位置に移動する例である。落下物と車両が衝突すると落下物が移動したことで事故発生アラームをあげ、落下物の追跡を行う。このとき、落下物の追跡だけでなく、事故発生現場の周辺で停止している車両がいれば、異常停止車両として検知されうる。
　図９は、落下物が車両との衝突により別の位置に移動し、車両が別カメラの監視範囲で停止した例である。落下物と車両が衝突すると事故発生アラームを上げ、カメラ１では落下物を追跡する。カメラ２では停止車両を検知したとき、カメラ１で事故発生アラームが上がった関連性から、事故に関係する異常停止車両として検知を行う。
　図１０は、落下物が車両と衝突し道路外へ移動することで再検知できない例である。落下物と車両が衝突すると事故発生アラームを上げ、周辺カメラでも落下物を再検知できないときは、見失いアラームを発報して通常の検知モードに戻る。このとき、管轄外の周辺道路や周辺施設には警戒するように連絡することが望ましい。
　以上説明した様に、この実施形態では、カメラが設置された場所で、落下物が検知され、カメラ同士が連携して追跡する、自律分散協調型システムを形成している。このようなシステムでは、監視センター３はアラームの受信や解除さえできればよく集中処理のための大がかりな施設が不要であり、導入が容易である。なお、Ｓ５９で行われる探索依頼は、カメラから行われるものに限らず、渋滞や事故の発生を把握している交通管制システムなど上位システムから行われてもよい。
　本発明の範囲は、これまで説明した実施例の構成を含むことができるがこれに限定されるものではない。
　例えば、映像認識部１４は、上記説明認識・学習技術等による道路の損傷検出、障害物の認識（検出）、車両の緊急停車の検出等を行ってもよい。また、監視カメラ２側で高解像度化されなった映像を解析するために、前処理として、コントラスト補正や揺らぎ補正、揺れ補正、超解像処理等を行ってもよい。
　また車両の速度を計測する代わりに、所定時間当たりの通過台数を計測し、その変化から渋滞始点を探索してもよい。
　また映像認識部１４は、オプティカルフロー等により車両進行方向や走行レーンを認識し、走行レーンと落下物の位置関係に基づいて、危険度の異なるアラームを発報することができる。例えば当初路側帯で検出された障害物が走行レーンに移動したときは、より高い深刻度のアラームを発報し直す。
　また、画像認識部１４は、カメラ自体に内蔵されるものに限定されない。図１１に、画像認識部１４をカメラではなく、ネットワーク４後段の画像処理装置５で処理する落下物検知システムの例を示す。通常、カメラ１等とネットワーク４との接続部には、接続箱等の電気設備が設けられて電源供給等を行うことが多く、この箱に画像処理装置５を設けることができる。
　１：カメラ、　　２：カメラ、　　３：監視センター、　　４：ネットワーク、　　５：画像処理装置、　　６：出動、　　７：落下物回収車、　　８：出動命令。

Claims (5)

  1. 複数台のカメラの映像から特定の物体を検知してアラームを発報する落下物検知追跡システムにおいて、
    　前記複数台のカメラの夫々は、平常時、カメラの撮影画角を巡回的に制御しながら道路上の落下物を探索し、落下物を検出すると、その危険度に応じたアラームを発報するとともに追跡モードに入り、
    　当該追跡モードでは、当該落下物の位置と大きさを検出して危険度を再評価し、当該落下物が移動したときは、それまでに再評価していた危険度に応じて、新たな発報を行い、当該落下物を画角から見失ったときは、他のカメラへ探索依頼を行う落下物検知追跡システム。
  2. 前記複数台のカメラの夫々は、前記平常時、落下物の凡その位置若しくは危険度を示す情報を含む探索依頼を他のカメラから受信すると依頼モードに入り、当該落下物を探索することを特徴とする請求項１記載の落下物検知追跡システム。
  3. 前記複数台のカメラの夫々は、電動雲台及び電動ズームレンズを備えたカラーカメラであることを特徴とする請求項２記載の落下物検知追跡システム。
  4. 前記危険度は、落下物の実空間での大きさと動き情報に基づくものであって、前記落下物が所定より大きいか動きのある部分の割合が所定より小さい場合に危険度が高いと推定し、それ以外の場合に危険度が低いと推定することを特徴とする請求項２記載の落下物検知追跡システム。
  5. 前記複数台のカメラの夫々は、前記落下物を検知した付近の時刻で得られた車両情報を保持することを特徴とする請求項４記載の落下物検知追跡システム。
PCT/JP2016/077237 2015-09-17 2016-09-15 落下物検知追跡システム Ceased WO2017047688A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017539964A JP6450852B2 (ja) 2015-09-17 2016-09-15 落下物検知追跡システム
US15/922,949 US10878584B2 (en) 2015-09-17 2018-03-16 System for tracking object, and camera assembly therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015184125 2015-09-17
JP2015-184125 2015-09-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/922,949 Continuation-In-Part US10878584B2 (en) 2015-09-17 2018-03-16 System for tracking object, and camera assembly therefor

Publications (1)

Publication Number Publication Date
WO2017047688A1 true WO2017047688A1 (ja) 2017-03-23

Family

ID=58289289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077237 Ceased WO2017047688A1 (ja) 2015-09-17 2016-09-15 落下物検知追跡システム

Country Status (3)

Country Link
US (1) US10878584B2 (ja)
JP (1) JP6450852B2 (ja)
WO (1) WO2017047688A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657628A (zh) * 2017-09-20 2018-02-02 中国科学院长春光学精密机械与物理研究所 一种实时彩色目标跟踪方法
WO2018180454A1 (ja) * 2017-03-28 2018-10-04 日本電産株式会社 移動体
CN108830884A (zh) * 2018-04-04 2018-11-16 西安理工大学 一种多视觉传感器协同目标跟踪方法
CN111179311A (zh) * 2019-12-23 2020-05-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
CN112287721A (zh) * 2019-07-23 2021-01-29 长沙智能驾驶研究院有限公司 坠落物追踪的方法、装置、计算机设备和存储介质
JP2021144600A (ja) * 2020-03-13 2021-09-24 株式会社日立国際電気 交通障害要因検知システム、および、判定基準の更新方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3776128B1 (en) * 2018-03-26 2024-02-21 Jabil Inc. Apparatus, system, and method of using depth assessment for autonomous robot navigation
FR3080701B1 (fr) * 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
US11126863B2 (en) * 2018-06-08 2021-09-21 Southwest Airlines Co. Detection system
JP7006527B2 (ja) 2018-07-09 2022-01-24 トヨタ自動車株式会社 車載装置および車両捜索システム
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US12330646B2 (en) 2018-10-18 2025-06-17 Autobrains Technologies Ltd Off road assistance
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
CN111163285A (zh) * 2018-11-08 2020-05-15 佳维技术有限公司 高空抛坠物监测方法及其系统、计算机可读存储介质
CN109886219A (zh) * 2019-02-26 2019-06-14 中兴飞流信息科技有限公司 抛洒物检测方法、装置及计算机可读存储介质
WO2020204735A1 (en) * 2019-03-29 2020-10-08 Motorola Solutions Inc. Method for sharing information for identifying a person or object
KR102869071B1 (ko) * 2019-06-17 2025-10-13 현대자동차주식회사 주행 안전 지원 시스템 및 방법
KR102267192B1 (ko) * 2019-08-14 2021-06-18 엘지전자 주식회사 물체 낙하 감지 장치 및 방법
KR102267184B1 (ko) * 2019-08-20 2021-06-21 엘지전자 주식회사 물건 낙하 감지 장치 및 방법
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN113630543B (zh) * 2020-05-06 2022-12-06 杭州海康威视数字技术股份有限公司 一种坠物砸人事件监测方法、装置、电子设备及监控系统
CN111754773A (zh) * 2020-07-01 2020-10-09 宁波工程学院 道路违法监控配置方法、系统、摄像头及存储介质
CN111669554A (zh) * 2020-07-03 2020-09-15 无锡职业技术学院 一种高空抛物的监测与保护系统
US12049116B2 (en) 2020-09-30 2024-07-30 Autobrains Technologies Ltd Configuring an active suspension
US12142005B2 (en) 2020-10-13 2024-11-12 Autobrains Technologies Ltd Camera based distance measurements
KR102422706B1 (ko) * 2020-11-27 2022-08-05 제이비 주식회사 지중 가스 배관의 위험물 접근 감시를 위한 드라이빙 패트롤 시스템
CN112804489B (zh) * 2020-12-31 2023-02-17 重庆文理学院 基于互联网+的智慧工地管理系统及方法
US12257949B2 (en) 2021-01-25 2025-03-25 Autobrains Technologies Ltd Alerting on driving affecting signal
TWI773112B (zh) * 2021-01-29 2022-08-01 財團法人資訊工業策進會 道路監測系統、裝置及方法
US12139166B2 (en) 2021-06-07 2024-11-12 Autobrains Technologies Ltd Cabin preferences setting that is based on identification of one or more persons in the cabin
US12423994B2 (en) 2021-07-01 2025-09-23 Autobrains Technologies Ltd Lane boundary detection
DE102021208204A1 (de) * 2021-07-29 2023-02-02 Robert Bosch Gesellschaft mit beschränkter Haftung Optische Fahrspurerkennung
US12110075B2 (en) 2021-08-05 2024-10-08 AutoBrains Technologies Ltd. Providing a prediction of a radius of a motorcycle turn
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US12335594B2 (en) 2021-10-21 2025-06-17 Raytheon Company Single camera time-delay to enforce data transmission compliance in real and near real time video
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US12293560B2 (en) 2021-10-26 2025-05-06 Autobrains Technologies Ltd Context based separation of on-/off-vehicle points of interest in videos
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene
KR102722558B1 (ko) * 2022-07-01 2024-10-29 주식회사 코너스 작업현장 위험감지 시스템
US12470605B2 (en) 2023-04-19 2025-11-11 Raytheon Company Enforcement of offline and real time data capture and transmission compliance using a ground truth map (GTM)
CN117237676B (zh) * 2023-11-09 2024-03-01 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091899A (ja) * 1996-09-13 1998-04-10 Oki Electric Ind Co Ltd 道路監視システム
JP2002230679A (ja) * 2001-01-30 2002-08-16 Natl Inst For Land & Infrastructure Management Mlit 道路監視システム及び道路監視方法
JP2006059184A (ja) * 2004-08-20 2006-03-02 Matsushita Electric Ind Co Ltd 画像処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5020299B1 (ja) 1970-12-21 1975-07-14
JPS5690934A (en) 1979-12-24 1981-07-23 Kawasaki Steel Corp Sintering method by control of volume of air sucked in sintering machine
JPH1139589A (ja) 1997-07-18 1999-02-12 Fuji Electric Co Ltd 交通監視装置および交通監視方法
JP3613316B2 (ja) 1998-08-13 2005-01-26 富士通株式会社 道路管制システム及び道路管制方法
JP3643513B2 (ja) * 2000-03-01 2005-04-27 株式会社日立国際電気 侵入物体監視方法および侵入物体監視装置
JP2001243477A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像による交通量解析装置
JP2001319218A (ja) 2000-02-29 2001-11-16 Hitachi Ltd 画像監視装置
JP3536913B2 (ja) 2000-09-22 2004-06-14 日本電気株式会社 落下物検知システム、落下物検知方法および記録媒体
JP2003030776A (ja) 2001-07-17 2003-01-31 Japan Radio Co Ltd 物体検知システムおよびその方法
WO2004008403A2 (en) * 2002-07-15 2004-01-22 Magna B.S.P. Ltd. Method and apparatus for implementing multipurpose monitoring system
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
EP2070774B1 (en) * 2007-12-14 2012-11-07 SMR Patents S.à.r.l. Security system and a method to derive a security signal
JP5216010B2 (ja) * 2009-01-20 2013-06-19 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
SG192881A1 (en) * 2011-02-21 2013-09-30 Stratech Systems Ltd A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
JP5866728B2 (ja) * 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091899A (ja) * 1996-09-13 1998-04-10 Oki Electric Ind Co Ltd 道路監視システム
JP2002230679A (ja) * 2001-01-30 2002-08-16 Natl Inst For Land & Infrastructure Management Mlit 道路監視システム及び道路監視方法
JP2006059184A (ja) * 2004-08-20 2006-03-02 Matsushita Electric Ind Co Ltd 画像処理装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180454A1 (ja) * 2017-03-28 2018-10-04 日本電産株式会社 移動体
CN110462546A (zh) * 2017-03-28 2019-11-15 日本电产株式会社 移动体
US11256917B2 (en) 2017-03-28 2022-02-22 Nidec Corporation Moving body for tracking and locating a target
CN107657628A (zh) * 2017-09-20 2018-02-02 中国科学院长春光学精密机械与物理研究所 一种实时彩色目标跟踪方法
CN108830884A (zh) * 2018-04-04 2018-11-16 西安理工大学 一种多视觉传感器协同目标跟踪方法
CN108830884B (zh) * 2018-04-04 2021-12-17 西安理工大学 一种多视觉传感器协同目标跟踪方法
CN112287721A (zh) * 2019-07-23 2021-01-29 长沙智能驾驶研究院有限公司 坠落物追踪的方法、装置、计算机设备和存储介质
CN111179311A (zh) * 2019-12-23 2020-05-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
JP2021144600A (ja) * 2020-03-13 2021-09-24 株式会社日立国際電気 交通障害要因検知システム、および、判定基準の更新方法

Also Published As

Publication number Publication date
US10878584B2 (en) 2020-12-29
JPWO2017047688A1 (ja) 2018-07-26
JP6450852B2 (ja) 2019-01-09
US20180204335A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6450852B2 (ja) 落下物検知追跡システム
KR101395089B1 (ko) 장애물 감지 시스템 및 방법
JP6584024B2 (ja) 監視システム
KR101852058B1 (ko) 듀얼 카메라를 이용한 돌발 상황 감지방법
KR101496390B1 (ko) 차량번호인식 시스템
CN104299420A (zh) 一种光触发式抓拍系统及方法
JP7459932B2 (ja) 遠隔監視システム、装置、方法、及びプログラム
KR102713540B1 (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치
WO2019230122A1 (ja) 検知装置及び検知システム
KR101322162B1 (ko) 차량 검지시스템을 이용한 차량 검지방법
KR101987184B1 (ko) Vms 및 cctv를 이용하여 위험상황을 관리하는 지능형 교통 시스템
KR101719799B1 (ko) 교통정보 감응형 cctv 모니터링 시스템
WO2024239371A1 (zh) 一种基于电单车头盔侦测处理交通事故的方法及电单车
Labayrade et al. Experimental assessment of the rescue collision-mitigation system
JP7384181B2 (ja) 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム
KR101053939B1 (ko) 고해상도 카메라를 이용한 차량 방범용 ｃｃｔｖ 시스템 및 그 영상처리 방법
KR20110110495A (ko) 복수의 촬영수단간 협업을 이용한 영상추적 시스템 및 영상추적 방법
JP2022016197A (ja) 監視システム
WO2023286463A1 (ja) 検出装置、検出システム及び検出方法
KR20180097197A (ko) 어안 렌즈 카메라를 이용한 차량 속력 측정 시스템 및 방법
KR20240086863A (ko) Cctv 지능화가 가능한 생활안전 분석유닛 및 이를 이용한 생활안전 시스템 및 그 운용 방법
JP2006329706A (ja) 距離測定装置及び距離測定方法
KR102895120B1 (ko) 프로젝터 일체형 cctv 기반의 보행자 안전 유도 시스템
KR102013072B1 (ko) 지능형 영상표출장치를 이용한 cctv위치알림 및 지역정보제공 장치
US20240389701A1 (en) Electric bicycle and method for detecting traffic accident using helmet of electric bicycle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16846559

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017539964

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16846559

Country of ref document: EP

Kind code of ref document: A1