[go: up one dir, main page]

WO2012124852A1 - 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법 - Google Patents

감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법 Download PDF

Info

Publication number
WO2012124852A1
WO2012124852A1 PCT/KR2011/002143 KR2011002143W WO2012124852A1 WO 2012124852 A1 WO2012124852 A1 WO 2012124852A1 KR 2011002143 W KR2011002143 W KR 2011002143W WO 2012124852 A1 WO2012124852 A1 WO 2012124852A1
Authority
WO
WIPO (PCT)
Prior art keywords
zone
monitoring
pixel
image
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2011/002143
Other languages
English (en)
French (fr)
Inventor
강인배
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ITXSECURITY CO Ltd
Original Assignee
ITXSECURITY CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ITXSECURITY CO Ltd filed Critical ITXSECURITY CO Ltd
Publication of WO2012124852A1 publication Critical patent/WO2012124852A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to a stereo camera apparatus capable of recognizing an object based on 3D depth map data obtained by using two cameras, and more particularly, to track a location of a recognized object.
  • a method of using a stereo camera, a method of using a laser scan, or a method of using a time of flight (TOF) The back is known.
  • stereo matching using a stereo camera is a hardware implementation of a process of recognizing a stereoscopic object using two eyes, and a pair of images obtained by photographing the same subject with two cameras. It is a method of extracting information about depth (or distance) in space through the interpretation process of.
  • binocular differences on the same Epipolar Line of images obtained from two cameras are calculated.
  • the binocular difference includes distance information, and the geometrical characteristic calculated from the binocular difference becomes the depth.
  • the binocular difference value is calculated in real time from the input image, three-dimensional distance information of the observation space can be measured.
  • stereo matching algorithm for example, "image matching method using a plurality of image lines” of the Republic of Korea Patent No. 0517876 or "binocular difference estimation method for three-dimensional object recognition” of the Republic of Korea Patent No. 0601958.
  • Applicant has already invented an image recognition apparatus capable of distinguishing and recognizing objects in a space, in particular, objects to be monitored by a manager using such a stereo matching algorithm, and Korean Patent Application Nos. 10-2010-0039302 and 10-. 2010-0039366 is pending.
  • movement information in the surveillance zone of the monitor may be divided into sensing information about points and lines acquired through a detector and sensing information about a space.
  • Detection of points or lines is the detection of the opening of a door or window, or the detection of an object on an infrared line using an infrared sensor.
  • the detection of the space is to detect specific changes in the space by using a method of detecting temperature change through infrared rays, and so on, and to monitor the detailed movement in the space by simply detecting whether an object moves in the space. This is not possible.
  • An object of the present invention is a stereo camera device for recognizing an object based on 3D depth map data acquired by using two cameras and simultaneously monitoring and tracking the position of the recognized object in space. To provide a monitoring system and method used.
  • the stereo camera device of the present invention for achieving the above object, a stereo camera having a first camera and a second camera for photographing the same surveillance zone to generate a pair of stereo digital image; And an image processor extracting an object moving in the surveillance zone while calculating distance information of each pixel through image processing on the stereo digital image output from the stereo camera.
  • the image processor is configured to set at least one monitoring zone defined by a pixel area set to belong to the image and a predetermined distance range for each pixel of the pixel area, and based on the calculated distance information for each pixel. If the extracted object is determined to be located in the surveillance zone includes a surveillance zone-alarm unit for generating a surveillance zone entry alarm and output to the external monitoring device.
  • the surveillance zone entry alert may preferably include an identifier of the surveillance zone in which the extracted object is located.
  • the image processor may include a distance information calculator configured to calculate 3D depth map data using the stereo digital image; An object extractor configured to extract an area of a moving object by comparing one of the stereo digital images with a reference background image; And an object recognizing unit for calculating an area or a representative length of the extracted object and recognizing the object as a monitoring target when the calculated area or representative length of the object corresponds to a preset range.
  • the stereo camera device and a monitoring device for receiving an alarm from the stereo camera device to display to the administrator in the form of a digital map.
  • a method for monitoring a stereo camera device including: generating a pair of stereo digital images using two cameras photographing the same surveillance zone; Extracting an object moving in the surveillance zone while calculating distance information of each pixel through image processing on the stereo digital image output from the stereo camera; Setting at least one surveillance zone defined by a pixel area set to belong to the image and a preset distance range for each pixel of the pixel area; And generating a surveillance zone entry alarm when the extracted object is determined to be located in the surveillance zone based on the calculated pixel-by-pixel distance information, and outputting the generated surveillance zone alert to an external monitoring apparatus.
  • the stereo camera device may provide location information on the space of the object in addition to providing a simple alarm for recognition of the object.
  • an alarm may be generated by detecting an object moving on a specific surveillance zone, and the location and movement path of the corresponding surveillance zone may be tracked.
  • This feature enables a stereo camera to provide intelligent surveillance beyond the function of a surveillance sensor, and provide stereoscopic information to a manager beyond a simple alarm level, depending on the device coupled to the stereo camera device of the present invention.
  • the position information on the surveillance space generated by the present invention is provided in units of detailed surveillance zones, the position information can be displayed on the digital drawing even with a lighter system resource, such as a portable monitoring apparatus.
  • FIG. 1 is a block diagram of a surveillance system including a stereo camera device according to an embodiment of the present invention
  • FIG. 3 is a view showing the monitoring zone (S) and the monitoring zone (L1, L2, L3) according to an embodiment of the present invention
  • FIG. 4 is an example of an image photographing the surveillance zone S of FIG. 3;
  • FIG. 6 is a view provided to explain a method of extracting a central axis of an object.
  • the surveillance system 100 of the present invention includes a stereo camera device 130 and a monitoring device 150 connected through a predetermined network 110 to monitor a moving subject in a three-dimensional space, and to alert an alarm. Can be output and its location displayed on the digital drawing.
  • This monitoring system 100 can be used not only for security purposes, but also for any application that tracks the location of a specific object entering a specific space and needs the location information.
  • the stereo camera device 130 is installed in a specific surveillance zone for crime prevention and other purposes, and the monitoring device 150 is preferably located in a manager area away from the surveillance zone.
  • the network 110 may be an internal dedicated communication network or a commercial public network such as the Internet, a mobile communication network, a public line network (PSTN), or a wired as well as a wireless network.
  • PSTN public line network
  • the stereo camera device 130 and the monitoring device 150 should include interface means for connecting to the network 110.
  • the stereo camera device 130 includes a stereo camera 131 and an image processor 140, and may recognize an object moving on the surveillance area to determine whether the object is a specific monitoring target.
  • the stereo camera 131 includes a first camera 133, a second camera 135, and an image receiver 137.
  • the first camera 133 and the second camera 135 are a pair of cameras spaced apart from each other to photograph the same surveillance zone, and are called a stereo camera.
  • the first camera 133 and the second camera 135 output an analog (or digital) stereo video signal of the surveillance zone to the image receiver 137.
  • the image receiver 137 converts a video signal (or image) of a continuous frame input from the first camera 133 and the second camera 135 into a digital image, and synchronizes the frame to the image processor 140 in synchronization with the frame. to provide.
  • the image processor 140 extracts an area of an object moving on a shooting area (monitoring area) from a pair of digital image frames output from the image receiver 137 to determine whether the object is of interest, and the stereo camera device 130.
  • the above determination process may be performed in real time on all frames of the image (video) which are continuously input from the.
  • the image processor 140 includes a distance information calculator 141, an object extractor 143, an object recognizer 145, an object tracker 147, and a monitoring zone-alarm 149.
  • a distance information calculator 141 the distance information calculator 141, the object extractor 143, the object recognizer 145, the object tracker 147, and the monitoring zone-alarm 149 will be described with reference to FIGS. 2 to 4.
  • FIGS. 2 to 4. Operations of the distance information calculator 141, the object extractor 143, the object recognizer 145, the object tracker 147, and the monitoring zone-alarm 149 will be described with reference to FIGS. 2 to 4.
  • the first camera 133 and the second camera 135 are arranged to photograph a specific surveillance zone.
  • the image receiver 137 converts the analog image signal into a digital image signal and then provides the image processor 140 in synchronization with a frame. (Step S201).
  • the distance information calculator 141 calculates 3D depth map data including distance information of each pixel from a pair of digital images received in real time from the image receiver 137.
  • the object extractor 143 and the object recognizer 145 extract a region of a moving object from at least one image of a pair of digital images input through the image receiver 137.
  • the object extractor 143 first extracts the moving object using a conventionally known image processing technique. Extraction of a moving object is performed by obtaining a differential image obtained by subtracting a basic background image from a newly input image.
  • the object extractor 143 and the object recognizer 145 determine whether the extracted object is an object of a type monitored by the manager. For example, it is determined whether the object is a person, a car, or an animal, or if it is a person, it is determined whether or not the person is over a certain height. If the monitoring target is a person, the object extraction unit 143 and the object recognition unit 145 extracts and recognizes an object that is specifically determined as a person.
  • the object extraction unit 143 detects the outline of the object from the difference image.
  • the object recognition unit 145 calculates the area of the object or the representative length of the object by using the depth map data calculated by the object line extracting unit 143 and the outline of the object extracted by the distance information calculating unit 141.
  • the object recognition unit 145 may determine whether the extracted object is an object of interest by determining whether the calculated area or representative length of the object falls within a preset area or length range of the object of interest.
  • the object tracking unit 147 tracks the recognized movement of the object of interest and provides the location information to the monitoring zone-alarm unit 149.
  • image processing techniques already known in the art regarding such motion tracking, and such a method can be used as appropriate.
  • the operation of the monitoring zone-alarm section 149 below is the distance information calculation unit 141, the object extraction unit 143 and the object recognition unit 145 It is also possible to repeat the operation described above with respect to the stereo image input in real time from the image receiving unit 137.
  • the monitoring zone-alarm unit 149 generates an alarm and outputs the alarm to the monitoring device 150 once the object of interest appears in the image.
  • the alarm may correspond to an alarm in a pure sense including information on the surveillance zone in which the stereo camera device 130 is installed and information indicating that the monitored object appears in the surveillance zone.
  • FIG. 3 shows a surveillance zone S in which the stereo camera device 130 of the present invention is installed, and a plurality of surveillance zones L1, L2, and L3 existing in the surveillance zone S.
  • FIG. 3 is an example of an image P photographing the surveillance zone S of FIG. 3.
  • the surveillance zone-alarm unit 149 monitors the image of FIG. 4. Generate an alert when the target object appears in m1.
  • the monitoring zone-alarm 149 determines that the object being tracked enters the special monitoring zone based on the information provided by the object tracking unit 147, the monitoring zone-alarm unit 149 generates the monitoring zone entry alarm and together with the location information. Output to the monitoring device 150.
  • the surveillance zone S is determined according to the installation position of the stereo camera device 130 and the angle of view of the camera device 130, while the surveillance zones L1, L2, and L3 are surveillance zones. It is set by the administrator within (S).
  • the monitoring zones L1, L2, and L3 are specified by pixel ranges L1-1, L2-2, and L3-3 indicating a corresponding zone in the image, and a distance range from the stereo camera device 130 to the corresponding zone. do.
  • the pixel range L1-1 shown in FIG. 4 and the distance range d1 to d2 are specified.
  • the pixel ranges of the second monitoring zone L2-1 and L2-2 overlap somewhat, but the distance ranges are different, and thus may be distinguished from each other.
  • the monitoring zone-alarm unit 149 may obtain the distance to the object by grasping the distance information for each pixel based on the depth map data provided from the distance information calculator 141.
  • the monitoring zone-alarm unit 149 determines that the object is located at m1 when the object being tracked from the object tracking unit 147 is in the L1-1 pixel range and the distance to the object is in the range d1 to d2.
  • the monitoring zone entry alarm is generated and output to the monitoring device 150.
  • the watched zone entry alert may basically include information (eg, watched zone identifier) and detection time information about a watched zone to which an object enters from a plurality of watched zones.
  • the surveillance zone entry information may include the image itself of at least one frame in which the corresponding sensing moment is captured.
  • the monitoring zone-alarm unit 149 is also provided.
  • the monitoring zone entry information is output to the monitoring device 150.
  • Object tracking and monitoring of the stereo camera device 130 of the present invention is performed by the above method.
  • the monitoring device 150 of the present invention may be connected to the stereo camera device 130 through the network 110, and may receive various alarms from the stereo camera device 130.
  • the monitoring device 150 may correspond to not only a general computer but also a mobile phone, a PDA, a smart phone, and other dedicated terminals carried by an individual.
  • the monitoring device 150 may include a display unit (b) to visually check whether the object enters a specific monitoring zone in the monitoring zone in the case of the monitoring zone entry warning.
  • the monitoring device 150 may visually display the movement of the object in the surveillance area to the manager using an alarm provided by the stereo camera device 130.
  • the monitoring device 150 uses an alarm provided by the monitoring zone-alarm unit 149 while preserving a digital map as shown in FIG. 3 in which the monitoring zone S and the monitoring zones L1, L2, and L3 are displayed. 3 may be displayed to the user.
  • Information of the degree of this drawing is useful because it can be a small enough capacity to be transmitted to the portable monitoring device 150 by wire or wireless, and to be processed and visually displayed by the portable monitoring device 150.
  • the monitoring apparatus 150 further includes a voice guidance processing unit (not shown), and when the object approaches a specific surveillance zone, a predetermined guidance message (eg, through a speaker (not shown) installed in the surveillance zone S) (eg, will be able to output "step back from ooo").
  • a voice guidance processing unit not shown
  • a predetermined guidance message eg, through a speaker (not shown) installed in the surveillance zone S
  • the monitoring device 150 may retain the function of the monitoring zone-alarm unit 149 of the stereo camera device 130.
  • the monitoring apparatus 150 may further include a monitoring zone unit (not shown) that determines whether the object enters a specific monitoring zone by using information calculated and provided by the object tracking unit 147.
  • the actual area per pixel (hereinafter, referred to as a 'unit area' of a pixel) at a distance (do) at which the object is extracted in operation S203 is obtained, and then the pixel included in the outline of the object is calculated. This is done by multiplying numbers.
  • the actual area M corresponding to the entire frame at the maximum depth D and the actual area m corresponding to the entire frame at the position do of the extracted object based on the existing background image ( do) is displayed.
  • the actual area m (do) corresponding to the entire frame at a distance do where the object is located may be obtained as in Equation 1 below.
  • M is an actual area corresponding to the entire frame (eg, 720 ⁇ 640 pixels) at the maximum distance do based on the existing background image.
  • Equation 2 the total number of pixels. According to Equation 2, it can be seen that m p (do) depends on the distance do to the corresponding object confirmed from the distance information of the 3D depth map data.
  • the area of the object can be obtained as shown in Equation 3 by multiplying the unit area m p (do) of the pixel by the number qc of the pixels included in the outline.
  • qc is the number of pixels included in the object.
  • the object recognizing unit 145 extracts a media axis of an object having a width of 1 pixel by applying a skeletal or thinning algorithm to the object extracted by the object extracting unit 143.
  • a skeletal or thinning algorithm e.g., a Medial Axis Transform (MAT) algorithm or Zhang Suen algorithm can be applied.
  • the central axis a of the object is a set of points having a plurality of boundary points among the respective points (or pixels) in the object R as shown in FIG. 6.
  • the boundary point refers to a point closest to the point in the object among the points on the outline B, and the points b1 and b2 on the outline become the boundary point of the point P1 in the object R. Therefore, the central axis algorithm is a process of extracting points having a plurality of boundary points and may be expressed as in Equation 4 below.
  • P ma is a central axis represented by a set of x
  • x is a point present in the object R
  • b min (x) is the number of boundary points of the point x.
  • the central axis is a set of points x whose number of boundary points is greater than one.
  • the structure of the skeleton may change somewhat according to a method of obtaining a distance from an internal point x to an arbitrary pixel on the outline (for example, 4-Distance, 8-Distance, Euclidean Distance, etc.). .
  • the center line may be extracted by extracting a peak value of the Gaussian value for the object.
  • the representative length of the object is obtained using the depth map data.
  • the representative length of the object is a value calculated from an image as an actual length of an object set to represent the object, and may correspond to an actual length of a central axis, an actual width of an object, or an actual height of an object. However, the representative length of the object is affected by the position of the camera, the shooting angle, and the characteristics of the shooting area.
  • the calculation of the actual length of an object is a method of obtaining the actual length per pixel (hereinafter referred to as the 'unit length' of a pixel) at a distance (do) where the object is located, and then multiplying the number of pixels representing the object. Is done.
  • the number of pixels representing the object may correspond to the number of pixels forming the central axis, the number of pixels to be the width or height of the object.
  • the width or height of the object as the number of pixels representing the object, can be obtained through the range of the x-axis coordinate or the y-axis coordinate of the object area, and the length of the central axis is, for example, the number of pixels included in the central axis. It can be obtained by adding.
  • the unit length of a particular pixel varies from pixel to pixel (exactly depending on the depth of the pixel), and can be obtained as follows with reference to FIG. 5.
  • the size of the image frame is 720x640 pixels.
  • the corresponding actual length L (do) is indicated.
  • the actual length L (do) corresponding to the vertical axis (or the horizontal axis) of the entire frame at the depth do where the object is located may be obtained as in Equation 5 below.
  • L (do) is the actual length corresponding to the vertical axis (or horizontal axis) of the entire frame at the depth do
  • Lmax is the vertical axis (or horizontal axis) of the entire frame at the maximum depth D based on the existing background image. The corresponding actual length.
  • L p (do) is the unit length of the pixel included in the object region located at the depth do
  • Qy is the number of pixels along the vertical axis of the entire frame.
  • the object recognition unit 145 obtains the representative length of the object.
  • the representative length of the object may be calculated by Equation 7 by multiplying the unit length L p (do) of the pixel by the number qo of the pixels representing the object.
  • qo is the number of pixels representing the object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치 및 그 방법이 개시된다. 본 발명에 의한 스테레오 카메라 장치는 특정 감시 구역 내를 촬영한 스테레오 영상으로부터 움직이는 감시대상 객체를 추출한 다음, 추출된 객체의 움직임을 추적하면서 해당 객체가 특정 감시존으로 진입하는 경우에 경보를 생성하여 모니터링 장치에게 제공할 수 있다.

Description

감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
본 발명은, 2개의 카메라를 이용하여 획득한 3D 심도 맵(Depth Map) 데이터를 기반으로 사물을 인식할 수 있는 스테레오 카메라 장치에 관한 것으로서, 더욱 상세하게는 인식된 객체의 위치를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법에 관한 것이다.
영상으로부터 3차원 공간상의 심도 정보(Depth Map), 다시 말해 3차원 공간상의 피사체와의 거리를 얻기 위한 방법에는, 스테레오 카메라를 이용하는 방법, 레이저 스캔을 이용하는 방법, TOF(Time of Flight)를 이용하는 방법 등이 알려지고 있다.
이 중에서, 스테레오 카메라를 이용하는 스테레오 정합(Stereo Matching)은, 사람이 두 눈을 이용하여 입체를 인지하는 과정을 하드웨어적으로 구현한 것으로서, 동일한 피사체를 두 개의 카메라로 촬영하여 획득한 한 쌍의 이미지에 대한 해석과정을 통해 공간에서의 깊이(또는 거리)에 대한 정보를 추출하는 방법이다. 이를 위해, 두 개의 카메라로부터 획득한 영상의 동일한 에피폴라 선(Epipolar Line)상의 양안차를 계산한다. 양안차는 거리 정보를 포함하며, 이러한 양안차로부터 계산된 기하학적 특성이 깊이(depth)가 된다. 입력 영상으로부터 실시간으로 양안차값을 계산하면 관측 공간의 삼차원 거리 정보 등을 측정할 수 있다.
스테레오 정합 알고리즘으로 알려진 것에는, 예컨대, 대한민국 등록특허 제0517876호의 "복수 영상 라인을 이용한 영상 정합 방법"이나, 대한민국 등록특허 제0601958호의 "3차원 객체 인식을 위한 양안차 추정방법"이 있다.
출원인은 이미 이러한 스테레오 정합 알고리즘을 이용하여 공간 상의 사물, 특히 관리자의 감시 대상이 될만한 사물을 구별하여 인식할 수 있는 영상인식장치에 관한 발명을 하여 대한민국 특허출원 제10-2010-0039302호 및 10-2010-0039366호를 출원 중에 있다.
출원인의 이러한 카메라 장치 내지 영상인식장치들은 다양한 기능을 수행하면서 이전에 경험하지 못한 정보를 생성할 수 있음에 착안하여, 출원인은 그러한 정보에 대한 다양한 응용을 시도할 필요를 느끼고 있다.
예컨대, 사무실, 주택 또는 박물관 등에 설치하여 침입자를 감시하는 종래의 감시 시스템의 경우, 감시자의 감시구역 내 이동정보는 감지기를 통해 획득되는 점 내지 선에 대한 감지정보와 공간에 대한 감지정보로 구분될 수 있다. 점 또는 선에 대한 감지는 문 또는 창문의 열림을 감지하거나 적외선 센서를 이용하여 적외선 라인 상의 물체를 감지하는 것이다.
그러나 공간에 대한 감지는 적외선 등을 통한 온도 변화 등을 감지하는 방법을 이용하여 공간 내의 특정 변화를 감지함으로써, 단순히 공간에 임의의 물체가 움직이는지를 감지하는 것으로서 그 공간 내에서의 세부적인 움직임을 감시할 수 없는 상황이다.
본 발명의 목적은 2개의 카메라를 이용하여 획득한 3D 심도 맵(Depth Map) 데이터를 기반으로 사물을 인식함과 동시에 인식된 사물의 공간상 위치를 모니터링하고 추적할 수 있도록 하는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 스테레오 카메라 장치는, 동일한 감시구역을 촬영하는 제1 카메라와 제2 카메라를 구비하여 한 쌍의 스테레오 디지털 영상을 생성하는 스테레오 카메라; 및 상기 스테레오 카메라에서 출력되는 스테레오 디지털 영상에 대한 영상처리를 통해 각 픽셀의 거리정보를 계산하면서 상기 감시구역 내에서 움직이는 객체를 추출하는 영상처리부를 포함한다.
여기서, 상기 영상처리부에는, 상기 영상에 속하도록 설정된 픽셀 영역과 상기 픽셀 영역의 각 픽셀에 대해 기 설정된 거리범위로 정의되는 적어도 하나의 감시존을 설정하고, 상기 계산된 픽셀별 거리정보를 기초로 상기 추출된 객체가 상기 감시존에 위치하는 것으로 판단된 경우에 감시존 진입 경보를 생성하여 외부의 모니터링 장치로 출력하는 감시존-경보부를 포함한다.
실시 예에 따라, 상기 감시존 진입 경보에는 상기 추출된 객체가 위치한 감시존의 식별자를 포함하는 것이 바람직하다.
여기서, 상기 영상처리부는, 상기 스테레오 디지털 영상을 이용하여 3차원 심도 맵 데이터를 계산하는 거리정보계산부; 상기 스테레오 디지털 영상 중 하나를 기준 배경영상과 비교하여 움직이는 객체의 영역을 추출하는 객체추출부; 및 상기 추출된 객체의 면적 또는 대표 길이를 계산하고, 상기 계산된 객체의 면적 또는 대표 길이가 기 설정된 범위에 해당하는 경우 상기 객체를 감시 대상으로 인식하는 객체인식부를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 감시 시스템은, 상기 스테레오 카메라 장치와, 상기 스테레오 카메라 장치로부터 경보를 제공받아 관리자에게 디지털 지도 형태로 표시하는 모니터링 장치를 포함한다.
본 발명의 또 다른 실시 예에 따른 스테레오 카메라 장치의 감시 방법은, 동일한 감시구역을 촬영하는 두 개의 카메라를 이용하여, 한 쌍의 스테레오 디지털 영상을 생성하는 단계; 상기 스테레오 카메라에서 출력되는 스테레오 디지털 영상에 대한 영상처리를 통해 각 픽셀의 거리정보를 계산하면서 상기 감시구역 내에서 움직이는 객체를 추출하는 단계; 상기 영상에 속하도록 설정된 픽셀 영역과 상기 픽셀 영역의 각 픽셀에 대해 기 설정된 거리범위로 정의되는 적어도 하나의 감시존을 설정하는 단계; 및 상기 계산된 픽셀별 거리정보를 기초로 상기 추출된 객체가 상기 감시존에 위치하는 것으로 판단된 경우에 감시존 진입 경보를 생성하여 외부의 모니터링 장치로 출력하는 단계를 포함하게 된다.
본 발명의 스테레오 카메라 장치는 감시 구역에 출현하여 이동하는 물체를 인식한 경우에 해당 물체의 인식에 대한 단순한 경보를 제공하는 것을 넘어, 해당 물체의 공간 상의 위치 정보를 제공할 수 있다.
이에 따라, 특정 감시구역 상에서 움직이는 물체를 감지하여 경보를 발생시킬 수 있을 뿐만 아니라, 해당 물체의 감시구역 상의 위치와 이동경로를 추적할 수 있다.
이러한 특징은 스테레오 카메라가 단순히 감시용 센서의 기능을 넘어 지능형 감시를 가능하게 하여, 본 발명의 스테레오 카메라 장치에 결합하는 장치에 따라서는 단순 경보 수준을 넘어 입체적인 정보를 관리자에게 제공할 수 있다.
또한, 본 발명에 의해 생성되는 감시공간 상의 이동정보는 세부 감시존 단위로 제공되므로, 휴대용 모니터링 장치처럼 보다 가벼운 시스템 자원으로도 그 위치 정보를 디지털 도면상에 표시할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 스테레오 카메라 장치를 포함하는 감시 시스템의 블록도,
도 2는 본 발명의 스테레오 카메라 장치의 경보 출력방법의 설명에 제공되는 흐름도,
도 3은 본 발명의 일 실시 예에 따라 감시 구역(S) 및 감시존(L1, L2, L3)을 표시한 도면,
도 4는 도 3의 감시구역(S)을 촬영한 영상의 일 예,
도 5는 객체의 면적 계산방법의 설명에 제공되는 도면, 그리고
도 6은 객체의 중심축의 추출방법의 설명에 제공되는 도면이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1을 참조하면, 본 발명의 감시 시스템(100)은 소정의 네트워크(110)를 통해 연결된 스테레오 카메라 장치(130)와 모니터링 장치(150)를 포함하여 3차원 공간상에서 움직이는 피사체를 감시하여, 경보를 출력하고 그 위치를 추적하여 디지털 도면 상에 표시할 수 있다. 이러한 감시 시스템(100)은 방범용으로 사용될 수 있을 뿐만 아니라, 특정 공간 내에 진입한 특정 객체의 위치를 추적하고 그 위치 정보를 필요로 하는 어떠한 응용 분야에도 사용될 수 있다.
스테레오 카메라 장치(130)는 방범 기타 목적의 특정 감시구역 내에 설치되고, 모니터링 장치(150)는 해당 감시구역으로부터 떨어진 관리자 영역에 위치하는 것이 바람직하다.
네트워크(110)는 내부 전용 통신망일 수도 있고 인터넷, 이동통신망, 공중회선망(PSTN)과 같은 상용의 공중망일 수도 있으며, 유선뿐만 아니라 무선 네트워크도 가능하다. 도 1에 도시되지는 않았으나, 스테레오 카메라 장치(130)와 모니터링 장치(150)는 네트워크(110)에 접속하기 위한 인테페이스 수단을 포함해야 한다.
스테레오 카메라 장치(130)는 스테레오 카메라(131)와 영상처리부(140)를 포함하며, 감시 구역상에서 움직이는 객체를 인식하여 해당 객체가 특정 감시 대상인지 여부를 판단할 수 있다. 스테레오 카메라(131)는 제1 카메라(133), 제2 카메라(135) 및 영상수신부(137)를 포함한다.
제1 카메라(133) 및 제2 카메라(135)는 동일한 감시 구역을 촬영하도록 상호 이격되어 설치된 한 쌍의 카메라들로서, 소위 스테레오 카메라라고 한다. 제1 카메라(133) 및 제2 카메라(135)는 감시 구역을 촬영한 아날로그(또는 디지털) 스테레오 영상신호를 영상수신부(137)로 출력한다.
영상수신부(137)는 제1 카메라(133) 및 제2 카메라(135)에서 입력되는 연속적인 프레임의 영상신호(또는 이미지)를 디지털 영상으로 변환하고, 그 프레임 동기를 맞추어 영상처리부(140)에게 제공한다.
영상처리부(140)는 영상수신부(137)로부터 출력되는 한 쌍의 디지털 영상 프레임으로부터 촬영영역(감시 구역) 상에서 움직이는 객체의 영역을 추출하여 해당 객체가 관심 대상인지를 판단하며, 스테레오 카메라 장치(130)로부터 연속적으로 입력되는 영상(동영상)의 모든 프레임에 대해 실시간으로 이상의 판단과정을 수행할 수 있다.
이상의 처리를 위해, 영상처리부(140)는 거리정보계산부(141), 객체추출부(143), 객체인식부(145), 객체추적부(147) 및 감시존-경보부(149)를 포함한다. 이하에서는 도 2 내지 도 4를 참조하여, 거리정보계산부(141), 객체추출부(143), 객체인식부(145), 객체추적부(147) 및 감시존-경보부(149)의 동작을 설명한다.
제1 카메라(133) 및 제2 카메라(135)는 특정 감시구역을 촬영하도록 배치된다. 제1 카메라(133) 및 제2 카메라(135)가 아날로그 영상신호를 생성하면, 영상수신부(137)가 해당 아날로그 영상신호를 디지털 영상신호로 변환한 다음 프레임 동기를 맞추어 영상처리부(140)에게 제공한다(S201 단계).
<객체 추출 및 인식 단계: S203>
거리정보계산부(141)는 영상수신부(137)로부터 실시간으로 입력받는 한 쌍의 디지털 영상으로부터 각 픽셀의 거리정보를 포함하는 3차원 심도 맵(3D Depth Map) 데이터를 계산한다.
객체추출부(143)와 객체인식부(145)는 영상수신부(137)를 통해 입력되는 한 쌍의 디지털 이미지 중 적어도 하나의 이미지로부터 움직이는 객체의 영역을 추출한다. 앞서 설명한 바와 같이, 스테레오 카메라를 이용한 객체 인식에 관하여 출원인은 이미 특허출원 제10-2010-0039302호 및 제10-2010-0039366호를 한 바 있다. 이에 의하면, 객체추출부(143)는 종래의 알려진 영상처리 기법을 이용하여 먼저 움직이는 객체를 추출한다. 움직이는 객체의 추출은 새롭게 입력되는 영상에서 기본 배경영상을 뺀 차 영상(Different Image)를 구하는 방법으로 이루어진다.
<감시 대상 객체인지 판단: S205>
객체추출부(143)와 객체인식부(145)는 추출된 객체가 관리자의 감시 대상 종류의 객체인지 여부를 판단한다. 예컨대, 해당 객체가 사람인지 자동차인지 동물인지를 판단하거나, 사람이라면 일정한 키 이상의 사람(어른)인지 아닌지를 판단하게 된다. 감시 대상이 사람이라면 객체추출부(143)와 객체인식부(145)는 특별히 사람으로 판단되는 객체를 추출하여 인식하게 된다.
앞서 설명한 바와 같이, 스테레오 카메라를 이용한 객체 인식에 관한 출원인의 특허출원 제10-2010-0039302호 및 제10-2010-0039366호에 의하면, 객체추출부(143)는 차 영상으로부터 객체의 외곽선을 검출하고, 객체인식부(145)는 객체추출부(143)가 추출한 객체의 외곽선과 거리정보계산부(141)가 계산한 심도 맵 데이터를 이용하여 객체의 면적 또는 객체의 대표 길이를 구한다.
객체인식부(145)는 계산된 객체의 면적 또는 대표 길이가 기 설정된 관심 대상의 면적 또는 길이 범위 내에 속하는지를 판단하는 방법으로 추출된 객체가 관심 대상 객체인지를 판단할 수 있다.
<경보 발생 및 객체 추적: S207, S209>
객체추적부(147)는 인식된 관심 대상 객체의 움직임을 추적하여 그 위치 정보를 감시존-경보부(149)에게 제공한다. 이러한 움직임 추적에 관하여 이미 종래에 알려진 많은 다양한 영상처리 기법이 존재하며, 그러한 방법을 적절히 사용할 수 있다.
또한, 특별히 객체추적부(147)에 의한 객체 추적 알고리즘이 아니더라도, 아래의 감시존-경보부(149)의 동작은 거리정보계산부(141), 객체추출부(143) 및 객체인식부(145)가 영상수신부(137)에서 실시간으로 입력되는 스테레오 영상에 대하여 이상에서 설명된 동작을 반복하는 것으로도 가능하다.
감시존-경보부(149)는 일단 관심 대상인 객체가 영상 내에 나타날 경우에 경보를 생성하여 모니터링 장치(150)으로 출력한다. 여기서, 경보는 스테레오 카메라 장치(130)가 설치된 감시 구역에 대한 정보와, 해당 감시 구역 내에 감시 대상 객체가 나타났음을 알리는 정보를 포함하는 순수한 의미의 경보가 해당할 수 있다.
도 3은 본 발명의 스테레오 카메라 장치(130)가 설치된 감시 구역(S)과, 해당 감시구역(S) 내에 존재하는 복수 개의 감시존(L1, L2, L3)을 표시하고 있으며, 도 4는 도 3의 감시구역(S)을 촬영한 영상(P)의 일 예이다.
예컨대, 도 3을 참조하면, 확인된 감시 대상 객체가 감시 구역(S) 내를 움직여 m1, m2, m3, m4로 이동했다고 가정할 때, 감시존-경보부(149)는 도 4의 영상에 감시 대상 객체가 m1에 나타난 때에 경보를 생성하게 된다.
<특정 감시 존 경계 모드: S211, S213>
감시존-경보부(149)는 객체추적부(147)가 제공하는 정보를 기초로 추적 중인 객체가 특별 감시 존(Zone)에 진입한 것으로 판단되면, 감시존 진입경보를 생성하여 그 위치 정보와 함께 모니터링 장치(150)으로 출력한다.
도 3 및 도 4를 참조할 때, 감시 구역(S)은 스테레오 카메라 장치(130)의 설치 위치와 카메라 장치(130)의 화각에 따라 결정되지만, 감시존(L1, L2, L3)은 감시 구역(S) 내에서 관리자에 의해 설정된다.
감시존(L1, L2, L3)은 영상에서의 해당 존을 지시하는 픽셀 범위(L1-1, L2-2, L3-3)와, 스테레오 카메라 장치(130)로부터 해당 존까지의 거리 범위로 특정된다.
예컨대, 제1 감시존(L1)의 경우, 도 4에 표시된 픽셀 범위 L1-1과, 거리 범위 d1 ~ d2로 특정된다. 제2 감시존(L2)과 제3 감시존(L3)의 경우, 그 픽셀범위가 L2-1과 L2-2로 다소 겹치게 되나 그 거리 범위가 다르므로 상호 구분될 수 있다. 감시존-경보부(149)는 거리정보계산부(141)로부터 제공받는 심도 맵 데이터를 기초로 각 픽셀 별 거리정보를 파악하여 객체까지의 거리를 구할 수 있다.
따라서, 감시존-경보부(149)는 객체추적부(147)로부터 추적 중인 객체가 L1-1 픽셀범위에 속하면서 그 객체까지의 거리가 d1 ~ d2 범위 내에 속하는 경우, 객체가 m1에 위치한 것으로 판단하고 감시존 진입 경보를 생성하여 모니터링 장치(150)으로 출력한다.
여기서, 감시존 진입 경보는 복수 개의 감시존 중에서 객체가 진입한 감시존에 대한 정보(예컨대, 감시존 식별자)와, 감지 시각 정보 등이 기본적으로 포함될 수 있다. 더불어, 감시존 진입 정보는 해당 감지 순간이 포착된 적어도 1개 프레임의 이미지 자체를 포함할 수도 있을 것이다.
이후에 객체가 m2 → m3 → m4로 이동하면서 제2 감시존(L2)과 제3 감시존(L3) 그리고 제1 감시존(L1)에 차례로 진입하게 될 때에도, 감시존-경보부(149)는 감시존 진입정보를 모니터링 장치(150)으로 출력하게 된다.
이상의 방법에 의해 본 발명의 스테레오 카메라 장치(130)의 객체 추적 및 감시가 이루어진다.
본 발명의 모니터링 장치(150)는 네트워크(110)를 통해 스테레오 카메라 장치(130)에 연결될 수 있으며, 스테레오 카메라 장치(130)로부터 각종 경보를 제공받을 수 있다.
모니터링 장치(150) 일반적인 컴퓨터 뿐만 아니라, 개인이 휴대하는 휴대전화, 피디에이(PDA), 스마트폰(Smart Phone), 기타 전용 단말기 등이 모두 해당할 수 있다.
모니터링 장치(150)는 표시부()를 포함하여, 감시존 진입 경보의 경우에 해당 객체가 감시구역 내의 특정 감시존에 진입하였는지를 시각적으로 확인할 수 있다.
나아가, 모니터링 장치(150)는 스테레오 카메라 장치(130)가 제공하는 경보를 이용하여 감시 구역 내의 객체의 움직임을 관리자에게 시각적으로 표시할 수 있다. 예컨대, 모니터링 장치(150)는 감시구역(S)과 감시존(L1, L2, L3)이 표시된 도 3과 같이 디지털 지도를 기 저장해 둔 상태에서 감시존-경보부(149)가 제공하는 경보를 이용하여 도 3과 같은 도면을 사용자에게 표시할 수 있을 것이다.
이러한 도면 정도의 정보는 휴대용 모니터링 장치(150)에게 유선 또는 무선으로 전송하고, 휴대용 모니터링 장치(150)이 처리하여 시각적으로 표시하기에 충분할 만큼 작은 용량일 수 있어 유용하다.
또한, 모니터링 장치(150)는 음성안내처리부(미도시)를 더 포함하여 특정 감시존에 객체가 접근한 경우에 감시 구역(S) 내에 설치된 스피커(미도시)를 통해 소정의 안내 메시지(예컨대, "ooo으로부터 한 걸음 뒤로 물러나십시오")를 출력하도록 할 수 있을 것이다.
실시 예에 따라, 스테레오 카메라 장치(130)의 감시존-경보부(149)의 기능 자체를 모니터링 장치(150)이 보유할 수 있다. 이러한 경우, 모니터링 장치(150)는 객체추적부(147)가 계산하여 제공하는 정보를 이용하여 객체가 특정 감시존에 진입하였는지를 판단하는 감시존부(미도시)를 더 포함하게 된다.
이하에서는, S205 단계의 객체의 면적 및 대표 길이 계산에 대하여 먼저 한 특허출원 제10-2010-0039302호 및 제10-2010-0039366호를 기초로 간단히 설명한다.
객체의 면적 계산은, S203 단계에서 추출된 객체가 위치한 거리(do)에서의 픽셀 당 실제 면적(이하, 픽셀의 '단위 면적'이라 함)을 구한 다음, 해당 객체의 외곽선 내부에 포함된 픽셀의 수를 곱하는 방법으로 이루어진다.
도 5를 참조하면, 기존 배경영상을 기준으로 최대 심도(D)에서의 전체 프레임에 대응하는 실제면적(M)과, 추출된 객체의 위치(do)에서의 전체 프레임에 대응하는 실제면적 m(do)이 표시되어 있다. 먼저 해당 객체가 위치하는 거리(do)에서의 프레임 전체에 대응되는 실제면적 m(do)은 다음의 수학식 1과 같이 구할 수 있다.
수학식 1
Figure PCTKR2011002143-appb-M000001
여기서, M은 기존 배경영상을 기준으로 최대 거리(do)에서의 전체 프레임(예컨대, 720×640 픽셀)에 대응되는 실제 면적이다.
다음으로, 객체가 위치하는 거리(do)에서의 전체 프레임에 대응되는 실제 면적 m(do)을 프레임 전체의 픽셀 수(C, 예컨대, 460,800=720×640)로 나눔으로써, 객체 영역에 포함된 픽셀의 단위 면적 mp(do)을 다음의 수학식 2와 같이 구한다.
수학식 2
Figure PCTKR2011002143-appb-M000002
여기서, Q는 전체 픽셀의 수이다. 수학식 2에 의하면, mp(do)은 3차원 심도 맵 데이터의 거리 정보로부터 확인한 해당 객체까지의 거리(do)에 따라 달라짐을 알 수 있다.
마지막으로, 객체의 면적은 앞에서 설명한 것처럼 픽셀의 단위 면적 mp(do)에 해당 외곽선 내부에 포함되는 픽셀의 수(qc)를 곱함으로써 다음의 수학식 3과 같이 구할 수 있다.
수학식 3
Figure PCTKR2011002143-appb-M000003
여기서, qc는 객체에 포함된 픽셀의 수이다.
이하에서는 S205 단계의 객체의 대표 길이를 계산하는 과정에 대하여 간단히 설명한다.
<움직이는 객체의 중심축 추출: S209 단계>
객체인식부(145)는 객체추출부(143)가 추출한 객체에 대해 골격화 또는 세선화 알고리즘을 적용하여 1 픽셀의 폭을 가지는 객체의 중심축(Medial Axis}을 추출한다. 골격화 알고리즘에는 외곽선을 이용하는 중심축변환(MAT: Medial Axis Transform)알고리즘 또는 Zhang Suen 알고리즘과 같이 기 알려진 다양한 방식을 적용할 수 있다.
예컨대, 중심축 변환에 의할 경우, 객체의 중심축(a)은 도 6에서처럼 객체(R) 내의 각 점(또는 픽셀)들 중에서 복수 개의 경계점을 가지는 점들의 집합이다. 여기서, 경계점은 외곽선(B) 상의 점들 중에서 객체 내의 해당 점과의 거리가 가장 가까운 점을 말하는 것으로, 외곽선상의 점 b1, b2는 객체(R) 내의 점 P1의 경계점이 된다. 따라서, 중심축 알고리즘은 경계점이 복수 개인 점들을 추출하는 과정이 되며 다음의 수학식 4와 같이 표현될 수 있다.
수학식 4
Figure PCTKR2011002143-appb-M000004
여기서, Pma는 x의 집합으로 표시되는 중심축이고, x는 객체(R) 내에 존재하는 점, bmin(x)는 점 x의 경계점의 수이다. 따라서, 중심축은 경계점의 수가 1보다 큰 점 x들의 집합이 된다. 여기서, 경계점을 계산하기 위해, 내부의 점 x에서 외곽선상의 임의의 픽셀까지의 거리를 구하는 방법(예컨대, 4-Distance, 8-Distance, Euclidean Distance 등)에 따라, 골격의 구조가 다소 바뀔 수 있다.
그 밖에도, 객체가 비교적 간단한 형태의 것인 경우, 객체에 대한 가우시안 값의 피크값을 추출하는 방법으로 중심선을 추출할 수 있다.
중심선이 추출되면, 심도 맵 데이터를 이용하여 객체의 대표 길이를 구한다. 객체의 대표 길이는 객체를 대표하는 것으로 설정된 객체의 실제 길이로서 영상으로부터 계산된 값이며, 중심축의 실제 길이, 객체의 실제 폭 또는 객체의 실제높이 등이 해당할 수 있다. 다만, 객체의 대표 길이는 카메라의 위치, 촬영각도 및 촬영영역의 특성 등에 따라 영향을 받게 된다.
나아가, 객체의 실제길이의 계산은, 객체가 위치한 거리(do)에서의 픽셀 당 실제 길이(이하, 픽셀의 '단위 길이'라 함)를 구한 다음, 해당 객체를 대표하는 픽셀의 수를 곱하는 방법으로 이루어진다. 여기서, 객체를 대표하는 픽셀의 수는 앞서 중심축을 형성하는 픽셀의 수, 해당 객체의 폭이나 높이가 되는 픽셀의 수 등이 해당될 수 있다.
객체를 대표하는 픽셀의 수로서의, 객체의 폭이나 높이는 객체 영역의 x축좌표의 범위 또는 y축좌표의 범위를 통해 구해질 수 있으며, 중심축의 길이는 예컨대 중심축에 포함된 픽셀의 수를 모두 더함으로써 구할 수 있다.
특정 픽셀의 단위 길이는 픽셀마다(정확하게는 픽셀의 심도에 따라) 달라지며, 도 5를 참조하여 다음과 같이 구할 수 있다. 여기서, 설명의 편리를 위해, 영상 프레임의 크기를 720×640 픽셀이라 가정한다.
도 5에서, 기존 배경영상을 기준으로 최대 심도(D)에서의 전체 프레임의 세로축(또는 가로축)에 대응하는 실제길이 Lmax와, 추출된 객체의 위치 l에서의 전체 프레임의 세로축(또는 가로축)에 대응하는 실제길이 L(do)가 표시되어 있다. 먼저 해당 객체가 위치하는 심도 do에서의 프레임 전체의 세로축(또는 가로축)에 대응되는 실제길이 L(do)는 다음의 수학식 5와 같이 구할 수 있다.
수학식 5
Figure PCTKR2011002143-appb-M000005
여기서, L(do)는 심도 do에서의 프레임 전체의 세로축(또는 가로축)에 대응되는 실제 길이이고, Lmax는 기존 배경영상을 기준으로 최대 심도(D)에서의 전체 프레임의 세로축(또는 가로축)에 대응되는 실제 길이다.
다음으로, 객체가 위치하는 거리(do)에서의 전체 프레임의 세로축(또는 가로축)에 대응되는 실제 길이 L(do)을 프레임 전체의 세로축(또는 가로축)의 픽셀 수(Px, Py, 예에서 Px=720, Py=640)로 나눔으로써, 객체 영역에 포함된 픽셀의 단위 길이 Lp(do)을 다음의 수학식 6과 같이 구할 수 있다.
수학식 6
Figure PCTKR2011002143-appb-M000006
여기서, Lp(do)는 심도 do에 위치한 객체 영역에 포함된 픽셀의 단위 길이, Qy는 프레임 전체의 세로축의 픽셀 수이다. 수학식 5에 의하면, Lp(do)은 3차원 심도 맵 데이터의 거리 정보로부터 확인한 해당 객체까지의 심도(do)와 맵 데이터 상의 최대 심도에 따라 달라짐을 알 수 있다.
픽셀의 단위 길이가 구해지면, 객체인식부(145)는 객체의 대표 길이를 구한다. 객체의 대표 길이는 픽셀의 단위 길이 Lp(do)에 해당 객체를 대표하는 픽셀의 수 qo를 곱함으로써 다음의 수학식 7과 같이 구할 수 있다.
수학식 7
Figure PCTKR2011002143-appb-M000007
여기서, qo는 해당 객체를 대표하는 픽셀의 수이다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (5)

  1. 동일한 감시구역을 촬영하는 제1 카메라와 제2 카메라를 구비하여 한 쌍의 스테레오 디지털 영상을 생성하는 스테레오 카메라; 및
    상기 스테레오 카메라에서 출력되는 스테레오 디지털 영상에 대한 영상처리를 통해 각 픽셀의 거리정보를 계산하면서 상기 감시구역 내에서 움직이는 객체를 추출하는 영상처리부를 포함하고,
    상기 영상처리부는,
    상기 영상에 속하도록 설정된 픽셀 영역과 상기 픽셀 영역의 각 픽셀에 대해 기 설정된 거리범위로 정의되는 적어도 하나의 감시존을 설정하고, 상기 계산된 픽셀별 거리정보를 기초로 상기 추출된 객체가 상기 감시존에 위치하는 것으로 판단된 경우에 감시존 진입 경보를 생성하여 외부의 모니터링 장치로 출력하는 감시존-경보부를 포함하는 것을 특징으로 하는 스테레오 카메라 장치.
  2. 제1항에 있어서,
    상기 감시존 진입 경보에는 상기 추출된 객체가 위치한 감시존의 식별자를 포함하는 것을 특징으로 하는 스테레오 카메라 장치.
  3. 제1항에 있어서,
    상기 영상처리부는,
    상기 스테레오 디지털 영상을 이용하여 3차원 심도 맵 데이터를 계산하는 거리정보계산부;
    상기 스테레오 디지털 영상 중 하나를 기준 배경영상과 비교하여 움직이는 객체의 영역을 추출하는 객체추출부; 및
    상기 추출된 객체의 면적 또는 대표 길이를 계산하고, 상기 계산된 객체의 면적 또는 대표 길이가 기 설정된 범위에 해당하는 경우 상기 객체를 감시 대상으로 인식하는 객체인식부를 포함하는 것을 특징으로 하는 스테레오 카메라 장치.
  4. 동일한 감시구역을 촬영하는 제1 카메라와 제2 카메라를 구비하여 한 쌍의 스테레오 디지털 영상을 생성하는 스테레오 카메라와, 상기 스테레오 카메라에서 출력되는 스테레오 디지털 영상에 대한 영상처리를 통해 각 픽셀의 거리정보를 계산하면서 상기 감시구역 내에서 움직이는 객체를 추출하는 영상처리부를 구비한 스테레오 카메라 장치; 및
    상기 스테레오 카메라 장치로부터 경보를 제공받아 관리자에게 디지털 지도 형태로 표시하는 모니터링 장치를 포함하고
    상기 영상처리부는,
    상기 영상에 속하도록 설정된 픽셀 영역과 상기 픽셀 영역의 각 픽셀에 대해 기 설정된 거리범위로 정의되는 적어도 하나의 감시존을 설정하고, 상기 계산된 픽셀별 거리정보를 기초로 상기 추출된 객체가 상기 감시존에 위치하는 것으로 판단된 경우에 감시존 진입 경보를 생성하여 상기 모니터링 장치로 출력하는 감시존-경보부를 포함하는 것을 특징으로 하는 감시 시스템.
  5. 동일한 감시구역을 촬영하는 두 개의 카메라를 이용하여, 한 쌍의 스테레오 디지털 영상을 생성하는 단계;
    상기 스테레오 카메라에서 출력되는 스테레오 디지털 영상에 대한 영상처리를 통해 각 픽셀의 거리정보를 계산하면서 상기 감시구역 내에서 움직이는 객체를 추출하는 단계;
    상기 영상에 속하도록 설정된 픽셀 영역과 상기 픽셀 영역의 각 픽셀에 대해 기 설정된 거리범위로 정의되는 적어도 하나의 감시존을 설정하는 단계; 및
    상기 계산된 픽셀별 거리정보를 기초로 상기 추출된 객체가 상기 감시존에 위치하는 것으로 판단된 경우에 감시존 진입 경보를 생성하여 외부의 모니터링 장치로 출력하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라 장치의 감시 방법.
PCT/KR2011/002143 2011-03-14 2011-03-29 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법 Ceased WO2012124852A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0022280 2011-03-14
KR1020110022280A KR20120104711A (ko) 2011-03-14 2011-03-14 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2012124852A1 true WO2012124852A1 (ko) 2012-09-20

Family

ID=46830903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/002143 Ceased WO2012124852A1 (ko) 2011-03-14 2011-03-29 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20120104711A (ko)
WO (1) WO2012124852A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2851880A1 (en) * 2013-09-19 2015-03-25 Canon Kabushiki Kaisha Method, system and storage medium for controlling a video capture device, in particular of a door station
WO2015083875A1 (ko) * 2013-12-03 2015-06-11 전자부품연구원 입자 생성 및 선별을 통한 카메라 위치 추정 방법 및 이동 시스템
WO2017071084A1 (zh) * 2015-10-28 2017-05-04 小米科技有限责任公司 报警方法及装置
CN108898617A (zh) * 2018-05-24 2018-11-27 宇龙计算机通信科技(深圳)有限公司 一种目标对象的跟踪方法和装置
CN110942578A (zh) * 2019-11-29 2020-03-31 韦达信息技术(深圳)有限公司 智能分析防盗报警系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640527B1 (ko) * 2012-10-09 2016-07-18 에스케이 텔레콤주식회사 단일객체의 크기를 추정하는 영상 감시장치 및 방법
KR101519261B1 (ko) 2013-12-17 2015-05-11 현대자동차주식회사 차량의 모니터링 방법 및 자동 제동 장치
KR101400169B1 (ko) * 2014-02-06 2014-05-28 (주)라이드소프트 방범 관제를 위한 가상현실 기법을 이용한 시각적 순찰 시스템 및 그 방법
KR101593187B1 (ko) 2014-07-22 2016-02-11 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
EP3026653A1 (en) * 2014-11-27 2016-06-01 Kapsch TrafficCom AB Method of controlling a traffic surveillance system
KR101645451B1 (ko) * 2015-04-14 2016-08-12 공간정보기술 주식회사 스테레오 카메라를 이용한 감지영역 내의 이동객체 감지시스템
KR102076531B1 (ko) 2015-10-27 2020-02-12 한국전자통신연구원 멀티 센서 기반 위치 추적 시스템 및 방법
KR101748780B1 (ko) * 2016-12-02 2017-06-19 (주) 비전에스티 스테레오 카메라를 이용한 도로객체 인식방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052034A (ja) * 2001-08-06 2003-02-21 Sumitomo Osaka Cement Co Ltd ステレオ画像を用いた監視システム
JP2003246268A (ja) * 2002-02-22 2003-09-02 East Japan Railway Co ホーム転落者検知方法及び装置
KR20090027410A (ko) * 2007-09-12 2009-03-17 한국철도기술연구원 스테레오 영상기반 승강장 모니터링 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052034A (ja) * 2001-08-06 2003-02-21 Sumitomo Osaka Cement Co Ltd ステレオ画像を用いた監視システム
JP2003246268A (ja) * 2002-02-22 2003-09-02 East Japan Railway Co ホーム転落者検知方法及び装置
KR20090027410A (ko) * 2007-09-12 2009-03-17 한국철도기술연구원 스테레오 영상기반 승강장 모니터링 시스템 및 그 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2851880A1 (en) * 2013-09-19 2015-03-25 Canon Kabushiki Kaisha Method, system and storage medium for controlling a video capture device, in particular of a door station
US10218899B2 (en) 2013-09-19 2019-02-26 Canon Kabushiki Kaisha Control method in image capture system, control apparatus and a non-transitory computer-readable storage medium
WO2015083875A1 (ko) * 2013-12-03 2015-06-11 전자부품연구원 입자 생성 및 선별을 통한 카메라 위치 추정 방법 및 이동 시스템
WO2017071084A1 (zh) * 2015-10-28 2017-05-04 小米科技有限责任公司 报警方法及装置
US10147288B2 (en) 2015-10-28 2018-12-04 Xiaomi Inc. Alarm method and device
CN108898617A (zh) * 2018-05-24 2018-11-27 宇龙计算机通信科技(深圳)有限公司 一种目标对象的跟踪方法和装置
CN110942578A (zh) * 2019-11-29 2020-03-31 韦达信息技术(深圳)有限公司 智能分析防盗报警系统

Also Published As

Publication number Publication date
KR20120104711A (ko) 2012-09-24

Similar Documents

Publication Publication Date Title
WO2012124852A1 (ko) 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
CN103168467B (zh) 使用热图像坐标的安防摄像机追踪和监控系统及方法
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
WO2016072625A1 (ko) 영상방식을 이용한 주차장의 차량 위치 확인 시스템 및 그 제어방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2011136407A1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
WO2016107230A1 (zh) 一种3d场景中重现物体的系统和方法
JP2020182146A (ja) 監視装置、及び、監視方法
WO2014051262A1 (ko) 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
CN111601011A (zh) 一种基于视频流图像的自动告警方法及系统
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2023074995A1 (ko) 열화상 카메라로 산업현장의 이상 온도를 감지 및 표현하고 경보를 발생시켜 알리는 시스템 및 이의 동작 방법
WO2017142311A1 (ko) 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법
WO2014035103A1 (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
KR101446422B1 (ko) 영상 감시 시스템 및 방법
WO2018139847A1 (ko) 얼굴 비교를 통한 개인 식별 방법
WO2021025242A1 (ko) 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2020111353A1 (ko) 사생활 침해장비 탐지방법, 장치 및 그 시스템
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
KR102374357B1 (ko) 밀집 통제를 위한 영상 감시 장치
WO2015026002A1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11860792

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11860792

Country of ref document: EP

Kind code of ref document: A1