JP4633841B2 - 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 - Google Patents
歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 Download PDFInfo
- Publication number
- JP4633841B2 JP4633841B2 JP2008506397A JP2008506397A JP4633841B2 JP 4633841 B2 JP4633841 B2 JP 4633841B2 JP 2008506397 A JP2008506397 A JP 2008506397A JP 2008506397 A JP2008506397 A JP 2008506397A JP 4633841 B2 JP4633841 B2 JP 4633841B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- scene
- estimating
- height
- road map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- User Interface Of Digital Computer (AREA)
Description
Claims (8)
- 3Dシーンを経時的に捕捉するビデオ・フレームを解析して前記3Dシーンの道路図を自動的に生成する方法であって、
前記ビデオ・フレームにおける物体の位置を検出する工程と、
前記物体の3D変換パラメータを推定する工程と、
前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測する工程と、
物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成する工程と、
前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返す工程と、
前記物体のうちの1つの位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて前記3Dシーンの道路境界を推定する工程と、
前記道路図を生成する工程と、
アウトライア画素を前記道路図から除去する工程と、
前記道路図の道路上で動く物体の高さ図を推定する工程とを備える方法。 - 請求項1記載の方法であって、物体の位置を検出する工程が、フォアグラウンド物体検出処理を前記ビデオ・フレームに施す工程を備える方法。
- 請求項1記載の方法であって、道路境界を推定する工程は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求める工程を備える方法。
- コンピュータ・プログラムであって、3Dシーンを経時的に捕捉するビデオ・フレームを解析して、
前記ビデオ・フレームにおける物体の位置を検出し、
前記物体の3D変換パラメータを推定し、
前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測し、
物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成し、
前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返し、
前記物体のうちの1つの位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて3Dシーンの道路境界を推定し、
前記道路図を生成し、
アウトライア画素を前記道路図から除去し、
前記道路図の道路上で動く物体の高さ図を推定することによって前記3Dシーンの道路図を自動的に生成する機能をコンピュータに実行させるコンピュータ・プログラム。 - 請求項4記載のコンピュータ・プログラムであって、物体の位置を検出する機能が、フォアグラウンド物体検出処理を前記ビデオ・フレームに施す機能を含むコンピュータ・プログラム。
- 請求項4記載のコンピュータ・プログラムであって、道路境界を推定する機能は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求める機能を含むコンピュータ・プログラム。
- 3Dシーンを経時的に捕捉するビデオ・フレームを解析して前記3Dシーンの道路図を自動的に生成するシステムであって、
3Dシーンのビデオ・フレームを解析し、前記ビデオ・フレームにおける物体及び物体位置を検出するためのフォアグラウンド物体検出装置と、
前記物体の3D変換パラメータを推定し、前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測し、物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成し、前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返すための物体スケール予測装置と、
前記物体のうちの1つの物体の位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて前記3Dシーンの道路境界を推定し、アウトライア画素を前記道路図から除去し、前記道路図の道路上で動く物体の高さ図を推定することにより、前記道路図を生成するための道路図検出装置とを備えるシステム。 - 請求項7記載のシステムであって、前記道路図推定装置は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求めることによって道路境界を推定するシステム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2005/000209 WO2006115427A1 (en) | 2005-04-18 | 2005-04-18 | Three-dimensional road layout estimation from video sequences by tracking pedestrians |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008538832A JP2008538832A (ja) | 2008-11-06 |
| JP4633841B2 true JP4633841B2 (ja) | 2011-02-16 |
Family
ID=35840603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008506397A Expired - Fee Related JP4633841B2 (ja) | 2005-04-18 | 2005-04-18 | 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7751589B2 (ja) |
| EP (1) | EP1872302B1 (ja) |
| JP (1) | JP4633841B2 (ja) |
| KR (1) | KR100999206B1 (ja) |
| CN (1) | CN101167085B (ja) |
| AT (1) | ATE477547T1 (ja) |
| DE (1) | DE602005022943D1 (ja) |
| WO (1) | WO2006115427A1 (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI111755B (fi) * | 2001-11-23 | 2003-09-15 | Mapvision Oy Ltd | Menetelmä ja järjestelmä konenäköjärjestelmän kalibroimiseksi |
| US8401229B2 (en) * | 2007-09-04 | 2013-03-19 | Objectvideo, Inc. | Stationary target detection by exploiting changes in background model |
| JP5089545B2 (ja) * | 2008-09-17 | 2012-12-05 | 日立オートモティブシステムズ株式会社 | 道路境界検出判断装置 |
| US8436872B2 (en) * | 2010-02-03 | 2013-05-07 | Oculus Info Inc. | System and method for creating and displaying map projections related to real-time images |
| IL210427A0 (en) * | 2011-01-02 | 2011-06-30 | Agent Video Intelligence Ltd | Calibration device and method for use in a surveillance system for event detection |
| US8565520B2 (en) | 2011-06-10 | 2013-10-22 | Microsoft Corporation | Determining foreground regions and background regions in an image |
| JP6046948B2 (ja) * | 2012-08-22 | 2016-12-21 | キヤノン株式会社 | 物体検知装置及びその制御方法、プログラム、並びに記憶媒体 |
| KR101726692B1 (ko) | 2012-08-24 | 2017-04-14 | 한화테크윈 주식회사 | 객체 추출 장치 및 방법 |
| AU2012244275A1 (en) | 2012-10-30 | 2014-05-15 | Canon Kabushiki Kaisha | Method, apparatus and system for determining a boundary of an obstacle which occludes an object in an image |
| AU2012244276A1 (en) | 2012-10-30 | 2014-05-15 | Canon Kabushiki Kaisha | Method, apparatus and system for detecting a supporting surface region in an image |
| US9177245B2 (en) | 2013-02-08 | 2015-11-03 | Qualcomm Technologies Inc. | Spiking network apparatus and method with bimodal spike-timing dependent plasticity |
| US9713982B2 (en) | 2014-05-22 | 2017-07-25 | Brain Corporation | Apparatus and methods for robotic operation using video imagery |
| US9939253B2 (en) | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
| US10194163B2 (en) | 2014-05-22 | 2019-01-29 | Brain Corporation | Apparatus and methods for real time estimation of differential motion in live video |
| CN105141885B (zh) * | 2014-05-26 | 2018-04-20 | 杭州海康威视数字技术股份有限公司 | 进行视频监控的方法及装置 |
| US9848112B2 (en) | 2014-07-01 | 2017-12-19 | Brain Corporation | Optical detection apparatus and methods |
| US10057593B2 (en) | 2014-07-08 | 2018-08-21 | Brain Corporation | Apparatus and methods for distance estimation using stereo imagery |
| KR101620580B1 (ko) * | 2014-09-04 | 2016-05-12 | 주식회사 에스원 | 달리기 감지 방법 및 시스템 |
| US10055850B2 (en) | 2014-09-19 | 2018-08-21 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
| US10197664B2 (en) | 2015-07-20 | 2019-02-05 | Brain Corporation | Apparatus and methods for detection of objects using broadband signals |
| WO2017168462A1 (en) | 2016-03-29 | 2017-10-05 | Nec Corporation | An image processing device, an image processing method, and computer-readable recording medium |
| US10372970B2 (en) * | 2016-09-15 | 2019-08-06 | Qualcomm Incorporated | Automatic scene calibration method for video analytics |
| CN107292234B (zh) * | 2017-05-17 | 2020-06-30 | 南京邮电大学 | 一种基于信息边缘和多模态特征的室内场景布局估计方法 |
| CN107316344B (zh) * | 2017-05-18 | 2020-08-14 | 深圳市佳创视讯技术股份有限公司 | 一种虚实融合场景中漫游路径规划的方法 |
| JP6936098B2 (ja) * | 2017-09-29 | 2021-09-15 | トヨタ自動車株式会社 | 対象物推定装置 |
| MY202722A (en) * | 2018-11-14 | 2024-05-16 | Mimos Berhad | Method and system for counting and determining direction of movement of moving objects |
| DE102018221054B4 (de) | 2018-12-05 | 2020-12-10 | Volkswagen Aktiengesellschaft | Verfahren zum Bereitstellen von Kartendaten in einem Kraftfahrzeug, Kraftfahrzeug und zentrale Datenverarbeitungseinrichtung |
| CN112150558B (zh) * | 2020-09-15 | 2024-04-12 | 阿波罗智联(北京)科技有限公司 | 用于路侧计算设备的障碍物三维位置获取方法及装置 |
| KR20220061520A (ko) | 2020-11-06 | 2022-05-13 | 서강대학교산학협력단 | 신경망을 기반으로 한 미행 검출 방법 및 이를 이용한 미행 검출 시스템 |
| US11580661B2 (en) * | 2020-11-23 | 2023-02-14 | Motorola Solutions, Inc. | Device, method and system for estimating elevation in images from camera devices |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2001250802A1 (en) * | 2000-03-07 | 2001-09-17 | Sarnoff Corporation | Camera pose estimation |
| WO2001071485A1 (en) * | 2000-03-17 | 2001-09-27 | Vicinity Corp. | System and method for abstracting and visualizing a route map |
| CN1300032A (zh) * | 2001-01-16 | 2001-06-20 | 张建平 | 自动更新电子交通地图的方法及系统 |
| US6901264B2 (en) * | 2001-04-25 | 2005-05-31 | Makor Issues And Rights Ltd. | Method and system for mobile station positioning in cellular communication networks |
| GB0227565D0 (en) * | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for generating panoramic images from video sequences |
| GB0227566D0 (en) * | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
| EP1577643A1 (en) * | 2002-12-27 | 2005-09-21 | Matsushita Electric Industrial Co., Ltd. | Traffic information providing system, traffic information expression method and device |
| JP4744789B2 (ja) * | 2003-05-30 | 2011-08-10 | パナソニック株式会社 | 物体識別方法及び物体識別装置 |
| US7660441B2 (en) * | 2004-07-09 | 2010-02-09 | Southern California, University | System and method for fusing geospatial data |
-
2005
- 2005-04-18 US US10/581,333 patent/US7751589B2/en active Active
- 2005-04-18 JP JP2008506397A patent/JP4633841B2/ja not_active Expired - Fee Related
- 2005-04-18 KR KR1020077024011A patent/KR100999206B1/ko not_active Expired - Lifetime
- 2005-04-18 DE DE602005022943T patent/DE602005022943D1/de not_active Expired - Lifetime
- 2005-04-18 AT AT05802442T patent/ATE477547T1/de not_active IP Right Cessation
- 2005-04-18 CN CN2005800495022A patent/CN101167085B/zh not_active Expired - Lifetime
- 2005-04-18 WO PCT/RU2005/000209 patent/WO2006115427A1/en not_active Ceased
- 2005-04-18 EP EP05802442A patent/EP1872302B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE602005022943D1 (de) | 2010-09-23 |
| KR20070114216A (ko) | 2007-11-29 |
| EP1872302A1 (en) | 2008-01-02 |
| JP2008538832A (ja) | 2008-11-06 |
| EP1872302B1 (en) | 2010-08-11 |
| WO2006115427A1 (en) | 2006-11-02 |
| US7751589B2 (en) | 2010-07-06 |
| CN101167085B (zh) | 2011-11-23 |
| KR100999206B1 (ko) | 2010-12-07 |
| US20090028384A1 (en) | 2009-01-29 |
| CN101167085A (zh) | 2008-04-23 |
| ATE477547T1 (de) | 2010-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4633841B2 (ja) | 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 | |
| CN117593592B (zh) | 车底异物智能扫描识别系统及方法 | |
| Liu et al. | EDFLOW: Event driven optical flow camera with keypoint detection and adaptive block matching | |
| JP2023106284A (ja) | 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム | |
| KR102472767B1 (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
| CN113330486A (zh) | 深度估计 | |
| CN110298884B (zh) | 一种适于动态环境中单目视觉相机的位姿估计方法 | |
| CN113490965A (zh) | 图像跟踪处理方法、装置、计算机设备和存储介质 | |
| US20110091074A1 (en) | Moving object detection method and moving object detection apparatus | |
| US11080861B2 (en) | Scene segmentation using model subtraction | |
| CN108734109B (zh) | 一种面向图像序列的视觉目标跟踪方法及系统 | |
| Mahamuni et al. | Moving object detection using background subtraction algorithm using Simulink | |
| CN117593702B (zh) | 远程监控方法、装置、设备及存储介质 | |
| CN116681687B (zh) | 基于计算机视觉的导线检测方法、装置和计算机设备 | |
| Wong et al. | Development of a refined illumination and reflectance approach for optimal construction site interior image enhancement | |
| CN120495986A (zh) | 一种基于视觉神经网络的人舱监控系统 | |
| Li et al. | Fast visual tracking using motion saliency in video | |
| CN118298513B (zh) | 一种基于机器视觉的电力作业违规行为检测方法及系统 | |
| KR100994366B1 (ko) | 영상 추적 장치의 이동표적 움직임 추적 방법 | |
| CN117929411A (zh) | 建筑幕墙的无损检测方法、装置、设备及存储介质 | |
| CN115953438A (zh) | 光流估计方法及装置、芯片及电子设备 | |
| RU2409854C2 (ru) | Оценка трехмерной топологии дороги на основе видеопоследовательностей посредством отслеживания пешеходов | |
| KR101153108B1 (ko) | 물체 추적 장치 | |
| CN119579909B (zh) | 一种多智能体稀疏三维采样点学习方法及系统 | |
| CN111563912A (zh) | 一种行人追踪系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100721 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100820 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101019 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101117 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |