[go: up one dir, main page]

WO2016063545A1 - ステレオカメラ装置及びステレオカメラ装置を備える車両 - Google Patents

ステレオカメラ装置及びステレオカメラ装置を備える車両 Download PDF

Info

Publication number
WO2016063545A1
WO2016063545A1 PCT/JP2015/005346 JP2015005346W WO2016063545A1 WO 2016063545 A1 WO2016063545 A1 WO 2016063545A1 JP 2015005346 W JP2015005346 W JP 2015005346W WO 2016063545 A1 WO2016063545 A1 WO 2016063545A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereo camera
camera device
control unit
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/005346
Other languages
English (en)
French (fr)
Inventor
直人 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to EP15852427.2A priority Critical patent/EP3211368B1/en
Priority to JP2016555091A priority patent/JP6306735B2/ja
Priority to US15/520,760 priority patent/US10595003B2/en
Publication of WO2016063545A1 publication Critical patent/WO2016063545A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a stereo camera device and a vehicle including the stereo camera device.
  • Patent Document 1 a vehicle road object recognition device that partitions a wide area of a road surface and an image of an object on the road surface with a window and recognizes a subject object for each window.
  • An object of the present invention is to provide a stereo camera device and a vehicle that can detect the distance from an object at a long distance from the vehicle to the vehicle with high accuracy while suppressing a processing load.
  • the stereo camera device includes: A stereo camera, An object to be detected is detected based on at least one first region among a plurality of regions having different positions in a predetermined direction in an image captured by the stereo camera, and an image of the detected object is formed.
  • a first control unit configured to generate an interpolation pixel by performing pixel interpolation based on at least the original pixel, and to detect a distance from a reference position to the detected object position based on at least the interpolation pixel;
  • the vehicle in an embodiment is A stereo camera, An object to be detected is detected based on at least one first region among a plurality of regions having different positions in a predetermined direction in an image captured by the stereo camera, and an image of the detected object is formed.
  • a first control unit configured to generate an interpolation pixel by performing pixel interpolation based on at least the original pixel, and to detect a distance from a reference position to the detected object position based on at least the interpolation pixel;
  • FIG. 4 is a second diagram illustrating an example of an image captured by the first imaging unit illustrated in FIG. 1. It is an enlarged view of the 1st field in the 1st picture. It is an enlarged view of the 1st field in the 2nd picture.
  • the stereo camera system 1 includes an ECU (Electronic Control Unit) 20 and a stereo camera device 30.
  • the ECU 20 and the stereo camera device 30 are connected to each other via a wired or wireless communication network, and transmit / receive various information.
  • the stereo camera device 30 according to the present embodiment is assumed to be installed in a moving body 10 such as an automobile. However, the stereo camera device 30 can also be used by being installed on the moving body 10 other than the automobile.
  • the ECU 20 controls devices such as an engine, a brake, a steering (steering device), a direction indicator, and the like that operate for the moving body 10 to travel.
  • the ECU 20 acquires driving information representing driving conditions such as speed, acceleration, brake operation, steering angle, direction indicated by the direction indicator, irradiation range of the headlight, and the like from these devices. Further, the ECU 20 outputs driving information to the stereo camera device 30.
  • the steering angle of the driving information and the direction indicated by the direction indicator are referred to as direction information.
  • the stereo camera device 30 includes a stereo camera having a first imaging unit 31L and a second imaging unit 31R, which are at least two imaging units, and a control unit 33 (first control unit).
  • the first and second imaging units 31L and 31R have, for example, the same optical system and the same imaging element such as a CMOS or a CCD, and the imaging element captures an image formed by the optical system.
  • the angle of view of the optical system is preferably wide.
  • the first and second imaging units 31L and 31R capture an image of one frame every predetermined time, for example, every 0.1 second.
  • the first and second imaging units 31L and 31R for example, optical axes of the optical systems in the first and second imaging units 31L and 31R so as to image the front of the moving body 10. It is installed so that OX is parallel to the front direction.
  • the imaging elements provided in the first imaging unit 31L and the second imaging unit 31R are in the same plane perpendicular to their optical axes, and the first imaging unit 31L A straight line passing through a reference point such as the center of the image sensor provided in the second imaging unit 31R is set to be horizontal.
  • the control unit 33 is realized by an image processing microprocessor (Micro Processing Unit: MPU).
  • MPU Micro Processing Unit
  • the control unit 33 acquires images as image information from the first and second imaging units 31L and 31R via an image input / output interface (Interface: I / F).
  • the control part 33 acquires the driving information of the moving body 10 from ECU20 via a CAN input / output interface.
  • the control unit 33 detects the distance from the reference point of the stereo camera device 30 to the object imaged based on the images and driving information captured by the first and second imaging units 31L and 31R.
  • the reference point is an arbitrary point that serves as a reference for distance detection in the stereo camera, and is, for example, a midpoint between the image sensors of the first and second imaging units 31L and 31R.
  • the control unit 33 for each of a plurality of regions in the image, a distance detection method for an object near the moving body 10 (an object at a short distance) and an object far from the moving body 10 (a long distance) The distance is detected using the distance detection method for the object.
  • the area is an area that constitutes a part of the entire area of the image.
  • the control unit 33 positions the plurality of areas at different positions in a predetermined direction in the image.
  • the predetermined direction is a direction substantially corresponding to upward in the vertical direction in the captured image when the stereo camera device 30 is attached to the moving body 10.
  • the plurality of areas are smaller as they are positioned in a predetermined direction, and an object at a longer distance is imaged as it goes in a predetermined direction among the plurality of areas.
  • the plurality of regions are a first region F and a second region N, and the first region F is located in a direction toward a predetermined direction by the second region N.
  • the position in the direction corresponding to the vertical direction of the first and second regions F and N may be a predetermined position or may be determined based on the speed at which the moving body 10 travels. As a method of determining based on the speed at which the moving body 10 travels, for example, as the speed of the moving body 10 increases, the positions of the first and second regions F and N are determined so as to go in predetermined directions, respectively. To do.
  • control unit 33 determines the positions of the first and second regions F and N in the direction corresponding to the horizontal direction in the image based on the traveling direction of the moving body 10.
  • a method for determining the positions of the first and second regions F and N in the direction corresponding to the horizontal direction will be described in detail with reference to FIGS. 4 and 5.
  • FIG. 4 is a diagram illustrating an example of an image captured by the first imaging unit 31L when the moving body 10 is traveling straight.
  • FIG. 5 is a diagram illustrating an example of an image captured by the first imaging unit 31L when the moving body 10 travels in the left direction.
  • the control unit 33 determines the first and second regions F and N to be positioned at the center in the horizontal direction in the image, as shown in FIG. To do.
  • the first and second regions F and N are determined so as to be located on the left side from the central portion in the horizontal direction in the image.
  • the first and second regions F and N may be determined based on the magnitude of the steering angle of the moving body 10. For example, in the first and second regions F and N when the moving body 10 travels in the direction of 20 degrees to the left from the straight traveling direction, the moving body 10 travels in the direction of 10 degrees to the left from the straight traveling direction. Compared to the case, it is determined to be located on the left side. Further, there may be a plurality of first and second regions F and N, respectively.
  • the distance detection method for short distance and the distance detection method for long distance will be described separately for the distance detection method in each region.
  • the control unit 33 captures the first image captured by the first and second imaging units 31L and 31R in the second region N, which is a region for detecting an object at a short distance. Crop from the second image. When cropped, the control unit 33 performs stereo matching using both cropped images and detects the distance.
  • the control unit 33 detects the distance from the reference position to the position of the object based on the original pixel of the image of the object captured in the first and second images.
  • stereo matching such as semi-global matching (SGM) using a SAD (Sum of. Absolute Difference) function.
  • the control unit 33 crops the first area F, which is an area for detecting the object for long distance, from the first image. When cropped, the control unit 33 performs object detection. Next, the control unit 33 uses at least the original pixels that form the detected object image, for example, to perform pixel interpolation on the original pixels in an area slightly larger than the drawing area of the object image. When the pixel interpolation is performed, the control unit 33 at least in the second image captured at the same time, the original pixel in the area corresponding to the drawing area of the object detected in the first area of the first image. Based on the above, pixel interpolation is performed. Then, distance detection is performed based on at least the interpolated pixels generated by pixel interpolation in the first and second images.
  • the control unit 33 uses a HOG (Histogram of Oriented Gradients) feature amount for only the first region F in the image captured by the first imaging unit 31L to detect a predetermined object to be detected such as a person or a car. Detect. More specifically, the control unit 33 calculates the luminance gradient of the pixels constituting the first region F, and detects an object based on the calculated luminance gradient and SVM (Support Vector Vector) learning data.
  • HOG Hemogram of Oriented Gradients
  • the control unit 33 generates an interpolation pixel based on an original pixel in an area slightly larger than the drawing area of the detected object image in the image of the same frame among the first images captured every predetermined time. .
  • the control unit 33 calculates the luminance value at the position between the centers of these original pixels by weighting and calculating each luminance value of two or more adjacent original pixels by linear interpolation.
  • An interpolated pixel having the determined luminance value is generated.
  • the control unit 33 may perform pixel interpolation using not only the linear interpolation method but also the nearest neighbor method, the bicubic method, the Lanczos method, or the like.
  • a car is imaged at the center as an example of the detected object.
  • the vehicle is imaged on the left side of the center in the first region of the second image. Therefore, as shown in FIG. 7, the area A on the left side of the area at the same position as the drawing area of the first image is set as the corresponding area.
  • a wide area B including an area at the same position as the area where the object image is detected in the first image may be set as the corresponding area.
  • the control unit 33 performs stereo matching, so that the control unit 33 determines the distance from the reference position to the position of the object based on at least the interpolation pixels of the image of the object captured in the first and second images.
  • the control unit 33 may detect the distance based on both the original pixel and the interpolation pixel constituting the detected object image, or may detect the distance based only on the interpolation pixel.
  • the first control is performed by the control unit 33 except that stereo matching is performed on the second area based on the original pixel and stereo matching is performed on the first area based on at least the interpolation pixel.
  • the stereo matching and the distance detection for the area are the same as the stereo matching and distance detection functions for the second area.
  • the distance from the reference point detected in this way to the object is transmitted to the ECU 20 and used for driving support of the moving body 10.
  • each component of the stereo camera device 30 are realized by storing a program describing the processing contents for realizing these functions in a storage unit of a computer, and reading and executing the program by the CPU of the computer. can do.
  • the first and second imaging units 31L and 31R capture images in front of the moving body 10, respectively.
  • the control unit 33 acquires image information representing the captured image from each of the first and second imaging units 31L and 31R.
  • the ECU 20 acquires driving information
  • the control unit 33 acquires driving information from the ECU 20.
  • control unit 33 processes the image based on the driving information.
  • the control unit 33 crops the second region N from the images captured by the first and second imaging units 31L and 31R based on the driving situation represented by the driving information. (Step S21). Next, the control unit 33 performs stereo matching based on the original pixels constituting the cropped second area N (step S22), and from the reference point to the object imaged in the second area N Is detected (step S23).
  • the control unit 33 crops the first region F from the first image based on the driving situation represented by the driving information (step S31).
  • the control unit 33 calculates the gradient of the luminance of the pixels constituting the first region F (step S32).
  • the control unit 33 calculates the HOG feature value based on the gradient calculated in step S32 (step S33), and the object to be detected based on the calculated HOG feature value and the SVM learning data. Is detected (step S34).
  • control unit 33 extracts an original pixel in an area slightly wider than the drawing area of the object in the first area of the first image detected in step S34. Further, the control unit 33 extracts an original pixel in the area of the second image corresponding to the drawing area in which the object image is detected in the first image (step S35). Then, the control unit 33 performs pixel interpolation based on the original pixels extracted from the first and second images in step S35 to generate an interpolation pixel (step S36).
  • control unit 33 When interpolation pixels related to the detected object image are generated for the first and second images in step S36, the control unit 33 performs stereo matching based on at least these interpolation pixels (step S37). The distance from the detected object to the reference position is detected (step S38).
  • the amount is larger than when no pixel interpolation is performed.
  • the distance can be detected based on the pixels. Therefore, the distance can be detected with high accuracy.
  • the pixel interpolation is performed only for the image related to the image of the detected object while realizing the highly accurate distance detection in this way, compared to the case of performing the pixel interpolation for all the regions in the image, The amount of processing related to pixel interpolation can be reduced.
  • the plurality of regions of the image captured by the stereo camera device 30 are so small that they are positioned in a predetermined direction. For this reason, the amount of processing related to object detection is small, and the time required for processing is shortened. In addition, the distance from the stereo camera device 30 to an object located farther away from the stereo camera device 30 is increased toward the predetermined direction, and the object located farther is imaged smaller in the image. Therefore, object detection is performed on a small area. Even if it goes, the object to be detected can be detected.
  • pixel interpolation compared to a case where pixel interpolation is performed using images of a plurality of different frames captured by the first imaging unit 31L, for example, an image of an arbitrary frame and an image of the next frame. Processing speed.
  • pixel interpolation is performed using an image of a different frame, an image of an arbitrary frame is subjected to pixel interpolation with the image of the next frame. Because you have to wait for it to start. Therefore, pixel interpolation based on pixels constituting an image of the same frame, which can be performed in real time, is suitable for object detection of the stereo camera device 30 provided in the moving body 10 that moves at high speed.
  • an area is determined based on the direction in which the moving body 10 travels, and pixel interpolation and distance detection are performed on the area. It can be carried out.
  • the stereo camera device 30 may include a stereo camera having first and second imaging units 31L and 31R, a first control unit 33, and a second control unit 34.
  • the first control unit 33 performs distance detection by a long-distance distance detection method
  • the second control unit 34 Distance detection is performed by a distance detection method for short distance.
  • the processing amount of each control unit is reduced by performing processing on different areas by the plurality of control units. Therefore, the stereo camera device 30 can perform the entire process at high speed.
  • the first and second imaging units 31L and 31R are installed at a position for imaging the front of the moving body 10, but are installed at a position for imaging the side or the rear instead of the front. Is also possible.
  • the stereo camera device 30 is an object at the side or back of the moving body 10 that is far away. Can be detected with high accuracy and high processing speed.
  • the shapes of the first and second regions F and N are described as squares, but the shapes of these regions are not limited to squares.
  • the size and shape of the area in the image may be determined based on the driving situation.
  • the size of the region may be determined based on the speed of the moving body 10, or the shape of the region may be determined based on the irradiation range or steering angle of the headlight.
  • control part 33 may transmit the information regarding the detected object and the magnitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

ステレオカメラ装置（３０）は、ステレオカメラと、ステレオカメラが撮像する画像内において所定の方向における位置の異なる複数の領域の中の少なくとも１つの第１の領域（Ｆ）に基づいて検知対象の物体を検知し、該検知された物体の像を構成する原画素に少なくとも基づいて画素補間を行うことにより補間画素を生成し、少なくとも該補間画素に基づいて基準位置から検知された物体の位置までの距離を検出する第１の制御部（３３）とを備える。これにより、処理負荷を抑制しつつ、車両から遠距離にある物体を精度高く検知するできるステレオカメラ装置及び車両を提供する。

Description

ステレオカメラ装置及びステレオカメラ装置を備える車両 関連出願の相互参照
　本出願は、２０１４年１０月２４日出願の日本国特許出願２０１４－２１７３７０号の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、ステレオカメラ装置及びステレオカメラ装置を備える車両に関する。
　従来、路面及び路面上の物体を撮像した画像の広範囲をウィンドウによって区画し、ウィンドウ毎に被写体の物体認識を行う車両用路上物体認識装置が知られている（例えば、特許文献１）。
特開平７－２２５１２６号公報
　しかしながら、ステレオカメラから遠距離にある被写体は、近距離にある物体より、画像の中で小さく撮像されるため、それらの画素を用いて行う距離検出の精度は低い。また、高速で移動する車両が備えるステレオカメラにおいては、高速に距離検出を行うために処理負荷を抑制する必要がある。それゆえ、処理負荷を抑制しつつ、遠距離にある物体についても高い精度での距離検出が求められる。
　本発明の目的は、処理負荷を抑制しつつ、車両から遠距離にある物体から、車両までの距離を、高い精度で検出することのできるステレオカメラ装置及び車両を提供することにある。
　ある実施形態におけるステレオカメラ装置は、
　ステレオカメラと、
　前記ステレオカメラが撮像する画像内において所定の方向における位置の異なる複数の領域の中の少なくとも１つの第１の領域に基づいて検知対象の物体を検知し、該検知された物体の像を構成する原画素に少なくとも基づいて画素補間を行うことにより補間画素を生成し、少なくとも該補間画素に基づいて基準位置から前記検知された物体の位置までの距離を検出する第１の制御部とを備える。
　ある実施形態における車両は、
　ステレオカメラと、
　前記ステレオカメラが撮像する画像内において所定の方向における位置の異なる複数の領域の中の少なくとも１つの第１の領域に基づいて検知対象の物体を検知し、該検知された物体の像を構成する原画素に少なくとも基づいて画素補間を行うことにより補間画素を生成し、少なくとも該補間画素に基づいて基準位置から前記検知された物体の位置までの距離を検出する第１の制御部とを備える。
一実施形態に係るステレオカメラ装置を有するステレオカメラシステムの機能構成を示す機能ブロック図である。 図１に示すステレオカメラシステムに係る撮像部を有するステレオカメラを設置した移動体の側面図である。 図１に示すステレオカメラシステムに係る撮像部を有するステレオカメラを設置した移動体の正面図である。 図１に示す第１の撮像部が撮像した画像の例を示す第１の図である。 図１に示す第１の撮像部が撮像した画像の例を示す第２の図である。 第１の画像における第１の領域の拡大図である。 第２の画像における第１の領域の拡大図である。 図１に示す制御部の、第２の領域に係る動作を表すフロー図である。 図１に示す制御部の、第１の領域に係る動作を表すフロー図である。 図１に示すステレオカメラ装置の機能構成の変形例を示す機能ブロック図である。
　以下、一実施形態について、図１～１０を用いて説明する。
　＜一実施形態の機能構成＞
　一実施形態に係るステレオカメラシステム１の機能構成について図１～図７を用いて説明する。図１に示すように、ステレオカメラシステム１は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）２０及びステレオカメラ装置３０を備える。ＥＣＵ２０及びステレオカメラ装置３０は有線又は無線の通信ネットワークを介して互いに接続され、各種情報を送受信する。本実施形態に係るステレオカメラ装置３０は例えば自動車などの移動体１０に設置することを想定している。ただし、ステレオカメラ装置３０は、自動車以外の移動体１０に設置して使用することも可能である。
　ＥＣＵ２０は移動体１０が走行するために動作する、例えば、エンジン、ブレーキ、ステアリング（操舵装置）、方向指示器等の機器を制御する。ＥＣＵ２０は、速度、加速度、ブレーキ操作、ステアリングの舵角、方向指示器の示す方向、ヘッドライトの照射範囲等の運転状況を表す運転情報をこれらの機器から取得する。また、ＥＣＵ２０は、運転情報をステレオカメラ装置３０に出力する。以降においては、運転情報のうちステアリングの舵角、方向指示器の示す方向を方向情報という。
　ステレオカメラ装置３０は、少なくとも２つの撮像部である第１の撮像部３１Ｌと第２の撮像部３１Ｒとを有するステレオカメラ、及び制御部３３（第１の制御部）を備える。
　第１及び第２の撮像部３１Ｌ，３１Ｒは、例えば同一の光学系、及び、ＣＭＯＳ又はＣＣＤなどの同一の撮像素子を有し、光学系が結像する画像を撮像素子が撮像する。光学系の画角は広いことが好ましい。第１及び第２の撮像部３１Ｌ，３１Ｒは、所定時間毎、例えば、０．１秒毎に１フレームの画像を撮像する。
　次に、第１及び第２の撮像部３１Ｌ，３１Ｒを移動体１０に設置する態様について、図２及び図３を用いて説明する。
　図２に示すように、第１及び第２の撮像部３１Ｌ，３１Ｒは、移動体１０の前方を撮像するように、例えば、第１及び第２の撮像部３１Ｌ，３１Ｒにおける光学系の光軸ＯＸが前方向に平行となるよう設置される。また、図３に示すように、第１の撮像部３１Ｌと第２の撮像部３１Ｒそれぞれに設けられる撮像素子はそれらの光軸に垂直な同一の面内にあり、第１の撮像部３１Ｌと第２の撮像部３１Ｒとに設けられる撮像素子の中心などの基準点を通る直線が、水平となるように設置される。
　制御部３３は、画像処理マイクロプロセッサ（Micro Processing Unit：ＭＰＵ）によって実現される。制御部３３は、画像入出力インターフェース（Interface:Ｉ／Ｆ）を介して第１及び第２の撮像部３１Ｌ，３１Ｒから画像を画像情報として取得する。また、制御部３３は、ＣＡＮ入出力インタフェースを介して、ＥＣＵ２０から移動体１０の運転情報を取得する。制御部３３は、第１及び第２の撮像部３１Ｌ，３１Ｒが撮像した画像および運転情報に基づいて、ステレオカメラ装置３０の基準点から画像に撮像されている物体までの距離を検出する。基準点とは、ステレオカメラにおける距離検出の基準となる任意の点であり、例えば、第１及び第２の撮像部３１Ｌ，３１Ｒの各撮像素子間の中点である。
　本実施形態において、制御部３３は、画像中の複数の領域別に、移動体１０の近くにある物体（近距離の物体）用の距離検出方法、および移動体１０の遠くにある物体（遠距離の物体）用の距離検出方法を用いて距離を検出する。領域とは、画像の全体領域の中の一部を構成する領域である。制御部３３は、複数の領域を、画像内の所定の方向における異なる位置に、位置決めする。所定の方向とは、ステレオカメラ装置３０が移動体１０に取り付けられたときに、撮像した画像において鉛直方向上向きに実質的に対応する方向である。また、複数の領域は、所定の方向に位置するほど小さく、複数の領域のうち所定の方向に向かうほど、遠距離の物体が撮像される。以下の説明においては、複数の領域は第１の領域Ｆ及び第２の領域Ｎとし、第１の領域Ｆは第２の領域Ｎにより所定の方向に向かう方向に位置する。
　第１及び第２の領域Ｆ，Ｎの鉛直方向に対応する方向における位置は、予め決められた位置であってもよいし、移動体１０が進行する速度に基づいて決定されてもよい。移動体１０が進行する速度に基づいて決定する方法としては、例えば、移動体１０の速度が速いほど、第１及び第２の領域Ｆ，Ｎの位置は、それぞれ所定の方向に向かうように決定する。
　また、制御部３３は、画像における水平方向に対応する方向についての第１及び第２の領域Ｆ，Ｎの位置を、移動体１０の進行方向に基づいて決定する。ここで、図４及び図５を用いて、水平方向に対応する方向における第１及び第２の領域Ｆ，Ｎの位置を決定する方法を詳細に説明する。図４は、移動体１０が直進しているときに第１の撮像部３１Ｌによって撮像された画像の例を示す図である。図５は、移動体１０が左方向に進行しているときに第１の撮像部３１Ｌによって撮像された画像の例を示す図である。
　また、制御部３３は、移動体１０が直進している場合、図４に示すように、第１及び第２の領域Ｆ，Ｎを、画像内の水平方向における中央部に位置するように決定する。移動体１０が左方向に進行している場合、図５に示すように第１及び第２の領域Ｆ，Ｎは、画像内の水平方向における中央部より左側に位置するように決定される。また、第１及び第２の領域Ｆ，Ｎは、移動体１０の舵角の大きさに基づいて決定されてもよい。例えば、移動体１０が直進方向から左に２０度の方向に進行している場合の第１及び第２の領域Ｆ，Ｎは、移動体１０が直進方向から左に１０度の方向に進行する場合に比べて、それぞれ左側に位置するように決定される。また、第１及び第２の領域Ｆ，Ｎはそれぞれ複数あってもよい。
　続いて、それぞれの領域における距離検出方法について、近距離用の距離検出方法および遠距離用の距離検出方法を別々に説明する。
　最初に、近距離用の距離検出方法について説明する。近距離用の距離検出において、制御部３３は、近距離の物体を検出する領域である第２の領域Ｎを、第１及び第２の撮像部３１Ｌ，３１Ｒによってそれぞれ撮像された第１の画像、第２の画像の中からクロップする。クロップすると、制御部３３は、クロップした両画像を用いてステレオマッチングを行い、距離を検出する。
　続いて、制御部３３がステレオマッチングを行って距離を検出する機能について詳細に説明する。制御部３３は、第１及び第２の画像に撮像されている物体の像の原画素に基づいて、基準位置から該物体の位置までの距離を検出する。検知された物体の位置までの距離を検出するには、ＳＡＤ（Sum of. Absolute Difference）関数を利用したセミグローバルマッチング（Semi Global Matching：ＳＧＭ）等のステレオマッチング用いるのが好ましい。
　次に、遠距離用の距離検出方法について説明する。遠距離用の距離検出において、制御部３３は、遠距離用の物体を検知する領域である第１の領域Ｆを、第１の画像の中からクロップする。クロップすると、制御部３３は、物体検知を行なう。次に、制御部３３は、検知された物体の像を形成する原画素を少なくとも用いて、例えば当該物体の像の描画領域よりやや広い領域内の原画素に対して画素補間を行う。画素補間が行われると、制御部３３は、少なくとも、同時刻に撮像した第２の画像における、第１の画像の第１の領域内で検知した物体の描画領域に対応する領域内の原画素に基づいて、画素補間を行う。そして、第１及び第２の画像の、少なくとも、画素補間によって生成された補間画素に基づいて距離検出を行う。
　ここで、制御部３３が行う物体検知について詳細に説明する。制御部３３は、第１の撮像部３１Ｌによって撮像された画像における第１の領域Ｆのみについて、ＨＯＧ（Histogram of Oriented Gradients）特徴量を用いて、人や車などの検知対象の所定の物体を検知する。さらに詳しく説明すると制御部３３は、第１の領域Ｆを構成する画素の輝度の勾配を算出し、算出された輝度の勾配とＳＶＭ（Support Vector Machine）の学習データに基づいて物体を検知する。
　次に、制御部３３が行う画素補間について詳細に説明する。制御部３３は、所定時間毎に撮像した第１の画像のうち同一のフレームの画像における、検知された物体の像の描画領域よりやや広い領域内の原画素に基づいて、補間画素を生成する。制御部３３は、例えば、線形補間法により隣接する２以上の原画素の各輝度値に重み付けをして演算することにより、これらの原画素の中心の間の位置における輝度値を算出し、算出された輝度値を有する補間画素を生成する。また、制御部３３は、線形補間法に限らず、ニアレストネイバー法、バイキュービック法、ランツォシュ法等を用いた画素補間を行ってもよい。
　続いて、第１の画像の第１の領域内で検知した物体の描画領域に対応する、第２の画像の領域について、図６及び図７を用いて詳細に説明する。
　図６に示すように、第１の画像の第１の領域には、検知された物体の一例として車がほぼ中央に撮像されている。上述の第１の撮像部及び第２の撮像部の設置状態によれば、第２の画像の第１の領域には、当該車は中央より左側に撮像されることになる。そのため、図７に示すように、第１画像の描画領域と同じ位置にある領域より左側の領域Ａを、対応する領域とする。また、第１の画像において物体の像が検知された領域と同じ位置にある領域を含む広い領域Ｂを、対応する領域としてもよい。
　続いて、制御部３３がステレオマッチングにより、制御部３３は、第１及び第２の画像に撮像されている物体の像の少なくとも補間画素に基づいて、基準位置から該物体の位置までの距離を検出する。すなわち、制御部３３は、検知された物体の像を構成する原画素及び補間画素の両方に基づいて距離を検出してもよいし、補間画素のみに基づいて距離を検出してもよい。第２の領域に対しては原画素に基づいてステレオマッチングを行い、第１の領域に対しては少なくとも補間画素に基づいてステレオマッチングを行うという点を除いては、制御部３３が行う第１の領域についてのステレオマッチング及び距離検出は、上述の第２の領域についてのステレオマッチング及び距離検出の機能とそれぞれ同様である。
　また、第１の領域及び第２の領域につき、このようにして検出された基準点から物体までの距離は、ＥＣＵ２０に送信され、移動体１０の運転支援に用いられる。
　ステレオカメラ装置３０の各構成の機能は、これらの機能を実現する処理内容を記述したプログラムを、コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行することで実現することができる。
　＜一実施形態の動作＞
　本実施形態に係るステレオカメラシステム１の動作について説明する。
　第１及び第２の撮像部３１Ｌ，３１Ｒは、それぞれ移動体１０の前方の画像を撮像する。画像が撮像されると、制御部３３は、撮像された画像を表す画像情報を、第１及び第２の撮像部３１Ｌ，３１Ｒそれぞれから取得する。一方、ＥＣＵ２０は運転情報を取得し、制御部３３はＥＣＵ２０から運転情報を取得する。
　続いて、制御部３３は、運転情報に基づいて、画像を処理する。
　ここで、制御部が行う画像の処理について詳細に説明する。まず、制御部３３が、近距離の物体までの距離を検出するために第２の領域Ｎに対して行う処理について図８を用いて説明する。
　図８に示すように、まず、制御部３３は、第１及び第２の撮像部３１Ｌ，３１Ｒによってそれぞれ撮像された画像から、運転情報が表す運転状況に基づいて第２の領域Ｎをクロップする（ステップＳ２１）。次に、制御部３３は、クロップされた第２の領域Ｎを構成する原画素に基づいて、ステレオマッチングを行い（ステップＳ２２）、基準点から、第２の領域Ｎに撮像されている物体までの距離を検出する（ステップＳ２３）。
　次に、制御部３３が、第１の領域Ｆに対して行う処理について、図９を用いて説明する。
　図９に示すように、まず、制御部３３は、運転情報が表す運転状況に基づいて、第１の画像から、第１の領域Ｆをクロップする（ステップＳ３１）。ステップＳ３１で、第１の領域Ｆがクロップされると、制御部３３は、第１の領域Ｆを構成する画素の輝度の勾配を算出する（ステップＳ３２）。そして、制御部３３は、ステップＳ３２で算出された勾配に基づいてＨＯＧ特徴量を算出し（ステップＳ３３）、算出されたＨＯＧ特徴量とＳＶＭの学習データとに基づいて検知対象となっている物体を検知する（ステップＳ３４）。
　次に、制御部３３は、ステップＳ３４で検知された第１の画像の第１の領域内の物体の描画領域よりやや広い領域内の原画素を抽出する。また、制御部３３は、第１の画像において物体の像が検知された描画領域に対応する、第２の画像の領域内の原画素を抽出する（ステップＳ３５）。そして、制御部３３は、ステップＳ３５で第１及び第２の画像から抽出された原画素に基づいて画素補間を行って補間画素を生成する（ステップＳ３６）。
　ステップＳ３６で、第１及び第２の画像について、検知された物体の像に係る補間画素が生成されると、制御部３３は、少なくともこれらの補間画素に基づいてステレオマッチングを行い（ステップＳ３７）、検知された物体から基準位置までの距離を検出する（ステップＳ３８）。
　本実施形態によれば、ステレオカメラ装置３０の遠くにあるため画像内に小さく撮像されている物体については、少なくとも補間画素に基づいて距離を検出するため、画素補間を行わない場合に比べて多くの画素に基づいて距離を検出することができる。そのため、高精度に距離を検出することができる。そして、このように高精度な距離検出を実現しつつ、検知された物体の像に係る画像についてのみ画素補間を行っているため、画像内の全ての領域について画素補間を行う場合に比べて、画素補間に係る処理量を少なくすることができる。
　また、本実施形態によれば、ステレオカメラ装置３０によって撮像される画像の複数の領域は所定の方向に位置するほど小さい。このため、物体検知に係る処理量は少なく、処理に要する時間は短くなる。また、所定の方向に向かうほど、ステレオカメラ装置３０から遠くに位置する物体までの距離検出に用いられ、遠くに位置する物体は画像内において小さく撮像されるため、小さい領域に対して物体検知を行っても検知対象の物体を検知することができる。
　また、本実施形態によれば、第１の撮像部３１Ｌによって撮像した異なる複数のフレームの画像、例えば、任意のフレームの画像とその次のフレームの画像とを用いて画素補間を行う場合に比べて、処理速度が速くなる。異なるフレームの画像を用いて画素補間を行う場合、任意のフレームの画像は、その次のフレームの画像とともに画素補間が行われるために、その次のフレームの画像が撮像されるまで、その処理を開始するのを待たなければならないからである。したがって、高速で移動する移動体１０が備えるステレオカメラ装置３０の物体検知にはリアルタイムで行うことができる、同一のフレームの画像を構成する画素に基づく画素補間が適している。
　また、本実施形態によれば、移動体１０が走行する方向に基づいて領域を決定し、その領域に対して画素補間及び距離検出を行うため、移動体１０が走行可能な領域について距離検出を行うことができる。
　上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　図１０に示すように、ステレオカメラ装置３０は、第１及び第２の撮像部３１Ｌ，３１Ｒを有するステレオカメラ、第１の制御部３３、及び第２の制御部３４を備えてもよい。このように、ステレオカメラシステム１を２つの制御部を備えるマルチコアによるものとすることによって、第１の制御部３３が遠距離用の距離検出方法によって距離検出を行い、第２の制御部３４が近距離用の距離検出方法によって距離検出を行う。このように複数の制御部が異なる領域に対してそれぞれ処理を行うことによって各制御部の処理量が減少する。そのため、ステレオカメラ装置３０は処理全体を高速に行うことができる。
　また、本実施形態では、第１及び第２の撮像部３１Ｌ，３１Ｒは移動体１０の前方を撮像する位置に設置されているが、前方ではなく側方又は後方を撮像する位置に設置することも可能である。第１及び第２の撮像部３１Ｌ，３１Ｒが、移動体１０の側方又は後方を撮像する位置に設置した場合、ステレオカメラ装置３０は移動体１０のそれぞれ側方又は後方の、遠くにある物体を高い精度、かつ高い処理速度で検知することができる。
　また、本実施形態を説明するための図４，５においては、第１及び第２の領域Ｆ，Ｎの形状をそれぞれ四角形として記載しているが、これらの領域の形状は四角形に限定されない。
　また、本実施形態では、運転状況に基づいて、画像中の領域の大きさ及び形状を決定してもよい。例えば、移動体１０の速度に基づいて領域の大きさを決定したり、ヘッドライトの照射範囲又は舵角に基づいて領域の形状を決定したりしてもよい。
　また、本実施形態では、制御部３３は、通信ネットワークを介して他の装置又は他のシステムに検知された物体及び計測された大きさに関する情報を送信してもよい。
１　　　　ステレオカメラシステム
１０　　　移動体
２０　　　ＥＣＵ
３０　　　ステレオカメラ装置
３１Ｌ　　第１の撮像部
３１Ｒ　　第２の撮像部
３３　　　制御部（第１の制御部）
３４　　　第２の制御部
ＯＸ　　　光軸
Ｆ　　　　第１の領域
Ｎ　　　　第２の領域

Claims (12)

  1. 　ステレオカメラと、
    　前記ステレオカメラが撮像する画像内において所定の方向における位置の異なる複数の領域の中の少なくとも１つの第１の領域に基づいて検知対象の物体を検知し、検知された前記物体の像を構成する原画素に少なくとも基づいて画素補間を行うことにより補間画素を生成し、少なくとも該補間画素に基づいて基準位置から検知された前記物体の位置までの距離を検出する第１の制御部とを備える
    　ステレオカメラ装置。
  2. 　請求項１に記載のステレオカメラ装置であって、
    　前記複数の領域は、前記所定の方向における一方側に位置するものほど小さい
    　ステレオカメラ装置。
  3. 　請求項２に記載のステレオカメラ装置であって、
    　前記複数の領域のうち、前記一方側に位置するものほど、前記ステレオカメラ装置の遠くに位置する物体までの距離の検出に用いられる
    　ステレオカメラ装置
  4. 　請求項１から３のいずれか１項に記載のステレオカメラ装置であって、
    　前記所定の方向が、前記ステレオカメラで撮像される画像において鉛直方向上向きに対応する方向に実質的に一致する
    　ステレオカメラ装置。
  5. 　請求項１から４のいずれか一項に記載のステレオカメラ装置であって、
    　前記画素補間は、前記ステレオカメラが撮像した同一のフレームの画像を構成する前記原画素を用いた画素補間である
    　ステレオカメラ装置。
  6. 　請求項１から５のいずれか一項に記載のステレオカメラ装置であって、
    　前記複数の領域の中で、前記第１の領域とは異なる第２の領域においては、第２の領域を構成する原画素に基づいて、前記基準位置から前記第２の領域に描かれる物体までの距離が検出される
    　ステレオカメラ装置。
  7. 　請求項６に記載のステレオカメラ装置であって、
    　前記第１の制御部が、前記基準位置から前記第２の領域に描かれる物体までの距離を検出する
    　ステレオカメラ装置。
  8. 　請求項６に記載のステレオカメラ装置であって、
    　前記基準位置から前記第２の領域に描かれる物体までの距離の検出を行う第２の制御部を、さらに備える
    　ステレオカメラ装置。
  9. 　請求項１から８のいずれか一項に記載のステレオカメラ装置であって、
    　前記ステレオカメラは２つの撮像部を備え、
    　前記第１の制御部は、前記２つの撮像部のうちの一方の撮像部が撮像する画像のみに基づいて、物体を検知する
    　ステレオカメラ装置。
  10. 　請求項１から９のいずれか一項に記載のステレオカメラ装置であって、
    　前記第１の制御部は、前記ステレオカメラを備える車両の運転状況に基づいて、前記複数の領域のうちの少なくとも１つの領域の位置、大きさ、形状のうちいずれか１つ以上を決定する
    　ステレオカメラ装置。
  11. 　請求項１から９のいずれか一項に記載のステレオカメラ装置を備える車両。
  12. 　請求項１１に記載の車両であって、
    　前記ステレオカメラ装置の前記第１の制御部は、前記ステレオカメラを備える前記車両の運転状況に基づいて、前記複数の領域のうちの少なくとも１つの領域の位置、大きさ、形状のうちいずれか１つ以上を決定する車両。
PCT/JP2015/005346 2014-10-24 2015-10-23 ステレオカメラ装置及びステレオカメラ装置を備える車両 Ceased WO2016063545A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15852427.2A EP3211368B1 (en) 2014-10-24 2015-10-23 Stereo camera apparatus and vehicle provided with stereo camera apparatus
JP2016555091A JP6306735B2 (ja) 2014-10-24 2015-10-23 ステレオカメラ装置及びステレオカメラ装置を備える車両
US15/520,760 US10595003B2 (en) 2014-10-24 2015-10-23 Stereo camera apparatus and vehicle comprising the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-217370 2014-10-24
JP2014217370 2014-10-24

Publications (1)

Publication Number Publication Date
WO2016063545A1 true WO2016063545A1 (ja) 2016-04-28

Family

ID=55760603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005346 Ceased WO2016063545A1 (ja) 2014-10-24 2015-10-23 ステレオカメラ装置及びステレオカメラ装置を備える車両

Country Status (4)

Country Link
US (1) US10595003B2 (ja)
EP (1) EP3211368B1 (ja)
JP (1) JP6306735B2 (ja)
WO (1) WO2016063545A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139631A (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
WO2020008832A1 (ja) * 2018-07-06 2020-01-09 ミツミ電機株式会社 測距カメラ
JP2020051943A (ja) * 2018-09-27 2020-04-02 株式会社Ｓｕｂａｒｕ 車両用ステレオカメラ装置
WO2021064511A1 (ja) * 2019-10-04 2021-04-08 株式会社半導体エネルギー研究所 半導体装置および判定システム
US11741193B2 (en) 2020-12-02 2023-08-29 Yamaha Hatsudoki Kabushiki Kaisha Distance recognition system for use in marine vessel, control method thereof, and marine vessel

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017006840B4 (de) * 2017-01-16 2023-11-02 Fujitsu Limited Informationsverarbeitungsprogramm, Informationsverarbeitungsverfahren und Informationsverarbeitungsvorrichtung
US11435752B2 (en) 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225126A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用路上物体認識装置
JPH08255250A (ja) * 1995-03-17 1996-10-01 Toyota Motor Corp 移動ベクトル抽出方法
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
JP2010079582A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 物体を検出する装置、方法及びプログラム
JP2011191905A (ja) * 2010-03-12 2011-09-29 Hitachi Automotive Systems Ltd ステレオカメラ装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001126065A (ja) * 1999-10-26 2001-05-11 Toyota Central Res & Dev Lab Inc 距離分布検知装置
JP2004061446A (ja) * 2002-07-31 2004-02-26 Fujitsu Ten Ltd パターンマッチング処理方法及び画像処理装置
JP4394487B2 (ja) * 2004-03-05 2010-01-06 富士重工業株式会社 ステレオ画像処理装置
JP2006317193A (ja) * 2005-05-10 2006-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理用プログラム
US7551771B2 (en) * 2005-09-20 2009-06-23 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
JP2012252501A (ja) * 2011-06-02 2012-12-20 Toyota Central R&D Labs Inc 走行路認識装置及び走行路認識用プログラム
US9426364B2 (en) * 2011-09-05 2016-08-23 Mitsubishi Electric Corporation Image processing apparatus and image processing method
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225126A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用路上物体認識装置
JPH08255250A (ja) * 1995-03-17 1996-10-01 Toyota Motor Corp 移動ベクトル抽出方法
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
JP2010079582A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 物体を検出する装置、方法及びプログラム
JP2011191905A (ja) * 2010-03-12 2011-09-29 Hitachi Automotive Systems Ltd ステレオカメラ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3211368A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139631A (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
WO2020008832A1 (ja) * 2018-07-06 2020-01-09 ミツミ電機株式会社 測距カメラ
JP2020008415A (ja) * 2018-07-06 2020-01-16 ミツミ電機株式会社 測距カメラ
US11410321B2 (en) 2018-07-06 2022-08-09 Mitsumi Electric Co., Ltd. Distance measuring camera
JP7121269B2 (ja) 2018-07-06 2022-08-18 ミツミ電機株式会社 測距カメラ
JP2020051943A (ja) * 2018-09-27 2020-04-02 株式会社Ｓｕｂａｒｕ 車両用ステレオカメラ装置
JP7256623B2 (ja) 2018-09-27 2023-04-12 株式会社Subaru 車両用ステレオカメラ装置
JP2023054084A (ja) * 2018-09-27 2023-04-13 株式会社Subaru 車両用ステレオカメラ装置
WO2021064511A1 (ja) * 2019-10-04 2021-04-08 株式会社半導体エネルギー研究所 半導体装置および判定システム
JPWO2021064511A1 (ja) * 2019-10-04 2021-04-08
JP7582957B2 (ja) 2019-10-04 2024-11-13 株式会社半導体エネルギー研究所 半導体装置および判定システム
US11741193B2 (en) 2020-12-02 2023-08-29 Yamaha Hatsudoki Kabushiki Kaisha Distance recognition system for use in marine vessel, control method thereof, and marine vessel

Also Published As

Publication number Publication date
EP3211368A4 (en) 2018-06-06
US10595003B2 (en) 2020-03-17
JPWO2016063545A1 (ja) 2017-06-29
EP3211368A1 (en) 2017-08-30
EP3211368B1 (en) 2023-07-26
JP6306735B2 (ja) 2018-04-04
US20170318279A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP4814669B2 (ja) ３次元座標取得装置
JP5267596B2 (ja) 移動体検出装置
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP2015143677A (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6712775B2 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
JP6944328B2 (ja) 車両の周辺監視装置と周辺監視方法
JP6589313B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
JP2015158749A (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP6035774B2 (ja) 画像処理装置、画像処理方法、及び車両
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
US12425530B2 (en) Image processing device, image processing method, and storage medium
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
JP2015011665A (ja) 走行路面標示検知装置および走行路面標示検知方法
WO2023067867A1 (ja) 車載制御装置、および、３次元情報取得方法
JP2016070774A (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6466679B2 (ja) 物体検出装置
JP2013161187A (ja) 物体認識装置
JP6152646B2 (ja) 複眼カメラ装置、及びそれを備えた車両
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
JP6988860B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP6432033B2 (ja) 車載装置
JP2021193634A (ja) 情報処理システム、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15852427

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016555091

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15520760

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015852427

Country of ref document: EP