[go: up one dir, main page]

JP7037413B2 - 撮像装置、移動体、および撮像方法 - Google Patents

撮像装置、移動体、および撮像方法 Download PDF

Info

Publication number
JP7037413B2
JP7037413B2 JP2018062998A JP2018062998A JP7037413B2 JP 7037413 B2 JP7037413 B2 JP 7037413B2 JP 2018062998 A JP2018062998 A JP 2018062998A JP 2018062998 A JP2018062998 A JP 2018062998A JP 7037413 B2 JP7037413 B2 JP 7037413B2
Authority
JP
Japan
Prior art keywords
image
index
captured image
calibration object
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018062998A
Other languages
English (en)
Other versions
JP2019176340A (ja
Inventor
翔太 岩野
克美 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2018062998A priority Critical patent/JP7037413B2/ja
Priority to US16/977,746 priority patent/US11501464B2/en
Priority to PCT/JP2019/011269 priority patent/WO2019188521A1/ja
Publication of JP2019176340A publication Critical patent/JP2019176340A/ja
Application granted granted Critical
Publication of JP7037413B2 publication Critical patent/JP7037413B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Lens Barrels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)

Description

本開示は、撮像装置、移動体、および撮像方法に関する。
従来、カメラを取り付ける位置および姿勢のずれに起因する画像のずれを補正することが知られている。例えば、該カメラによって指標となる被写体を撮像することによって生成された撮像画像における指標の像が較正用オブジェクトに一致するように撮像画像の領域を変更することが提案されている（例えば、特許文献１参照）。
特開２０００－２０９５７７号公報
しかしながら、上述のように撮像画像の領域を変更しても、指標の像を較正用のオブジェクトに一致させることができないことがあり、画像のずれを高い精度で補正することが困難となる。
本開示は、カメラの取り付け位置および姿勢のずれに起因する画像のずれを高い精度で補正する撮像装置、移動体、および撮像方法を提供することを目的とする。
本開示の一実施形態に係る撮像装置は、カメラと、コントローラとを備える。前記カメラは、撮像画像を生成する。前記コントローラは、前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、前記カメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように前記較正用オブジェクトの前記第２対応箇所と前記第２指標の像とに基づいて前記第１対応箇所を中心に前記較正用オブジェクトを回転により移動させ、前記撮像画像内の所定方向における第１指標の像からの距離に応じた伸縮率で、前記撮像画像を前記所定方向に伸縮させる歪補正を行う。
本開示の一実施形態に係る移動体は、撮像装置を備える。前記撮像装置は、カメラと、コントローラとを含む。前記カメラは、撮像画像を生成する。前記コントローラは、前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、前記カメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように前記較正用オブジェクトの前記第２対応箇所と前記第２指標の像とに基づいて前記第１対応箇所を中心に前記較正用オブジェクトを回転により移動させ、前記撮像画像内の所定方向における第１指標の像からの距離に応じた伸縮率で、前記撮像画像を前記所定方向に伸縮させる歪補正を行う。
本開示の一実施形態に係る撮像方法は、撮像装置が、撮像画像を生成する。前記撮像装置が、前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳する。前記撮像装置が、前記撮像画像を生成するカメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置、および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように前記較正用オブジェクトの前記第２対応箇所と前記第２指標の像とに基づいて前記第１対応箇所を中心に前記較正用オブジェクトを回転により移動させ、前記撮像画像内の所定方向における第１指標の像からの距離に応じた伸縮率で、前記撮像画像を前記所定方向に伸縮させる歪補正を行う。
本開示の一実施形態に係る撮像装置、移動体、および撮像方法によれば、カメラの取り付け位置および姿勢のずれに起因する画像のずれが高い精度で補正されうる。
第１実施形態に係る撮像装置および表示装置を備える移動体を示す概略図である。 図１に示す撮像装置の概略構成を示す機能ブロック図である。 図２に示す入力部が制御信号を生成するために、較正作業者によって操作される操作ボタンの例を示す図である。 図１に示す移動体および指標を上面視した概略図である。 図１に示す撮像装置の取付け位置および姿勢が設計値に合致した状態で撮像された撮像画像を示す概略図である。 図１に示す撮像装置によって撮像され、較正用オブジェクトが重畳された撮像画像の一例を示す概略図である。 図６に示す撮像画像における較正用オブジェクトおよび出力領域を平行移動によって移動させた状態を示す概略図である。 図７に示す撮像画像における較正用オブジェクトおよび出力領域を回転によって移動させた状態を示す概略図である。 第１補正方向の伸縮について説明するための概略図である。 光学歪補正が行われた撮像画像を第１補正方向に伸縮した状態を示す概略図である。 図１０に示す撮像画像を第２補正方向に伸縮した状態を示す概略図である。 補正前の撮像画像において、図１１に示す撮像画像に対応する出力領域が対応する領域を示す図である。 図２に示す撮像装置の較正処理のフローを示すフローチャートである。 第２実施形態に係る撮像装置の概略構成を示す機能ブロック図である。 図６に示す撮像画像における較正用オブジェクトを平行移動によって移動させた状態を示す概略図である。 図１５に示す撮像画像における較正用オブジェクトを回転によって移動させた状態を示す概略図である。 図１６に示す撮像画像に光学歪補正およびあおり歪補正を行った状態を示す概略図である。 図１４に示す撮像装置の較正処理のフローを示すフローチャートである。
以下、本開示の第１実施形態に係る撮像装置１０について、図面を参照して説明する。
図１に示すように、本開示の一実施形態に係る撮像装置１０は、移動体２０の、例えば後方の光景を撮像可能なように移動体２０に搭載されている。なお、以下の記載において、鉛直上向き方向をＹ方向、移動体２０の後方をＺ方向、Ｙ方向およびＺ方向に垂直な方向をＸ方向とする。撮像装置１０は、移動体２０の後方の光景に限らず、移動体２０の前方または側方の光景を撮像可能なように移動体２０に取付けられてもよい。撮像装置１０は、例えば、移動体２０の近傍の路面を撮像可能なように移動体２０に搭載されている。そのため、移動体２０は、光軸ＯＸが平地ＬＧに対して例えば３０°から６０°の角度をなすように搭載されてよい。移動体２０には、画像を表示する表示装置１１が取付けられている。撮像装置１０は、通信ネットワークを介して表示装置１１に接続され、表示装置１１に画像を送信する。
移動体２０は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
図２に示すように、撮像装置１０は、カメラ１２と、入力部１３と、メモリ１４と、コントローラ１５と、出力部１６とを備える。
カメラ１２は、撮像光学系および撮像素子を有する。撮像光学系は、１つ以上のレンズによって構成されてよい。撮像素子は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）等で構成されてよい。カメラ１２は、撮像素子が撮像光学系に入射した被写体像を撮像することによって撮像画像ＣＩを生成する。
入力部１３は、較正作業者の操作に基づいて、後述する較正用オブジェクトＪを撮像画像ＣＩ内で移動させるための制御信号を生成する。入力部１３は、例えば、図３に示すような、上方向、下方向、左方向、および右方向を示す矢印が表記されたそれぞれ上移動ボタン１３ａ、下移動ボタン１３ｂ、左移動ボタン１３ｃ、および右移動ボタン１３ｄを含む移動操作ボタンを含んでよい。入力部１３は、さらに、右回転方向および左回転方向をそれぞれ示す矢印が表記された右回転移動ボタン１３ｅおよび左回転移動ボタン１３ｆを含む回転操作ボタンを含んでよい。入力部１３は、較正作業者によって移動操作ボタンおよび回転操作ボタンが操作されると、操作に基づいて、撮像画像ＣＩ内で出力領域ＯＡを移動させる方向および量を示す制御信号を生成する。
入力部１３は、較正用オブジェクトＪの移動を確定するための確定ボタンを含んでよい。入力部１３は、較正作業者によって撮像画像ＣＩ内で出力領域ＯＡの移動を確定させる確定信号を生成する。
入力部１３は、較正作業者の操作に基づいて、後述する機能モードを切替えるための切替信号を生成する。入力部１３は、例えば、機能モードに含まれる通常モードおよび較正モードのいずれかを選択する操作スイッチによって構成されてよい。このような構成において、入力部１３は、較正作業者の操作によって、操作スイッチが通常モードに切り替えられると、通常モードへの切替を指示する切替信号を生成する。入力部１３は、較正作業者の操作によって、操作スイッチが較正モードに切り替えられると、較正モードへの切替を指示する切替信号を生成する。
入力部１３は、較正作業者の操作に基づいて、後述する指標の像Ｉｍのいずれかの位置を示す位置情報を生成する。具体的には、入力部１３は、較正作業者が任意のポインティングデバイスを用いて撮像画像ＣＩ内における、後述する指標の像Ｉｍの位置を示すための操作を行うと、当該操作に基づいて位置信号を生成する。
入力部１３は、操作ボタン、操作スイッチ、ポインティングデバイスに限られず、タッチパネルディスプレイを適用した表示装置１１によって構成されてもよい。
メモリ１４は、プログラムおよびデータを記憶する。メモリ１４は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。メモリ１４は、複数の種類の記憶デバイスを含んでもよい。メモリ１４は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでもよい。
メモリ１４は、カメラ１２の内部における光軸ずれの方向およびずれ量を記憶する。メモリ１４は、撮像画像ＣＩにおける、後述する通常モードで補正の対象となる一部の領域を画定するための対象領域情報を記憶する。また、メモリ１４は、後述するように、撮像画像ＣＩの一部の領域の画像を補正するための補正情報を記憶する。なお、対象領域情報および補正情報は、コントローラ１５が実行する、後述する較正モードにより生成される。
メモリ１４は、較正用オブジェクトＪの撮像画像ＣＩ内での位置を画定するためのオブジェクト位置情報を記憶する。較正用オブジェクトＪは、較正処理を行うために撮像画像ＣＩ内で指標となる仮想像である。オブジェクト位置情報が示す撮像画像ＣＩ内での位置は、撮像装置１０が設計値に合致するように移動体２０に取付けられた状態で、移動体２０に対する特定の位置に、撮像画像ＣＩにおいて対応する位置である。
較正用オブジェクトＪは、撮像画像ＣＩ内で移動可能である。較正用オブジェクトＪは任意の形状を有する。例えば、較正用オブジェクトＪは、矩形、線、点、記号、またはこれらを組み合わせた形状であってよい。また、較正用オブジェクトＪは、較正用オブジェクトＪの一部である第１対応箇所Ｊ１、第２対応箇所Ｊ２、第３対応箇所Ｊ３、および第４対応箇所Ｊ４を含む複数の対応箇所を有する。複数の対応箇所は、それぞれ較正用オブジェクトＪの特徴的な部分であってよい。特徴的な部分は、利用者の視認によって容易に一意に識別されえる部分である。特徴的な部分は、例えば、較正用オブジェクトＪを構成する矩形の角、ならびに較正用オブジェクトＪを構成する線の端部および交点等であってよい。例えば、較正用オブジェクトＪは、２つ以上の任意の数の対応箇所を有することができる。本実施形態は、較正用オブジェクトＪは、４つの対応箇所を有する。
メモリ１４は、較正用オブジェクトＪに対して特定の範囲である出力領域ＯＡの位置を示す出力位置情報を記憶する。出力位置情報は、撮像画像ＣＩ内での、較正用オブジェクトＪに対する相対的な位置を示す情報である。そのため、出力位置情報は、出力領域ＯＡに対して特定の位置にある較正用オブジェクトJの位置を示す情報でもある。
コントローラ１５は、１以上のプロセッサおよびメモリを含む。コントローラ１５は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ASIC; Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（PLD; Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ１５は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってもよい。コントローラ１５についての詳細な説明は後述する。
出力部１６は、コントローラ１５によって、後述する、補正処理が行われた撮像画像のうちの一部である部分画像を表示装置１１に出力する。
コントローラ１５は、通常モードおよび較正モードを含むいずれかの機能モードで制御を実行する。コントローラ１５は、入力部１３によって通常モードへの切替を指示する切替信号が生成されると、通常モードで制御を実行する。コントローラ１５は、入力部１３によって較正モードへの切替を指示する切替信号が生成されると、較正モードで制御を実行する。
コントローラ１５は、較正モードで歪補正を行った後に、通常モードでカメラ１２によって生成された撮像画像ＣＩ内の少なくとも一部の領域に、較正モードでの歪補正と同一の歪補正を行う。具体的には、通常モードでは、コントローラ１５は、較正モードで生成され、メモリ１４に記憶されている対象領域情報に基づいて、撮像画像ＣＩの少なくとも一部の領域を抽出する。コントローラ１５は、抽出した一部の領域を、メモリ１４に記憶されている補正情報を用いて補正する。対象領域情報および補正情報の詳細は後述する。
さらに、コントローラ１５は、補正した画像に画像処理を施して、出力部１６に表示装置１１へ出力させる。コントローラ１５は、補正情報を用いて撮像画像ＣＩの一部の領域を補正した部分画像に、ガイドオブジェクトを重畳してよい。
ガイドオブジェクトは、例えば、移動体２０のステアリングホイールが所定の状態にあるときに移動体２０が移動した場合に移動体２０が配置されると見込まれる撮像画像ＣＩ内の範囲を示す線であってよい。例えば、ガイドオブジェクトは、移動体２０が移動したときに移動体２０の両方の側面が通過する軌跡を示すガイド線を含んでよい。ガイドオブジェクトは、移動体２０の後端から所定距離（例えば、２～５メートル）離れた位置を示すガイド線を含んでよい。ガイドオブジェクトは、移動体２０を基準とする実空間の特定の位置に、撮像画像ＣＩにおいて対応する位置に表示される仮想上の像であり較正用オブジェクトＪとしての条件を満たしており、本実施形態においては、較正用オブジェクトＪとしても用いられる。
コントローラ１５は、前述のように、較正モードにおいて、対象領域情報および補正情報を生成する。
較正モードの実行前に、作業者によって、図４に示すように、第１指標Ｉ１、第２指標Ｉ２、第３指標Ｉ３、および第４指標Ｉ４を含む複数の指標Ｉが移動体２０に対する特定の位置に配置される。特定の位置は、設計通りに撮像装置１０が移動体２０に固定された状態で、較正用オブジェクトＪの対応箇所の、撮像画像ＣＩ内の位置に、実空間上で対応する位置である。特定の位置は、例えば、移動体２０の後方であって、移動体２０の両側面をそれぞれ延長した面上である。特定の位置は、例えば、移動体２０の背面から所定距離（例えば、２～５メートル）、離れた位置である。
指標Ｉの配置は、移動体２０を平地ＬＧに停止させ、平地ＬＧ上の移動体２０に対して定められた位置への載置であってよい。指標Ｉの配置は、指標Ｉが描かれた平地ＬＧ上の、指標Ｉに対して定められた位置への移動体２０の停止であってよい。
較正モードにおいて、コントローラ１５は、カメラ１２によって撮像画像ＣＩが生成されると、メモリ１４に記憶されたオブジェクト位置情報が示す、撮像画像ＣＩ内の位置に較正用オブジェクトＪを重畳する。コントローラ１５は、メモリ１４に記憶されている出力位置情報に基づく出力領域ＯＡ内の部分画像を出力部１６に表示装置１１へ出力させる。
撮像装置１０が設計値に合致するように移動体２０に取付けられた状態でカメラ１２によって生成された撮像画像ＣＩに較正用オブジェクトＪが重畳されると、図５に示すように、較正用オブジェクトＪにおける複数の対応箇所Ｊの位置は、指標の像Ｉｍのいずれかに一致する。具体的には、較正用オブジェクトＪの第１対応箇所Ｊ１、第２対応箇所Ｊ２、第３対応箇所Ｊ３、および第４対応箇所Ｊ４は、それぞれ第１指標の像Ｉｍ１、第２指標の像Ｉｍ２、第３指標の像Ｉｍ３、および第４指標の像Ｉｍ４それぞれに一致する。
しかし、撮像装置１０の移動体２０に対する位置または姿勢が設計値に合致していない状態において、撮像画像ＣＩ内の被写体の像は、撮像装置１０の位置および姿勢が設計値に合致している状態での被写体の像から変位または変形している。例えば、カメラ１２が水平方向にずれている状態において、被写体の像は、撮像画像ＣＩ内の、水平方向に対応する方向にずれる。また、カメラ１２が鉛直方向にずれている状態において、被写体の像は、撮像画像ＣＩ内の、鉛直方向に対応する方向にずれる。
さらに、図１に示したように、カメラ１２の光軸ＯＸの方向は、平地ＬＧに対して傾いている。このような構成において、被写体が、光軸ＯＸの、平地ＬＧの面内方向の成分が向くＺ方向においてカメラ１２より遠くにあるほど、被写体の像は小さくなる。また、被写体の像の大きさは、カメラ１２からの距離に応じて部分ごとに変わるため、被写体の像は全体として歪む。このため、指標Ｉの像は、指標Ｉがカメラ１２より遠くにあるほど、撮像画像ＣＩ内のｘ方向にずれる。図５に示す撮像画像において、ｙ方向は、図１に示す実空間のＺ方向に対応する方向である。ｘ方向は、ｙ方向に直交する方向である。図１に示す例では、第１指標Ｉ１は、実空間のＺ方向において第３指標Ｉ３よりカメラ１２から離れている。したがって、図５に示すように撮像画像ＣＩ内のｘ方向において、第１指標の像Ｉｍ１は、第３指標の像Ｉｍ３より中心側に位置する。同じように、第２指標の像Ｉｍ２は、第４指標の像Ｉｍ４より中心側に位置する。このため、カメラ１２の移動体２０に対する姿勢が設計値と合致せず、チルト方向に傾いている状態において、被写体のカメラ１２からの距離が変わるため、歪み具合は変わる。以降において、カメラ１２がチルト方向に傾くことに起因して発生する被写体の像の歪みを「あおり歪」という。
このため、撮像装置１０の移動体２０に対する位置または姿勢が設計値と合致しない状態において、被写体の像である指標の像Ｉｍの位置は、設計値に合致している状態での指標の像Ｉｍの位置からずれる。したがって、較正用オブジェクトＪにおける複数の対応箇所Ｊの位置の１つ以上は、対応する指標の像Ｉｍに一致しない。図６に示す例では、較正用オブジェクトＪの第１対応箇所Ｊ１、第２対応箇所Ｊ２、第３対応箇所Ｊ３、および第４対応箇所Ｊ４の位置は、それぞれ第１指標の像Ｉｍ１、第２指標の像Ｉｍ２、第３指標の像Ｉｍ３、および第４指標の像Ｉｍ４の位置に一致しない。
このようなカメラ１２の位置および姿勢のずれに起因する、撮像画像ＣＩ内の被写体の像のずれおよび歪を補正するために、較正モードでは、以下に説明する工程が実行される。
まず、第１の工程において、単一の対応箇所と対応する指標の像Ｉｍの位置合わせが実行される。第１の工程では、例えば、第１対応箇所Ｊ１の位置が第１指標の像Ｉｍ１の位置に一致するように、出力領域ＯＡを移動させる方向および量に応じて移動操作ボタンを操作するように、較正作業者は指示されている。以下の説明では、較正作業者が、第１対応箇所Ｊ１の位置を第１指標の像Ｉｍ１の位置に一致させるように、入力部１３に入力していると仮定して説明する。
コントローラ１５は、較正作業者の操作によって入力部１３が生成した制御信号に基づいて、撮像画像ＣＩ内で出力領域ＯＡを平行移動により移動させることによって較正用オブジェクトＪを平行移動により移動させる。具体的には、コントローラ１５は、図７に示すように、第１対応箇所Ｊ１が第１指標の像Ｉｍ１に一致するように、制御信号に基づいて、出力領域ＯＡを平行移動によって移動させる。これと同時に、コントローラ１５は、出力領域ＯＡに対して特定の位置となるように、メモリ１４に記憶されている出力領域情報に基づいて較正用オブジェクトJを平行移動により移動させる。これにより、撮像画像ＣＩには、較正用オブジェクトＪ’が重畳され、出力領域ＯＡ’内の部分画像が出力される。
コントローラ１５は、出力領域ＯＡ’内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５は、第１の工程において、入力部１３が確定信号を生成すると、第１対応箇所Ｊ１と第１指標の像Ｉｍ１とが一致しているとみなして、第１の工程を終了する。
第１の工程が実行された後、他の対応箇所と対応する他の指標とが一致しないとき、第２の工程が実行される。第２の工程において、第１の工程において位置合わせが行われた対応箇所と指標の像とを一致させたまま、他の対応箇所のうちの１つと対応する指標の像Ｉｍとの位置合わせが行われる。第２の工程では、第１線分Ｌ１の少なくとも一部が、第２線分Ｌ２の少なくとも一部に重なるように、出力領域ＯＡを回転させる方向および量に応じて回転操作ボタンを操作するように、較正作業者は指導されている。
第１線分Ｌ１は、第１指標の像Ｉｍ１と第２指標の像Ｉｍ２とを端点とする線分である。第２線分Ｌ２は、第１対応箇所Ｊ１と第２対応箇所Ｊ２’とを端点とする線分である。以降の説明では、較正作業者が、第１線分Ｌ１の少なくとも一部が、第２線分Ｌ２の少なくとも一部に重なるように、入力部１３に入力していると仮定して説明する。
コントローラ１５は、較正作業者の操作によって入力部１３が生成した制御信号に基づいて、撮像画像ＣＩ内で出力領域ＯＡ’を回転により移動させることによって較正用オブジェクトＪ’を回転により移動させる。具体的には、図８に示すように、コントローラ１５は、第１線分Ｌ１の少なくとも一部が、第２線分Ｌ２の少なくとも一部に重なるように、制御信号に基づいて、出力領域ＯＡ’を回転によって移動させる。これと同時に、コントローラ１５は、出力領域ＯＡ’に対して特定の位置となるように、メモリ１４に記憶されている出力領域情報に基づいて較正用オブジェクトJ’を回転により移動させる。これにより、撮像画像ＣＩには、較正用オブジェクトＪ’’が重畳され、出力領域ＯＡ’’内の部分画像が出力される。
コントローラ１５は、出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５は、第２の工程において、入力部１３が確定信号を生成すると、第１線分Ｌ１の少なくとも一部が、第２線分Ｌ２の少なくとも一部に重なっているとみなして、第２の工程を終了する。
第２の工程が終了した後、第１線分Ｌ１の全てが、第２線分Ｌ２の全てと一致しないとき、第３の工程が実行される。第３の工程では、第２指標の像Ｉｍ２の位置を指示するようにポインティングデバイスを操作するように、較正作業者は指示されている。以下の説明では、較正作業者が、第２指標の像Ｉｍ２の位置を指示するように、入力部１３に入力していると仮定して説明する。
コントローラ１５は、較正作業者の操作によって入力部１３が生成した、第２指標の像Ｉｍ２の位置を示す位置信号に基づいて、第２対応箇所Ｊ２’’の位置が、第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５は、第２対応箇所Ｊ２’’が第２指標の像Ｉｍ２に一致しないと判定すると、撮像画像ＣＩにおける光学歪補正を行う。具体的には、コントローラ１５は、メモリ１４に記憶されている光学歪データを用いて、公知の方法により撮像画像ＣＩを変換することによって撮像画像ＣＩの光学的な歪を低減するための光学歪補正を行う。コントローラ１５は、光学歪み補正を行うと、第３の工程を終了する。
第３の工程が終了した後、第４の工程が実行される。
第４の工程では、コントローラ１５は、第２対応箇所Ｊ２’’が第２指標の像Ｉｍ２に一致するか否かを判定する。コントローラ１５は、第２対応箇所Ｊ２’’が第２指標の像Ｉｍ２に一致しないと判定すると、以下に説明する、あおり歪を低減するためのあおり歪補正（歪補正）を行う。
あおり歪補正では、コントローラ１５は、第２対応箇所Ｊ２’’が第２指標の像Ｉｍ２に一致するように、第１補正方向（所定方向）に撮像画像ＣＩを伸縮させる。第１補正方向は、第２指標の像Ｉｍ２から第１指標の像Ｉｍ１に向かう方向である。較正用オブジェクトＪは、上述したように回転により移動し、較正用オブジェクトＪ’’として撮像画像に重畳されている。そのため、第１補正方向は、第２指標の像Ｉｍ２から第２対応箇所Ｊ２’’に向かう方向でもある。
コントローラ１５は、第１指標の像Ｉｍ１の位置を保持しながら、第２指標の像Ｉｍ２が第２対応箇所Ｊ２’’に一致するように、撮像画像の一部を圧縮させ、別の一部を伸長する。
まず、第２指標の像Ｉｍ２が第１指標の像Ｉｍ１に対して第２対応箇所Ｊ２’’より離れている場合の、撮像画像の一部の圧縮および別の一部の伸長について説明する。
コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分を、第１補正方向における第１指標の像Ｉｍ１側に向けて圧縮させる。また、コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２とは反対側の部分を、第１補正方向における第１指標の像Ｉｍ１から伸長する。
撮像画像の各部分の伸縮率は一定であってよい。撮像画像の各部分の伸縮率は、第１指標の像Ｉｍ１の位置からの第１補正方向の距離に応じて変化してもよい。
伸縮率が変化する構成において、コントローラ１５は、例えば、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１に近づくように圧縮させる。コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２とは反対側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１から離れるように伸長する。図９に示す例を用いて説明すると、コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分Ｐ１および部分Ｐ２をそれぞれ部分Ｐ１’および部分Ｐ２’に圧縮させる。コントローラ１５は、第１指標の像Ｉｍ１から遠くに位置する部分Ｐ１を、近くに位置する部分Ｐ２より大きく第１指標の像Ｉｍ１に近づくように圧縮させる。また、コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２とは反対側の部分Ｐ３および部分Ｐ４をそれぞれ部分Ｐ３’および部分Ｐ４’に伸長する。コントローラ１５は、第１指標の像Ｉｍ１から遠くに位置する部分Ｐ３を、近くに位置する部分Ｐ４より大きく第１指標の像Ｉｍ１から離れるように伸長する。
次に、第２指標の像Ｉｍ２が第１指標の像Ｉｍ１に対して第２対応箇所Ｊ２’’より近い場合の、撮像画像の一部の圧縮および別の一部の伸長について説明する。
コントローラ１５は、撮像画像ＣＩの第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分を、第１補正方向における第１指標の像から伸長する。また、コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２の反対側の部分を、第１補正方向における第１指標の像Ｉｍ１側に圧縮させる。
撮像画像ＣＩの各部分の伸縮率は一定であってよい。撮像画像ＣＩの各部分の伸縮率は、第１指標の像Ｉｍ１の位置からの第１補正方向の距離に応じて変化してもよい。
伸縮率が変化する構成において、コントローラ１５は、例えば、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１から離れるように伸長する。コントローラ１５は、撮像画像の第１補正方向における第１指標の像Ｉｍ１に対して第２指標の像Ｉｍ２とは反対側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１に近づくように圧縮する。
この結果、図１０に示すように、第１補正方向の歪補正前の撮像画像ＣＩの全体は変形されて撮像画像ＣＩ’に補正される。第１補正方向の歪補正前の第２指標の像Ｉｍ２は、第２対応箇所Ｊ２’’に一致する第２指標の像Ｉｍ２’に補正される。また、第３指標の像Ｉｍ３および第４指標の像Ｉｍ４も、それぞれ第３指標の像Ｉｍ３’および第４指標の像Ｉｍ４’に補正される。コントローラ１５は、第１補正方向の歪補正を行うと、第４の工程を終了する。
第４の工程が終了した後、第１の工程から第３の工程で指標の像Ｉｍの位置に一致させた２つの対応箇所以外の対応箇所が、対応する指標の像Ｉｍに一致しないとき、第５の工程が実行される。第５の工程では、第３指標の像Ｉｍ３の位置を指示するようにポインティングデバイスを操作するように、較正作業者は指示されている。以下の説明では、較正作業者が、第３指標の像Ｉｍ３’の位置を指示するように、入力部１３に入力していると仮定して説明する。
コントローラ１５は、較正作業者の操作によって入力部１３が生成した、第３指標の像Ｉｍ３’の位置を示す位置信号に基づいて、第３対応箇所Ｊ３’’の位置が、第３指標の像Ｉｍ３’の位置に一致するか否かを判定する。コントローラ１５は、第３対応箇所Ｊ３’’が第３指標の像Ｉｍ３’に一致しないと判定すると、第１指標の像Ｉｍ１の位置を保持したままで、第３指標の像Ｉｍ３’が第３対応箇所Ｊ３’’に一致するように、第２補正方向に撮像画像ＣＩを伸縮するあおり歪補正を行う。第２補正方向は、第１補正方向の直交方向であり、第３指標の像Ｉｍ３から第３対応箇所Ｊ３に向かう方向である。
コントローラ１５は、第１指標の像Ｉｍ１の位置を保持しながら、第３指標の像Ｉｍ３’が第３対応箇所Ｊ３’’に一致するように、第２補正方向に、撮像画像の一部を圧縮させ、別の一部を伸長する。コントローラ１５は、第１指標の像Ｉｍ１の位置を保持しながら第２補正方向に撮像画像を伸縮するため、第１指標の像Ｉｍ１に対して第２補正方向と垂直な第１補正方向に位置する第２指標の像Ｉｍ１の位置は変わらない。
まず、第３指標の像Ｉｍ３’が第１指標の像Ｉｍ１に対して第３対応箇所Ｊ３’’より離れている場合の、撮像画像の一部の圧縮および別の一部の伸長について説明する。コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’側の部分を、第１補正方向における第１指標の像Ｉｍ１側に向けて圧縮させる。また、コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’とは反対側の部分を、第２補正方向における第１指標の像Ｉｍ１から伸長する。
撮像画像ＣＩ’の各部分の伸縮率は一定であってよい。撮像画像ＣＩ’の各部分の伸縮率は、第１指標の像Ｉｍ１の位置からの第２補正方向の距離に応じて変化してもよい。
伸縮率が変化する構成において、コントローラ１５は、例えば、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１に近づくように圧縮させる。コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’とは反対側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１から離れるように伸長する。
次に、第３指標の像Ｉｍ３’が第１指標の像Ｉｍ１に対して第３対応箇所Ｊ３’’より近い場合の、撮像画像の一部の圧縮および別の一部の伸長について説明する。コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’側の部分を、第２補正方向における第１指標の像Ｉｍ１から伸長する。また、コントローラ１５は、撮像画像ＣＩ’の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’の反対側の部分を、第２補正方向における第１指標の像Ｉｍ１側に圧縮させる。
撮像画像の各部分の伸縮率は一定であってよい。撮像画像の各部分の伸縮率は、第１指標の像Ｉｍ１の位置からの第１補正方向の距離に応じて変化してもよい。
各部分の伸縮率が変化する構成において、コントローラ１５は、撮像画像の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標から離れるように伸長する。コントローラ１５は、撮像画像の第２補正方向における第１指標の像Ｉｍ１に対して第３指標の像Ｉｍ３’とは反対側の部分を、第１指標の像Ｉｍ１から離れるほど、大きく第１指標の像Ｉｍ１に近づくように圧縮させる。
この結果、図１１に示すように、第２補正方向の歪補正前の撮像画像ＣＩ’の全体はさらに変形されて撮像画像ＣＩ’’に補正される。第２補正方向の歪補正前の第３指標の像Ｉｍ３’は、第３対応箇所Ｊ３’’に一致する第３指標の像Ｉｍ３’’に補正される。また、第４指標の像Ｉｍ４’も、第４指標の像Ｉｍ４’’に補正される。コントローラ１５は、第２補正方向の歪補正を行うと、第５の工程を終了する。
第５の工程が終了した後、コントローラ１５は、較正用オブジェクトＪ’’、およびメモリ１４に記憶された出力位置情報に基づく出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。
なお、第１の工程が実行される前に、撮像画像ＣＩにおいて、第１指標の像Ｉｍ１の位置が第１対応箇所Ｊ１の位置に一致している場合、第１の工程は省略されてよい。第１の工程が実行されることにより、第２対応箇所Ｊ２’の位置が第２指標の像Ｉｍ２の位置に一致した場合、第２の工程および第３の工程は省略されてよい。第２の工程が実行されることにより、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致した場合、第３の工程は省略されてよい。第４の工程が実行されることにより、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ２’の位置に一致した場合、第５の工程は省略されてよい。
コントローラ１５は、上述のような較正用オブジェクトＪの移動および撮像画像ＣＩの歪補正を行うと、対象領域情報を生成し、メモリ１４に記憶させる。対象領域情報は、通常モードにおいて歪補正の対象なる、撮像画像内の一部の対象領域の位置を示す。対象領域は、歪補正が行われた撮像画像ＣＩ’’における出力領域ＯＡ’’（図１１参照）の、歪補正が行われる前の撮像画像ＣＩにおいて対応する出力領域ＯＡ０（図１２参照）である。なお、図１２に示す出力領域ＯＡ’’１は、第１補正方向のあおり歪補正が行われた後で、第２補正方向のあおり歪補正が行われる前の撮像画像ＣＩ’における出力領域ＯＡ’’の、撮像画像ＣＩにおいて対応する位置である。図１２に示す出力領域ＯＡ’’２は、第１補正方向および第２補正方向のあおり歪補正が行われる前の撮像画像ＣＩにおける出力領域ＯＡ’’の、撮像画像ＣＩにおいて対応する位置である。
なお、上述したように、出力領域ＯＡ’’は、較正モードの各工程が終了した後の撮像画像ＣＩ’’内の較正用オブジェクトＪ’’の位置に基づいて決定される。また、較正モードにおいて第１指標の像Ｉｍ１、第２指標の像Ｉｍ２、および第３指標の像Ｉｍ３の位置と、較正用オブジェクトＪの位置とに基づいて、撮像画像ＣＩは、撮像画像ＣＩ’’に補正される。したがって、補正前の撮像画像ＣＩ内の出力領域ＯＡ０である対象領域は、補正前の撮像画像ＣＩにおける第１指標の像Ｉｍ１、第２指標の像Ｉｍ２、および第３指標の像Ｉｍ３の位置と、較正用オブジェクトＪの位置とに基づいて定まる。
また、コントローラ１５は、較正モードにおいて上述したような補正処理を行うと、補正情報を生成し、メモリ１４に記憶する。補正情報は、補正前の撮像画像ＣＩ内の出力領域ＯＡ０である補正対象領域の各画素の位置と、補正後の撮像画像ＣＩ’’の出力領域ＯＡ’’の各画素の位置との対応を示す情報である。通常モードにおいて、コントローラ１５は、メモリ１４に記憶された補正情報を用いて、カメラ１２によって生成された撮像画像ＣＩを補正する。
なお、コントローラ１５は、補正情報および対象領域情報を、以前の較正モードで生成した補正情報および対象領域情報に上書きしてメモリ１４に記憶してもよい。コントローラ１５は、補正情報および対象領域情報を、以前の較正モードで生成した補正情報および対象領域情報とともにメモリ１４に記憶してもよい。
続いて、第１実施形態の撮像装置１０が較正モードで実行する較正処理について、図１３を参照して説明する。撮像装置１０は、較正モードへの切替を指示する切替信号が生成された後に、カメラ１２によって撮像画像ＣＩが生成されると、較正処理を開始する。
ステップＳ１１では、コントローラ１５は、メモリ１４に記憶されているオブジェクト位置情報に基づいて、撮像画像ＣＩに較正用オブジェクトＪを重畳する。また、コントローラ１５は、較正用オブジェクトＪの重畳位置およびメモリ１４に記憶された出力位置情報に基づく出力領域ＯＡ内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５が撮像画像ＣＩに較正用オブジェクトＪを重畳し、部分画像を出力させると、プロセスはステップＳ１２に進む。
ステップＳ１２では、コントローラ１５は、入力部１３が生成した制御信号に基づいて、撮像画像ＣＩ内の出力領域ＯＡを平行移動により出力領域ＯＡ’に移動させる。同時に、コントローラ１５は、較正用オブジェクトＪを出力領域ＯＡ’に対して特定の位置に移動させることによって、撮像画像ＣＩに較正用オブジェクトＪ’を重畳させる。コントローラ１５が出力領域ＯＡおよび較正用オブジェクトＪを平行移動により移動させ、入力部１３が確定信号を生成すると、プロセスはステップＳ１３に進む。
ステップＳ１３では、コントローラ１５は、入力部１３が生成した制御信号に基づいて、撮像画像ＣＩ内の出力領域ＯＡ’を回転により出力領域ＯＡ’’に移動させる。同時に、コントローラ１５は、較正用オブジェクトＪ’を出力領域ＯＡ’’に対して特定の位置に移動させることによって、撮像画像ＣＩに較正用オブジェクトＪ’’を重畳させる。コントローラ１５が出力領域ＯＡ’および較正用オブジェクトＪ’を回転によって移動させ、入力部１３が確定信号を生成すると、プロセスはステップＳ１４に進む。
ステップＳ１４では、コントローラ１５は、入力部１３が生成した第２指標の像Ｉｍ２の位置を示す位置信号に基づいて、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致すると判定した場合、プロセスはステップＳ１８に進む。コントローラ１５が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致しないと判定した場合、プロセスはステップＳ１５に進む。
ステップＳ１５では、コントローラ１５は、撮像画像ＣＩに光学歪補正を行う。コントローラ１５が撮像画像ＣＩに光学歪補正を行うと、プロセスはステップＳ１６に進む。
ステップＳ１６では、コントローラ１５は、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致すると判定した場合、プロセスはステップＳ１８に進む。コントローラ１５が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致しないと判定した場合、プロセスはステップＳ１７に進む。
ステップＳ１７では、コントローラ１５は、入力部１３が生成した第２指標の像Ｉｍ２の位置を示す位置信号に基づいて、第１補正方向に撮像画像ＣＩを伸縮して撮像画像ＣＩ’に補正する。コントローラ１５が、第１補正方向に撮像画像ＣＩを伸縮して撮像画像ＣＩ’に補正すると、プロセスはステップＳ１８に進む。
ステップＳ１８では、コントローラ１５は、入力部１３が生成した、撮像画像ＣＩ’内の第３指標の像Ｉｍ３’の位置を示す位置信号に基づいて、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致するか否かを判定する。コントローラ１５が、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致すると判定した場合、プロセスはステップＳ２０に進む。コントローラ１５が、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致しないと判定した場合、プロセスは、ステップＳ１９に進む。
ステップＳ１９では、コントローラ１５は、第２補正方向に撮像画像ＣＩ’を伸縮して撮像画像ＣＩ’’に補正する。コントローラ１５が第２補正方向に撮像画像ＣＩ’を伸縮して撮像画像ＣＩ’’に補正すると、プロセスは、ステップＳ２０に進む。
ステップＳ２０では、撮像画像ＣＩ’’における、ステップＳ１３で移動させた出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５０が部分画像を出力させると、プロセスは、ステップＳ２１に進む。
ステップＳ２１では、コントローラ１５は、ステップＳ１２からステップＳ１９において実行された較正用オブジェクトＪの移動、および撮像画像ＣＩの歪補正に基づいて対象領域情報を生成し、メモリ１４に記憶させる。コントローラ１５が対象領域情報を生成し、メモリ１４に記憶させると、プロセスは、ステップＳ２２に進む。
ステップＳ２２では、コントローラ１５は、ステップＳ１２からステップＳ１９において実行された較正用オブジェクトＪの移動、および撮像画像ＣＩの歪補正に基づいて補正情報を生成し、メモリ１４に記憶させる。コントローラ１５は、補正情報を生成し、メモリ１４に記憶させると、較正処理を終了する。
以上説明したように、第１実施形態によれば、撮像装置１０は、第１指標の像Ｉｍ１に第１対応箇所Ｊ１が一致するように較正用オブジェクトＪを移動させる。さらに、撮像装置１０は、撮像画像内の少なくとも一部の領域に、第２指標の像Ｉｍ２が第２対応箇所Ｊ２に一致するように歪補正を行う。このため、撮像装置１０は、カメラ１２の取付け位置および姿勢の変化に起因して発生する撮像画像のずれおよびあおり歪を低減させうる。したがって、撮像装置１０は、移動体２０に対して設計値に合致して取付けられている状態での撮像画像内での被写体の像の位置と、実空間内での被写体の位置との関係を保持しうる。これにより、撮像装置１０は、撮像画像ＣＩ内の被写体の像に基づいて実空間での被写体の位置を正確に推定しうる。
また、第１実施形態によれば、撮像装置１０は、撮像画像ＣＩ内の所定方向における第１指標の像Ｉｍ１からの位置に応じた伸縮率で撮像画像ＣＩを第１補正方向に伸縮する。カメラ１２の光軸ＯＸの方向が平地ＬＧに対して傾いている構成において、撮像画像ＣＩは第１補正方向における位置に応じて、上述したあおり歪の度合いが異なる。第１補正方向は、上述したように、第２指標の像Ｉｍ２から第１指標の像Ｉｍ１に向かう方向である。そのため、第２指標Ｉ２から第１指標Ｉ１に向かう方向が、第１補正方向に対応する実空間の方向となる状態においては、撮像装置１０は、第１補正方向の位置に応じて撮像画像を第１補正方向に伸縮することによってあおり歪を低減しうる。
また、第１実施形態によれば、撮像装置１０は、第３対応箇所Ｊ３が第３指標の像Ｉｍ３に一致するように、第２調整方向における第１指標の像Ｉｍ１からの距離に応じた伸縮率で第２補正方向に撮像画像ＣＩを伸縮する。このため、撮像装置１０は、仮に第１補正方向とは異なる方向にあおり歪が発生していた場合、当該歪を低減しうる。
また、第１実施形態によれば、撮像装置１０は、通常モードにおいてカメラ１２によって生成された撮像画像内の少なくとも一部の領域に、較正モードで行った歪補正と同一の歪補正を行う。このため、撮像装置１０は、較正処理が完了した後に生成された撮像画像に対して、撮像装置１０の移動体２０に対する取付け位置または姿勢のずれに応じて発生する歪を低減すべく適切な歪補正を行いうる。
また、第１実施形態によれば、較正用オブジェクトＪは、例えば、ガイドオブジェクトのように、移動体２０が操作されているときに表示されるオブジェクトである。撮像装置１０は、移動体２０が操作されているときに表示されるオブジェクトを較正用オブジェクトＪとして適用することができる。この構成において、移動体２０が操作されているときに表示されるオブジェクトとは別に、較正用のみに用いられるオブジェクト必要としない。したがって、撮像装置１０は較正用のみに用いられるオブジェクトを記憶するためのメモリ容量を必要とせず、これにより記憶容量を低減しうる。
また、第１実施形態によれば、較正用オブジェクトＪはガイドオブジェクトである。ガイドオブジェクトは、移動体２０の運転を支援するためのオブジェクトであるため、表示装置１１が表示する画像の中央付近の領域に重畳される。このため、撮像装置１０は、撮像画像の中央付近に重畳される較正用オブジェクトＪと、較正用オブジェクトＪに対応する中央付近に含まれる指標の像Ｉｍとを用いて撮像画像を補正する。したがって、撮像装置１０は、歪が多く発生する、撮像画像内の端部近傍の較正用オブジェクトＪおよび指標の像Ｉｍを用いる場合に比べて、高い精度で撮像画像を補正しうる。
また、第１実施形態によれば、撮像装置１０は、較正用オブジェクトＪおよび出力領域ＯＡを平行移動に移動させた後に、較正用オブジェクトＪの回転による移動、および光学歪補正を行う。指標の像Ｉｍが撮像画像の中央近傍に含まれる場合、指標の像Ｉｍを含む領域に発生する光学的な歪は少ない。このような状態において、撮像装置１０は、較正用オブジェクトＪの位置を回転により移動させた後に、第２対応箇所Ｊ２が第２指標の像Ｉｍ２に一致すると判定することがある。この場合、撮像装置１０は、光学歪補正、および第１補正方向への伸縮の処理を省略することができ、これに伴い撮像装置１０の処理負荷を軽減しうる。
次に、本発明の第２実施形態について説明する。第２実施形態では、較正モードにおける出力領域ＯＡの移動が第１実施形態と異なっている。以下に、第１実施形態と異なる点を中心に第２実施形態について説明する。なお、第１実施形態と同じ構成を有する部位には同じ符号を付す。
第２実施形態の撮像装置１００は、第１実施形態と同じく、移動体２０に取付けられる。図１４に示すように、撮像装置１００は、カメラ１２と、入力部１３と、メモリ１４と、コントローラ１５０と、出力部１６とを備える。カメラ１２、入力部１３、メモリ１４、および出力部１６の機能は、第１実施形態と同じである。
コントローラ１５０は、通常モードおよび較正モードを含むいずれかの機能モードで制御を実行する。コントローラ１５０が通常モードで実行する制御は、第１実施形態と同じである。コントローラ１５０は、較正モードにおいて、較正用オブジェクトの移動に伴い出力領域ＯＡを移動させない点で第１実施形態と異なる。以降において、コントローラ１５０の較正モードにおける制御について説明する。
コントローラ１５０は、第１実施形態と同じく、第１の工程において、図１５に示すように撮像画像ＣＩ内で較正用オブジェクトＪを平行移動により移動させる。これにより、撮像画像ＣＩには、較正用オブジェクトＪ’が重畳される。コントローラ１５０は、第１実施形態とは異なり、較正用オブジェクトＪの平行移動に伴う出力領域ＯＡの平行移動を行わない。したがって、コントローラ１５０は、平行移動により移動させた後の較正用オブジェクトＪ’を重畳した撮像画像ＣＩ中の出力領域ＯＡ内の部分画像を出力する。
コントローラ１５０は、第１実施形態と同じく、第２の工程において、図１６に示すように較正用オブジェクトＪ’を回転によって移動させる。これにより、撮像画像ＣＩには、較正用オブジェクトＪ’’が重畳される。コントローラ１５０は、第１実施形態とは異なり、較正用オブジェクトＪ’の回転に伴う出力領域ＯＡの回転を行わない。したがって、コントローラ１５０は、回転により移動させた後の較正用オブジェクトＪ’’を重畳した撮像画像ＣＩ中の出力領域ＯＡ内の部分画像を出力する。
さらに、コントローラ１５０は、第１の実施形態と同じく、第３の工程において撮像画像ＣＩに光学歪補正を行う。コントローラ１５０は、第１の実施形態と同じく第４の工程および第５の工程において、あおり歪補正を行う。図１７に示すように、歪補正後の撮像画像ＣＩの全体の領域および各指標の像Ｉｍの位置は、第１実施形態の歪補正後の位置と同じである。ただし、第２実施形態において出力領域ＯＡは移動されていないため、出力領域ＯＡの位置は、撮像画像の較正用オブジェクトＪの移動が行われる前の位置と同じである。ここで、コントローラ１５０は、メモリ１４に記憶されている出力位置情報に基づいて、較正用オブジェクトＪ’’に対しての予め定められた特定の範囲となるように出力領域ＯＡを移動させた出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。
続いて、第２実施形態の撮像装置１００の較正処理について、図１８を参照して説明する。撮像装置１００は、入力部１３によって較正モードへの切替を指示する切替信号が生成された後に、カメラ１２が撮像画像ＣＩを生成すると、較正処理を開始する。
ステップＳ３１では、コントローラ１５０は、メモリ１４に記憶されているオブジェクト位置情報に基づいて、撮像画像ＣＩに較正用オブジェクトＪを重畳する。また、コントローラ１５０は、較正用オブジェクトＪに対しての予め定められた特定の範囲となる出力領域ＯＡ内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５０が部分画像を出力させると、プロセスはステップＳ３２に進む。
ステップＳ３２では、コントローラ１５０は、入力部１３が入力した制御信号に基づいて、撮像画像ＣＩ内で較正用オブジェクトＪを平行移動で移動させることにより、撮像画像ＣＩに較正用オブジェクトＪ’を重畳する。コントローラ１５０が較正用オブジェクトＪを平行移動により移動させ、入力部１３が確定信号を生成すると、プロセスはステップＳ３３に進む。
ステップＳ３３では、コントローラ１５０は、入力部１３が入力した制御信号に基づいて、第１対応箇所Ｊ１を軸にして較正用オブジェクトＪ’を回転で移動させることにより、撮像画像ＣＩに較正用オブジェクトＪ’’を重畳させる。コントローラ１５０が較正用オブジェクトＪ’を回転によって移動させ、入力部１３が確定信号を生成すると、プロセスはステップＳ３４に進む。
ステップＳ３４では、コントローラ１５０は、入力部１３が生成した第２指標の像Ｉｍ２の位置を示す位置信号に基づいて、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５０が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致すると判定した場合、プロセスはステップＳ３８に進む。コントローラ１５０が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致しないと判定した場合、プロセスはステップＳ３５に進む。
ステップＳ３５では、コントローラ１５０は、撮像画像ＣＩに光学歪補正を行う。コントローラ１５０が撮像画像ＣＩに光学歪補正を行うと、プロセスはステップＳ３６に進む。
ステップＳ３６では、コントローラ１５０は、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致するか否かを判定する。コントローラ１５０が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致すると判定した場合、プロセスはステップＳ３８に進む。コントローラ１５０が、第２対応箇所Ｊ２’’の位置が第２指標の像Ｉｍ２の位置に一致しないと判定した場合、プロセスはステップＳ３７に進む。
ステップＳ３７では、コントローラ１５０は、第１補正方向に撮像画像ＣＩを伸縮する歪補正を行う。コントローラ１５０が、第１補正方向に撮像画像ＣＩを伸縮して撮像画像ＣＩ’に補正すると、プロセスはステップＳ３８に進む。
ステップＳ３８では、コントローラ１５０は、入力部１３が生成した、撮像画像ＣＩ’内の第３指標の像Ｉｍ３’の位置を示す位置信号に基づいて、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致するか否かを判定する。コントローラ１５０が、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致すると判定した場合、プロセスはステップＳ４０に進む。コントローラ１５０が、第３対応箇所Ｊ３’’の位置が第３指標の像Ｉｍ３’の位置に一致しないと判定した場合、プロセスは、ステップＳ３９に進む。
ステップＳ３９では、コントローラ１５０は、第２補正方向に撮像画像ＣＩ’を伸縮して撮像画像ＣＩ’’に補正する。コントローラ１５０が第２補正方向に撮像画像ＣＩ’を伸縮して撮像画像ＣＩ’’に補正すると、プロセスは、ステップＳ４０に進む。
ステップＳ４０では、コントローラ１５０は、較正用オブジェクトＪ’’に対して特定の範囲となるように出力領域ＯＡを移動させた出力領域ＯＡ’’内の部分画像を出力部１６に表示装置１１へ出力させる。コントローラ１５０が部分画像を出力させると、プロセスは、ステップＳ４１に進む。
ステップＳ４１では、コントローラ１５０は、ステップＳ３２からステップＳ３９において実行された較正用オブジェクトＪの移動、および撮像画像ＣＩの歪補正に基づいて対象領域情報を生成し、メモリ１４に記憶させる。コントローラ１５０が対象領域情報を生成し、メモリ１４に記憶させると、プロセスは、ステップＳ４２に進む。
ステップＳ４２では、コントローラ１５０は、ステップＳ３２からステップＳ３９において実行された較正用オブジェクトＪの移動、および撮像画像ＣＩの歪補正に基づいて補正情報を生成し、メモリ１４に記憶させる。コントローラ１５０は、補正情報を生成し、メモリ１４に記憶させると、較正処理を終了する。
以上説明したように、第２実施形態によれば、撮像装置１００は、第１実施形態と同じく、カメラ１２の取付け位置および姿勢の変化に起因して発生する撮像画像のずれを低減させるとともに、当該変化に伴って発生する撮像画像の歪を低減させることができる。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述実施形態によって制限されるものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形または変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
例えば、上述の実施形態において、コントローラ１５およびコントローラ１５０は、較正用オブジェクトＪを平行移動または回転によって移動させた後に、光学歪補正を行ったが、これに限られない。例えば、コントローラ１５およびコントローラ１５０は、カメラ１２によって生成された撮像画像ＣＩに光学歪補正を行った後に、較正用オブジェクトＪを平行移動または回転によって移動させてもよい。
１０，１００ 撮像装置
１１ 表示装置
１２ カメラ
１３ 入力部
１３ａ 上移動ボタン
１３ｂ 下移動ボタン
１３ｃ 左移動ボタン
１３ｄ 右移動ボタン
１３ｅ 右回転移動ボタン
１３ｆ 左回転移動ボタン
１４ メモリ
１５，１５０ コントローラ
１６ 出力部
２０ 移動体

Claims (7)

  1. 撮像画像を生成するカメラと、
    前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、前記カメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように前記較正用オブジェクトの前記第２対応箇所と前記第２指標の像とに基づいて前記第１対応箇所を中心に前記較正用オブジェクトを回転により移動させ、前記撮像画像内の所定方向における第１指標の像からの距離に応じた伸縮率で、前記撮像画像を前記所定方向に伸縮させる歪補正を行うコントローラと、を備える、
    撮像装置。
  2. 請求項１に記載の撮像装置において、
    前記歪補正は、さらに、前記撮像画像の前記較正用オブジェクトの前記第１対応箇所および前記第２対応箇所とは異なる第３対応箇所が、前記複数の指標の中の前記第１指標および前記第２指標とは異なる第３指標の像に一致するように、前記所定方向の直交方向における第１指標の像からの位置に応じた伸縮率で前記直交方向に前記撮像画像を伸縮する補正である、
    撮像装置。
  3. 請求項１または２に記載の撮像装置において、
    前記コントローラは、前記歪補正を行った後に前記カメラによって生成された撮像画像内の少なくとも前記領域に前記歪補正と同一の歪補正を行う、
    撮像装置。
  4. 請求項１から３のいずれか一項に記載の撮像装置において、
    前記較正用オブジェクトは、前記移動体が操作されているときに表示されるオブジェクトである、
    撮像装置。
  5. 請求項４に記載の撮像装置において、
    前記較正用オブジェクトは、前記移動体の運転を支援するためのガイド線である、
    撮像装置。
  6. 撮像画像を生成するカメラと、
    前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、前記カメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置、および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように前記較正用オブジェクトの前記第２対応箇所と前記第２指標の像とに基づいて前記第１対応箇所を中心に前記較正用オブジェクトを回転により移動させ、前記撮像画像内の所定方向における第１指標の像からの距離に応じた伸縮率で、前記撮像画像を前記所定方向に伸縮させる歪補正を行うコントローラと、を含む撮像装置を備える、
    移動体。
  7. 撮像装置が実行する撮像方法であって、
    前記撮像装置が、
    撮像画像を生成し、
    前記撮像画像内で平行移動または回転によって移動可能な、較正用オブジェクトを重畳し、
    前記撮像画像を生成するカメラを搭載する移動体に対して定められた位置に配置された複数の指標が撮像された場合に、前記撮像画像に含まれる該複数の指標の中の第１指標の像に、該撮像画像に重畳された前記較正用オブジェクトの第１対応箇所が一致するように前記較正用オブジェクトを移動させるとともに、前記撮像画像における前記第１指標の像の位置、および前記第１指標以外の第２指標の像の位置と、前記撮像画像での前記較正用オブジェクトが重畳された位置とに基づいて定まる撮像画像内の領域に、前記第２指標の像が前記較正用オブジェクトの第２対応箇所に一致するように前記較正用オブジェクトの前記第２対応箇所と前記第２指標の像とに基づいて前記第１対応箇所を中心に前記較正用オブジェクトを回転により移動させ、前記撮像画像内の所定方向における第１指標の像からの距離に応じた伸縮率で、前記撮像画像を前記所定方向に伸縮させる歪補正を行う、
    撮像方法。
JP2018062998A 2018-03-28 2018-03-28 撮像装置、移動体、および撮像方法 Active JP7037413B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018062998A JP7037413B2 (ja) 2018-03-28 2018-03-28 撮像装置、移動体、および撮像方法
US16/977,746 US11501464B2 (en) 2018-03-28 2019-03-18 Imaging apparatus, moveable body, and imaging method
PCT/JP2019/011269 WO2019188521A1 (ja) 2018-03-28 2019-03-18 撮像装置、移動体、および撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018062998A JP7037413B2 (ja) 2018-03-28 2018-03-28 撮像装置、移動体、および撮像方法

Publications (2)

Publication Number Publication Date
JP2019176340A JP2019176340A (ja) 2019-10-10
JP7037413B2 true JP7037413B2 (ja) 2022-03-16

Family

ID=68058897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018062998A Active JP7037413B2 (ja) 2018-03-28 2018-03-28 撮像装置、移動体、および撮像方法

Country Status (3)

Country Link
US (1) US11501464B2 (ja)
JP (1) JP7037413B2 (ja)
WO (1) WO2019188521A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902814B (zh) * 2021-12-07 2022-03-15 武汉港迪智能技术有限公司 自动化起重机吊具上多相机的统一标定方法
US12397712B2 (en) 2023-01-19 2025-08-26 Panasonic Automotive Systems Co., Ltd. Vehicular camera
JP7751360B2 (ja) * 2023-03-28 2025-10-08 パナソニックオートモーティブシステムズ株式会社 車載用カメラ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239412A (ja) 2009-03-31 2010-10-21 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
JP2011185753A (ja) 2010-03-09 2011-09-22 Mitsubishi Electric Corp 車載カメラのカメラキャリブレーション装置
JP2013062692A (ja) 2011-09-13 2013-04-04 Kyocera Corp 車載カメラの較正装置及び方法
JP2013173452A (ja) 2012-02-24 2013-09-05 Kyocera Corp 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
JP2013173453A (ja) 2012-02-24 2013-09-05 Kyocera Corp 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
JP2016010142A (ja) 2014-06-26 2016-01-18 京セラ株式会社 撮像装置及び撮像装置を設置した移動体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3649428B2 (ja) 1999-01-18 2005-05-18 矢崎総業株式会社 車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法
JP5339124B2 (ja) * 2008-09-30 2013-11-13 アイシン精機株式会社 車載カメラの校正装置
US20130215280A1 (en) * 2011-09-13 2013-08-22 Kyocera Corporation Camera calibration device, camera and camera calibration method
US11039121B2 (en) * 2017-06-20 2021-06-15 Sony Interactive Entertainment Inc. Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239412A (ja) 2009-03-31 2010-10-21 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
JP2011185753A (ja) 2010-03-09 2011-09-22 Mitsubishi Electric Corp 車載カメラのカメラキャリブレーション装置
JP2013062692A (ja) 2011-09-13 2013-04-04 Kyocera Corp 車載カメラの較正装置及び方法
JP2013173452A (ja) 2012-02-24 2013-09-05 Kyocera Corp 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
JP2013173453A (ja) 2012-02-24 2013-09-05 Kyocera Corp 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
JP2016010142A (ja) 2014-06-26 2016-01-18 京セラ株式会社 撮像装置及び撮像装置を設置した移動体

Also Published As

Publication number Publication date
WO2019188521A1 (ja) 2019-10-03
JP2019176340A (ja) 2019-10-10
US11501464B2 (en) 2022-11-15
US20210056727A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
JP5316805B2 (ja) 車載カメラ装置の画像調整装置及び車載カメラ装置
EP1850595B1 (en) Periphery supervising device, and periphery supervising method
US20190255999A1 (en) Vehicle control apparatus and program
US9734413B2 (en) Image generation apparatus and paver operation assistance system
US10434877B2 (en) Driver-assistance method and a driver-assistance apparatus
US9990543B2 (en) Vehicle exterior moving object detection system
EP2009590B1 (en) Drive assistance device
JP7037413B2 (ja) 撮像装置、移動体、および撮像方法
CN108367714B (zh) 填充由镜子或其他车辆部件遮挡的周围视野区域
US20180141496A1 (en) Method and device for displaying an image of the surroundings of a vehicle combination
JP2021533507A (ja) 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体
CN109792482B (zh) 摄像机模块、选择器、控制器、摄像机监视系统以及移动体
JP2013054720A (ja) 運転支援装置
US11044395B2 (en) Method for generating a representation of an environment by shifting a virtual camera towards an interior mirror of a motor vehicle; as well as camera device
US11521395B2 (en) Image processing device, image processing method, and program
JP2020502640A (ja) 乗物用サラウンドビューシステム
WO2013118705A1 (ja) 運搬車両の周囲監視装置
JP4710653B2 (ja) 車載画像処理装置及び車両用画像処理方法
WO2019082628A1 (ja) 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法
JP5752631B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
KR101469717B1 (ko) 광각 카메라를 이용한 영상 시스템 및 그 방법
JP6234335B2 (ja) 撮像装置及び撮像装置を設置した移動体
JP3585098B2 (ja) 車両用後側方監視装置
US20230339349A1 (en) Method and apparatus for displaying ego-vehicle surroundings within an ego-vehicle with support of electrical charging
JP2018201169A (ja) 撮像装置、撮像方法、プログラム、車載カメラ、及び車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220304

R150 Certificate of patent or registration of utility model

Ref document number: 7037413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150