[go: up one dir, main page]

JP6722767B2 - カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体 - Google Patents

カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体 Download PDF

Info

Publication number
JP6722767B2
JP6722767B2 JP2018542430A JP2018542430A JP6722767B2 JP 6722767 B2 JP6722767 B2 JP 6722767B2 JP 2018542430 A JP2018542430 A JP 2018542430A JP 2018542430 A JP2018542430 A JP 2018542430A JP 6722767 B2 JP6722767 B2 JP 6722767B2
Authority
JP
Japan
Prior art keywords
camera
processed image
imaging direction
imaging
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018542430A
Other languages
English (en)
Other versions
JPWO2018061882A1 (ja
Inventor
須永 敏弘
須永  敏弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2018061882A1 publication Critical patent/JPWO2018061882A1/ja
Application granted granted Critical
Publication of JP6722767B2 publication Critical patent/JP6722767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008Adjustable or movable supports
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Accessories Of Cameras (AREA)

Description

関連出願へのクロスリファレンス
本出願は、日本国特許出願2016−190444号(2016年9月28日出願)の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
本開示は、カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体に関する。
自動車に複数のカメラを取り付けた監視システムが知られている。かかるシステムは、いずれかのカメラが故障した場合に、故障したカメラの代わりにその故障したカメラの位置に交換用のカメラを移動させて、運転者が映像を継続して監視することを可能にする(例えば、特許文献1)。
特開2004−363937号公報
本開示の一実施形態に係るカメラモジュールは、第1カメラと、第1撮像方向と第2撮像方向とを切り替え可能な第2カメラと、を備える。前記第1カメラは、前記第2カメラが前記第1撮像方向を向いているときに第1撮像範囲を撮像する。前記第2カメラは、前記第1撮像方向を向いているときに第2撮像範囲を撮像し、前記第2撮像方向を向いているときに第3撮像範囲を撮像する。前記第1撮像範囲と前記第3撮像範囲との重複範囲は、前記第1撮像範囲と前記第2撮像範囲との重複範囲よりも広い。
本開示の一実施形態に係るセレクタは、第1カメラから取得された第1撮像画像に対して第1処理が実行されて生成された第1処理画像を取得する。セレクタは、第1撮像方向と第2撮像方向とを切り替え可能な第2カメラから取得された第2撮像画像に対して、前記第2カメラが前記第1撮像方向を向いているときに第2処理が実行されて生成された第2処理画像を取得する。セレクタは、前記第2カメラが前記第2撮像方向を向いているときに第3処理が実行されて生成された第3処理画像を取得する。セレクタは、前記第2カメラが前記第1撮像方向を向いているとき、前記第1処理画像を出力し、前記第2カメラが前記第2撮像方向を向いているとき、前記第3処理画像を出力する。
本開示の一実施形態に係るコントローラは、第1カメラから第1撮像画像を取得し、取得した当該第1撮像画像に対して、第1処理を実行して第1処理画像を生成可能である。コントローラは、第1撮像方向と第2撮像方向とを切り替え可能な第2カメラから第2撮像画像を取得し、取得した当該第2撮像画像に対して、第2処理が実行された第2処理画像を生成可能である。コントローラは、取得した当該第2撮像画像に対して、前記第2処理と異なる第3処理が実行された第3処理画像を生成可能である。
本開示の一実施形態に係るカメラモジュールは、第1カメラと、第1撮像方向と第2撮像方向とを切り替え可能な第2カメラと、コントローラと、を備える。前記第1カメラは、前記第2カメラが前記第1撮像方向を向いているときに第1撮像範囲を撮像する。前記第2カメラは、前記第1撮像方向を向いているときに第2撮像範囲を撮像し、前記第2撮像方向を向いているときに第3撮像範囲を撮像する。前記コントローラは、前記第2カメラが前記第1撮像方向を向いているときに前記第1カメラによる第1撮像画像を取得する。コントローラは、取得した当該第1撮像画像に対して第1処理を実行して第1処理画像を生成可能であり、前記第2カメラが前記第1撮像方向を向いているときに前記第2カメラによる第2撮像画像を取得する。コントローラは、取得した当該第2撮像画像に対して第2処理を実行して第2処理画像を生成可能である。コントローラは、前記第2カメラが前記第2撮像方向を向いているときに前記第2カメラによる第2撮像画像を取得し、取得した当該第2撮像画像に対して第3処理を実行して第3処理画像を生成可能である。前記第1処理画像と前記第3処理画像との重複範囲は、前記第1処理画像と前記第2処理画像との重複範囲より広い。
本開示の一実施形態に係るカメラモニタシステムは、第1カメラと、第1撮像方向と第2撮像方向とを切り替え可能な第2カメラと、コントローラと、1つのモニタと、を備える。前記コントローラは、前記第1カメラから第1撮像画像を取得し、前記第1撮像画像に対して、第1処理を実行して第1処理画像を生成する。コントローラは、前記第2カメラから第2撮像画像を取得し、前記第1撮像方向を向いているときの前記第2撮像画像に対して、第2処理を実行して第2処理画像を生成する。コントローラは、前記第2撮像方向を向いているときの前記第2撮像画像に対して、第3処理を実行して第3処理画像を生成する。前記モニタは、前記第2カメラが前記第1方向を向いているときに、前記第1処理画像を表示し、前記第2カメラが前記第2方向を向いているときに、前記第3処理画像を表示する。
本開示の一実施形態に係る移動体は、第1カメラと、第1撮像方向と第2撮像方向とを切り替え可能な第2カメラと、コントローラと、1つのモニタと、を備える。前記コントローラは、前記第1カメラから第1撮像画像を取得し、前記第1撮像画像に対して、第1処理を実行して第1処理画像を生成する。コントローラは、前記第2カメラから第2撮像画像を取得し、前記第1撮像方向を向いているときの前記第2撮像画像に対して、第2処理を実行して第2処理画像を生成する。コントローラは、前記第2撮像方向を向いているときの前記第2撮像画像に対して、第3処理を実行して第3処理画像を生成する。前記モニタは、前記第2カメラが前記第1方向を向いているときに、前記第1処理画像を表示し、前記第2カメラが前記第2方向を向いているときに、前記第3処理画像を表示する。
本開示の第1の実施形態に係るカメラモジュール及びモニタが取り付けられた移動体の概略的な側面図である。 図1Aにおける領域Rの拡大図である。 図1のカメラモジュール及びモニタの機能ブロック図である。 第1カメラの移動体上方から見た撮像範囲の一部を示す図である。 第1カメラの移動体側方から見た撮像範囲を示す図である。 第2カメラの移動体側方から見た撮像範囲を示す図である。 第1回動位置におけるカメラモジュールの外観を示す図である。 第2回動位置におけるカメラモジュールの外観を示す図である。 図1のカメラモジュールにおけるコントローラの動作を示すフローチャートである。 図1のカメラモジュールにおけるコントローラ及びセレクタの動作を示すシーケンス図である。 第2の実施形態に係るカメラモジュールが取り付けられた移動体の概略的な上面図である。 第2の実施形態における、第1回動位置でのカメラモジュールの外観を示す図6の領域Rの拡大図である。 第2の実施形態における、第2回動位置でのカメラモジュールの外観を示す図6の領域Rの拡大図である。 変形例における第1カメラの移動体上方から見た撮像範囲の一部を示す図である。
以下、本開示の一実施形態が図面を参照して示される。
[第1の実施形態]
図1Aは、本開示の一実施形態に係る移動体9の、概略的な側面図である。移動体9は、カメラモジュール1とモニタ2とを含んで構成される。カメラモジュール1とモニタ2とは、専用線、CAN(Controller Area Network)などのネットワークを介して信号を伝達可能に構成される。
図1Bは、図1Aにおけるフロントドアの上方前部の領域Rの拡大図である。カメラモジュール1は、第1カメラ11aと第2カメラ11bとを備え、所定の範囲を撮像する。詳細は後述する。
本開示における「移動体」は、車両、船舶、航空機を含む。本開示における「車両」は、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、トロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り二輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
図2は、カメラモニタシステム8の概略構成を示す機能ブロック図である。カメラモニタシステム8は、カメラモジュール1及びモニタ2を含む。カメラモジュール1は、第1カメラ11a、第2カメラ11b、回動部12a、駆動部12b、コントローラ13及び第1セレクタ13aを含む。
第1カメラ11a及び第2カメラ11bのそれぞれは、光学系と撮像素子とを含む。光学系は、少なくとも1枚のレンズを含む光学素子によって構成され、所望の光学特性を有する。所望の光学特性は、例えば焦点深度又は画角である。光学系は、被写体像を撮像素子に結像させる。撮像素子は、例えば、CCDイメージセンサ(Charge-Coupled Device Image Sensor)、CMOSイメージセンサ(Complementary MOS Image Sensor)などのイメージセンサである。撮像素子は、受光面に結像した被写体に対応する画像信号を生成する。撮像素子の受光面上には、2次元状に複数の画素が配置される。各画素は、受光量に対応する画素信号を生成する。1フレームの画像信号は、受光面を構成する各画素が生成する画素信号によって構成される。第1カメラ11a及び第2カメラ11bは自身が撮像した撮像画像をコントローラ13に出力する。
図3Aは、カメラモジュール1の撮像範囲と移動体9との関係を示す図である。図3Bは撮像方向D0と第1撮像範囲R1との関係を示す図である。図3Cは第1撮像方向D1と第2撮像範囲R2との関係を示す図である。一例では、第1カメラ11aは、所謂電子ミラー用のカメラである。後述する第1回動位置において、第1カメラ11aは、例えば、法令などにより定められる撮像範囲の光景を撮像できるように姿勢が定められる。例えばUnited NationsのEconomic and Social Councilによって提出された、「Proposal for Supplement 2 to the 04 series of amendments to Regulation No. 46 (Devices for indirect vision)」によれば、撮像範囲は次の通りである。すなわち図3Aに示すように、撮像範囲は、地上において運転者の後方4mの位置において移動体9側面から移動体9の外方幅1mである。撮像範囲は、運転者の後方20m以上後方の位置において移動体9側面から外方幅4mを含む範囲(網掛け部分参照)である。撮像範囲は、運転者の後方4mの位置から後方20mの位置までの間で、当該運転者からの距離に応じて単調に増加するように設定された範囲である。
このような撮像範囲を撮像できるように、第1カメラ11aは撮像方向D0を向く。撮像方向D0を向くとは、第1カメラ11aの光軸が、図3Bに示すように、撮像方向D0に平行であり、かつ第1カメラ11aより撮像方向D0側の被写体を撮像できる状態である。撮像方向D0は移動体9の後方かつやや下方である。一例では、撮像方向D0と水平方向とが成す俯角は約15度である。一例では、撮像方向D0の水平成分と移動体9の前後方向とが成す角は約20度である。第1カメラ11aは、光軸方向を中心として、所定の画角、例えば45度である第1撮像範囲R1を撮像する。
一例では第2カメラ11bは、側方監視用のカメラである。後述する第1回動位置において、第2カメラ11bの光軸は図3Cに示す第1撮像方向D1に平行である。一例では、第1撮像方向D1は鉛直方向下向きである。第2カメラ11bは、光軸を中心として、画角が170度である第2撮像範囲R2を撮像する。第2カメラ11bの光学系に含まれるレンズは、第1カメラ11aの光学系に含まれるレンズよりも画角が広いレンズである。当該レンズは例えば魚眼レンズである。
回動部12aは、回動可能な機構である。回動部12aが回動することにより、第1回動位置と第2回動位置とが切り換えられる。回動部12aの回動位置の切り換えにより少なくとも第2カメラ11bは回動する。回動部12aの回動により、第2カメラ11bの撮像方向は変化する。第1カメラ11aは、回動部12aの回動位置の切り換えにより回動してよい。回動部12aの回動により、第1カメラ11aの撮像方向は変化してよい。
駆動部12bは例えば少なくとも1つのモーターである。駆動部12bは、例えばコントローラ13の制御により、回動部12aを回動させる。回動部12aは、手動による回動が可能な機構であってよい。駆動部12bは省略されてよい。
駆動部12bは、第2カメラ11bを光軸の周りに回動してよい。駆動部12bは、第2カメラ11bを直接回動させる機構を有してよい。駆動部12bは、回動部12aを介して第2カメラ11bの位置を動かす際に、第2カメラ11bを光軸の周りに回動させてよい。駆動部12bは複数のモーターを有してよい。
図4A及び図4Bは、カメラモジュール1の回動の態様を説明する図である。図4Aはカメラモジュール1の第1回動位置L1を示す図である。このとき、第1カメラ11a、第2カメラ11b及び回動部12aは第1回動位置L1にある。図4Bはカメラモジュール1の回動の態様を示す。カメラモジュール1は、第1回動位置L1から第2回動位置L2へ矢印A1が示す方向に沿って回動する。回動の結果、第1カメラ11a、第2カメラ11b及び回動部12aは第2回動位置L2に位置する。図4Aに示すように、第1回動位置L1において第1カメラ11aは撮像方向D0を向き、第1撮像範囲R1を撮像する。第1回動位置において第2カメラ11bは第1撮像方向D1を向き、第2撮像範囲R2を撮像する。
図4Bに示すように、第2回動位置において、第2カメラ11bは第2撮像方向D2を向く。このとき第3撮像範囲R3は、図3Aに示す、撮像範囲を含んでよい。一例では第2撮像方向D2は撮像方向D0と略一致する。第2撮像方向D2は、撮像方向D0と一致する場合に限定されない。第2撮像方向D2は、撮像方向D0と向きが同じでよい。第2撮像方向D2は、撮像方向D0と異なる方向でよい。
カメラモジュール1の回動位置についての記載は、第2カメラ11bの撮像方向についての記載に言い換えてよい。例えば、カメラモジュール1が第1回動位置にあることは、第2カメラ11bが第1撮像方向D1を向いていると言い換えてよい。カメラモジュール1が第2回動位置にあることは、第2カメラ11bが第2撮像方向D2を向いていると言い換えてよい。
回動部12aの回動の結果、第3撮像範囲R3と第1カメラ11aの第1撮像範囲R1との重複範囲は、第2撮像範囲R2と第1撮像範囲R1との重複範囲よりも大きい。第1カメラ11aが撮像方向D0を向いているときの第1撮像範囲R1と第3撮像範囲R3との重複範囲は、第1撮像範囲R1と第2撮像範囲R2との重複範囲より広い。
再び図2が参照される。コントローラ13は、1又は複数のプロセッサを含む。コントローラ13は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。コントローラ13は、一つ又は複数のプロセッサが協働するSoC(System-on-a-Chip)、及びSiP(System In a Package)のいずれかであってよい。コントローラ13は駆動部12bを駆動して、少なくとも第2カメラ11bの撮像方向を変化させてよい。
コントローラ13は第1カメラ11aから第1撮像画像を取得する。コントローラ13は、第1撮像画像に通常処理(第1処理)を実行して第1処理画像を生成する。コントローラ13は、生成した第1処理画像を出力する。本実施形態の通常処理は例えば、第1撮像画像に対するホワイトバランスの調整処理、γ補正処理などを含む。ホワイトバランスの調整処理、γ補正処理などは前段処理と称されてよい。本実施形態の通常処理は更に、第1撮像画像に対する色補間、輪郭強調などを含む。色補間、輪郭強調などは、前段処理が施された第1撮像画像に施してよい。色補間、輪郭強調などは、後段処理と称してよい。本実施形態の通常処理は、上記の処理に加えて、第1撮像画像の歪みを補正する補正処理、第1撮像画像から一部の領域を抽出する抽出処理、第1撮像画像から一部の領域を抽出して拡大する電子ズーム処理、第1撮像画像を鮮鋭化するシャープネス処理、及び第1撮像画像の解像度をデジタル処理で向上させる超解像処理、の少なくとも1つを含んでよい。電子ズーム処理は、抽出処理後の第1撮像画像に対して、抽出する処理を省略してよい。
コントローラ13は第2カメラ11bから第2撮像画像を取得する。コントローラ13は第2撮像画像に通常処理(第2処理)を施し、第2処理画像を生成する。コントローラ13は、生成した第2処理画像を出力する。第2撮像画像に施される通常処理は、第1撮像画像に施される通常処理と同一のものであってよいし、一部の処理内容が異なるものであってよい。
コントローラ13は第2撮像画像に下記の変換処理(第3処理)を施し、第3処理画像を生成する。コントローラ13は、生成した第3処理画像を出力する。
本実施形態の変換処理は、下記のように通常処理と異なる。変換処理における歪み補正処理は、通常処理における歪み補正処理と異なるパラメータに基づいて実行される。変換処理における歪み補正処理では、通常処理における歪み補正処理と異なる置換テーブルを用いられる。変換処理における歪み補正処理により第3処理画像は、補正後の視覚的な歪みが第2処理画像に比べて第1処理画像に近づけられる。変換処理における抽出処理は、通常処理における抽出処理と異なるパラメータに基づいて実行される。変換処理における抽出処理は、通常処理における抽出処理が抽出する範囲よりも狭い範囲を抽出する。変換処理における抽出処理は、通常処理における抽出処理が抽出する範囲と縦横比が異なる。変換処理における抽出処理によって抽出する縦横比は、第2処理画像の縦横比に比べて第1処理画像の縦横比に近い。変換処理における抽出処理によって抽出する縦横比は、第1処理画像の縦横比と同じでよい。変換処理における電子ズーム処理は、第3処理画像における対象物の大きさが第1処理画像における対象物の大きさに近づくように実行される。
例えば、第2撮像画像に対する変換処理では、各処理の組み合わせにより、第1処理画像と表示条件が近づけられ、又は一致させられるように第3処理画像が生成される。コントローラ13は、切り出し後の画像の撮像範囲(画角)及びアスペクト比と、第1処理画像の撮像範囲及びアスペクト比とを近づける、又は一致させる。所定の領域は、第1カメラ11aに含まれるレンズと第2カメラ11bに含まれるレンズとの画角の差異に基づいて予め定められる。コントローラ13は、切り出し後の画像に対して電子ズームを実行し、電子ズーム後の画像のサイズと第1処理画像のサイズとを近付ける、又は一致させる。コントローラ13は、シャープネス処理及び超解像処理の少なくとも一方を実行してよい。
上述した変換処理において、変換処理に含まれる各処理は任意の順番で実行してよい。上述した変換処理は、例えば各画素の座標変換により行ってよい。コントローラ13は、第2撮像画像の各画素の座標を、予め定められた異なる座標系の座標に変換してよい。
変換処理は、通常処理と少なくとも一部の処理内容が異なる。通常処理と変換処理は、一方が他方に含まれない処理を有するとき、少なくとも一部の処理内容が異なると見なされる。コントローラ13による1つの処理は、変換処理及び通常処理の一部と見なされてよい。変換処理は、通常処理と同じ処理を含んでよい。コントローラ13は、第2処理画像に対して新たな処理を実行して第3処理画像を生成してよい。
コントローラ13は定期的に又は所定の時点で、第1カメラ11aが故障しているか否かを次のように判定する。第1カメラ11aから取得される第1撮像画像に欠損部分が存在する場合、コントローラ13は第1カメラ11aが故障していると判定してよい。第1カメラ11aが動作しない場合、コントローラ13は第1カメラ11aが故障していると判定してよい。レンズが割れたり、レンズ及び撮像素子の光軸がずれていることを検出したとき、コントローラ13は第1カメラ11aが故障していると判定してよい。
コントローラ13は第1カメラ11aが故障していない、すなわち、正常であると判定すると、第1回動位置を維持させる。
コントローラ13は第1カメラ11aが故障していると判定すると、故障していることを報知させる。報知は、例えば後述する第1モニタ2a又は第2モニタ2bに故障している旨の表示を行うことを含んでよい。報知は、音声又はランプの点灯による通知であってよい。
コントローラ13は、第1カメラ11aが故障していると判定するとき、駆動部12bを制御して回動部12aを第2回動位置に設定させてよい。駆動部12bによる回動部12aの回動は、第1カメラ11aが故障していると判定されたときに自動的に行われてよい。駆動部12bによる回動部12aの回動は、運転者又は同乗者から切り替えの指示を受け付けたときに行われてよい。コントローラ13は第1モニタ2a又は第2モニタ2bにおいて、第1カメラ11aが第2カメラ11bに切り替えられている途中であることを報知してよい。
第2カメラ11bの回動が完了すると、例えばコントローラ13は、第1モニタ2a又は第2モニタ2bにおいて、第1カメラ11aから第2カメラ11bへの切り換えが完了したことを報知してよい。コントローラ13は、第1モニタ2a又は第2モニタ2bにおいて、第1カメラ11aが撮像していた範囲が第2カメラ11bによって撮像されていることを報知してよい。
第1セレクタ13aは、コントローラ13から、第1処理画像、第2処理画像及び第3処理画像を取得する。第1セレクタ13aは、回動部12aの回動位置(第1回動位置または第2回動位置)をコントローラ13から受信する。第1セレクタ13aは、回動部12aが第1回動位置にあるとき、第1処理画像及び第2処理画像の少なくとも一方を出力する。第1セレクタ13aは、回動部12aが第2回動位置にあるとき、第1処理画像に代えて第3処理画像を出力する。第1セレクタ13aは、回動部12aの回動位置が第1回動位置と第2回動位置のいずれにあるかを判定してよい。
上述のモニタ2は例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、又は、有機若しくは無機ELディスプレイである。モニタ2は、移動体9の車室内の、運転者が視認できる位置に設けられる。本実施形態では、モニタ2は、専用モニタである第1モニタ2aと、汎用モニタである第2モニタ2bとを有する。第1モニタ2aは移動体9の後方の撮像画像を常時表示する画面である。汎用モニタは、運転状況に応じて、移動体9の側方の撮像画像、カーナビゲーションシステム用の画面等を表示する。第1モニタ2aは、第1処理画像及び第3処理画像を表示できる。第2カメラ11bが第1撮像方向D1を向いているときに、第1モニタ2aは第1処理画像を表示してよい。第1モニタ2aは、第2カメラ11bが第2撮像方向D2を向いているときに、第3処理画像を表示してよい。第2モニタ2bは、第2処理画像を表示できる。第2モニタ2bは、第2カメラ11bが第1撮像方向D1を向いているときに、第2処理画像を表示してよい。第2モニタ2bは、第2カメラ11bが第2撮像方向D2を向いているときに、第2処理画像の表示を停止してよい。
カメラモジュール1が備えるコントローラ13が定期的に又は所定の時点で実行する処理が、図5Aを参照して示される。
図5Aは、コントローラ13の動作を示すフローチャートである。図5Aの処理は、コントローラ13が定期的に又は所定の時点で実行する。コントローラ13は、たとえば、所定の間隔毎に図5Aの処理を実行する。または、コントローラ13は、例えば、第1撮像画像を取得したとき、図5Aの処理を実行する。ステップS1にてコントローラ13は第1カメラ11aから少なくとも第1撮像画像を取得する。ステップS2にてコントローラ13は第1カメラ11aが故障しているか否かを判定する。ステップS2の判定結果がYesのとき、ステップS3にてコントローラ13は、回動位置が第1回動位置にあるか否かを判定する。ステップS3の判定結果がYesのとき、コントローラ13は駆動部12bを駆動して、回動位置を第2回動位置に設定し、第2カメラ11bの撮像方向を変化させる。ステップS3の判定結果がNoのとき、ステップS5にてコントローラ13は回動位置を第2回動位置で維持させる。
ステップS2の判定結果がNoのとき、ステップS6にて、コントローラ13は回動位置が第2回動位置にあるか否かを判定する。ステップS6の判定結果がYesのとき、ステップS7にてコントローラ13は回動位置を第1回動位置に設定して、第2カメラ11bの撮像方向を変化させる。ステップS6の判定結果がNoのとき、コントローラ13はステップS5において、回動位置を第1回動位置で維持させる。
カメラモジュール1が備えるコントローラ13及び第1セレクタ13aが、第1カメラ11a及び第2カメラ11bそれぞれから1フレームの第1撮像画像及び第2撮像画像を取得する毎に実行する処理が、図5Bを参照して示される。
ステップS11にてコントローラ13は第1カメラ11aと第2カメラ11bとから、それぞれ第1撮像画像と第2撮像画像とを取得する。ステップS12にてコントローラ13は、第1撮像画像に対して通常処理を実行して第1処理画像を生成する。ステップS13にてコントローラ13は、第2撮像画像に対して通常処理と変換処理を実行して、第2処理画像と第3処理画像とをそれぞれ生成する。
ステップS14にてコントローラ13は、第1処理画像、第2処理画像及び第3処理画像と、回動部12aの回動位置を示す情報とを第1セレクタ13aに出力する。
ステップS15にて第1セレクタ13aは、回動部12aの回動位置を示す情報に基づいて、第2カメラ11bが第1撮像方向D1と第2撮像方向D2とのどちらを向いているかを判定する。
ステップS15にて第2カメラ11bが第1撮像方向D1を向いているとき、ステップS16にて第1セレクタ13aは第1処理画像及び第2処理画像を出力する。
ステップS15にて第2カメラ11bが第2撮像方向D2を向いているとき、ステップS17にて第1セレクタ13aは第3処理画像を第1モニタ2aに出力する。第1セレクタ13aは第2処理画像を出力しない。
本実施形態によれば、コントローラ13は、第2処理と異なる第3処理が実行された第3処理画像を生成できる。第1撮像範囲R1と第3撮像範囲R3との重複範囲は、第1撮像範囲R1と第2撮像範囲R2との重複範囲よりも広い。第3撮像範囲R3では、第2撮像範囲R2に比べて、第1カメラ11aの第1撮像範囲R1内の光景及び被写体を広範囲に撮像できる。第1カメラ11aが故障した場合でも、第2カメラ11bで第1撮像範囲R1をカバーすることができ、運転者の利便性を向上させることができる。
本実施形態によれば、コントローラ13は、取得した第2撮像画像に対して、第2処理と異なる第3処理が実行された第3処理画像を生成できる。このため、コントローラ13は例えば、第2カメラ11bによる第2撮像画像を取得し、取得した当該第2撮像画像に対して、第1処理画像と表示条件が近づくように変換処理を実行して第3処理画像を生成可能である。したがって、第1カメラ11aと第2カメラ11bとが目的に応じて異なる表示条件を有しても、第1カメラ11aが正常である場合の第1処理画像と第3処理画像との見た目を近付け得る。このため、視認性の観点で運転者に違和感を与えるおそれを低減し、もって運転者の利便性を更に向上させることができる。
本実施形態によれば、コントローラ13は、第2カメラ11bが第2撮像方向D2を向いていると判定したときに第3処理画像を出力する。コントローラ13は、第2カメラ11bが第1撮像方向D1を向いているときに第2処理画像を生成する。このため、第2カメラ11bの撮像方向に応じて、必要な画像を生成することができる。
本実施形態によれば、第1セレクタ13aは、第2カメラ11bが第1撮像方向D1を向いているときに第2処理画像を出力し、第2カメラ11bが第2撮像方向D2を向いているときに第3処理画像を出力する。このため、第2カメラ11bの撮像方向に応じて適切な画像を出力することができる。
本実施形態によれば、コントローラ13は、シャープネス処理及び超解像処理の少なくとも一方を実行して第3処理画像を生成する。このため、第1処理画像の表示条件を第3処理画像の表示条件に近付ける過程で生じ得るボケ又は解像度の低下が発生することを低減し、もって第3処理画像の画質を向上させることができる。
[第2の実施形態]
上記第1の実施形態では、第2カメラ11bは移動体9の側方監視用カメラである。第2の実施形態では、第2カメラ11bは、例えば、移動体9の左斜め前方の確認用カメラである。
第2の実施形態の機能ブロック図は上記第1の実施形態の機能ブロック図と同じであるため説明を省略する。その他、上記第1の実施形態と同じ説明は省略する。
図6は移動体9の上面図である。図6に示すように、カメラモジュール1は移動体9の左側面に取り付けられる。第1カメラ11aは上記第1の実施形態と同じく移動体9の後方を撮像できる。第2カメラ11bは移動体9の左斜め前方を撮像できる。移動体9の右側面の、カメラモジュール1と対応する位置には、移動体9の後方を撮像できるカメラと移動体9の右斜め前方を撮像できるカメラとを有するカメラモジュールが取り付けられてよい。
図7Aは図6において第1カメラ11a及び第2カメラ11bが第1回動位置にある状態の、フロントドアの上方前部の領域Rを示す図である。図4Aと類似して、第1回動位置において移動体9に取り付けられた第1カメラ11aは撮像方向D0を向き、第1撮像範囲R1を撮像する。第2の実施形態における一例では、撮像方向D0は略水平方向である。撮像方向D0と、移動体9の前後方向との成す角は約30度である。第1カメラ11aは光軸方向を中心として、所定の画角、例えば60度である第1撮像範囲R1を撮像する。第1回動位置において第2カメラ11bは第1撮像方向D1を向き、第2撮像範囲R2を撮像する。第2の実施形態における一例では、第1撮像方向D1は略水平方向である。第1撮像方向D1と移動体9の前後方向との成す角は約45度である。第2カメラ11bは光軸方向を中心として、所定の画角、例えば90度である第2撮像範囲R2を撮像する。第1の実施形態と異なり、第2の実施形態では第1撮像範囲R1と第2撮像範囲R2との重複範囲は存在しない。
上記第1の実施形態と同様、第2の実施形態では、コントローラ13は第1カメラ11a及び第2カメラ11bから取得した第1撮像画像及び第2撮像画像に基づいて、第1処理画像、第2処理画像及び第3処理画像を生成する。コントローラ13は、生成した第1処理画像、第2処理画像及び第3処理画像を第1セレクタ13aに出力する。
コントローラ13は第1撮像画像に基づいて第1カメラ11aが故障しているか否かを判定する。コントローラ13は、第1カメラ11aが故障していないと判定するとき、第1セレクタ13aを制御して第1処理画像及び第2処理画像を出力させる。
コントローラ13は、第1カメラ11aが故障していると判定すると、駆動部12bを制御して、回動部12aを第2回動位置に設定させる。図7Bは図6において第1カメラ11a及び第2カメラ11bが第2回動位置にあるときのフロントドアの上方前部の領域Rを示す図である。このとき上記第1の実施形態と類似して、第3撮像範囲R3と第1撮像範囲R1との重複範囲が、第2撮像範囲R2と第1撮像範囲R1との重複範囲よりも大きい。このときコントローラ13は第1セレクタ13aを制御して、第3処理画像を出力させる。
第2の実施形態によれば、第1撮像範囲R1と第3撮像範囲R3との重複範囲は、第1撮像範囲R1と第2撮像範囲R2との重複範囲よりも広い。このため、第3撮像範囲R3では、第2撮像範囲R2に比べて、第1カメラ11aの第1撮像範囲R1内の光景及び被写体を広範囲に撮像できる。第1カメラ11aが故障した場合でも、第2カメラ11bで第1撮像範囲R1をカバーすることができ、運転者の利便性を向上させることができる。
本開示の一実施形態が諸図面及び実施例に基づき示されるが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各部材、各部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置できる。本開示を方法の発明として実施するときにも、複数の部、ステップなどを1つに組み合わせたり、或いは分割したりすることができる。
上記第1の実施形態及び上記第2の実施形態では、カメラモジュール1が2つのカメラを有するが、3つ以上のカメラを有してよい。その場合コントローラ13は、第1カメラ11aが故障したときに、第1カメラ11aと画角が近い方のカメラを選択して第1カメラ11aに代用してよい。
上記第1の実施形態及び上記第2の実施形態では、駆動部12bは回動部12aを回動させて、第1カメラ11a及び第2カメラ11bの撮像方向を変化させる。しかしながら駆動部12bは、回動させる方法以外にも、姿勢を変化させる任意の方法により、第1カメラ11a及び第2カメラ11bの撮像方向を変化させてよい。
上記第1の実施形態及び上記第2の実施形態では、コントローラ13は、第3撮像範囲R3と第1撮像範囲R1との重複範囲が、第2撮像範囲R2と第1撮像範囲R1との重複範囲よりも大きくなるように第2カメラ11bの撮像方向を変化させる。しかしながら、コントローラ13は、第2カメラ11bの第2撮像方向D2が第1カメラ11aの撮像方向D0と略一致するように第2カメラ11bの撮像方向を変化させてよい。別の代替例として、コントローラ13は、第3撮像範囲R3が第1撮像範囲R1を含むように第2カメラ11bの撮像方向を変化させてよい。
上記第1の実施形態及び上記第2の実施形態では、コントローラ13が、第1カメラ11a及び第2カメラ11bの撮像方向を変化させ、更に第2撮像画像を第3処理画像に変換させる変換処理を実行する。しかしながら、コントローラ13は第1カメラ11a及び第2カメラ11bの撮像方向の変化のみを行い、第3処理画像への変換処理をECU(Electronic Control Unit)又は移動体9のカーナビゲーションシステムが実行してよい。
上記第1の実施形態及び上記第2の実施形態において、第1カメラ11aと第2カメラ11bとは移動体9の側面に取り付けられるが、移動体9の車室内、上面、背面等の異なる位置に取り付けられてよい。例えばカメラモジュール1が移動体9の車室内に取り付けられる場合を示す。第1回動位置において第1カメラ11aは、例えば、法令などにより定められる、撮像範囲の光景を撮像できるように姿勢が定められる。例えば上述した「Proposal for Supplement 2 to the 04 series of amendments to Regulation No. 46 (Devices for indirect vision)」によれば、図8に示すように、撮像範囲は、地上において運転者から後方60m以上の任意の位置において、移動体9の前後方向に平行な中央線から左右幅20mである。そこでコントローラ13は、第1カメラ11aが故障していると判定するとき、第2カメラ11bの撮像方向を変化させて、第2カメラ11bの第3撮像範囲R3が図8に示す撮像範囲を含ませてよい。
第1の実施形態及び第2の実施形態において、カメラモジュール1は移動体9の片側の側面にのみ取り付けられているが、移動体9の両側の側面に取り付けられてよい。
コントローラ13は、第2カメラ11bの撮像方向にかかわらず第2処理画像と第3処理画像との両方を生成してよい。コントローラ13は、第2カメラ11bが第2撮像方向D2を向いているときに第3処理画像を生成してよい。コントローラ13は、第2カメラ11bが第1撮像方向D1を向いているときに第3処理画像の生成を停止してよい。コントローラ13は、第2カメラ11bの撮像方向にかかわらず第2処理画像を生成しつつ、第2カメラ11bが第2撮像方向D2を向いているときのみに第3処理画像を生成してよい。
コントローラ13は、第2カメラ11bが第1撮像方向D1を向いているときに第2処理画像を生成してよい。コントローラ13は、第2カメラ11bが第2撮像方向D2を向いているときに第2処理画像の生成を停止してよい。コントローラ13は、第2カメラ11bの撮像方向にかかわらず第3処理画像を生成しつつ、第2カメラ11bが第1撮像方向D1を向いているときのみに第2処理画像を生成してよい。
コントローラ13に第3処理画像及び第2処理画像の一方のみを生成させることで、カメラモジュール1は、2つの画像を常時生成する場合に比べてコントローラ13の処理負荷を低減することができる。
コントローラ13は、第2カメラ11bの撮像方向にかかわらず第1処理画像を生成してよい。コントローラ13は、第2カメラ11bが第1撮像方向D1を向いているときに第1処理画像を生成してよい。コントローラ13は、第2カメラ11bが第2撮像方向D2を向いているときに第1処理画像の生成を停止してよい。
第1の実施形態及び第2の実施形態では、コントローラ13は第1セレクタ13aと別体である。しかしながら、第1セレクタ13aはコントローラ13内部に設けられて内蔵されてよい。さらには、第1セレクタ13aがカメラモジュール1から別体であってよい。
上記第1の実施形態及び第2の実施形態では、第1セレクタ13aは、第2カメラ11bが第1撮像方向D1を向いているときに第2処理画像を出力し、第2カメラ11bが第2撮像方向D2を向いているときに第3処理画像を出力する。第1セレクタ13aは、次に示される別のセレクタである第2セレクタ13bと置き換えられてよい。すなわち、第2セレクタ13bは、第2カメラ11bが第1撮像方向D1を向いているときに、第1処理画像を第1モニタ2aに出力し、第2カメラ11bが第2撮像方向D2を向いているときに、第3処理画像を第1モニタ2aに出力する。第2セレクタ13bは、第2カメラ11bが第1撮像方向D1を向いているときに、第1処理画像に加えて第2処理画像を第1モニタ2aに出力してよい。
本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアによって実行される、一連の動作として示される。各実施形態では、種々の動作は、プログラム命令(ソフトウェア)で実装された専用回路(たとえば、特定機能を実行するために相互接続された個別の論理ゲート)又は、一以上のプロセッサによって実行される論理ブロック又はプログラムモジュール等によって実行されることに留意されたい。論理ブロック又はプログラムモジュール等を実行する一以上のプロセッサには、たとえば、一以上のマイクロプロセッサ、CPU(中央演算処理ユニット)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および/またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、たとえば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せによって実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および/または受信を行い、これによって、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。
ここでは、特定の機能を実行する種々のモジュールおよび/またはユニットを有するものとしてのシステムを開示している。これらのモジュールおよびユニットは、その機能性を簡略に説明するために模式的に示されたものであって、必ずしも、特定のハードウェアおよび/またはソフトウェアを示すものではないことに留意されたい。その意味において、これらのモジュール、ユニット、その他の構成要素は、ここで説明された特定の機能を実質的に実行するように実装されたハードウェアおよび/またはソフトウェアであればよい。異なる構成要素の種々の機能は、ハードウェアおよび/もしくはソフトウェアのいかなる組合せまたは分離したものであってもよく、それぞれ別々に、またはいずれかの組合せによって用いることができる。また、キーボード、ディスプレイ、タッチスクリーン、ポインティングデバイス等を含むがこれらに限られない入力/出力もしくはI/Oデバイス又はユーザインターフェースは、システムに直接にまたは介在するI/Oコントローラを介して接続することができる。このように、本開示内容の種々の側面は、多くの異なる態様で実施することができる。それらの態様はすべて本開示内容の範囲に含まれる。
本開示において「第1」、「第2」、及び「第3」の記載は、当該構成を区別するための識別子である。必要に応じて、本開示における「第1」、「第2」、及び「第3」との記載で区別された部材は、当該構成における識別子を交換することができる。例えば、第1カメラ11aは、第2カメラ11bと識別子である「第1」と「第2」とを交換することができる。必要に応じて、識別子は削除してよい。識別子を削除した構成は、符号で区別される。必要に応じて、識別子は、任意の数字に変更してよい。必要に応じて、本開示に記載の構成の1つには任意の識別子が付加されてよい。例えば、コントローラ13は、第1を付加して第1コントローラ13と称されてよい。本開示における「第1」、「第2」、「第3」等の識別子の記載は、当該構成の順序の解釈に利用してはならない。
1 カメラモジュール
11a 第1カメラ
11b 第2カメラ
12a 回動部
12b 駆動部
13 コントローラ
13a 第1セレクタ
2 モニタ
2a 第1モニタ
2b 第2モニタ
8 カメラモニタシステム
9 移動体

Claims (14)

  1. 第1カメラと、
    第1撮像方向と第2撮像方向とを切り替え可能な第2カメラと、
    前記第1カメラによる第1撮像画像を取得し、
    取得した当該第1撮像画像に対して、第1処理を実行して第1処理画像を生成可能であり、
    前記第2カメラによる第2撮像画像を取得し、
    取得した当該第2撮像画像に対して、第2処理が実行された第2処理画像を生成可能であり、
    取得した当該第2撮像画像に対して、前記第2処理と異なる第3処理が実行された第3処理画像を生成可能である、
    コントローラと、
    を備え、
    前記第1カメラは、前記第2カメラが前記第1撮像方向を向いているときに第1撮像範囲を撮像し、
    前記第2カメラは、
    前記第1撮像方向を向いているときに第2撮像範囲を撮像し、
    前記第2撮像方向を向いているときに第3撮像範囲を撮像し、
    前記第1撮像範囲と前記第3撮像範囲との重複範囲は、前記第1撮像範囲と前記第2撮像範囲との重複範囲よりも広い、
    カメラモジュール。
  2. 請求項に記載のカメラモジュールにおいて、
    前記第1撮像範囲を撮像したときの前記第1処理画像と前記第3処理画像との重複範囲は、前記第1撮像範囲を撮像したときの前記第1処理画像と前記第2処理画像との重複範囲より広い、カメラモジュール。
  3. 請求項又は請求項に記載のカメラモジュールにおいて、
    前記コントローラは、前記第2カメラが前記第2撮像方向を向いているときに前記第3処理画像を生成する、カメラモジュール。
  4. 請求項から請求項のいずれか1つに記載のカメラモジュールにおいて、
    前記コントローラは、前記第2カメラが前記第1撮像方向を向いているときに前記第2処理画像を生成する、カメラモジュール。
  5. 請求項又はに記載のカメラモジュールにおいて、
    前記コントローラは、前記第2カメラの撮像方向にかかわらず前記第3処理画像を生成する、カメラモジュール。
  6. 請求項から請求項、および請求項のいずれか1つに記載のカメラモジュールにおいて、
    前記コントローラは、前記第2カメラの撮像方向にかかわらず前記第2処理画像を生成する、カメラモジュール。
  7. 請求項に記載のカメラモジュールにおいて、
    前記コントローラは、前記第2カメラが前記第1撮像方向を向いているときに前記第2処理画像を生成する、カメラモジュール。
  8. 請求項から請求項のいずれか1つに記載のカメラモジュールにおいて、
    前記第2カメラが前記第1撮像方向を向いているときに前記第2処理画像を出力し、
    前記第2カメラが前記第2撮像方向を向いているときに前記第3処理画像を出力する、
    第1セレクタを更に備える、カメラモジュール。
  9. 請求項から請求項のいずれか1つに記載のカメラモジュールにおいて、
    前記第2カメラが前記第1撮像方向を向いているときに、前記第1処理画像を第1モニタに出力し、
    前記第2カメラが前記第2撮像方向を向いているときに、前記第3処理画像を前記第1モニタに出力する、
    第2セレクタを更に備える、カメラモジュール。
  10. 第1カメラから取得された第1撮像画像に対して第1処理が実行されて生成された第1処理画像を取得し、
    第1撮像方向と第2撮像方向とを切り替え可能な第2カメラから取得された第2撮像画像に対して、
    前記第2カメラが前記第1撮像方向を向いているときに第2処理が実行されて生成された第2処理画像、及び、
    前記第2カメラが前記第2撮像方向を向いているときに第3処理が実行されて生成された第3処理画像を取得し、
    前記第2カメラが前記第1撮像方向を向いているとき、前記第1処理画像を出力し、
    前記第2カメラが前記第2撮像方向を向いているとき、前記第3処理画像を出力する、
    セレクタ。
  11. 第1撮像範囲を撮像する第1カメラから第1撮像画像を取得し、
    取得した当該第1撮像画像に対して、第1処理を実行して第1処理画像を生成可能であり、
    第1撮像方向と第2撮像方向とを切り替え可能で前記第1撮像方向を向いているときの第2撮像範囲より前記第2撮像方向を向いているときの第3撮像範囲が前記第1撮像範囲との重複範囲が広い第2カメラから第2撮像画像を取得し、
    取得した当該第2撮像画像に対して、第2処理が実行された第2処理画像を生成可能であり、
    取得した当該第2撮像画像に対して、前記第2処理と異なる第3処理が実行された第3処理画像を生成可能である、
    コントローラ。
  12. 第1カメラと、
    第1撮像方向と第2撮像方向とを切り替え可能な第2カメラと、
    前記第1カメラによる第1撮像画像を取得し、
    取得した当該第1撮像画像に対して、第1処理を実行して第1処理画像を生成可能であり、
    前記第2カメラによる第2撮像画像を取得し、
    取得した当該第2撮像画像に対して、第2処理が実行された第2処理画像を生成可能であり、
    取得した当該第2撮像画像に対して、前記第2処理と異なる第3処理が実行された第3処理画像を生成可能である、
    コントローラと、を備え、
    前記第1カメラは、前記第2カメラが前記第1撮像方向を向いているときに第1撮像範囲を撮像し、
    前記第2カメラは、
    前記第1撮像方向を向いているときに第2撮像範囲を撮像し、
    前記第2撮像方向を向いているときに第3撮像範囲を撮像し、
    前記コントローラは、
    前記第2カメラが前記第1撮像方向を向いているときに取得した前記第2撮像画像に対して前記第2処理を実行し、
    前記第2カメラが前記第2撮像方向を向いているときに取得した前記第2撮像画像に対して前記第3処理を実行し、
    前記第1処理画像と前記第3処理画像との重複範囲は、前記第1処理画像と前記第2処理画像との重複範囲より広い、
    カメラモジュール。
  13. 第1カメラと、
    第1撮像方向と第2撮像方向とを切り替え可能な第2カメラと、
    コントローラと、
    1つのモニタと、
    を備え、
    前記コントローラは、
    前記第1カメラから第1撮像画像を取得し、
    前記第1撮像画像に対して、第1処理を実行して第1処理画像を生成し、
    前記第2カメラから第2撮像画像を取得し、
    前記第1撮像方向を向いているときの前記第2撮像画像に対して、第2処理を実行して第2処理画像を生成し、
    前記第2撮像方向を向いているときの前記第2撮像画像に対して、第3処理を実行して第3処理画像を生成し、
    前記モニタは、
    前記第2カメラが前記第1撮像方向を向いているときに、前記第1処理画像を表示し、
    前記第2カメラが前記第2撮像方向を向いているときに、前記第3処理画像を表示する、
    カメラモニタシステム。
  14. 第1カメラと、
    第1撮像方向と第2撮像方向とを切り替え可能な第2カメラと、
    コントローラと、
    1つのモニタと、
    を備え、
    前記コントローラは、
    前記第1カメラから第1撮像画像を取得し、
    前記第1撮像画像に対して、第1処理を実行して第1処理画像を生成し、
    前記第2カメラから第2撮像画像を取得し、
    前記第1撮像方向を向いているときの前記第2撮像画像に対して、第2処理を実行して第2処理画像を生成し、
    前記第2撮像方向を向いているときの前記第2撮像画像に対して、第3処理を実行して第3処理画像を生成し、
    前記モニタは、
    前記第2カメラが前記第1撮像方向を向いているときに、前記第1処理画像を表示し、
    前記第2カメラが前記第2撮像方向を向いているときに、前記第3処理画像を表示する、
    移動体。
JP2018542430A 2016-09-28 2017-09-19 カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体 Active JP6722767B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016190444 2016-09-28
JP2016190444 2016-09-28
PCT/JP2017/033759 WO2018061882A1 (ja) 2016-09-28 2017-09-19 カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体

Publications (2)

Publication Number Publication Date
JPWO2018061882A1 JPWO2018061882A1 (ja) 2019-06-24
JP6722767B2 true JP6722767B2 (ja) 2020-07-15

Family

ID=61759675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018542430A Active JP6722767B2 (ja) 2016-09-28 2017-09-19 カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体

Country Status (5)

Country Link
US (1) US10893208B2 (ja)
EP (1) EP3522516B1 (ja)
JP (1) JP6722767B2 (ja)
CN (1) CN109792482B (ja)
WO (1) WO2018061882A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424025B (zh) * 2018-08-28 2024-04-19 本田技研工业株式会社 车辆用摄像单元
JP6769500B2 (ja) 2019-02-13 2020-10-14 株式会社Jvcケンウッド 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム
EP3761113A1 (en) * 2019-07-01 2021-01-06 Ficosa Adas, S.L.U. Optical device for a motor vehicle
CN110379118A (zh) * 2019-07-26 2019-10-25 中车青岛四方车辆研究所有限公司 列车车下防火智能监控系统及方法
KR20210100431A (ko) * 2020-02-06 2021-08-17 삼성전기주식회사 차량용 카메라 시스템
CN111935451A (zh) * 2020-07-16 2020-11-13 中国铁道科学研究院集团有限公司电子计算技术研究所 铁路安全监测装置
JP2022184109A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 撮像システム、移動装置、制御方法およびプログラム
JP2023047495A (ja) * 2021-09-27 2023-04-06 キヤノン株式会社 移動体、画像処理方法、およびコンピュータプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1561093A (zh) * 1999-10-12 2005-01-05 ���µ�����ҵ��ʽ���� 摄像机调整方法以及车辆监视系统
JP2004363937A (ja) 2003-06-04 2004-12-24 Toshiba Corp カメラ監視システム、およびその通信制御方法
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2010187161A (ja) 2009-02-12 2010-08-26 Hitachi Maxell Ltd 車載カメラシステム及び画像処理方法
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP2011182328A (ja) * 2010-03-03 2011-09-15 Fujifilm Corp 複眼撮像装置
DE102010023199A1 (de) 2010-06-09 2011-02-10 Daimler Ag Bilderfassungsvorrichtung für ein Fahrzeug und Verfahren zum Betrieb einer Bilderfassungsvorrichtung
JP2014039096A (ja) 2012-08-13 2014-02-27 Fujifilm Corp 多眼カメラ撮影システム及びその制御方法
DE102014106035A1 (de) * 2014-04-30 2015-11-05 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems mit einem elektronischen Rückspiegel, Fahrerassistenzsystem und Kraftfahrzeug
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
CN105438069A (zh) * 2015-12-08 2016-03-30 余嘉伟 一种可看得更远的后视镜头
CN205440147U (zh) * 2016-04-15 2016-08-10 鹰潭市科速达电子塑胶有限公司 一种方便更换镜片的汽车后视镜

Also Published As

Publication number Publication date
US10893208B2 (en) 2021-01-12
JPWO2018061882A1 (ja) 2019-06-24
EP3522516A1 (en) 2019-08-07
US20200036903A1 (en) 2020-01-30
EP3522516B1 (en) 2023-09-06
CN109792482B (zh) 2021-07-23
EP3522516A4 (en) 2020-05-06
WO2018061882A1 (ja) 2018-04-05
CN109792482A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
JP6722767B2 (ja) カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体
US10899277B2 (en) Vehicular vision system with reduced distortion display
CN102673473B (zh) 用直观显示商用车视野的显示装置
US10994655B2 (en) Electronic control unit and in-vehicle video system
US20190100156A1 (en) System and method for controlling a display
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
JP7631275B2 (ja) 移動体及び撮像装置の設置方法
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
US20240217439A1 (en) Image capturing device, movable apparatus, and storage medium
CN104509103A (zh) 搬运车辆的监视装置
CN110281921A (zh) 机动车的用于显示增强现实的驾驶员辅助系统以及方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
JP6727946B2 (ja) 車両用カメラモニタシステム及び車両
US10821900B2 (en) Image processing device
US12470839B2 (en) Movable apparatus and installation method for imaging device
JP7005279B2 (ja) 車両周辺視認装置
JP2020177242A (ja) 車両用カメラモニタシステム及びその制御方法
WO2018155280A1 (ja) 周辺監視システム
US20240404294A1 (en) Image processing apparatus, mobile object, and program
US20200296306A1 (en) Imaging apparatus and moveable body
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2018174399A (ja) 車両用画像表示装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6722767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150