JP7658361B2 - 画像処理装置、表示システム、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、表示システム、画像処理方法及び記録媒体に関する。

自動車内の天井に設置された有機ＥＬシート等のスクリーンに、コンテンツを表示する技術が知られている。例えば、スクリーンに、現在位置から見える天空図を表示する技術が知られている。また、例えば、スクリーンに、目的地までの経路を表示する一本道及び当該一本道上の位置を表示する技術が知られている。

特開２００２－３２８６２４号公報

しかしながら、上記の従来技術には、スクリーンの態様がコンテンツの視聴に適さない場合があるという問題がある。例えば、運転者が、前方の視野を確保しながら、頭上のスクリーンに表示されるコンテンツを快適に視聴することは困難である。

そこで、本開示では、スクリーンの態様をコンテンツの視聴に最適化させることができる画像処理装置、表示システム、画像処理方法及び記録媒体を提案する。

上記の課題を解決するために、本開示に係る一形態の画像処理装置は、自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記スクリーンの複数の形状のそれぞれと対応付けられた条件が満たされているか否かを判定する判定部と、前記判定部によって満たされていると判定された条件に対応付けられた形状を特定する情報を出力するスクリーン形状出力部と、を備える。

第１の実施形態に係る画像処理装置の構成例を示す図である。 スクリーンの一例を示す図である。 自動車の後部から見たスクリーンを示す図である。 スクリーン形状のパターンを示す図である。 メタデータの表示パターンを示す図（１）である。 メタデータの表示パターンを示す図（２）である。 スクリーン形状と座席の背もたれの傾きの関係を示す図である。 スクリーンに表示されるコンテンツの一例を示す図（１）である。 コンテンツの表示パターンを示す図（１）である。 スクリーンに表示されるコンテンツの一例を示す図（２）である。 スクリーンに表示されるコンテンツの一例を示す図（３）である。 コンテンツの表示パターンを示す図（２）である。 スクリーンに表示されるコンテンツの一例を示す図（４）である。 コンテンツの表示パターンを示す図（３）である。 スクリーンに表示されるコンテンツの一例を示す図（５）である。 コンテンツの表示パターンを示す図（４）である。 スクリーンに表示されるコンテンツの一例を示す図（６）である。 コンテンツの表示パターンを示す図（５）である。 スクリーンに表示されるコンテンツの一例を示す図（７）である。 コンテンツの表示パターンを示す図（６）である。 スクリーンに表示されるコンテンツの一例を示す図（８）である。 コンテンツの表示パターンを示す図（７）である。 第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。 スクリーン形状を判定する処理の流れを示すフローチャートである。 第２の実施形態に係る画像処理装置の構成例を示す図である。 スクリーン形状と座席の背もたれの傾きの関係を示す図である。 第２の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。 第３の実施形態に係る画像処理装置の構成例を示す図である。 第３の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。 スクリーンに表示されるコンテンツの一例を示す図（９）である。 自動車制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図（１）である。 撮像部の設置位置の例を示す図（２）である。 ネットワークシステムの構成例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．移動体への応用例

［１．第１の実施形態］
図１は、第１の実施形態に係る画像処理装置の構成例を示す図である。図１に示す画像処理装置１０は、自動運転機能を備えた自動車内に備えられたスクリーンへのコンテンツの表示に関する処理を行うための装置である。

入力部１１は、自動車の走行状況、搭乗者の状況及び搭乗者による操作等の入力を受ける入力装置である。入力部１１には、画像センサ、デプスセンサ及びタッチセンサ等の各種センサが含まれる。画像センサは、二次元の画像を取得するセンサであり、例えば可視光カメラ及び赤外線カメラ等である。デプスセンサは、奥行きを含む三次元の情報を取得するセンサであり、例えばステレオカメラや、time of flight方式、structured light方式等を実施可能なセンサである。

ここで、入力部１１は、自動車の状態として、自動運転状態を受け付けることができる。自動運転状態は、自動運転中であるか否かに加え、自動運転レベルが含まれる。また、入力部１１は、搭乗者による操作として、タッチディスプレイによる操作、音声による操作、骨格場を用いたジェスチャ操作等を受け付ける。

通信部１２は、他の装置との間でデータ通信を行うためのインタフェースである。通信部１２は、例えばＮＩＣ（Network Interface Card）等によって実現される。

情報処理部１３は、コンテンツ表示に関する各処理を実行する。情報処理部１３は、例えばＣＰＵ（Central Processing Unit）を備えたコンピュータによって実現される。情報処理部１３は、入力部１１から受け付けた情報を基に、コンテンツに含まれる画像を表示するための処理を行う。情報処理部１３は、アプリケーションを表示するウィンドウ等の、マルチコンテンツの描画制御や、各コンテンツに対するタッチ等のイベント配信を行う。情報処理部１３は、一般的なＯＳの制御レイヤーに相当する処理を行う。

画像表示装置４０は、コンテンツに含まれる画像を表示する。画像表示装置４０は、プロジェクタ及びプロジェクタスクリーンであってもよい。また、画像表示装置４０は、液晶ディスプレイ等のディスプレイであってもよい。以降、プロジェクタスクリーン及び液晶ディスプレイ等の、実際に画像が表示される面を、単にスクリーンと呼ぶ。

形状出力部１４は、スクリーン形状を出力する。具体的には、形状出力部１４は、スクリーン形状を変化させる。スクリーン形状及びスクリーン形状の変更方法については後に説明する。

表示制御部１５は、スクリーン形状の判定及び表示する画像の作成を行う。表示制御部１５は、例えばＣＰＵを備えたコンピュータによって実現される。図１に示すように、表示制御部１５は、コンテンツ取得部１５１、形状判定部１５２、画像作成部１５３及び形状蓄積部１５４を有する。

コンテンツ取得部１５１は、コンテンツを取得する。コンテンツ取得部１５１は、所定の記憶装置からコンテンツを取得してもよいし、ネットワークを経由して外部の装置や他の自動車からコンテンツを取得してもよい。

形状判定部１５２は、自動車の自動運転状態、及び自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、コンテンツの表示に適したスクリーンの形状を判定する。

画像作成部１５３は、形状判定部１５２によってコンテンツの表示に適していると判定されたスクリーン形状に応じて、スクリーンに表示するコンテンツの画像を作成する。

ここで、図２を用いて、画像表示装置４０に含まれるスクリーンについて説明する。図２は、スクリーンの一例を示す図である。図２に示すように、自動車には、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が備えられる。各スクリーンは、プロジェクタからの投射された画像を表示するプロジェクタスクリーンであってもよいし、液晶ディスプレイであってもよい。

図２は、プロジェクタが画像を投射する場合の例を示している。図２に示すように、プロジェクタ２０は、自動車の後部から各スクリーンに画像を投射する。プロジェクタ２０は、スクリーンの形状に合わせて、画像を投射する方向及び高さを変更可能なものであってもよい。また、プロジェクタ２０は、運転席のヘッドレストに備えられてもよい。

下側フロントスクリーン３１及び上側フロントスクリーン３２は、フロントガラスの内側に配置される。上側フロントスクリーン３２は、下側フロントスクリーン３１よりも天井側に配置される。また、ルックアップスクリーン３３は、天井に配置される。

なお、図２の例では、フロントスクリーンは、下側フロントスクリーン３１及び上側フロントスクリーン３２の２枚であるが、フロントスクリーンの数は１枚であってもよいし、３枚以上であってもよい。また、フロントスクリーンはサンバイザーに備えられていてもよい。

図３は、自動車の後部から見たスクリーンを示す図である。図３に示すように、下側フロントスクリーン３１及び上側フロントスクリーン３２は、運転者のフロントガラス越しの視界の一部を覆い隠す。

各スクリーンは可動であるものとする。例えば、形状出力部１４は、モータ等のアクチュエータを動力とし、天井及びフロントガラスに沿って各スクリーンを移動させることができる。特に、下側フロントスクリーン３１及び上側フロントスクリーン３２は、搭乗者から見える位置と搭乗者から見えない位置との間を移動する。また、各スクリーンが搭乗者から見える位置にある状態を繰出状態と呼ぶ。一方、各スクリーンが搭乗者から見えない位置にある状態を収納状態と呼ぶ。

なお、以降の説明では、自動車に乗っている者を搭乗者と呼ぶ。また、搭乗者のうち、運転席に座っている者を、実際に自動車の操作を行っているか否かにかかわらず運転者と呼ぶ。例えば、自動車が自動運転機能により走行しているときに運転席に座っている搭乗者は、一切の操作を行っていない場合であっても運転者と呼ばれる。

下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３の配置を、スクリーン形状と呼ぶ。スクリーン形状には、使用されるスクリーンに応じたいくつかのパターンがある。図４は、スクリーン形状のパターンを示す図である。スクリーン形状のパターンは、形状蓄積部１５４に蓄積されている。

まず、図４に示すように、ルックアップスクリーン３３のみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は、いずれも収納状態になる。図４の例では、下側フロントスクリーン３１及び上側フロントスクリーン３２は、いずれもルックアップスクリーン３３と天井との間の隙間に移動する。

また、図４に示すように、フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１が収納状態になり、上側フロントスクリーン３２が繰出状態になる。図４の例では、下側フロントスクリーン３１は、ルックアップスクリーン３３と天井との間の隙間に移動する。一方、上側フロントスクリーン３２は、フロントガラスの内側の所定の位置に移動する。

さらに、図４に示すように、全スクリーンが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は、いずれも繰出状態になる。図４の例では、下側フロントスクリーン３１及び上側フロントスクリーン３２は、いずれもフロントガラスの内側の所定の位置に移動する。

形状判定部１５２は、あらかじめ定められた条件を基に、図４に示す３つのパターンのうち１つを最適なパターンとして判定する。第１の実施形態では、形状判定部１５２は、自動運転状態、コンテンツ情報、座席設定情報の少なくともいずれかに基づいて判定を行う。

自動運転状態は、自動車が自動運転中であるか否か、及び自動運転レベルである。つまり、形状判定部１５２は、自動車が自動運転中であるか否か、及び自動運転レベルを含む自動運転状態を基に、スクリーンの形状を判定する。

自動運転レベルには、システムが全ての運転タスクを限定条件下で実施し、システムの介入要求に対して運転者が応答することが期待されるレベル３、システムが全ての運転タスクを実施するレベル５等がある。なお、ここで挙げた運転レベルは一例である。

形状判定部１５２は、自動運転状態が手動運転中である場合、自動車のフロントガラスにスクリーンが配置されない形状が、コンテンツの表示に適していると判定する。自動運転状態が手動運転中であるとは、自動運転機能がオフになっており、運転者が手動で操作していることを意味する。この場合、運転者は、安全のために前方の視野を確保しておくことが考えられる。このため、形状判定部１５２は、自動運転状態が手動運転中である場合、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が収納状態になる形状が適していると判定する。

形状判定部１５２は、自動運転状態が自動運転中である場合、自動車のフロントガラスに、複数のスクリーンのうちの少なくとも１つが配置される形状が、コンテンツの表示に適していると判定する。

ここでは、自動運転レベルが高い程、運転者に手動操作が要求される頻度は小さくなるものとする。例えば、自動運転レベルが３の場合、システムによって自動的に回避することが困難な障害物が検知された場合、運転者には手動でハンドルやブレーキを操作することが求められるものとする。一方、自動運転レベルが５の場合、運転者には一切の操作が求められないものとする。

例えば、自動運転レベルが３の場合、形状判定部１５２は、下側フロントスクリーン３１が収納状態になり、上側フロントスクリーン３２が繰出状態になる形状（図４のフロントスクリーン一部使用に相当）が適していると判定する。この場合、運転者は、フロントガラスの一部から前方を見ることができるため、要求があった場合には操作を行うことができる。

また、例えば、自動運転レベルが５の場合、形状判定部１５２は、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が繰出状態になる形状（図４の全スクリーン使用）が適していると判定する。この場合、運転者は、一切の操作を行う必要がないため、全スクリーンを使ってコンテンツを視聴することができる。

また、形状判定部１５２は、コンテンツに関する情報を基に形状を判定する。例えば、コンテンツごとに表示するスクリーンのサイズがあらかじめ定められている場合、形状判定部１５２は、当該サイズに合わせて形状を判定する。

ここで、上側フロントスクリーン３２に、カーナビ、バックミラーカメラ、後部座席を撮影した画像等を表示することで、運転者の運転を補助することができる。このため、運転者を補助するためのコンテンツが表示される場合、手動運転であっても、形状判定部１５２は、上側フロントスクリーン３２が繰出状態になる形状（図４のフロントスクリーン一部使用）が適していると判定してもよい。

また、下側フロントスクリーン３１を含む全スクリーンを繰出状態としてコンテンツを表示することで、没入感を向上させることができる。このため、スポーツ観戦やプラネタリウムといった没入感が求められるコンテンツが表示される場合、形状判定部１５２は、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が繰出状態になる形状（図４の全スクリーン使用）が適していると判定する。

なお、形状判定部１５２は、自動運転中の場合にのみコンテンツに関する情報による判定を行うようにしてもよい。また、搭乗者からスクリーン形状の指定があった場合、形状判定部１５２は、当該指定されたスクリーン形状を優先するようにしてもよい。

また、コンテンツによっては、メインコンテンツと当該メインコンテンツに関連する情報（以下、コンテンツのメタデータと呼ぶ）を持つものがある。例えば、サッカーの試合の映像がメインコンテンツである場合、現在の両チームの得点がメタデータであってもよい。画像作成部１５３は、スクリーンの形状に応じてメタデータの表示位置を決定することができる。

図５は、メタデータの表示パターンを示す図（１）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図５に示すように、ルックアップスクリーンのみが使用されるパターンでは、画像作成部１５３は、ルックアップスクリーン３３の画像の一部にメタデータを表示する。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。これは、ルックアップスクリーンのみが使用されるパターンでは、後部座席の搭乗者のみがコンテンツを見ることができればよいためである。

また、フロントスクリーンの一部が使用されるパターンでは、画像作成部１５３は、上側フロントスクリーン３２にメタデータを表示する。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。

また、全スクリーンが使用されるパターンでは、画像作成部１５３は、下側フロントスクリーン３１にメタデータを表示する。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。

また、前述の通り、スクリーンには、運転補助の情報が表示される場合がある。画像作成部１５３は、メタデータと同様に、スクリーンの形状に応じて運転補助の情報の表示位置を決定することができる。ただし、運転補助の情報は、自動運転状態によっては表示が不要な場合がある。

図６は、メタデータの表示パターンを示す図（２）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図６に示すように、ルックアップスクリーンのみが使用されるパターンでは、画像作成部１５３は、運転補助の情報を表示しないようにすることができる。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。これは、手動運転中の運転者は、ルックアップスクリーン３３を見ることは困難であるためである。

また、フロントスクリーンの一部が使用されるパターンでは、画像作成部１５３は、上側フロントスクリーン３２に運転補助の情報を表示する。このように、画像作成部１５３は、複数のスクリーンのうち、自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、運転を補助するための情報を示す画像を作成する。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。これにより、自動運転中の運転者が、上側フロントスクリーン３２で情報を確認しつつ、操作要求があった場合に手動運転を行うことができる。

また、全スクリーンが使用されるパターンでは、画像作成部１５３は、運転補助の情報を表示しない。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。これは、前述の自動運転レベルが５の場合に相当し、運転者は手動運転を行わないためである。

形状判定部１５２は、自動運転状態、コンテンツに関する情報及び自動車の座席の背もたれの傾きを基にコンテンツの表示に適したスクリーンの形状を判定する。例えば、形状判定部１５２は、自動車の座席が運転に不向きな程度にまで傾けられている場合、自動車のフロントガラスにスクリーンの一部が配置される形状が、コンテンツの表示に適していると判定する。運転者は、ルックアップスクリーンを見上げるために座席の背もたれを傾けることが考えられる。

運転に不向きな程度の傾きとして、事前に所定の角度が定められていてもよい。例えば、座席の背もたれが３０度以上傾けられた場合に、形状判定部１５２は、座席の背もたれが運転に不向きな程度にまで傾けられたと判定してもよい。また、手動運転中の座席の背もたれの角度を記録しておき、座席の背もたれの傾きが、記録した角度から算出される所定の範囲を超えた場合、形状判定部１５２は、座席の背もたれが運転に不向きな程度にまで傾けられたと判定する。なお、座席の背もたれの傾きは、背もたれの傾き調節機構の状態でわかる。また、背もたれの傾きは、背もたれに設けられた傾き計測センサーにより計測されてもよい。

図７は、スクリーン形状と座席の背もたれの傾きの関係を示す図である。状態（ａ）は初期状態であり、前部座席（運転者又は助手席）の背もたれが傾けられていない状態である。前部座席の背もたれが傾けられた場合、状態（ａ）から状態（ｂ）に遷移する。状態（ｂ）は、前部座席の背もたれが傾けられた後、スクリーンの形状が未変形の状態である。

このとき、形状判定部１５２は、下側フロントスクリーン３１及び上側フロントスクリーン３２の一方又は両方が繰出状態になる形状がコンテンツの視聴に適していると判定する。これにより、搭乗者が座席の背もたれを傾けるのに合わせて、状態（ｂ）から状態（ｃ－１）又は状態（ｃ－２）に遷移する。つまり、下側フロントスクリーン３１及び上側フロントスクリーン３２の一方又は両方が移動し、繰出状態になる。

状態（ｃ－１）及び状態（ｃ－２）は、前部座席の背もたれが傾けられた後、スクリーンの形状が変形済みの状態である。状態（ｃ－１）では、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が繰出状態になる。状態（ｃ－２）では、上側フロントスクリーン３２が繰出状態になる。

以降、スクリーン形状ごとのコンテンツの表示態様について、例を挙げて説明する。図８は、スクリーンに表示されるコンテンツの一例を示す図（１）である。図８に示すように、画像作成部１５３は、複数のスクリーンのうち自動車の天井に配置されたルックアップスクリーン３３に表示するための画像であって、自動車の上空を撮影した画像と、また、図８に示すように、画像作成部１５３は、自動車のフロントガラスに配置された上側フロントスクリーン３２に表示するための画像であって、自動車の後方を撮影した画像と、を作成する。このように、周囲の映像をリアルタイムで表示することにより、オープンカーでない自動車の搭乗者が、オープンカーのような解放感を体験することができる。

図９は、コンテンツの表示パターンを示す図（１）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図９に示すように、ルックアップスクリーンのみの場合と、全スクリーン使用の場合は、自動車の後方を撮影した画像はいずれのスクリーンにも表示されない。これは、前述の通り、運転補助の情報が不要であるためである。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。

図１０は、スクリーンに表示されるコンテンツの一例を示す図（２）である。図１０に示すように、画像作成部１５３は、複数のスクリーンのうち、自動車のフロントガラスに配置された上側フロントスクリーン３２に表示するための画像であって、後部座席を撮影した画像を作成する。これにより、前部座席の搭乗者は、後部座席の搭乗者の表情を確認しながら会話をすることができる。

図１１は、スクリーンに表示されるコンテンツの一例を示す図（３）である。図９ではルックアップスクリーン３３に自動車の上空の画像が表示されていたのに対し、図１１では、ルックアップスクリーン３３に自動車の上空の画像とは異なる画像が表示されている。例えば、ルックアップスクリーン３３に、絶景とされる景色、外国の観光地の景色等を表示することにより、搭乗者は容易には行くことができない場所の景色を楽しむことができる。

図１２は、コンテンツの表示パターンを示す図（２）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図９の例と同様に、図１２の例でも、ルックアップスクリーンのみの場合と、全スクリーン使用の場合は、自動車の後方を撮影した画像はいずれのスクリーンにも表示されない。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。

画像作成部１５３は、複数のスクリーンのうち、自動車の天井に配置されたルックアップスクリーン３３に表示するための第１の画像と、自動車のフロントガラスに配置された上側フロントスクリーン３２に表示するための画像であって、第１の画像の説明文を表示する第２の画像と、を作成する。

図１３は、スクリーンに表示されるコンテンツの一例を示す図（４）である。図１３の例では、ルックアップスクリーン３３に、図鑑に掲載されたシロクマの画像が第１の画像として表示されている。また、上側フロントスクリーン３２には、図鑑に掲載された説明文が表示されている。また、画像作成部１５３は、自動車の目的地に応じた画像を作成してもよい。例えば、自動車が水族館に向かっている場合、画像作成部１５３は、魚図鑑の画像とその説明文の画像を作成する。

図１４は、コンテンツの表示パターンを示す図（３）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図１４の例では、図５を用いて説明した表示パターンに従ってメタデータが表示されている。この場合、メタデータは図鑑の説明文である。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。

図１５は、スクリーンに表示されるコンテンツの一例を示す図（５）である。図１５の例では、ルックアップスクリーン３３に、サッカーの試合の映像が第１の画像として表示されている。また、上側フロントスクリーン３２には、両チームの得点が表示されている。

図１６は、コンテンツの表示パターンを示す図（４）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図１４の例では、図５を用いて説明した表示パターンに従ってメタデータが表示されている。この場合、メタデータは両チームの得点である。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。

図１７は、スクリーンに表示されるコンテンツの一例を示す図（６）である。図１７の例では、ルックアップスクリーン３３に、現在地から目的地までのルートの画像が第１の画像として表示されている。また、上側フロントスクリーン３２には、目的地までの距離が表示されている。

図１８は、コンテンツの表示パターンを示す図（５）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図９の例と同様に、図１８の例でも、ルックアップスクリーンのみの場合と、全スクリーン使用の場合は、自動車の後方を撮影した画像はいずれのスクリーンにも表示されない。これにより、手動運転を行わない場合は、スクリーンに表示される情報の量を増やすことができる。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。

図１９は、スクリーンに表示されるコンテンツの一例を示す図（７）である。図１９の例では、ルックアップスクリーン３３に、クイズの回答の選択肢に対応する画像が第１の画像として表示されている。また、上側フロントスクリーン３２には、クイズの問題文が表示されている。

図２０は、コンテンツの表示パターンを示す図（６）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図２０の例では、図５を用いて説明した表示パターンに従ってメタデータが表示されている。この場合、メタデータはクイズの問題文である。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。

図２１は、スクリーンに表示されるコンテンツの一例を示す図（８）である。図２１の例では、ルックアップスクリーン３３に、実行中のアプリケーションの画像が表示されている。また、上側フロントスクリーン３２には、アプリケーションのランチャの画像が表示されている。

このように、画像作成部１５３は、自動車の天井に配置された第１のスクリーンに表示するための、実行中のアプリケーションの画像と、自動車のフロントガラスに配置された第２のスクリーンに表示するための、アプリケーションのランチャの画像と、を作成する。

図２２は、コンテンツの表示パターンを示す図（７）である。実線で囲まれた領域は、使用される（画像が表示される）スクリーンを示している。また、点線で囲まれた領域は、使用されない（画像が表示されない）スクリーンを示している。図２２の例では、図５を用いて説明した表示パターンに従ってメタデータが表示されている。この場合、メタデータは実行可能なアプリケーションのアイコンの一覧又はアプリケーションのランチャの画像である。ルックアップスクリーンのみが使用されるパターンでは、下側フロントスクリーン３１及び上側フロントスクリーン３２は使用されず、ルックアップスクリーン３３は使用される。フロントスクリーンの一部が使用されるパターンでは、下側フロントスクリーン３１は使用されず、上側フロントスクリーン３２及びルックアップスクリーン３３は使用される。全スクリーンが使用されるパターンでは、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される。

図２３は、第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。図２３に示すように、搭乗者がコンテンツを視聴するか否かを判定する（ステップＳ１０）。例えば、搭乗者が音声又はジェスチャ等によりコンテンツの表示を指示する操作を行った場合に、画像処理装置１０は、搭乗者がコンテンツを視聴すると判定する。

画像処理装置１０は、搭乗者がコンテンツを視聴しないと判定した場合（ステップＳ１０、Ｎｏ）、中止処理を実行する。例えば、画像処理装置１０は、画像を表示せず、フロントスクリーンを収納状態とすることで中止処理を実行する（ステップＳ２０）。また、画像処理装置１０は、黒画面を表示することで中止処理を実行してもよい。

画像処理装置１０は、搭乗者がコンテンツを視聴すると判定した場合（ステップＳ１０、Ｙｅｓ）、自動運転状況、コンテンツ情報、座席設定情報を取得する（ステップＳ３０）。そして、画像処理装置１０は、スクリーン形状を判定する（ステップＳ４０）。さらに、画像処理装置１０は、スクリーン形状を出力し（ステップＳ５０）、スクリーン形状に対応した画像を作成し画像を表示する（ステップＳ７０）。

図２４は、スクリーン形状を判定する処理（図２３のステップＳ４０）の流れを示すフローチャートである。図２４に示すように、まず、画像処理装置１０は、自動運転中であるか否かを判定する（ステップＳ４０１）。自動運転中である場合（ステップＳ４０１、Ｙｅｓ）、画像処理装置１０は、全スクリーン使用の条件に当てはまるか否かを判定する（ステップＳ４０２）。自動運転中でない場合（ステップＳ４０１、Ｎｏ）、又は、全スクリーン使用の条件に当てはまらない場合（ステップＳ４０２）、画像処理装置１０は、フロントスクリーン一部使用の条件に当てはまるか否かを判定する（ステップＳ４０４）。

全スクリーン使用の条件に当てはまる場合（ステップＳ４０２、Ｙｅｓ）、画像処理装置１０は、最適なスクリーン形状のパターンを全スクリーン使用と判定する（ステップＳ４０３）。フロントスクリーン一部使用の条件に当てはまる場合（ステップＳ４０４、Ｙｅｓ）、画像処理装置１０は、最適なスクリーン形状のパターンをフロントスクリーン一部使用と判定する（ステップＳ４０５）。フロントスクリーン一部使用の条件に当てはまらない場合（ステップＳ４０４、Ｎｏ）、画像処理装置１０は、最適なスクリーン形状のパターンをルックアップスクリーンのみと判定する（ステップＳ４０６）。

（第１の実施形態の効果）
これまで説明してきたように、画像処理装置は、自動車の自動運転状態、及び自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、コンテンツの表示に適したスクリーンの形状を判定する判定部（実施形態では形状判定部１５２）と、判定部によってコンテンツの表示に適していると判定されたスクリーン形状に応じて、スクリーンに表示するコンテンツの画像を作成する作成部（実施形態では画像作成部１５３）を備える。例えば、画像処理装置は、自動運転状態に応じて、運転者がどの程度視野を確保するべきかを判定することができる。また、画像処理装置は、コンテンツに適したスクリーンの形状を判定することができる。このため、第１の実施形態によれば、スクリーンの態様をコンテンツの視聴に最適化させることができる。

判定部は、自動車が自動運転中であるか否か、及び自動運転レベルを含む自動運転状態を基に、スクリーンの形状を判定する。このため、第１の実施形態によれば、自動運転中であるか否かだけでなく、自動運転レベルに応じてスクリーンの形状を細かく最適化することができる。

判定部は、自動運転状態が自動運転中である場合、自動車のフロントガラスに、複数のスクリーンのうちの少なくとも１つが配置される形状が、コンテンツの表示に適していると判定する。このため、第１の実施形態によれば、自動運転中である場合に、よりコンテンツの視聴を優先した形状にスクリーンを最適化できる。

判定部は、自動運転状態が手動運転中である場合、自動車のフロントガラスにスクリーンが配置されない形状が、コンテンツの表示に適していると判定する。このため、第１の実施形態によれば、手動運転中である場合に、より安全性を優先した形状にスクリーンを最適化できる。

判定部は、自動運転状態、コンテンツに関する情報及び自動車の座席の背もたれの傾きを基にコンテンツの表示に適したスクリーンの形状を判定する。このため、第１の実施形態によれば、搭乗者は、座席の背もたれの傾きに最適化された形状のスクリーンで快適にコンテンツを視聴することができる。

判定部は、自動車の座席の背もたれが運転に不向きな程度にまで傾けられている場合、自動車のフロントガラスにスクリーンの一部が配置される形状が、コンテンツの表示に適していると判定する。このため、第１の実施形態によれば、運転者は、運転しない場合は、より快適にコンテンツを視聴することができる。

作成部は、複数のスクリーンのうち、自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、運転を補助するための情報を示す画像を作成する。このため、第１の実施形態によれば、運転中の運転者にとって見やすい位置に運転補助の情報を表示することができる。

作成部は、複数のスクリーンのうち、自動車の天井に配置された第１のスクリーンに表示するための画像であって、自動車の上空を撮影した画像と、自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、自動車の後方を撮影した画像と、を作成する。このため、第１の実施形態によれば、運転中の運転者にとって見やすい位置に後方の様子を確認可能な画像を表示することができる。

作成部は、複数のスクリーンのうち、自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、後部座席を撮影した画像を作成する。このため、第１の実施形態によれば、前部座席の搭乗者は、後部座席の搭乗者の表情を確認しながら会話をすることができる。

作成部は、複数のスクリーンのうち、自動車の天井に配置された第１のスクリーンに表示するための第１の画像と、自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、第１の画像の説明文を表示する第２の画像と、を作成する。このため、第１の実施形態によれば、搭乗者は、説明文を閲覧し、コンテンツをより深く楽しむことができる。

作成部は、自動車の天井に配置された第１のスクリーンに表示するための、実行中のアプリケーションの画像と、自動車のフロントガラスに配置された第２のスクリーンに表示するための、アプリケーションのランチャの画像と、を作成する。このため、第１の実施形態によれば、搭乗者は、直感的な操作によりアプリケーションの起動及び実行を行うことができる。

［２．第２の実施形態］
図２５は、第２の実施形態に係る画像処理装置の構成例を示す図である。図２５に示すように、第２の実施形態の画像処理装置１０ａは、第１の実施形態の画像処理装置１０と異なり、座席設定装置５０を有する。第２の実施形態では、画像処理装置１０は、自動運転状況及びコンテンツ情報を基に、最適な座席の背もたれの傾きを判定し、判定結果に従い実際に設定する。

形状判定部１５２は、コンテンツの表示に適した自動車の座席の背もたれの傾きをさらに判定する。そして、座席設定装置５０は、形状判定部１５２によって判定されたコンテンツの表示に適していると判定された座席の背もたれの傾きに従って、座席の背もたれの傾きを設定する。このとき、座席の背もたれは、設定された傾きに従って自動的に傾く。

図２６は、スクリーン形状と座席の背もたれの傾きの関係を示す図である。状態（ｄ）は初期状態であり、前部座席（運転者又は助手席）の背もたれが傾けられておらず、スクリーンの形状が未変形の状態である。状態（ｄ）における未変形の状態とは、図５のルックアップスクリーンのみ使用に対応する状態である。すなわち、状態（ｄ）における未変形の状態とは、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が収納状態であり、ルックアップスクリーン３３のみが使用される（画像が表示される）状態である。

ここで、形状判定部１５２が、コンテンツに適したスクリーンの形状と座席の背もたれの傾きを判定する。このとき、状態（ｄ）から状態（ｅ）に遷移する。つまり、上側フロントスクリーン３２が移動し、繰出状態になる。一方、座席の背もたれの傾きは変更されない。状態（ｅ）は、スクリーンの形状が変形済みであり、座席の背もたれの傾きが未変更の状態である。状態（ｅ）における変形済みの状態とは、図５のフロントスクリーン一部使用に対応する状態である。すなわち、状態（ｅ）における変形済みの状態とは、下側フロントスクリーン３１が収納状態であり、上側フロントスクリーン３２が繰出状態であり、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される（画像が表示される）状態である。

さらに、例えば全スクリーンを使用するような別のコンテンツが表示される場合、形状判定部１５２はさらにスクリーンの形状及び座席の背もたれの傾きを判定する。このとき、状態（ｅ）から状態（ｆ）に遷移する。つまり、下側フロントスクリーン３１が移動し、繰出状態になる。これにより、全スクリーンが使用される状態になる。さらに、前部座席の背もたれの傾きが変更される。状態（ｆ）は、スクリーンの形状が変形済みであり、かつ、座席の背もたれの傾きが変更済みの状態である。状態（ｆ）における変形済みの状態とは、図５の全スクリーン使用に対応する状態である。すなわち、状態（ｆ）における変形済みの状態とは、下側フロントスクリーン３１及び上側フロントスクリーン３２の両方が繰出状態であり、下側フロントスクリーン３１、上側フロントスクリーン３２及びルックアップスクリーン３３が使用される（画像が表示される）状態である。ここでは、ルックアップスクリーン３３を含めた全スクリーンが使用される状態であるため、前部座席の背もたれは、運転をするのに適した角度よりも大きく傾けられる。

図２７は、第２の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。図２７に示すように、搭乗者がコンテンツを視聴するか否かを判定する（ステップＳ１０）。画像処理装置１０は、搭乗者がコンテンツを視聴しないと判定した場合（ステップＳ１０、Ｎｏ）、中止処理を実行する。

画像処理装置１０は、搭乗者がコンテンツを視聴すると判定した場合（ステップＳ１０、Ｙｅｓ）、自動運転状況、コンテンツ情報を取得する（ステップＳ３１）。そして、画像処理装置１０は、スクリーン形状を判定する（ステップＳ４０）。さらに、画像処理装置１０は、スクリーン形状を出力し（ステップＳ５０）、座席の背もたれの傾きを設定し（ステップＳ６０）、スクリーン形状に対応した画像を作成し画像を表示する（ステップＳ７０）。

判定部（実施形態では形状判定部１５２）は、コンテンツの表示に適した自動車の座席の背もたれの傾きをさらに判定する。座席設定部（実施形態では座席設定装置５０）は、判定部によって判定されたコンテンツの表示に適していると判定された座席の背もたれの傾きに従って、座席の傾きを設定する。このため、第２の実施形態によれば、搭乗者は、手動で座席の背もたれの傾きを変更することなく、快適な姿勢でコンテンツを視聴することができる。

［３．第３の実施形態］
図２８は、第３の実施形態に係る画像処理装置の構成例を示す図である。図２８に示すように、第２の実施形態の画像処理装置１０ｂは、第２の実施形態の画像処理装置１０ａと異なり、形状情報の入力を受け付ける。第３の実施形態では、画像処理装置１０は、自動運転状況及びコンテンツ情報に加え、搭乗者が指定した形状情報を基に、最適な座席の背もたれの傾きを判定し、判定結果に従い実際に設定する。

形状情報は、搭乗者が指定するスクリーン形状である。例えば、搭乗者は、ルックアップスクリーンのみを使用、フロントスクリーンの一部を使用、全スクリーンを使用のいずれかを指定する。画像処理装置１０ｂは、搭乗者の指定を優先してスクリーンの形状を判定する。ただし、画像処理装置１０ｂは、搭乗者が指定したスクリーン形状への変更が不可能である場合、搭乗者の指定を優先しないようにしてもよい。例えば、手動運転中に、搭乗者が全スクリーンの使用を指定した場合、画像処理装置１０ｂは、最適なスクリーン形状を全スクリーンの使用と判定しない。

図２９は、第３の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。図２９に示すように、搭乗者がコンテンツを視聴するか否かを判定する（ステップＳ１０）。画像処理装置１０は、搭乗者がコンテンツを視聴しないと判定した場合（ステップＳ１０、Ｎｏ）、中止処理を実行する。

画像処理装置１０は、搭乗者がコンテンツを視聴すると判定した場合（ステップＳ１０、Ｙｅｓ）、自動運転状況、コンテンツ情報及び形状情報を取得する（ステップＳ３１）。そして、画像処理装置１０は、スクリーン形状を判定する（ステップＳ４０）。さらに、画像処理装置１０は、スクリーン形状を出力し（ステップＳ５０）、座席の背もたれの傾きを設定し（ステップＳ６０）、スクリーン形状に対応した画像を作成し画像を表示する（ステップＳ７０）。座席の背もたれの傾きの一例としては、実施例２で述べた図２６の例がある。図２６の例では、前部座席の背もたれの傾きは、運転をするのに適した角度、及び運転をするのに適した角度よりも大きい角度のいずれかに設定される場合がある。

（その他の実施形態）
図１４等に示すように、これまで説明した実施形態では、メインコンテンツと当該メインコンテンツに対応するメタデータが同時に表示されていた。一方で、図３０に示すように、関連のないメインコンテンツとメタデータ、又は異なるメインコンテンツ同士が同時にスクリーンに表示されてもよい。

図３０は、スクリーンに表示されるコンテンツの一例を示す図（９）である。図３０の例では、ルックアップスクリーン３３にサッカーの試合の映像が表示されている。また、上側フロントスクリーン３２にはアプリケーションの実行画面が表示されている。また、下側フロントスクリーン３１にはアプリケーションのランチャ画面が表示されている。これにより、ある搭乗者が全スクリーンでコンテンツを視聴しているときに、他の搭乗者がフロントスクリーンで別のコンテンツを視聴することができる。

［４．移動体への応用例］
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。

図３２は、撮像部の設置位置の例を示す図（１）である。

図３２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５、１２１０６を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５、１２１０６は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部、ルーフ等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。ルーフに備えられる撮像部１２１０６は、主として上空の画像を撮影する。

なお、図３２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前にあらかじめ確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

図３３は、撮像部の設置位置の例を示す図（２）である。図３３に示すように、撮像部１２１０６は、車両の上空の画像を撮影する。撮像部１２１０６は、広角カメラ又は全周囲カメラであってもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、マイクロコンピュータ１２０５１に適用され得る。具体的には、画像処理装置１０の表示制御部１５の処理は、マイクロコンピュータ１２０５１によって実現される。また、図８等で説明した自動車の上空の画像は、撮像部１２１０６によって撮影されたものであってもよい。

画像処理装置を搭載した自動車は、ネットワークに接続されたものであってもよい。図３４は、ネットワークシステムの構成例を示す図である。図３４に示すように、画像処理装置を備えた自動車１００Ｖは、他の自動車１１０Ｖとデータを通信可能に接続されていてもよい。また、自動車１００Ｖは、ネットワークＮを介してサーバ１００Ｓと通信可能に接続されていてもよい。ネットワークＮは、例えばインターネットである。この場合、自動車１００Ｖに備えられた画像処理装置は、サーバ１００Ｓ又は自動車１１０Ｖからコンテンツを取得することができる。

なお、図１、図２５及び図２８の各装置を含むシステムは、１つの装置として実現されてもよい。つまり、１つの実施形態として、画像処理装置１０と同様の機能に加え、画像表示装置４０又は座席設定装置５０のうちの少なくともいずれかと同様の機能を有する装置が実現可能である。例えば、図２５の画像処理装置１０ａ及び座席設定装置５０と同様の機能を有する画像処理装置は、図２５の全装置を含むシステムと同等の処理を提供できる。

さらに、図１、図２５及び図２８の情報処理部１３と表示制御部１５の機能を、自動車の外部のネットワーク上のサーバに持たせ、自動車と当該サーバが通信可能に構成されていてもよい。この場合、画像表示装置４０及び座席設定装置５０は、当該サーバによって制御されてもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
を備える画像処理装置。
（２）
前記判定部は、前記自動車が自動運転中であるか否か、及び自動運転レベルを含む自動運転状態を基に、前記スクリーンの形状を判定する前記（１）に記載の画像処理装置。
（３）
前記判定部は、前記自動運転状態が自動運転中である場合、前記自動車のフロントガラスに、複数のスクリーンのうちの少なくとも１つが配置される形状が、前記コンテンツの表示に適していると判定する前記（１）～（２）のいずれかに記載の画像処理装置。
（４）
前記判定部は、前記自動運転状態が手動運転中である場合、前記自動車のフロントガラスに前記スクリーンが配置されない形状が、前記コンテンツの表示に適していると判定する前記（１）～（３）のいずれかに記載の画像処理装置。
（５）
前記判定部は、前記自動運転状態、前記コンテンツに関する情報及び前記自動車の座席の背もたれの傾きを基に前記コンテンツの表示に適した前記スクリーンの形状を判定する前記（１）～（４）のいずれかに記載の画像処理装置。
（６）
前記判定部は、前記自動車の座席の背もたれが運転に不向きな程度にまで傾けられている場合、前記自動車のフロントガラスに前記スクリーンの一部が配置される形状が、前記コンテンツの表示に適していると判定する前記（１）～（５）のいずれかに記載の画像処理装置。
（７）
前記判定部は、前記コンテンツの表示に適した前記自動車の座席の背もたれの傾きをさらに判定し、
前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを設定する座席設定部をさらに備える前記（１）～（４）のいずれかに記載の画像処理装置。
（８）
前記作成部は、複数のスクリーンのうち、前記自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、運転を補助するための情報を示す画像を作成する前記（１）～（７）のいずれかに記載の画像処理装置。
（９）
前記作成部は、複数のスクリーンのうち、前記自動車の天井に配置された第１のスクリーンに表示するための画像であって、前記自動車の上空を撮影した画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、前記自動車の後方を撮影した画像と、を作成する前記（１）～（８）のいずれかに記載の画像処理装置。
（１０）
前記作成部は、複数のスクリーンのうち、前記自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、後部座席を撮影した画像を作成する前記（１）～（９）のいずれかに記載の画像処理装置。
（１１）
前記作成部は、複数のスクリーンのうち、前記自動車の天井に配置された第１のスクリーンに表示するための第１の画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、前記第１の画像の説明文を表示する第２の画像と、を作成する前記（１）～（１０）のいずれかに記載の画像処理装置。
（１２）
前記作成部は、前記自動車の天井に配置された第１のスクリーンに表示するための、実行中のアプリケーションの画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための、アプリケーションのランチャの画像と、を作成する前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３）
自動車に備えられた移動可能なスクリーンと、プロジェクタと画像処理装置とを有する表示システムであって、
前記画像処理装置は、
前記自動車の自動運転状態、及び前記スクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
を備える表示制御装置と、
を有する表示システム。
（１４）
前記判定部は、前記コンテンツの表示に適した前記自動車の座席の背もたれの傾きをさらに判定し、
前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを設定する座席設定装置をさらに備える前記（１３）に記載の表示システム。
（１５）
コンピュータが、
自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定し、
前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する
画像処理方法。
（１６）
コンピュータを、
自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
として機能させるためのプログラムを記録した記録媒体。

１０、１０ａ、１０ｂ 画像処理装置
１１ 入力部
１２ 通信部
１３ 情報処理部
１４ 形状出力部
１５ 表示制御部
２０ プロジェクタ
３１ 下側フロントスクリーン
３２ 上側フロントスクリーン
３３ ルックアップスクリーン
４０ 画像表示装置
５０ 座席設定装置
１５１ コンテンツ取得部
１５２ 形状判定部
１５３ 画像作成部
１５４ 形状蓄積部

Claims (12)

1. 自動車が自動運転中であるか否か及び自動運転レベルを含む前記自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
   前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
   前記自動車の座席の背もたれの傾きを示す情報を出力する座席設定部と、を備え、
   前記判定部は、前記コンテンツの表示に適した前記座席の背もたれの傾きをさらに判定し、
   前記座席設定部は、前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを示す情報を出力する、
   画像処理装置。
2. 前記判定部は、前記自動運転状態が自動運転中である場合、前記自動車のフロントガラスに、複数のスクリーンのうちの少なくとも１つが配置される形状が、前記コンテンツの表示に適していると判定する請求項１に記載の画像処理装置。
3. 前記判定部は、前記自動運転状態が手動運転中である場合、前記自動車のフロントガラスに前記スクリーンが配置されない形状が、前記コンテンツの表示に適していると判定する請求項１又は２に記載の画像処理装置。
4. 前記判定部は、前記自動運転状態、前記コンテンツに関する情報及び前記自動車の座席の背もたれの傾きを基に前記コンテンツの表示に適した前記スクリーンの形状を判定する請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記作成部は、複数のスクリーンのうち、前記自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、運転を補助するための情報を示す画像を作成する請求項１～４のいずれか１項に記載の画像処理装置。
6. 前記作成部は、複数のスクリーンのうち、前記自動車の天井に配置された第１のスクリーンに表示するための画像であって、前記自動車の上空を撮影した画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、前記自動車の後方を撮影した画像と、を作成する請求項１～５のいずれか１項に記載の画像処理装置。
7. 前記作成部は、複数のスクリーンのうち、前記自動車のフロントガラスに配置されたスクリーンに表示するための画像であって、後部座席を撮影した画像を作成する請求項１～６のいずれか１項に記載の画像処理装置。
8. 前記作成部は、複数のスクリーンのうち、前記自動車の天井に配置された第１のスクリーンに表示するための第１の画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための画像であって、前記第１の画像の説明文を表示する第２の画像と、を作成する請求項１～７のいずれか１項に記載の画像処理装置。
9. 前記作成部は、前記自動車の天井に配置された第１のスクリーンに表示するための、実行中のアプリケーションの画像と、前記自動車のフロントガラスに配置された第２のスクリーンに表示するための、アプリケーションのランチャの画像と、を作成する請求項１～８のいずれか１項に記載の画像処理装置。
10. 自動車の車内向けの表示システムであって、
    前記自動車が自動運転中であるか否か及び自動運転レベルを含む前記自動車の自動運転状態、及びスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
    前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
    前記自動車の座席の背もたれの傾きを示す情報を出力する座席設定部と、を備え、
    前記判定部は、前記コンテンツの表示に適した前記自動車の座席の背もたれの傾きをさらに判定し、
    前記座席設定部は、前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを示す情報を出力する、
    表示システム。
11. コンピュータが、
    自動車が自動運転中であるか否か及び自動運転レベルを含む前記自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定し、
    前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成し、
    前記コンテンツの表示に適した前記自動車の座席の背もたれの傾きを判定し、
    判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを示す情報を出力する、
    画像処理方法。
12. コンピュータを、
    自動車が自動運転中であるか否か及び自動運転レベルを含む前記自動車の自動運転状態、及び前記自動車に備えられたスクリーンに表示されるコンテンツに関する情報を基に、前記コンテンツの表示に適した前記スクリーンの形状を判定する判定部と、
    前記判定部によって前記コンテンツの表示に適していると判定された形状に応じて、前記スクリーンに表示するコンテンツの画像を作成する作成部と、
    前記自動車の座席の背もたれの傾きを示す情報を出力する座席設定部と、として機能させ、
    前記判定部は、前記コンテンツの表示に適した前記座席の背もたれの傾きをさらに判定し、
    前記座席設定部は、前記判定部によって判定された前記コンテンツの表示に適していると判定された前記座席の背もたれの傾きに従って、前記座席の背もたれの傾きを示す情報を出力する、
    プログラム。

Images