JP6646347B2 - 固体撮像装置および電子機器 - Google Patents

Description

本開示は、固体撮像装置および電子機器に関する。詳しくは、フレームレートの動的な制御に関する。

デジタルカメラなどに代表される機器には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＤＳＰ（Digital Signal Processor）を有するイメージセンサが搭載される。イメージセンサでは、撮像された画像がＤＳＰに供給され、ＤＳＰにおいて様々な処理がなされて、アプリケーションプロセッサなどの外部装置に出力される。

国際公開第２０１８／０５１８０９号

しかしながら、上記の従来技術では、イメージセンサ内のＤＳＰにおいて、ノイズ除去などの簡単な画像処理が実行され、画像データを用いた顔認証などの複雑な処理はアプリケーションプロセッサなどで実行されるのが一般的である。このため、アプリケーションに応じたＤＳＰの設計や処理ごとにアプリケーションをインストールするなど、開発者やユーザの作業負担が多いことなどもあり、イメージセンサのチップ内でより複雑な処理を実行することが望まれている。

そこで、本開示では、イメージセンサのチップ内でより複雑な処理を実行することができる固体撮像装置および電子機器を提案する。

上記の課題を解決するために、本開示に係る一形態の固体撮像装置は、画像データを取得する撮像部と、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、第１の処理を第１のフレームレートで実行する第１の処理モードと、前記第１の処理の結果に基づき、第２の処理を第２のフレームレートで実行する第２の処理モードとを切替える制御部とを有する。

また、本開示によれば、固体撮像装置は、チップ内にＤＮＮ（Deep Neural Network）を実行するＤＳＰを搭載し、ＤＳＰによるＤＳＰ処理の実行有無に応じてフレームレートを動的に切り替え、チップ内で複雑な処理の実行を実現する。

本開示によれば、イメージセンサのチップ内でより複雑な処理を実行することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係る第１の処理モードを説明する図である。 第１の実施形態に係る第２の処理モードを説明する図である。 第１の実施形態に係る処理モード選択処理の流れを示すフローチャートである。 第１の実施形態に係る第１の処理モードの流れを示すフローチャートである。 第１の実施形態の変形例を説明する図である。 第１の実施形態の変形例を説明する図である。 本実施形態に係るイメージセンサのチップ構成例を示す模式図である。 本実施形態に係るレイアウト例を説明するための図である。 本実施形態に係るレイアウト例を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
２．第１の実施形態の変形例（１）
３．第１の実施形態の変形例（２）
４．イメージセンサのチップ構成
５．レイアウト例
６．その他の実施形態
７．移動体への応用例
８．内視鏡手術システムへの応用例

（１．第１の実施形態）
［１−１．第１の実施形態に係る画像処理システムの構成］
図１は、第１の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。図１に示すように、撮像装置１は、クラウドサーバ３０と通信可能に接続される。なお、撮像装置１とクラウドサーバ３０とは、有線や無線を問わず、各種ネットワークやＵＳＢ（Universal Serial Bus）ケーブルなどを介して、通信可能に接続される。

クラウドサーバ３０は、撮像装置１から送信された静止画や動画などの画像データを記憶するサーバ装置の一例である。例えば、クラウドサーバ３０は、ユーザごと、日付ごと、撮像場所ごとなど任意の単位で画像データを記憶し、画像データを用いたアルバム作成など様々なサービスを提供することもできる。

撮像装置１は、イメージセンサ１０とアプリケーションプロセッサ２０を有する電子機器の一例であり、例えばデジタルカメラ、デジタルビデオカメラ、タブレット端末、スマートフォンなどである。なお、以降の実施形態では、画像を撮像する例を用いて説明するが、これに限定されるものではなく、動画などであっても同様に処理することができる。

イメージセンサ１０は、例えば１チップで構成されるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、入射光を受光し、光電変換を行って、入射光の受光量に対応する画像データをアプリケーションプロセッサ２０に出力する。

アプリケーションプロセッサ２０は、各種アプリケーションを実行するＣＰＵ（Central Processing Unit）などのプロセッサの一例である。アプリケーションプロセッサ２０は、イメージセンサ１０から入力された画像データをディスプレイに表示する表示処理、画像データを用いた生体認証処理、画像データをクラウドサーバ３０に送信する送信処理などアプリケーションに対応する各種処理を実行する。

このような撮像装置１のイメージセンサ１０は、チップ内にＤＮＮを実行するＤＳＰを搭載することで、チップ内で複雑な処理の実行を実現する。しかし、イメージセンサ１０内にＤＮＮを搭載すると、撮像された画像の読み出し処理と複雑な処理を実行するＤＳＰ処理とが並列に実行されることがある。画像の読み出し処理に対してＤＳＰ処理が並列に実行されると、読み出される画像データにＤＳＰ処理に起因したノイズが入り込み、画像の品質が低下してしまう場合が存在する。そこで、第１の実施形態にかかるイメージセンサ１０では、画像読み出し処理の実行期間に対するＤＳＰ処理の実行期間を制御することで、画像の品質低下を抑制する。

［１−２．第１の実施形態に係る撮像装置の構成］
図１に示すように、撮像装置１は、固体撮像装置であるイメージセンサ１０と、アプリケーションプロセッサ２０とを備える。イメージセンサ１０は、撮像部１１、コントロール部（制御部ともいう）１２、信号処理部１３、ＤＳＰ（処理部ともいう）１４、メモリ１５、セレクタ１６を有する。

撮像部１１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系１０４と、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列した構成を備える画素アレイ部１０１とを備える。外部から入射した光は、光学系１０４を介することで、画素アレイ部１０１における受光素子が配列した受光面に結像される。画素アレイ部１０１の各単位画素は、その受光素子に入射した光を電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。

また、撮像部１１には、変換器（Analog to Digital Converter：以下、ＡＤＣという）１７（例えば、図２参照）が含まれている。ＡＤＣ１７は、撮像部１１から読み出された単位画素毎のアナログの画素信号をデジタル値に変換することで、デジタルの画像データを生成し、生成した画像データを信号処理部１３へ出力する。なお、ＡＤＣ１７には、電源電圧等から撮像部１１を駆動するための駆動電圧を生成する電圧生成回路等が含まれてもよい。

撮像部１１が出力する画像データのサイズは、例えば、１２Ｍ（３９６８×２９７６）ピクセルや、ＶＧＡ（Video Graphics Array）サイズ（６４０×４８０ピクセルZ）等の複数のサイズの中から選択することができる。また、撮像部１１が出力する画像データについては、例えば、ＲＧＢ（赤、緑、青）のカラー画像とするか、又は、輝度のみの白黒画像とするかを選択することができる。これらの選択は、撮影モードの設定の一種として行うことができる。

コントロール部１２は、例えば、ユーザの操作や設定された動作モードに従い、イメージセンサ１０内の各部を制御する。

例えば、コントロール部１２は、後述する撮像部１１から画像信号を読み出す画像読み出し処理を監視し、画像読み出し処理が完了すると、ＤＳＰ１４にＤＳＰ処理の開始を通知する。具体的には、コントロール部１２は、内部クロックをカウントしてイネーブル信号を切替えることで、撮像部１１からの画像データの読み出し処理（以下、単に画像読み出し処理という）に対してＤＳＰ処理をオーバラップさせるか否かを制御する。

例えば、コントロール部１２は、撮像部１１からの画像読み出し処理が実行されている間は、ＬＯＷのイネーブル信号（すなわちオフ信号）をＤＳＰ１４に出力する。そして、コントロール部１２は、撮像部１１からの画像読み出し処理が完了すると、ＨＩＧＨのイネーブル信号（すなわちオン信号）をＤＳＰ１４に出力する。その後、コントロール部１２は、ＤＳＰ１４によるＤＳＰ処理が完了すると、ＬＯＷのイネーブル信号（すなわちオフ信号）をＤＳＰ１４に出力する。

信号処理部１３は、撮像部１１から読み出されたデジタルの画像データ又はメモリ１５から読み出されたデジタルの画像データ（以下、処理対象の画像データという）に対して種々の信号処理を実行する。例えば、処理対象の画像データがカラー画像である場合、信号処理部１３は、この画像データをＹＵＶの画像データやＲＧＢの画像データなどにフォーマット変換する。また、信号処理部１３は、例えば、処理対象の画像データに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行する。その他、信号処理部１３は、処理対象の画像データに対し、ＤＳＰ１４がその画像データを処理するのに必要となる種々の信号処理（前処理ともいう）を実行する。

ＤＳＰ１４は、例えば、メモリ１５に格納されているプログラムを実行することで、ディープニューラルネットワーク（ＤＮＮ）を利用した機械学習によって作成された学習済みモデルを用いて各種処理を実行する処理部として機能する。例えば、ＤＳＰ１４は、メモリ１５に記憶されている学習済みモデルに基づいた演算処理を実行することで、メモリ１５に記憶されている辞書係数と画像データとを掛け合わせる処理を実行する。このような演算処理により得られた結果（演算結果）は、メモリ１５及び／又はセレクタ１６へ出力される。なお、演算結果には、学習済みモデルを用いた演算処理を実行することで得られた画像データや、その画像データから得られる各種情報（メタデータ）が含まれ得る。また、ＤＳＰ１４には、メモリ１５へのアクセスを制御するメモリコントローラが組み込まれていてもよい。

より具体的には、ＤＳＰ１４は、コントロール部１２から出力されるイネーブル信号がＬＯＷ（オフ）からＨＩＧＨ（オン）に変化すると、メモリ１５から画像データを読み出してＤＳＰ処理を実行する。すなわち、ＤＳＰ１４は、イネーブル信号がオンの期間にＤＳＰ処理を実行する。

なお、ＤＳＰ１４が処理対象とする画像データは、画素アレイ部１０１から通常に読み出された画像データであってもよいし、この通常に読み出された画像データの画素を間引くことでデータサイズが縮小された画像データであってもよい。若しくは、画素アレイ部１０１に対して画素を間引いた読み出しを実行することで通常よりも小さいデータサイズで読み出された画像データであってもよい。なお、ここでの通常の読み出しとは、画素を間引かずに読み出すことであってよい。

演算処理には、例えば、ニューラルネットワーク計算モデルの一例である学習済みの学習モデルを利用したものが存在する。学習済みの学習モデルには、例えば、学習データを用いて、人物や動物の特定、明るさ補正、顔抽出、画像補正などを学習したＤＮＮやサポートベクタマシンなどが含まれる。ＤＳＰ処理は、例えば学習済みの学習モデルを用いて、撮影画像から人物を特定したり、撮影画像の明るさやノイズを補正したり、撮影画像から顔を抽出したりする。なお、ＤＳＰ１４は、学習データを用いて学習モデル内の各種パラメータの重み付けを変更することで学習モデルを学習したり、複数の学習モデルを用意しておき演算処理の内容に応じて使用する学習モデルを変更したり、外部の装置から学習済みの学習モデルを取得したりして、上記演算処理を実行することができる。

メモリ１５は、撮像部１１から出力された画像データ、信号処理部１３で信号処理された画像データ、ＤＳＰ１４で得られた演算結果等を必要に応じて記憶する。また、メモリ１５は、ＤＳＰ１４が実行する学習済みの学習モデルのアルゴリズムをプログラム及び辞書係数として記憶する。

また、メモリ１５は、信号処理部１３から出力された画像データやＤＳＰ１４から出力された演算処理済みの画像データ（以下、処理済み画像データという）に加え、ＩＳＯ（International Organization for Standardization）感度、露光時間、フレームレート、フォーカス、撮影モード、切出し範囲等を記憶してもよい。すなわち、メモリ１５は、ユーザにより設定される各種撮像情報を記憶し得る。

セレクタ１６は、例えばコントロール部１２からの選択制御信号に従うことで、信号処理部１３から出力された画像データやメモリ１５に記憶されている画像データや演算結果を選択的に出力する。メモリ１５に格納されている処理済み画像データやメタデータ等の演算結果とのいずれかを、ユーザの設定等により選択して、アプリケーションプロセッサ２０に出力する。

より詳細には、セレクタ１６は、第１の処理モードが選択されている場合は、ＤＳＰ１４が生成した演算結果をメモリ１５から読み出して、アプリケーションプロセッサ２０へ出力する。一方、セレクタ１６は、第２の処理モードが選択されている場合は、信号処理部１３から入力される画像データをアプリケーションプロセッサ２０へ出力する。なお、セレクタ１６は、第１の処理モードが選択されている場合、ＤＳＰ１４から出力された演算結果を直接アプリケーションプロセッサ２０へ出力してもよい。

以上のようにしてセレクタ１６から出力された画像データや演算結果は、表示やユーザインタフェースなどを処理するアプリケーションプロセッサ２０に入力される。アプリケーションプロセッサ２０は、例えば、ＣＰＵ等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行する。このアプリケーションプロセッサ２０には、ＧＰＵ（Graphics Processing Unit）やベースバンドプロセッサなどの機能が搭載されていてもよい。アプリケーションプロセッサ２０は、入力された画像データや演算結果に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワーク４０を介して外部のクラウドサーバ３０へ送信したりする。

なお、所定のネットワーク４０には、例えば、インターネットや、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮや、移動体通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、種々のネットワークを適用することができる。また、画像データや演算結果の送信先は、クラウドサーバ３０に限定されず、単一で動作するサーバや、各種データを保管するファイルサーバや、携帯電話機等の通信端末など、通信機能を有する種々の情報処理装置（システム）であってよい。

［１−３．第１の実施形態に係る各処理モードの説明］
次に、第１の実施形態に係る各処理モードを説明する。図２Ａは、第１の実施形態に係る第１の処理モードを説明する図であり、図２Ｂは、第１の実施形態に係る第２の処理モードを説明する図である。なお、図２Ａは、第１のフレームレートで処理される第１の処理モードを示し、図２Ｂは、第１のフレームレートよりも高い第２のフレームレートで処理される第２の処理モードを示す。例えば、図２Ａの第１の処理モードを１フレームレート（fps）で処理し、図２Ｂの第２の処理モードを３０フレームレートで処理する。

図２Ａに示すように、第１の処理モードが選択されている場合、コントロール部１２は、撮像部１１からの画像読み出し処理が実行されている間はイネーブル信号をＬＯＷに維持し、画像読み出し処理が終了するとイネーブル信号をＨＩＧＨに変更する。ＤＳＰ１４は、イネーブル信号がＨＩＧＨに変更されたことを検出すると、ＤＳＰ処理を開始する。その後、コントロール部１２は、ＤＳＰ処理が完了すると、イネーブル信号をＬＯＷに変更する。この結果、撮像部１１に対して、次の画像読み出し処理が実行される。

また、図２Ｂに示すように、第２の処理モードが選択されている間、イネーブル信号が常にＬＯＷに維持されるので、フレームレートに従って、撮像部１１からの画像読み出し処理が順次実行される。

例えば、上記図２Ａおよび図２Ｂで説明した処理モードの切替は、監視カメラなどに適用することができる。具体的には、イネーブル信号がＨＩＧＨに設定され、図２Ａに示す第１の処理モードが選択されている間、コントロール部１２は、撮像部１１から画像を読み出し、ＤＳＰ１４は、読み出された画像から人の検出を行う。そして、コントロール部１２は、ＤＳＰ１４によって人が検出されると、イネーブル信号をＬＯＷに設定し、撮像部１１からの画像を読み出して出力する処理のみを実行する。このようにすることで、不審者などが検出されるまでは、画像読み出し処理とＤＳＰ１４による人検出を行い、不審者が検出されると、ニューラルネットワーク計算モデルに基づく演算処理を省略して、画像読み出し処理のみを優先させることができる。したがって、アプリケーションプロセッサ２０は、不審者の早期検出を実現するとともに、検出後の不審者の動きを把握することができ、不審者の監視を実現することができる。なお、人が検出されなくなると、第１の処理モードに戻る。

また、上記図２Ａおよび図２Ｂで説明した処理モードの切替は、各種スポーツの競技者を撮影するカメラなどに適用することができる。具体的には、イネーブル信号がＨＩＧＨに設定され、図２Ａに示す第１の処理モードが選択されている間、コントロール部１２は、撮像部１１からテニス選手の画像を読み出し、ＤＳＰ１４は、読み出された画像からテニス選手がラケットを構えた状態の検出を行う。そして、コントロール部１２は、ＤＳＰ１４によって当該状態が検出されると、イネーブル信号をＬＯＷに設定し、撮像部１１からの画像を読み出して出力する処理のみを実行する。このようにすることで、テニス選手がボールをラケットで打つまでは、画像読み出し処理とＤＳＰ１４による人検出を行い、ボールを打つタイミングが検出されると、画像読み出し処理のみを優先させることができる。したがって、アプリケーションプロセッサ２０は、ボールを打つ動きの開始から終了までを早期に特定し、ユーザ等に出力することができる。なお、ラケットを振り終わった状態が終了すると、第１の処理モードに戻る。

上述したように、第２の処理モードでは、第１の処理モードにおいてＤＳＰ１４のＤＳＰ処理により人物などの特定の検出対象が検出された場合に、ＤＳＰ１４によるＤＳＰ処理を実行せずに、第１の処理モード時の第１のフレームレートより大きい第２のフレームレートで、コントロール部１２による画像データの読み出し処理を実行するので、第１の処理モードにおけるＤＳＰ処理の完了を待つ待機時間が不要である。したがって、第２の処理モードは、第１の処理モードの第１のフレームレートに比べて、高いフレームレート（例えば、２倍）の第２のフレームレートで画像読み出し処理を実行することができる。

［１−４．第１の実施形態に係る処理の流れ］
図３は、第１の実施形態に係る処理モード選択処理の流れを示すフローチャートである。図３に示すように、コントロール部１２は、ディスプレイ等により処理モードの選択画面を表示して、処理モードの選択を受け付ける（Ｓ１０１）。

そして、コントロール部１２は、第１の処理モードが選択された場合（Ｓ１０２：Ｙｅｓ）、フレームレートを第１のフレームレートに設定する（Ｓ１０３）。その後、第１の処理モードによる画像読み出し処理が実行される（Ｓ１０４）。

一方、コントロール部１２は、第２の処理モードが選択された場合（Ｓ１０２：Ｎｏ）、フレームレートを第１のフレームレートよりも高い第２のフレームレートに設定する（Ｓ１０５）。その後、第２の処理モードによる画像読み出し処理が実行される（Ｓ１０６）。

そして、撮像処理の終了操作や電源オフなどにより、処理が終了すると（Ｓ１０７：Ｙｅｓ）、設定のリセットなどが実行される。一方、処理が継続する場合（Ｓ１０７：Ｎｏ）、Ｓ１０１以降が繰り返される。すなわち、ユーザにより処理モードが変更されるまでは、前回の処理モードを維持され、処理モードが変更されると、図３にしたがってフレームレートが変更される。

図４は、第１の実施形態に係る第１の処理モードの流れを示すフローチャートである。なお、図４の処理は、図２のＳ１０４で実行される。

図４に示すように、コントロール部１２は、第１の処理モードで撮像が開始されると、撮像部１１から画像データを読み出す画像読み出し処理を開始する（Ｓ２０１）。そして、コントロール部１２は、撮像部１１からの画像読み出し処理が完了すると（Ｓ２０２：Ｙｅｓ）、イネーブル信号をアクティブ（オン）に変更する（Ｓ２０３）。

その後、ＤＳＰ１４は、ＤＳＰ処理を実行する（Ｓ２０４）。そして、ＤＳＰ処理が完了すると（Ｓ２０５：Ｙｅｓ）、コントロール部１２は、イネーブル信号をインアクティブ（オフ）に変更する（Ｓ２０６）。その後、撮像を継続する場合（Ｓ２０７：Ｎｏ）、Ｓ２０１へリターンする一方、撮像を終了する操作などが受け付けられた場合（Ｓ２０７：Ｙｅｓ）、処理を終了する。なお、図４の処理中であっても、処理モードの変更操作が発生した場合には、図３の処理が実行される。

［１−５．作用・効果］
上述したように、イメージセンサ１０は、チップ内でＤＳＰ１４によるＤＮＮを実行することで、ＤＳＰ１４をソフトウェア的に動作させることができ、ＤＮＮを用いたＤＳＰ処理によって複雑な処理を、１チップ内で実行することができる。また、イメージセンサ１０は、処理モードに応じたＤＳＰ処理の実行有無によってフレームレートを動的に変更することができ、処理の高速化を実現し、ユーザの利便性を向上させることもできる。また、イメージセンサ１０は、イネーブル信号によってＤＳＰ処理の開始を制御できるので、撮像部１１に対する画像の読み出し処理とＤＳＰ処理とを並列に実行するか否かを抑制でき、それにより、ノイズの発生を抑制し、イメージセンサの画質劣化を抑制することができる。

（２．第１の実施形態の変形例（１））
上記第１の実施形態では、イネーブル信号によってＤＳＰ１４によるＤＳＰ処理の実行期間を制御することで、ノイズの発生抑制やノイズの低減を実行する例を説明したが、これに限定されるものではない。例えば、明るい場所での撮像など、ある程度のノイズを許容できる場合、画像読み出し処理とＤＳＰ処理とを並列に実行することもできる。そこで、ここでは、画像読み出し処理とＤＳＰ処理とを並列に実行する例を説明する。

図５は、第１の実施形態の変形例を説明する図である。図５に示すように、画像読み出し処理とＤＳＰ処理とを実行する第１の処理モードが選択されている状態で、ある程度のノイズを許容できる場合には、画像読み出し処理とＤＳＰ処理とを並列に実行することができる。

例えば、コントロール部１２は、所定の条件が満たされている場合、イネーブル信号をアクティブにする期間を変更する。具体的には、コントロール部１２は、図５に示すように、画像読み出し処理が開始された後、画像読み出し処理が実行中に、イネーブル信号をアクティブに変更して、画像読み出し処理とＤＳＰ処理とを並列に実行させる。なお、所定の条件が満たされている場合とは、例えば、予め設定しておいた閾値以上の光量を得られる場合など、ある程度のノイズを許容できる場合であってよい。

図５に示した第２の処理モードは、コントロール部１２による画像データの読み出し処理と、画像データに基づくデータに対するＤＳＰ１４のＤＳＰ処理とを時間的に重複させることができるので、例えば、乳幼児や高齢者などを見守る見守りカメラなどに適用することができる。具体的には、図２Ａに示す第１の処理モードが選択されている間、コントロール部１２は、撮像部１１から画像を読み出し、ＤＳＰ１４は、読み出された画像からに人の検出を行う。そして、コントロール部１２は、ＤＳＰ１４によって人が検出されると、イネーブル信号のアクティブ期間を設定して、第１の処理モードよりもフレームレートを上げる。この結果、コントロール部１２による画像の読み出しと並行して、ＤＳＰ１４は、画像から、画像に写っている人の体勢検出を行うことができる。つまり、処理負荷が小さい画像読み出し処理と、処理負荷が大きい体勢検出とを並行して実行する。このようにすることで、監視対象者が検出されるまでは、画像読み出し処理とＤＳＰ１４による人検出を行い、監視対象者が検出されると、より高度な監視対象者の体勢検出を行うことができる。したがって、アプリケーションプロセッサ２０は、監視対象者の早期検出と、検出後の監視対象者の動き検出とを両立することができる。なお、人が検出されなくなると、第１の処理モードに戻る。

このように、図５に示した第２の処理モードは、第１の処理モードにおいてＤＳＰ１４のＤＳＰ処理により特定の検出対象が検出された場合に、ＤＳＰ１４のＤＳＰ処理を第１の処理モード時の第１のフレームレートと同じフレームレートである第２のフレームレートで実行することができる。したがって、ある程度のノイズを許容できる場合には、画像読み出し処理の完了を待たずにＤＳＰ処理を開始することが可能となるため、ＤＳＰ処理の計算量が多く長い処理時間を要する場合でも、フレームレートの低下を回避することができるか、フレームレートを下げる場合でもその低下量を低減することが可能となる。

（３．第１の実施形態の変形例（２））
上記実施形態では、第１の処理モードにおいて、画像読み出し処理とＤＳＰ処理とが別々のタイムスロットで実行される場合を例示したが、これに限定されるものではない。例えば、ＤＳＰ処理が軽く処理時間が短い場合には、第１の処理モードは、第１のフレームレートの通常モード（図２Ａ）と、第１のフレームレートよりもフレームレートが高い速度優先モードとを含むこともできる。

図６は、第１の実施形態の変形例を説明する図である。図６に示すように、速度優先モードの場合は、画像読み出し処理とＤＳＰ処理とを並列に実行し、ＤＳＰ処理が完了すると、次の画像読み出しを遅滞なく実行する。すなわち、図６に示す第２の処理モードは、第１の処理モードにおいてＤＳＰ処理により特定の検出対象が検出された場合に、ＤＳＰ処理を第１の処理モード時の第１のフレームレートよりも高い第２のフレームレートで実行する。

例えば、コントロール部１２は、速度優先モードがユーザ等により予め設定されている場合、画像読み出し処理が実行中にイネーブル信号をアクティブしてＤＳＰ処理を並列に実行させる。その後、コントロール部１２は、ＤＳＰ処理が完了すると、すぐにイネーブル信号をインアクティブにして、次の画像読み出し処理を実行させる。

図６に示した処理モードは、家庭用ゲームやインターネットゲームなどの画像処理に適用することができる。具体的には、図２Ａに示す第１の処理モードが選択されている間、コントロール部１２は、ユーザの操作を反映させたゲーム画像を撮像部１１から読み出し、ＤＳＰ１４は、読み出されたゲーム画像に特定にポーズの検出を行う。そして、コントロール部１２は、ＤＳＰ１４によって特定のポーズが検出されると、図６に示す速度優先モードを設定して、フレームレートを上げる。この結果、コントロール部１２によるゲーム画像の読み出しと、ＤＳＰ１４によるポーズ検出とを同時に実行することができる。したがって、アプリケーションプロセッサ２０は、ゲーム内でジェスチャーを使った必殺技を出すときに、ポーズ検出を高速に行い、必殺技に必要なモーションを高速で判断することができる。なお、特定のモーションが検出されなくなると、第１の処理モードに戻る。

このようにすることで、第１の処理モード（図２Ａ）と同様にＤＳＰ処理を実行する場合でも、第２の処理モード（図２Ｂ）と同様のフレームレートで処理することができるので、処理の高速化を実現することができる。

（４．イメージセンサのチップ構成）
次に、図１に示すイメージセンサ１０のチップ構成の例について、以下に図面を参照して詳細に説明する。

図７は、本実施形態に係るイメージセンサのチップ構成例を示す模式図である。図７に示すように、イメージセンサ１０は、四角形の平板状の第１基板（ダイ）１００と、同じく四角形の平板状の第２基板（ダイ）１２０とが貼り合わされた積層構造を有している。

第１基板１００と第２基板とのサイズは、例えば、同じであってよい。また、第１基板１００と第２基板１２０とは、それぞれシリコン基板などの半導体基板であってよい。

第１基板１００には、図１に示すイメージセンサ１０の構成において、撮像部１１の画素アレイ部１０１が配置される。また、第１基板１００には、光学系１０４の一部又は全部がオンチップで設けられていてもよい。

第２基板１２０には、図１に示すイメージセンサ１０の構成において、ＡＤＣ１７と、コントロール部１２と、信号処理部１３と、ＤＳＰ１４と、メモリ１５と、セレクタ１６とが配置されている。なお、第２基板１２０には、不図示のインタフェース回路やドライバ回路などが配置されていてもよい。

第１基板１００と第２基板１２０との貼り合わせは、第１基板１００及び第２基板１２０をそれぞれチップに個片化した後、これら個片化された第１基板１００及び第２基板１２０を貼り合わせる、いわゆるＣｏＣ（Chip on Chip）方式であってもよいし、第１基板１００と第２基板１２０とのうち一方（例えば、第１基板１００）をチップに個片化した後、この個片化された第１基板１００を個片化前（すなわち、ウエハ状態）の第２基板１２０に貼り合わせる、いわゆるＣｏＷ（Chip on Wafer）方式であってもよいし、第１基板１００と第２基板１２０とを共にウエハの状態で貼り合わせる、いわゆるＷｏＷ（Wafer on Wafer）方式であってもよい。

第１基板１００と第２基板１２０との接合方法には、例えば、プラズマ接合等を使用することができる。ただし、これに限定されず、種々の接合方法が用いられてよい。

（５．レイアウト例）
図８及び図９は、本実施形態に係るレイアウト例を説明するための図である。なお、図８は、第１基板１００のレイアウト例を示し、図９は、第２基板１２０のレイアウト例を示す。

［５−１．第１基板のレイアウト例］
図８に示すように、第１基板１００には、図１に示すイメージセンサ１０の構成において、撮像部１１の画素アレイ部１０１が配置されている。なお、第１基板１００に光学系１０４の一部又は全部を搭載する場合には、画素アレイ部１０１と対応する位置に設けられる。

画素アレイ部１０１は、第１基板１００の４つの辺Ｌ１０１〜Ｌ１０４のうち、１つの辺Ｌ１０１側に片寄って配置される。言い換えれば、画素アレイ部１０１は、その中心部Ｏ１０１が第１基板１００の中心部Ｏ１００よりも辺Ｌ１０１に近接するように、配置されている。なお、第１基板１００における画素アレイ部１０１が設けられた面が長方形である場合、辺Ｌ１０１は、例えば、短い方の辺であってもよい。ただし、これに限定されず、長い方の辺に、画素アレイ部１０１が片寄って配置されてもよい。

画素アレイ部１０１の４つの辺のうちの辺Ｌ１０１に近接する領域、言い換えれば、辺Ｌ１０１と画素アレイ部１０１との間の領域には、画素アレイ部１０１中の各単位画素１０１ａを第２基板１２０に配置されたＡＤＣ１７に電気的に接続させるための配線として、第１基板１００を貫通する複数の貫通配線（Through Silicon Via：以下、ＴＳＶという）が配列するＴＳＶアレイ１０２が設けられている。このように、ＴＳＶアレイ１０２を画素アレイ部１０１が近接する辺Ｌ１０１に近接させることで、第２基板１２０において、ＡＤＣ１７等の各部を配置スペースを確保し易くすることができる。

なお、ＴＳＶアレイ１０２は、辺Ｌ１０１と交わる２つの辺Ｌ１０３及びＬ１０４のうち一方の辺Ｌ１０４（ただし、辺Ｌ１０３であってもい）に近接する領域、言い換えれば、辺Ｌ１０４（又は、辺Ｌ１０３）と画素アレイ部１０１との間の領域にも設けられていてよい。

第１基板１００の４つの辺Ｌ１０１〜Ｌ１０４のうち、画素アレイ部１０１が片寄って配置されていない辺Ｌ１０２〜Ｌ１０３それぞれには、直線状に配列された複数のパッドよりなるパッドアレイ１０３が設けられている。パッドアレイ１０３に含まれるパッドには、例えば、画素アレイ部１０１やＡＤＣ１７などのアナログ回路用の電源電圧が印加されるパッド（電源ピンともいう）や、信号処理部１３やＤＳＰ１４やメモリ１５やセレクタ１６やコントロール部１２等のデジタル回路用の電源電圧が印加されるパッド（電源ピンともいう）や、ＭＩＰＩ（Mobile Industry Processor Interface）やＳＰＩ（Serial Peripheral Interface）などのインタフェース用のパッド（信号ピンともいう）や、クロックやデータの入出力のためのパッド（信号ピンともいう）などが含まれている。各パッドは、例えば、外部の電源回路やインタフェース回路とワイヤを介して電気的に接続される。各パッドアレイ１０３とＴＳＶアレイ１０２とは、パッドアレイ１０３中の各パッドに接続されたワイヤからの信号の反射の影響を無視できる程度に十分に離れていることが好ましい。

［５−２．第２基板のレイアウト例］
一方、図９に示すように、第２基板１２０には、図１に示すイメージセンサ１０の構成において、ＡＤＣ１７と、コントロール部１２と、信号処理部１３と、ＤＳＰ１４と、メモリ１５とが配置されている。なお、第１のレイアウト例では、メモリ１５がメモリ１５Ａとメモリ１５Ｂとの２つの領域に分かれている。同様に、ＡＤＣ１７がＡＤＣ１７ＡととＤＡＣ（Digital−to−Analog Converter）１７Ｂとの２つの領域に分かれている。ＤＡＣ１７Ｂは、ＡＤＣ１７ＡへＡＤ変換用の参照電圧を供給する構成であり、広い意味でＡＤＣ１７の一部に含まれる構成である。また、図８には図示されていないが、セレクタ１６も第２基板１２０に配置されている。

さらに、第２基板１２０には、第１基板１００を貫通するＴＳＶアレイ１０２中の各ＴＳＶ（以下、単にＴＳＶアレイ１０２とする）と接触することで電気的に接続された配線１２２と、第１基板１００のパッドアレイ１０３における各パッドと電気的に接続される複数のパッドが直線状に配列されてなるパッドアレイ１２３とが設けられている。

ＴＳＶアレイ１０２と配線１２２との接続には、例えば、第１基板１００に設けられたＴＳＶと第１基板１００から第２基板１２０にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインＴＳＶ方式や、第１基板１００から第２基板１２０にかけて設けられた共通のＴＳＶで接続する、いわゆるシェアードＴＳＶ方式などを採用することができる。ただし、これらに限定されず、例えば、第１基板１００の接合面と第２基板１２０の接合面とにそれぞれ露出させた銅（Ｃｕ）同士を接合する、いわゆるＣｕ−Ｃｕボンディング方式など、種々の接続形態を採用することが可能である。

第１基板１００のパッドアレイ１０３における各パッドと、第２基板１２０のパッドアレイ１２３における各パッドとの接続形態は、例えば、ワイヤボンディングである。ただし、これに限定されず、スルーホールやキャスタレーション等の接続形態であってもよい。

第２基板１２０のレイアウト例では、例えば、ＴＳＶアレイ１０２と接続される配線１２２の近傍を上流側とし、画素アレイ部１０１から読み出された信号の流れに沿って、上流から順に、ＡＤＣ１７Ａと、信号処理部１３と、ＤＳＰ１４とが配置されている。すなわち、画素アレイ部１０１から読み出された画素信号が最初に入力されるＡＤＣ１７Ａが最も上流側である配線１２２の近傍に配置され、次いで、信号処理部１３が配置され、配線１２２から最も遠い領域にＤＳＰ１４が配置されている。このように、ＡＤＣ１７からＤＳＰ１４までを信号の流れに沿って上流側から配置したレイアウトとすることで、各部を接続する配線を短縮することが可能となる。それにより、信号遅延の低減や信号の伝搬損失の低減やＳ／Ｎ比の向上や消費電力の低減が可能となる。

また、コントロール部１２は、例えば、上流側である配線１２２の近傍に配置される。図８では、ＡＤＣ１７Ａと信号処理部１３との間にコントロール部１２が配置されている。このようなレイアウトとすることで、コントロール部１２が画素アレイ部１０１を制御する際の信号遅延の低減や信号の伝搬損失の低減やＳ／Ｎ比の向上や消費電力の低減が可能となる。また、アナログ回路用の信号ピンや電源ピンをアナログ回路の近傍（例えば、図８中の下側）にまとめて配置し、残りのデジタル回路用の信号ピンや電源ピンをデジタル回路の近傍（例えば、図８中の上側）にまとめて配置したり、アナログ回路用の電源ピンとデジタル回路用の電源ピンとを十分に離して配置したりなどが可能となるというメリットも存在する。

また、図８に示すレイアウトでは、ＤＳＰ１４が最も下流側であるＡＤＣ１７Ａとは反対側に配置されている。このようなレイアウトとすることで、言い換えれば、第１基板１００と第２基板１２０との積層方向（以下、単に上下方向という）において、画素アレイ部１０１と重畳しない領域に、ＤＳＰ１４を配置することが可能となる。

このように、上下方向において画素アレイ部１０１とＤＳＰ１４とが重畳しない構成とすることで、ＤＳＰ１４が信号処理を実行することで発生したノイズが画素アレイ部１０１に入り込むことを低減することが可能となる。その結果、ＤＳＰ１４を学習済みモデルに基づいた演算を実行する処理部として動作させた場合でも、画素アレイ部１０１へのＤＳＰ１４の信号処理に起因したノイズの入り込みを低減することが可能となるため、品質の劣化が低減された画像を取得することが可能となる。

なお、ＤＳＰ１４と信号処理部１３とは、ＤＳＰ１４の一部又は信号線で構成された接続部１４ａによって接続される。また、セレクタ１６は、例えば、ＤＳＰ１４の近傍に配置される。接続部１４ａをＤＳＰ１４の一部とした場合、上下方向において一部のＤＳＰ１４が画素アレイ部１０１と重なることとなるが、このような場合でも、全てのＤＳＰ１４が上下方向において画素アレイ部１０１と重畳する場合と比較して、画素アレイ部１０１へのノイズの入り込みを低減することが可能である。

メモリ１５Ａ及び１５Ｂは、例えば、ＤＳＰ１４を３方向から囲むように配置される。このように、ＤＳＰ１４を囲むようにメモリ１５Ａ及び１５Ｂを配置することで、メモリ１５における各メモリ素子とＤＳＰ１４との配線上の距離を平均化しつつ全体的に短くすることが可能となる。それにより、ＤＳＰ１４がメモリ１５へアクセスする際の信号遅延や信号の伝搬損失や消費電力を低減することが可能となる。

パッドアレイ１２３は、例えば、第１基板１００のパッドアレイ１０３と上下方向において対応する第２基板１２０上の位置に配置される。ここで、パッドアレイ１２３に含まれるパッドのうち、ＡＤＣ１７Ａの近傍に位置するパッドは、アナログ回路（主にＡＤＣ１７Ａ）用の電源電圧やアナログ信号の伝搬に使用される。一方、コントロール部１２や信号処理部１３やＤＳＰ１４やメモリ１５Ａ及び１５Ｂの近傍に位置するパッドは、デジタル回路（主に、コントロール部１２、信号処理部１３、ＤＳＰ１４、メモリ１５Ａ及び１５Ｂ）用の電源電圧やデジタル信号の伝搬に使用される。このようなパッドレイアウトとすることで、各パッドと各部とを接続する配線上の距離を短くすることが可能となる。それにより、信号遅延の低減や信号や電源電圧の伝搬損失の低減やＳ／Ｎ比の向上や消費電力の低減が可能となる。

（６．その他の実施形態）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。

上記各実施形態で説明したフレームレートや所定時間などの数値は、あくまで一例であり、任意に変更することもできる。また、各実施形態で説明したＤＳＰ処理の内容等も例示であり、学習モデルを用いた様々な処理を採用することができる。また、イネーブル信号がインアクティブ（オフ）のときにＤＳＰ処理を実行し、イネーブル信号がアクティブ（オン）のときに画像読み出し処理を実行することもできる。

上記実施形態では、ＤＮＮで学習した学習モデルを例示したが、ＤＮＮ以外にも、ＲＮＮ（Recurrent Neural Networks）やＣＮＮ（Convolutional Neural Network）など様々なニューラルネットワークを用いることができる。また、ＤＮＮなどを用いた学習モデルに限らず、決定木やサポートベクタマシンなどの他の様々な機械学習で学習した学習モデルを用いることもできる。

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示したコントロール部１２と信号処理部１３は統合されてもよい。

（７．移動体への応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１１は、撮像部１２０３１の設置位置の例を示す図である。

図１１では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術を適用することにより、撮像部１２０３１等を小型化することが可能となるため、車両１２１００のインテリアやエクステリアの設計が容易となる。また、撮像部１２０３１等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像をドライバに提供することができる。それにより、ドライバの疲労を軽減することが可能になる。

（８．内視鏡手術システムへの応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１２は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１２では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図１３は、図１２に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、カメラヘッド１１１０２の撮像部１１４０２等に適用され得る。カメラヘッド１１１０２に本開示に係る技術を適用することにより、カメラヘッド１１１０２等を小型化することが可能となるため、内視鏡手術システム１１０００をコンパクト化が可能となる。また、カメラヘッド１１１０２等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像を術者に提供することができる。それにより、術者の疲労を軽減することが可能になる。

なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
画像データを取得する撮像部と、
前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
第１の処理を第１のフレームレートで実行する第１の処理モードと、前記第１の処理の結果に基づき、第２の処理を第２のフレームレートで実行する第２の処理モードとを切替える制御部と、
を有する固体撮像装置。
（２）
前記処理部は、前記画像データに基づくデータに対して、特定の検出対象を検出する演算処理を実行する、
前記（１）に記載の固体撮像装置。
（３）
前記演算処理は、学習済みの学習モデルを用いた処理である
前記（２）に記載の固体撮像装置。
（４）
前記第２の処理は、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行しない処理である、
前記（１）から（３）に記載の固体撮像装置。
（５）
前記第２の処理は、前記第１の処理モードにおいて特定の検出対象が検出された場合に、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行せずに、前記第１のフレームレートより大きい前記第２のフレームレートで前記画像データを読み出す処理である、
前記（４）に記載の固体撮像装置。
（６）
前記第２の処理は、前記撮像部から画像データを読み出す処理と、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理とが時間的に重複する処理である、
前記（１）から（３）のいずれかに記載の固体撮像装置。
（７）
前記第２の処理は、前記第１の処理モードにおいて特定の検出対象が検出された場合に、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を前記第１のフレームレートと同じフレームレートである前記第２のフレームレートで実行する処理である、
前記（６）に記載の固体撮像装置。
（８）
前記第２の処理は、前記第１の処理モードにおいて特定の検出対象が検出された場合に、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を前記第１のフレームレートよりも高い前記第２のフレームレートで実行する処理である、
前記（７）に記載の固体撮像装置。
（９）
前記制御部は、前記第１の処理モードが選択された状態で、前記撮像部からの前記画像データの読み出しが完了した後、前記演算処理による前記画像データに基づくデータに対して前記ニューラルネットワークに基づく処理を開始する
前記（２）から（８）のいずれかに記載の固体撮像装置。
（１０）
前記制御部は、前記第１の処理モードが選択された状態で、前記演算処理が完了した後、前記撮像部からの前記画像データの読み出しを開始する
前記（２）から（９）のいずれかに記載の固体撮像装置。
（１１）
画像データを取得する撮像部と、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、第１の処理を第１のフレームレートで実行する第１の処理モードと、前記第１の処理の結果に基づき、第２の処理を第２のフレームレートで実行する第２の処理モードとを切替える制御部とを有する固体撮像装置と、
前記固体撮像装置から出力された前記画像データに対してアプリケーションによる処理を実行する制御装置と
を有する電子機器。

１ 撮像装置
１０ イメージセンサ
１１ 撮像部
１２ コントロール部
１３ 信号処理部
１４ ＤＳＰ（処理部）
１５ メモリ
１６ セレクタ
２０ アプリケーションプロセッサ
３０ クラウドサーバ

Claims (11)

1. 画像データを取得する撮像部と、
   前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
   第１の処理を第１のフレームレートで実行する第１の処理モードと、前記第１の処理の結果に基づき、第２の処理を第２のフレームレートで実行する第２の処理モードとを切替える制御部と、
   を備え、
   前記制御部は、前記第２の処理モードにおいて、前記第２のフレームレートに関わらず、前記ニューラルネットワーク計算モデルに基づく処理の実行に関わるイネーブル信号を切替えることで、前記ニューラルネットワーク計算モデルに基づく処理を実行するか否か又は前記ニューラルネットワーク計算モデルに基づく処理と前記画像データを読み出す処理とを時間的に重複させるか否かを制御する、
   固体撮像装置。
2. 前記処理部は、前記画像データに基づくデータに対して、特定の検出対象を検出する演算処理を実行する、
   請求項１に記載の固体撮像装置。
3. 前記演算処理は、学習済みの学習モデルを用いた処理である
   請求項２に記載の固体撮像装置。
4. 前記第２の処理は、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行しない処理である、
   請求項１に記載の固体撮像装置。
5. 前記第２の処理モードは、前記第１の処理モードにおいて特定の検出対象が検出された場合に、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行せずに、前記第１のフレームレートより大きい前記第２のフレームレートで前記画像データを読み出す処理を実行するモードである、
   請求項４に記載の固体撮像装置。
6. 前記第２の処理モードは、前記撮像部から画像データを読み出す処理と、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理とが時間的に重複する処理モードである、
   請求項１に記載の固体撮像装置。
7. 前記第２の処理モードは、前記第１の処理モードにおいて特定の検出対象が検出された場合に、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を前記第１のフレームレートと同じフレームレートである前記第２のフレームレートで実行する処理モードである、
   請求項６に記載の固体撮像装置。
8. 前記第２の処理モードは、前記第１の処理モードにおいて特定の検出対象が検出された場合に、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を前記第１のフレームレートよりも高い前記第２のフレームレートで実行する処理モードである、
   請求項６に記載の固体撮像装置。
9. 前記制御部は、前記第１の処理モードが選択された状態で、前記撮像部からの前記画像データの読み出しが完了した後、前記演算処理による前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルに基づく処理を開始する
   請求項２に記載の固体撮像装置。
10. 前記制御部は、前記第１の処理モードが選択された状態で、前記演算処理が完了した後、前記撮像部からの前記画像データの読み出しを開始する
    請求項２に記載の固体撮像装置。
11. 画像データを取得する撮像部と、前記撮像部から取得される画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、第１の処理を第１のフレームレートで実行する第１の処理モードと、前記第１の処理の結果に基づき、第２の処理を第２のフレームレートで実行する第２の処理モードとを切替える制御部とを有する固体撮像装置と、
    前記固体撮像装置から出力された前記画像データに対してアプリケーションによる処理を実行する制御装置と、
    を備え、
    前記制御部は、前記第２の処理モードにおいて、前記第２のフレームレートに関わらず、前記ニューラルネットワーク計算モデルに基づく処理の実行に関わるイネーブル信号を切替えることで、前記ニューラルネットワーク計算モデルに基づく処理を実行するか否か又は前記ニューラルネットワーク計算モデルに基づく処理と前記画像データを読み出す処理とを時間的に重複させるか否かを制御する、
    電子機器。

Images