JP6139713B2 - デュアルアパーチャズームデジタルカメラ - Google Patents

Description

発明の詳細な説明

［関連出願の相互参照］
本願は、２０１３年６月１３日に出願された、同タイトルの出願「米国仮特許出願No. 61/834,486」に関連し、当該出願の優先権を主張する。当該出願の全体が、参照によって本明細書に含まれる。

［分野］
本明細書に開示された実施形態は、一般的にデジタルカメラに関し、特に静止画像の撮影機能とビデオ機能の両方を有する薄型のズームデジタルカメラに関する。

［背景］
デジタルカメラモジュールは、様々なホスト装置に搭載されている。これらのホスト装置は、携帯電話、個人携帯端末（ＰＤＡ）、コンピュータ等を含む。ホスト装置におけるデジタルカメラモジュールに対する消費者の需要が高まり続けている。

ホスト装置の製造者としては、デジタルカメラモジュールのサイズを小さくすることを望んでいる。これにより、ホスト装置の全体サイズが大きくならないように、デジタルカメラモジュールをホスト装置に搭載することができる。さらに、こうしたカメラに、より高性能な特性を設けることに対する需要が高まっている。多くの高性能なカメラ（例：スタンドアローンのデジタルスチールカメラ）が備えるこのような特性の１つは、カメラの焦点距離を変え、画像の倍率を増減できる機能である。通常、ズームレンズによって実現されるこの機能は、光学ズームとして知られている。一般に、「ズーム」は、光学系の焦点距離を変えることにより、同一のシーンおよび／または被写体に対する様々な倍率を提供する機能として理解されている。高レベルのズームは高倍率に関連付けられており、低レベルのズームは低倍率に関連付けられている。通常、光学ズームは、レンズ素子を互いに相対的に、機械的に移動させることによって実現される。通常、このようなズームレンズは、単焦点レンズに比べて、高額であり、サイズが大きく、信頼性が低い。ズーム効果に近い代替的なアプローチは、デジタルズームとして知られている技術によって実現される。デジタルズームでは、レンズの焦点距離を変えるのではなく、カメラ内のプロセッサが画像をクロッピングし、キャプチャされた画像の画素間を補間する。これにより、高倍率だが低解像度の画像が生成される。

ズームレンズの効果に近いマルチアパーチャ撮像システムを使用する試みが知られている。マルチアパーチャ撮像システム（例えばデジタルカメラ内に実装されている）は、複数の光学サブシステム（「サブカメラ」とも称される）を備える。各サブカメラは、アパーチャを規定する１つまたは複数のレンズおよび／または他の光学素子を備える。これにより、受信された電磁放射は光学サブシステムによって撮像され、結果として得られた画像は、二次元（２Ｄ）的に画素化された画像センサ領域に向けられる。画像センサ（または単に「センサ」）領域は、上記画像を受信し、当該画像に基づいて画像データのセットを生成する。デジタルカメラは、１つまたは複数の被写体からなるシーンに関連付けられた電磁放射を受信するように配置されてもよい。画像データのセットは、公知技術の通り、デジタル画像データと表現されてもよい。以降、本明細書中では、「画像」、「画像データ」、および「デジタル画像データ」は、互換的に使用されてよい。また、「被写体」と「シーン」も、同様に互換的に使用されてよい。

マルチアパーチャ撮像システムおよび関連する方法は、例えば、米国特許出願公開No. 2008/0030592、No. 2010/0277619、No. 2011/0064327に開示されている。US2008/0030592では、関連するレンズを介して撮像された画像をキャプチャするために、２つのセンサが同時に操作されている。センサと、当該センサに関連するレンズは、レンズ／センサの組み合わせを形成する。２つのレンズは、異なる焦点距離を有する。そのため、各レンズ／センサの組み合わせが同じ方向を向くように配置されている場合であっても、各組み合わせは、２つの異なる視野（ＦＯＶ）によって、同一の対象物の画像をキャプチャする。一般的に、一方のセンサは「ワイド」、他方のセンサは「テレ」と称されている。各センサは、「ワイド」（または「Ｗ」）画像、「テレ」（または「Ｔ」）画像とそれぞれ称される、個別の画像を供給する。Ｗ画像は、より広いＦＯＶを反映しており、Ｔ画像と比べて低い解像度を有している。上記画像はともに合成（融合）され、合成（融合）画像が形成される。合成画像において、中央部はより長い焦点距離を有するレンズ／センサの組み合わせによって撮像された比較的高い解像度の画像によって形成され、周辺部はより短い焦点距離のレンズ／センサの組み合わせによって撮像された比較的低い解像度の画像の周辺部によって形成される。ユーザは所望のズーム量を選択する。合成画像は、各ズーム画像を供給するために、選択されたズーム量からの値の補間を行うために使用される。US2008/0030592によって提案された解決方法は、ビデオモードにおいて、高いフレームレートの要求および高い消費電力（両方のカメラが完全に動作するためである）に加え、非常に大規模な処理リソースを必要とする。

US2010/0277619は、２つのレンズ／センサの組み合わせを有するカメラを教示している。２つのレンズは、異なる焦点距離を有している。これにより、組み合わせの一方からの画像は、組み合わせの他方からの画像に比べて約２〜３倍大きいＦＯＶを有する。カメラのユーザが所定のズーム量を要求した場合、要求されるＦＯＶより一段階大きいＦＯＶを有するレンズ／センサ結合体の組み合わせから、ズームされた画像が供給される。このため、要求されるＦＯＶが、より小さいほうのＦＯＶの組み合わせよりも小さい場合、必要に応じてクロッピングおよび補間を行い、当該組み合わせによってキャプチャされた画像からズーム画像が生成される。同様に、要求されるＦＯＶが、より小さいほうのＦＯＶの組み合わせよりも大きい場合、必要に応じてクロッピングおよび補間を行い、他方の組み合わせによってキャプチャされた画像から、ズーム画像が生成される。US2010/0277619によって提案された解決方法では、ビデオモードにおいて、テレカメラへの移動を行う場合に、視差によるアーティファクトが生じてしまう。

US2008/0030592およびUS2010/0277619号の両方において、異なる焦点距離のシステムはテレマッチングＦＯＶとワイドマッチングＦＯＶとを、ＣＭＯＳセンサを用いて、異なるタイミングで露光させる。このことは、全体の画質を低下させる。異なる光学的なＦ値（”Ｆ＃”）は、画像の輝度に差意を生じさせる。このようなデュアルセンサシステムを用いた作業は、２倍のバンド幅のサポートを必要とする。すなわち、センサから後続するＨＷ部材への付加的な配線を必要とする。US2008/0030592およびUS2010/0277619のいずれも、位置合わせのエラーに対処していない。また、US2008/0030592およびUS2010/027761のいずれも、部分的な融合（すなわち、静止モードにおける、ワイド画像およびテレ画像の両方の全ピクセルよりも少ない融合）については言及していない。

US2011/0064327は、（ｉ）マルチアパーチャ撮像システム、および、（ｉｉ）撮像された第１のシーンおよび第２のシーンにそれぞれ対応する、第１の画像データのセットおよび第２の画像データのセットを含む画像データを融合する方法を開示している。これらのシーンは、オーバーラップ領域において少なくとも部分的にオーバーラップし、（ｉ）第１のオーバーラップ画像データの集合を第１の画像データのセットとして、（ｉｉ）第２のオーバーラップ画像データの集合を第２の画像データのセットとして規定する。各サブカメラが第２の集合の少なくとも１つの特性に基づいてオーバーラップ領域を測るように、第２のオーバーラップ画像データは、複数の画像データのサブカメラとして表現される。画像プロセッサによって、選択された画像データサブカメラのうち少なくとも１つ（但し、画像データサブカメラの全てに満たない数）に基づき、オーバーラップ画像の第１の集合を修正することによって、融合された画像データのセットが生成される。当該出願において開示されたシステムおよび方法は、融合された静止画像に対処しているにすぎない。

上記公知文献のいずれも、単焦点レンズを備えた薄型（例：携帯電話搭載用）のデュアルアパーチャズームデジタルカメラであって、当該カメラは、静止画像およびビデオ画像を供給するために、静止モードおよびビデオモードの両方において動作し当該カメラの設定は、静止モードにおいて融合画像を供給するために、部分融合または全体融合を使用し、ビデオモードにおいて連続的かつスムーズなズーム画像を供給するために、いかなる融合も使用しないカメラを提供するものではない。

そのため、静止モードおよびビデオモードの両方において光学ズーム動作を行い、通常起こりうる問題および不利益（これらの一部は上記に示されている）のない、薄型デジタルカメラが必要とされており需要があり、これを提供することは、有益であろう。

［概要］
本明細書に開示された実施形態は、デュアルアパーチャ（デュアルレンズまたはツーセンサとも称される）光学ズームデジタルカメラの使用について教示している。カメラは、２つのサブカメラ、すなわち、ワイドサブカメラとテレサブカメラとを有する。各サブカメラは、単焦点レンズ、画像センサ、および画像信号プロセッサ（ＩＳＰ）を備える。テレサブカメラは高ズームのサブカメラであり、ワイドサブカメラは低ズームのサブカメラである。複数の実施形態において、レンズは、約９ｍｍ未満の短い光路長を有する薄型レンズである。また、複数の実施形態において、テレレンズの厚さ／有効焦点距離（ＥＦＬ）の比率はおよそ約１未満である。イメージセンサは、２つの個別の２Ｄの画素化されたセンサ、または、少なくとも２つの領域に分割された単一の画素化されたセンサを備えていてもよい。デジタルカメラは、静止モードおよびビデオモードの両方において動作可能である。静止モードでは、（全体あるいは部分的な）「融合を用いて」、Ｗ画像とＴ画像とを合成することにより、ズームが実現される。結果として得られた融合された画像は、Ｗ画像とＴ画像との両方からの情報を必ず含んでいる。また、テレ画像がフォーカスされない画像領域において、融合を用いずに部分的な融合が実行されてもよい。これにより、計算上の要求（例：時間）を効果的に削減できる。

ビデオモードでは、Ｗ画像とＴ画像とを切り替えることにより、「融合を用いずに」光学ズームが実現される。これにより、必要とされる計算時間が短縮され、高ビデオレートを実現できる。ビデオモードでの途切れが発生しないように、切り替えステップは、画像のスケーリングおよびシフトを含む付加的な処理ブロックを適用するステップを含む。

光学ズーム機能を実現するために、同一のシーンに対する異なる倍率の画像が、各カメラのサブカメラによってキャプチャ（捕捉）される。この結果、２つのサブカメラ間でＦＯＶのオーバーラップが起こる。静止モードにおいて、融合を行い、１つの融合された画像を出力するために、２つの画像に対して処理が施される。融合された画像は、ユーザのズーム倍率の要求に応じて処理される。融合処理の一部として、捕捉された画像の１つまたは両方にアップサンプリングが施されてもよい。これにより、当該捕捉された画像を、テレサブカメラによって捕捉された画像にスケールを合わせる、または、ユーザによって設定された倍率にスケールを合わせることができる。融合処理またはアップサンプリングは、センサの画素の一部にのみ施されてもよい。

出力解像度がセンサの解像度よりも低い場合には、ダウンサンプリングが行われてもよい。

本明細書に開示されたカメラおよび関連する方法は、公知のデュアルアパーチャ光学ズームデジタルカメラの問題点および不利益の多くに対処し、かつ改善する。また、当該カメラおよび方法は、光学、アルゴリズム的処理およびシステムハードウェア（ＨＷ）の全態様を網羅した、ズームの問題解決手法全般を提供する。提案された問題解決手法は、処理時においてビデオモードと静止モードとを区別し、光学的な要件およびＨＷの要件を特定する。さらに、提案された問題解決手法は、特定のレンズの曲率の順序を用いて、ＴＴＬ／ＥＦＬの低い比率を実現する画期的な光学設計を提供する。

焦点距離が長い場合には、焦点面の前方または背後に位置する被写体はかなりぼやけて写り、フォアグラウンドおよびバックグラウンドの良好なコントラストが得られる。しかしながら、焦点距離が比較的短く、小さいアパーチャサイズを有するコンパクトなカメラ（例えば携帯電話のカメラ）では、このようなピンぼけを生じさせることは難しい。複数の実施形態において、本明細書において開示されたデュアルアパーチャズームシステムは、焦点距離がより長いテレレンズを利用し、浅いＤＯＦ写真（ワイドカメラのみ用いたＤＯＦと比べて浅い）をキャプチャするために使用されてよい。ワイドレンズによって同時にキャプチャされた画像からのデータを融合することにより、最終画像においてより長いテレ焦点距離によって低減されたＤＯＦ効果はさらに促進され得る。テレレンズが写真の対象に焦点を当てた状態で、被写体までの距離に応じて、対象の背後に位置する物体をかなりぼかすため、ワイドレンズは被写体により近い距離に焦点合わせされてよい。２つの画像がキャプチャされると、ワイド画像内における背景がピンぼけした写真からの情報が、元のテレ画像の背景情報と融合される。この結果、さらにピンぼけした背景およびさらに浅いＤＯＦが提供される。

一実施形態において、（ｉ）ワイドＦＯＶを有する、単焦点ワイドレンズと、ワイドセンサと、ワイド画像信号プロセッサ（ＩＳＰ）と、を備えており、被写体またはシーンのワイド画像データを供給するワイド画像部と、（ｉｉ）上記ワイドＦＯＶよりも狭いテレＦＯＶを有する、単焦点テレレンズと、テレセンサと、テレＩＳＰと、を備えており、上記被写体またはシーンのテレ画像を供給するテレ画像部と、（ｉｉｉ）上記ワイド画像部および上記テレ画像部と動作的に連結されており、静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合し、特定の視点（ＰＯＶ）からの上記被写体またはシーンの融合された出力画像を供給し、かつ、融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給するカメラコントローラと、を備え、各出力画像は、個別の出力解像度を有しており、低ズーム倍率（ＺＦ）値から高ＺＦ値へと切り替える場合、またはその逆の場合に、上記ビデオ出力画像は、スムーズな移行によって供給され、上記低ＺＦ値において、上記出力解像度は上記ワイドセンサによって決定され、上記高ＺＦ値において、上記出力解像度は上記テレセンサによって決定されるズームデジタルカメラが提供される。

一実施形態において、上記低ＺＦ値から上記高ＺＦ値へと切り替える場合、またはその逆の場合に、スムーズな移行によるビデオ出力画像を供給するための上記カメラコントローラの設定は、高ＺＦにおいて上記ワイドカメラからの二次的な情報を使用し、かつ、低ＺＦにおいて上記テレカメラからの二次的な情報を使用する設定を含む。なお、本明細書中において使用されている「二次情報」とは、ホワイトバランスゲイン、露光時間、アナログゲイン、色補正マトリクスを指す。

各サブカメラ（および各イメージセンサ）から見て、デュアルアパーチャカメラの画面では、所定の被写体がシフトし、異なるパースペクティブ（形状）を有する。これを視点（ＰＯＶ）と称される。システム出力画像に、サブカメラ画像、あるいは、サブカメラ画像の組み合わせの形状または位置の一方の形状および位置を有する。出力画像がワイド画像の形状を保持する場合、当該出力画像はワイドパースペクティブＰＯＶを有する。当該出力画像がワイドカメラの位置を保持する場合、当該出力画像はワイド位置ＰＯＶを有する。このことは、テレ画像の位置およびパースペクティブにおいても同様である。本明細書中において、位置ＰＯＶはワイドサブカメラまたはテレサブカメラに用いられてよい。また、位置ＰＯＶは、ワイドサブカメラとテレサブカメラとの間を連続的にシフトしてよい。融合画像では、テレ画像の画素を、ワイド画像の画素内に設定されたマッチングピクセルに位置合わせすることができる。この場合、出力画像はワイドＰＯＶを保持する（「ワイド融合」）。代替的に、ワイド画像の画素を、テレ画像の画素内に設定されたマッチングピクセルに位置合わせすることもできる。登この場合、出力画像はテレＰＯＶを維持する（「テレ融合」）。いずれか一方のサブカメラ画像がシフトされた後、上記の位置合わせを行うことも可能である。この場合、出力画像は、パースペクティブＰＯＶまたはテレパースペクティブＰＯＶをそれぞれ保持する。

一実施形態において、デジタルカメラを用いて、静止モードおよびビデオモードの両方において被写体またはシーンのズーム画像を得る方法であって、（ｉ）上記デジタルカメラにおいて、ワイドＦＯＶを有するワイドレンズと、ワイドセンサと、ワイド画像信号プロセッサ（ＩＳＰ）と、を備えたワイド画像部と、上記ワイドＦＯＶよりも狭いテレＦＯＶを有するテレレンズと、テレセンサと、テレＩＳＰと、を有するテレ画像部と、上記ワイド画像部および上記テレ画像部と動作的に連結されているカメラコントローラと、を設けるステップと、（ｉｉ）上記カメラコントローラに、静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させ、特定の視点からの上記被写体またはシーンの融合された出力画像を供給させ、かつ、融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給させるステップと、を含んでおり、各出力画像は、個別の出力解像度を有しており、低ズーム倍率値から高ＺＦ値へと切り替える場合、またはその逆の場合に、上記ビデオ出力画像は、スムーズな移行によって供給され、上記低ＺＦ値において、上記出力解像度は上記ワイドセンサによって決定され、上記高ＺＦ値において、上記出力解像度は上記テレセンサによって決定される方法が提供される。

〔図面の簡単な説明〕
本開示に係る実施形態の、限定しない例について、この段落の後ろで挙げた、添付した図を参照して以下に説明する。図面および説明は、本開示に係る実施形態を明確にすることを意図するものであって、制限するものとして考えられるべきではない。

図１Ａは、本開示に係るデュアルアパーチャズーム撮像システムの概略を示すブロック図を示す。

図１Ｂは、図１Ａのデュアルアパーチャズーム撮像システムの概略を示す機械図面である。

図２は、ワイドセンサ、テレセンサ、およびそれらのそれぞれのＦＯＶの例を示す。

図３は、ＣＭＯＳセンサの時間に対する画像の捕捉の実施形態の概略を示す。

図４は、デュアルセンサズームシステムを用いて、１つのセンサのインタフェースを割り当てることを可能とする、センサの時間設定の概略を示す。

図５は、キャプチャモードにおいてズーム画像を得るための、本開示に係る方法の一実施形態を示す。

図６は、ビデオ／プレビューモードにおいて、ズーム画像を得るための、本開示に係る方法の一実施形態を示す。

図７は、ズーム倍率に対する有効解像度を示したグラフを示す。

図８は、本開示に係る薄型カメラにおける、レンズブロックの一実施形態を示す。

図９は、本開示に係る薄型カメラにおける、レンズブロックの他の実施形態を示す。

〔詳細な説明〕
図１Ａは、本開示に係るデュアルアパーチャズーム撮像システム（単に、「デジタルカメラ」または「カメラ」とも称される）１００の一実施形態の概略を示すブロック図を示す。カメラ１００は、ワイドレンズブロック１０２、ワイド画像センサ１０４、およびワイド画像プロセッサ１０６を含むワイド画像部（サブカメラ）を備える。さらに、カメラ１００は、テレレンズブロック１０８、テレ画像センサ１１０、およびテレ画像プロセッサ１１２を含むテレ画像部（サブカメラ）を備える。上記二つの画像センサは、物理的に分離していてもよく、単一の、より大型の画像センサの一部であってもよい。ワイドセンサの画素サイズは、テレセンサの画素サイズと同じであってもよく、異なっていてもよい。さらに、カメラ１００は、センサ制御モジュール１１６、ユーザ制御モジュール１１８、ビデオ処理モジュール１２６、およびキャプチャ処理モジュール１２８を含むカメラ融合処理コア（「コントローラ」とも称する）１１４を備える。カメラ融合処理コア１１４が備える各モジュールは、いずれもセンサ制御ブロック１１０を操作可能に接続されている。ユーザ制御モジュール１１８は、動作モード機能１２０、関心領域（ＲＯＩ、Region of Interest）機能１２２、およびズーム倍率（ＺＦ、Zoom Factor）機能１２４を備える。

センサ制御モジュール１１６は、上記２つのサブカメラおよびユーザ制御モジュール１１８に接続され、ズーム倍率に基づいていずれのセンサを操作するか選択すること、ならびに露光機構およびセンサの読み出しを制御することに用いられる。モード選択機能１２０は、キャプチャ／ビデオモードの選択に用いられる。ＲＯＩ機能１２２は、関心領域の選択に用いられる。ここでは、「ＲＯＩ」は、画像のサブ領域としてユーザが定義した領域であり、例えば画像の面積の４％以下であってよい。ＲＯＩは、両方のサブカメラがフォーカスされる領域である。ズーム倍率機能１２４は、ズーム倍率の選択に用いられる。ビデオ処理モジュール１２６は、モード選択機能１２０に接続され、ビデオ処理に用いられる。静止処理モジュール１２８は、モード選択機能１２０に接続され、高画質の静止モード画像に用いられる。ビデオ処理モジュールは、ユーザがビデオモードで撮影することを所望した場合に適用される。キャプチャ処理モジュールは、ユーザが静止写真を撮影することを希望した場合に適用される。

図１Ｂは、図１Ａのデュアルアパーチャズーム撮像システムの概略を示す機械図面である。寸法の例は以下の通りである。ワイドレンズについては、ＴＴＬは４．２ｍｍ、ＥＦＬは３．５ｍｍである。テレレンズについては、ＴＴＬは６ｍｍ、ＥＦＬは７ｍｍであり、ワイドレンズおよびテレレンズはいずれも１／３インチである。ワイドカメラおよびテレカメラの外側の大きさについては、幅（ｗ）および長さ（ｌ）は８．５ｍｍであり、高さ（ｈ）は６．８ｍｍである。カメラの中心間の距離（ｄ）は１０ｍｍである。

以下は、カメラ１００の異なる使用法の、詳細な説明および例である。

（ビデオモードにおける連続的かつスムーズなズームのための設計）
一実施形態において、ビデオカメラモードにおける高品質な連続的かつスムーズな光学ズームを実現し、一方で単焦点サブカメラを用いたリアルな光学ズームを実現するために、システムは、以下の規定（等式１−３）に基づいて設計される。

Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）＝ＰＬ_Ｗｉｄｅ／ＰＬ_{ｖｉｄｅｏ} （１）
Ｔａｎは「タンジェント」であり、ＦＯＶ_ＷｉｄｅおよびＦＯＶ_Ｔｅｌｅはそれぞれワイドレンズおよびテレレンズの視野（角度で）である。ここで、ＦＯＶは、センサの中心軸から角までを測定したもの（すなわち、標準的な規定の半分の角度）である。ＰＬ_ＷｉｄｅおよびＰＬ_{Ｖｉｄｅｏ}は、それぞれワイドセンサにおける画素の「一列あたりの」（すなわち一列における）数、および出力されるビデオ形式における画素の直列の数である。ＰＬ_Ｗｉｄｅ／ＰＬ_{Ｖｉｄｅｏ}の比率は、「オーバーサンプリング比」と称される。例えば、１２Ｍｐセンサ（センサ寸法４０００×３０００）により、１０８０ｐ（寸法１９２０×１０８０）のビデオ形式が要求される場合、フルサイズかつ連続的な光学ズームエクスペリエンスを得るためには、ＦＯＶの比率は４０００／１９２０＝２．０８３であるべきである。さらには、ワイドレンズのＦＯＶがＦＯＶ_Ｗｉｄｅ＝３７．５°として与えられる場合、要求されるテレレンズのＦＯＶは２０．２°である。ズーム切り替えポイントは、センサにおける一列あたりの画素の数と、ビデオ形式における一列あたりの画素の数との比率に基づいて設定され、以下の式（２）により定義される。

Ｚ_{ｓｗｉｔｃｈ}＝ＰＬ_Ｗｉｄｅ／ＰＬ_{ｖｉｄｅｏ} （２）
光学ズームの最大は、以下の式に基づいて得られる値に達する。

Ｚ_ｍａｘ＝Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）＊ＰＬ_Ｔｅｌｅ／ＰＬ_{ｖｉｄｅo} （３）
例えば、上に定義した構成において、ＰＬ_Ｔｅｌｅ＝４０００、ＰＬ_{Ｖｉｄｅｏ}＝１９２０とした場合、Ｚ_ｍａｘ＝４．３５となる。

一実施形態において、センサ制御モジュールは、ワイドＦＯＶおよびテレＦＯＶ、ならびにセンサのオーバーサンプリング比に依存する設定を有し、当該設定値は、それぞれのセンサの構成に用いられる。例えば、４０００×３０００のセンサを用いて、１９２０×１０８０の画像を出力する場合、オーバーサンプリング比は４０００／１９２０＝２．０８３３である。

一実施形態において、ワイドＦＯＶおよびテレＦＯＶならびにオーバーサンプリング比は、以下の条件を満たす。

０．８＊ＰＬ_Ｗｉｄｅ／ＰＬ_{ｖｉｄｅｏ}＜Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）＜１．２＊ＰＬ_Ｗｉｄｅ／ＰＬ_{ｖｉｄｅｏ} （４）
（静止モードの操作／機能）
静止カメラモードでは、取得される画像は、図２に示すように、全てのズームレベルにおいて両方のサブカメラにより得られる情報から融合される。図２は、ワイドセンサ２０２およびテレセンサ２０４、ならびにそれらのそれぞれのＦＯＶを示す。例として、示したように、テレセンサのＦＯＶは、ワイドセンサのＦＯＶの半分である。静止カメラモードの処理は、２つの段階を含む。段階（１）として、ＨＷ設定および構成を設定する。この段階における第１の目的は、両方の画像（テレおよびワイド）におけるマッチングされたＦＯＶが同時に走査されるようにセンサを制御することである。第２の目的は、レンズの特性に基づいて、相対露光を制御することである。第３の目的は、両方のセンサからＩＳＰへのバンド幅の要求を最小化することである。段階（２）として、ワイド画像およびテレ画像を融合させて光学ズームを実現する画像処理を行い、ＳＮＲを向上させ、広いダイナミックレンジを提供する。

図３は、ＣＭＯＳセンサによりキャプチャされた画像の一部における、時間に対する画像の行数を示す。融合した画像は、それぞれの画像を行（列）ごとに走査することで得られる。両方のセンサにおけるマッチングされたＦＯＶが異なる時刻に走査されることを防止するため、両方の画像センサにおいて、カメラコントローラによって特定の構成が適用される一方で、フレームレートは同じに維持される。センサ間のＦＯＶの差は、それぞれのセンサにおけるローリングシャッタ時間と垂直ブランキング時間との関係により決定される。上記の特定の構成において、走査は、それぞれの視界における被写体の同じ点が同時に得られるように同期している。

特に図３を参照して、本開示の方法の一実施形態によれば、走査を同期させる構成は、テレセンサの垂直ブランキング時間ＶＢ_Ｔｅｌｅを、ワイドセンサの垂直ブランキング時間ＶＢ_Ｗｉｄｅにワイドセンサのローリングシャッタ時間ＲＳＴ_Ｗｉｄｅの半分を加算した時間に等しい時間に設定することと、テレセンサおよびワイドセンサの露光時間ＥＴ_ＴｅｌｅおよびＥＴ_Ｗｉｄｅを互いに等しい時間または異なる時間に設定することと、テレセンサのローリングシャッタ時間ＲＳＴ_ＴｅｌｅをＲＳＴ_Ｗｉｄｅの０．５倍に設定することと、上記２つのセンサのフレームレートを等しい値に設定することと、を含む。この処理により、テレセンサおよびワイドセンサの画像において、同一の画素が同時に露光される結果となる。

別実施形態において、カメラコントローラは、ワイドセンサおよびテレセンサを、当該両方のセンサが同時にローリングシャッタを開始するように同期させてもよい。

２つのセンサに適用される露光時間は、互いに異なっていてよく、例えば画像の輝度を等しくするために、テレシステムとワイドシステムとで異なるＦ＃および画素サイズを用いてもよい。この場合、相対露光時間は以下の式に基づいて設定されてもよい。

ＥＴ_Ｔｅｌｅ＝ＥＴ_Ｗｉｄｅ・（Ｆ＃_Ｔｅｌｅ／Ｆ＃_Ｗｉｄｅ）^２・（Ｐｉｘｅｌ ｓｉｚｅ_Ｗｉｄｅ／Ｐｉｘｅｌ ｓｉｚｅ_Ｔｅｌｅ）^２ （５）
広いダイナミックレンジおよびＳＮＲの向上を実現するため、他の露光時間比率が適用されてもよい。異なる輝度を有する２つの画像を融合させることで、画像のダイナミックレンジが広くなる。

より詳細に図３を参照して、第１段階では、ユーザが要求するズーム倍率ＺＦを選択した後に、センサ制御モジュールは各センサに対し、以下の設定を行う。

１）インデックスワイドセンサのクロッピング
Ｙ_{Ｗｉｄｅ ｓｔａｒｔ}＝１／２・ＰＣ_Ｗｉｄｅ（１−１／ＺＦ）
Ｙ_{Ｗｉｄｅ ｅｎｄ}＝１／２・ＰＣ_Ｗｉｄｅ（１＋１／ＺＦ）
ＰＣは、１行当たりの画素の数である。Ｙは、行の数である。

２）インデックステレセンサのクロッピング
ＺＦ＞Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）である場合には、以下の通りである。

Ｙ_{Ｔｅｌｅ ｓｔａｒｔ}＝１／２・ＰＣ_Ｔｅｌｅ（１−（１／ＺＦ）・Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）／Ｔａｎ（ＦＯＶ_Ｗｉｄｅ））
Ｙ_{Ｔｅｌｅ ｅｎｄ}＝１／２・ＰＣ_Ｔｅｌｅ（１＋（１／ＺＦ）・Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）／Ｔａn（ＦＯＶ_Ｗｉｄｅ））
ＺＦ＜Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）である場合には、以下の通りである。

Ｙ_{Ｔｅｌｅ ｓｔａｒｔ}＝０
Ｙ_{Ｔｅｌｅ ｅｎｄ}＝ＰＣ_Ｔｅｌｅ
これにより、テレセンサの露光開始時間に、以下の時間だけ遅延が生じる。（行数で、ワイドセンサの開始時間に対して）
（１−ＺＦ／（（Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）））・１／（２・ＦＰＳ） （６）
ＦＰＳは、センサの１秒当たりのフレーム数の設定である。ＺＦ＞Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）である場合には、テレの露光開始点とワイドの露光開始点との間で遅延が生じることはない。例えば、Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）＝２、ＺＦ＝１である場合に、テレ画像の最初の画素は、ワイド画像の最初の画素が露光されてから１／４・（１／ＦＰＳ）秒後に露光される。

要求されたズーム倍率に基づいてクロッピングが実行された後、センサのローリングシャッタ時間および垂直ブランキング時間は、同じフレームレートを維持するために、以下の式を満たすように設定される。

ＶＢ_Ｗｉｄｅ＋ＲＳＴ_Ｗｉｄｅ＝ＶＢ_Ｔｅｌｅ＋ＲＳＴ_Ｔｅｌｅ （７）
図３は、式（７）を例示する。式（７）を満たす方法の１つは、ＲＳＴ_Ｗｉｄｅを増加させることである。ＲＳＴ_Ｗｉｄｅを制御することは、ワイドセンサの水平ブランキング時間（ＨＢ）を変化させることでなされてよい。これにより、ワイドセンサのそれぞれの列から出力されるデータの間に遅延が生じる。

一般に、デュアルセンサシステムの動作には、後段のブロック、例えばＩＳＰへのバンド幅の増大が要求される。例えば、３０ｆｐｓ、１画素当たり１０ビットで動作する１２Ｍｐのセンサを用いる場合、３．６Ｇｂｉｔ／秒での動作が要求される。この例では、このバンド幅をサポートするために、各センサからそれぞれの処理チェーンにおける後段のＩＳＰへ、４つのレーンが要求される。このため、２つのセンサを動作させる場合には、２倍のバンド幅（７．２Ｇｂｉｔ／秒）、およびそれぞれの後段のブロックへ接続される８のレーンが要求される。２つのセンサを設定し、同期させることで、バンド幅を削減することが可能である。これにより、レーンの数を、従来の設定（３．６Ｇｂｉｔ／秒）におけるレーンの数の半分にすることができる。

図４は、上述した図３の説明における条件を満たした上で、デュアルセンサズームシステムを用いて、１つのセンサのインタフェースを割り当てることを可能とする、センサの時間設定の概略を示す。簡単のため、テレセンサ画像は、ワイドセンサ画像と比較して２倍に拡大されており、ワイドセンサの水平ブランキング時間ＨＢ_Ｗｉｄｅは、ワイドセンサの１行の読み出し時間の２倍に設定されているものとする。これにより、ワイドの行ごとの出力の間に遅延が生じる。この遅延時間は、テレセンサから２行を出力するために必要な時間と完全に一致する。テレセンサから２行を出力した後には、テレセンサの水平ブランキング時間ＨＢ_Ｔｅｌｅが、ワイドの１行の読み出し時間に設定される。このため、ワイドセンサが当該センサから１段出力する間、テレセンサからはデータが出力されない。この例では、テレセンサの３行ごとにＨＢ_Ｔｅｌｅだけ遅延が生じる。この遅延時間に、デュアルセンサシステムからワイドセンサの１行が出力される。センサの設定段階の後には、データがパラレルに、または多重送信を用いて処理部へ送信される。

図５は、静止モードにおいてズーム画像を得るための、本開示に係る方法の一実施形態を示す。ＩＳＰステップ５０２において、各センサのデータは、それぞれのＩＳＰコンポーネントに転送される。ＩＳＰコンポーネントは、転送されたデータに対して、ノイズ除去、モザイク除去、鮮鋭化、スケーリングなどの、公知技術である多様な処理を行う。ステップ５０２での処理の後、以下の全ての処理が、キャプチャ処理コア１２８で行われる。修正ステップ５０４では、ワイド画像およびテレ画像の両方が、エピポーラ線上に存在するように整列させられる。位置合わせステップ５０６では、位置合わせマップを生成するために、整列したワイド画像とテレ画像との間でマッピングが行われる。再サンプリングステップ５０８では、位置合わせマップに基づいてテレ画像が再サンプリングされ、再サンプリングされたテレ画像となる。決定ステップ５１０では、再サンプリングされたテレ画像およびワイド画像が、位置合わせにおけるエラーを検出し、決定出力を供給する処理を実行される。より詳細には、ステップ５１０において、再サンプリングされたテレ画像のデータは、ワイド画像のデータと比較され、その比較により顕著な相違が検出された場合には、エラーが示される。この場合、ワイドの画素値は、出力画像において用いられるために選択される。その後、融合ステップ５１２において、決定出力、再サンプリングされたテレ画像、およびワイド画像が、１つのズームイメージに融合される。

処理時間および電力を削減するため、ステップ５０６、５０８、５１０、５１２は、焦点を合わせられていない区域において画像を融合させないことによって迂回されてもよい。この場合、上に挙げた全てのステップは、焦点を合わせられている区域にのみ適用されるべきである。テレ光学システムは、ワイド光学システムよりも被写界深度が浅くなるため、焦点が合わせられていない区域においては、テレシステムの低いコントラストが問題となる。

（静止カメラモードにおけるズームインおよびズームアウト）
本願において、以下の通り定義する。ＴＦＯＶ＝ｔａｎ（ｃａｍｅｒａ ＦＯＶ／２）である。「低ＺＦ」は、ＺＦ＜Ｗｉｄｅ ＴＦＯＶ ／ Ｔｅｌｅ ＴＦＯＶに従う全てのＺＦを示す。「高ＺＦ」は、ＺＦ＞Ｗｉｄｅ ＴＦＯＶ ／ Ｔｅｌｅ ＴＦＯＶに従う全てのＺＦを示す。「ＺＦＴ」は、ＺＦ＝Ｗｉｄｅ ＴＦＯＶ ／ Ｔｅｌｅ ＴＦＯＶに従うＺＦを示す。一実施形態において、静止モードにおけるズームインおよびズームアウトは以下の通り実行される。

ズームイン：ＺＦＴをわずかに上回るまでの低ＺＦにおいては、出力画像はデジタルズームされたワイド融合出力である。上記低ＺＦより上側のＺＦでは、テレ画像は、スムーズな移行を実現するため、グローバル位置合わせ（ＧＲ）によってシフトおよび修正される。その後、出力は、テレ融合出力へ変換される。（上記上側のＺＦより）さらに高いＺＦでは、出力はデジタルズームされたテレ融合出力である。

ズームアウト：ＺＦＴをわずかに下回るまでの高ＺＦにおいては、出力画像はデジタルズームされたテレ融合出力である。上記高ＺＦより下側のＺＦでは、ワイド画像は、スムーズな移行を実現するため、ＧＲによってシフトおよび修正される。その後、出力は、ワイド融合出力に変換される。（上記下側のＺＦより）さらに低いＺＦでは、出力は原則的にデジタルズームされた、下側のＺＦにおける出力である。しかし、ワイドシフト修正を徐々に縮小する場合、出力はＺＦ＝１まで不変のワイドカメラ出力である。

別実施形態では、静止モードにおけるズームインおよびズームアウトは以下の通り実行される。

ズームイン：ＺＦＴをわずかに上回るまでの低ＺＦにおいては、出力画像はデジタルズームされたワイド融合出力である。上側のＺＦおよびそれより上では、出力画像はテレ融合出力である。

ズームアウト：ＺＦＴをわずかに下回るまでの高ＺＦにおいては、出力画像はデジタルズームされたテレ融合出力である。下側のＺＦおよびそれより下では、出力画像はワイド融合出力である。

（ビデオモードの操作／機能）
（スムーズな移行）
デュアルアパーチャカメラがサブカメラ間、または視点間でカメラ出力を切り換える時、通常「急激な」（不連続な）画像の変化が生じる。しかし、同一のカメラおよび視点におけるズーム倍率の変化は、連続的な変化として見られる。「スムーズな移行」は、急激な変化の影響が最小化された、カメラ間または視点間の移行である。これは、移行の前後における出力画像の位置、スケール、明るさおよび色の合致を含んでよい。しかし、サブカメラの出力間で、画像全体の位置を合致させることは、多くの場合において不可能である。これは、視差により、被写体との距離によって位置のシフトが生じるためである。このため、本開示に係るスムーズな移行では、位置の合致はＲＯＩ領域においてのみ達成され、スケール、明るさおよび色は、出力画像全域で合致する。

（ビデオモードにおけるズームインおよびズームアウト）
ビデオモードにおいて、連続的かつスムーズなズームエクスペリエンスを可能とするために、センサのオーバーサンプリングが用いられる。一方のサブカメラから他方への切り替え時に、画像の変化を除去する処理が実行される。１倍からＺ_{ｓｗｉｔｃｈ}倍までのズームは、ワイドセンサのみを用いて実行される。Ｚ_{ｓｗｉｔｃｈ}倍から上では、ズームは主にテレセンサにより実行される。「ジャンプ」（画像の荒れ）を防止するため、テレ画像への切り替えは、Ｚ_{ｓｗｉｔｃｈ}倍より若干高い（Ｚ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍ）ズーム倍率を用いて行われる。ΔＺｏｏｍは、システムの特性に基づいて決定される。ΔＺｏｏｍは、ズームインが実行される場合とズームアウトが実行される場合とで異なる（ΔＺｏｏｍ_ｉｎ≠ΔＺｏｏｍ_ｏｕｔ）。これは、ジャンプによるアーティファクトの残留物が、あるズーム倍率において可視化されることを防止するためになされる。センサ間の切り替えは、ズームを向上させる時とズームを低下させる時とで、異なるズーム倍率でなされる。

ビデオモードにおけるズーム操作は、段階（１）センサの制御及び設定、および（２）画像処理、という２つの段階を含む。１からＺ_{ｓｗｉｔｃｈ}までの範囲では、ワイドセンサのみが操作される。このため、電力はワイドセンサにのみ供給される。ワイドＡＦ機構においても同じ条件が適用される。Ｚ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍからＺ_ｍａｘまでは、テレセンサのみが操作される。このため、電力はテレセンサにのみ供給される。同様に、テレＡＦ機構において、テレセンサのみが操作され、電力がテレセンサにのみ供給される。別の選択肢は、テレセンサが操作され、かつワイドセンサが低フレームレートで動作することである。Ｚ_{ｓｗｉｔｃｈ}からＺ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍまでは、両方のセンサが操作される。

ズームイン：ＺＦＴをわずかに上回るまでの低ＺＦにおいては、出力画像は、デジタルズームされた、不変のワイドカメラ出力である。上側のＺＦでは、出力は、変換されたテレサブカメラの出力である。変換は、スムーズな移行を実現するため、グローバル位置合わせ（ＧＲ）アルゴリズムにより実行される。（上側のＺＦより）さらに高いＺＦでは、出力は、デジタルズームされた、上側のＺＦにおける出力である。

ズームアウト：ＺＦＴをわずかに下回るまでの高ＺＦにおいては、出力画像は、デジタルズームされた、変換されたテレカメラ出力である。下側のＺＦでは、出力はシフトされたワイドカメラ出力である。ワイドシフト修正は、スムーズな移行、すなわちＲＯＩ領域においてジャンプが発生しないことを実現するため、ＧＲアルゴリズムにより実行される。（下側のＺＦより）さらに低いＺＦでは、出力は原則的に、デジタルズームされた下側のＺＦにおける出力である。しかし、ワイドシフト修正を徐々に縮小する場合、出力はＺＦ＝１まで不変のワイドカメラ出力である。

図６は、ビデオ／プレビューモードにおいて、３つの異なるズーム倍率（ＺＦ）範囲でズーム画像を得るための、本開示に係る方法の一実施形態を示す。３つの異なるズーム倍率範囲は、（ａ）ＺＦが１からＺ_{ｓｗｉｔｃｈ}まで、（ｂ）ＺＦがＺ_{ｓｗｉｔｃｈ}からＺ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍ_ｉｎまで、および（ｃ）ＺＦがＺ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍ_ｉｎからＺ_ｍａｘまでの範囲である。説明は、ズーム変数に対する有効解像度のグラフ（図７）を参照して行う。ステップ６０２において、センサ制御モジュール１１６は、操作されるセンサ（ワイド、テレ、または両方）を選択（指示）する。特に、ＺＦの範囲が１からＺ_{ｓｗｉｔｃｈ}までであれば、モジュール１１６は、ワイドセンサが操作され、テレセンサが操作されないよう指示する。ＺＦの範囲がＺ_{ｓｗｉｔｃｈ}からＺ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍ_ｉｎまでであれば、モジュール１１６は、両方のセンサが操作されるよう指示し、ズーム画像はワイドセンサから生成される。ＺＦの範囲がＺ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍ_ｉｎからＺ_ｍａｘまでであれば、モジュール１１６は、ワイドセンサが操作されず、テレセンサが操作されるように指示する。ステップ６０２におけるセンサの選択の後、以下の全ての処理が、ビデオ処理コア１２６において実行される。オプションとして、ステップ６０４において、２つのセンサにより２つの画像が供給されている場合、カラーバランスが算出される。また、オプションとして、ステップ６０６において、算出されたカラーバランスが、１つの画像（ズーム倍率に依存する）に適用される。さらに、オプションとして、ステップ６０８において、変換係数を出力するために、ワイド画像とテレ画像との間で位置合わせが実行される。変換係数は、ステップ６１０において、ＡＦ位置を設定するために使用することができる。ステップ６１２において、ステップ６０２−６０８のいずれかの出力が、画像信号処理のために、１つの画像（ズーム倍率に依存する）に適用される。画像信号処理は、ノイズ除去、モザイク除去、先鋭化、スケーリングなどを含んでよい。ステップ６１４において、処理された画像は、変換係数、要求されたＺＦ（ズーム機能１２４から得られる）、および出力されるビデオの解像度（例えば１０８０ｐ）に基づいて再サンプリングされる。移行ポイントが同じＺＦで実行されることを避けるため、ΔＺｏｏｍはズームイン時とズームアウト時とで変更されてよい。これにより、センサの切り替えポイントがヒステリシスを有する。

より詳細に、ＺＦの範囲が１からＺ_{ｓｗｉｔｃｈ}までであり、ＺＦ＜Ｚ_{ｓｗｉｔｃｈ}である場合、ワイド画像データはステップ６１２においてＩＳＰへ転送され、ステップ６１４において再サンプリングされる。ＺＦの範囲がＺ_{ｓｗｉｔｃｈ}からＺ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍ_ｉｎまでである場合、両方のセンサが操作され、ズーム画像がワイドセンサから生成される。両方の画像について、所定のＲＯＩに基づいて、カラーバランスが算出される。加えて、所定のＲＯＩについて、変換係数を出力するために、ワイド画像とテレ画像との間で位置合わせが実行される。変換係数は、ＡＦ位置を設定するために用いられる。変換係数は、２つの画像で合致したポイント間の置換を含む。この置換は、画素の数により計測することができる。異なる置換は、画像の合致したポイント間で、移動する画素の数が異なるという結果をもたらす。この移動は深度へと置換され、深度はＡＦ位置へと変換されることができる。これにより、２つの画像（ワイドおよびテレ）を分析するだけで、ＡＦ位置を設定することができる。その結果が、焦点合わせの高速化である。

ＩＳＰステップにおいて、カラーバランス比および変換係数の両方が使用される。並行して、処理された画像を供給するためにワイド画像が処理され、その後再サンプリングされる。ＺＦの範囲がＺ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍ_ｉｎからＺ_ｍａｘまでであり、ズーム倍率がＺ_{ｓｗｉｔｃｈ}＋ΔＺｏｏｍ_ｉｎより大きい場合、先に算出されたカラーバランスは、テレ画像に適用される。テレ画像データは、ステップ６１２においてＩＳＰへ転送され、ステップ６１４において再サンプリングされる。切り換えによるアーティファクトを除去し、テレ画像へのスムーズな移行を可能とするため、処理されたテレ画像は、変換係数、要求されたＺＦ（ズーム機能１２４から得られる）および出力されるビデオの解像度（例えば１０８０ｐ）に基づいて再サンプリングされる。

図７は、ズームインの場合およびズームアウトの場合における有効解像度を、ズーム倍率の関数として示す。ΔＺｏｏｍ_ｕｐはズームイン時に設定され、ΔＺｏｏｍ_ｄｏｗｎはズームアウト時に設定される。ΔＺｏｏｍ_ｕｐをΔＺｏｏｍ_ｄｏｗｎと異なるように設定することで、ズームインが用いられるときとズームアウトが用いられるときとで、センサ間の移行が異なるズーム倍率（「ヒステリシス」）で実行される。ビデオモードにおけるこのヒステリシス現象が、スムーズかつ連続的なズームエクスペリエンスをもたらす。

（光学設計）
短い全トラック長（ＴＴＬ）を用いて光学ズームの解像度を実現するために、光学設計についての追加の検討事項が複数存在する。これらの検討事項は、テレレンズに関する。一実施形態において、カメラは、９ｍｍ未満の光路を有し、厚さ／焦点距離（ＦＰ）比が約０．８５未満であるという意味で「薄い」（図１Ｂも参照）。例えば、図８に示すように、そのような薄いカメラは、（被写体を始点とする光軸上に）５つのレンズを含むレンズブロックを有する。第１レンズ素子８０２は正のパワー、２つのレンズ８０４および８０６は負のパワー、第４レンズ８０８は正のパワー、第５レンズ８１０は負のパワーを有する。図８の実施形態において、ＥＦＬは７ｍｍ、ＴＴＬは４．７ｍｍ、ｆ＝６．１２、ＦＯＶ＝２０°である。このように、テレレンズのＴＴＬ／ＥＦＬ比は、０．９より小さい。別実施形態では、テレレンズのＴＴＬ／ＥＦＬ比は、１より小さくてもよい。薄型カメラにおけるレンズブロックの他の実施形態では、図９に示される通り、カメラは、正のパワーを有する第１レンズ素子９０２、負のパワーを有する第２レンズ素子９０４、正のパワーを有する第３レンズ素子９０６、負のパワーを有する第４レンズ素子９０８、および正または負のパワーを有する、列をなす第５レンズ素子９１０を含む（被写体を始点とする光軸上に）レンズブロックを有する。本実施形態において、ｆ＝７．１４、Ｆ＃＝３．５、ＴＴＬ＝５．８ｍｍ、ＦＯＶ＝２２．７°である。

結論として、本開示に係るデュアルアパーチャ光学ズームデジタルカメラおよび関連する方法は、ビデオモードにおいてワイドからテレへ変更するときに、処理リソースの総量を削減し、フレームレートの要求を低減し、消費電力を削減し、視差によるアーティファクトを除去し、連続的なフォーカスを提供（またはフォーカスの損失を提供）する。これらは、キャプチャモードでは、視差範囲の著しい削減を提供し、誤った位置合わせを回避させる。これらは、画像の輝度の差を削減し、公知のカメラのような２つではなく、単一のセンサのバンド幅での動作を可能とする。

本明細書に挙げた全ての特許出願は、その全体が、個々の特許出願を明確かつ個別に示して参照によりここに含めたのと同様に、参照によって本明細書に含まれる。加えて、本願におけるいかなる引用または特定事項も、このような参照物が本願に対する先行技術として利用可能であったことの自認として解釈されるべきではない。

本開示は、特定の実施形態および一般に関連する方法について説明されてきた。しかし、実施形態および方法の置換および互換は、当業者にとって明らかである。本開示は、ここで説明した特定の実施形態に限定されず、添付した特許請求の範囲のみにより理解される。

本開示に係るデュアルアパーチャズーム撮像システムの概略を示すブロック図を示す。 図１Ａのデュアルアパーチャズーム撮像システムの概略を示す機械図面である。 ワイドセンサ、テレセンサ、およびそれらのそれぞれのＦＯＶの例を示す。 ＣＭＯＳセンサの時間に対する画像の捕捉の実施形態の概略を示す。 デュアルセンサズームシステムを用いて、１つのセンサのインタフェースを割り当てることを可能とする、センサの時間設定の概略を示す。 キャプチャモードにおいてズーム画像を得るための、本開示に係る方法の一実施形態を示す。 ビデオ／プレビューモードにおいて、ズーム画像を得るための、本開示に係る方法の一実施形態を示す。 ズーム倍率に対する有効解像度を示したグラフを示す。 本開示に係る薄型カメラにおける、レンズブロックの一実施形態を示す。 本開示に係る薄型カメラにおける、レンズブロックの他の実施形態を示す。

Claims (19)

1. （ａ）ワイド視野（ＦＯＶ）を有する、単焦点ワイドレンズと、
   ワイドセンサと、
   ワイド画像信号プロセッサ（ＩＳＰ）と、を備えており、
   被写体またはシーンのワイド画像データを供給するワイド画像部と、
   （ｂ）上記ワイドＦＯＶよりも狭いテレＦＯＶを有する、単焦点テレレンズと、
   テレセンサと、
   テレＩＳＰと、を備えており、
   上記被写体またはシーンのテレ画像データを供給するテレ画像部と、
   （ｃ）上記ワイド画像部および上記テレ画像部と動作的に連結されており、
   静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合し、
   特定の視点からの上記被写体またはシーンの融合された出力画像を供給し、かつ、
   融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給するカメラコントローラと、を備え、
   各出力画像は、個別の出力解像度を有しており、
   低ズーム倍率（ＺＦ）値から高ＺＦ値へと切り替える場合、またはその逆の場合に、上記ビデオ出力画像は、スムーズな移行によって供給され、
   上記低ＺＦ値において、上記出力解像度は上記ワイドセンサによって決定され、
   上記高ＺＦ値において、上記出力解像度は上記テレセンサによって決定され、
   上記コントローラは、
   ユーザ入力を受け付けるユーザ制御モジュールと、
   上記ユーザ入力に基づき、上記各センサに上記ワイド画像データおよび上記テレ画像データを取得させるセンサ制御モジュールと、
   を備え、
   上記ユーザ入力は、ズーム倍率、カメラモード、および関心領域（ＲＯＩ）を含むことを特徴とするズームデジタルカメラ。
2. 上記センサ制御モジュールは、上記ワイド視野、上記テレ視野、およびセンサのオーバーサンプリング比に依存する設定を有しており、
   上記設定は、各センサの設定に用いられることを特徴とする請求項１に記載のカメラ。
3. 上記ワイドＦＯＶ、上記テレＦＯＶ、および上記センサのオーバーサンプリング比は、下記の条件
   ０．８＊ＰＬ_Ｗｉｄｅ／ＰＬ_{ｖｉｄｅｏ}＜Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）＜１．２＊ＰＬ_Ｗｉｄｅ／ＰＬ_{ｖｉｄｅｏ}
   を満たしており、
   ＰＬ_Ｗｉｄｅは、ワイドセンサの画素の一列あたりの数であり、
   ＰＬ_{ｖｉｄｅｏ}は、出力ビデオフォーマットの画素の一列あたりの数であることを特徴とする請求項２に記載のカメラ。
4. 上記テレレンズにおいて、全長（ＴＴＬ）／有効焦点距離（ＥＦＬ）の比率は、１よりも小さいことを特徴とする請求項１に記載のカメラ。
5. 各レンズは、５つのレンズ素子を有することを特徴とする請求項４に記載のカメラ。
6. 上記５つのレンズ素子は、上記被写体の側から順に、正−負−負−正−負のパワーを有していることを特徴とする請求項５に記載のカメラ。
7. 上記５つのレンズ素子は、上記被写体の側から順に、（ｉ）正−負−正−負−正のパワー、または、（ｉｉ）正−負−正−負−負のパワーを有していることを特徴とする請求項５に記載のカメラ。
8. 上記低ＺＦ値から上記高ＺＦ値へと切り替える場合、またはその逆の場合に、
   スムーズな移行によるビデオ出力画像を供給するための上記カメラコントローラの設定は、
   上記ワイドセンサまたは上記テレセンサのいずれか一方からの情報を使用する設定を含むことを特徴とする請求項１に記載のカメラ。
9. 上記低ＺＦ値から上記高ＺＦ値へと切り替える場合、またはその逆の場合に、
   スムーズな移行によるビデオ出力画像を供給するための上記カメラコントローラの設定は、
   高ＺＦにおいて上記ワイド画像部からの二次的な情報を使用し、かつ、低ＺＦにおいて上記テレ画像部からの二次的な情報を使用する設定を含むことを特徴とする請求項１に記載のカメラ。
10. デジタルカメラを用いて、静止モードおよびビデオモードの両方において被写体またはシーンのズーム画像を得る方法であって、
    ａ）上記デジタルカメラにおいて、
    （ｉ）ワイド視野（ＦＯＶ）を有するワイドレンズと、（ｉｉ）ワイドセンサと、（ｉｉｉ）ワイド画像信号プロセッサ（ＩＳＰ）と、を備えており、被写体またはシーンのワイド画像データを供給するワイド画像部と、
    （ｉ）上記ワイドＦＯＶよりも狭いテレＦＯＶを有するテレレンズと、（ｉｉ）テレセンサと、（ｉｉｉ）テレＩＳＰと、を有しており、上記被写体またはシーンのテレ画像データを供給するテレ画像部と、
    上記ワイド画像部および上記テレ画像部と動作的に連結されているカメラコントローラと、を設けるステップと、
    ｂ）上記カメラコントローラに、
    静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させ、
    特定の視点からの上記被写体またはシーンの融合された出力画像を供給させ、かつ、
    融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給させるステップと、を含んでおり、
    各出力画像は、個別の出力解像度を有しており、
    低ズーム倍率（ＺＦ）値から高ＺＦ値へと切り替える場合、またはその逆の場合に、上記ビデオ出力画像は、スムーズな移行によって供給され、
    上記低ＺＦ値において、上記出力解像度は上記ワイドセンサによって決定され、
    上記高ＺＦ値において、上記出力解像度は上記テレセンサによって決定され、
    上記スムーズな移行は、
    ズームイン時には、第１のＺＦ値において、低ＺＦ倍率と高ＺＦ倍率とを切り替えることによって実現され、
    ズームアウト時には、上記第１のＺＦ値とは異なる第２のＺＦ値において、高ＺＦ倍率と低ＺＦ倍率とを切り替えることによって実現されることを特徴とする方法。
11. 上記カメラコントローラに、融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給させるステップは、
    上記ワイドＦＯＶ、上記テレＦＯＶ、およびセンサのオーバーサンプリング比に依存する設定によって、各センサを設定するステップを含むことを特徴とする請求項１０に記載の方法。
12. 上記ワイドＦＯＶ、上記テレＦＯＶ、および上記センサのオーバーサンプリング比は、下記の条件
    ０．８＊ＰＬ_Ｗｉｄｅ／ＰＬ_{ｖｉｄｅｏ}＜Ｔａｎ（ＦＯＶ_Ｗｉｄｅ）／Ｔａｎ（ＦＯＶ_Ｔｅｌｅ）＜１．２＊ＰＬ_Ｗｉｄｅ／ＰＬ_{ｖｉｄｅｏ}
    を満たしており、
    ＰＬ_Ｗｉｄｅは、ワイドセンサの画素の一列あたりの数であり、
    ＰＬ_{ｖｉｄｅｏ}は、出力ビデオフォーマットの画素の一列あたりの数であることを特徴とする請求項１１に記載の方法。
13. 上記カメラコントローラに、融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給させるステップは、
    変換係数を出力するために、上記ワイド画像と上記テレ画像との間における位置合わせを行うステップと、
    オートフォーカス位置を設定するために、上記変換係数を使用するステップと、
    を含むことを特徴とする請求項１０に記載の方法。
14. 各レンズは、異なるＦ値を有しており、
    上記カメラコントローラに、静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させて、融合された出力画像を供給させるステップは、
    上記カメラコントローラに、上記異なるＦ値に基づいて露光時間を設定させるステップを含むことを特徴とする請求項１０に記載の方法。
15. 上記カメラコントローラに、静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させて、融合された出力画像を供給させるステップは、
    上記２つのセンサに、単一のセンサのバンド幅を用いて、上記融合された出力画像を取得させるステップを含むことを特徴とする請求項１０に記載の方法。
16. 上記カメラコントローラに、静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させて、融合された出力画像を供給させるステップは、
    上記２つのセンサを同時に露光を開始させるように、上記カメラコントローラに、上記ワイドセンサおよび上記テレセンサを同期させるステップを含むことを特徴とする請求項１０に記載の方法。
17. デジタルカメラを用いて、静止モードおよびビデオモードの両方において被写体またはシーンのズーム画像を得る方法であって、
    ａ）上記デジタルカメラにおいて、
    （ｉ）ワイド視野（ＦＯＶ）を有するワイドレンズと、（ｉｉ）ワイドセンサと、（ｉｉｉ）ワイド画像信号プロセッサ（ＩＳＰ）と、を備えており、被写体またはシーンのワイド画像データを供給するワイド画像部と、
    （ｉ）上記ワイドＦＯＶよりも狭いテレＦＯＶを有するテレレンズと、（ｉｉ）テレセンサと、（ｉｉｉ）テレＩＳＰと、を有しており、上記被写体またはシーンのテレ画像データを供給するテレ画像部と、
    上記ワイド画像部および上記テレ画像部と動作的に連結されているカメラコントローラと、を設けるステップと、
    ｂ）上記カメラコントローラに、
    静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させ、
    特定の視点からの上記被写体またはシーンの融合された出力画像を供給させ、かつ、
    融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給させるステップと、を含んでおり、
    各出力画像は、個別の出力解像度を有しており、
    低ズーム倍率（ＺＦ）値から高ＺＦ値へと切り替える場合、またはその逆の場合に、上記ビデオ出力画像は、スムーズな移行によって供給され、
    上記低ＺＦ値において、上記出力解像度は上記ワイドセンサによって決定され、
    上記高ＺＦ値において、上記出力解像度は上記テレセンサによって決定され、
    上記カメラコントローラに、静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させて、融合された出力画像を供給させるステップは、
    上記カメラコントローラに、フォーカスされた領域のみにおいて、ワイド画像データおよびテレ画像データを結合させるステップを含むことを特徴とする方法。
18. デジタルカメラを用いて、静止モードおよびビデオモードの両方において被写体またはシーンのズーム画像を得る方法であって、
    ａ）上記デジタルカメラにおいて、
    （ｉ）ワイド視野（ＦＯＶ）を有するワイドレンズと、（ｉｉ）ワイドセンサと、（ｉｉｉ）ワイド画像信号プロセッサ（ＩＳＰ）と、を備えており、被写体またはシーンのワイド画像データを供給するワイド画像部と、
    （ｉ）上記ワイドＦＯＶよりも狭いテレＦＯＶを有するテレレンズと、（ｉｉ）テレセンサと、（ｉｉｉ）テレＩＳＰと、を有しており、上記被写体またはシーンのテレ画像データを供給するテレ画像部と、
    上記ワイド画像部および上記テレ画像部と動作的に連結されているカメラコントローラと、を設けるステップと、
    ｂ）上記カメラコントローラに、
    静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させ、
    特定の視点からの上記被写体またはシーンの融合された出力画像を供給させ、かつ、
    融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給させるステップと、を含んでおり、
    各出力画像は、個別の出力解像度を有しており、
    低ズーム倍率（ＺＦ）値から高ＺＦ値へと切り替える場合、またはその逆の場合に、上記ビデオ出力画像は、スムーズな移行によって供給され、
    上記低ＺＦ値において、上記出力解像度は上記ワイドセンサによって決定され、
    上記高ＺＦ値において、上記出力解像度は上記テレセンサによって決定され、
    上記カメラコントローラに、静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させて、融合された出力画像を供給させるステップは、
    上記カメラコントローラに、異なる輝度を有する２つの画像をセットさせ、ワイドダイナミックレンジ画像を供給させるステップを含むことを特徴とする方法。
19. デジタルカメラを用いて、静止モードおよびビデオモードの両方において被写体またはシーンのズーム画像を得る方法であって、
    ａ）上記デジタルカメラにおいて、
    （ｉ）ワイド視野（ＦＯＶ）を有するワイドレンズと、（ｉｉ）ワイドセンサと、（ｉｉｉ）ワイド画像信号プロセッサ（ＩＳＰ）と、を備えており、被写体またはシーンのワイド画像データを供給するワイド画像部と、
    （ｉ）上記ワイドＦＯＶよりも狭いテレＦＯＶを有するテレレンズと、（ｉｉ）テレセンサと、（ｉｉｉ）テレＩＳＰと、を有しており、上記被写体またはシーンのテレ画像データを供給するテレ画像部と、
    上記ワイド画像部および上記テレ画像部と動作的に連結されているカメラコントローラと、を設けるステップと、
    ｂ）上記カメラコントローラに、
    静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させ、
    特定の視点からの上記被写体またはシーンの融合された出力画像を供給させ、かつ、
    融合連続ズームなしに、上記被写体またはシーンのビデオモード出力画像を供給させるステップと、を含んでおり、
    各出力画像は、個別の出力解像度を有しており、
    低ズーム倍率（ＺＦ）値から高ＺＦ値へと切り替える場合、またはその逆の場合に、上記ビデオ出力画像は、スムーズな移行によって供給され、
    上記低ＺＦ値において、上記出力解像度は上記ワイドセンサによって決定され、
    上記高ＺＦ値において、上記出力解像度は上記テレセンサによって決定され、
    上記カメラコントローラに、静止モードにおいて上記ワイド画像データおよび上記テレ画像データの少なくとも一部を結合させて、融合された出力画像を供給させるステップは、
    上記被写体の画像における重なり合う領域が同時に露光するように、上記カメラコントローラに、上記ワイドセンサおよび上記テレセンサを同期させるステップを含み、
    上記同期させるステップは、
    ｉ）テレセンサの垂直ブランキング時間ＶＢ_Ｔｅｌｅを、（ｉ）ワイドセンサの垂直ブランキング時間ＶＢ_Ｗｉｄｅと、（ｉｉ）ワイドセンサのローリングシャッタ時間ＲＳＴ_Ｗｉｄｅの半分との和、に等しくなるように設定するステップと、
    ｉｉ）テレセンサーの露光時間ＥＴ_Ｔｅｌｅおよびワイドセンサの露光時間ＥＴ_Ｗｉｄｅのそれぞれを、互いに等しくなるように設定するステップと、
    ｉｉｉ）テレセンサのローリングシャッタ時間ＲＳＴ_Ｔｅｌｅを、ＲＳＴ_Ｗｉｄｅ／２に設定するステップと、
    ｉｖ）上記２つのセンサのフレームレートを、互いに等しくなるように設定するステップと、
    を含むことを特徴とする方法。
    

Images