[go: up one dir, main page]

JP6945744B2 - 撮影方法、装置、およびデバイス - Google Patents

撮影方法、装置、およびデバイス Download PDF

Info

Publication number
JP6945744B2
JP6945744B2 JP2020538927A JP2020538927A JP6945744B2 JP 6945744 B2 JP6945744 B2 JP 6945744B2 JP 2020538927 A JP2020538927 A JP 2020538927A JP 2020538927 A JP2020538927 A JP 2020538927A JP 6945744 B2 JP6945744 B2 JP 6945744B2
Authority
JP
Japan
Prior art keywords
camera
image
zoom
resolution
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538927A
Other languages
English (en)
Other versions
JP2021507646A (ja
Inventor
▲銀▼廷 王
▲銀▼廷 王
熙 ▲張▼
熙 ▲張▼
一帆 ▲張▼
一帆 ▲張▼
▲錦▼▲偉▼ ▲陳▼
▲錦▼▲偉▼ ▲陳▼
▲海▼▲東▼ 高
▲海▼▲東▼ 高
昌▲啓▼ 胡
昌▲啓▼ 胡
瑞▲華▼ 李
瑞▲華▼ 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021507646A publication Critical patent/JP2021507646A/ja
Application granted granted Critical
Publication of JP6945744B2 publication Critical patent/JP6945744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Description

本発明は、端末技術の分野に関し、特に、撮影方法、装置、およびデバイスに関する。
ズームは、写真を撮る最も一般的なモードの1つである。ユーザは、遠くにある像や3〜5メートル離れた人物など、遠くにある被写体のクローズアップを撮影する必要がある場合があり、ユーザは、時にはズームを使用して、撮影用の画像レイアウトを調整したい場合がある。例えば、携帯電話で写真を撮る場合、携帯電話ユーザが最もよく使用するズームは2x〜5xである。
ズームを実現する方法としては、光学ズーム（optical zoom）、デジタルズーム（digital zoom）などがある。光学ズームとデジタルズームの両方が、撮影中に遠くの被写体をズームインするのに役立つが、光学ズームのみが、物体の撮像後により多くのピクセルを追加することによって画像物体を大きく、比較的鮮明にすることができる。光学ズームに似ており、物体の領域をズームできるだけでなく、画像の鮮明度を確実にすることができるこのようなズームは、ロスレスズームと呼ばれる。
撮影端末は通常、プライムレンズまたはズームレンズを使用しているが、光学ズームが可能かどうかが最大の違いである。プライムレンズは光学ズームを行うことができない。中心のシーンは、中心のシーンに近づくか、画像補間アルゴリズムを使用してデジタルズームを実行することによってのみズームインすることができる。しかし、ズームレンズは光学ズームを実行でき、遠くの被写体をズームするためには、ズームレンズの対応するズーム比をその光学ズーム範囲内で調整するだけで、詳細を失わずに被写体を確実にズームインする。ズームレンズは、レンズの焦点距離を調整することにより、被写体を遠くまでズームインできるため、ユーザは遠くの被写体の細部を鮮明に見ることができる。
しかし、ズームレンズは通常比較的大きくて厚く、一般的にデジタルカメラで使用されている。このようなズームレンズ、特に高ズーム比（3xより高い）のズームレンズを携帯端末デバイス（例えば、薄型の携帯電話）に直接使用することは、薄型の携帯端末デバイスを求めるユーザの追求に反する。したがって、デジタルズーム技術を使用して遠くの被写体をズームインするのが一般的な方法である。しかし、この技術では、解像力と撮像の鮮明度の改善が制限される。ズーム比が比較的高い場合、画像の鮮明度の損失が起こる。
したがって、端末デバイスの薄型特徴を確保しながら、端末デバイスの撮像がより高い解像力およびより高い鮮明度を得ることができる技術的解決策が緊急に必要とされている。
本発明の実施形態は、高ズーム比でロスレス撮像を達成し、それによってユーザの撮影エクスペリエンスを改善するための撮影方法、装置、およびデバイスを提供する。
本発明の実施形態で提供される具体的な技術的解決策は、以下の通りである。
第1の態様によれば、本発明の一実施形態は、撮影方法を提供し、方法は撮影端末に適用され、撮影端末は第1のカメラ、第2のカメラ、および第3のカメラを含み、第1のカメラおよび第3のカメラはカラーカメラであり、第2のカメラは白黒カメラであり、第1のカメラ、第2のカメラ、第3のカメラはすべてプライムレンズを使用するカメラであり、第3のカメラの等価焦点距離は、第1のカメラの等価焦点距離および第2のカメラの等価焦点距離の両方より大きく、方法は、
目標ズーム比を取得するステップと、
目標ズーム比に基づいて、第1のカメラ、第2のカメラ、および第3のカメラのうちから少なくとも1つのカメラを目標カメラとして決定するステップと、
目標カメラを使用して、目標シーンを含む少なくとも1つの画像を取り込むステップと、
目標シーンを含む少なくとも1つの画像に基づいて、少なくとも1つの目標シーンの出力画像を取得するステップと、を特に含む。
目標シーンは、ユーザが最終的に撮影することを期待している領域であり、端末の目標ズーム比でのプレビュー画像として理解することもでき、したがって、目標ズーム比と目標シーンとの間には対応関係がある。
第2の態様によれば、本発明の一実施形態は、撮影装置を提供し、装置は撮影端末に適用され、撮影端末は第1のカメラ、第2のカメラ、および第3のカメラを含み、第1のカメラおよび第3のカメラはカラーカメラであり、第2のカメラは白黒カメラであり、第1のカメラ、第2のカメラ、第3のカメラはすべてプライムレンズを使用するカメラであり、第3のカメラの等価焦点距離は、第1のカメラの等価焦点距離および第2のカメラの等価焦点距離の両方より大きく、装置は、
目標ズーム比を取得するように構成された取得モジュールと、
目標ズーム比に基づいて、第1のカメラ、第2のカメラ、および第3のカメラのうちから少なくとも1つのカメラを目標カメラとして決定するように構成された決定モジュールと、
目標カメラを使用して、目標シーンを含む少なくとも1つの画像を取り込むように構成された取り込みモジュールと、
目標シーンを含む少なくとも1つの画像に基づいて、目標シーンの出力画像を取得するように構成された画像処理モジュールと、をさらに含む。
本発明の実施形態で提供される前述の方法および装置の技術的解決策によれば、撮影端末は、大きな体積のズームデバイスの代わりに、プライムレンズを使用する複数のカメラの組み合わせを使用するので、端末の厚さは大幅に増加しないため、約5xのロスレスズーム効果が得られる。これにより、特に携帯電話などのスマートハンドヘルドデバイスの端末の美観が保証され、小型薄型端末と大きなズームでのロスレス撮像に対するユーザの要件が満たされ、ユーザの使用エクスペリエンスが向上する。
第1の態様または第2の態様によれば、可能な設計では、第2のカメラの解像度は、第1のカメラの解像度よりも高く、かつ第3のカメラの解像度よりも高い。
第1の態様または第2の態様によれば、可能な設計では、第2のカメラの解像度は、第1のカメラの出力画像の解像度よりも高く、かつ第3のカメラの出力画像の解像度よりも高い。
第1の態様または第2の態様によれば、可能な設計では、方法は、目標ズーム比が（1、3）内の場合に、第1のカメラおよび第2のカメラを目標カメラとして決定するステップと、第1のカメラおよび第2のカメラを使用して、目標シーンを含む画像をそれぞれ取り込むステップと、を含む。方法は、取得モジュール、決定モジュール、および取り込みモジュールによって協調的に実行されてもよい。
第3のカメラと比べて、第1のカメラおよび第2のカメラは短焦点レンズを使用したカメラである。低い目標ズーム比の要件の下で、第1のカメラと第2のカメラを使用して、それぞれカラー画像と白黒画像を取り込み、センタークロッピング、マルチフレームズーム、白黒とカラーの融合の方法を後で使用することにより、低い目標ズーム比での鮮明な撮像を実現することができる。これらのアルゴリズムは、画像処理モジュールによって実行されてもよい。
第1の態様または第2の態様によれば、可能な設計では、方法は、目標ズーム比が［3、5］内の場合に、目標シーンの照度が予め設定されたしきい値よりも低いかどうかをさらに判定するステップと、目標シーンの照度が予め設定されたしきい値よりも低い場合には、第3のカメラおよび第2のカメラを目標カメラとして決定し、第2のカメラおよび第3のカメラを使用して、目標シーンを含む画像をそれぞれ取り込むステップと、あるいは、目標シーンの照度が予め設定されたしきい値より低くない場合には、第3のカメラを目標カメラとして決定し、第3のカメラを使用して、目標シーンを含む少なくとも1つの画像を取り込むステップと、を含む。方法は、取得モジュール、決定モジュール、および取り込みモジュールによって協調的に実行されてもよい。
第1のカメラおよび第2のカメラと比較して、第3のカメラは望遠レンズを使用するカメラである。適度な目標ズーム比の要件の下で、カラー画像を取り込むために第3のカメラが使用される。目標シーンに十分な光がある場合、すなわち目標シーンが暗くない環境にある場合には、センタークロッピングとマルチフレームズームの方法を使用することにより、ロスレスズームをほぼ実現することができる。目標シーンに十分な光がない場合、すなわち目標シーンが暗い環境にある場合には、第2のカメラを有効にして、第3のカメラで取り込まれたカラー画像の詳細を補足するために黒い画像を取り込む必要があり、また、センタークロッピング、マルチフレームズーム、ならびに望遠、白黒、およびカラーの融合などの方法を使用して、ロスレスズームをほぼ達成できるため、適度な目標ズーム比で鮮明な撮像を実現することができる。これらのアルゴリズムは、画像処理モジュールによって実行されてもよい。
第1の態様または第2の態様によれば、可能な設計では、方法は、目標ズーム比が（5、10］内の場合に、目標シーンの照度が予め設定されたしきい値よりも低いかどうかを判定するステップと、目標シーンの照度が予め設定されたしきい値よりも低い場合には、第3のカメラおよび第2のカメラを目標カメラとして決定し、第2のカメラおよび第3のカメラを使用して、目標シーンを含む画像をそれぞれ取り込むステップと、あるいは、目標シーンの照度が予め設定されたしきい値より低くない場合には、第3のカメラを目標カメラとして決定し、第3のカメラを使用して、目標シーンを含む少なくとも1つの画像を取り込むステップと、を含む。方法は、取得モジュール、決定モジュール、および取り込みモジュールによって協調的に実行されてもよい。
第1のカメラおよび第2のカメラと比較して、第3のカメラは望遠レンズを使用するカメラである。高い目標ズーム比の要件の下で、カラー画像を取り込むために第3のカメラが使用される。目標シーンに十分な光がある場合、すなわち目標シーンが暗くない環境にある場合には、センタークロッピング、マルチフレームズーム、およびデジタルズームの方法を使用することにより、ロスレスズームをほぼ実現することができる。目標シーンに十分な光がない場合、すなわち目標シーンが暗い環境にある場合には、第2のカメラを有効にして、第3のカメラで取り込まれたカラー画像の詳細を補足するために黒い画像を取り込む必要がさらにあり、また、センタークロッピング、マルチフレームズーム、デジタルズーム、ならびに望遠、白黒、およびカラーの融合などの方法を使用して、ロスレスズームをほぼ達成できるため、高い目標ズーム比で鮮明な撮像を実現することができる。これらのアルゴリズムは、画像処理モジュールによって実行されてもよい。
第1の態様または第2の態様によれば、可能な設計では、第3のカメラの等価焦点距離は、第2のカメラの等価焦点距離の3倍であり、第2のカメラの等価焦点距離は、第1のカメラの等価焦点距離に等しい。
第1の態様または第2の態様によれば、可能な設計では、第1のカメラの等価焦点距離は27mmであり、第2のカメラの等価焦点距離は27mmであり、第3のカメラの等価焦点距離は80mmである。つまり、第3のカメラの等価焦点距離は、第1と第2のカメラの等価焦点距離の約3倍である。
第1の態様または第2の態様によれば、可能な設計では、第1のカメラの解像度、第2のカメラの解像度、および第3のカメラの解像度は、それぞれ10M、20M、および10Mである。
異なる端末は、ユーザの異なるズーム要件に基づいて決定されてもよく、これらの端末は、異なる特徴を備えたレンズを有し、異なるズーム条件でレンズの組み合わせ、画像処理アルゴリズムなどを提供してもよいことを理解されたい。前述の説明で境界点として3xおよび5xが使用されていることは、その1つの実施態様である。より広義には、本発明における目標ズーム比は、低い範囲、中程度の範囲、および高い範囲の3つの範囲をカバーしてもよい。説明を簡単にするために、3つの範囲は（1，a）、［a，b］、および（b，c］として表される。短焦点レンズを使用したカメラ（例えば、等価焦点距離が27 mm）として、第1のカメラと第2のカメラには強力な短焦点撮像機能がある。しかし、目標ズーム比の値が大きくなるほど、第1のカメラおよび第2のカメラで撮像された少なくとも1つの画像を処理して得られる出力画像の鮮明度は低下し、ここで、処理アルゴリズムには、マルチフレームズーム、および白黒とカラーの融合が含まれる。したがって、鮮明度の制約下では、aには上限値があり、特定の上限値はレンズパラメータ、アルゴリズム、および鮮明度に対するユーザの要件に関連している。具体的な上限値は記載されておらず、これに限定されない。第3のカメラのレンズパラメータは通常、aの上限値に関連している（例えば、aが3の場合、第3のカメラの等価焦点距離は80mmになり得る）。具体的には、適度なズームの要件の下では、第1のカメラと第2のカメラはすでに撮像要件を満たすことができず、この場合、少なくとも1つの画像を取り込む主なタスクは望遠レンズ、すなわち第3のカメラで行う必要がある。しかし、目標ズーム比の値がさらに大きくなると、第3のカメラで取り込まれた少なくとも1つの画像を処理することによって得られる出力画像の鮮明度もまた低下するが、ここで、処理アルゴリズムにはマルチフレームズームおよび白黒とカラーの融合が含まれる。したがって、鮮明度の制約下では、bにも上限値があり、bは端末が達成できるほぼロスのない最大ズーム能力として代替的に理解でき、具体的な上限値はレンズパラメータ、アルゴリズム、および鮮明度に対するユーザの要求に関連している。具体的な上限値は記載されておらず、これに限定されない。（b、c］の範囲のレンズの組み合わせと画像取り込みの方法は、（b、c）の範囲では、デジタルズームのアルゴリズムが後で追加されていることを除いて、［a、b］の範囲の方法と似ており、高い目標ズーム比での撮像を実現しているが、すでに撮像品質の低下が発生している。したがって、端末システム、構成要素などの機能的制約の下では、cには上限値があり、cは低鮮明度要件の下で端末が達成できる最大ズーム能力としても理解することができ、具体的な上限値は、レンズパラメータ、アルゴリズム、および鮮明度に対するユーザの要求に関連している。具体的な上限値は記載されておらず、これに限定されない。本発明によれば、（1、b）ズーム範囲でのロスレスズームを実現することができる。
さらに、ユーザがズーム画像の鮮明度の限定的な低下を許容する場合、または端末デバイスが、画像処理アルゴリズムの進歩により、より長い焦点距離の望遠レンズ（例えば、4x望遠レンズまたは5x望遠レンズであり、具体的には、等価焦点距離は108mmまたは135mmである）を使用することが可能な場合には、前述の可能な設計では、目標ズーム比の範囲、レンズパラメータ、およびレンズの組み合わせの方法はすべて、前述の理論に基づいて適応的に調整でき、それによってユーザの要求を満たす画像を得ることができる。例えば、第3のカメラの等価焦点距離は80mmを超えてもよい。これらの可能な設計はすべて、本発明の保護範囲に含まれるものとする。
さらに、ユーザが光の影響を受けやすい状態でズーム画像のノイズまたは細部の限定的な増加を許容する場合、または端末デバイスが、画像処理アルゴリズムの進歩により、より長い焦点距離の望遠レンズ（例えば、4x望遠レンズまたは5x望遠レンズであり、具体的には、等価焦点距離は108mmまたは135mmである）を使用することが可能な場合には、前述の可能な設計では、目標ズーム比の範囲、レンズパラメータ、およびレンズの組み合わせの方法はすべて、前述の理論に基づいて適応的に調整でき、それによってユーザの要求を満たす画像を得ることができる。例えば、第2のカメラの等価焦点距離は27mmを超えてもよい。これらの可能な設計はすべて、本発明の保護範囲に含まれるものとする。
さらに、ユーザがズーム画像の鮮明度の限定的な低下を許容した場合には、または画像処理アルゴリズムの進歩により、bの値は5より大きくなることがあり、例えば、5．5xまたは6xなどの別の値に達することがあり得る。
より具体的には、前述の可能な設計は、メモリ内のプログラムと命令を呼び出して対応する動作を実行する、例えば、カメラを有効にし、画像を取り込むようにカメラを制御し、取り込んだ画像に対してアルゴリズム処理を実行し、最終的な出力画像を生成して保存することにより、プロセッサによって実施することができる。
第3の態様によれば、本発明の一実施形態は、端末デバイスを提供し、端末デバイスは、メモリ、プロセッサ、バス、第1のカメラ、第2のカメラ、および第3のカメラを含み、メモリ、第1のカメラ、第2のカメラ、第3のカメラ、およびプロセッサは、バスを使用して接続され、第1のカメラおよび第3のカメラはカラーカメラであり、第2のカメラは白黒カメラであり、第1のカメラ、第2のカメラ、第3のカメラはすべてプライムレンズを使用するカメラであり、第3のカメラの等価焦点距離は、第1のカメラの等価焦点距離および第2のカメラの等価焦点距離の両方より大きい。カメラは、プロセッサの制御下で画像信号を取り込むように構成されている。メモリは、コンピュータプログラムおよび命令を格納するように構成されている。プロセッサは、メモリに格納されたコンピュータプログラムおよび命令を呼び出すように構成され、その結果、端末デバイスは、前述の可能な設計のいずれか1つによる方法を実行する。
第3の態様によれば、可能な設計では、端末デバイスはアンテナシステムをさらに含み、アンテナシステムは、プロセッサの制御下で、無線通信信号を送信および受信して、モバイル通信ネットワークとの無線通信を実施し、モバイル通信ネットワークは、GSMネットワーク、CDMAネットワーク、3Gネットワーク、4Gネットワーク、5Gネットワーク、FDMAネットワーク、TDMAネットワーク、PDCネットワーク、TACSネットワーク、AMPSネットワーク、WCDMA(登録商標)ネットワーク、TDSCDMAネットワーク、Wi−Fiネットワーク、およびLTEネットワークのうちの1つまたは複数を含む。
上記の方法、装置、およびデバイスは、端末提供の撮影ソフトウェアが撮影を実行するシナリオだけでなく、端末がサードパーティの撮影ソフトウェアを実行して撮影を実行するシナリオにも適用されてもよい。
本発明によれば、スマートフォンで約5xのロスレスズーム効果を得ることができ、暗い環境下でも解像力とノイズのバランスを比較的良好に保つことができる。
本発明の一実施形態による、端末の概略的な構成図である。 本発明の一実施形態による撮影方法のフローチャートである。 本発明の一実施形態による特定のカメラ設計方式を示す図である。 本発明の一実施形態による第1の任意選択の場合の撮影方式を示す図である。 本発明の一実施形態による、実際に取り込まれた画像から出力画像への目標シーンの変更プロセスを示す図である。 本発明の一実施形態による第2の任意選択の場合の撮影方式を示す図である。 本発明の実施形態による第3の任意選択の場合の撮影方式を示す図である。 本発明の実施形態による第4の任意選択の場合の撮影方式を示す図である。 本発明の実施形態による第5の任意選択の場合の撮影方式を示す図である。 本発明の一実施形態による撮影装置の概略構成図である。
以下では、本発明の実施形態の添付図面を参照して、本発明の実施形態の技術的解決策について明白かつ完全に説明する。明らかに、記載された実施形態は、本発明の実施形態の一部にすぎず、そのすべてではない。創造的努力なしに本発明の実施形態に基づいて当業者によって得られたすべての他の実施形態は、本発明の保護範囲内に含まれるものとする。
本発明の実施形態では、端末は、ユーザに撮影および／またはデータ接続を提供するデバイス、無線接続機能を備えたハンドヘルドデバイス、または無線モデムに接続された別の処理デバイス、例えば、デジタルカメラ、一眼レフカメラ、携帯電話（またはセルラー電話と呼ばれる）、またはスマートフォンであってもよく、あるいは、ポータブル、ポケットサイズ、ハンドヘルド、またはウェアラブルデバイス（例えばスマートウォッチ）、タブレット、パーソナルコンピュータ（PC、Personal Computer）、携帯情報端末（Personal Digital Assistant、PDA）、販売時点情報管理システム（Point of Sales、POS）、車載コンピュータ、ドローン、空中カメラなどであってもよい。
図1は、端末100のハードウェア構成の任意選択的な概略図である。
図1に示すように、端末100は、無線周波数ユニット110、メモリ120、入力ユニット130、表示ユニット140、カメラ150、オーディオ回路160、スピーカ161、マイクロフォン162、プロセッサ170、外部インターフェース180、および電源190などの構成要素を含むことができる。本発明のこの実施形態では、少なくとも3つのカメラ150がある。
カメラ150は、画像またはビデオを取り込むように構成され、画像またはビデオ撮影機能を実施するためのアプリケーション命令を使用することによってトリガされ得る。カメラは、撮像レンズ、光フィルタ、および画像センサなどの構成要素を含むことができる。被写体によって放射または反射された光は、撮像レンズに入り、光フィルタを通過し、最終的に画像センサに収束する。撮像レンズは、主に、撮影視野内のすべての対象物（被写体とも呼ばれる）から放射されたまたは反射された光を収束させて撮像するように構成されている。光フィルタは、主に、光の中の不要な光波（例えば、赤外光などの可視光以外の光波）を除去するように構成されている。画像センサは、主に、受信した光信号に対して光電気変換を実行して、光信号を電気信号に変換し、その後の処理のためにプロセッサ170に電気信号を入力するように構成されている。
当業者は、図1が携帯型多機能装置の単なる一例を示しており、携帯型多機能装置に対する限定を構成しないことを理解するであろう。携帯型多機能装置は、図に示すものよりも多いまたは少ない構成要素を含んでもよいし、またはいくつかの構成要素が組み合わされてもよいし、または異なる構成要素が使用されてもよい。
入力ユニット130は、入力された数字または入力された文字情報を受信して、携帯型多機能装置のユーザ設定および機能制御に関連するキー信号入力を生成するように構成されてもよい。具体的には、入力ユニット130は、タッチスクリーン131および別の入力デバイス132を含んでもよい。タッチスクリーン131は、タッチスクリーン131上またはその近くでユーザによって実行されたタッチ操作（例えば、タッチスクリーン上またはその近くで指、ナックル、スタイラス、または他の任意の適切な対象物を使用してユーザによって実行された操作）を収集して、予め設定されたプログラムに基づいて対応する接続装置を駆動することができる。タッチスクリーンは、タッチスクリーン上でユーザによって実行されたタッチ操作を検出し、タッチ操作をタッチ信号に変換し、タッチ信号をプロセッサ170に送信し、プロセッサ170によって送信されたコマンドを受信し、コマンドを実行することができる。タッチ信号は、少なくともタッチポイントの座標情報を含む。タッチスクリーン131は、端末100とユーザとの間の入力インターフェースおよび出力インターフェースを提供することができる。さらに、タッチスクリーンは、抵抗器タイプ、キャパシタタイプ、赤外線タイプ、および表面弾性波タイプなどの様々なタイプで実装されてもよい。入力ユニット130は、タッチスクリーン131の他に、別の入力デバイスをさらに含んでもよい。具体的には、別の入力デバイス132は、物理キーボード、ファンクションキー（ボリューム制御キーおよび電源キーなど）、トラックボール、マウス、ジョイスティックなどのうちの1つまたは複数を含むことができるが、これらに限定されない。
表示ユニット140は、ユーザが入力した情報またはユーザに提供される情報、ならびに端末100の様々なメニューを表示するように構成されてもよい。本発明のこの実施形態では、表示ユニットはさらに、カメラ150を使用することによってデバイスにより取得された画像を表示するように構成される。画像には、いくつかの撮影モードにおけるプレビュー画像、撮影初期画像、および撮影後に特定のアルゴリズムを用いて処理された目標画像が含まれてもよい。
さらに、タッチスクリーン131がディスプレイパネル141を覆ってもよい。タッチスクリーン131は、タッチスクリーン131上またはその近くのタッチ操作を検出すると、タッチ操作をプロセッサ170に送信してタッチ事象のタイプを判定し、プロセッサ170は、タッチ事象のタイプに基づいてディスプレイパネル141上に対応する視覚出力を提供する。この実施形態では、タッチスクリーンおよび表示ユニットは、1つの構成要素に統合されて、端末100の入力、出力、および表示機能を実現することができる。説明を簡単にするために、本発明の実施形態では、タッチディスプレイを使用して、タッチスクリーンおよび表示ユニットの機能を表す。いくつかの実施形態では、タッチスクリーンおよび表示ユニットは、代替的に2つの独立した構成要素であってもよい。
メモリ120は、命令およびデータを格納するように構成されてもよい。メモリ120は、主に、命令格納領域およびデータ格納領域を含んでもよい。データ格納領域は、ナックルタッチジェスチャとアプリケーション機能との間の関連付けの関係を格納することができる。命令格納領域は、オペレーティングシステム、アプリケーション、および少なくとも1つの機能に必要な命令、またはそれらのサブセットもしくは拡張セットなどのソフトウェアユニットを格納することができる。メモリ120は、不揮発性ランダムアクセスメモリをさらに含んでもよく、ソフトウェアおよびアプリケーション上の制御をサポートするために、ハードウェア、ソフトウェア、ならびに計算および処理デバイスのデータリソースを管理するためのプログラムおよび命令をプロセッサ170に提供してもよい。メモリ120は、マルチメディアファイルを格納し、オペレーティングプログラムおよびアプリケーションを格納するようにさらに構成されてもよい。
プロセッサ170は、端末100の制御センターであり、様々なインターフェースおよびラインを使用して、携帯電話全体の部品に接続される。プロセッサ170は、端末100の様々な機能を実行し、メモリ120に格納された命令を実行または実施し、メモリ120に格納されたデータを呼び出してデータを処理し、携帯電話の全体的な監視を行う。任意選択で、プロセッサ170は、1つまたは複数の処理ユニットを含むことができる。任意選択で、アプリケーションプロセッサおよびモデムプロセッサは、プロセッサ170に統合されてもよく、アプリケーションプロセッサは主にオペレーティングシステム、ユーザインターフェース、アプリケーションなどを処理し、モデムプロセッサは主に無線通信を処理する。モデムプロセッサはプロセッサ170に統合されなくてもよいことが理解され得る。いくつかの実施形態では、プロセッサおよびメモリが単一のチップ上に実装されてもよい。いくつかの実施形態では、代替的に、プロセッサおよびメモリが独立したチップ上にそれぞれ実装されてもよい。プロセッサ170はさらに、対応する動作および制御信号を生成し、信号を計算および処理デバイスの対応する構成要素に送信し、ソフトウェアのデータ、特にメモリ120内のデータおよびプログラムを読み取って処理するように構成されてもよく、その結果、計算および処理デバイスの各機能モジュールが対応する機能を実行し、対応する構成要素を制御して、命令によって要求されるように動作するようにする。
無線周波数ユニット110は、コールプロセスにおいて情報を送受信するか、信号を送受信するように、特に、基地局からダウンリンク情報を受信した後に、処理のためにダウンリンク情報をプロセッサ170に送信し、設計されたアップリンクデータを基地局に送信するように構成されてもよい。通常、RFユニットは、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、低雑音増幅器（Low Noise Amplifier、LNA）、デュプレクサなどを含むが、これらに限定されない。さらに、無線周波数ユニット110は、無線通信を介してネットワークデバイスおよび別のデバイスと通信することができる。無線通信は、任意の通信規格またはプロトコルを使用することができ、それには、限定はしないが、モバイル通信用グローバルシステム（Global System of Mobile communication、GSM）、一般パケット無線サービス（General Packet Radio Service、GPRS）システム、コード分割多重アクセス（Code Division Multiple Access、CDMA）、広帯域コード分割多重アクセス（Wideband Code Division Multiple Access、WCDMA(登録商標)）システム、ロングタームエボリューション（Long Term Evolution、LTE）、電子メール、ショートメッセージングサービス（Short Messaging Service、SMS）などが含まれる。
オーディオ回路160、スピーカ161、およびマイクロフォン162は、ユーザと端末100との間のオーディオインターフェースを提供することができる。オーディオ回路160は、受信したオーディオデータから変換された電気信号をスピーカ161に送信することができ、スピーカ161が、出力のために電気信号をオーディオ信号に変換する。別の態様では、マイクロフォン162は、オーディオ信号を収集し、受信したオーディオ信号を電気信号に変換するように構成される。オーディオ回路160は、電気信号を受信し、電気信号をオーディオデータに変換し、次いで、オーディオデータを処理のためにプロセッサ170に出力し、無線周波数ユニット110がオーディオデータを別の端末に送信する。あるいは、オーディオデータは、さらなる処理のためにメモリ120に出力される。オーディオ回路は、オーディオ回路とイヤホンとの間の接続インターフェースを提供するように構成されたイヤホンジャック163をさらに含んでもよい。
端末100は、各構成要素に電力を供給する電源（電池など）190をさらに含む。任意選択で、電源は、電源管理システムを使用して充電、放電、および電力消費の管理などの機能を実施するために、電源管理システムを使用してプロセッサ170に論理的に接続されてもよい。
端末100は、外部インターフェース180をさらに含み、外部インターフェースは、標準的なMicro USBインターフェースまたはマルチピンコネクタであってもよい。外部インターフェース180は、端末100と通信のための別のデバイスとを接続するように構成されてもよく、さらに端末100を充電するために充電器に接続されてもよい。
端末100は、フラッシュ、無線フィデリティ（wireless fidelity、WiFi）モジュール、ブルートゥース(登録商標)モジュール、種々の機能を有するセンサなどをさらに含むことができるが、これらは図には示されていない。ここでは詳細についての説明を省略する。以下に説明するすべての方法は、図1に示す端末に適用することができる。
図2に示すように、本発明の実施形態は、撮影方法を開示する。方法は、撮影端末に適用され、端末は、第1のカメラ、第2のカメラ、および第3のカメラを含み、第1のカメラおよび第3のカメラはカラーカメラであり、第2のカメラは白黒カメラであり、第2のカメラの解像度は、第1のカメラの解像度よりも高く、かつ第3のカメラの解像度よりも高く、第1のカメラ、第2のカメラ、第3のカメラはすべてプライムレンズを使用するカメラであり、第3のカメラの等価焦点距離は、第1のカメラの等価焦点距離および第2のカメラの等価焦点距離の両方より大きく、方法は以下のステップを含む。
ステップ21：目標ズーム比を取得する。
ステップ22：目標ズーム比に基づいて、第1のカメラ、第2のカメラ、および第3のカメラのうちから少なくとも1つのカメラを目標カメラとして決定する。
ステップ23：目標カメラを使用して、目標シーンを含む少なくとも1つの画像を取り込む。
ステップ24：目標シーンを含む、取り込まれた少なくとも1つの画像に基づいて目標シーンの出力画像を取得する。目標シーンは、ユーザが撮影を期待しているシーンである。出力画像の解像度は第2のカメラの解像度よりも低い。
前述の3つのカメラは、端末デバイスの前または端末デバイスの後ろに配置することができる。カメラの具体的な配置方法は、設計者の要求に応じて柔軟に決定することができる。これは、本願では限定されない。
様々なサイズの受光素子の撮像の視野を、135フィルムカメラ（135フィルムカメラの固定感光面と35mmフィルム仕様を使用）の撮像の同じ視野に対応するレンズの焦点距離に変換することは業界の慣例である。変換によって得られる焦点距離は、135フィルムカメラの等価焦点距離である。デジタルカメラの受光素子（CCDまたはCMOS）のサイズは、カメラによって異なる（そのサイズは、例えば、1／2．5インチまたは1／1．8インチである）。したがって、同じ焦点距離のレンズでも、サイズの異なる受光素子を備えたデジタルカメラでは、異なる撮像視野を有する。しかし、ユーザにとって実際に意味があるのは、カメラの撮影範囲（視野のサイズ）である。言い換えれば、人々は実際の焦点距離よりも等価焦点距離に関心がある。
特定の実施プロセスにおいて、第3のカメラの等価焦点距離は、第1のカメラの等価焦点距離および第2のカメラの等価焦点距離の両方よりも大きい。前述の例の第1のカメラ、第2のカメラ、および第3のカメラの等価焦点距離（27mm、27mm、80mm）の組み合わせに加えて、第1のカメラの等価焦点距離および第2のカメラの等価焦点距離は、代替的に25mm〜35mmから選択される他の値であってもよく、第3のカメラの等価焦点距離は、第1のカメラまたは第2のカメラの等価焦点距離の2〜4倍であってもよい。望遠レンズを使用するカメラとして、第3のカメラは、第1のカメラと第2のカメラで取得した画像がアルゴリズムを使用してロスレスズームを達成できない場合に、より高いズームの要件の下でロスレスズーム画像を取得するタスクを実行する。この倍率は、第1のカメラと第2のカメラのパラメータとアルゴリズムの性能がロスレス出力画像を達成するときに到達できる最大ズーム比によって決定され、この倍率は、例えば、2．5倍、3倍、または3．5倍である。これは単に一例として使用されており、限定されない。
特定の実施プロセスでは、第2のカメラの口径は、第1のカメラの口径および第3のカメラの口径の両方より大きい。例えば、第2のカメラのF値は1．65、第1のカメラのF値は1．8、第3のカメラのF値は2．4であり、別の例では、第2のカメラのF値は1．55、第1のカメラのF値は1．7、第3のカメラのF値は2．2である。これは単に一例として使用されており、限定されない。
特定の実施プロセスでは、第2のカメラの解像度は第1のカメラの解像度よりも高く、かつ第3のカメラの解像度よりも高い。前述の例の第2のカメラの解像度、第1のカメラの解像度、および第3のカメラの解像度の組み合わせ（20M、10M、10M）に加えて、第2のカメラの解像度、第1のカメラの解像度、および第3のカメラの解像度は、例えば、（20M、10M、8M）の組み合わせ、（24M、12M、12M）の組み合わせ、または（24M、12M、10M）の組み合わせであってもよい。これは単に一例として使用されており、限定されない。
カラーカメラは、目標シーンのカラー情報を取り込んでカラー写真を撮ることができるRGBセンサとして理解することができる。白黒カメラは、白黒シーンのみを取り込むモノクロセンサとして理解することができる。モノクロセンサはシーンからより多くの詳細を取り込むことができるため、白黒カメラは目標シーンの詳細と輪郭を取り込むことができる。
白黒カメラの撮像原理により、同じ解像度のカラーカメラと比較して、白黒カメラの方がより高い解像力とより詳細な表現能力を有することを理解されたい。具体的には、白黒カメラとカラーカメラの解像度とピクセルサイズ（pixelsize）が同じ場合、白黒カメラで撮影した画像の対角線方向の解像力は、カラーカメラで撮影した画像の対角線方向の解像力の2倍である。さらに、例えば、より高い解像度の白黒カメラが使用される場合には、カラーカメラの出力解像度に対する白黒カメラの出力解像度の比はTであり、白黒カメラとカラーカメラを使用してそれぞれ取得した画像で構成される出力画像では、カラーカメラのズーム能力と比較して、水平および垂直方向の光学ズーム能力はT倍に増加し、対角線方向の光学ズーム能力は2T倍に増加する。例えば、カラーカメラの解像度が12M（3968＊2976）で、白黒カメラの解像度が20M（5120＊3840）である場合には、光学ズーム能力は、カラーカメラのズーム能力と比較して5120／3968倍に増加する。カメラの解像度はレンズ設計ベンダーによって決定され、製造技術と材料に関連している。従来技術では、異なる解像度の多様なカメラが存在する。これは単に一例として使用されているだけであり、本発明では限定されない。
白黒カメラとカラーカメラの両方が撮像に参加している場合には、カラーカメラで取り込まれた豊富なカラー情報は、白黒カメラで取り込まれた鮮明な詳細と融合して、より高品質の写真を取得することができる。
具体的には、ステップ21において、目標ズーム比を取得することは、例えば1．5xズーム（1．5x）、2xズーム（2x）、3xズーム（3x）など、ユーザが選択した倍率を取得することを意味する。予め設定された視野は、目標ズーム比の基準として使用することができ、予め設定された視野は、ユーザまたは設計者によって柔軟に選択することができ、例えば、78度FOVが基準として使用される。目標ズーム比の値をnで表す。例えば、カメラの焦点距離の調整可能な精度が0．1である場合には、nxは1．1x、1．2x、または1．3xとすることができ、または、調整可能な精度が0．5である場合には、nxは1．5x、2．0x、2．5xなどとすることができる。
ユーザは、撮影デバイスのズーム比ボタンを使用することによって、または撮影デバイスの表示画面上でジェスチャコマンドを入力することによって、ズーム比を選択できることを理解されたい。あるいは、ズーム比は、特定の位置に対するユーザの入力に基づいてシステムによって決定されてもよい。
さらに、ユーザが撮影デバイスの撮影ボタンを押すか、または撮影デバイスの画面上で入力されたジェスチャコマンドを受け取る、すなわちシャッターがトリガされると、目標カメラが目標シーンを含む画像を取り込む。具体的には、目標カメラは露光時間内に少なくとも1つの画像を取り込むことができ、端末は取り込まれた写真を処理して目標シーンの出力画像を取得する。
目標シーンは、ユーザが撮影を期待しているシーンであり、カメラシステムを調整して対象ズーム比を適用したときのプレビュー画像が、ユーザにとって最も直感的な目標シーンの知覚である。しかしながら、本発明において提供されるすべてのカメラは、プライムレンズを使用するカメラである。プライムレンズを使用するカメラの撮影距離が固定されている場合には、ショットビジョンは固定される。したがって、目標カメラによって実際に取り込まれた画像は、目標シーンよりも大きなビジョン有し、つまり、目標シーンを含む画像が取り込まれる。
図2を参照すると、図3は、本発明の実施形態による比較的特定のカメラ設計方式を示している。設計は、プライムレンズを使用した3台のカメラを含む。3つのカメラの異なる特徴を参照して、異なるズーム比で、少なくとも1台のカメラを選択的に有効にして画像を取り込み、取り込んだ画像に対して画像処理を実行して、約5xのロスレスズームを実現する。簡単に言うと、カメラでnxのズームで撮影した画像と、ズームなしで被写体から1／nの距離で撮影した画像の場合、2つの画像の詳細と鮮明度が同等であれば、nxのズームがロスレスズームとして参照される。通常、光学ズームがベンチマークとして使用され、光学ズームはロスレスとみなされる。したがって、ズームの効果が光学ズームの効果に類似している場合には、ズームをロスレスズームと呼ぶことができる。画像の解像能力と鮮明度を測定するために使用できる客観的なテストがいくつかあり、例えば、Image Engineering（IE）社が提供するジーメンス星図がある。
本発明は、携帯電話またはタブレットなどのモバイル携帯端末またはスマート撮影端末で実施することができる。ユーザがズームモードに入り、ズーム比を選択すると、有効化する必要のあるカメラは、ユーザのズーム比と予め設定されたカメラの組み合わせモードに基づいて、端末の撮影システムによって決定される。有効化されたカメラを使用して、複数フレームの画像を連続して撮影し（有効化されたカメラが複数ある場合は、複数のカメラが同期して撮影を行い）、予め設定された対応するアルゴリズムを使用することにより、撮影されたマルチフレーム画像から鮮明なズーム画像が得られる。
図3に基づいて、以下は特定の例を使用して、事例に基づいて、異なる目標ズーム比での本発明で提供される異なる撮影方式および画像処理方式を説明する。
第1のカメラの具体的なパラメータは次の通りである。
27mmの等価焦点距離、カラーカメラ、および10Mの解像度。
第2のカメラの具体的なパラメータは次の通りである。
27mmの等価焦点距離、白黒カメラ、および20Mの解像度。
第3のカメラの具体的なパラメータは次の通りである。
80mmの等価焦点距離、カラーカメラ、解像度10M。
事例1
図4を参照することができる。
S101．目標ズーム比が1x〜3xの範囲内である場合、端末は第1のカメラと第2のカメラを有効にする。
ユーザがカメラパラメータを調整すると、ユーザが設定した目標ズーム比が区間（1、3）内になると、端末は第1のカメラ（主カメラ）と第2のカメラ（副カメラ）を有効にする。この場合、プレビュー画像はそれに応じて変化し、プレビュー画像は、ユーザが撮影することを期待する目標シーンの画像である。第1のカメラは主カメラであり、第2のカメラは副カメラである。したがって、プレビュー画像は、第1のカメラで実際に取り込まれた画像の一部であり、その部分のサイズは、出力画像の目標ズーム比と予め設定された縦横比（たとえば、4：3または16：9）の両方によって決定される。第1のカメラおよび第2のカメラが実際に撮影した画像は、実際のプレビュー画像の画像内容とは異なる（以下の説明では、第3のカメラにも当てはまる）ことを理解されたい。第1のカメラおよび第2のカメラによって実際に取り込まれた画像は、ユーザには見えない可能性がある。プレビュー画像は、ユーザが撮影することを期待している目標シーンのユーザの直感的な知覚であり、目標ズーム比の最も直感的な表現である。
説明を簡単にするために、第1のカメラが実際に撮影した画像の幅をw0、高さをh0、第1のカメラの解像度をw0＊h0で表す。また、第2のカメラが実際に撮影した画像の幅をw1、高さをh1、第1のカメラの解像度をw1＊h1で表す。第1のカメラの解像度と第2のカメラの解像度は確定しているため、w0、h0、w1、およびh1は定数とみなすことができる。
一事例では、w0とh0が出力画像の予め設定された縦横比に一致する場合には、最終的な出力画像の幅と高さもw0とh0になる。別の事例では、w0とh0が出力画像の予め設定された長さ対幅の比と一致せず、最終的な出力画像の幅と高さがw0’とh0’である場合には、カメラシステムは実際に取り込まれたw0＊h0の画像からw0’＊h0’の画像に変換してから、後続の画像処理を実行する。以下のアルゴリズムの説明を容易にするために、事例1から5の5つの例はすべて、前の事例に基づいて説明されていることを理解されたい。次の事例は、通常の数学的知識を使用することにより、当業者によって導き出すことができる。詳細は、本発明では説明しない。
S102．撮影機能がトリガされると、第1のカメラと第2のカメラがそれぞれ実際に撮影したシーンを連続撮影し、m0フレームのカラー画像とm1フレームの白黒画像をそれぞれ取得し、ここで、m0とm1は正の整数であり、m0はm1と等しくてもよい。本発明では、m0とm1の値の関係、およびm0とm1の具体的な値は限定されない。一実施態様では、m0およびm1の値は4、6などであってもよく、カラー画像のm0フレームは時系列で連続的または不連続であってもよく、白黒画像のm1フレームもまた時系列で連続的または不連続であってもよい。
一実施態様では、m0またはm1は1であってもよいが、この場合、後続のマルチフレームズーム操作は適用されず、すなわち、後続のS103が実行された後に、S105における白黒とカラーの融合の操作が直接実行される。しかし、m0またはm1は通常1より大きい必要があり、この場合、後続のマルチフレームズーム操作が適用され、すなわち、後続のS103、S104、およびS105が実行される。
第1のカメラおよび第2のカメラは、プライムレンズを使用するカメラであることを理解されたい。したがって、実際に撮影された画像は、ユーザが撮影することを期待し、プレビュー画像でユーザに見えるズーム目標シーンのみを含むのではなく、プレビュー画像とは異なる他のコンテンツをさらに含む。
S103．カラー画像のm0フレームでセンターエリアクロッピング（略してセンタークロッピングとも呼ばれる）を実行して、第1のカメラで実際に撮影された画像からサイズがw0＊h0／n2のカラー画像のm0フレームをクロッピングする。白黒画像のm1フレームでセンターエリアクロッピングを実行して、第2のカメラで実際に撮影された画像から、サイズがw1＊h1／n2の白黒画像のm1フレームをクロッピングする。
センターエリアクロッピングは、ユーザが撮影することを期待している領域をクロッピングすること、つまり、入力画像の中心が変更されないようにしながら、指定されたサイズの有効な領域をクロッピングすることとして理解できる。クロッピングされた領域は、ユーザが指定した目標ズーム比とカメラの等価焦点距離の両方によって決定される。
したがって、ユーザの直感的な知覚からは、目標シーンは、目標ズーム比でのプレビュー画像を狭義に意味してもよく、中央領域から切り取られた領域を広義に意味してもよい。
S104．w0＊h0／n2のサイズのカラー画像のm0フレームにマルチフレームズームを実行して、カラーマルチフレームズーム結果、すなわちw0＊h0／n2のカラーフレーム画像の1フレームを取得する。サイズがw 1 ＊h 1 ／n2の白黒画像のm1フレームにマルチフレームズームを実行して、白黒マルチフレームズーム結果、すなわちw 1 ＊h 1 ／n2の白黒ズーム画像の1フレームを取得する。
実際に取り込んだ画像から目標シーンをクロッピングし、マルチフレームズームを利用して目標シーンの1フレームの画像を取得する。目標シーンの画像領域とサイズ変更については、図5を参照されたい。
特定の実施プロセスでは、撮影中にユーザが撮影デバイスを手に持っているため、必然的にジッターが発生する。したがって、複数フレームの画像は必然的に異なる画像コンテンツを有し、目標シーン内の同じ被写体の画像の異なるフレームは、鮮明度においてわずかに異なる。したがって、複数の画像フレームの位置からサンプリングされた情報を使用して互いに補完し、より高い解像能力、より高い鮮明度、およびより低いノイズを備えた1つの画像フレームに融合することができる。
任意選択のマルチフレームズームアルゴリズムの手順は次の通りである。
（1）参照フレームを選択する。一般的な方法は、フレーム1の選択、中間の瞬間に撮影されたフレームの選択、または最も鮮明なフレームの選択を含む。例えば、最初の2つのフレームのうちのより鮮明なフレームを参照フレームとして選択することができる。
（2）入力画像の他の各フレームを参照フレームに位置合わせし、参照フレームに基づいて位置合わせされた画像に対して動き補償を実行してから、ステップ（3）またはステップ（4）を実行する。
（3）動き補償画像の複数フレームに対してバイキュービックまたはランチョスなどの手法を用いて補間増幅を行い、中央領域の画像のサイズをw0＊h0／n2からw0＊h0に変更し、中央領域の画像コンテンツが変更されないようにする。このステップは任意である。
（4）ステップ（2）で取得した複数フレームの画像を予め訓練された畳み込みニューラルネットワークに入力して1フレームのズーム画像を取得し、中央領域の画像のサイズをw0＊h0／n2からw0＊h0に変更し、中央領域の画像コンテンツが変更されないようにする。あるいは、ステップ（3）で取得した複数の画像フレームを別の予め訓練された畳み込みニューラルネットワークに入力して、画像のサイズがw0＊h0である1フレームのズーム画像を取得する。
前述の手順において、動き補償、補間増幅、畳み込みニューラルネットワークなどは、多くの方法で実施することができる。マルチフレームズームアルゴリズムはまた、様々な方法で実施することができ、アルゴリズムは本発明において限定されない。当業者は、前述の手順を実施するために呼び出すことができる多くのオープンソースアルゴリズムがあり、したがって、詳細は本明細書では説明されないことを理解されたい。
S105．カラーズーム画像のフレームとS104で取得した白黒ズーム画像のフレームで白黒とカラーの融合を行い、w0＊h0の1フレームのカラー出力画像、すなわち目標シーンの出力画像を取得し、これはユーザが保存できる画像である。ここで、目標シーンの出力画像の解像度は、第1のカメラの解像度および第3のカメラの解像度と同じである。
白黒とカラーの融合アルゴリズムの任意選択の手順は次の通りである。
アルゴリズムの手順：
（1）シーンからの距離などの要素に基づいて融合ブランチを選択する。例えば、白黒に基づいて色情報を融合させることができる。あるいは、色情報に基づいて高い周波数の白黒が融合される。
（2）グローバルレジストレーションとローカルブロックマッチングを組み合わせる方法を使用して、白黒画像をカラー画像に位置合わせする。
（3）ステップ（1）で選択したブランチに基づいて、位置合わせされた白黒画像とカラー画像に対して情報融合を実行し、融合結果を取得する。
（4）融合結果をシャープにする。
前述のアルゴリズム手順において、関連する処理方式は、融合、位置合わせ、シャープニングなどの従来技術の成熟したアルゴリズムを使用することができ、これらは限定されず、本発明では説明されない。
上記のように、白黒カメラとカラーカメラの両方が撮像に参加している場合には、カラーカメラで取り込まれた豊富なカラー情報は、白黒カメラで取り込まれた鮮明な詳細と融合して、より高品質の写真を取得する。
事例2
図6を参照することができる。
S201．目標ズーム比が3x〜5xの範囲内である場合、システムは目標シーンが暗い環境にあるかどうかを判定する必要がある。目標シーンが暗い環境にない場合には、端末は第3のカメラを有効にする。
暗い環境は、予め設定された条件が満たされるかどうかに基づいて決定されてもよい。明るさが100ルクスより低い場合には、目標シーンは暗い環境にあるとみなされる。また、照明条件が100ルクスの場合には、目標シーンは暗い環境にないとみなされる。この予め設定された照度値は、本発明では限定されないが、ユーザまたは端末設計ベンダーによって決定される。特定の実施プロセスでは、端末は、通常の露出中に使用されるISO値を使用して決定を実行することができる。ISO値が400以上の場合には、目標シーンは暗い環境にあるとみなされる。または、ISO値が400より小さい場合には、目標シーンは暗い環境にはないとみなされる。予め設定されたISO値は、本発明では限定されないが、ユーザまたは端末設計製造業者によって決定される。
ユーザがカメラパラメータを調整する場合、ユーザが設定した目標ズーム比が区間［3、5］内になると、第3のカメラが有効になる。この場合、プレビュー画像はそれに応じて変化し、プレビュー画像は、第3のカメラによって実際に取り込まれた画像の一部分である。その部分のサイズは、目標ズーム比と出力画像の予め設定された縦横比の両方によって決定される。
S202．撮影機能がトリガされると、第3のカメラが実際に撮影されたシーンを連続して撮影し、m2フレームのカラー画像を取得する。
第3のカメラで撮影した画像の幅をw2、高さをh2で表し、第3のカメラの解像度はw2＊h2である。第3のカメラの解像度は第1のカメラの解像度と同じであるため、w2＝w0、およびh2＝h0である。また、m2はm0と同じであってもよく、w0、h0、m0を用いて残りのステップや添付図面を代替的に表現してもよい。
S203．m0フレームのカラー画像でセンターエリアクロッピングを実行し、第3のカメラで実際に撮影された画像から、サイズがw0＊h0／（n／n0）2のm0フレームのカラー画像をクロッピングする。第3のカメラの等価焦点距離は80mmであり、つまり第3のカメラは、望遠レンズを使用したカメラであり、標準レンズを使用したカメラと比較して、第3のカメラで同じ撮影距離で撮影した画像は大きくなるが、視野は狭くなる。したがって、中央領域は、目標ズーム比と等価焦点距離の両方によって決定される。ここで、n0は3（80 mm／27 mm）にほぼ等しく、カメラの等価焦点距離によって決定される。
S204．サイズがw0＊h0／（n／n0）2のm0フレームのカラー画像にマルチフレームズームを実行して、カラーマルチフレームズーム結果、すなわちw0＊h0の1フレームのカラーズーム画像を取得し、これは目標シーンの出力画像であり、ユーザが保存できる画像でもある。ここで、目標シーンの出力画像の解像度は、第1のカメラの解像度および第3のカメラの解像度と同じである。
S204のマルチフレームズームアルゴリズムについては、S104のマルチフレームズームアルゴリズムを参照されたい。
事例3
図7を参照することができる。
S301．目標ズーム比が3x〜5xの範囲内である場合、システムは目標シーンが暗い環境にあるかどうかを判定する必要がある。目標シーンが暗い環境にある場合、端末は第2のカメラと第3のカメラを有効にする。暗い環境の判定については、S201を参照されたい。
ユーザがカメラパラメータを調整する場合、ユーザが設定した目標ズーム比が区間［3、5］内になると、第3のカメラ（主カメラ）と第2のカメラ（副カメラ）が有効になる。この場合、プレビュー画像はそれに応じて変化し、プレビュー画像は、第3のカメラによって実際に取り込まれた画像の一部分である。その部分のサイズは、目標ズーム比と出力画像の予め設定された縦横比の両方によって決定される。
S302．撮影機能がトリガされると、第3のカメラと第2のカメラがそれぞれ実際に撮影したシーンを連続撮影し、m2フレームのカラー画像とm1フレームの白黒画像をそれぞれ取得する。
第3のカメラで実際に撮影した画像の幅をw2、高さをh2で表し、第3のカメラの解像度はw2＊h2である。第3のカメラの解像度は第1のカメラの解像度と同じであるため、w2＝w0、およびh2＝h0である。また、m2はm0と同じであってもよく、w0、h0、m0を用いて残りのステップや添付図面を代替的に表現してもよい。
第2のカメラで実際に撮影した画像の幅をw1、高さをh1で表し、第2のカメラの解像度はw1＊h1である。
第3のカメラおよび第2のカメラは、プライムレンズを使用するカメラであることを理解されたい。したがって、実際に撮影された画像は、ユーザが撮影することを期待し、プレビュー画像でユーザに見えるズーム目標シーンのみを含むのではなく、プレビュー画像とは異なる他のコンテンツをさらに含む。
S303．m0フレームのカラー画像でセンターエリアクロッピングを実行して、第3のカメラで実際に撮影された画像から、サイズがw0＊h0／（n／n0）2のm0フレームのカラー画像をクロッピングする。白黒画像のm1フレームでセンターエリアクロッピングを実行して、第2のカメラで実際に撮影された画像から、サイズがw1＊h1／n2の白黒画像のm1フレームをクロッピングする。ここで、n0は3にほぼ等しい。
S304．S303で取得したw0＊h0／（n／n0）2のサイズのカラー画像のm0フレームにマルチフレームズームを実行して、カラーマルチフレームズーム結果、すなわちw0＊h0のカラーズーム画像の1フレームを取得する。S303で取得したサイズがw 1 ＊h 1 ／n2の白黒画像のm1フレームにマルチフレームズームを実行して、白黒マルチフレームズーム結果、すなわちw 1 ＊h 1 ／n2の白黒ズーム画像の1フレームを取得する。
S304のマルチフレームズームアルゴリズムについては、S104のマルチフレームズームアルゴリズムを参照されたい。
S305．w0＊h0のカラーズーム画像のフレームと、S304で取得したw0＊h0／n2の白黒ズーム画像のフレームに望遠（Tele−photo）と白黒の融合を実行して、w0＊h0のカラー出力画像の1フレーム、すなわち目標シーンの出力画像を取得する。ここで、目標シーンの出力画像の解像度は、第1のカメラの解像度および第3のカメラの解像度と同じである。
望遠と白黒の融合アルゴリズムの任意選択の手順は次の通りである。
（1）望遠レンズに対応するカラーズーム画像（望遠写真ともいう）を基準として用いて、白黒ズーム画像を望遠写真に位置合わせして、モーションエリアマスクを得る。
（2）望遠写真、位置合わせされた白黒画像、およびモーションエリアマスクを予め訓練された畳み込みニューラルネットワークに入力して、融合された結果を取得する。
（3）ステップ（2）で融合された結果をシャープにする。
望遠と白黒の融合を採用、つまり、解像力の高さと望遠写真の高い鮮明度のメリットを生かし、さらに白黒画像のノイズの低減というメリットを生かし、これにより、暗い環境で高ズーム比のシーンの画質を確保し、ほとんどロスのないレベルを実現する。
前述のアルゴリズム手順において、関連する処理方式は、融合、位置合わせ、シャープニングなどの従来技術の成熟したアルゴリズムを使用することができ、これらは限定されず、本発明では説明されない。
事例4
図8を参照することができる。
S401．目標ズーム比が5x〜10xの範囲内である場合、システムは目標シーンが暗い環境にあるかどうかを判定する必要がある。目標シーンが暗い環境にない場合には、端末は第3のカメラを有効にする。暗い環境の判定については、S201を参照されたい。
ユーザがカメラパラメータを調整する場合、ユーザが設定した目標ズーム比が区間（5、10］内になると、第3のカメラが有効になる。この場合、プレビュー画像はそれに応じて変化し、プレビュー画像は、第3のカメラによって実際に取り込まれた画像の一部分である。その部分のサイズは、目標ズーム比と出力画像の予め設定された縦横比の両方によって決定される。
S402．撮影機能がトリガされると、第3のカメラが実際に撮影されたシーンを連続して撮影し、m2フレームのカラー画像を取得する。
第3のカメラで撮影した画像の幅をw2、高さをh2で表し、第3のカメラの解像度はw2＊h2である。第3のカメラの解像度は第1のカメラの解像度と同じであるため、w2＝w0、およびh2＝h0である。また、m2はm0と同じであってもよく、w0、h0、m0を用いて残りのステップや添付図面を代替的に表現してもよい。
S403．m0フレームのカラー画像でセンターエリアクロッピングを実行し、第3のカメラで実際に撮影された画像から、サイズがw0＊h0／（n／n0）2のm0フレームのカラー画像をクロッピングする。第3のカメラの等価焦点距離は80mm、つまり第3のカメラは、望遠レンズを使用したカメラであり、標準レンズを使用したカメラと比較して、同じ撮影距離で撮影した画像は大きくなる。したがって、中央領域は、目標ズーム比と等価焦点距離の両方によって決定される。ここで、n0は3（80 mm／27 mm）にほぼ等しい。
S404．w0＊h0／（n／n0）2のサイズのカラー画像のm0フレームにマルチフレームズームを実行して、カラーマルチフレームズーム結果、すなわちw0＊h0／（n／n1）2のカラーフレーム画像の1フレームを取得する。ここで、n1は端末の撮影システムのロスレスズーム能力、すなわちロスレス条件下での最大ズーム比であり、例えばこの例では5xである。ここで、n1は、端末の撮影システム全体のパラメータ性能で決まり、定数とみなすことができる。
S404のマルチフレームズームアルゴリズムについては、S104のマルチフレームズームアルゴリズムを参照されたい。
S405．S404で取得したw0＊h0／（n／n1）2のカラーズーム画像のフレームにデジタルズームを実行し、w0＊h0のカラーズーム画像の1フレーム、すなわち目標シーンの出力画像を取得する。ここで、目標シーンの出力画像の解像度は、第1のカメラの解像度または第3のカメラの解像度と同じである。
デジタルズームには多くの方法、例えば補間増幅があり、補間増幅の一般的な方法には、bilinear、bicubic、Lanczosなどが含まれる。デジタルズームは、画像の解像度を目標解像度に拡大するためにのみ使用できるが、画像の鮮明度と解像能力を保証することはできない。したがって、デジタルズームは、ロスレスズームと比較して、特定の損失を伴うズームとみなされるが、カメラの特定の撮像機能も示す。
事例5
図9を参照することができる。
S501．目標ズーム比が5x〜10xの範囲内である場合、システムは目標シーンが暗い環境にあるかどうかを判定する必要がある。目標シーンが暗い環境にある場合、端末は第2のカメラと第3のカメラを有効にする。暗い環境の判定については、S201を参照されたい。
ユーザがカメラパラメータを調整する場合、ユーザが設定した目標ズーム比が区間（5、10］内になると、第3のカメラ（主カメラ）と第2のカメラ（副カメラ）が有効になる。この場合、プレビュー画像はそれに応じて変化し、プレビュー画像は、第3のカメラによって実際に取り込まれた画像の一部分である。その部分のサイズは、目標ズーム比と出力画像の予め設定された縦横比の両方によって決定される。
S502．撮影機能がトリガされると、第3のカメラと第2のカメラがそれぞれ実際に撮影したシーンを連続撮影し、m2フレームのカラー画像とm1フレームの白黒画像をそれぞれ取得する。
第3のカメラで実際に撮影した画像の幅をw2、高さをh2で表し、第3のカメラの解像度はw2＊h2である。第3のカメラの解像度は第1のカメラの解像度と同じであるため、w2＝w0、およびh2＝h0である。また、m2はm0と同じであってもよく、w0、h0、m0を用いて残りのステップや添付図面を代替的に表現してもよい。
第2のカメラで実際に撮影した画像の幅をw1、高さをh1で表し、第2のカメラの解像度はw1＊h1である。
第3のカメラおよび第2のカメラは、プライムレンズを使用するカメラであることを理解されたい。したがって、実際に撮影された画像は、ユーザが撮影することを期待し、プレビュー画像でユーザに見えるズーム目標シーンのみを含むのではなく、プレビュー画像とは異なる他のコンテンツをさらに含む。
S503．m0フレームのカラー画像でセンターエリアクロッピングを実行して、第3のカメラで実際に撮影された画像から、サイズがw0＊h0／（n／n0）2のm0フレームのカラー画像をクロッピングする。白黒画像のm1フレームでセンターエリアクロッピングを実行して、第2のカメラで実際に撮影された画像から、サイズがw1＊h1／n2の白黒画像のm1フレームを取得する。ここで、n0は3にほぼ等しい。
S504．S503で取得したw0＊h0／（n／n0）2のサイズのカラー画像のm0フレームにマルチフレームズームを実行して、カラーマルチフレームズーム結果、すなわちw0＊h0／（n／n1）2のカラーズーム画像の1フレームを取得する。S503で取得したサイズがw0＊h0／n2の白黒画像のm1フレームにマルチフレームズームを実行して、白黒マルチフレームズーム結果、すなわちw0＊h0／（n／n1）2の白黒ズーム画像の1フレームを取得する。
S504のマルチフレームズームアルゴリズムについては、S104のマルチフレームズームアルゴリズムを参照されたい。
S505．w0＊h0／（n／n1）2のカラーズーム画像のフレームとS504で取得したw0＊h0／（n／n1）2の白黒ズーム画像のフレームに望遠（Tele−photo）と白黒の融合を実行して、w0＊h0／（n／n1）2のカラーズーム画像の1フレームを取得する。ここで、n1は端末の撮影システムのロスレスズーム能力、すなわちロスレス条件下での最大ズーム比であり、例えば5xである。ここで、n1は、端末の撮影システム全体のパラメータ性能で決まり、定数とみなすことができる。
S506．S505で取得したw0＊h0／（n／n1）2のカラーズーム画像のフレームにデジタルズームを実行し、w0＊h0のカラーズーム画像の1フレーム、すなわち目標シーンの出力画像を取得する。ここで、目標シーンの出力画像の解像度は、第1のカメラの解像度および第3のカメラの解像度と同じである。
デジタルズームのアルゴリズムは、従来技術において成熟した技術であり、S405を参照することができる。
前述の5つの事例は、本発明におけるいくつかの任意選択的な実施態様にすぎず、上述の特定のパラメータは、カメラのパラメータの設計、アルゴリズムの実施態様、ユーザ設定、端末のオペレーティングシステム、および端末の環境によって異なることを理解されたい。さらに、いくつかのパラメータの表現は、種々の参照の基準によって異なる。特定のパラメータの設定をすべて列挙することはできない。本発明は、ユーザの異なるズーム要求に応じて、画像を取得するために異なるレンズの組み合わせ方法を用いて、対応するアルゴリズムに従って最終的な画像を取得し、1x〜5xの広いズーム範囲全体でロスレス撮像品質を達成することを目的としていることを、当業者は理解されたい。ロスレス条件下での最大目標ズーム比が適切に調整されている場合には、当業者は、本発明の実施形態によるレンズの組み合わせ方法に従って、レンズパラメータを適応的に変更するか、または異なるタイプのアルゴリズムを使用して近似的なロスレスズームを達成することができる。ユーザがズーム画像の鮮明度の限定的な低下を許容する場合、または端末デバイスがより大きな望遠レンズの使用を可能にする場合には、前述の実施形態におけるズーム範囲およびレンズの組み合わせは、前述の理論に基づいて、すべて対応して調整され、ユーザの要求を満たす画像を取得することができる。これらの変形例の技術的解決策は、本発明の保護範囲に含まれるものとする。
さらに、ユーザによる使用のプロセスでは、ユーザの実際の要求により、合焦のプロセスの間、異なるズーム範囲が短時間で継続的に使用されることを理解されたい。これらのズーム範囲を変更すると、カメラの有効化が直接変更される。上記の5つの事例を例として使用している。各カメラの特定の有効化ステータスについては、図3の異なるズーム範囲内の3つのカメラのステータスを参照されたい。例えば、最初は、目標ズーム比が1．5の場合、第1のカメラと第2のカメラが有効になり、第3のカメラは無効になる。目標ズーム比が1．5から3．5に調整され、目標シーンが暗い環境にある場合、第3のカメラと第2のカメラが有効になり、第1のカメラは無効になる。
前述の実施形態では、出力画像の解像度は、第1のカメラの解像度または第3のカメラの解像度と同じであり、第2のカメラの解像度よりも低いことをさらに理解されたい。実際には、出力画像の解像度は、ユーザの鮮明度に対する要求を満たしている必要があるが、第1のカメラの解像度または第3のカメラの解像度と必ずしも同じではない。通常、第1のカメラまたは第3のカメラは、様々な撮影モードでの撮影端末の最も基本的な撮像性能を表している。したがって、出力画像の最大解像度は、第1のカメラの解像度または第3のカメラの解像度とおおよそ同じである。通常、端末の出荷時に、出力画像の最大解像度が基本的に決定され、ユーザはユーザの要求に応じてカメラシステムで出力画像の解像度を設定することができる。
加えて、特定の実施プロセスでは、撮影システムは、目標シーンのズームモードに従って光学ズームモジュールの撮像パラメータを調整するようにさらに構成される。撮像パラメータには、ノイズ低減パラメータ、シャープニングパラメータ、コントラストのうちの少なくとも1つが含まれ、中間プロセス中の画像のノイズ低減、シャープニング、コントラスト、およびダイナミックレンジを制御する。例えば、明るいシーンでは、ISPモジュールがノイズ低減およびシャープニングモジュールを無効にするように制御され、低照度シナリオでは、ISPモジュールがノイズ低減およびシャープニングモジュールを有効にし、パラメータを適切なレベルに調整するように制御される。さらに、ズームモードのコントラストとダイナミックレンジのパラメータは一般的な撮影モードのパラメータとは異なるため、コントラストとダイナミックレンジのパラメータは、異なるズームモードでカスタマイズされた方法で調整することができる。したがって、本発明の実施形態における方法によれば、撮像パラメータは、最終的な画像の撮像品質を保証するために、異なるシナリオに応じて構成することができる。
本発明によれば、スマートフォンで約5xのロスレスズーム効果を得ることができ、暗い環境下でも解像能力とノイズのバランスを比較的良好に保つことができる。大型の機能デバイスの代わりにプライムレンズを使用する複数のカメラの組み合わせを使用しても、端末の厚さが大幅に増加することはないので、それによって特に携帯電話などのスマートハンドヘルドデバイスの端末の美観が保証され、小型薄型端末と大きなズームでのロスレス撮像に対するユーザの要件が満たされ、ユーザの使用エクスペリエンスが向上する。
前述の実施形態で提供される撮影方法に基づいて、本発明の一実施形態は撮影装置700を提供し、この装置700は、様々な撮影デバイスに適用することができる。図10に示すように、装置700は、取得モジュール701、決定モジュール702、取り込みモジュール703、画像処理モジュール704、第1のカメラ、第2のカメラ、および第3のカメラを含み、第1のカメラおよび第3のカメラはカラーカメラであり、第2のカメラは白黒カメラであり、第2のカメラの解像度は、第1のカメラの解像度よりも高く、かつ第3のカメラの解像度よりも高く、第1のカメラ、第2のカメラ、第3のカメラはすべてプライムレンズを使用するカメラであり、第3のカメラの等価焦点距離は、第1のカメラの等価焦点距離および第2のカメラの等価焦点距離の両方より大きい。関連する特徴については、前述の方法の実施形態の説明を参照されたい。
取得モジュール701は、目標ズーム比を取得するように構成され、取得モジュール701は、外部の入力に基づいて対応するプログラム命令を呼び出すプロセッサによって取得され得る。
決定モジュール702は、目標ズーム比に基づいて、第1のカメラ、第2のカメラ、および第3のカメラのうちから少なくとも1つのカメラを目標カメラとして決定するように構成され、決定モジュール702は、プロセッサがメモリに格納されたプログラム命令を呼び出すことにより、前述の3つのカメラを選択的に有効にすることができる。
取り込みモジュール703は、目標カメラを使用して、目標シーンを含む画像を取り込むように構成され、取り込みモジュール703は、プロセッサによって実装され、取り込まれた画像をメモリに格納することができる。
画像処理モジュール704は、目標シーンを含む取り込まれた画像に基づいて目標シーンの出力画像を取得するように構成される。画像処理モジュール704は、プロセッサによって実装することができ、また、対応する計算のためにローカルメモリまたはクラウドサーバ内のデータおよびアルゴリズムを呼び出すことによって実現されてもよく、ユーザが取得することを期待する目標シーンの写真が出力される。
特定の実施プロセスでは、取得モジュール701は、ステップ21で述べた方法および同等に交換可能な方法を実行するように特に構成され、決定モジュール702は、ステップ22で述べた方法および同等に交換可能な方法を実行するように特に構成され、取り込みモジュール703は、ステップ23で述べた方法および同等に交換可能な方法を実行するように特に構成され、画像処理モジュール704は、ステップ24で述べた方法および同等に交換可能な方法を実行するように特に構成される。
より具体的には、様々な目標ズーム比で、
取得モジュール701および決定モジュール702は、S101、S201、S301、S401、またはS501の方法を協調して実行することができ、
取り込みモジュール703は、S102、S202、S302、S402、またはS502の方法を実行することができ、
画像処理モジュール704は、S103〜S105、S203およびS204、S303〜S305、S403〜S405、またはS503〜S506の方法を実行することができる。
前述の特定の方法の実施形態、ならびに実施形態における技術的特徴の複数の実施形式の説明、記述、および拡張は、装置における方法の実行にも適用可能である。詳細は、装置の実施形態では説明されない。
本発明は、画像処理装置700を提供する。異なるズーム要件に応じて異なるカメラの組み合わせを使用して、大体積デバイスを使用せずに画像を撮影および処理して約5xのロスレスズーム効果を実現し、ユーザの端末使用エクスペリエンスと画質要求を向上させることができる。
装置700のモジュールの分割は、単に論理機能の分割であることを理解されたい。実際の実施態様では、モジュールの全部または一部を物理的実体に統合してもよく、あるいは物理的に分離してもよい。例えば、モジュールは、別個に配置された処理要素であってもよく、または実装のために端末のチップに統合されてもよい。さらに、モジュールは、コントローラの記憶要素にプログラムコードの形で格納され、モジュールの機能を実行するためにプロセッサの処理要素によって呼び出されてもよい。さらに、モジュールは統合されても、独立して実装されてもよい。本明細書の処理要素は、集積回路チップであってもよく、信号処理能力を有する。実施プロセスでは、前述の方法または前述のモジュールのステップは、処理要素内のハードウェア集積論理回路を使用することによって、またはソフトウェアの形態の命令を使用することによって実装されてもよい。処理要素は、汎用プロセッサ、例えば、中央処理装置（central processing unit、略してCPU）であってもよく、あるいは前述の方法を実施するための1つまたは複数の集積回路、例えば1つまたは複数の特定用途向け集積回路（application−specific integrated circuit、略してASIC）、1つまたは複数のデジタル信号プロセッサ（digital signal processor、略してDSP）、あるいは1つまたは複数のフィールドプログラマブルゲートアレイ（field−programmable gate array、略してFPGA）として構成されてもよい。
当業者は、本発明の実施形態が、方法、システム、またはコンピュータプログラム製品として提供され得ることを理解されたい。したがって、本発明は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、またはソフトウェアとハードウェアとの組み合わせを有する実施形態の形態を使用することができる。さらに、本発明は、コンピュータで使用可能なプログラムコードを含む1つまたは複数のコンピュータで使用可能な記憶媒体（ディスクメモリ、CD−ROM、光メモリなどを含むがこれらに限定されない）上に実装されるコンピュータプログラム製品の形態を使用してもよい。
本発明は、本発明の実施形態による方法、デバイス（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明されている。コンピュータプログラム命令を使用して、フローチャートおよび／またはブロック図における各プロセスおよび／または各ブロック、ならびにフローチャートおよび／またはブロック図におけるプロセスおよび／またはブロックの組み合わせを実施することができることを理解されたい。これらのコンピュータプログラム命令は、機械を生成するために、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、または別のプログラム可能なデータ処理デバイスのプロセッサに提供することができ、その結果、コンピュータまたは別のプログラム可能なデータ処理装置のプロセッサは、フローチャート内の1つもしくは複数のプロセスおよび／またはブロック図の1つもしくは複数のブロックの特定の機能を実現するための装置を生成する。
これらのコンピュータプログラム命令は、コンピュータまたは別のプログラム可能なデータ処理デバイスが特定の仕方で動作するように命令することができるコンピュータ可読メモリに格納され、コンピュータ可読メモリに格納された命令が命令装置を含むアーティファクトを生成する。命令装置は、フローチャートの1つもしくは複数のプロセスおよび／またはブロック図の1つもしくは複数のブロックの特定の機能を実現する。
これらのコンピュータプログラム命令は、コンピュータまたは別のプログラム可能なデータ処理デバイスにロードすることができ、コンピュータまたは別のプログラム可能な装置上で一連の動作およびステップが実行され、それによってコンピュータにより実行される処理が生成される。したがって、コンピュータまたは別のプログラム可能なデバイス上で実行される命令は、フローチャートの1つもしくは複数のプロセスおよび／またはブロック図の1つもしくは複数のブロックの特定の機能を実現するステップを提供する。
本発明のいくつかの実施形態が説明されているが、当業者は、基本的な発明概念を学ぶと、これらの実施形態に変更および修正を加えることができる。したがって、列挙された実施形態および本発明の範囲内にあるすべての変更と修正を包含するものとして、以下の特許請求の範囲を解釈することが意図されている。明らかに、当業者は、本発明の実施形態の範囲から逸脱することなく、本発明の実施形態に対して様々な修正および変形を行うことができる。本発明は、本発明の実施形態の修正および変形を網羅することを意図し、これらの修正および変形は、特許請求の範囲およびそれらの均等な技術によって定義される保護の範囲内にある。
100 端末
110 無線周波数ユニット
120 メモリ
130 入力ユニット
131 タッチスクリーン
132 別の入力デバイス
140 表示ユニット
141 ディスプレイパネル
150 カメラ
160 オーディオ回路
161 スピーカ
162 マイクロフォン
163 イヤホンジャック
170 プロセッサ
180 外部インターフェース
190 電源
700 撮影装置
701 取得モジュール
702 決定モジュール
703 取り込みモジュール
704 画像処理モジュール

Claims (8)

  1. 端末であって、
    第1のカメラ、第2のカメラ、および第3のカメラであって、前記第1のカメラおよび前記第3のカメラはカラーカメラであり、前記第2のカメラは白黒カメラであり、前記第1のカメラ、前記第2のカメラ、および前記第3のカメラはプライムレンズを使用するカメラであり、前記第3のカメラの等価焦点距離は、前記第1のカメラの等価焦点距離および前記第2のカメラの等価焦点距離の両方より大きく、前記第1のカメラ、前記第2のカメラ、および前記第3のカメラは前記端末の後側にあり、前記第3のカメラの前記等価焦点距離は前記第1のカメラの前記等価焦点距離の2〜4倍である、第1のカメラ、第2のカメラ、および第3のカメラと、
    プロセッサと、
    コンピュータプログラムおよび命令を格納するために前記プロセッサに結合されたメモリと、を含み、前記コンピュータプログラムおよび命令は、前記プロセッサによって実行された時、前記プロセッサに、
    前記第1のカメラ、前記第2のカメラ、および前記第3のカメラから、目標シーンを含む少なくとも1つの画像を取り込むための前記第1、第2、および第3のカメラのうちの少なくとも1つのカメラを選択する操作と、
    前記目標シーンを含む前記少なくとも1つの画像に基づいて、前記目標シーンの出力画像を取得する操作と、を含む操作を実行させる、端末。
  2. 前記操作は、
    現在のズーム比が（1，3）のズーム範囲内にある場合に、前記第1のカメラおよび前記第2のカメラを使用して、前記目標シーンを含む少なくとも1つのカラー画像および少なくとも1つの白黒画像をそれぞれ取り込む操作、をさらに含む、
    請求項1に記載の端末。
  3. 前記操作は、
    現在のズーム比が［3、10］のズーム範囲内にあり、前記目標シーンの照度が予め設定されたしきい値よりも低い場合に、前記第3のカメラおよび前記第2のカメラを使用して、前記目標シーンを含む少なくとも1つのカラー画像および少なくとも1つの白黒画像をそれぞれ取り込む操作、をさらに含む、
    請求項1に記載の端末。
  4. 前記操作は、
    現在のズーム比が［3、10］のズーム範囲内にあり、前記目標シーンの照度が予め設定されたしきい値よりも低くない場合に、前記第3のカメラを使用して、前記目標シーンを含む少なくとも1つのカラー画像を取り込む操作、をさらに含む、
    請求項1に記載の端末。
  5. 前記第1のカメラの前記等価焦点距離は26mmまたは27mmである、請求項1に記載の端末。
  6. 前記第1のカメラの口径値は1．7または1．8である、請求項1に記載の端末。
  7. 前記第3のカメラの口径値は2．4または2．2である、請求項1に記載の端末。
  8. 前記第1のカメラの解像度は10Mまたは12Mであり、前記第3のカメラの解像度は8M、10Mまたは12Mである、請求項1に記載の端末。
JP2020538927A 2018-03-26 2019-03-11 撮影方法、装置、およびデバイス Active JP6945744B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810254358.5 2018-03-26
CN201810254358.5A CN108391035B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
PCT/CN2019/077640 WO2019184686A1 (zh) 2018-03-26 2019-03-11 一种拍摄方法、装置与设备

Publications (2)

Publication Number Publication Date
JP2021507646A JP2021507646A (ja) 2021-02-22
JP6945744B2 true JP6945744B2 (ja) 2021-10-06

Family

ID=63072828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538927A Active JP6945744B2 (ja) 2018-03-26 2019-03-11 撮影方法、装置、およびデバイス

Country Status (10)

Country Link
US (1) US11206352B2 (ja)
EP (1) EP3713209B1 (ja)
JP (1) JP6945744B2 (ja)
KR (1) KR102310430B1 (ja)
CN (6) CN111885295B (ja)
AU (1) AU2019241111B2 (ja)
BR (1) BR112020015673A2 (ja)
CA (1) CA3085555C (ja)
SG (1) SG11202005392TA (ja)
WO (1) WO2019184686A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2020115098A (ru) * 2017-11-09 2021-12-10 Инфлазоум Лимитед Соединения новых сульфонамидкарбоксамидов
CN111885295B (zh) * 2018-03-26 2025-05-23 华为技术有限公司 一种拍摄方法、装置与设备
CN110838088B (zh) * 2018-08-15 2023-06-02 Tcl科技集团股份有限公司 一种基于深度学习的多帧降噪方法、装置及终端设备
CN110913122B (zh) 2018-09-18 2021-08-10 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质
US11080832B2 (en) * 2018-09-26 2021-08-03 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and storage medium
CN111741211B (zh) * 2019-03-25 2022-07-29 华为技术有限公司 图像显示方法和设备
CN110602392B (zh) * 2019-09-03 2021-10-01 Oppo广东移动通信有限公司 控制方法、成像模组、电子设备及计算机可读存储介质
CN110572581B (zh) * 2019-10-14 2021-04-30 Oppo广东移动通信有限公司 基于终端设备的变焦虚化图像获取方法和装置
CN110767145B (zh) * 2019-10-24 2022-07-26 武汉天马微电子有限公司 显示装置及其驱动方法
CN110855884B (zh) * 2019-11-08 2021-11-09 维沃移动通信有限公司 可穿戴设备及其控制方法和控制装置
CN113037988B (zh) * 2019-12-09 2022-10-25 Oppo广东移动通信有限公司 变焦方法、电子装置和计算机可读存储介质
CN111107265B (zh) * 2019-12-25 2021-10-22 RealMe重庆移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
JP2021136511A (ja) * 2020-02-25 2021-09-13 キヤノン株式会社 撮像装置、撮像システム、制御方法、プログラム、および、記憶媒体
CN111447359B (zh) * 2020-03-19 2021-07-02 展讯通信（上海）有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备
CN115734071A (zh) * 2020-03-20 2023-03-03 华为技术有限公司 图像处理方法及装置
CN113518172B (zh) 2020-03-26 2023-06-20 华为技术有限公司 图像处理方法和装置
CN113452898B (zh) * 2020-03-26 2023-07-18 华为技术有限公司 一种拍照方法及装置
KR20210150903A (ko) * 2020-06-04 2021-12-13 삼성전자주식회사 디스플레이를 포함하는 전자 장치
CN111757005A (zh) * 2020-07-06 2020-10-09 Oppo广东移动通信有限公司 拍摄控制方法及装置、计算机可读介质和电子设备
CN111787224B (zh) * 2020-07-10 2022-07-12 深圳传音控股股份有限公司 图像的获取方法、终端设备和计算机可读存储介质
CN114078094B (zh) * 2020-08-21 2025-03-28 宁波舜宇光电信息有限公司 图像边缘亮度矫正方法、装置以及系统
CN112118394B (zh) * 2020-08-27 2022-02-11 厦门亿联网络技术股份有限公司 一种基于图像融合技术的暗光视频优化方法及装置
TWI771811B (zh) * 2020-09-18 2022-07-21 大立光電股份有限公司 電子裝置
JP7299864B2 (ja) * 2020-09-24 2023-06-28 Ｔｖｓ Ｒｅｇｚａ株式会社 受信装置、コンピュータプログラム
CN116405776B (zh) * 2020-09-27 2025-11-04 华为技术有限公司 多镜头视频录制方法及相关设备
CN112291472B (zh) * 2020-10-28 2021-09-28 Oppo广东移动通信有限公司 预览图像处理方法及装置、存储介质和电子设备
CN114640783B (zh) * 2020-12-15 2024-03-05 华为技术有限公司 一种拍照方法及相关设备
CN113206960A (zh) * 2021-03-24 2021-08-03 上海闻泰电子科技有限公司 拍摄方法、装置、计算机设备和计算机可读存储介质
CN115249258A (zh) * 2021-04-27 2022-10-28 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113704526B (zh) * 2021-07-29 2023-08-04 福建榕基软件工程有限公司 一种拍摄构图引导方法与终端
CN117880628A (zh) * 2021-08-11 2024-04-12 荣耀终端有限公司 拍摄方法及其相关设备
CN115696067B (zh) * 2021-08-12 2024-03-26 荣耀终端有限公司 终端的图像处理方法、终端设备和计算机可读存储介质
CN115967846B (zh) * 2021-10-09 2024-09-17 荣耀终端有限公司 一种图像处理方法及电子设备
CN119299814A (zh) 2021-10-09 2025-01-10 荣耀终端有限公司 一种图像处理方法及电子设备
CN116419067B (zh) * 2021-12-30 2025-11-18 荣耀终端股份有限公司 拍摄方法、电子设备及可读存储介质
CN114793269A (zh) * 2022-03-25 2022-07-26 岚图汽车科技有限公司 摄像头的控制方法及相关设备
CN114640798B (zh) * 2022-05-09 2022-10-04 荣耀终端有限公司 图像处理方法、电子设备及计算机存储介质
CN114915728A (zh) * 2022-05-23 2022-08-16 普联技术有限公司 一种多目摄像设备变焦的方法及多目摄像设备
CN116051368B (zh) * 2022-06-29 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
CN115314636B (zh) * 2022-08-03 2024-06-07 天津华来科技股份有限公司 基于摄像头的多路视频流处理方法和系统
CN117835077A (zh) * 2022-09-27 2024-04-05 华为终端有限公司 一种拍摄方法、电子设备及介质
CN116528040B (zh) * 2023-07-03 2023-09-05 清华大学 基于复眼智能相机的图像超分辨率重建方法、装置及相机
CN120765762B (zh) * 2025-09-08 2025-11-18 杭州互仲网络科技有限公司 基于大模型的仲裁数据智能采集管理系统及方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031466A (ja) * 2003-07-07 2005-02-03 Fujinon Corp 撮像装置および撮像方法
JP2005109623A (ja) * 2003-09-29 2005-04-21 Minolta Co Ltd 多眼式撮像装置及び移動体通信端末
US7916180B2 (en) * 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
CN101135769B (zh) * 2006-08-29 2010-06-09 亚洲光学股份有限公司 变焦镜头
FI20085510L (fi) * 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
US8149323B2 (en) * 2008-12-18 2012-04-03 Qualcomm Incorporated System and method to autofocus assisted by autoexposure control
US8665316B2 (en) * 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
US10412367B2 (en) * 2011-08-05 2019-09-10 3D Media Ltd Multi-lens camera with a single image sensor
EP2592823A3 (en) * 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
CN109963059B (zh) * 2012-11-28 2021-07-27 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US10223838B2 (en) * 2013-03-15 2019-03-05 Derek A. Devries Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
CN109194849B (zh) * 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
FR3009395B1 (fr) * 2013-07-31 2016-12-23 Dxo Labs Dispositif pour la prise de vue comportant une pluralite de modules cameras
US9443335B2 (en) * 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
CN105340267A (zh) * 2013-12-06 2016-02-17 华为终端有限公司 一种生成图片的方法及一种双镜头设备
US9609200B2 (en) * 2014-09-24 2017-03-28 Panavision International, L.P. Distance measurement device for motion picture camera focus applications
KR20160038409A (ko) * 2014-09-30 2016-04-07 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102359268B1 (ko) * 2015-02-16 2022-02-08 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
US20160353012A1 (en) * 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
US10129483B2 (en) * 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
KR102336447B1 (ko) * 2015-07-07 2021-12-07 삼성전자주식회사 촬영 장치 및 그 동작 방법
KR102253997B1 (ko) * 2015-08-13 2021-05-20 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US9948857B2 (en) * 2015-10-22 2018-04-17 Samsung Electronics Co., Ltd. Method and device for generating images
KR101751140B1 (ko) * 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
CN109120821A (zh) * 2016-01-20 2019-01-01 深圳富泰宏精密工业有限公司 多镜头系统、其工作方法及便携式电子装置
CN105827970B (zh) * 2016-03-31 2019-03-05 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107295225B (zh) * 2016-04-12 2020-07-10 三星电机株式会社 相机模块
US10701256B2 (en) * 2016-06-12 2020-06-30 Apple Inc. Switchover control techniques for dual-sensor camera system
CN105979145A (zh) * 2016-06-22 2016-09-28 上海顺砾智能科技有限公司 提高无人机航拍影像质量的拍摄系统及拍摄方法
CN105954881A (zh) * 2016-07-21 2016-09-21 合肥工业大学 一种手机照相变焦镜头
CN106210524B (zh) * 2016-07-29 2019-03-19 信利光电股份有限公司 一种摄像模组的拍摄方法及摄像模组
CN107734214A (zh) * 2016-08-10 2018-02-23 宁波舜宇光电信息有限公司 具有不同大小光圈的多摄像头模组及其应用
CN106454077B (zh) * 2016-09-26 2021-02-23 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置和终端
CN206698308U (zh) * 2016-11-08 2017-12-01 聚晶半导体股份有限公司 摄像模块和摄像装置
KR102204596B1 (ko) 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
US10681273B2 (en) * 2017-08-24 2020-06-09 Samsung Electronics Co., Ltd. Mobile device including multiple cameras
US10200599B1 (en) * 2017-09-07 2019-02-05 Qualcomm Incorporated Image capture setting determination in devices having access to multiple cameras
US10630895B2 (en) * 2017-09-11 2020-04-21 Qualcomm Incorporated Assist for orienting a camera at different zoom levels
CN107819992B (zh) * 2017-11-28 2020-10-02 信利光电股份有限公司 一种三摄像头模组及电子设备
CN111885295B (zh) * 2018-03-26 2025-05-23 华为技术有限公司 一种拍摄方法、装置与设备

Also Published As

Publication number Publication date
AU2019241111A1 (en) 2020-07-02
CN111641778A (zh) 2020-09-08
CN111885295B (zh) 2025-05-23
WO2019184686A1 (zh) 2019-10-03
AU2019241111B2 (en) 2023-04-13
CN111669493B (zh) 2021-04-09
EP3713209A1 (en) 2020-09-23
KR102310430B1 (ko) 2021-10-07
CN111373727B (zh) 2021-01-12
CN108391035A (zh) 2018-08-10
CA3085555C (en) 2023-12-19
KR20200100673A (ko) 2020-08-26
US11206352B2 (en) 2021-12-21
CN111373727A (zh) 2020-07-03
CN111641778B (zh) 2021-05-04
CN111885295A (zh) 2020-11-03
SG11202005392TA (en) 2020-07-29
CN111885294A (zh) 2020-11-03
BR112020015673A2 (pt) 2020-12-08
CA3085555A1 (en) 2019-10-03
CN111885294B (zh) 2022-04-22
JP2021507646A (ja) 2021-02-22
EP3713209B1 (en) 2023-04-26
CN108391035B (zh) 2020-04-21
CN111669493A (zh) 2020-09-15
US20200358954A1 (en) 2020-11-12
EP3713209A4 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
JP6945744B2 (ja) 撮影方法、装置、およびデバイス
JP6803982B2 (ja) 光学撮像方法および装置
CN109671106B (zh) 一种图像处理方法、装置与设备
CN109120818B (zh) 一种图像处理方法、装置与设备
US10827140B2 (en) Photographing method for terminal and terminal
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
CN113572980A (zh) 拍照方法、装置、终端设备及存储介质
CN111314593A (zh) 终端设备、图像拍摄方法、装置及存储介质
WO2019072222A1 (zh) 一种图像处理方法、装置与设备
CN119854634A (zh) 变焦方法、智能终端及可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210914

R150 Certificate of patent or registration of utility model

Ref document number: 6945744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250