[go: up one dir, main page]

JP7305332B2 - レンズ制御装置、及びその制御方法 - Google Patents

レンズ制御装置、及びその制御方法 Download PDF

Info

Publication number
JP7305332B2
JP7305332B2 JP2018207518A JP2018207518A JP7305332B2 JP 7305332 B2 JP7305332 B2 JP 7305332B2 JP 2018207518 A JP2018207518 A JP 2018207518A JP 2018207518 A JP2018207518 A JP 2018207518A JP 7305332 B2 JP7305332 B2 JP 7305332B2
Authority
JP
Japan
Prior art keywords
image plane
subject
plane position
prediction
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018207518A
Other languages
English (en)
Other versions
JP2019091031A (ja
Inventor
邦明 杉谷
康之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US16/186,959 priority Critical patent/US10834309B2/en
Priority to KR1020180141220A priority patent/KR102402325B1/ko
Priority to CN201811367008.6A priority patent/CN110022432B/zh
Publication of JP2019091031A publication Critical patent/JP2019091031A/ja
Application granted granted Critical
Publication of JP7305332B2 publication Critical patent/JP7305332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、像面位置の予測に関するものである。
従来、動く被写体に対してピントを合わせるために、ある時刻の焦点検出結果に基づいて当該時刻よりも後の時刻における像面位置を予測し、予測された当該像面位置に基づいてフォーカスレンズの駆動を制御する技術が提案されている。
特許文献1では、像面位置及び対応する焦点検出の時刻のデータを複数用いて、予測関数にもっともフィットする係数を最小二乗法(一括最小二乗法とも称される)により求めることで、像面位置を予測する技術が公知であることが記載されている。
特開2001-21794号広報
上述の一括最小二乗法を用いて像面位置を予測し、当該像面位置に基づいてフォーカスレンズの駆動を制御することで、動いている被写体に対して焦点位置を合わせることが可能である。
しかしながら、一括最小二乗法を用いてある時刻よりも後の時刻における被写体の像面位置を予測する場合、より安定した予測結果を得るためには、演算量を増やす必要があるという課題があった。像面位置及び対応する焦点検出の時刻のデータをより多く用いて演算する必要があるためである。
そこで、本発明の目的は、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができるレンズ制御装置及びその制御方法を提供することである。
焦点検出結果を取得する焦点検出手段と、前記焦点検出結果に基づいて被写体の像面位置に対応する情報を逐次最小二乗法に基づいて推定する推定手段と、前記推定手段により推定された被写体の像面位置に対応する情報に基づいて、被写体の将来の像面位置に対応する情報を予測する第1の予測手段と、一括最小二乗法に基づいて被写体の将来の像面位置に対応する情報の予測を行う第2の予測手段と、前記第1の予測手段又は前記第2の予測手段によって予測された前記被写体の将来の像面位置に対応する情報に基づいてフォーカスレンズの駆動を制御する駆動制御手段と、を有し、前記駆動制御手段は、被写体までの撮影距離が前記第1の距離未満である場合には、前記第2の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動するよう構成したことを特徴とする。
本発明によれば、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。
実施例1を備えたデジタル一眼レフカメラの構成を示すブロック図である。 実施例1における撮影処理の動作例を示すフローチャートである。 実施例1における焦点調節処理を示すフローチャートである。 実施例2における焦点調節処理を示すフローチャートである。 実施例3における焦点調節処理を示すフローチャートである。 実施例4における焦点調節処理を示すフローチャートである。 実施例1におけるカルマンフィルタ演算を説明する図である。 一括最小二乗法を説明する図である。
[実施例1]
以下、本発明を適用した実施例を説明する。本実施例では一例として、本発明をデジタル一眼レフカメラに適用した例を説明する。
<撮像装置の構成>
図1は、デジタル一眼レフカメラの構成を示すブロック図である。
レンズ駆動回路202は、例えばDCモータやステッピングモータを有し、マイクロコンピュータ224の駆動制御によって、撮影レンズ201が有するフォーカスレンズの位置を変化させることにより焦点位置を合わせる。すなわち、マイクロコンピュータ224によってレンズ制御が行われる。
レンズ通信回路203は、撮影レンズ201内部のマイクロコンピュータ(不図示)と通信を行う。通信内容はマイクロコンピュータ224によって制御され、撮影レンズ201の状態を取得する。
絞り駆動回路205は、絞り204を駆動する。駆動されるべき量はマイクロコンピュータ224によって算出され、光学的な絞り値を変化させる。
主ミラー206は常時はファインダー部(不図示)へと光束を導くよう反射させるように配されているが、撮影が行われる場合には、撮像素子213へと光束を導くように上方に跳ね上がり光束中から待避する。すなわち、撮影レンズ201から入射した光束をファインダー側と撮像素子側とに切替える。また主ミラー206はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出センサに入射するように透過させる。
サブミラー207は主ミラー206から透過してきた光束を反射させ焦点検出を行うための焦点検出センサ(焦点検出回路210内に配置されている)に導く。
ペンタプリズム208主ミラー206が反射した光束をファインダー部(不図示)へと導く。ファインダー部は他にピント板、アイピースレンズ(不図示)などを有する。
測光回路209は、ピント板(不図示)に結像された被写体像の色および明るさを、カラーフィルタを備えた測光センサ(測光回路209内に配置されている)によって、電気信号に変換する。
主ミラー206の中央部を透過し、サブミラー207で反射された光束は、焦点検出回路210の内部に配置された光電変換を行うための焦点検出センサに至る。焦点検出の結果であるデフォーカス量は、焦点検出センサの出力を演算することによって求められる。マイクロコンピュータ224は演算結果を評価してレンズ駆動回路202に指示し、フォーカスレンズを駆動させる。
シャッター駆動回路212は、フォーカルプレーンシャッター211を駆動する。シャッターの開口時間はマイクロコンピュータ224によって、制御される。
撮像素子213には、CCDやCMOSセンサなどが用いられ、撮影レンズ201によって結像された被写体像を電気信号に変換する。
クランプ回路214やAGC回路215は、A/D変換をする前の基本的なアナログ信号処理を行い、マイクロコンピュータ224により、クランプレベルやAGC基準レベルの変更が行われる。
A/D変換器216は撮像素子213のアナログ出力信号をデジタル信号に変換する。
映像信号処理回路217は、ゲートアレイなどのロジックデバイスにより実現され、デジタル化された画像データに、フィルタ処理、色変換処理、ガンマ処理を行うと共に、JPEGなどの圧縮処理を行い、メモリコントローラ220に出力する。
映像信号処理回路217は、必要に応じて撮像素子213の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ224に出力することが可能である。それらの情報を基にマイクロコンピュータ224はホワイトバランスやゲイン調整の指示を行う。連続撮影動作の場合においては、一旦、未処理画像のままバッファメモリ223に撮影データを格納し、メモリコントローラ220を通して未処理の画像データを読み出し、映像信号処理回路217にて画像処理や圧縮処理を行い、連続撮影を行う。連像撮影枚数は、バッファメモリの大きさに左右される。
メモリコントローラ220では、映像信号処理回路217から入力された未処理のデジタル画像データをバッファメモリに格納し、処理済みのデジタル画像データをメモリ221に格納する。また、逆にバッファメモリ223やメモリ221から画像データを映像信号処理回路217に出力する。メモリ221は取り外し可能である場合もある。メモリコントローラ220は、コンピュータ等と接続可能な外部インターフェイス222を介してメモリ221に記憶されている画像を出力可能である。
操作部材225は、マイクロコンピュータ224にその状態を伝え、マイクロコンピュータ224はその操作部材の変化に応じて各部をコントロールする。
スイッチ1(以後SW1)とスイッチ2(以後SW2)は、レリーズボタンの操作でオンオフするスイッチであり、それぞれ操作部材225の入力スイッチのうちの1つである。SW1のみオンの状態はレリーズボタン半押し状態であり、この状態でオートフォーカス動作や測光動作を行う。
SW1、SW2が共にオンの状態はレリーズボタンの全押し状態であり、画像を記録するためのレリーズボタンオン状態である。この状態で撮影が行われる。またSW1、SW2がONし続けている間は、連続撮影動作が行われる。操作部材225には、他に、ISO設定ボタン、画像サイズ設定ボタン、画質設定ボタン、情報表示ボタンなど不図示のスイッチが接続されており、スイッチの状態が検出されている。
液晶駆動回路228は、マイクロコンピュータ224の表示内容命令に従って、外部液晶表示部材229やファインダー内液晶表示部材230を駆動する。また、ファインダー内液晶表示部材230には、不図示のLEDなどのバックライトが配置されており、そのLEDも液晶駆動回路228で駆動される。マイクロコンピュータ224は撮影前に設定されているISO感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ220を通して、メモリの容量を確認した上で撮影可能残数を演算することができる。必要に応じて外部液晶表示部材229、ファインダー内液晶表示部材230にも表示することができる。
不揮発性メモリ231(EEPROM)は、カメラに電源が入れられていない状態でも、データを保存することができる。例えば異なる時刻に検出されたデフォーカス量に対応する像面位置の情報が、対応する時刻の情報とともに複数記憶されている。なお、像面位置と対応する時刻の情報は、不図示の揮発性メモリに記憶し、電源を切った場合にはデータが消去されるように構成しても良い。
電源部232は、各ICや駆動系に必要な電源を供給する。
なお、本実施例のマイクロコンピュータ224は、本願請求項の状態算出手段、距離算出手段、誤差算出手段、速度算出手段、デフォーカス量検出手段、決定手段の一例である。
<カルマンフィルタ演算>
ここで、カルマンフィルタ演算について説明する。時刻kにおける時系列データy(k)が、次の式で与えられるものとする。なお、時系列データを観測値とも称する。なお、以下の説明において時刻k-1、時刻k、時刻k+1はいずれも時系列データが得られる時刻に相当する。
y(k)=X(k)A(k)+ω(k)
A(k+1)=L(k)A(k)+m(k)ν(k)
X(k)、m(k)はn次元の列ベクトル、A(k)はn次元の列ベクトル(状態ベクトル)、ω(k)は平均値0であり分散σω の観測ノイズ、L(k)はn×n行列、νは平均値0であり分散σν のシステムノイズである。
カルマンフィルタ演算は、状態ベクトルA(k)を求めるものであり、予測ステップとフィルタリングステップの2つに演算ステップが分かれる。まず予測ステップで事前に状態を推定し、フィルタリングステップでは観測結果を用いて状態を推定する。
予測ステップにおいて、事前状態推定ベクトルA’(k)(n次元の列ベクトル)、および事前誤差共分散行列P’(k)(n×n行列)は下式で求められる。
A’(k)=L(k-1)A(k-1)
P’(k)=L(k-1)P(k-1)L(k-1)+
σν (k-1)m(k-1)m(k-1)
上述の式に示されるように、事前状態推定ベクトルA’(k)は、時刻kにおける状態ベクトルを、時刻k-1に得られた状態ベクトル(k-1)と任意のL(k)によって推定するものである。また、事前誤差共分散行列P’(k)は、時刻kにおける状態ベクトルA(k)と事前状態推定ベクトルA’(k)との誤差を推定する式である。
フィルタリングステップにおいて、状態推定ベクトルA(k)(n次元の列ベクトル)が、検出された時系列データy(k)に基づいて、下式で求められる。また、事後誤差共分散行列P(k)(n×n行列)が下式で求められる。
A(k)=A’(k)+g(k)(y(k)-X(k)A’(k))
P(k)=(I-g(k)X(k))P’(k)
上述の式に示されているように、A(k)は、実際の検出結果であるy(k)と事前に予測された検出結果に基づくXT(K)A’(K)との差分にカルマンゲインg(k)を掛けた補正値を、A’(k)に加えることによって算出される。なお、行列Iはn×nの単位行列である。
また、カルマンゲインg(k)は下式で求められる。
Figure 0007305332000001
上述の式に示されているように、観測ノイズσ ω(k)が大きくなるほど、g(k)は小さくなる。また、事前誤差共分散行列P’(k)が大きくなるほど、g(k)は小さくなる。すなわち、検出されたy(k)や、XT(K)A’(K)に誤差が生じている可能性が高いと考えられる場合には、そうでない場合と比較してg(k)が小さくなる。これにより、算出されるA(k)が誤差の影響を受けにくくなる。
状態ベクトルの初期値A(0)、誤差共分散行列の初期値P(0)は下式で与える。
Figure 0007305332000002
<本実施例のカルマンフィルタ演算>
本実施例におけるカルマンフィルタ演算を説明する。y(k)は時刻kの像面位置の検出結果である。そして、本実施例のカルマンフィルタ演算では、状態ベクトルA(k)から、被写体の状態に関する情報として、時刻kにおける像面位置と像面移動速度とが推定される。また、状態ベクトルA(k)に基づいて、状態ベクトルA(k+1)が求められることで、被写体の状態に関する情報として、時刻k+1における像面位置と像面移動速度とが推定される。
なお、本実施形態において像面位置とは、撮影レンズ201に対応する後側焦点の位置である(撮影レンズの像面位置、レンズ像面位置とも称する)。また、被写体に対応する像面位置とは、被写体に対して前側焦点の合う位置に撮影レンズ201がある場合の後側焦点の位置である。つまり、被写体に対応する像面位置とは、被写体に対して焦点検出をした時刻において、その時刻の後側焦点の位置に対して当該焦点検出の結果(本実施例ではデフォーカス量)を加味して算出される後側焦点の位置である。本実施例では像面位置に対応する情報として像面位置を用いている例を説明するが、像面位置に対応する情報として像面位置以外の情報を用いても良い。例えば像面位置は撮影レンズ201の位置に対応していることから、本実施例の像面位置に代えて像面位置に対応する撮影レンズ201の位置を用いても良い。この場合、被写体に対応する像面位置に対応するレンズ位置は、次のように算出されるフォーカスレンズ位置である。すなわち、被写体に対して焦点検出をした時刻において、その時刻のフォーカスレンズ位置に対して当該焦点検出の結果(本実施例ではデフォーカス量)を加味して算出されるフォーカスレンズの位置である。
ここで、被写体の状態に関する情報(カルマンフィルタ演算によって推定された像面位置と像面移動速度)を用いて被写体の動きを予測するための、モデル式を説明する。一例を図7に示す。被写体の像面位置の予測を図7の破線のように1次式(2次元)で行うものを考える。時刻kの像面位置は、時刻kにおける平均像面移動速度vと、時刻0の像面位置yで予測できるモデルとする。このとき、列ベクトルAを、時刻0の像面位置(切片)yと時刻kにおける平均像面移動速度(傾き)vとして定義する。また列ベクトルXを、時刻kおよびyが定数となるよう1として定義する。分散σω は検出結果の分散に基づいて入れればよい。初期値A(0)において、yの初期値は、例えば初めて検出した像面位置yに基づいて入れてもよい。また平均像面移動速度の初期値vは0として入れてもよい。初期値P(0)は適切な値を入れればよい。行列L、列ベクトルmおよび分散σν は、モデルの性質、すなわち撮影の対象としたい被写体の動き等の性質によって設定すればよく、時不変でもよい。
なお、像面移動速度は、像面位置が移動する速度であり、被写体の移動速度に対応する速度である。本実施例では像面移動速度を用いて説明するが、像面移動速度に対応する速度であれば、これに限られない。例えば、像面位置の移動速度に対応する、フォーカスレンズ位置の移動速度であっても良い。
本実施例ではあくまで一例としてモデル式が1次式(2次元)である例を挙げたが、想定する被写体の動き等に応じてモデル式は何次元であっても良く、モデル式の次元に合わせて列ベクトルAを定義すれば良い。
以上によって、予測ステップに必要な行列、ベクトルおよび分散の定義ができた。その後像面位置の検出結果を用いてフィルタリングステップ、さらに次の時刻のための予測ステップと繰り返すことでカルマンフィルタ演算による被写体の動きを予測するモデル式を得ることができる。
カルマンフィルタ演算によれば、上述したように、誤差を考慮した演算を行うことから、焦点検出結果に誤差が生じやすいシチュエーションであっても精度の良い像面位置の予測を行うことができる。
<一括最小二乗法による演算>
ここで図8を用いて、特許文献1にも開示されている一括最小二乗法に基づく像面位置の予測についてより詳しく説明する。
時刻xにおける像面位置がyであり、図中●で表現されている。ここで複数の図中●を時刻tに対する(n-1)次の多次式モデルで表現するとき、像面位置をy(t)、時刻パラメータを列ベクトルT(t)、モデル式の係数を列ベクトルC(t)とすると、下式で与えられ、図中の一点鎖線のような曲線が与えられる。
y(t)=C(t)T(t)
列ベクトルC(t)および列ベクトルT(t)は、次の通りである。
Figure 0007305332000003
上述の列ベクトルCを求める方法として、一括最小二乗法が用いることができる。モデル式を(n-1)次の多次式、過去の像面位置の測定結果数をN、時刻kを含む過去の像面位置に対応する焦点検出結果が得られた時刻より与えられる行列Z(k)、時刻kを含む過去の像面位置より与えられる列ベクトルY(k)とする。このとき、求めるべき列ベクトルC(k)は下式で与えられる。
C(k)=[Z(k)Z(k)]-1Z(k)Y(k)
行列Z(k)および列ベクトルY(k)は、それぞれ下式で与えられる。
Figure 0007305332000004
上述の一括最小二乗法を用いて像面位置を予測し、当該像面位置に基づいてフォーカスレンズの駆動を制御することで、動いている被写体に対して焦点位置を合わせることが可能である。
しかしながら、一括最小二乗法を用いてある時刻よりも後の時刻における被写体の像面位置を予測する場合、より安定した予測結果を得るためには、計算量を増やす必要があるという課題があった。列ベクトルCを求めるための計算量は少なくともO(N・n)であところ、安定した列ベクトルCを求めるには過去の測定結果数Nを大きくする必要がある。計算量はNに比例して増加する。
これに対し、n次元のパラメータによるカルマンフィルタの計算量は、O(n)である。モデル式が低次元であるときは、カルマンフィルタの演算回数は同次元の一括最小二乗法よりも十分小さくすることができる。また観測結果にばらつきがあるとき、一括最小二乗法は演算に用いる過去の観測結果数Nを大きく取りたくなるが、前述のとおり一括最小二乗法の計算量は、O(Nn)であり、Nを大とするとカルマンフィルタの計算量よりもはるかに大きくなる。従って、本実施例のように、適切なシーンにおいてはカルマンフィルタによって演算することで、計算量を一括最小二乗法の計算量よりも小さくすることができる。
<撮影処理の動作例>
次に、本発明の実施例1に関する撮影処理の動作例を図2のフローチャートに基づいて説明する。
一般にカメラにはある時刻における被写体の像面に対してレンズを駆動するモード(ワンショット撮影モード)と、現在の時刻よりも後の時刻の被写体の像面を予測しながらレンズを駆動するモード(予測撮影モード)の2種類がある。実施例1ではカメラが予測撮影モードに設定されたときの動きを示す。
ステップS401で、マイクロコンピュータ224は、SW1の状態を判定する。SW1がオンである場合は、ステップS402へ進む。SW1がオフされると、マイクロコンピュータ224は予測撮影モードを終了するよう制御する。
ステップS402で、マイクロコンピュータ224は、焦点調節処理を行うよう制御する。詳細は図3を用いて後述する。
ステップS403で、マイクロコンピュータ224は、SW2の状態を判定する。SW2がオフならばステップS401へ戻る。SW2がオンである場合は、ステップS404へ進む。
ステップS404で、マイクロコンピュータ224は、主ミラー206をアップし、フォーカルプレーンシャッター211を動作させ撮影を行うよう制御する。その後ステップS401へ戻る。
<焦点調節処理>
次にステップS402の焦点調節処理の動作の一例を図3のフローチャートに基づき説明する。
ステップS501で、マイクロコンピュータ224は、焦点検出回路210を駆動させ、デフォーカス量を求める。さらに、デフォーカス量と現在の撮像レンズの位置から、被写体にピントが合う撮影レンズの位置である像面位置を取得する。
ステップS502で、マイクロコンピュータ224は、記憶処理を行うよう制御する。記憶処理では、ステップS501で得た像面位置ならびにデフォーカス量の検出時刻をメモリに格納する。
ステップS503で、マイクロコンピュータ224は、前述のカルマンフィルタ演算を行う。カルマンフィルタは、逐次同定法の一種であり、一括最小二乗法のように演算時に複数の時系列データを必要としない。ここで、状態ベクトルA(k)から、被写体の状態に関する情報として、時刻(k)における像面位置と像面移動速度とが推定される。
ステップS504で、マイクロコンピュータ224は、メモリに格納されたデータ数が第1の数未満であるかを評価する。データ数が第1の数未満であるときはステップS508へ、データ数が第1の数以上であるときはステップS505へ進む。
ステップS505で、マイクロコンピュータ224は、ステップS503で実施したカルマンフィルタの同定度合いを評価する。同定度合いは、前述の事後誤差共分散行列Pを用いて評価する。同行列Pを用いることで、カルマンフィルタ演算で求めた状態推定ベクトルAの結果が収束しているかを判定することができるためである。同定度合い、すなわちPが第1の値未満であるならば、ステップS507へ進む。カルマンフィルタ演算で求めた状態推定ベクトルAの結果が収束していない、すなわちカルマンフィルタ演算により得られる像面位置に誤差が生じている可能性があるためである。同定度合い、すなわちPが第1の値以上であるときはステップS506へ進む。このように同定度合いに基づいて予測手法を切換えることで、カルマンフィルタ演算が十分収束しているときは、演算量を少なくする手法を選択することができる。
ステップS506で、マイクロコンピュータ224は、一括最小二乗法による焦点予測を行う。具体的にはステップS502でメモリに記憶された像面位置とその検出時刻の時系列データを複数用いて、一括最小二乗法により被写体の像面位置のモデル式を求め、得られた結果によって現在の時刻(k)よりも後の時刻(k+1)の被写体の像面位置を求める。
ステップS507で、マイクロコンピュータ224は、カルマンフィルタによる焦点予測を行う。ステップS503で状態ベクトルA(k)を求めたことで、被写体の像面位置のモデル式の同定ができているので、その結果によって将来の像面位置を予測する。より具体的には、状態ベクトルA(k)を求めることで被写体の状態に関する情報として推定された時刻(k)における像面位置(切片に相当する)及び像面移動速度(傾きに相当する)と、モデル式とを用いることで、時刻k+Δdにおける像面位置を算出する。ここで、時刻k+Δdは撮影時刻に対応する時刻である。例えば時刻k+Δdは、S404の時刻に対応する。
ステップS508で、マイクロコンピュータ224は、焦点検出結果に基づくフォーカスレンズの駆動を行うよう制御する。ステップS501によって得られた被写体の像面位置に基づいて撮影レンズの駆動を行う。
ステップS509で、マイクロコンピュータ224は、焦点予測結果に基づくレンズ駆動を行う。ステップS506もしくはステップS507で将来の像面位置が求められているので、その結果に基づいてフォーカスレンズの駆動を行う。
<効果>
以上説明したように、実施例1ではカルマンフィルタ演算を用いて算出された被写体の像面位置に基づいてフォーカスレンズの駆動を制御する。これにより、カルマンフィルタ演算を用いない場合と比較して、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。
また、実施例1では、カルマンフィルタ演算を用いる場合とそうでない場合とを条件に応じて切換えることで、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。
[実施例2]
実施例1では、カルマンフィルタ演算による同定度合いが閾値以上である場合にカルマンフィルタ演算を用いる例を説明した。
実施例2では、カルマンフィルタ演算による同定度合いに加え、被写体の動きを考慮した例を説明する。なお、実施例1との共通点については極力説明を省略し、相違点に着目して説明する。
デジタル一眼レフカメラの構成(図1)、撮影処理の動作(図2)は実施例1と同様であるため、説明を省略する。
<焦点調節処理>
本実施例での焦点調節処理の動作を図4のフローチャートに基づき説明する。
ステップS601は、ステップS501と同じであるため、説明を省略する。
ステップS602で、マイクロコンピュータ224は、被写体距離演算を行う。ここで、被写体距離は、カメラから被写体までの撮影距離である。レンズ通信回路203を用いて撮影レンズ201より現在の撮影レンズの結像位置から求められる被写体距離を取得する。
ステップS603、S604は、それぞれステップS502、S503と同じであるため、説明を省略する。
ステップS605で、マイクロコンピュータ224は、像面移動速度を演算する。像面移動速度はステップS604のカルマンフィルタ演算で求めてもよい。本実施例では、モデル式を時刻kに対する2次元(1次式)としている。そして、列ベクトルAは、時刻0の像面位置(切片)と時刻kにおける平均像面移動速度(傾き)とを表すよう定義されることから、A(k)を求めることで、像面移動速度を得ることができる。また、その他公知の方法により求めても良い。
ステップS606、ステップS607は、それぞれステップS504、ステップS505と同じであるため、説明を省略する。
ステップS608で、マイクロコンピュータ224は、被写体距離を評価する。ステップS602で求めた被写体距離が第1の距離以上ならばステップS609へ、第1の距離未満ならばステップS610へ進む。カルマンフィルタ演算に用いるモデル式を例えばモデル式を1次式(2次元)とすると、被写体距離が近いときは、被写体の像面位置がモデル式とは合わなくなることが考えられる。従って被写体距離が第1の距離未満であるときはステップS610へ進み、一括最小二乗法によって将来の像面位置を求めるようにする。
ステップS609で、マイクロコンピュータ224は、像面移動速度を評価する。ステップS604で求めた像面移動速度が第1の速度未満であるならばステップS611へ、第1の速度以上であるならばステップS610へ進む。これもカルマンフィルタ演算に用いるモデル式によるが、像面移動速度が速いときに被写体の像面位置がモデル式と合わなくなることを考慮したためである。
ステップS610~ステップS613は、それぞれステップS506~ステップS509と同じであるため、説明を省略する。
<効果>
以上説明したように、実施例2では、被写体の動きに応じてカルマンフィルタ演算を採用し、像面位置を求める。より具体的には、被写体の移動速度に対応する像面移動速度に応じてカルマンフィルタ演算を採用するか否かを切り替える。処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。
[実施例3]
実施例1では、カルマンフィルタ演算による同定度合いが閾値以上である場合にカルマンフィルタ演算を用いる例を説明した。また、実施例2では、実施例1に対して更に被写体の動きを考慮してカルマンフィルタ演算を用いる例を説明した。
実施例3では、焦点検出結果のばらつきを考慮してカルマンフィルタ演算を用いる例を説明する。なお、実施例1との共通点については極力説明を省略し、相違点に着目して説明する。
デジタル一眼レフカメラの構成(図1)、撮影処理の動作(図2)は実施例1と同様であるため、説明を省略する。
<焦点調節処理>
本実施例での焦点調節処理の動作を図5のフローチャートに基づき説明する。
ステップS701~ステップS703は、それぞれステップS501~ステップS503と同じであるため、説明を省略する。
ステップS704で、マイクロコンピュータ224は、ばらつき演算を行う。焦点検出結果には、一般的に多少のばらつきが生じ得る。例えば、被写体距離が遠くなるほど、焦点検出結果のばらつきが大きくなる。ステップS702では、マイクロコンピュータ224は、メモリに記憶された像面位置とその検出時刻を用いて、被写体の像面位置のばらつき(分散)を求める。
ステップS705、ステップS706は、それぞれステップS504、ステップS505と同じであるため、説明を省略する。
ステップS707で、マイクロコンピュータ224は、ばらつきを評価する。ステップS704で求めた像面位置のばらつきが第2の値以上である場合は、カルマンフィルタ演算を用いた焦点予測を行うべく、ステップS709へ進む。カルマンフィルタ演算は検出結果の誤差を考慮した演算であることから、カルマンフィルタ演算を用いて焦点予測を行うことで、焦点検出結果にばらつきが生じる場面であっても安定した演算結果を得ることできるためである。この結果、より精度良く像面位置を算出することが可能である。ステップS704で求めた像面位置のばらつきが第2の値未満である場合は、ステップS708へ進む。
ステップS708~ステップS711は、それぞれステップS506~ステップS509と同じであるため、説明を省略する。
<効果>
以上説明したように、実施例3では、焦点検出結果のばらつきに応じて、カルマンフィルタ演算を用いる。より具体的には、焦点検出結果のばらつきが閾値以上である場合に、カルマンフィルタ演算を用いる。これにより、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。
[実施例4]
カルマンフィルタ演算を用いる場合に、行列L、列ベクトルmを固定とすると、被写体の動きによっては、被写体の像面位置がモデル式から乖離する場合がある。具体的には、被写体が近づくことで、撮影距離が短くなり、かつ、被写体の像面移動速度が速くなると、そうでない場合に比較して、状態推定ベクトルAの変化量を大きくしないと、被写体の像面位置がモデル式から乖離しやすくなる。状態推定ベクトルAの変化量は、行列L、列ベクトルmおよび分散σν によって変えることができる。そこで、実施例4では、各種条件に応じて、カルマンフィルタ演算に用いる設定パラメータを変更することで、より精度良くカルマンフィルタ演算を行う例を説明する。
まず、本発明を適用した実施例4を説明する。なお、実施例1との共通点については極力説明を省略し、相違点に着目して説明する。
デジタル一眼レフカメラの構成(図1)、撮影処理の動作(図2)は実施例1と同様であるため、説明を省略する。
<焦点調節処理>
次に、本発明の実施例4の焦点調節処理の動作例を図6のフローチャートに基づいて説明する。
ステップS1301は、ステップS501と同じであるため、説明を省略する。
ステップS1302で、マイクロコンピュータ224は、像面移動速度演算を行う。
ステップS1303で、マイクロコンピュータ224は、被写体距離演算を行う。レンズ通信回路203を用いて撮影レンズ201より現在の撮影レンズの結像位置から求められる被写体距離を取得する。
ステップS1304で、マイクロコンピュータ224は、焦点距離、ステップS1302で求めた像面移動速度とステップS1303で求めた被写体距離に応じて行列L、列ベクトルmを設定する。このように、像面移動速度と被写体距離に基づいて行列L、列ベクトルmを変化させることで、被写体の被写体距離がモデル式から乖離することなく、将来の像面位置を求めることができる。
ステップS1305で、マイクロコンピュータ224は、ステップS1304で求め列ベクトルmの評価を行う。列ベクトルmが第1の閾値未満であるかを評価する。列ベクトルmが第1の閾値未満であるときはステップS1306へ、そうでないときはステップS1307へ進む。
ステップS1306で、マイクロコンピュータ224は、列ベクトルmをデフォルト値とする。列ベクトルmが示す変化量が小さいときはデフォルト値とし、変化量の最小値を規定する。
ステップS1307で、マイクロコンピュータ224は、カルマンフィルタ演算を行う。ステップS1307は、ステップS503と同じであるため、説明を省略する。
ステップS1308で、マイクロコンピュータ224は、カルマンフィルタによる焦点予測を行う。ステップS1308は、ステップS507と同じであるため、説明を省略する。
ステップS1309で、マイクロコンピュータ224は、焦点予測結果に基づくフォーカスレンズの駆動を制御する。ステップS1308で将来の像面位置が求められているので、その結果に基づいてフォーカスレンズの駆動制御を行う。
<効果>
以上で説明した実施形態により、各種条件に応じて行列L、列ベクトルmを変化させることで、被写体の像面位置がモデル式から乖離し得る条件下であっても、カルマンフィルタを用いて将来の像面位置を求めることができる。
<その他の実施例>
上述の実施例ではカルマンフィルタ演算を用いたが、逐次同定法の別種である逐次最小二乗法(RLS法)を用いてもよい。この場合、σ ω(k)=1となる。つまり、逐次最小二乗法は、本実施例のカルマンフィルタ演算と比較して、設定されたパラメータが少ない特殊例である。従って計算量の観点ではカルマンフィルタと同一の効果が得られる。
モデル式については、前述のように、本実施例で紹介した以外のモデル式を用いることができる。
また、上述の実施例では状態ベクトルA(k)から、被写体の状態に関する情報として、時刻kにおける像面位置と像面移動速度とが算出される例を説明したが、被写体の状態に関する情報であればこれに限らない。例えば、状態ベクトルA(k)から時刻kにおける像面位置と被写体移動速度とが算出される構成としても良い。
また、実施例4では各種条件に応じて行列L、列ベクトルmを設定することを説明したが、行列L、列ベクトルm又は分散σν の少なくとも1つを設定すれば良い。
行列L、列ベクトルmおよび分散σν を、ユーザが設定するようにしても良い。これにより、ユーザが認識している撮影シーンの特性に合わせて、演算結果を調整することが可能である。
また、本発明は上述の実施例の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み取り実行する処理でも実現できる。更に、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
224 マイクロコンピュータ

Claims (8)

  1. 焦点検出結果を取得する焦点検出手段と、
    前記焦点検出結果に基づいて被写体の像面位置に対応する情報を逐次最小二乗法に基づいて推定する推定手段と、
    前記推定手段により推定された被写体の像面位置に対応する情報に基づいて、被写体の将来の像面位置に対応する情報を予測する第1の予測手段と、
    一括最小二乗法に基づいて被写体の将来の像面位置に対応する情報の予測を行う第2の予測手段と、
    前記第1の予測手段又は前記第2の予測手段によって予測された前記被写体の将来の像面位置に対応する情報に基づいてフォーカスレンズの駆動を制御する駆動制御手段と、を有し、
    前記駆動制御手段は、被写体までの撮影距離が第1の距離未満である場合には、前記第2の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とするレンズ制御装置。
  2. 被写体までの撮影距離を算出する距離算出手段を備え、
    前記駆動制御手段は、前記距離算出手段によって算出された被写体までの撮影距離が第1の距離以上である場合には、前記第1の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とする請求項1に記載のレンズ制御装置。
  3. 一括最小二乗法に基づいて被写体の将来の像面位置に対応する情報の予測を行う第2の予測手段と、
    像面位置の移動速度に対応する速度である像面移動速度を算出する速度算出手段を有し、
    前記駆動制御手段は、前記速度算出手段によって算出された像面移動速度が第1の速度以上である場合には、前記第2の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とする請求項1に記載のレンズ制御装置。
  4. 前記駆動制御手段は、前記速度算出手段によって算出された像面移動速度が第1の速度未満である場合には、前記第1の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とする請求項3に記載のレンズ制御装置。
  5. 前記逐次最小二乗法におけるパラメータを設定する設定手段を有し、
    前記設定手段は、被写体の動きに応じて前記パラメータを設定することを特徴とする請求項1乃至請求項のいずれか1項に記載のレンズ制御装置。
  6. 前記設定手段は、像面移動速度、被写体までの撮影距離の少なくとも1つに基づいて前記パラメータを設定することを特徴とする請求項5に記載のレンズ制御装置。
  7. 前記逐次最小二乗法は、カルマンフィルタであることを特徴とする請求項1乃至請求項6のいずれか1項に記載のレンズ制御装置。
  8. レンズ制御装置の制御方法であって、
    焦点検出結果を取得する焦点検出ステップと
    前記焦点検出結果に基づいて被写体の像面位置に対応する情報を逐次最小二乗法に基づいて推定する推定ステップと、
    前記推定ステップで推定された被写体の像面位置に対応する情報に基づいて、被写体の将来の像面位置に対応する情報を予測する第1の予測、又は一括最小二乗法に基づいて被写体の将来の像面位置に対応する情報の予測を行う第2の予測によって、被写体の将来の像面位置に対応する情報を予測する予測ステップと、
    前記第1の予測又は前記第2の予測によって予測された前記被写体の将来の像面位置に対応する情報に基づいてフォーカスレンズの駆動を制御する駆動制御ステップと、を有し、
    前記駆動制御ステップでは、被写体までの撮影距離が第1の距離未満である場合には、前記第2の予測によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とするレンズ制御装置の制御方法。
JP2018207518A 2017-11-16 2018-11-02 レンズ制御装置、及びその制御方法 Active JP7305332B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/186,959 US10834309B2 (en) 2017-11-16 2018-11-12 Lens control apparatus and control method for tracking moving object
KR1020180141220A KR102402325B1 (ko) 2017-11-16 2018-11-16 렌즈 제어장치, 및 움직이는 피사체를 추적하기 위한 제어 방법
CN201811367008.6A CN110022432B (zh) 2017-11-16 2018-11-16 用于追踪移动被摄体的镜头控制设备和控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017221285 2017-11-16
JP2017221285 2017-11-16

Publications (2)

Publication Number Publication Date
JP2019091031A JP2019091031A (ja) 2019-06-13
JP7305332B2 true JP7305332B2 (ja) 2023-07-10

Family

ID=66836321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018207518A Active JP7305332B2 (ja) 2017-11-16 2018-11-02 レンズ制御装置、及びその制御方法

Country Status (2)

Country Link
JP (1) JP7305332B2 (ja)
CN (1) CN110022432B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001021794A (ja) 1999-07-12 2001-01-26 Canon Inc 自動焦点調節装置および光学機器
US20040004670A1 (en) 2002-03-14 2004-01-08 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
JP2009089365A (ja) 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
JP2016140030A (ja) 2015-01-29 2016-08-04 株式会社リコー 画像処理装置、撮像装置、及び画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0814861A (ja) * 1994-07-01 1996-01-19 Canon Inc 3次元形状の計測方法及び装置
JP3635687B2 (ja) * 1994-09-07 2005-04-06 株式会社ニコン 自動合焦装置
EP2688305B1 (en) * 2011-03-18 2017-08-09 FUJIFILM Corporation Lens control device and lens control method
JP5616934B2 (ja) * 2012-09-14 2014-10-29 オリンパスイメージング株式会社 焦点調節装置、カメラシステム及び焦点調節方法
JP6664177B2 (ja) * 2015-09-28 2020-03-13 キヤノン株式会社 焦点検出装置、予測方法、プログラム及び記憶媒体
JP2017126035A (ja) * 2016-01-15 2017-07-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001021794A (ja) 1999-07-12 2001-01-26 Canon Inc 自動焦点調節装置および光学機器
US20040004670A1 (en) 2002-03-14 2004-01-08 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
JP2009089365A (ja) 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
JP2016140030A (ja) 2015-01-29 2016-08-04 株式会社リコー 画像処理装置、撮像装置、及び画像処理プログラム

Also Published As

Publication number Publication date
CN110022432B (zh) 2021-03-26
JP2019091031A (ja) 2019-06-13
CN110022432A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN106470317B (zh) 摄像设备及其控制方法
JP6749791B2 (ja) 撮像装置及び自動焦点調節方法
JP7086571B2 (ja) 撮像装置、レンズ装置およびこれらの制御方法
JP7210185B2 (ja) 撮像装置及びその制御方法
US20100315528A1 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium having recorded thereon program for executing the method
KR102402325B1 (ko) 렌즈 제어장치, 및 움직이는 피사체를 추적하기 위한 제어 방법
JP2006093860A (ja) 2眼撮像系を搭載したカメラ
JP5020800B2 (ja) 撮像装置及びその制御方法
CN110519504A (zh) 电子设备、电子设备的控制装置、存储介质以及控制方法
JP4500140B2 (ja) 2眼撮像系を搭載したカメラ
JP5947489B2 (ja) 焦点調節装置および焦点調節方法
JP7305332B2 (ja) レンズ制御装置、及びその制御方法
JP2018197845A (ja) フォーカス制御装置および撮像装置
JP2020091415A (ja) レンズ制御装置、及びその制御方法
JP2015111226A (ja) 被写体追跡装置及びその制御方法、撮像装置、プログラム、並びに記憶媒体
JP2010145495A (ja) カメラシステム
JP7379083B2 (ja) 制御装置、撮像装置、制御方法、および、プログラム
JP2019120734A (ja) 撮像装置、レンズ装置およびこれらの制御方法
JP7431555B2 (ja) 撮像装置及びその制御方法
CN115484373A (zh) 自动聚焦系统及自动聚焦方法
JP7254555B2 (ja) 撮像装置および撮像装置の制御方法
JP7426841B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2017224908A (ja) 撮像装置
JP2006093858A (ja) 2眼撮像系を搭載したカメラ
JP2007033997A (ja) 焦点検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230628

R151 Written notification of patent or utility model registration

Ref document number: 7305332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151