WO2023189081A1

WO2023189081A1 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2023189081A1
Application number: PCT/JP2023/006809
Authority: WO
Inventors: 隆史伊東
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2022-03-31
Filing date: 2023-02-24
Publication date: 2023-10-05
Anticipated expiration: 2024-09-30
Also published as: CN118985134A; JPWO2023189081A1; US20250211857A1

Abstract

ＰＴＺカメラの撮影画像から注目被写体を含む切り出し画像生成処理をより確実に実行させるための指標値である切り出し画像生成用撮像比率を算出する装置、方法を提供する。ＰＴＺカメラの撮影画像から注目被写体を含む画像切り出し領域を算出し、算出した領域の画像を切り出して切り出し画像を生成する構成において、注目被写体を含む切り出し画像生成処理を実行させるための指標値として、切り出し画像に対するカメラの撮像領域のサイズ比率である切り出し画像生成用撮像比率を算出する。さらに切り出し画像生成用撮像比率から算出されるカメラの撮像領域サイズに従った画像を撮影させるためのズームパラメータを算出して、算出パラメータを適用した画像撮影をＰＴＺカメラに実行させる。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像切り出しによる注目被写体の映像生成処理をより確実にかつ画質低下を抑えて行うことを可能とした画像処理装置、および画像処理方法、並びにプログラムに関する。

　例えば監視カメラを用いた撮影映像から特定の注目被写体、例えば追従対象者の画像領域を抽出した映像データを生成する処理が要求される場合がある。
　また、例えば、サッカー等のスポーツ映像においても、特定の注目被写体、例えば特定の選手の画像領域を切り出した追従映像データを生成することが要求される場合がある。

　このような注目被写体の追従映像データを生成する処理としては、例えば、固定カメラを用いて注目被写体を含む大きな画角の画像を撮影し、この撮影映像から注目被写体の画像領域を切り出して生成する処理が可能である。

　このように、固定カメラを用いて注目被写体を含む大きな画角の画像を撮影することで注目被写体が多少、移動しても、注目被写体が撮影範囲から出て行く可能性が少なく、注目被写体を追従した映像データを生成することができる。

　例えばサッカーの試合で、１人の注目選手を追従した映像を生成する場合、サッカーコートの全体や半分などの広い領域を含む映像を固定カメラで撮影し、この映像の各フレームから注目選手の画像領域を切り出すことで、注目選手のみを撮影したと同様の映像を生成することができる。

　なお、注目被写体の画像領域の切り出し処理については、例えば特許文献１（国際公開ＷＯ２０１６／１６７０１６号公報）に記載されている。

　しかし、このように固定カメラが撮影した広い領域の撮影画像から注目選手の画像領域を切り出すと、注目選手の画像領域が小さい場合には、切り出し画像の画質が低下してしまうという問題が発生する。

　注目被写体の切り出し画像の画質を大きく低下させないたためには、注目被写体を含む切り出し画像を所定の画素数以上の画像サイズにする必要がある。

　画質低下を抑えた切り出し画像の生成を実現するため、ＰＴＺカメラを用いる手法が有効となる。
　ＰＴＺカメラはパン、チルト、ズーム処理が可能であり、カメラの撮影方向を注目被写体に向けることが可能である。注目被写体が移動しても、より長期間に渡って注目被写体を所定の大きさの画像サイズの撮影領域内に維持しながら撮影を行うことが可能となる。

　しかし、例えば、ＰＴＺカメラの撮影方向を水平方向に回動させるパン処理や、カメラの撮影方向を垂直方向に回動させるチルト処理は、カメラ自体を回動させるためのメカ的な駆動機構の動作が必要であり、所定の駆動時間を要するという問題がある。

　従って、追従対象である注目被写体の移動速度が速い場合、カメラ撮影方向を注目被写体撮影可能な方向まで駆動するための時間が長くなると、注目被写体を見失ってしまう可能性がある。

国際公開ＷＯ２０１６／１６７０１６号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、画像切り出しを伴う被写体追従映像データの生成処理をより確実にかつ画質低下を抑えて行うことを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の一実施例においては、ＰＴＺカメラの撮影画像から注目被写体を含む一部の画像領域を切り出して記録、または配信する処理を、より確実にかつ画質低下を抑えて実行することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出する切り出し領域算出部と、
　前記切り出し領域算出部が算出した画像切り出し領域の画像を切り出して、切り出し画像を生成する切り出し実行部と、
　前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出する撮像比率算出部と、
　算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出するカメラ制御パラメータ算出部を有し、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させる画像処理装置にある。

　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　切り出し領域算出部が、カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出する切り出し領域算出ステップと、
　切り出し実行部が、前記切り出し領域算出ステップにおいて算出した画像切り出し領域の画像を切り出して、切り出し画像を生成する切り出し実行ステップと、
　撮像比率算出部が、前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出する撮像比率算出ステップと、
　カメラ制御パラメータ算出部が、算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出するカメラ制御パラメータ算出ステップを実行し、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させる画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　切り出し領域算出部に、カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出させる切り出し領域算出ステップと、
　切り出し実行部に、前記切り出し領域算出ステップにおいて算出した画像切り出し領域の画像を切り出して、切り出し画像を生成させる切り出し実行ステップと、
　撮像比率算出部に、前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出させる切り出し画像生成用撮像比率算出ステップと、
　カメラ制御パラメータ算出部に、算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出させるカメラ制御パラメータ算出ステップを実行させ、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、ＰＴＺカメラの撮影画像から注目被写体を含む切り出し画像生成処理をより確実に実行させるための指標値である最適撮像比率（切り出し画像生成用撮像比率）を算出する装置、方法が実現される。
　具体的には、例えば、ＰＴＺカメラの撮影画像から注目被写体を含む画像切り出し領域を算出し、算出した領域の画像を切り出して切り出し画像を生成する構成において、注目被写体を含む切り出し画像生成処理をより確実に実行させるための指標値として、切り出し画像に対するカメラの撮像領域のサイズ比率である最適撮像比率（切り出し画像生成用撮像比率）を算出する。さらに最適撮像比率から算出されるカメラの撮像領域サイズに従った画像を撮影させるためのズームパラメータを算出して、算出パラメータを適用した画像撮影をＰＴＺカメラに実行させる。
　本構成により、ＰＴＺカメラの撮影画像から注目被写体を含む切り出し画像生成処理をより確実に実行させるための指標値である最適撮像比率（切り出し画像生成用撮像比率）を算出する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ＰＴＺカメラを用いた画像切り出しを伴う注目被写体の追従画像生成処理の概要について説明する図である。注目被写体の画像領域からなる切り出し画像を生成する外部装置を有する画像処理システムの構成例を示す図である。注目被写体の全身領域を含む切り出し領域設定例と、注目被写体の上半身領域のみを含む切り出し領域設定例について説明する図である。画像切り出し処理における問題点について説明する図である。画像切り出し処理における問題点について説明する図である。本開示の画像処理装置が実行する処理の具体例について説明する図である。撮像比率について説明する図である。本開示の画像処理装置が実行する撮像比率変更処理の具体例について説明する図である。本開示の画像処理装置が実行する撮像比率変更処理の具体例について説明する図である。注目被写体の速度に応じて撮像比率を変更する実施例について説明する図である。ｒＭＩＮ（許容最小撮像比率）について説明する図である。ｒＭＡＸ（許容最大撮像比率）の例について説明する図である。注目被写体の加速度に応じて撮像比率を変更する実施例について説明する図である。注目被写体の速度と加速度に応じて撮像比率を変更する実施例について説明する図である。注目被写体の速度に応じて撮像比率を変更する実施例の処理シーケンスについて説明するフローチャートを示す図である。注目被写体の加速度に応じて撮像比率を変更する実施例の処理シーケンスについて説明するフローチャートを示す図である。注目被写体の速度と加速度に応じて撮像比率を変更する実施例の処理シーケンスについて説明するフローチャートを示す図である。注目被写体の速度と加速度に応じて撮像比率を変更する実施例の処理シーケンスについて説明するフローチャートを示す図である。カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例の具体的処理例について説明する図である。カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例の処理シーケンスについて説明するフローチャートを示す図である。注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例の処理シーケンスについて説明するフローチャートを示す図である。注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例の処理シーケンスについて説明するフローチャートを示す図である。本開示の画像処理装置の一例であるカメラの実行する処理例について説明する図である。本開示の画像処理装置の一例であるカメラと外部装置の構成例と実行する処理について説明する図である。本開示の画像処理装置の一例であるカメラと外部装置の構成例と実行する処理について説明する図である。本開示の画像処理装置の一例であるカメラの構成例について説明する図である。本開示の画像処理装置の一例であるカメラと外部装置の構成例について説明する図である。本開示の画像処理装置の一例であるカメラと外部装置の構成例について説明する図である。本開示の画像処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．ＰＴＺカメラを用いた画像切り出しを伴う注目被写体の追従画像生成処理の概要について
　２．本開示の画像処理装置の実行する処理について
　３．（実施例１）（実施例１）注目被写体の速度、または加速度の少なくともいずれかに応じて撮像比率を変更する実施例
　３－１．（実施例１－１）注目被写体の速度に応じて撮像比率を変更する実施例
　３－２．（実施例１－２）注目被写体の加速度に応じて撮像比率を変更する実施例
　３－３．（実施例１－３）注目被写体の速度と加速度に応じて撮像比率を変更する実施例
　４．実施例１の画像処理装置が実行する処理のシーケンスについて
　５．（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　６．（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　７．本開示の画像処理装置の構成例について
　８．本開示の画像処理装置の詳細構成について
　９．画像処理装置のハードウェア構成例について
　１０．本開示の構成のまとめ

　　［１．ＰＴＺカメラを用いた画像切り出しを伴う注目被写体の追従画像生成処理の概要について］
　まず、図１以下を参照してＰＴＺカメラを用いた画像切り出しを伴う注目被写体の追従画像生成処理の概要について説明する。

　前述したように、監視カメラを用いた撮影映像から特定の追従対象者の画像領域を抽出した追従映像データを生成する場合や、サッカー等のスポーツの撮影映像から特定選手の画像領域を切り出した追従映像データを生成する場合、広い領域を撮影する固定カメラの撮影画像から注目被写体を含む画像領域を切り出して生成する処理が可能である。

　しかし、固定カメラが撮影した広い領域の撮影画像から注目選手の画像領域を切り出すと、注目選手の画像領域が小さい場合には、切り出し画像の画質が低下してしまう。

　注目被写体の切り出し画像の画質を大きく低下させないたためには、注目被写体を含む切り出し画像を所定の画素数以上の画像サイズにする必要があり、このような撮影処理を実現するため、ＰＴＺカメラを用いることが有効である。

　ＰＴＺカメラは、パン、チルト、ズーム処理が可能なカメラである。すなわち、
　カメラの撮影方向を水平方向に回動させるパン処理、
　カメラの撮影方向を垂直方向に回動させるチルト処理、
　カメラの撮影画角を変更（＝撮影領域の拡大、縮小）するズーム処理、
　これらの処理を行うことが可能なカメラである。

　このようなＰＴＺカメラを用いることでカメラの撮影方向を注目被写体に向けることが可能となり、注目被写体が移動しても、より長期間に渡って注目被写体を所定の大きさの画像サイズの撮影領域内に維持しながら撮影を行うことができる。

　なお、近年、多層型のニューラルネットワークであるディープニューラルネットワーク（ＤＮＮ：Ｄｅａｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等の機械学習モデルまたはルールベースのモデルのうち少なくとも一方を利用したＡＩ解析を行うことで、撮影画像から特定の人物を検出して追従する処理を高精度に実行することが可能となっている。
　このようなＡＩ解析を利用することで、ＰＴＺカメラを自動制御（パン、チルト、ズームの各制御）して注目被写体の追従映像を撮影することが可能である。

　しかし、例えば、ＰＴＺカメラの撮影方向を水平方向に回動させるパン処理や、カメラの撮影方向を垂直方向に回動させるチルト処理は、カメラ自体を回動させるため、メカ的な駆動機構を動作させなければならず、所定の駆動時間が必要となるという問題がある。

　追従対象である注目被写体の移動速度が速い場合、カメラ撮影方向を注目被写体撮影可能な方向まで駆動するための時間が長くなると、注目被写体を見失ってしまう可能性がある。

　図１以下を参照してＰＴＺカメラを用いた注目被写体を含む画像（映像（＝動画像））の撮影処理と、注目被写体の切り出し画像の生成処理の概要とその問題点について説明する。

　図１には、ＰＴＺカメラ１０を用いて追従対象者である注目被写体２１の画像を撮影している状態を示している。
　なお、以下の説明において、「画像」は動画像である映像、および映像を構成する画像フレームを含むものとして説明する。

　図１に示すように、ＰＴＺカメラ１０は、カメラ撮影方向を水平方向に回動させるパン処理と、カメラ撮影方向を垂直方向に回動させるチルト処理と、カメラ撮影画角を変更（＝撮影領域の拡大、縮小）するズーム処理、これらの処理を行うことが可能である。

　図２は、ＰＴＺカメラ１０の撮影画像を受信して、注目被写体の画像領域を抽出するための画像解析処理や、注目被写体の画像領域からなる切り出し画像を生成する外部装置３０を有する画像処理システムの構成例を示す図である。

　図２には、ＰＴＺカメラ１０と外部装置３０が実行する処理を処理ステップＳ０１～Ｓ０４として示している。
　以下、各処理ステップについて説明する。

　　（ステップＳ０１）
　まず、ステップＳ０１において、ＰＴＺカメラ１０が画像撮影を行う。画像は動画像（映像）である。
　図に示す撮影画像２０は、ＰＴＺカメラ１０が撮影した動画像（映像）の１つの画像フレームの例である。
　撮影画像２０には、例えば追従対象である注目被写体２１が撮影されている。

　　（ステップＳ０２）
　次に、ステップＳ０２において、ＰＴＺカメラ１０は撮影画像を画像解析処理や画像切り出し処理の実行装置である外部装置３０に送信する。

　　（ステップＳ０３）
　外部装置３０は、ＰＴＺカメラ１０から受信した撮影画像２０から、注目被写体２１の検出を実行するとともに、検出した注目被写体２１の画像領域を切り出す画像切り出し処理を実行する。

　なお、注目被写体２１については、例えば外部装置３０において予め顔画像や身体的特徴等が解析され、取得した特徴情報が記憶部に登録されている。外部装置３０はこれらの登録された特徴情報を用いた画像照合処理を行って注目被写体２１の検出処理を実行する。

　具体的には、例えば先に説明したディープニューラルネットワーク等の機械学習モデルまたはルールベースのモデルのうち少なくとも一方を利用したＡＩ解析を行うことで、撮影画像２０から注目被写体２１を検出する。

　外部装置３０は、さらに検出した注目被写体２１の画像領域を切り出す画像切り出し処理を実行する。
　図に示すように、撮影画像２０全体の領域である撮像領域２２から一部の画像領域を切り出し領域２３として切り出す処理を行う。
　例えば注目被写体２１の全身領域が含まれる画像領域を切り出し領域２３として設定して画像切り出しを実行する。

　なお、注目被写体２１の画像の切り出し領域の設定については予め規定しておく。すなわち、切り出し領域設定アルゴリズムは予め規定されており、外部装置３０は、このアルゴリズムに従って画像から注目被写体２１を含む切り出し領域２３を設定して画像切り出し処理を実行する。

　切り出し領域設定アルゴリズムには様々な種類がある。具体的には、例えば、注目被写体２１の全身領域を含む切り出し領域設定アルゴリズムや、注目被写体２１の上半身領域のみを含む切り出し領域設定アルゴリズム、あるいは注目被写体２１の顔領域のみを含む切り出し領域設定アルゴリズムなどである。なお、外部装置３０で用いられる切り出し領域設定アルゴリズムの種類はこれらの例に限定されない。

　図３に注目被写体２１の全身領域を含む切り出し領域設定例と、注目被写体２１の上半身領域のみを含む切り出し領域設定例を示す。
　図３に示す「（１）全身ショット」は、注目被写体２１の全身領域を含む切り出し領域設定アルゴリズムの一例を示している。切り出し領域２３のほぼ中央位置に注目被写体２１の全身領域の位置を設定し、注目被写体２１の上下左右に予め規定した長さ、例えば注目被写体２１の上下に注目被写体の高さの１０％程度のマージン領域、注目被写体２１の左右に注目被写体の横幅の５０％程度のマージン領域を設定した矩形領域を切り出し領域２３とする。

　また、図３に示す「（２）上半身ショット」は、注目被写体２１の上半身領域を含む切り出し領域設定アルゴリズムの例を示している。切り出し領域２３のほぼ中央位置に注目被写体２１の上半身領域の位置を設定し、注目被写体２１の上に注目被写体の高さの１０％程度のマージン領域、注目被写体２１の左右に注目被写体の横幅の３０％程度のマージン領域を設定した矩形領域を切り出し領域２３とする。

　例えば、このように、注目被写体２１の画像切り出し領域設定アルゴリズムについては予め規定されており、外部装置３０は、規定されたアルゴリズムに従って画像から注目被写体２１を含む切り出し領域２３を設定して画像切り出し処理を実行する。

　図２に戻り、ＰＴＺカメラ１０と外部装置３０が実行する処理についての説明を続ける。
　外部装置３０は、ステップＳ０３において、ＰＴＺカメラ１０が撮影する撮影画像２０の各画像フレームに切り出し領域２３設定して、各画像フレーム対応の切り出し画像を生成する。各画像フレーム対応のこれらの切り出し画像を再生することで、注目被写体２１が大きく映し出された注目被写体を中心とした映像を生成することができる。

　なお、図には示していないが、外部装置３０が生成した切り出し画像から構成される映像は、外部装置３０からテレビやスマホ等のユーザ端末に配信することが可能であり、また外部装置３０内の記憶部に格納する構成としてもよい。

　　（ステップＳ０４）
　外部装置３０は、さらに、ステップＳ０３における画像切り出し処理を実行する際に画像解析も実行する。外部装置３０は、撮影画像２０から検出した注目被写体２１の移動方向や移動速度を推定し、ステップＳ０４において、これらの推定結果に基づいてＰＴＺカメラ１０にカメラ駆動指示を送信する。

　すなわち、ＰＴＺカメラ１０が注目被写体２１を追従撮影可能なようにＰＴＺカメラ１０の向き（パン、チルト設定）やズームの設定情報を送信する。

　　（ステップＳ０５）
　ＰＴＺカメラ１０は、外部装置３０からのカメラ駆動指示データを受信すると、ステップＳ０５において、受信したカメラ駆動指示データに基づいてカメラの向き（パン、チルト）やズーム設定を変更、更新する。

　これらの処理を継続的に、繰り返すことで、ＰＴＺカメラ１０は、注目被写体２１の撮影画像を継続して撮影することが可能となり、また、外部装置３０は、ＰＴＺカメラ１０から受信する撮影画像から注目被写体２１を検出し、注目被写体２１の画像領域を切り出することが可能となる。
　なお、切り出し画像から構成される映像は、注目被写体２１が切り出し前の撮影画像における注目被写体２１よりも大きく撮影された映像となる。

　しかし、前述したように、ＰＴＺカメラ１０の撮影方向を水平方向に回動させるパン処理や、カメラの撮影方向を垂直方向に回動させるチルト処理は、カメラ自体を回動させるため、メカ的な駆動機構を動作させなければならず、所定の駆動時間が必要となり、注目被写体２１の移動速度が速いと注目被写体を見失ってしまう可能性があり、その結果、注目被写体２１を含む切り出し処理ができなくなるという問題が発生する。
　図４を参照して、この問題点の具体例について説明する。

　図４には、図２を参照して説明したＰＴＺカメラ１０と、外部装置３０を示している。
　ＰＴＺカメラ１０は、時間（ｔ０）～（ｔ２）において注目被写体２１を含む撮影画像２０ａ～ｃを撮影して外部装置３０に送信する。
　外部装置３０は、ＰＴＺカメラ１０から受信した撮影画像２０から注目被写体２１を検出し、撮影画像２０の全体領域に相当する撮像領域２２から注目被写体２１の全身領域を含む切り出し領域２３を設定して切り出す処理を行う。

　時間（ｔ０）の撮影画像２０ａの注目被写体２１は静止している。外部装置３０は、時間（ｔ０）の撮影画像２０ａの全体領域に相当する撮像領域２２ａから注目被写体２１の全身領域を含む切り出し領域２３ａを設定して切り出す処理を行うことができる。

　外部装置３０は、時間（ｔ０）の撮影画像２０ａの画像解析処理により、注目被写体２１が静止していることを確認し、ＰＴＺカメラ１０に対する駆動指示は送信しない。

　次の時間（ｔ１）の撮影画像２０ｂの注目被写体２１は図の右方向に向かって走り出している。外部装置３０は、時間（ｔ１）の撮影画像２０ｂの全体領域に相当する撮像領域２２ｂから注目被写体２１の全身領域を含む切り出し領域２３ｂを設定して切り出す処理を行う。

　外部装置３０は、この時間（ｔ１）の撮影画像２０ｂの画像解析処理により、注目被写体２１が図の右方向に向かって走り出していることを確認し、ＰＴＺカメラ１０に対して、現在の撮影方向を右方向に移動するようにカメラ駆動（ＰＴＺ駆動）指示を送信する。
　すなわち、図４に示す（処理ｂ）の処理を実行する。

　ＰＴＺカメラ１０は、外部装置３０からのカメラ駆動（ＰＴＺ駆動）指示を入力すると、現在の撮影方向を右方向に移動するようにパン動作を行う。この動作結果の撮影画像が時間（ｔ２）の撮影画像２０ｃである。
　撮影画像２０ｃの注目被写体２１は、一部がＰＴＺカメラ１０の撮影範囲の端部付近または撮像範囲外となってしまっている。
　これは、撮影方向を右方向に移動させるパン動作がＰＴＺカメラ１０の歯車機構等のメカ駆動により実行されるため時間を要するためである。

　この結果、ＰＴＺカメラが１０は、時間（ｔ２）において、注目被写体２１の一部が撮影範囲からはみ出してしまった撮影画像２０ｃを外部装置３０に送信することになる。

　外部装置３０は、図４に示す（処理ｃ）に示すように、時間（ｔ２）の撮影画像２０ｃの全体領域に相当する撮像領域２２ｃから注目被写体２１の全身領域を含む切り出し領域２３ｃを設定して切り出す処理を行おうとしても、注目被写体２１の全身領域を含む切り出し領域２３ｃを設定することができなくなる。

　先に図３を参照して説明したように、例えば注目被写体２１の全身領域を含む切り出し領域設定アルゴリズムは予め規定されている。すなわち、注目被写体２１の上下左右各方向に規定のマージンを設定した領域を切り出すアルゴリズムが規定されている。

　図４に示す（処理ｃ）では、この切り出しアルゴリズムに従った画像切り出しを実行しようとしても、注目被写体２１の右側（＝注目被写体の移動方向）に規定のマージンを設定できず、結果として切り出し領域２３ｃの設定ができなくなる。

　さらに、ＰＴＺカメラ１０と外部装置３０が離間した位置にあり、通信遅延が発生する可能性がある場合には、さらに通信遅延による注目被写体の追従エラーや画像切り出しエラーの発生可能性が高まることになる。

　図５を参照して、ＰＴＺカメラ１０と外部装置３０が離間した位置にあり、通信遅延が発生する可能性がある環境で発生する問題の具体例について説明する。

　図５には、図４と同様のＰＴＺカメラ１０と、外部装置３０を示している。図５に示すＰＴＺカメラ１０と外部装置３０は離間した位置にあり、例えばインターネット等の通信ネットワークを介して接続されており、通信遅延が発生する可能性がある。

　ＰＴＺカメラ１０は、時間（ｔ１）において、注目被写体２１を含む撮影画像２０ｐを撮影して外部装置３０に送信する。

　しかし、この撮影画像２０ｐの通信遅延により、外部装置３０は、この撮影画像２０ｐを時間（ｔ１＋ｄｔ１）で受信する。（ｄｔ１）は、ＰＴＺカメラ１０から外部装置３０へ撮影画像２０ｐを送信する通信処理に要した時間（＝通信遅延時間）である。

　外部装置３０は、時間（ｔ１＋ｄｔ１）にＰＴＺカメラ１０から受信した撮影画像２０ｐから注目被写体２１を検出し、撮影画像２０ｐの全体領域に相当する撮像領域２２から注目被写体２１の全身領域を含む切り出し領域２３を設定して切り出す処理を行う。

　外部装置３０は、この撮影画像２０ｐの画像解析処理により、注目被写体２１が図の右方向に向かって走り出していることを確認し、ＰＴＺカメラ１０に対して、現在の撮影方向を右方向に移動するようにカメラ駆動（ＰＴＺ駆動）指示を送信する。
　すなわち、図５に示す（処理ｘ）の処理を実行する。
　外部装置３０からＰＴＺカメラ１０に対するカメラ駆動（ＰＴＺ駆動）指示の送信タイミングは時間（ｔ１＋ｄｔ２）である。
　撮影画像の撮影タイミング（ｔ１）から、すでに時間ｔｄ２が経過している。

　ＰＴＺカメラ１０は、時間（ｔ１＋ｄｔ３）において、外部装置３０からのカメラ駆動（ＰＴＺ駆動）指示を受信する。
　このデータ通信にも通信遅延が発生している。（ｄｔ３－ｄｔ２）は、外部装置３０からＰＴＺカメラ１０へカメラ駆動（ＰＴＺ駆動）指示を送信する通信処理に要した時間（＝通信遅延時間）に相当する。

　ＰＴＺカメラ１０は、外部装置３０から受信したカメラ駆動（ＰＴＺ駆動）指示に従って、現在の撮影方向を右方向に移動するようにパン動作を行う。このパン動作が完了するタイミングが時間（ｔ１＋ｄｔ４）であり、このパン動作完了後の撮影画像が、撮影画像２０ｑである。

　撮影画像２０ｑの注目被写体２１は、体の一部がＰＴＺカメラ１０の撮影範囲からはみ出してしまっている。
　このように、ＰＴＺカメラ１０のメカ駆動による遅延に、外部装置３０との間の通信遅延が加わると、さらに、注目被写体の追従エラーや画像切り出しエラーの発生可能性が高まることになる。

　本開示の処理は、このような問題を解決するものであり、ＰＴＺカメラの撮影画像から注目被写体を含む一部の画像領域を切り出して記録、または配信する処理を、より確実にかつ画質低下を抑えて実行することを可能とする。
　以下、本開示の画像処理装置の構成と処理の詳細について説明する。

　　［２．本開示の画像処理装置の実行する処理について］
　以下、本開示の画像処理装置の実行する処理について説明する。

　図６以下を参照して、本開示の画像処理装置の実行する処理について説明する。
　図６は、本開示の画像処理装置が実行する処理の具体例について説明する図である。
　図６に示すように、本開示の画像処理装置は、例えば追従対象である注目被写体の移動する速度、または加速度、または通信遅延を含む処理遅延時間等の少なくともいずれかに応じて撮像比率を変更する制御を実行する。

　図６にはＰＴＺカメラ１０による以下の２つの画像撮影例を示している。
　（ａ）撮像比率変更前の画像撮影例
　（ｂ）撮像比率変更後の画像撮影例

　（ａ），（ｂ）とも、同じ注目被写体２１が撮影されており、注目被写体２１は、図の右方向に走って移動している。

　（ａ）撮像比率変更前の画像撮影例と、（ｂ）撮像比率変更後の画像撮影例を比較すると、撮影画像２０の全体領域に相当する撮像領域２２のサイズと切り出し領域２３のサイズの比率が異なっている。

　（ａ）撮像比率変更前の画像撮影例における撮像領域２２ａのサイズと切り出し領域２３ａのサイズとのサイズ比（撮像比率）に比較して、（ｂ）撮像比率変更後の画像撮影例における撮像領域２２ｂのサイズと切り出し領域２３ｂのサイズとのサイズ比（撮像比率）が大きくなっている。
　具体的には、（ｂ）撮像比率変更後の画像撮影例における撮像領域２２ｂのサイズが、（ａ）撮像比率変更前の画像撮影例における撮像領域２２ａのサイズより大きくなっている。

　すなわち、（ｂ）撮像比率変更後の撮影画像ｂ，２０ｂ（＝撮像領域２２ｂを有する撮影画像）は、（ａ）撮像比率変更前の撮影画像ａ，２０ａ（＝撮像領域２２ａを有する撮影画像）より画角が広い設定で撮影された画像となる。

　このように、本開示の画像処理装置は、追従対象である注目被写体２１がある速度で移動しているかどうかに基づいて、撮像領域２２のサイズと切り出し領域のサイズ比（撮像比率）の変更をする。そして、注目被写体２１が所定の速度以上で移動していることが検出された場合には、撮像領域２２のサイズと切り出し領域２３のサイズとのサイズ比を、注目被写体２１が所定の速度以上で移動していないことが検出された場合よりも大きくする「撮像比率」の変更処理を行う。　すなわち、ＰＴＺカメラ１０のズームを調整して、撮影範囲を広くする設定、すなわち画角を広げる処理を実行する。

　「撮像比率」とは、切り出し領域サイズに対する撮像領域サイズの比率である。すなわち、
　撮像比率＝（撮像領域サイズ／切り出し領域サイズ）
　である。

　図７を参照して、「撮像比率」について説明する。
　図７には、（ａ）撮影画像例と、（ｂ）撮像比率説明図を示している。

　（ａ）撮影画像例には、注目被写体２１を含む撮影画像２０が示されている。撮像領域２２は、撮影画像２０全体の領域に相当する。この撮像領域２２の中に切り出し領域２３が設定される。切り出し領域２３は、例えば注目被写体２１の全身を含む領域として設定される。

　（ｂ）撮像比率説明図には、（ａ）撮影画像例に示す撮像領域２２と、切り出し領域２３各々の矩形枠のみを示している。

　撮像比率は、例えば図７（ｂ）に示すように、撮像領域２２（＝撮影画像２０の画像全体領域）の高さＨと、切り出し領域２３の高さｈとの比率として算出することができる。
　撮像比率＝（撮像領域サイズ／切り出し領域サイズ）
　＝Ｈ／ｈ
　である。
　なお、撮像領域２２の縦横比と、切り出し領域２３の縦横比は同じである。

　図８に、先に説明した図６（ａ），（ｂ）各撮影画像の撮像比率の算出例と比較例を示す。
　図８に示すように、
　（ａ）撮像比率変更前の画像撮影例における撮像比率は、
　撮像比率＝Ｈａ／ｈａ
　である。
　また、（ｂ）撮像比率変更後の画像撮影例における撮像比率は、
　撮像比率＝Ｈｂ／ｈｂ
　である。

　これら（ａ），（ｂ）２つの画像撮影例における撮像比率を比較すると、
　（Ｈａ／ｈａ）＜（Ｈｂ／ｈｂ）
　となる。すなわち、（ｂ）撮像比率変更後の画像撮影例における撮像比率（Ｈｂ／ｈｂ）は、（ａ）撮像比率変更後の画像撮影例における撮像比率（Ｈａ／ｈａ）より大きな値（大きな比率）に変更されている。

　本開示の画像処理装置は、このように、例えば注目被写体がある速度で移動している場合、撮像比率を大きくする制御を行う。具体的にはＰＴＺカメラのズーム調整により、画角を広げる処理を実行する。
　この処理によりＰＴＺカメラ１０の撮影可能範囲が広げられ、注目被写体２１を見失うことなく追従撮影を継続することが可能となる。

　図９は、図８とは異なる撮像比率変更例を示している。
　図９には、図８と同様、ＰＴＺカメラ１０による以下の２つの画像撮影例を示している。
　（ａ）撮像比率変更前の画像撮影例
　（ｂ）撮像比率変更後の画像撮影例

　（ａ），（ｂ）とも、同じ注目被写体２１が撮影されているが、図９に示す例では、注目被写体２１は静止している。

　図９に示すように、
　（ａ）撮像比率変更前の画像撮影例における撮像比率は、
　撮像比率＝Ｈａ／ｈａ
　である。
　また、（ｂ）撮像比率変更後の画像撮影例における撮像比率は、
　撮像比率＝Ｈｂ／ｈｂ
　である。

　これら（ａ），（ｂ）２つの画像撮影例における撮像比率を比較すると、
　（Ｈａ／ｈａ）＞（Ｈｂ／ｈｂ）
　となる。すなわち、（ｂ）撮像比率変更後の画像撮影例における撮像比率（Ｈｂ／ｈｂ）は、（ａ）撮像比率変更後の画像撮影例における撮像比率（Ｈａ／ｈａ）より小さな値（小さな比率）に変更されている。

　本開示の画像処理装置は、このように、例えば注目被写体が静止しているような場合や、注目被写体が所定範囲内に所定時間以上とどまっている場合には、撮像比率を小さくする制御を行う。具体的にはＰＴＺカメラのズーム調整により、画角を狭める処理を実行する。
　この処理によりＰＴＺカメラ１０の撮影可能範囲が狭められ、撮像領域２２における切り出し領域２３の割合を大きくすることが可能となる。すなわち注目被写体２１を含む切り出し領域２３の割合が大きくなり、結果として、切り出し画像２３の画像領域の画素数が増加することとなり、切り出し画像２３の画質を向上させることができる。

　　［３．（実施例１）注目被写体の速度、または加速度の少なくともいずれかに応じて撮像比率を変更する実施例］
　次に、本開示の画像処理装置が実行する処理の具体例について説明する。

　以下の実施例について、順次、説明する。
　（実施例１）注目被写体の速度、または加速度の少なくともいずれかに応じて撮像比率を変更する実施例
　（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例

　まず、（実施例１）として、注目被写体の速度、または加速度の少なくともいずれかに応じて撮像比率を変更する実施例について説明する。

　なお、実施例１については、さらに、以下の各実施例に細分化して説明する。
　（実施例１－１）注目被写体の速度に応じて撮像比率を変更する実施例
　（実施例１－２）注目被写体の加速度に応じて撮像比率を変更する実施例
　（実施例１－３）注目被写体の速度と加速度に応じて撮像比率を変更する実施例

　　（３－１．（実施例１－１）注目被写体の速度に応じて撮像比率を変更する実施例）
　まず、注目被写体の速度に応じて撮像比率を変更する実施例について説明する。

　図１０以下を参照して、注目被写体の速度に応じて撮像比率を変更する実施例について説明する。
　図１０に示すグラフは、横軸に注目被写体速度（ｖ）、縦軸に撮像比率を設定したグラフである。

　なお、横軸の注目被写体速度（ｖ）は、例えばＰＴＺカメラ１０の撮影画像内の速度であり、具体的には、例えば単位時間あたりの注目被写体の移動画素数、例えば１秒あたりの移動画素数（画素／ｓ）である。
　縦軸の撮像比率は、先に図７他を参照して説明したように、撮影画像２０の全体領域に相当する撮像領域２２の高さＨと、切り出し領域２３の高さｈとの比率、
　撮像比率＝（撮像領域サイズ／切り出し領域サイズ）
　＝Ｈ／ｈ
　である。

　図１０に示すグラフは、本開示の画像処理装置が実行する注目被写体の速度（ｖ）に応じた撮像比率の変更制御例を示すグラフである。

　本開示の画像処理装置は、グラフに示すように注目被写体の速度（ｖ）に応じて以下のように、撮像比率を変更する。
　（ａ）注目被写体の速度（ｖ）＝０～ｖ１では、撮像比率＝ｒＭＩＮ（許容最小撮像比率）
　（ｂ）注目被写体の速度（ｖ）＝ｖ１～ｖ２では、撮像比率を、ｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）まで注目被写体の速度（ｖ）に応じて変化させる
　（ｃ）注目被写体の速度（ｖ）＝ｖ２～では、撮像比率＝ｒＭＡＸ（許容最大撮像比率）

　なお、（ｂ）注目被写体の速度（ｖ）＝ｖ１～ｖ２において、図に示すグラフの例では、撮像比率をｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）まで、直線的に変化させる設定、すなわち、注目被写体の速度（ｖ）の変化に比例するように、撮像比率を変化させる設定としているが、これは一例であり、例えば所定のカーブを描くような上昇曲線に従って撮像比率を増加させたり、注目被写体の速度（ｖ）の増加に伴って撮像比率を指数関数的に増加させるように変化させる設定としてもよい。

　図１０に示すように、（ａ）注目被写体の速度（ｖ）＝０～ｖ１、すなわち、注目被写体が静止、または移動速度が所定値より小さい場合には、撮像比率は、ｒＭＩＮ（許容最小撮像比率）に設定され、切り出し領域２３のサイズに対する撮像領域２２のサイズの差分（比率）が、注目被写体の速度（ｖ）がｖ１より大きい場合における撮像比率よりも小さく設定される。
　この処理により、切り出し領域２３の画素数をより多く設定することができ、切り出し画像の画質の低下を軽減させることができる。

　一方、（ｃ）注目被写体の速度（ｖ）＝ｖ２～、すなわち、注目被写体の移動速度が所定値より大きい場合には、撮像比率は、ｒＭＡＸ（許容最大撮像比率）に設定され、切り出し領域２３のサイズに対する撮像領域２２のサイズの差分（比率）が、注目被写体の速度（ｖ）がｖ２より小さい場合における撮像比率よりも大きく設定される。
　これにより、注目被写体の移動が速い場合でも、注目被写体が撮影範囲から外に出てしまう可能性を低減でき、注目被写体の確実な追従処理が可能となる。

　なお、グラフに示すｒＭＩＮ（許容最小撮像比率）と、ｒＭＡＸ（許容最大撮像比率）は、予め規定される比率である。
　ｒＭＩＮ（許容最小撮像比率）と、ｒＭＡＸ（許容最大撮像比率）は予め規定した固定値としてもよいが、撮影画像のシーンの状態や切り出し領域の設定、あるいは切り出し領域２３の許容最小画素数（予め設定された許容される最小の画素数）などに応じて決定してもよい。

　ｒＭＩＮ（許容最小撮像比率）や、ｒＭＡＸ（許容最大撮像比率）を、撮影画像のシーンの状態や切り出し領域の設定、あるいは切り出し領域２３の許容最小画素数などに応じて決定する具体例について、図１１、図１２を参照して説明する。

　まず、図１１を参照してｒＭＩＮ（許容最小撮像比率）について説明する。
　ｒＭＩＮ（許容最小撮像比率）は、切り出し領域２３に対して、どこまで撮像領域を小さく設定できるかの下限比率を示す値である。

　このｒＭＩＮ（許容最小撮像比率）は、画像撮影開始前に予め決定しておくが、この値の決定処理には、例えば、図１１に示すように様々な決定処理例がある。

　図１１（ａ）は、注目被写体のショットサイズ、すなわち注目被写体に対する切り出し領域の設定態様に応じたｒＭＩＮ（許容最小撮像比率）の決定例を示す図である。
　なお、注目被写体に対する切り出し領域の設定も画像撮影開始前に予め決定しておく。

　例えば、注目被写体に対する切り出し領域の設定が、図１１の（ａ１）に示すように注目被写体の全身を含める全身ショットの設定の場合には、ｒＭＩＮ（許容最小撮像比率）は、撮像領域２２の高さＨａ１と、切り出し領域２３の高さｈａ１との比率、
　ｒＭＩＮ（許容最小撮像比率）＝Ｈａ１／ｈａ１
　であり、比較的（注目被写体の一部だけを含めるショットの設定の場合よりも）、ｒＭＩＮ（許容最小撮像比率）の値（比率）が小さく設定される。

　一方、図１１の（ａ２）に示すように注目被写体の上半身のみを含める上半身ショットの設定の場合には、ｒＭＩＮ（許容最小撮像比率）は、撮像領域２２の高さＨａ２と、切り出し領域２３の高さｈａ２との比率、
　ｒＭＩＮ（許容最小撮像比率）＝Ｈａ２／ｈａ２
　であり、比較的（注目被写体の上半身より大きい領域を含めるショットの設定の場合よりも）、ｒＭＩＮ（許容最小撮像比率）の値（比率）が大きく設定される。

　このように、ｒＭＩＮ（許容最小撮像比率）は、ショットサイズ、すなわち、切り出し領域に含めるべき注目被写体の体の領域の撮影画像上のサイズ（撮像領域に対する切り出し領域に含めるべき体の領域の割合）によって変更される。

　また、図１１（ｂ）に示すように、シーンに応じて、ｒＭＩＮ（許容最小撮像比率）を決定してもよい。
　例えば、図１１の（ｂ１）は、注目被写体の動きが激しい（動きが多い、移動量が多い）シーンである。
　この場合は、ｒＭＩＮ（許容最小撮像比率）は、撮像領域２２の高さＨｂ１と、切り出し領域２３の高さｈｂ１との比率、
　ｒＭＩＮ（許容最小撮像比率）＝Ｈｂ１／ｈｂ１
　であり、比較的（注目被写体の動きがより少ないシーンの場合よりも）、ｒＭＩＮ（許容最小撮像比率）の値（比率）が大きく設定される。

　一方、図１１の（ｂ２）に示すように注目被写体の動きが少ないシーンでの場合には、ｒＭＩＮ（許容最小撮像比率）は、撮像領域２２の高さＨｂ２と、切り出し領域２３の高さｈｂ２との比率、
　ｒＭＩＮ（許容最小撮像比率）＝Ｈｂ２／ｈｂ２
　であり、比較的（注目被写体の動きがより多いシーンの場合よりも）、ｒＭＩＮ（許容最小撮像比率）の値（比率）が小さく設定される。

　このように、ｒＭＩＮ（許容最小撮像比率）は、シーンに応じて、すなわち注目被写体の動きに応じて変更する設定が可能である。

　次に、図１２を参照して、図１０のグラフに示すｒＭＡＸ（許容最大撮像比率）の例について説明する。ｒＭＡＸ（許容最大撮像比率）は、切り出し領域２３に対して、どこまで撮像領域を大きく設定できるかの上限比率を示す値である。

　ｒＭＡＸ（許容最大撮像比率）は、例えば、切り出し領域２３に従って切り出される切り出し画像の解像度として許容できる値、すなわち切り出し領域２３に含まれる許容最小画素数に応じて決定する。

　具体的には、図１２に示すように、例えば撮影画像全体に相当する撮像領域２２の画素数（解像度）が３８４０×２１６０であり、切り出し領域２３に含めるべき最小の画素数、すなわち許容最小画素数が１２８０×７２０である場合、ｒＭＡＸ（許容最大撮像比率）は、以下のように算出される。
　ｒＭＡＸ（許容最大撮像比率）＝（撮像領域２２の高さ画素数）／（切り出し領域２３の高さ画素数）
　＝２１６０／７２０
　＝３

　このように、撮像領域２２の画素数（解像度）が３８４０×２１６０であり、切り出し領域２３の許容最小画素数が１２８０×７２０である場合、
　ｒＭＡＸ（許容最大撮像比率）は、３となる。

　このように、ｒＭＡＸ（許容最大撮像比率）は、切り出し領域２３に含めるべき最小の画素数、すなわち許容最小画素数に応じて算出する。

　なお、図１１、図１２を参照して説明したｒＭＩＮ（許容最小撮像比率）と、ｒＭＡＸ（許容最大撮像比率）の決定例は一例であり、この他の手法を用いて決定してもよい。また、前述したように、予め規定した固定値としてもよい。

　図１０に戻り、本開示の画像処理装置が実行する注目被写体の速度（ｖ）に応じた撮像比率の変更制御例について、再度、説明する。

　本開示の実施例１－１の画像処理装置は、図１０のグラフに示すように注目被写体の速度（ｖ）に応じて以下のように、撮像比率を変更する。
　（ａ）注目被写体の速度（ｖ）＝０～ｖ１では、撮像比率＝ｒＭＩＮ（許容最小撮像比率）
　（ｂ）注目被写体の速度（ｖ）＝ｖ１～ｖ２では、撮像比率を、ｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）まで変化させる
　（ｃ）注目被写体の速度（ｖ）＝ｖ２～では、撮像比率＝ｒＭＡＸ（許容最大撮像比率）

　外部装置３０は、図１０に示すグラフから算出される撮像比率を最適撮像比率（切り出し画像生成用撮像比率）として、算出した最適撮像比率に基づいて決定される撮像領域サイズに従った画像撮影をＰＴＺカメラ１０に実行させる。
　なお、「最適撮像比率（切り出し画像生成用撮像比率）」は注目被写体を含む切り出し画像生成処理を従来より確実に実行させるための指標値であり、また、注目被写体を含む切り出し画像の画質を所定以上の画質とするための指標値である。

　例えば、現在の注目被写体２１の速度（ｖ）を図１０に示すグラフに示す現在速度（ｖｔ）とする。
　図１０に示すグラフを用いて、この注目被写体２１の現在速度（ｖｔ）に対応する撮像比率を最適撮像比率として算出する。注目被写体２１の現在速度（ｖｔ）に対応する最適撮像比率は、図１０に示す最適撮像比率（ｒ１）となる。

　外部装置３０は、図１０に示すグラフから算出した最適撮像比率（ｒ１）に基づいて決定される撮像領域サイズに従った画像撮影をＰＴＺカメラ１０に実行させる。
　具体的には、撮像領域２２（＝撮影画像２０の画像全体領域）の高さＨを、
　Ｈ＝ｒ１×ｈとした設定での画像撮影処理をＰＴＺカメラ１０に実行させる。
　なお、ｈは切り出し領域２３の高さである。

　このような設定でＰＴＺカメラ１０に画像撮影を実行させることで、ＰＴＺカメラ１０の撮影画像２０（撮像領域２２）から注目被写体２１を含む切り出し領域２３をより確実に切り出すことが可能となり、また切り出し画像の画質低下も軽減できる。

　本実施例１－１では、図１０に示すように、（ａ）注目被写体の速度（ｖ）＝０～ｖ１、すなわち、注目被写体が静止、または移動速度が所定値より小さい場合には、撮像比率は、ｒＭＩＮ（許容最小撮像比率）に設定され、切り出し領域２３のサイズに対する撮像領域２２のサイズの差分（比率）が、注目被写体の移動速度が所定値より大きい場合よりも小さく設定される。
　この処理により、切り出し領域２３の画素数をより多く設定することができ、切り出し画像の画質の低下を軽減させることができる。

　一方、（ｃ）注目被写体の速度（ｖ）＝ｖ２～、すなわち、注目被写体の移動速度が所定値より大きい場合には、撮像比率は、ｒＭＡＸ（許容最大撮像比率）に設定され、切り出し領域２３のサイズに対する撮像領域２２のサイズの差分（比率）が、注目被写体の移動速度が所定値より小さい場合よりも大きく設定される。
　これにより、注目被写体の移動が速い場合でも、注目被写体が撮影範囲から外に出てしまう可能性を低減でき、注目被写体の確実な追従処理が可能となる。

　　（３－２．（実施例１－２）注目被写体の加速度に応じて撮像比率を変更する実施例）
　次に、注目被写体の加速度に応じて撮像比率を変更する実施例について説明する。

　図１３を参照して、注目被写体の加速度に応じて撮像比率を変更する実施例について説明する。
　図１３に示すグラフは、横軸に注目被写体加速度（α）、縦軸に撮像比率を設定したグラフである。

　なお、横軸の注目被写体加速度（α）は、例えばＰＴＺカメラ１０の撮影画像内の加速度である。
　縦軸の撮像比率は、先に図７他を参照して説明したように、撮影画像２０の全体領域に相当する撮像領域２２の高さＨと、切り出し領域２３の高さｈとの比率、
　撮像比率＝（撮像領域サイズ／切り出し領域サイズ）
　＝Ｈ／ｈ
　である。

　図１３に示すグラフは、本開示の画像処理装置が実行する注目被写体の加速度（α）に応じた撮像比率の変更制御例を示すグラフである。

　本開示の画像処理装置は、グラフに示すように注目被写体の加速度（α）に応じて以下のように、撮像比率を変更する。
　（ａ）注目被写体の加速度（α）＝０～α１では、撮像比率＝ｒＭＩＮ（許容最小撮像比率）
　（ｂ）注目被写体の加速度（α）＝α１～α２では、撮像比率を、ｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）まで注目被写体の加速度（α）に応じて変化させる
　（ｃ）注目被写体の加速度（α）＝α２～では、撮像比率＝ｒＭＡＸ（許容最大撮像比率）

　なお、（ｂ）注目被写体の加速度（α）＝α１～α２において、図に示すグラフの例では、撮像比率をｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）まで、直線的に変化させる設定、すなわち、注目被写体の加速度（α）の変化に比例するように、撮像比率を変化させる設定としているが、これは一例であり、例えば所定のカーブを描くような上昇曲線に従って撮像比率を増加させたり、注目被写体の加速度（α）の増加に伴って撮像比率を指数関数的に増加させるように変化させる設定としてもよい。

　本実施例１－２において、外部装置３０は、図１３に示すグラフから算出される撮像比率を最適撮像比率（切り出し画像生成用撮像比率）として、算出した最適撮像比率に基づいて決定される撮像領域サイズに従った画像撮影をＰＴＺカメラ１０に実行させる。

　例えば、現在の注目被写体２１の加速度（α）を図１３に示すグラフに示す現在加速度（αｔ）とする。
　図１３に示すグラフを用いて、この注目被写体２１の現在加速度（αｔ）に対応する撮像比率を最適撮像比率として算出する。注目被写体２１の現在加速度（αｔ）に対応する最適撮像比率は、図１３に示す最適撮像比率（ｒ２）となる。

　外部装置３０は、図１３に示すグラフから算出した最適撮像比率（ｒ２）に基づいて決定される撮像領域サイズに従った画像撮影をＰＴＺカメラ１０に実行させる。
　具体的には、撮像領域２２（＝撮影画像２０の画像全体領域）の高さＨを、
　Ｈ＝ｒ２×ｈとした設定での画像撮影処理をＰＴＺカメラ１０に実行させる。
　なお、ｈは切り出し領域２３の高さである。

　本実施例１－２の画像処理装置は、図１３に示すように、（ａ）注目被写体の加速度（α）＝０～α１、すなわち、注目被写体が静止、または加速度が所定値より小さい場合には、撮像比率は、ｒＭＩＮ（許容最小撮像比率）に設定され、切り出し領域２３のサイズに対する撮像領域２２のサイズの差分（比率）が、注目被写体の移動加速度が所定値より大きい場合よりも小さく設定される。
　この処理により、切り出し領域２３の画素数をより多く設定することができ、切り出し画像の画質の低下を軽減させることができる。

　一方、（ｃ）注目被写体の加速度（α）＝α２～、すなわち、注目被写体の移動加速度が所定値より大きい場合には、撮像比率は、ｒＭＡＸ（許容最大撮像比率）に設定され、切り出し領域２３のサイズに対する撮像領域２２のサイズの差分（比率）が、注目被写体の移動加速度が所定値より小さい場合よりも大きく設定される。
　これにより、注目被写体の移動速度が急激に速くなった場合でも、注目被写体が撮影範囲から外に出てしまう可能性を低減でき、注目被写体の確実な追従処理が可能となる。

　なお、前述したようにグラフに示すｒＭＩＮ（許容最小撮像比率）と、ｒＭＡＸ（許容最大撮像比率）は、予め規定される比率である。
　例えば、ｒＭＩＮ（許容最小撮像比率）と、ｒＭＡＸ（許容最大撮像比率）は予め規定した固定値としてもよい。あるいは、先に図１１、図１２を参照して説明したように、撮影画像のシーンの状態や切り出し領域の設定、あるいは切り出し領域２３の許容最小画素数などに応じて決定してもよい。

　　（３－３．（実施例１－３）注目被写体の速度と加速度に応じて撮像比率を変更する実施例）
　次に、注目被写体の速度と加速度に応じて撮像比率を変更する実施例について説明する。

　図１４を参照して、注目被写体の速度と加速度に応じて撮像比率を変更する実施例について説明する。

　この実施例１－３は、先に図１０を参照して説明した実施例１－１、すなわち注目被写体の速度（ｖ）に応じて撮像比率を変更する実施例と、先に図１３を参照して説明した実施例１－２、すなわち注目被写体の加速度（α）に応じて撮像比率を変更する実施例、これら２つの実施例を合成した実施例である。

　図１４（処理Ａ）には、先に図１０を参照して説明した実施例１－１、すなわち注目被写体の速度（ｖ）に応じて撮像比率を変更する実施例において説明したグラフを示している。横軸に注目被写体速度（ｖ）、縦軸に撮像比率を設定したグラフである。

　図１４（処理Ｂ）には、先に図１３を参照して説明した実施例１－２、すなわち注目被写体の加速度（α）に応じて撮像比率を変更する実施例において説明したグラフを示している。横軸に注目被写体加速度（α）、縦軸に撮像比率を設定したグラフである。

　本実施例１－３では、まず、これら２つのグラフを用いて、現在の注目被写体２１の速度（ｖ）と加速度（α）に対応する最適撮像比率（切り出し画像生成用撮像比率）を個別に算出する。

　まず、（処理Ａ）として、現在の注目被写体２１の現在速度（ｖｔ）に対応する最適撮像比率（ｒ１）を取得する。
　現在の注目被写体２１の速度（ｖ）を図１４（処理Ａ）に示すグラフに示す現在速度（ｖｔ）とする。
　図１４（処理Ａ）に示すグラフを用いて、この注目被写体２１の現在速度（ｖｔ）に対応する最適撮像比率を算出すると、注目被写体２１の現在速度（ｖｔ）に対応する最適撮像比率は、図１４（処理Ａ）に示す最適撮像比率（ｒ１）となる。

　次に、（処理Ｂ）として、現在の注目被写体２１の現在加速度（αｔ）に対応する最適撮像比率（ｒ２）を取得する。
　現在の注目被写体２１の加速度（α）を図１４（処理Ｂ）に示すグラフに示す現在加速度（αｔ）とする。
　図１４（処理Ｂ）に示すグラフを用いて、この注目被写体２１の現在加速度（αｔ）に対応する最適撮像比率を算出すると、注目被写体２１の現在加速度（αｔ）に対応する最適撮像比率は、図１４（処理Ｂ）に示す最適撮像比率（ｒ２）となる。

　次に、（処理Ｃ）を実行する。
　（処理Ｃ）では、速度対応最適撮像比率ｒ１と加速度対応最適撮像比率ｒ２を比較し、より大きな値を最終最適撮像比率として選択する処理を実行する。

　まず、速度対応最適撮像比率ｒ１と加速度対応最適撮像比率ｒ２を比較する。
　図に示す例では、
　ｒ１＞ｒ２
　であるので、より大きな値、すなわち、速度対応最適撮像比率ｒ１を最終最適撮像比率として選択する。
　すなわち、
　最終最適撮像比率＝ｒ１とする。

　外部装置３０は、この最終最適撮像比率＝ｒ１に基づいて算出される撮像領域サイズに従った画像撮影をＰＴＺカメラ１０に実行させる。
　具体的には、撮像領域２２（＝撮影画像２０の画像全体領域）の高さＨを、
　Ｈ＝ｒ１×ｈとして画像撮影処理を実行させる。
　なお、ｈは切り出し領域２３の高さである。

　　［４．実施例１の画像処理装置が実行する処理のシーケンスについて］
　次に、上述した本開示の実施例１の画像処理装置が実行する処理のシーケンスについて説明する。

　以下の各実施例の処理シーケンスについて、順次、説明する。
　（実施例１－１）注目被写体の速度に応じて撮像比率を変更する実施例
　（実施例１－２）注目被写体の加速度に応じて撮像比率を変更する実施例
　（実施例１－３）注目被写体の速度と加速度に応じて撮像比率を変更する実施例

　なお、本開示の画像処理装置は、例えば図２に示す画像処理システムを構成する外部装置３０や、ＰＴＺカメラ１０である。
　後段において説明するが、本開示の処理は、ＰＴＺカメラ１０単体で実行することも可能であり、ＰＴＺカメラ１０と外部装置３０の組み合わせを利用して実行する構成も可能である。

　以下では代表的な処理例として、図２を参照して説明したと同様、ＰＴＺカメラ１０の撮影画像を外部装置３０が受信し、外部装置３０が画像解析や画像切り出し処理を行うとともに、ＰＴＺカメラ１０の制御（パン、チルト、ズーム駆動）を行う処理例について説明する。
　図１５以下のフローチャートにおいて説明する画像処理装置の処理は、外部装置３０が実行するものとして説明する。ただし、上述したように、ＰＴＺカメラ１０において実行することも可能である。

　まず、図１５に示すフローチャートを参照して、
　（実施例１－１）注目被写体の速度に応じて撮像比率を変更する実施例
　この実施例１－１を、画像処理装置（外部装置３０）が実行する処理のシーケンスについて説明する。

　なお、以下において説明するフローに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行することが可能であり、例えばＣＰＵ等のプログラム実行機能を持つ制御部の制御の下で実行される。以下、図１５に示すフローの各ステップの処理の詳細について順次、説明する。

　　（ステップＳ１０１）
　まず、本開示の画像処理装置は、ステップＳ１０１において、注目被写体２１の速度（ｖ）を算出する。

　画像処理装置、すなわち図２に示す外部装置３０は、ＰＴＺカメラ１０から撮影画像（動画像）を受信し、動画像を構成する各画像フレームの注目被写体２１の撮影画像上における位置の変化を解析することで注目被写体の速度（ｖ）を算出する。

　具体的には、例えば単位時間あたりの注目被写体の移動画素数、例えば１秒あたりの移動画素数（画素／ｓ）を算出する。

　　（ステップＳ１０２）
　次に、本開示の画像処理装置は、ステップＳ１０２において、速度－撮像比率対応データに基づいて、ステップＳ１０１で算出した現在の注目被写体の速度（ｖ）に対応する最適撮像比率（切り出し画像生成用撮像比率）を算出する。

　この処理は、先に図１０を参照して説明した処理である。速度－撮像比率対応データは、図１０に示すグラフである。速度－撮像比率対応データは、図１０を参照して説明したように、注目被写体の速度（ｖ）に応じて以下のように、最適撮像比率が規定されたグラフである。
　（ａ）注目被写体の速度（ｖ）＝０～ｖ１では、最適撮像比率＝ｒＭＩＮ（許容最小撮像比率）
　（ｂ）注目被写体の速度（ｖ）＝ｖ１～ｖ２では、最適撮像比率を、ｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）まで注目被写体の速度（ｖ）に応じて変化させる
　（ｃ）注目被写体の速度（ｖ）＝ｖ２～では、最適撮像比率＝ｒＭＡＸ（許容最大撮像比率）

　図１０に示すグラフを用いて、注目被写体２１の現在速度（ｖ）に対応する撮像比率を最適撮像比率として算出する。例えば図１０に示す例では、注目被写体２１の現在速度（ｖｔ）に対応する最適撮像比率は、図１０に示す最適撮像比率（ｒ１）となる。

　なお、ステップＳ１０２で算出される最適撮像比率は、図１０に示すグラフのｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）までの範囲の値となる。

　　（ステップＳ１０３）
　次に、画像処理装置はステップＳ１０３において、ステップＳ１０２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満であるか否かを判定する。

　ステップＳ１０２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満である場合は、ステップＳ１０３の判定がＹｅｓとなり、ステップＳ１０７で撮影終了か否かの判定を行い、撮影終了でない場合は、カメラ（ＰＴＺカメラ１０）のズーム制御を行うことなく、次の処理フレームの処理に移行する。

　これは、ステップＳ１０２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値より小さい場合まで、ズーム制御を行ってしまうと、画像フレーム毎に細かな制御が頻繁に実行され撮影画像が不安定になることを避ける処理である。

　このように、ステップＳ１０３の判定処理は、ステップＳ１０２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値より小さい場合には、制御を行わず安定的な画像撮影を継続させるために行われる。

　一方、ステップＳ１０２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ１０３の判定がＮｏとなり、ステップＳ１０４に進む。

　なお、規定しきい値については、画像処理装置において予め規定された値を用いる。例えば、規定しきい値を５％前後に予め設定し、ステップＳ１０２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が、規定しきい値（例えば５％）より小さいかどうかに基づいて、ズーム制御を行うか否かを判定する処理が可能である。例えば、規定しきい値５％であり、ステップＳ１０２で算出した最適撮像比率が２．２倍（２２０％）、現在の撮像比率が２．０倍（２００％）である場合、算出した最適撮像比率と現在の撮像比率都の差分は０．１（１０％）となり、規定しきい値５％より大きいため、ズーム制御を行う。
　言い換えれば、次の（式１）が成り立つ場合にはズーム制御を行わない。
現在の撮像比率‐規定しきい値　＜　算出した最適撮像比率　＜　現在の撮像比率＋規定しきい値…（式１）
一方で、以下の（式２）または（式３）が成り立つ場合にはズーム制御を行う。
算出した最適撮像比率　≧　現在の撮像比率＋規定しきい値…（式２）
算出した最適撮像比率　≦　現在の撮像比率―規定しきい値…（式３）

　　（ステップＳ１０４）
　ステップＳ１０３において、ステップＳ１０２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ１０４に進む。

　この場合、画像処理装置は、ステップＳ１０４において、ステップＳ１０２で算出した最適撮像比率が現在の撮像比率より大きいか小さいかを判定する。

　最適撮像比率が現在の撮像比率より大きい場合は、ステップＳ１０５に進む。
　一方、最適撮像比率が現在の撮像比率より小さい場合は、ステップＳ１０６に進む。

　　（ステップＳ１０５）
　ステップＳ１０４で、ステップＳ１０２で算出した最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ１０５に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ１０５において、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げる処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げさせるカメラ駆動指示を出力する。

　この処理は、例えば先に図８を参照して説明した処理に相当する。
　すなわち、図８（ａ）に示す撮像比率変更前のズーム（画角）状態を、図８（ｂ）に示す撮像比率変更後のズーム（画角）状態に変更する処理に相当する。
　図８（ｂ）撮像比率変更後の撮影画像ｂ，撮影領域２０ｂは、図８（ａ）撮像比率変更前の撮影画像ａ，撮影領域２０ａより画角が広い設定で撮影される画像となる。

　このように、ステップＳ１０２で算出した最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ１０５において、ＰＴＺカメラ１０のズームを調整して、撮影範囲を広くする設定、すなわち画角を広げる処理を実行する。

　　（ステップＳ１０６）
　一方、ステップＳ１０４で、ステップＳ１０２で算出した最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ１０６に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ１０６において、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭める処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭めさせるカメラ駆動指示を出力する。

　この処理は、例えば先に図９を参照して説明した処理に相当する。
　すなわち、図９（ａ）に示す撮像比率変更前のズーム（画角）状態を、図９（ｂ）に示す撮像比率変更後のズーム（画角）状態に変更する処理に相当する。
　図９（ｂ）撮像比率変更後の撮影画像ｂ，撮影領域２０ｂは、図９（ａ）撮像比率変更前の撮影画像ａ，撮影領域２０ａより画角が狭い設定で撮影される画像となる。

　このように、ステップＳ１０２で算出した最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ１０６において、ＰＴＺカメラ１０のズームを調整して、撮影範囲を狭くする設定、すなわち画角を狭める処理を実行する。

　　（ステップＳ１０７）
　ステップＳ１０５、ステップＳ１０６の処理の後、ステップＳ１０７に進み、ステップＳ１０７において、撮影処理終了か否かを判定する。

　撮影処理が終了していない場合は、ステップＳ１０１に戻り、次の撮影画像フレームに対する処理を実行する。
　撮影処理が終了した場合は、処理を終了する。

　これらの処理を実行することで、ＰＴＺカメラ１０の撮影画像から注目被写体を含む切り出し領域を切り出す処理の成功確率を高めることが可能となり、また切り出し画像の画質低下の軽減も実現される。

　次に、図１６に示すフローチャートを参照して、
　（実施例１－２）注目被写体の加速度に応じて撮像比率を変更する実施例
　この実施例１－２を、画像処理装置（外部装置３０）が実行する処理のシーケンスについて説明する。

　　（ステップＳ１２１）
　まず、本開示の画像処理装置は、ステップＳ１２１において、注目被写体２１の加速度（α）を算出する。

　画像処理装置、すなわち図２に示す外部装置３０は、ＰＴＺカメラ１０から撮影画像（動画像）を受信し、動画像を構成する各画像フレームの注目被写体２１の撮影画像上における位置の変化を解析することで注目被写体の加速度（α）を算出する。

　　（ステップＳ１２２）
　次に、本開示の画像処理装置は、ステップＳ１２２において、加速度－撮像比率対応データに基づいて、ステップＳ１２１で算出した現在の注目被写体の加速度（α）に対応する最適撮像比率（切り出し画像生成用撮像比率）を算出する。

　この処理は、先に図１３を参照して説明した処理である。加速度－撮像比率対応データは、図１３に示すグラフである。加速度－撮像比率対応データは、図１３を参照して説明したように、注目被写体の加速度（α）に応じて以下のように、最適撮像比率が規定されたグラフである。
　（ａ）注目被写体の加速度（α）＝０～α１では、最適撮像比率＝ｒＭＩＮ（許容最小撮像比率）
　（ｂ）注目被写体の加速度（α）＝α１～α２では、最適撮像比率を、ｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）まで注目被写体の加速度（α）に応じて変化させる
　（ｃ）注目被写体の加速度（α）＝α２～では、最適撮像比率＝ｒＭＡＸ（許容最大撮像比率）

　図１３に示すグラフを用いて、注目被写体２１の現在加速度（α）に対応する撮像比率を最適撮像比率として算出する。例えば図１３に示す例では、注目被写体２１の現在加速度（αｔ）に対応する最適撮像比率は、図１３に示す最適撮像比率（ｒ２）となる。

　なお、ステップＳ１２２で算出される最適撮像比率は、図１０に示すグラフのｒＭＩＮ（許容最小撮像比率）からｒＭＡＸ（許容最大撮像比率）までの範囲の値となる。

　　（ステップＳ１２３）
　次に、画像処理装置はステップＳ１２３において、ステップＳ１２２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満であるか否かを判定する。

　ステップＳ１２２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満である場合は、ステップＳ１２３の判定がＹｅｓとなり、ステップＳ１２７で撮影終了か否かの判定を行い、撮影終了でない場合は、カメラ（ＰＴＺカメラ１０）のズーム制御を行うことなく、次の処理フレームの処理に移行する。

　これは、ステップＳ１２２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値とり小さい場合まで、ズーム制御を行ってしまうと、画像フレーム毎に細かな制御が頻繁に実行され撮影画像が不安定になることを避ける処理である。

　このように、ステップＳ１２３の判定処理は、ステップＳ１２２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値より小さい場合には、制御を行わず安定的な画像撮影を継続させるために行われる。

　一方、ステップＳ１２２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ１２３の判定がＮｏとなり、ステップＳ１２４に進む。

　なお、規定しきい値については、画像処理装置において予め規定された値を用いる。例えば、ステップＳ１２２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が、現在の撮像比率の５％程度の値を用いて判定する処理が可能である。
　すなわち、ステップＳ１２２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が、規定しきい値（例えば５％）より小さいかどうかに基づいて、ズーム制御を行うか否かを判定する処理を行うことになる。

　　（ステップＳ１２４）
　ステップＳ１２３において、ステップＳ１２２で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ１２４に進む。

　この場合、画像処理装置は、ステップＳ１２４において、ステップＳ１２２で算出した最適撮像比率が現在の撮像比率より大きいか小さいかを判定する。

　最適撮像比率が現在の撮像比率より大きい場合は、ステップＳ１２５に進む。
　一方、最適撮像比率が現在の撮像比率より小さい場合は、ステップＳ１２６に進む。

　　（ステップＳ１２５）
　ステップＳ１２４で、ステップＳ１２２で算出した最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ１２５に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ１２５において、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げる処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げさせるカメラ駆動指示を出力する。

　このように、ステップＳ１２２で算出した最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ１２５において、ＰＴＺカメラ１０のズームを調整して、撮影範囲を広くする設定、すなわち画角を広げる処理を実行する。

　　（ステップＳ１２６）
　一方、ステップＳ１２４で、ステップＳ１２２で算出した最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ１２６に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ１２６において、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭める処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭めさせるカメラ駆動指示を出力する。

　このように、ステップＳ１２２で算出した最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ１２６において、ＰＴＺカメラ１０のズームを調整して、撮影範囲を狭くする設定、すなわち画角を狭める処理を実行する。

　　（ステップＳ１２７）
　ステップＳ１２５、ステップＳ１２６の処理の後、ステップＳ１２７に進み、ステップＳ１２７において、撮影処理終了か否かを判定する。

　撮影処理が終了していない場合は、ステップＳ１２１に戻り、次の撮影画像フレームに対する処理を実行する。
　撮影処理が終了した場合は、処理を終了する。

　次に、図１７、図１８に示すフローチャートを参照して、
　（実施例１－３）注目被写体の速度と加速度に応じて撮像比率を変更する実施例
　この実施例１－３を、画像処理装置（外部装置３０）が実行する処理のシーケンスについて説明する。

　　（ステップＳ１４１）
　まず、本開示の画像処理装置は、ステップＳ１４１において、注目被写体２１の速度（ｖ）と加速度（α）を算出する。

　画像処理装置、すなわち図２に示す外部装置３０は、ＰＴＺカメラ１０から撮影画像（動画像）を受信し、動画像を構成する各画像フレームの注目被写体２１の位置変化を解析することで注目被写体の速度（ｖ）と加速度（α）を算出する。

　　（ステップＳ１４２）
　次に、本開示の画像処理装置は、ステップＳ１４２において、速度－撮像比率対応データに基づいて、ステップＳ１４１で算出した現在の注目被写体の速度（ｖ）に対応する最適撮像比率である速度対応最適撮像比率を算出する。

　この処理は、先に図１４（処理Ａ）を参照して説明した処理である。速度－撮像比率対応データは、図１４（処理Ａ）に示すグラフである。

　図１４（処理Ａ）に示すグラフを用いて、注目被写体２１の現在速度に対応する撮像比率を速度対応最適撮像比率として算出する。例えば図１４（処理Ａ）に示す例では、注目被写体２１の現在速度（ｖｔ）に対応する最適撮像比率は、図１４（処理Ａ）に示す速度対応最適撮像比率（ｒ１）となる。

　　（ステップＳ１４３）
　次に、本開示の画像処理装置は、ステップＳ１４３において、加速度－撮像比率対応データに基づいて、ステップＳ１４１で算出した現在の注目被写体の加速度（α）に対応する最適撮像比率である加速度対応最適撮像比率を算出する。

　この処理は、先に図１４（処理Ｂ）を参照して説明した処理である。加速度－撮像比率対応データは、図１４（処理Ｂ）に示すグラフである。

　図１４（処理Ｂ）に示すグラフを用いて、注目被写体２１の現在加速度に対応する撮像比率を加速度対応最適撮像比率として算出する。例えば図１４（処理Ｂ）に示す例では、注目被写体２１の現在加速度（αｔ）に対応する最適撮像比率は、図１４（処理Ｂ）に示す加速度対応最適撮像比率（ｒ２）となる。

　　（ステップＳ１４４～Ｓ１４５）
　次に、画像処理装置はステップＳ１４４において、注目被写体の速度（ｖ）対応の最適撮像比率（速度対応最適撮像比率ｖｘ）と、注目被写体の加速度（α）対応の最適撮像比率（加速度対応最適撮像比率αｘ）を比較する。

　この処理は、先に説明した図１４（処理Ｃ）の処理に相当する。

　ステップＳ１４５において、注目被写体の速度対応最適撮像比率ｖｘが、加速度対応最適撮像比率αｘ以上であると判定した場合は、ステップＳ１４６に進む。
　一方、注目被写体の速度対応最適撮像比率ｖｘが、加速度対応最適撮像比率αｘ未満であると判定した場合は、ステップＳ１４７に進む。

　　（ステップＳ１４６）
　ステップＳ１４５において、注目被写体の速度対応最適撮像比率ｖｘが、加速度対応最適撮像比率αｘ以上であると判定した場合は、ステップＳ１４６に進む。

　この場合、画像処理装置は、より大きな値である注目被写体の速度対応最適撮像比率ｖｘを、最終的な最適撮像比率として選択する。

　　（ステップＳ１４７）
　一方、ステップＳ１４５において、注目被写体の速度対応最適撮像比率ｖｘが、加速度対応最適撮像比率αｘ未満であると判定した場合は、ステップＳ１４７に進む。

　この場合、画像処理装置は、より大きな値である注目被写体の加速度対応最適撮像比率αｘを、最終的な最適撮像比率として選択する。

　　（ステップＳ１４８）
　次に、画像処理装置はステップＳ１４８において、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満であるか否かを判定する。

　ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満である場合は、ステップＳ１４８の判定がＹｅｓとなり、ステップＳ１５３で撮影終了か否かの判定を行い、撮影終了でない場合は、カメラ（ＰＴＺカメラ１０）のズーム制御を行うことなく、次の処理フレームの処理に移行する。

　これは、最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値より小さい場合まで、ズーム制御を行ってしまうと、画像フレーム毎に細かな制御が頻繁に実行され撮影画像が不安定になることを避ける処理である。

　このように、ステップＳ１４８の判定処理は、最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値より小さい場合には、制御を行わず安定的な画像撮影を継続させるために行われる。

　一方、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率とと、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ１４８の判定がＮｏとなり、ステップＳ１４９に進む。

　なお、規定しきい値については、画像処理装置において予め規定された値を用いる。例えば、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率と、現在の撮像比率との差分（比率）が、現在の撮像比率の５％程度の値を用いて判定する処理が可能である。
　すなわち、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率と、現在の撮像比率との差分（比率）が、規定しきい値（例えば５％）より小さいかどうかに基づいて、ズーム制御を行うか否かを判定する処理を行うことになる。

　　（ステップＳ１４９）
　ステップＳ１４８において、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ１４９に進む。

　この場合、画像処理装置は、ステップＳ１４９において、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率が現在の撮像比率より大きいか小さいかを判定する。

　最適撮像比率が現在の撮像比率より大きい場合は、ステップＳ１５１に進む。
　一方、最適撮像比率が現在の撮像比率より小さい場合は、ステップＳ１５２に進む。

　　（ステップＳ１５１）
　ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ１５１に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ１５１において、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げる処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げさせるカメラ駆動指示を出力する。

　このように、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ１２５において、ＰＴＺカメラ１０のズームを調整して、撮影範囲を広くする設定、すなわち画角を広げる処理を実行する。

　　（ステップＳ１５２）
　一方、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ１５２に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ１５２において、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭める処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭めさせるカメラ駆動指示を出力する。

　このように、ステップＳ１４６、またはステップＳ１４７において選択した最終的な最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ１５２において、ＰＴＺカメラ１０のズーム制御パラメータを調整して、撮影範囲を狭くする設定、すなわち画角を狭める処理を実行する。

　　（ステップＳ１５３）
　ステップＳ１５１、ステップＳ１５２の処理の後、ステップＳ１５３に進み、ステップＳ１５３において、撮影処理終了か否かを判定する。

　撮影処理が終了していない場合は、ステップＳ１４１に戻り、次の撮影画像フレームに対する処理を実行する。
　撮影処理が終了した場合は、処理を終了する。

　　［５．（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例］
　次に、（実施例２）として、カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例について説明する。

　先に図５を参照して説明したように、ＰＴＺカメラ１０と、ＰＴＺカメラ１０から撮影画像を入力して切り出し画像を生成する外部装置３０間の通信遅延が発生すると、注目被写体の追従エラーや、切り出し画像生成エラーの発生確率が高まってしまう。

　以下に説明する実施例２は、このような事態の発生を防止する構成を有する実施例である。

　図１９を参照して、カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例の具体的処理例について説明する。
　図１９に示すグラフは、横軸にカメラと外部装置間の通信遅延時間（ｄｔ）、縦軸に撮像比率補正係数を設定したグラフである。

　横軸のカメラと外部装置間の通信遅延時間（ｄｔ）は例えば、カメラと外部装置間の通信に要する秒数（ｓｅｃ）である。なお、遅延しているフレーム数とフレームレート（ＦＰＳ）を用いて通信遅延時間を取得してもいい。
　縦軸の撮像比率補正係数は、例えば先に図１１を参照して説明した「最小許容撮像比率ｒＭＩＮ」に乗算して最適撮像比率を算出するために用いる乗算値としての補正係数である。

　カメラと外部装置間の通信遅延時間（ｄｔ）が０の場合は、撮像比率補正係数は１．０であり、カメラと外部装置間の通信遅延時間（ｄｔ）が増加するにつれて撮像比率補正係数も増加する。
　ただし、最大値は、補正係数許容最大値ｋＭＡＸである。

　補正係数許容最大値ｋＭＡＸは、以下の算出式によって算出される。
　補正係数許容最大値ｋＭＡＸ＝（許容最大撮像比率ｒＭＡＸ）／（許容最小撮像比率ｒＭＩＮ）

　本開示の実施例２の画像処理装置は、図１９に示すグラフに従って以下のように、撮像比率を変更する。
　（ａ）カメラと外部装置間の通信遅延時間（ｄｔ）＝０～ｔ１では、撮像比率補正係数を１．０から、補正係数許容最大値ｋＭＡＸまで通信遅延時間に応じて変化させる。
　（ｂ）カメラと外部装置間の通信遅延時間（ｄｔ）＝ｔ１～では、撮像比率補正係数を補正係数許容最大値ｋＭＡＸとする。

　なお、（ａ）カメラと外部装置間の通信遅延時間（ｄｔ）＝０～ｔ１では、撮像比率補正係数を１．０から、補正係数許容最大値ｋＭＡＸまで、直線的に変化させる設定としているが、これは一例であり、例えば所定のカーブを描くような上昇曲線に従って撮像比率補正係数を増加させたり、通信遅延時間（ｄｔ）の増加に伴って撮像比率を指数関数的に増加させるように変化させる設定としてもよい。

　本実施例２において、外部装置３０は、図１９に示すグラフから算出される撮像比率補正係数を適用して、最適撮像比率（切り出し画像生成用撮像比率）を以下の算出式、すなわち、
　最適撮像比率＝（最小許容撮像比率ｒＭＩＮ）×（撮像比率補正係数）
　上記式に従って算出される値を最適撮像比率として、算出した最適撮像比率に基づいて決定される撮像領域サイズに従った画像撮影をＰＴＺカメラ１０に実行させる。

　例えば、現在のカメラと外部装置間の通信遅延時間（ｄｔ）を図１９に示すグラフに示す現在遅延時間（ｔａ）とする。
　図１９に示すグラフを用いて、現在のカメラと外部装置間の通信遅延時間（ｄｔ）＝ｔａに対応する撮像比率補正係数＝１．２を算出する。
　さらに、算出した撮像比率補正係数＝１．２を適用して、以下の式に従って、最適撮像比率を算出する。
　最適撮像比率＝（最小許容撮像比率ｒＭＩＮ）×（撮像比率補正係数）
　＝（最小許容撮像比率ｒＭＩＮ）×（１．２）
　すなわち、現在のカメラと外部装置間の通信遅延時間（ｄｔ）＝ｔａの場合、最適撮像比率は、（最小許容撮像比率ｒＭＩＮ）の１．２倍の撮像比率となる。

　外部装置３０は、図１９に示すグラフから算出した撮像比率補正係数を用いて算出した最適撮像比率に基づいて決定される撮像領域サイズに従った画像撮影をＰＴＺカメラ１０に実行させる。
　具体的には、撮像領域２２（＝撮影画像２０の画像全体領域）の高さＨを、
　Ｈ＝（１．２（ｒＭＩＮ））×ｈとした設定での画像撮影処理をＰＴＺカメラ１０に実行させる。
　なお、ｈは切り出し領域２３の高さである。

　本実施例２の画像処理装置は、図１９に示すように、カメラと外部装置間の通信遅延時間（ｄｔ）＝０～ｔ１では、撮像比率補正係数を１．０から、補正係数許容最大値ｋＭＡＸまで変化させる。
　この結果、撮像比率は、ｒＭＩＮ（許容最小撮像比率）から、遅延時間に応じて、順次増加する設定とされる。遅延時間が少ないほど、切り出し領域２３のサイズに対する撮像領域２２のサイズの差分（比率）が小さく設定される。
　この処理により、切り出し領域２３の画素数をより多く設定することができ、切り出し画像の画質の低下を軽減上させることができる。

　一方、（ｂ）カメラと外部装置間の通信遅延時間（ｄｔ）＝ｔ１～では、撮像比率補正係数を補正係数許容最大値ｋＭＡＸとする。この結果、撮像比率は、ｒＭＡＸ（許容最大撮像比率）に設定され、切り出し領域２３のサイズに対する撮像領域２２のサイズの差分（比率）が、通信遅延時間が所定値（ｔ１）より小さい場合よりも大きく設定される。
　これにより、通信遅延時間が所定値より大きい場合でも、注目被写体が撮影範囲から外に出てしまう可能性を低減でき、注目被写体の確実な追従処理が可能となる。

　なお、前述したように実施例１－１～１－３と同様、ｒＭＩＮ（許容最小撮像比率）と、ｒＭＡＸ（許容最大撮像比率）は、予め規定される比率である。
　例えば、ｒＭＩＮ（許容最小撮像比率）と、ｒＭＡＸ（許容最大撮像比率）は予め規定した固定値としてもよい。あるいは、先に図１１、図１２を参照して説明したように、撮影画像のシーンの状態や切り出し領域の設定、あるいは切り出し領域２３の許容最小画素数などに応じて決定してもよい。

　次に、図２０に示すフローチャートを参照して、
　（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　この実施例２を、画像処理装置（外部装置３０）が実行する処理のシーケンスについて説明する。

　　（ステップＳ２０１）
　まず、本開示の画像処理装置は、ステップＳ２０１において、ＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）を算出する。

　画像処理装置、すなわち図２に示す外部装置３０は、ＰＴＺカメラ１０から撮影画像（動画像）を受信するタイミングごとにＰＴＺカメラ１０と外部装置３０との間の通信遅延時間（ｄｔ）を算出する。
　ＰＴＺカメラ１０の撮影画像（動画像）のフレームレートは予め規定されており、各画像フレームの受信タイミングを解析することで、ＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）を算出することができる。

　　（ステップＳ２０２）
　次に、本開示の画像処理装置は、ステップＳ２０２において、通信遅延時間－撮像比率補正係数対応データに基づいて、ステップＳ２０１で算出したＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）に対応する撮像比率補正係数を算出する。

　この処理は、先に図１９を参照して説明したグラフを適用した処理である。
　通信遅延時間－撮像比率補正係数対応データは、図１９を参照して説明したように、ＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）に応じて以下のように撮像比率補正係数を規定したグラフである。
　（ａ）カメラと外部装置間の通信遅延時間（ｄｔ）＝０～ｔ１では、撮像比率補正係数を１．０から、補正係数許容最大値ｋＭＡＸまで通信遅延時間に応じて変化させる。
　（ｂ）カメラと外部装置間の通信遅延時間（ｄｔ）＝ｔ１～では、撮像比率補正係数を補正係数許容最大値ｋＭＡＸとする。

　図１９に示すグラフを用いて、ＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）に応じた撮像比率補正係数を算出する。
　例えば図１９に示す例では、ＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）＝ｔａの場合、撮像比率補正係数＝１．２となる。

　　（ステップＳ２０３）
　次に、画像処理装置はステップＳ２０３において、ステップＳ２０２で算出した撮像比率補正係数を用いてＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）に応じた最適撮像比率（切り出し画像生成用撮像比率）を算出する。

　具体的には、以下の式に従って、最適撮像比率（切り出し画像生成用撮像比率）を算出する。
　最適撮像比率＝（最小許容撮像比率ｒＭＩＮ）×（撮像比率補正係数）

　　（ステップＳ２０４）
　次に、画像処理装置はステップＳ２０４において、ステップＳ２０３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満であるか否かを判定する。

　ステップＳ２０３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満である場合は、ステップＳ２０４の判定がＹｅｓとなり、ステップＳ２０８で撮影終了か否かの判定を行い、撮影終了でない場合は、カメラ（ＰＴＺカメラ１０）のズーム制御を行うことなく、次の処理フレームの処理に移行する。

　これは、ステップＳ２０３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が小さい場合まで、ズーム制御を行ってしまうと、画像フレーム毎に細かな制御が頻繁に実行され撮影画像が不安定になることを避ける処理である。

　このように、ステップＳ２０４の判定処理は、ステップＳ２０３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値より小さい場合には、制御を行わず安定的な画像撮影を継続させるために行われる。

　一方、ステップＳ２０３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ２０４の判定がＮｏとなり、ステップＳ２０５に進む。

　なお、規定しきい値については、画像処理装置において予め規定された値を用いる。例えば、ステップＳ２０３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が、現在の撮像比率の５％程度の値を用いて判定する処理が可能である。
　すなわち、ステップＳ２０３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が、規定しきい値（例えば５％）より小さいかどうかに基づいて、ズーム制御を行うか否かを判定する処理を行うことになる。

　　（ステップＳ２０５）
　ステップＳ２０４において、ステップＳ２０３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ２０５に進む。

　この場合、画像処理装置は、ステップＳ２０５において、ステップＳ２０３で算出した最適撮像比率が現在の撮像比率より大きいか小さいかを判定する。

　最適撮像比率が現在の撮像比率より大きい場合は、ステップＳ２０６に進む。
　一方、最適撮像比率が現在の撮像比率より小さい場合は、ステップＳ２０７に進む。

　　（ステップＳ２０６）
　ステップＳ２０５で、ステップＳ２０３で算出した最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ２０６に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ２０６において、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げる処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げさせるカメラ駆動指示を出力する。

　このように、ステップＳ２０３で算出した最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ２０６において、ＰＴＺカメラ１０のズーム制御パラメータを調整して、撮影範囲を広くする設定、すなわち画角を広げる処理を実行する。

　　（ステップＳ２０７）
　一方、ステップＳ２０５で、ステップＳ２０３で算出した最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ２０７に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ２０７において、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭める処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭めさせるカメラ駆動指示を出力する。

　このように、ステップＳ２０３で算出した最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ２０７において、ＰＴＺカメラ１０のズーム制御パラメータを調整して、撮影範囲を狭くする設定、すなわち画角を狭める処理を実行する。

　　（ステップＳ２０８）
　ステップＳ２０６、ステップＳ２０７の処理の後、ステップＳ２０８に進み、ステップＳ２０８において、撮影処理終了か否かを判定する。

　撮影処理が終了していない場合は、ステップＳ２０１に戻り、次の撮影画像フレームに対する処理を実行する。
　撮影処理が終了した場合は、処理を終了する。

　　［６．（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例］
　次に、（実施例３）として、注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例について説明する。

　以下に説明する実施例は、先に説明した以下の２つの実施例、すなわち、
　（実施例１－３）注目被写体の速度と加速度に応じて撮像比率を変更する実施例
　（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　これら２つの実施例を併せて実行する実施例に相当する。

　図２１、図２２に示すフローチャートを参照して、
　（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　この実施例３を画像処理装置（外部装置３０）が実行する処理のシーケンスについて説明する。

　　（ステップＳ３０１）
　まず、本開示の画像処理装置は、ステップＳ３０１において、注目被写体２１の速度（ｖ）と加速度（α）を算出する。

　　（ステップＳ３０２）
　次に、本開示の画像処理装置は、ステップＳ３０２において、速度－撮像比率対応データに基づいて、ステップＳ３０１で算出した現在の注目被写体の速度（ｖ）に対応する最適撮像比率である速度対応最適撮像比率を算出する。

　　（ステップＳ３０３）
　次に、本開示の画像処理装置は、ステップＳ３０３において、加速度－撮像比率対応データに基づいて、ステップＳ３０１で算出した現在の注目被写体の加速度（α）に対応する最適撮像比率である加速度対応最適撮像比率を算出する。

　　（ステップＳ３０４～Ｓ３０５）
　次に、画像処理装置はステップＳ３０４において、注目被写体の速度（ｖ）対応の最適撮像比率（速度対応最適撮像比率ｖｘ）と、注目被写体の加速度（α）対応の最適撮像比率（加速度対応最適撮像比率αｘ）を比較する。

　ステップＳ３０５において、注目被写体の速度対応最適撮像比率ｖｘが、加速度対応最適撮像比率αｘ以上であると判定した場合は、ステップＳ３０６に進む。
　一方、注目被写体の速度対応最適撮像比率ｖｘが、加速度対応最適撮像比率αｘ未満であると判定した場合は、ステップＳ３０７に進む。

　　（ステップＳ３０６）
　ステップＳ３０５において、注目被写体の速度対応最適撮像比率ｖｘが、加速度対応最適撮像比率αｘ以上であると判定した場合は、ステップＳ３０６に進む。

　この場合、画像処理装置は、より大きな値である注目被写体の速度対応最適撮像比率ｖｘを、被写体動き対応最適撮像比率として選択する。

　　（ステップＳ３０７）
　一方、ステップＳ３０５において、注目被写体の速度対応最適撮像比率ｖｘが、加速度対応最適撮像比率αｘ未満であると判定した場合は、ステップＳ３０７に進む。

　この場合、画像処理装置は、より大きな値である注目被写体の加速度対応最適撮像比率αｘを、被写体動き対応最適撮像比率として選択する。

　　（ステップＳ３１１）
　次に、本開示の画像処理装置は、ステップＳ３１１において、ＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）を算出する。

　画像処理装置、すなわち図２に示す外部装置３０は、ＰＴＺカメラ１０から撮影画像（動画像）を受信するタイミングごとにＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）を算出する。
　ＰＴＺカメラ１０の撮影画像（動画像）のフレームレートは予め規定されており、各画像フレームの受信タイミングを解析することで、ＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）を算出することができる。

　　（ステップＳ３１２）
　次に、本開示の画像処理装置は、ステップＳ３１２において、通信遅延時間－撮像比率補正係数対応データに基づいて、ステップＳ３１１で算出したＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）に対応する撮像比率補正係数を算出する。

　　（ステップＳ３１３）
　次に、画像処理装置はステップＳ３１３において、ステップＳ３０６、またはステップＳ３０７で決定した被写体動き対応最適撮像比率と、ステップＳ３１２で算出した撮像比率補正係数を用いて、被写体動きと、ＰＴＺカメラ１０と外部装置３０間の通信遅延時間（ｄｔ）に応じた最適撮像比率を算出する。

　具体的には、以下の式に従って、最適撮像比率を算出する。
　最適撮像比率＝（被写体動き対応最適撮像比率）×（撮像比率補正係数）

　　（ステップＳ３１４）
　次に、画像処理装置はステップＳ３１４において、ステップＳ３１３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満であるか否かを判定する。

　ステップＳ３１３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値未満である場合は、ステップＳ３１４の判定がＹｅｓとなり、ステップＳ３１８で撮影終了か否かの判定を行い、撮影終了でない場合は、カメラ（ＰＴＺカメラ１０）のズーム制御を行うことなく、次の処理フレームの処理に移行する。

　これは、ステップＳ３１３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が小さい場合まで、ズーム制御を行ってしまうと、画像フレーム毎に細かな制御が頻繁に実行され撮影画像が不安定になることを避ける処理である。

　このように、ステップＳ３１４の判定処理は、ステップＳ３１３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値より小さい場合には、制御を行わず安定的な画像撮影を継続させるために行われる。

　一方、ステップＳ３１３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ３１４の判定がＮｏとなり、ステップＳ３１５に進む。

　なお、規定しきい値については、画像処理装置において予め規定された値を用いる。例えば、ステップＳ３１３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が、現在の撮像比率の５％程度の値を用いて判定する処理が可能である。
　すなわち、ステップＳ３１３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が、規定しきい値（例えば５％）より小さいかどうかに基づいて、ズーム制御を行うか否かを判定する処理を行うことになる。

　　（ステップＳ３１５）
　ステップＳ３１４において、ステップＳ３１３で算出した最適撮像比率と、現在の撮像比率との差分（比率）が規定しきい値以上である場合は、ステップＳ３１５に進む。

　この場合、画像処理装置は、ステップＳ３１５において、ステップＳ３１３で算出した最適撮像比率が現在の撮像比率より大きいか小さいかを判定する。

　最適撮像比率が現在の撮像比率より大きい場合は、ステップＳ３１６に進む。
　一方、最適撮像比率が現在の撮像比率より小さい場合は、ステップＳ３１７に進む。

　　（ステップＳ３１６）
　ステップＳ３１５で、ステップＳ３１３で算出した最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ３１６に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ３１６において、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げる処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで大きくするため、カメラのズーム（画角）を調整して画角を広げさせるカメラ駆動指示を出力する。

　このように、ステップＳ３１３３で算出した最適撮像比率が現在の撮像比率より大きいと判定した場合は、ステップＳ３１６において、ＰＴＺカメラ１０のズーム制御パラメータを調整して、撮影範囲を広くする設定、すなわち画角を広げる処理を実行する。

　　（ステップＳ３１７）
　一方、ステップＳ３１５で、ステップＳ３１３で算出した最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ３１７に進み、以下の処理を実行する。

　この場合、画像処理装置は、ステップＳ３１７において、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭める処理を実行する。
　具体的には、例えば図２に示すシステム構成において、外部装置３０が、ＰＴＺカメラ１０に対して、現在の撮像比率を最適撮像比率まで小さくするため、カメラのズーム（画角）を調整して画角を狭めさせるカメラ駆動指示を出力する。

　このように、ステップＳ３１３で算出した最適撮像比率が現在の撮像比率より小さいと判定した場合は、ステップＳ３１７において、ＰＴＺカメラ１０のズームを調整して、撮影範囲を狭くする設定、すなわち画角を狭める処理を実行する。

　　（ステップＳ３１８）
　ステップＳ３１６、ステップＳ３１７の処理の後、ステップＳ３１８に進み、ステップＳ３１８において、撮影処理終了か否かを判定する。

　撮影処理が終了していない場合は、ステップＳ３１１に戻り、次の撮影画像フレームに対する処理を実行する。
　撮影処理が終了した場合は、処理を終了する。

　　［７．本開示の画像処理装置の構成例について］
　次に、本開示の画像処理装置の構成例について説明する。

　上述した実施例１～３、すなわち、
　（実施例１）注目被写体の速度、または加速度の少なくともいずれかに応じて撮像比率を変更する実施例
　（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　これらの実施例に従った処理は、主に例えば図２に示す画像処理システムを構成する外部装置３０において実行することも可能であり、外部装置３０を用いることなくＰＴＺカメラ１０単独で実行する構成とすることもできる。

　図２３を参照して、上述の実施例に従った処理をＰＴＺカメラ１０単独で実行する場合の処理シーケンスについて説明する。

　図２３は、ＰＴＺカメラ１００が画像撮影、画像切り出し、切り出し画像の配信、カメラ制御処理、全てを行う場合の処理シーケンスを説明する図である。
　図２３に示すＰＴＺカメラ１００は、図２他に示すＰＴＺカメラ１０に相当する。

　図２３に示すように、ＰＴＺカメラ１００は、以下の５つの処理を順次、繰り返し実行する。
　ステップＳ５０１＝画像撮影処理、
　ステップＳ５０２＝画像解析処理、
　ステップＳ５０３＝画像切り出し処理、
　ステップＳ５０４＝カメラ制御処理
　ステップＳ５０５＝切り出し画像出力処理

　ＰＴＺカメラ１００は、動画像（映像）を撮影するカメラであり、ステップＳ５０１～Ｓ５０５の処理をＰＴＺカメラ１００が撮影するフレーム毎、あるいは複数フレーム毎に繰り返し実行する。

　ステップＳ５０１の画像撮影処理は、ＰＴＺカメラ１００による画像（動画像）の撮影処理である。

　ステップＳ５０２の画像解析処理は、ＰＴＺカメラ１００が撮影した撮影画像に対する画像解析処理である。例えば切り出し対象となる人物の検出、顔領域の検出処理などが行われる。

　撮影画像から切り出し候補となる注目被写体の画像領域を検出する処理は、例えばパターンマッチングや顔検出処理、骨格検出処理、セグメンテーション処理等、既存の処理を適用して実行することができる。

　なお、人物検出処理の態様としては、頭部や顔領域の検出処理、上半身の検出処理、体全体の検出処理などがある。どの態様での人物検出処理を行うかについては、例えば、事前に決定した被写体追従アルゴリズムに応じて決定される。

　ステップＳ５０３の画像切り出し処理は、ステップＳ５０２の画像解析処理の結果に基づいてＰＴＺカメラ１００が撮影した撮影画像の一部の画像領域を切り出す処理である。

　なお、ステップＳ５０３の画像切り出し処理は、例えば、前述したディープニューラルネットワーク等の機械学習モデルまたはルールベースのモデルのうち少なくとも一方を利用したＡＩ解析を用いて特定の人物を検出し追従しながら、規定のアルゴリズムに従って所定画角の画像を切り出すといった処理が行われる。

　ステップＳ５０４のカメラ制御処理は、ステップＳ５０３における画像切り出し処理において注目被写体を含む切り出し領域が設定でき、かつ高画質な切り出し画像を取得するためのカメラ制御パラメータ、具体的にはズーム（画角）設定値などを算出する処理である。すなわち切り出し画像の領域の画像撮影に最適なカメラ制御パラメータを算出し、算出したカメラ制御パラメータをＰＴＺカメラ１００に設定して画像撮影を実行させる。

　先に図１５他のフローチャートを参照して説明した処理、すなわち、以下の実施例１～３、
　（実施例１）注目被写体の速度、または加速度の少なくともいずれかに応じて撮像比率を変更する実施例
　（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　これらの実施例に従った処理は、図２３に示す以下の各ステップの処理として実行されることになる。
　ステップＳ５０２＝画像解析処理、
　ステップＳ５０３＝画像切り出し処理、
　ステップＳ５０４＝カメラ制御処理

　ステップＳ５０５の切り出し画像出力処理は、ステップＳ５０３の画像切り出し処理において切り出した注目被写体を含む切り出し画像２５を外部に配信、あるいは記憶部に格納する処理である。
　例えば図に示すようにスマホ等のユーザ端末８０に切り出し画像２５が配信（表示）される。

　ステップＳ５０１～Ｓ５０５の処理は、ＰＴＺカメラ１００が撮影する処理画像フレーム単位に、繰り返し実行される。

　図２３に示す例はＰＴＺカメラ１００内で本開示の画像処理を実行する構成例である。
　このような構成例の他、本開示の画像処理の一部をＰＴＺカメラ１００以外の外部装置において実行する構成も可能である。
　このような構成例の一例について図２４を参照して説明する。

　図２４には、ＰＴＺカメラ１００と外部装置１２０を示している。外部装置１２０は、先に図２他を参照して説明した外部装置３０に相当する。
　ＰＴＺカメラ１００と外部装置１２０は通信可能な構成を有する。
　外部装置１２０は、ＰＴＺカメラ１００と無線または有線で接続された装置、例えばＰＣ、サーバ（クラウド）、スイッチャー、その他の画像処理装置などの少なくともいずれかによって構成される。

　ＰＴＺカメラ１００は、画像（動画像）を撮影し、撮影画像データを外部装置１２０に送信する。
　外部装置１２０は、ＰＴＺカメラ１００から受信する撮影画像に対して、画像解析処理、画像切り出し処理、カメラ制御パラメータ算出処理、切り出し画像出力処理などを実行する。

　外部装置１２０は、上記処理によって生成されるカメラ制御パラメータ、すなわち切り出し画像の生成に最適なズーム制御パラメータ等の制御パラメータを算出して、ＰＴＺカメラ１００に送信する。ＰＴＺカメラ１００は、外部装置１２０から受信するカメラ制御パラメータを設定して画像撮影を実行する。

　図２４に示す構成では、切り出し画像の記録処理や表示処理、配信処理は、外部装置１２０が実行する。
　外部装置１２０は、外部装置１２０が生成した切り出し画像を記録メディア１２１に格納して記録する。
　さらに、外部装置１２０は、生成した切り出し画像を、ユーザが所有するスマホやテレビ等のユーザ端末１３０に配信する処理を実行する。

　図２４に示すＰＴＺカメラ１００と、外部装置１２０を用いた処理シーケンスの例を図２５に示す。

　図２５に示すように、ＰＴＺカメラ１００は、以下の処理を実行する。
　ステップＳ５２１＝画像撮影処理
　ステップＳ５２２＝撮影画像出力処理
　ステップＳ５２８＝カメラ制御処理

　一方、例えばＰＣ、サーバ（クラウド）、スイッチャー、その他の画像処理装置などの外部装置１２０は以下の処理を実行する。
　ステップＳ５２３＝撮影画像入力処理
　ステップＳ５２４＝画像解析処理
　ステップＳ５２５＝画像切り出し処理
　ステップＳ５２６＝カメラ制御パラメータ生成、送信処理
　ステップＳ５２７＝切り出し画像出力処理

　ＰＴＺカメラ１００は、動画像（映像）を撮影するカメラであり、ＰＴＺカメラ１００と外部装置１２０は、ステップＳ５２１～Ｓ５２７の処理をＰＴＺカメラ１００が撮影するフレーム毎、あるいは複数フレーム毎に繰り返し実行する。

　ステップＳ５２１の画像撮影処理は、ＰＴＺカメラ１００による画像（動画像）の撮影処理である。
　ＰＴＺカメラ１００は、ステップＳ５２２において、撮影画像を外部装置１２０に送信する。

　外部装置１２０は、ステップＳ５２３において、ＰＴＺカメラ１００から撮影画像を入力する。
　次に外部装置１２０が実行するステップＳ５２４の画像解析処理は、ＰＴＺカメラ１００が撮影した撮影画像に対する画像解析処理である。例えば切り出し対象となる人物の検出、顔領域の検出処理などが行われる。

　撮影画像から切り出し候補となる注目被写体の画像領域を検出する処理は、例えばパターンマッチングや顔検出処理、骨格検出処理、セグメンテーション処理等の既存の処理を適用して実行することができる。

　ステップＳ５２５の画像切り出し処理は、ステップＳ５２４の画像解析処理の結果に基づいてＰＴＺカメラ１００が撮影した撮影画像の一部の画像領域を切り出す処理である。

　なお、ステップＳ５２５の画像切り出し処理は、例えば、前述したディープニューラルネットワーク等の機械学習モデルまたはルールベースのモデルのうち少なくとも一方を利用したＡＩ解析を用いて特定の人物を検出し追従しながら、規定のアルゴリズムに従って所定画角の画像を切り出すといった処理が行われる。

　ステップＳ５２６のカメラ制御パラメータ算出および送信処理は、ステップＳ５２４における画像切り出し処理において注目被写体を含む切り出し領域が設定でき、かつ高画質な切り出し画像を取得するためのカメラ制御パラメータ、具体的にはズーム（画角）設定値などを算出して送信する処理である。すなわち切り出し画像の領域の画像撮影に最適なカメラ制御パラメータを算出し、算出したカメラ制御パラメータをＰＴＺカメラ１００に送信する。

　ＰＴＺカメラ１００は、ステップＳ５２８において、外部装置１２０が算出したカメラ制御パラメータを適用して画像撮影を実行する。

　先に図１５他のフローチャートを参照して説明した処理、すなわち、以下の実施例１～３、
　（実施例１）注目被写体の速度、または加速度の少なくともいずれかに応じて撮像比率を変更する実施例
　（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　これらの実施例に従った処理は、図２５に示す以下の各ステップの処理として実行されることになる。
　ステップＳ５２４＝画像解析処理、
　ステップＳ５２５＝画像切り出し処理、
　ステップＳ５２６＝カメラ制御パラメータ算出、送信処理

　ステップＳ５２７の切り出し画像出力処理は、ステップＳ５２５の画像切り出し処理において切り出した注目被写体を含む切り出し画像２５を外部に配信、あるいは記憶部に格納する処理である。
　例えば図に示すようにスマホ等のユーザ端末８０に切り出し画像２５が配信（表示）される。

　ステップＳ５２１～Ｓ５２８の処理は、ＰＴＺカメラ１００が撮影する処理画像フレーム単位に、繰り返し実行される。

　以上、図２３～図２５を参照して説明したように、本開示の画像処理は、カメラ単体で実行する構成も可能であり、カメラと、その他の外部装置との協業処理として実行する構成も可能である。

　　［８．本開示の画像処理装置の詳細構成について］
　次に、本開示の画像処理装置の詳細構成について説明する。

　上述したように、本開示の画像処理は、カメラ単体で実行する構成も可能であり、カメラと、その他の外部装置との協業処理として実行する構成も可能である。
　まず、図２６を参照して、本開示の画像処理をカメラ単体で実行する構成とした場合の画像処理装置、すなわちＰＴＺカメラ１００の構成例について説明する。

　図２６に示すように本開示の画像処理装置の一例であるＰＴＺカメラ１００は、撮像部２０１、画像解析部２０２、切り出し領域算出部２０３、注目被写体動き（速度、加速度）解析部２０４、最適撮像比率算出部２０５、切り出し実行部２０６、出力部２０７、記録処理部２０８、記録メディア２０９、最適撮像領域決定部２１１、カメラ制御パラメータ算出部２１２、カメラ制御部２１３を有する。

　撮像部２０１は、画像撮影処理を実行する。
　なお、予め追従対象等の注目被写体を決定し、この注目被写体の追従画像を撮影する動画像の撮影を行う。
　前述したようにディープニューラルネットワーク等の機械学習モデルまたはルールベースのモデルのうち少なくとも一つを利用したＡＩ解析を行うことで、撮影画像から特定の人物を検出して追従する処理を高精度に実行することが可能となっている。
　このようなＡＩ解析を利用することで、ＰＴＺカメラを自動制御（パン、チルト、ズームの各制御）して注目被写体の追従映像を撮影する。

　画像解析部２０２は、撮像部２０１が撮影した撮影画像に対する画像解析処理を実行する。例えば切り出し対象となる人物の検出、顔領域の検出処理、追従処理などを行う。
　画像解析部２０２は、例えばパターンマッチングや顔検出処理、骨格検出処理、セグメンテーション処理等の処理を適用して人物検出処理を実行する。

　切り出し領域算出部２０３は、予め決定された注目被写体を含む画像切り出し領域、例えば切り出し矩形の撮影画像内の位置やサイズを算出する処理を実行する。
　切り出し領域算出部２０３は、予め規定したアルゴリズムに従って画像から注目被写体を含む切り出し領域を算出する。

　先に図３を参照して説明したように、切り出し領域設定アルゴリズムには様々な種類がある。具体的には、例えば、注目被写体の全身領域を含む切り出し領域設定アルゴリズムや、注目被写体の上半身領域のみを含む切り出し領域設定アルゴリズム、あるいは注目被写体の顔領域のみを含む切り出し領域設定アルゴリズムなどである。

　注目被写体動き（速度、加速度）解析部２０４は、注目被写体の動き、具体的には、速度、または加速度の少なくともいずれかを算出する。
　注目被写体動き（速度、加速度）解析部２０４は、撮像部２０１が撮影した動画像を構成する各画像フレームの注目被写体の位置変化を解析することで注目被写体の速度（ｖ）または加速度（α）の少なくともいずれかを算出する。
　これらの算出値は、最適撮像比率算出部２０５に入力される。

　最適撮像比率算出部２０５は、切り出し領域算出部２０３が算出した切り出し領域情報や、注目被写体動き（速度、加速度）解析部２０４が解析した注目被写体の速度（ｖ）または加速度（α）の少なくともいずれかを入力して、注目被写体の速度（ｖ）または加速度（α）の少なくともいずれかに応じた最適撮像比率、すなわち「切り出し画像生成用撮像比率」を算出する。

　すなわち、先に説明した以下の実施例、
　（実施例１－１）注目被写体の速度に応じて撮像比率を変更する実施例
　（実施例１－２）注目被写体の加速度に応じて撮像比率を変更する実施例
　（実施例１－３）注目被写体の速度と加速度に応じて撮像比率を変更する実施例
　これらいずれかの実施例に従った処理を実行して、注目被写体の速度（ｖ）または加速度（α）の少なくともいずれか一つに応じた最適撮像比率を算出する。

　最適撮像比率算出部２０５が算出した注目被写体の速度（ｖ）または加速度（α）の少なくともいずれか一つに応じた最適撮像比率は、切り出し領域算出部２０３が算出した切り出し領域情報とともに最適撮像領域決定部２１１に出力される。

　最適撮像領域決定部２１１は、切り出し領域算出部２０３が算出した切り出し領域情報と、最適撮像比率算出部２０５が算出した最適撮像比率とを適用して、撮像部２０１が撮影する画像の撮像領域の大きさを決定する。

　具体的には、撮像領域２２（＝撮影画像２０の画像全体領域）の高さＨを以下の算出式、すなわち、
　Ｈ＝（最適撮像比率）×ｈ
　上記算出式に従って算出する。
　なお、ｈは切り出し領域２３の高さである。

　なお、撮像領域の縦横比は予め規定されており、撮像領域の高さＨが算出されれば、撮像領域の幅Ｌも算出できる。

　最適撮像領域決定部２１１が算出した撮像領域のサイズ、例えば撮像領域の高さ×幅（Ｈ×Ｌ）は、カメラ制御パラメータ算出部２１２に入力される。
　カメラ制御パラメータ算出部２１２は、最適撮像領域決定部２１１が算出した撮像領域のサイズ（撮像領域の高さ×幅（Ｈ×Ｌ））の画角の画像を撮影するために必要なズーム制御パラメータを算出する。

　カメラ制御パラメータ算出部２１２が算出したズーム制御パラメータは、カメラ制御部２１３に出力される。
　カメラ制御部２１３は、カメラ制御パラメータ算出部２１２が算出したズーム制御パラメータをＰＴＺカメラ１００に設定し、このズーム制御パラメータを適用した画像撮影を実行させる。

　これらの処理により、ＰＴＺカメラ１００の撮影画像からの注目被写体の切り出し領域設定をより確実に行うことが可能となり、また切り出し画像の画質低下も軽減できる。

　切り出し実行部２０６は、切り出し領域算出部２０３が算出した画像切り出し領域に基づいて、撮影画像からの画像切り出し処理を実行する。

　前述したように、切り出し領域算出部２０３は、先に図３を参照して説明したように予め規定したアルゴリズムに従って注目被写体を含む切り出し領域を算出している。切り出し実行部２０６は、この予め規定したアルゴリズムに従って決定された切り出し領域に従って画像切り出し処理を実行する。

　出力部２０７は、切り出し実行部２０６が切り出した切り出し画像を、外部装置やスマホ、テレビ等の様々なユーザ端末のうち少なくともいずれかに出力する。
　記録処理部２０８は、切り出し実行部２０６が切り出した切り出し画像を記録メディア２０９に記録する。

　次に、図２７を参照して、ＰＴＺカメラ１００と外部装置１２０とが共同で本開示の画像処理を実行する場合のＰＴＺカメラ１００と外部装置１２０の構成と処理について説明する。

　図２７はＰＴＺカメラ１００と外部装置１２０の一構成例を示す図である。
　なお、外部装置１２０は、例えばＰＣ、サーバ（クラウド）、スイッチャー、放送機器、その他の画像処理装置などの少なくともいずれかによって構成される。
　また、ＰＴＺカメラ１００と外部装置１２０は有線または無線の少なくともいずれかで接続されており相互に通信可能な構成を有する。

　図２７に示すＰＴＺカメラ１００は、撮像部２２１、出力部２２２、記録処理部２２３、記録メディア２２４、カメラ制御部２２５を有する。
　また、外部装置１２０は、入力部３０１、画像解析部３０２、切り出し領域算出部３０３、注目被写体動き（速度、加速度）解析部３０４、最適撮像比率算出部３０５、切り出し実行部３０６、出力部３０７、記録処理部３０８、記録メディア３０９、最適撮像領域決定部３１１、カメラ制御パラメータ算出部３１２を有する。

　ＰＴＺカメラ１００の撮像部２２１は、画像撮影処理を実行する。
　なお、予め追従対象等の注目被写体を決定し、この注目被写体の追従画像を撮影する動画像の撮影を行う。
　前述したようにディープニューラルネットワーク等の機械学習モデルまたはルールベースのモデルのうち少なくとも一つを利用したＡＩ解析を行うことで、撮影画像から特定の人物を検出して追従する処理を高精度に実行することが可能となっている。
　このようなＡＩ解析を利用することで、ＰＴＺカメラを自動制御（パン、チルト、ズームの各制御）して注目被写体の追従映像を撮影する。

　撮像部２２１が撮影した画像は、出力部２２２を介して外部装置１２０に出力されるとともに、記録処理部２２３を介して記録メディア２２４に記録される。

　カメラ制御部２２５は、外部装置１２０のカメラ制御パラメータ算出部３１２から入力するカメラ制御パラメータを適用して撮像部２２１に画像撮影を実行させる。
　この処理により、ＰＴＺカメラ１００は、外部装置１２０が決定した切り出し画像に最適なカメラ制御パラメータ、具体的にはズーム設定パラメータ等を適用した画像撮影を実行することができる。

　外部装置１２０の入力部３０１は、ＰＴＺカメラ１００の撮像部２２１が撮影した画像を、ＰＴＺカメラ１００の出力部２２２から入力して画像解析部３０２に出力する。

　外部装置１２０の画像解析部３０２～カメラ制御パラメータ算出部３１２の処理は、先に図２６を参照して説明したＰＴＺカメラ１００の画像解析部２０２～カメラ制御パラメータ算出部２１２の処理と同様の処理である。

　この図２７に示す構成では、外部装置１２０において、画像解析処理、すなわち切り出し対象となる人物などの検出を実行し、画像切り出し処理も実行する。

　さらに、外部装置１２０の最適撮像比率算出部３０５において、最適撮像比率算出処理を実行する。
　すなわち、先に説明した以下の実施例、
　（実施例１－１）注目被写体の速度に応じて撮像比率を変更する実施例
　（実施例１－２）注目被写体の加速度に応じて撮像比率を変更する実施例
　（実施例１－３）注目被写体の速度と加速度に応じて撮像比率を変更する実施例
　これらいずれかの実施例に従った処理を実行して、注目被写体の速度（ｖ）または加速度（α）の少なくともいずれか一つに応じた最適撮像比率を算出する。

　最適撮像比率算出部３０５が算出した注目被写体の速度（ｖ）または加速度（α）の少なくともいずれか一つに応じた最適撮像比率は、外部装置１２０の切り出し領域算出部３０３が算出した切り出し領域情報とともに最適撮像領域決定部３１１に出力される。

　最適撮像領域決定部３１１は、切り出し領域算出部３０３が算出した切り出し領域情報と、最適撮像比率算出部３０５が算出した最適撮像比率とを適用して、ＰＴＺカメラ１００が撮影する画像の撮像領域の大きさを決定する。

　最適撮像領域決定部３１１が算出した撮像領域のサイズ、例えば撮像領域の高さ×幅（Ｈ×Ｌ）は、カメラ制御パラメータ算出部３１２に入力される。
　カメラ制御パラメータ算出部３１２は、最適撮像領域決定部２１１が算出した撮像領域のサイズ（撮像領域の高さ×幅（Ｈ×Ｌ））の画角の画像を撮影するために必要なズーム制御パラメータを算出する。

　カメラ制御パラメータ算出部３１２が算出したズーム制御パラメータは、ＰＴＺカメラ１００のカメラ制御部２２５に出力される。
　ＰＴＺカメラ１００のカメラ制御部２２５は、外部装置１２０のカメラ制御パラメータ算出部３１２が算出したズーム制御パラメータをＰＴＺカメラ１００に設定し、このズーム制御パラメータを適用した画像撮影を実行させる。

　図２８は、先に説明した実施例２と実施例３、すなわち、
　（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　これらの実施例を実行可能としたＰＴＺカメラ１００と外部装置１２０の構成例を示す図である。

　図２８に示すＰＴＺカメラ１００は、図２７に示すＰＴＺカメラ１００と同じ構成である。図２８に示す外部装置１２０は、図２７に示す外部装置１２０に通信遅延時間算出部３１３を追加した構成である。
　その他の構成は、図２７に示す構成と同様である。

　先に図５を参照して説明したように、ＰＴＺカメラ１００とＰＴＺカメラ１００から撮影画像を入力して切り出し画像を生成する外部装置１２０間の通信遅延が発生すると、注目被写体の追従エラーや、切り出し画像生成エラーの発生確率が高まってしまう。
　図２８に示す外部装置１２０は、このような事態の発生を防止する構成を有し、ＰＴＺカメラ１００と外部装置１２０間の通信遅延時間に応じて撮像比率を変更することを可能とした構成である。

　外部装置１２０の通信遅延時間算出部３１３は、ＰＴＺカメラ１００と外部装置１２０間の通信遅延時間を算出する。
　ＰＴＺカメラ１００の撮影画像（動画像）のフレームレートは予め規定されており、外部装置１２０の通信遅延時間算出部３１３は、例えば入力部３０１がＰＴＺカメラ１００から受信する画像フレームの受信タイミングを解析してＰＴＺカメラ１００と外部装置１２０間の通信遅延時間を算出する。

　通信遅延時間算出部３１３が算出したＰＴＺカメラ１００と外部装置１２０間の通信遅延時間を示す情報は、最適撮像比率算出部３０５に出力される。

　最適撮像比率算出部３０５は、先に図１９を参照して説明した撮像比率補正係数を算出し、さらに以下のいずれかの実施例に従った処理を実行して最適撮像比率を算出する。
　（実施例２）カメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例
　（実施例３）注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じて撮像比率を変更する実施例

　例えば、上記（実施例２）に従った処理を実行する場合は、図２０に示すフローチャートに従った処理を実行して最適撮像比率を算出する。
　また、上記（実施例３）に従った処理を実行する場合は、図２１、図２２に示すフローチャートに従った処理を実行して最適撮像比率を算出する。

　最適撮像比率算出部３０５が算出した最適撮像比率は、切り出し領域算出部３０３が算出した切り出し領域情報とともに最適撮像領域決定部３１１に出力される。
　その後の処理は、図２７を参照して説明した処理と同様である。

　この図２８に示す構成を適用することで、上述した（実施例２）や（実施例３）に従った処理を行うことが可能となる。
　すなわち、（実施例２）において説明したように、ＰＴＺカメラ１００と外部装置１２０間の通信遅延時間に応じた最適撮像比率を算出し、算出した最適撮像比率での画像撮影を行うことが可能となる。
　また、（実施例３）において説明したように、注目被写体の速度と加速度、およびカメラと外部装置間の通信遅延時間に応じた最適撮像比率を算出し、算出した最適撮像比率での画像撮影を行うことが可能となる。

　　［９．画像処理装置のハードウェア構成例について］
　次に、上述した実施例に従った処理を実行する画像処理装置のハードウェア構成例について、図２９を参照して説明する。
　図２９に示すハードウェアは、例えば先に図２０～図２３を参照して説明したカメラや外部装置のハードウェア構成の一例である。
　図２９に示すハードウェア構成について説明する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。

　ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。

　入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスク等からなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア７１１を駆動し、データの記録あるいは読み取りを実行する。

　　［１０．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出する切り出し領域算出部と、
　前記切り出し領域算出部が算出した画像切り出し領域の画像を切り出して、切り出し画像を生成する切り出し実行部と、
　前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出する撮像比率算出部と、
　算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出するカメラ制御パラメータ算出部を有し、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させる画像処理装置。

　（２）　前記カメラは、
　パン、および、チルト、およびズーム処理が可能なＰＴＺカメラであり、
　前記カメラ制御パラメータ算出部は、
　前記切り出し画像生成用撮像比率から算出される前記カメラの撮像領域サイズに従った画像を撮影させるためのズーム制御パラメータを算出する（１）に記載の画像処理装置。

　（３）　前記画像処理装置は、
　前記注目被写体の動きを解析する注目被写体動き解析部を有し、
　前記撮像比率算出部は、
　前記注目被写体動き解析部の解析結果を入力し、
　前記注目被写体の速度、または加速度の少なくともいずれかに応じた切り出し画像生成用撮像比率を算出する（１）または（２）に記載の画像処理装置。

　（４）　前記撮像比率算出部は、
　前記注目被写体の速度が大きいほど、前記切り出し画像生成用撮像比率を大きな値として算出し、
　前記カメラ制御パラメータ算出部は、
　前記注目被写体の速度が大きいほど、前記カメラの撮像領域を大きくするズーム制御パラメータを算出する（３）に記載の画像処理装置。

　（５）　前記撮像比率算出部は、
　前記注目被写体の加速度が大きいほど、前記切り出し画像生成用撮像比率を大きな値として算出し、
　前記カメラ制御パラメータ算出部は、
　前記注目被写体の加速度が大きいほど、前記カメラの撮像領域を大きくするズーム制御パラメータを算出する（３）または（４）に記載の画像処理装置。

　（６）　前記撮像比率算出部は、
　前記注目被写体の速度、または加速度の少なくともいずれかに応じた切り出し画像生成用撮像比率を、予め規定した許容最小撮像比率と許容最大撮像比率の間の値として算出する（３）～（５）いずれかに記載の画像処理装置。

　（７）　前記許容最大撮像比率は、
　前記切り出し画像に含まれる許容最小画素数に応じて決定する撮像比率である（６）に記載の画像処理装置。

　（８）　前記撮像比率算出部は、
　注目被写体速度と切り出し画像生成用撮像比率との対応データを用いて、前記切り出し画像生成用撮像比率を算出する（３）～（７）いずれかに記載の画像処理装置。

　（９）　前記撮像比率算出部は、
　注目被写体加速度と切り出し画像生成用撮像比率との対応データを用いて、前記切り出し画像生成用撮像比率を算出する（３）～（８）いずれかに記載の画像処理装置。

　（１０）　前記撮像比率算出部は、
　前記注目被写体の速度から算出した速度対応撮像比率と、
　前記注目被写体の加速度から算出した加速度対応撮像比率を比較し、
　より大きな値を持つ撮像比率を最終的な切り出し画像生成用撮像比率として決定する（３）～（９）いずれかに記載の画像処理装置。

　（１１）　前記画像処理装置は、前記カメラと通信可能な外部装置であり、
　前記画像処理装置は、
　前記カメラと前記画像処理装置間の通信遅延時間を算出する通信遅延時間算出部を有し、
　前記撮像比率算出部は、
　前記通信遅延時間算出部が算出した前記カメラと前記画像処理装置間の通信遅延時間に応じた切り出し画像生成用撮像比率を算出する（１）～（１０）いずれかに記載の画像処理装置。

　（１２）　前記撮像比率算出部は、
　前記カメラと前記画像処理装置間の通信遅延時間が大きいほど、前記切り出し画像生成用撮像比率を大きな値として算出し、
　前記カメラ制御パラメータ算出部は、
　前記カメラと前記画像処理装置間の通信遅延時間が大きいほど、前記カメラの撮像領域を大きくするズーム制御パラメータを算出する（１１）に記載の画像処理装置。

　（１３）　前記撮像比率算出部は、
　前記カメラと前記画像処理装置間の通信遅延時間に応じた切り出し画像生成用撮像比率を、予め規定した許容最小撮像比率と許容最大撮像比率の間の値として算出する（１１）または（１２）に記載の画像処理装置。

　（１４）　前記撮像比率算出部は、
　前記カメラと前記画像処理装置間の通信遅延時間と撮像比率補正係数との対応データを用いて前記切り出し画像生成用撮像比率を算出する（１１）～（１３）いずれかに記載の画像処理装置。

　（１５）　前記撮像比率補正係数は、予め規定した許容最小撮像比率に乗算して切り出し画像生成用撮像比率を算出するための乗算係数である（１４）に記載の画像処理装置。

　（１６）　前記撮像比率補正係数は、前記注目被写体の動きに応じて算出される被写体動き対応撮像比率に乗算して最終的な切り出し画像生成用撮像比率を算出するための乗算係数である（１４）または（１５）に記載の画像処理装置。

　（１７）　前記画像処理装置は、前記カメラと通信可能な外部装置であり、
　前記画像処理装置は、
　前記注目被写体の動きを解析する注目被写体動き解析部と、
　前記カメラと前記画像処理装置間の通信遅延時間を算出する通信遅延時間算出部を有し、
　前記撮像比率算出部は、
　前記注目被写体動き解析部の解析結果と、
　前記通信遅延時間算出部が算出した前記カメラと前記画像処理装置間の通信遅延時間を入力し、
　前記注目被写体の速度と加速度、および前記カメラと前記画像処理装置間の通信遅延時間に応じた切り出し画像生成用撮像比率を算出する（１）～（１６）いずれかに記載の画像処理装置。

　（１８）　画像処理装置において実行する画像処理方法であり、
　切り出し領域算出部が、カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出する切り出し領域算出ステップと、
　切り出し実行部が、前記切り出し領域算出ステップにおいて算出した画像切り出し領域の画像を切り出して、切り出し画像を生成する切り出し実行ステップと、
　撮像比率算出部が、前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出する撮像比率算出ステップと、
　カメラ制御パラメータ算出部が、算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出するカメラ制御パラメータ算出ステップを実行し、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させる画像処理方法。

　（１９）　画像処理装置において画像処理を実行させるプログラムであり、
　切り出し領域算出部に、カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出させる切り出し領域算出ステップと、
　切り出し実行部に、前記切り出し領域算出ステップにおいて算出した画像切り出し領域の画像を切り出して、切り出し画像を生成させる切り出し実行ステップと、
　撮像比率算出部に、前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出させる切り出し画像生成用撮像比率算出ステップと、
　カメラ制御パラメータ算出部に、算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出させるカメラ制御パラメータ算出ステップを実行させ、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、ＰＴＺカメラの撮影画像から注目被写体を含む切り出し画像生成処理をより確実に実行させるための指標値である最適撮像比率（切り出し画像生成用撮像比率）を算出する装置、方法が実現される。
　具体的には、例えば、ＰＴＺカメラの撮影画像から注目被写体を含む画像切り出し領域を算出し、算出した領域の画像を切り出して切り出し画像を生成する構成において、注目被写体を含む切り出し画像生成処理をより確実に実行させるための指標値として、切り出し画像に対するカメラの撮像領域のサイズ比率である最適撮像比率（切り出し画像生成用撮像比率）を算出する。さらに最適撮像比率から算出されるカメラの撮像領域サイズに従った画像を撮影させるためのズームパラメータを算出して、算出パラメータを適用した画像撮影をＰＴＺカメラに実行させる。
　本構成により、ＰＴＺカメラの撮影画像から注目被写体を含む切り出し画像生成処理をより確実に実行させるための指標値である最適撮像比率（切り出し画像生成用撮像比率）を算出する装置、方法が実現される。

　　１０　ＰＴＺカメラ
　　２０　撮影画像
　　２１　注目被写体
　　２２　撮像領域
　　２３　切り出し領域
　　３０　外部装置
　１００　ＰＴＺカメラ
　２０１　撮像部
　２０２　画像解析部
　２０３　切り出し領域算出部
　２０４　注目被写体動き（速度、加速度）解析部
　２０５　最適撮像比率算出部
　２０６　切り出し実行部
　２０７　出力部
　２０８　記録処理部
　２０９　記録メディア
　２１１　最適撮像領域決定部
　２１２　カメラ制御パラメータ算出部
　２１３　カメラ制御部
　２２１　撮像部
　２２２　出力部
　２２３　記録処理部
　２２４　記録メディア
　２２５　カメラ制御部
　３０１　入力部
　３０２　画像解析部
　３０３　切り出し領域算出部
　３０４　注目被写体動き（速度、加速度）解析部
　３０５　最適撮像比率算出部
　３０６　切り出し実行部
　３０７　出力部
　３０８　記録処理部
　３０９　記録メディア
　３１１　最適撮像領域決定部
　３１２　カメラ制御パラメータ算出部
　３１３　通信遅延時間算出部
　７０１　ＣＰＵ
　７０２　ＲＯＭ
　７０３　ＲＡＭ
　７０４　バス
　７０５　入出力インタフェース
　７０６　入力部
　７０７　出力部
　７０８　記憶部
　７０９　通信部
　７１０　ドライブ
　７１１　リムーバブルメディア

Claims

　カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出する切り出し領域算出部と、
　前記切り出し領域算出部が算出した画像切り出し領域の画像を切り出して、切り出し画像を生成する切り出し実行部と、
　前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出する撮像比率算出部と、
　算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出するカメラ制御パラメータ算出部を有し、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させる画像処理装置。
　前記カメラは、
　パン、および、チルト、およびズーム処理が可能なＰＴＺカメラであり、
　前記カメラ制御パラメータ算出部は、
　前記切り出し画像生成用撮像比率から算出される前記カメラの撮像領域サイズに従った画像を撮影させるためのズーム制御パラメータを算出する請求項１に記載の画像処理装置。
　前記画像処理装置は、
　前記注目被写体の動きを解析する注目被写体動き解析部を有し、
　前記撮像比率算出部は、
　前記注目被写体動き解析部の解析結果を入力し、
　前記注目被写体の速度、または加速度の少なくともいずれかに応じた切り出し画像生成用撮像比率を算出する請求項１に記載の画像処理装置。
　前記撮像比率算出部は、
　前記注目被写体の速度が大きいほど、前記切り出し画像生成用撮像比率を大きな値として算出し、
　前記カメラ制御パラメータ算出部は、
　前記注目被写体の速度が大きいほど、前記カメラの撮像領域を大きくするズーム制御パラメータを算出する請求項３に記載の画像処理装置。
　前記撮像比率算出部は、
　前記注目被写体の加速度が大きいほど、前記切り出し画像生成用撮像比率を大きな値として算出し、
　前記カメラ制御パラメータ算出部は、
　前記注目被写体の加速度が大きいほど、前記カメラの撮像領域を大きくするズーム制御パラメータを算出する請求項３に記載の画像処理装置。
　前記撮像比率算出部は、
　前記注目被写体の速度、または加速度の少なくともいずれかに応じた切り出し画像生成用撮像比率を、予め規定した許容最小撮像比率と許容最大撮像比率の間の値として算出する請求項３に記載の画像処理装置。
　前記許容最大撮像比率は、
　前記切り出し画像に含まれる許容最小画素数に応じて決定する撮像比率である請求項６に記載の画像処理装置。
　前記撮像比率算出部は、
　注目被写体速度と切り出し画像生成用撮像比率との対応データを用いて、前記切り出し画像生成用撮像比率を算出する請求項３に記載の画像処理装置。
　前記撮像比率算出部は、
　注目被写体加速度と切り出し画像生成用撮像比率との対応データを用いて、前記切り出し画像生成用撮像比率を算出する請求項３に記載の画像処理装置。
　前記撮像比率算出部は、
　前記注目被写体の速度から算出した速度対応撮像比率と、
　前記注目被写体の加速度から算出した加速度対応撮像比率を比較し、
　より大きな値を持つ撮像比率を最終的な切り出し画像生成用撮像比率として決定する請求項３に記載の画像処理装置。
　前記画像処理装置は、前記カメラと通信可能な外部装置であり、
　前記画像処理装置は、
　前記カメラと前記画像処理装置間の通信遅延時間を算出する通信遅延時間算出部を有し、
　前記撮像比率算出部は、
　前記通信遅延時間算出部が算出した前記カメラと前記画像処理装置間の通信遅延時間に応じた切り出し画像生成用撮像比率を算出する請求項１に記載の画像処理装置。
　前記撮像比率算出部は、
　前記カメラと前記画像処理装置間の通信遅延時間が大きいほど、前記切り出し画像生成用撮像比率を大きな値として算出し、
　前記カメラ制御パラメータ算出部は、
　前記カメラと前記画像処理装置間の通信遅延時間が大きいほど、前記カメラの撮像領域を大きくするズーム制御パラメータを算出する請求項１１に記載の画像処理装置。
　前記撮像比率算出部は、
　前記カメラと前記画像処理装置間の通信遅延時間に応じた切り出し画像生成用撮像比率を、予め規定した許容最小撮像比率と許容最大撮像比率の間の値として算出する請求項１１に記載の画像処理装置。
　前記撮像比率算出部は、
　前記カメラと前記画像処理装置間の通信遅延時間と撮像比率補正係数との対応データを用いて前記切り出し画像生成用撮像比率を算出する請求項１１に記載の画像処理装置。
　前記撮像比率補正係数は、予め規定した許容最小撮像比率に乗算して切り出し画像生成用撮像比率を算出するための乗算係数である請求項１４に記載の画像処理装置。
　前記撮像比率補正係数は、前記注目被写体の動きに応じて算出される被写体動き対応撮像比率に乗算して最終的な切り出し画像生成用撮像比率を算出するための乗算係数である請求項１４に記載の画像処理装置。
　前記画像処理装置は、前記カメラと通信可能な外部装置であり、
　前記画像処理装置は、
　前記注目被写体の動きを解析する注目被写体動き解析部と、
　前記カメラと前記画像処理装置間の通信遅延時間を算出する通信遅延時間算出部を有し、
　前記撮像比率算出部は、
　前記注目被写体動き解析部の解析結果と、
　前記通信遅延時間算出部が算出した前記カメラと前記画像処理装置間の通信遅延時間を入力し、
　前記注目被写体の速度と加速度、および前記カメラと前記画像処理装置間の通信遅延時間に応じた切り出し画像生成用撮像比率を算出する請求項１に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　切り出し領域算出部が、カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出する切り出し領域算出ステップと、
　切り出し実行部が、前記切り出し領域算出ステップにおいて算出した画像切り出し領域の画像を切り出して、切り出し画像を生成する切り出し実行ステップと、
　撮像比率算出部が、前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出する撮像比率算出ステップと、
　カメラ制御パラメータ算出部が、算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出するカメラ制御パラメータ算出ステップを実行し、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させる画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　切り出し領域算出部に、カメラの撮影画像から注目被写体を含む画像領域を画像切り出し領域として算出させる切り出し領域算出ステップと、
　切り出し実行部に、前記切り出し領域算出ステップにおいて算出した画像切り出し領域の画像を切り出して、切り出し画像を生成させる切り出し実行ステップと、
　撮像比率算出部に、前記注目被写体を含む切り出し画像生成処理を実行させるための指標値として、前記切り出し画像のサイズと、前記カメラの撮影画像の画像全体領域に相当する撮像領域のサイズとのサイズ比率である切り出し画像生成用撮像比率を算出させる切り出し画像生成用撮像比率算出ステップと、
　カメラ制御パラメータ算出部に、算出した前記切り出し画像生成用撮像比率に基づいて決定される撮像領域サイズに従った画像を前記カメラに撮影させるためのカメラ制御パラメータを算出させるカメラ制御パラメータ算出ステップを実行させ、
　前記カメラ制御パラメータ算出部が算出したカメラ制御パラメータを適用した画像撮影を前記カメラに実行させるプログラム。