JP7005269B2 - 情報処理装置、システム、情報処理方法及びプログラム - Google Patents
情報処理装置、システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7005269B2 JP7005269B2 JP2017201855A JP2017201855A JP7005269B2 JP 7005269 B2 JP7005269 B2 JP 7005269B2 JP 2017201855 A JP2017201855 A JP 2017201855A JP 2017201855 A JP2017201855 A JP 2017201855A JP 7005269 B2 JP7005269 B2 JP 7005269B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- target area
- boundary
- display
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。
監視等の用途に使用される撮像装置においては、より広域の監視が求められる。そこで、特許文献１では、複数の撮像装置により撮影された画像を合成し、周囲３６０°のパノラマ画像を生成する撮像装置が提案されている。
一方、監視等の用途に使用される撮像装置においては、撮影された画像内の設定された領域内において予め定められた処理を実行する機能が実装される場合がある。例えば、設定された領域内を人が通過したかどうかを判断する処理を実行する機能や、設定された領域内に人が何人いるかを検出する処理を実行する機能が実装されることがある。
一方、監視等の用途に使用される撮像装置においては、撮影された画像内の設定された領域内において予め定められた処理を実行する機能が実装される場合がある。例えば、設定された領域内を人が通過したかどうかを判断する処理を実行する機能や、設定された領域内に人が何人いるかを検出する処理を実行する機能が実装されることがある。
例えば、設定された領域内の人数を検出する処理を実行する場合、設定された領域の画像から人の形状を画像から識別する必要がある。しかし、特許文献１に示された撮像装置が生成するパノラマ画像において、パノラマ画像として合成された画像同士の境界部分において、画像の位置ズレが生じることがある。そのため、位置ズレが生じている部分に人がいる場合、設定された領域の画像から人の形状を正確に識別することができない場合がある。
このように、予め定められた処理の対象として設定された領域が、位置ズレが生じうる部分を含む場合、予め定められた処理を適切に実行できない場合がある。そのような場合、撮像装置の画角を変更したり、予め定められた処理の対象となる領域を設定し直したりする必要がある。そのため、予め定められた処理の対象として設定された領域が、位置ズレが生じうる部分を含む場合、ユーザがそのことをより容易に把握できるようにしたいという要望があった。
そこで、本発明は、ユーザが、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分が含まれることを、より容易に把握できるようにすることを目的とする。
このように、予め定められた処理の対象として設定された領域が、位置ズレが生じうる部分を含む場合、予め定められた処理を適切に実行できない場合がある。そのような場合、撮像装置の画角を変更したり、予め定められた処理の対象となる領域を設定し直したりする必要がある。そのため、予め定められた処理の対象として設定された領域が、位置ズレが生じうる部分を含む場合、ユーザがそのことをより容易に把握できるようにしたいという要望があった。
そこで、本発明は、ユーザが、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分が含まれることを、より容易に把握できるようにすることを目的とする。
本発明の情報処理装置は、複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定する設定手段と、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、前記境界を示す線を表示する表示処理を実行し、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれない場合、表示部に対して、前記境界を示す線を表示する表示処理を実行しない表示制御手段と、を有する。
本発明によれば、ユーザが、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分が含まれることを、より容易に把握できるようにすることができる。
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。
＜実施形態１＞
図１は、本実施形態の情報処理システムのシステム構成の一例を示す図である。情報処理システムは、撮像装置１００、クライアント装置１０１を含む。撮像装置１００、クライアント装置１０１は、ネットワーク１０２を介して相互に通信可能に接続されている。
撮像装置１００は、複数の撮像部を含み、複数の撮像部を介して撮影された画像を合成することで、単一の撮像部を介して撮影された場合よりも広角な画像を生成する撮像装置である。
クライアント装置１０１は、撮像装置１００に対して、撮像装置１００を制御する各種コマンドを送信するパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。
ネットワーク１０２は、インターネット、無線ＬＡＮ、有線ＬＡＮ等のネットワークである。また、クライアント装置１０１は、ネットワーク１０２を介して、撮像装置１００に電源を供給することとしてもよい。
図１は、本実施形態の情報処理システムのシステム構成の一例を示す図である。情報処理システムは、撮像装置１００、クライアント装置１０１を含む。撮像装置１００、クライアント装置１０１は、ネットワーク１０２を介して相互に通信可能に接続されている。
撮像装置１００は、複数の撮像部を含み、複数の撮像部を介して撮影された画像を合成することで、単一の撮像部を介して撮影された場合よりも広角な画像を生成する撮像装置である。
クライアント装置１０１は、撮像装置１００に対して、撮像装置１００を制御する各種コマンドを送信するパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。
ネットワーク１０２は、インターネット、無線ＬＡＮ、有線ＬＡＮ等のネットワークである。また、クライアント装置１０１は、ネットワーク１０２を介して、撮像装置１００に電源を供給することとしてもよい。
図２（ａ）は、撮像装置１００のハードウェア構成の一例を示す図である。撮像装置１００は、ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３、ネットワークＩ／Ｆ２０４、撮像部２０５を含む。各要素は、システムバス２０６を介して、相互に通信可能に接続されている。
ＣＰＵ２０１は、撮像装置１００を制御する中央演算装置である。主記憶装置２０２は、ＣＰＵ２０１のワークエリア、データの一時的な記憶領域等として機能する記憶装置である。主記憶装置２０２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶媒体を用いて実装される。補助記憶装置２０３は、各種設定情報、各種プログラム、撮像装置１００が撮影した画像等の情報を記憶する記憶装置である。補助記憶装置２０３は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶媒体を用いて実装される。
ネットワークＩ／Ｆ２０４は、クライアント装置１０１等の外部の装置とのネットワーク１０２を介した通信に用いられるインターフェースである。撮像部２０５は、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子、レンズ等を含み、周囲を撮影する撮像部である。撮像装置１００は、撮像部２０５を複数含む。
ＣＰＵ２０１は、撮像装置１００を制御する中央演算装置である。主記憶装置２０２は、ＣＰＵ２０１のワークエリア、データの一時的な記憶領域等として機能する記憶装置である。主記憶装置２０２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶媒体を用いて実装される。補助記憶装置２０３は、各種設定情報、各種プログラム、撮像装置１００が撮影した画像等の情報を記憶する記憶装置である。補助記憶装置２０３は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶媒体を用いて実装される。
ネットワークＩ／Ｆ２０４は、クライアント装置１０１等の外部の装置とのネットワーク１０２を介した通信に用いられるインターフェースである。撮像部２０５は、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子、レンズ等を含み、周囲を撮影する撮像部である。撮像装置１００は、撮像部２０５を複数含む。
図２（ｂ）は、クライアント装置１０１のハードウェア構成の一例を示す図である。クライアント装置１０１は、ＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、入力Ｉ／Ｆ２１４、出力Ｉ／Ｆ２１５、ネットワークＩ／Ｆ２１６を含む。各要素は、システムバス２１７を介して、相互に通信可能に接続されている。
ＣＰＵ２１１は、クライアント装置１０１を制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶領域等として機能する記憶装置である。主記憶装置２１２は、ＲＡＭ等の記憶媒体を用いて実装される。補助記憶装置２１３は、各種設定情報、各種プログラム、撮像装置１００が撮影した画像等の情報、撮像装置１００の制御コマンドの情報等を記憶する記憶装置である。補助記憶装置２１３は、ＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶媒体を用いて実装される。
入力Ｉ／Ｆ２１４は、マウス、キーボード、タッチパネルの操作部等の入力装置との接続に用いられるインターフェースである。ＣＰＵ２１１は、入力Ｉ／Ｆ２１４を介して、入力Ｉ／Ｆ２１４に接続されている入力装置を介した入力を受付ける。出力Ｉ／Ｆ２１５は、モニタ、ディスプレイ、スピーカ、タッチパネルの表示部等の出力装置との接続に用いられるインターフェースである。ＣＰＵ２１１は、出力Ｉ／Ｆ２１５を介して、出力Ｉ／Ｆ２１５に接続されている出力装置へ情報を出力する。ネットワークＩ／Ｆ２１６は、撮像装置１００等の外部の装置とのネットワーク１０２を介した通信に用いられるインターフェースである。
ＣＰＵ２１１は、クライアント装置１０１を制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶領域等として機能する記憶装置である。主記憶装置２１２は、ＲＡＭ等の記憶媒体を用いて実装される。補助記憶装置２１３は、各種設定情報、各種プログラム、撮像装置１００が撮影した画像等の情報、撮像装置１００の制御コマンドの情報等を記憶する記憶装置である。補助記憶装置２１３は、ＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶媒体を用いて実装される。
入力Ｉ／Ｆ２１４は、マウス、キーボード、タッチパネルの操作部等の入力装置との接続に用いられるインターフェースである。ＣＰＵ２１１は、入力Ｉ／Ｆ２１４を介して、入力Ｉ／Ｆ２１４に接続されている入力装置を介した入力を受付ける。出力Ｉ／Ｆ２１５は、モニタ、ディスプレイ、スピーカ、タッチパネルの表示部等の出力装置との接続に用いられるインターフェースである。ＣＰＵ２１１は、出力Ｉ／Ｆ２１５を介して、出力Ｉ／Ｆ２１５に接続されている出力装置へ情報を出力する。ネットワークＩ／Ｆ２１６は、撮像装置１００等の外部の装置とのネットワーク１０２を介した通信に用いられるインターフェースである。
図３は、撮像装置１００の概要の一例を示す図である。
本実施形態の撮像装置１００は、図３に示すように、放射状に配置された複数の撮像部２０５を含む。図３に示す撮像部２０５から放射状に出ている２つの破線で囲まれる範囲は、撮像部２０５の視野を示す。撮像装置１００は、撮像部２０５のそれぞれを介して撮影された画像を合成することで、単体の撮像部により撮影された画像よりも広角な画像（例えば、パノラマ画像等）を生成する。隣接する撮像部２０５同士は、撮影範囲が重なるように配置されている。撮像装置１００は、撮像部２０５同士の重なった撮影範囲の領域については、画像の合成処理を行う。
図４は、撮像装置１００により生成される合成画像の一例を示す図である。図４の合成画像４００は、撮像装置１００が４つの撮像部２０５を介して撮影した画像を合成して生成した合成画像である。合成境界４０２それぞれは、合成画像４００における撮像部２０５を介して撮影された画像同士の境界である。合成画像４００における合成境界４０２それぞれの位置は、位置ズレが生じうる位置である。図４の例では、合成境界４０２の数は、合成境界４０２（ａ）～（ｃ）の３つであるが、合成に使用される画像の数によって変動する。例えば、図４の例のように、横に並べる形で画像を合成する場合、ｎ個の画像を合成すると、合成境界４０２の数は、ｎ－１個となる。
本実施形態の撮像装置１００は、図３に示すように、放射状に配置された複数の撮像部２０５を含む。図３に示す撮像部２０５から放射状に出ている２つの破線で囲まれる範囲は、撮像部２０５の視野を示す。撮像装置１００は、撮像部２０５のそれぞれを介して撮影された画像を合成することで、単体の撮像部により撮影された画像よりも広角な画像（例えば、パノラマ画像等）を生成する。隣接する撮像部２０５同士は、撮影範囲が重なるように配置されている。撮像装置１００は、撮像部２０５同士の重なった撮影範囲の領域については、画像の合成処理を行う。
図４は、撮像装置１００により生成される合成画像の一例を示す図である。図４の合成画像４００は、撮像装置１００が４つの撮像部２０５を介して撮影した画像を合成して生成した合成画像である。合成境界４０２それぞれは、合成画像４００における撮像部２０５を介して撮影された画像同士の境界である。合成画像４００における合成境界４０２それぞれの位置は、位置ズレが生じうる位置である。図４の例では、合成境界４０２の数は、合成境界４０２（ａ）～（ｃ）の３つであるが、合成に使用される画像の数によって変動する。例えば、図４の例のように、横に並べる形で画像を合成する場合、ｎ個の画像を合成すると、合成境界４０２の数は、ｎ－１個となる。
例えば、クライアント装置１０１のＣＰＵ２１１が撮像装置１００に対し、合成画像４００の生成を指示するコマンドを送信すると、撮像装置１００のＣＰＵ２０１は、複数の撮像部２０５を介して画像を撮影し、撮影した画像を合成し、合成画像４００を生成する。そして、ＣＰＵ２０１は、クライアント装置１０１に対して、生成した合成画像４００を送信する。ＣＰＵ２１１は、例えば、出力Ｉ／Ｆ２１５に接続されたモニタに合成画像４００を表示させる。これにより、ユーザは、モニタに表示された合成画像４００を視認することができる。また、ＣＰＵ２０１は、合成画像４００と併せて、合成境界４０２それぞれが合成画像４００上のどの位置に存在するかを示す情報もクライアント装置１０１に送信する。ＣＰＵ２１１は、合成画像４００をモニタに表示するとともに、合成画像４００と併せて受信した合成境界４０２の位置の情報に基づいて、モニタに表示した合成画像４００上に、合成境界４０２それぞれを表示する。本実施形態では、ＣＰＵ２１１は、合成境界４０２それぞれを破線で表示することとするが、一点鎖線等の他の表示態様で表示してもよい。また、ＣＰＵ２１１は、合成境界４０２それぞれを表示しないこととしてもよい。
ユーザは、例えば、入力Ｉ／Ｆ２１４に接続されたマウスを用いてドラッグ操作を行うことで、モニタに表示された合成画像４００内の任意の位置に、予め定められた処理の対象となる領域を任意のサイズで指定できる。ＣＰＵ２１１は、例えば、入力Ｉ／Ｆ２１４に接続されたマウスを介したユーザの操作に基づいて、予め定められた処理の対象となる領域の指定を受付け、受け付けた指定が示す合成画像４００内の領域を、予め定められた処理の対象となる領域として設定する。図４の領域４０１は、設定された予め定められた処理の対象となる領域である。
図４の例では、撮影範囲が重ならない等の原因により、画像合成がうまくいかず、合成画像４００の合成境界４０２（ｃ）に存在する被写体４０３に位置ずれが生じている。
ユーザは、例えば、入力Ｉ／Ｆ２１４に接続されたマウスを用いてドラッグ操作を行うことで、モニタに表示された合成画像４００内の任意の位置に、予め定められた処理の対象となる領域を任意のサイズで指定できる。ＣＰＵ２１１は、例えば、入力Ｉ／Ｆ２１４に接続されたマウスを介したユーザの操作に基づいて、予め定められた処理の対象となる領域の指定を受付け、受け付けた指定が示す合成画像４００内の領域を、予め定められた処理の対象となる領域として設定する。図４の領域４０１は、設定された予め定められた処理の対象となる領域である。
図４の例では、撮影範囲が重ならない等の原因により、画像合成がうまくいかず、合成画像４００の合成境界４０２（ｃ）に存在する被写体４０３に位置ずれが生じている。
図５は、撮像装置１００により生成される合成画像の一例を示す図である。また、図６は、情報処理システムの処理の一例を示すフローチャートである。以下では、図５と図６とを用いて、本実施形態の情報処理システムの処理の一例を説明する。本実施形態では、ＣＰＵ２１１は、合成境界４０２それぞれを、出力Ｉ／Ｆ２１５に接続されたモニタに表示された合成画像４００上に、破線で表示している。
図６の処理について、説明する。
Ｓ６０１において、ＣＰＵ２１１は、入力Ｉ／Ｆ２１４に接続されている入力装置を介したユーザの操作に基づいて、合成画像４００上に予め定められた処理の対象となる領域５００と、他の処理の対象となる領域５０１と、を設定する。本実施形態では、予め定められた処理は、例えば、領域内から人の形状を検出することで領域内の人の数を検出する処理のように、予め定められたオブジェクトの形状を利用する処理である。本実施形態では、予め定められたオブジェクトは、人であるとするが、自動車、動物、貨物等の他のオブジェクトでもよい。また、本実施形態では、他の処理は、領域内の画像の変動から人の通過を検出する処理のように、予め定められたオブジェクトの形状を利用しない処理である。領域５００は、予め定められた処理の対象となる領域である対象領域の一例である。
図５には、図４で説明した合成画像４００に、予め定められた処理の対象となる領域５００と、他の処理の対象となる領域５０１と、が設定された様子が示されている。
図６の処理について、説明する。
Ｓ６０１において、ＣＰＵ２１１は、入力Ｉ／Ｆ２１４に接続されている入力装置を介したユーザの操作に基づいて、合成画像４００上に予め定められた処理の対象となる領域５００と、他の処理の対象となる領域５０１と、を設定する。本実施形態では、予め定められた処理は、例えば、領域内から人の形状を検出することで領域内の人の数を検出する処理のように、予め定められたオブジェクトの形状を利用する処理である。本実施形態では、予め定められたオブジェクトは、人であるとするが、自動車、動物、貨物等の他のオブジェクトでもよい。また、本実施形態では、他の処理は、領域内の画像の変動から人の通過を検出する処理のように、予め定められたオブジェクトの形状を利用しない処理である。領域５００は、予め定められた処理の対象となる領域である対象領域の一例である。
図５には、図４で説明した合成画像４００に、予め定められた処理の対象となる領域５００と、他の処理の対象となる領域５０１と、が設定された様子が示されている。
Ｓ６０２において、ＣＰＵ２１１は、合成画像４００内に設定された領域（領域５００、領域５０１）から１つを、選択領域として選択する。
Ｓ６０３において、ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であるか否かを判定する。ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であると判定した場合、Ｓ６０４の処理に進み、選択領域が、人の形状を利用する処理の対象でないと判定した場合、Ｓ６０６の処理に進む。
Ｓ６０４において、ＣＰＵ２１１は、合成境界４０２それぞれと選択領域とが重複するか否かを判定する。ＣＰＵ２１１は、合成境界４０２の何れかと選択領域とが重複すると判定した場合、Ｓ６０５の処理に進み、選択領域が合成境界４０２の何れとも重複していないと判定した場合、Ｓ６０６の処理に進む。
Ｓ６０３において、ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であるか否かを判定する。ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であると判定した場合、Ｓ６０４の処理に進み、選択領域が、人の形状を利用する処理の対象でないと判定した場合、Ｓ６０６の処理に進む。
Ｓ６０４において、ＣＰＵ２１１は、合成境界４０２それぞれと選択領域とが重複するか否かを判定する。ＣＰＵ２１１は、合成境界４０２の何れかと選択領域とが重複すると判定した場合、Ｓ６０５の処理に進み、選択領域が合成境界４０２の何れとも重複していないと判定した場合、Ｓ６０６の処理に進む。
Ｓ６０５において、ＣＰＵ２１１は、出力Ｉ／Ｆ２１５に接続されたモニタに対して、予め定められた表示処理を実行する。これにより、ＣＰＵ２１１は、選択領域に位置ズレが生じうる部分である合成境界４０２が含まれることをユーザに提示できる。本実施形態では、ＣＰＵ２１１は、Ｓ６０４で選択領域と重複すると判定された合成境界４０２の表示態様を、破線から実線に更新することで、選択領域と重複する合成境界４０２を強調表示する表示処理を行う。図５には、領域５００と重複する合成境界４０２（ａ）の表示態様が、実線に更新された様子が示される。これにより、ユーザは、破線から実線に変わった合成境界４０２の部分で、設定された領域と合成境界４０２とが重なっていることをより容易に視認できる。そして、ユーザは、人の形状を利用する処理の対象として設定された領域が、位置ズレが生じうる合成境界４０２を含んでいることをより容易に把握することができる。Ｓ６０５の処理は、表示制御処理の一例である。
ユーザは、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含むことを把握した場合、以下のようなことを行うことができる。即ち、ユーザは、例えば、クライアント装置１０１を介して、撮像装置１００に撮像部２０５それぞれの画角を、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含まないように変更するように指示することができる。図７には、撮像部２０５の画角が、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含まないように変更された後の合成画像４００が示される。領域５００と合成境界４０２とが重なっていないことが分かる。また、ユーザは、例えば、クライアント装置１０１を介して、人の形状を利用する処理の対象として設定された領域の位置を、合成境界４０２を含まないような位置に変更することができる。
ユーザは、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含むことを把握した場合、以下のようなことを行うことができる。即ち、ユーザは、例えば、クライアント装置１０１を介して、撮像装置１００に撮像部２０５それぞれの画角を、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含まないように変更するように指示することができる。図７には、撮像部２０５の画角が、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含まないように変更された後の合成画像４００が示される。領域５００と合成境界４０２とが重なっていないことが分かる。また、ユーザは、例えば、クライアント装置１０１を介して、人の形状を利用する処理の対象として設定された領域の位置を、合成境界４０２を含まないような位置に変更することができる。
Ｓ６０６において、ＣＰＵ２１１は、合成境界４０２の表示態様を変更しないことを決定する。
Ｓ６０７において、ＣＰＵ２１１は、合成画像４００内に設定された領域全てについて、Ｓ６０３～Ｓ６０６の処理を実行したか否かを判定する。ＣＰＵ２１１は、合成画像４００内に設定された領域全てについて、Ｓ６０３～Ｓ６０６の処理を実行したと判定した場合、図６の処理を終了する。ＣＰＵ２１１は、合成画像４００内に設定された領域の中に、Ｓ６０３～Ｓ６０６の処理が実行されていない領域があると判定した場合、Ｓ６０２の処理に進む。
Ｓ６０７において、ＣＰＵ２１１は、合成画像４００内に設定された領域全てについて、Ｓ６０３～Ｓ６０６の処理を実行したか否かを判定する。ＣＰＵ２１１は、合成画像４００内に設定された領域全てについて、Ｓ６０３～Ｓ６０６の処理を実行したと判定した場合、図６の処理を終了する。ＣＰＵ２１１は、合成画像４００内に設定された領域の中に、Ｓ６０３～Ｓ６０６の処理が実行されていない領域があると判定した場合、Ｓ６０２の処理に進む。
本実施形態では、ＣＰＵ２１１は、Ｓ６０５で、設定された領域と重複する合成境界４０２を示す線分を、実線による表示態様とする表示処理を行うことで、強調することとした。しかし、ＣＰＵ２１１は、設定された領域と重複する合成境界４０２を示す線分の色を、他の合成境界４０２を示す線分の色と異なる予め定められた色（例えば、赤）にする表示処理を行うことで、その合成境界４０２を強調してもよい。また、ＣＰＵ２１１は、合成境界４０２を強調するため、設定された領域と重複する合成境界４０２を示す破線を点滅させることで、その合成境界４０２を強調してもよい。
また、本実施形態では、合成境界４０２は、予め破線で表示されることとしたが、予め合成境界４０２を示す線分を表示しないこととしてもよい。その場合、ＣＰＵ２１１は、例えば、Ｓ６０５で、人の形状を利用する処理の対象として設定された領域と重なった合成境界４０２を示す線分（例えば、直線、破線等）を表示する表示処理を行うこととしてもよい。
また、ＣＰＵ２１１は、Ｓ６０５で、合成境界４０２を強調するために、以下の処理を行うこととしてもよい。即ち、ＣＰＵ２１１は、強調する対象の合成境界４０２を撮影する２つの撮像部２０５の露出値を、それぞれ異なるように更新するよう、撮像装置１００に指示する。露出値とは、絞り値と露光時間に基づいて決まる露出の度合いを表す指標である。ＣＰＵ２１１は、露出値が更新された撮像部２０５を含む複数の撮像部２０５を介して撮影された画像が合成された合成画像４００を、撮像装置１００から取得する。そして、ＣＰＵ２１１は、取得した合成画像４００を、出力Ｉ／Ｆ２１５に接続されているモニタに表示することとしてもよい。これにより、モニタには、強調する対象の合成境界４０２を挟んで、明るさの異なる画像が並ぶことになり、ユーザは、どの合成境界４０２と設定された領域とが重複するのかを視認することができる。
本実施形態では、ＣＰＵ２１１は、Ｓ６０６で、合成境界４０２の表示態様を変更しないことを決定したが、合成境界４０２を示す破線を削除することとしてもよい。
また、本実施形態では、合成境界４０２は、予め破線で表示されることとしたが、予め合成境界４０２を示す線分を表示しないこととしてもよい。その場合、ＣＰＵ２１１は、例えば、Ｓ６０５で、人の形状を利用する処理の対象として設定された領域と重なった合成境界４０２を示す線分（例えば、直線、破線等）を表示する表示処理を行うこととしてもよい。
また、ＣＰＵ２１１は、Ｓ６０５で、合成境界４０２を強調するために、以下の処理を行うこととしてもよい。即ち、ＣＰＵ２１１は、強調する対象の合成境界４０２を撮影する２つの撮像部２０５の露出値を、それぞれ異なるように更新するよう、撮像装置１００に指示する。露出値とは、絞り値と露光時間に基づいて決まる露出の度合いを表す指標である。ＣＰＵ２１１は、露出値が更新された撮像部２０５を含む複数の撮像部２０５を介して撮影された画像が合成された合成画像４００を、撮像装置１００から取得する。そして、ＣＰＵ２１１は、取得した合成画像４００を、出力Ｉ／Ｆ２１５に接続されているモニタに表示することとしてもよい。これにより、モニタには、強調する対象の合成境界４０２を挟んで、明るさの異なる画像が並ぶことになり、ユーザは、どの合成境界４０２と設定された領域とが重複するのかを視認することができる。
本実施形態では、ＣＰＵ２１１は、Ｓ６０６で、合成境界４０２の表示態様を変更しないことを決定したが、合成境界４０２を示す破線を削除することとしてもよい。
以上、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域と合成境界４０２とが重複した場合、出力Ｉ／Ｆ２１５に接続されたモニタに、予め定められた表示処理を実行することとした。即ち、情報処理システムは、ユーザに対して、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分である合成境界４０２が含まれていることを提示できる。これにより、ユーザは、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分が含まれることを、より容易に把握できるようになる。
＜実施形態２＞
実施形態１では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、重複部分における合成境界４０２を示す線分を破線から実線に変更する表示処理を行うこととした。このように、情報処理システムは、重複部分における合成境界４０２を示す線分の表示態様を変更する表示処理を行うことで、予め定められた処理の対象として設定された領域が合成境界４０２と重複することをユーザに提示した。
図３に示すように、撮像部２０５の視野は、撮像部２０５から遠くなる程、幅が広くなる。そのため、異なる撮像部２０５同士の視野は、撮像部２０５からの距離が遠い程、重複しやすくなる。そのため、合成画像４００における合成境界４０２において位置ズレが生じる可能性は、被写体を撮影する撮像部２０５と、被写体との距離（以下では、被写体距離とする）が短い程大きくなり、長い程小さくなる。即ち、例え合成境界４０２の部分であっても、合成境界４０２の部分に存在する被写体についての被写体距離が、一定の値よりも大きければ、位置ズレは、生じないか、生じても人等のオブジェクトの形状の検出に影響のない程に小さくなると仮定できる。そこで、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複し、且つ、その領域に存在する被写体の被写体距離が予め定められた閾値以下である場合、予め定められた表示処理を行う。
実施形態１では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、重複部分における合成境界４０２を示す線分を破線から実線に変更する表示処理を行うこととした。このように、情報処理システムは、重複部分における合成境界４０２を示す線分の表示態様を変更する表示処理を行うことで、予め定められた処理の対象として設定された領域が合成境界４０２と重複することをユーザに提示した。
図３に示すように、撮像部２０５の視野は、撮像部２０５から遠くなる程、幅が広くなる。そのため、異なる撮像部２０５同士の視野は、撮像部２０５からの距離が遠い程、重複しやすくなる。そのため、合成画像４００における合成境界４０２において位置ズレが生じる可能性は、被写体を撮影する撮像部２０５と、被写体との距離（以下では、被写体距離とする）が短い程大きくなり、長い程小さくなる。即ち、例え合成境界４０２の部分であっても、合成境界４０２の部分に存在する被写体についての被写体距離が、一定の値よりも大きければ、位置ズレは、生じないか、生じても人等のオブジェクトの形状の検出に影響のない程に小さくなると仮定できる。そこで、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複し、且つ、その領域に存在する被写体の被写体距離が予め定められた閾値以下である場合、予め定められた表示処理を行う。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、本実施形態の情報処理システムのシステム構成要素のハードウェア構成も、実施形態１と同様である。
図８は、撮像装置１００により生成される合成画像の一例を示す図である。図９は、本実施形態の情報処理システムの処理の一例を示すフローチャートである。以下では、図８と図９とを用いて、本実施形態の処理の一例を説明する。ここで画像合成境界線はあらかじめ破線で表示していることを想定している。
図９のＳ６０１～Ｓ６０３、Ｓ６０６～Ｓ６０７の処理は、図６と同様の処理である。
図８は、撮像装置１００により生成される合成画像の一例を示す図である。図９は、本実施形態の情報処理システムの処理の一例を示すフローチャートである。以下では、図８と図９とを用いて、本実施形態の処理の一例を説明する。ここで画像合成境界線はあらかじめ破線で表示していることを想定している。
図９のＳ６０１～Ｓ６０３、Ｓ６０６～Ｓ６０７の処理は、図６と同様の処理である。
Ｓ６０４において、ＣＰＵ２１１は、合成境界４０２それぞれと選択領域とが重複するか否かを判定する。ＣＰＵ２１１は、合成境界４０２の何れかと選択領域とが重複すると判定した場合、Ｓ９０１の処理に進み、選択領域が合成境界４０２の何れとも重複していないと判定した場合、Ｓ６０６の処理に進む。
Ｓ９０１において、ＣＰＵ２１１は、選択領域内に存在する被写体における被写体距離を特定する。ＣＰＵ２１１は、例えば、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ（ＴＯＦ）方式を用いて、選択領域内に存在する被写体における被写体距離を特定する。ＣＰＵ２１１は、例えば、撮像部２０５に含まれる発光部を介して光を被写体に照射し、撮像部２０５に含まれる受光部を介して被写体から反射された光を受光する。そして、ＣＰＵ２１１は、被写体に光を照射した時刻と、被写体から反射された光を受光した時刻と、の差分に基づいて、被写体と撮像部２０５との距離を特定する。ＣＰＵ２１１は、例えば、被写体を撮影する撮像部２０５それぞれについて、被写体距離を求めて、その平均値を最終的な被写体距離として特定する。また、ＣＰＵ２１１は、被写体を撮影する撮像部２０５の中から１つを選択し、選択した撮像部２０５について、被写体距離を求めて、求めた被写体距離を最終的な被写体距離として特定してもよい。
そして、ＣＰＵ２１１は、特定した被写体距離が予め定められた閾値以下か否かを判定する。ＣＰＵ２１１は、特定した被写体距離が予め定められた閾値以下と判定した場合、Ｓ６０５の処理に進み、特定した被写体距離が予め定められた閾値よりも大きいと判定した場合、Ｓ６０６の処理に進む。
Ｓ９０１において、ＣＰＵ２１１は、選択領域内に存在する被写体における被写体距離を特定する。ＣＰＵ２１１は、例えば、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ（ＴＯＦ）方式を用いて、選択領域内に存在する被写体における被写体距離を特定する。ＣＰＵ２１１は、例えば、撮像部２０５に含まれる発光部を介して光を被写体に照射し、撮像部２０５に含まれる受光部を介して被写体から反射された光を受光する。そして、ＣＰＵ２１１は、被写体に光を照射した時刻と、被写体から反射された光を受光した時刻と、の差分に基づいて、被写体と撮像部２０５との距離を特定する。ＣＰＵ２１１は、例えば、被写体を撮影する撮像部２０５それぞれについて、被写体距離を求めて、その平均値を最終的な被写体距離として特定する。また、ＣＰＵ２１１は、被写体を撮影する撮像部２０５の中から１つを選択し、選択した撮像部２０５について、被写体距離を求めて、求めた被写体距離を最終的な被写体距離として特定してもよい。
そして、ＣＰＵ２１１は、特定した被写体距離が予め定められた閾値以下か否かを判定する。ＣＰＵ２１１は、特定した被写体距離が予め定められた閾値以下と判定した場合、Ｓ６０５の処理に進み、特定した被写体距離が予め定められた閾値よりも大きいと判定した場合、Ｓ６０６の処理に進む。
Ｓ６０５において、ＣＰＵ２１１は、選択領域と重複する合成境界４０２を示す線分の幅を広げるように、表示態様を変更する表示処理を行うことで、選択領域が合成境界４０２を含むことを提示する。図８には、合成境界４０２（ａ）を示す破線の幅が広げられた様子が示されている。合成境界４０２（ａ）を示す破線は、合成境界４０２（ｂ）、（ｃ）を示す破線よりも幅の広い破線になっていることが分かる。
また、ＣＰＵ２１１は、Ｓ６０５で実施形態１と同様の処理を行うこととしてもよい。
また、ＣＰＵ２１１は、Ｓ６０５で実施形態１と同様の処理を行うこととしてもよい。
以上、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域と合成境界４０２とが重複し、且つ、設定された領域内の被写体の被写体距離が閾値以下の範囲に含まれる場合、予め定められた表示処理を実行することとした。このように、本実施形態では、情報処理システムは、位置ズレの影響がないと仮定できる場合は、予め定められた処理の対象となる領域に位置ズレが生じうる合成境界４０２が含まれることを提示する処理を実行しない。これにより、情報処理システムは、不要な処理に係るＣＰＵ２１１の使用率等を軽減できる。
本実施形態では、ＣＰＵ２１１は、予め定められた処理の対象として設定された領域と合成境界４０２とが重複し、且つ、設定された領域内の被写体の被写体距離が閾値以下の範囲に含まれる場合、予め定められた表示処理を実行することとした。しかし、ＣＰＵ２１１は、予め定められた処理の対象として設定された領域と合成境界４０２とが重複した場合、出力Ｉ／Ｆ２１５に接続されているモニタに、以下のような表示処理を行うこととしてもよい。即ち、ＣＰＵ２１１は、Ｓ９０１で説明した処理と同様の処理で、設定された領域内の被写体の被写体距離を特定し、設定された領域と重複する合成境界４０２の幅を、特定した被写体距離に応じた幅に変更する表示処理を行うこととしてもよい。例えば、ＣＰＵ２１１は、設定された領域と重複する合成境界４０２の幅を、特定した被写体距離が小さい程、大きな幅になるよう変更してもよい。これにより、ユーザは、その合成境界において生じる位置ズレの程度を視覚的に把握することができる。また、ＣＰＵ２１１は、設定された領域と合成境界４０２とが重複し、且つ、設定された領域内の被写体における被写体距離が閾値以下の範囲に含まれる場合に、同様の表示処理を行うこととしてもよい。
本実施形態では、ＣＰＵ２１１は、予め定められた処理の対象として設定された領域と合成境界４０２とが重複し、且つ、設定された領域内の被写体の被写体距離が閾値以下の範囲に含まれる場合、予め定められた表示処理を実行することとした。しかし、ＣＰＵ２１１は、予め定められた処理の対象として設定された領域と合成境界４０２とが重複した場合、出力Ｉ／Ｆ２１５に接続されているモニタに、以下のような表示処理を行うこととしてもよい。即ち、ＣＰＵ２１１は、Ｓ９０１で説明した処理と同様の処理で、設定された領域内の被写体の被写体距離を特定し、設定された領域と重複する合成境界４０２の幅を、特定した被写体距離に応じた幅に変更する表示処理を行うこととしてもよい。例えば、ＣＰＵ２１１は、設定された領域と重複する合成境界４０２の幅を、特定した被写体距離が小さい程、大きな幅になるよう変更してもよい。これにより、ユーザは、その合成境界において生じる位置ズレの程度を視覚的に把握することができる。また、ＣＰＵ２１１は、設定された領域と合成境界４０２とが重複し、且つ、設定された領域内の被写体における被写体距離が閾値以下の範囲に含まれる場合に、同様の表示処理を行うこととしてもよい。
＜実施形態３＞
実施形態１では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、重複部分における合成境界４０２を示す線分を破線から実線に変更することとした。しかし、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、エラーを示す情報を、出力Ｉ／Ｆ２１５に接続されたモニタに表示する表示処理を実行する。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、本実施形態の情報処理システムのシステム構成要素のハードウェア構成も、実施形態１と同様である。
実施形態１では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、重複部分における合成境界４０２を示す線分を破線から実線に変更することとした。しかし、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、エラーを示す情報を、出力Ｉ／Ｆ２１５に接続されたモニタに表示する表示処理を実行する。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、本実施形態の情報処理システムのシステム構成要素のハードウェア構成も、実施形態１と同様である。
図１０は、本実施形態の情報処理システムの処理の一例を示すフローチャートである。
図１０のＳ６０１、Ｓ６０２、Ｓ６０７の処理は、図６と同様である。
Ｓ６０３において、ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であるか否かを判定する。ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であると判定した場合、Ｓ６０４の処理に進み、選択領域が、人の形状を利用する処理の対象でないと判定した場合、図１０の処理を終了する。
図１０のＳ６０１、Ｓ６０２、Ｓ６０７の処理は、図６と同様である。
Ｓ６０３において、ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であるか否かを判定する。ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であると判定した場合、Ｓ６０４の処理に進み、選択領域が、人の形状を利用する処理の対象でないと判定した場合、図１０の処理を終了する。
Ｓ６０４において、ＣＰＵ２１１は、合成境界４０２それぞれと選択領域とが重複するか否かを判定する。ＣＰＵ２１１は、合成境界４０２の何れかと選択領域とが重複すると判定した場合、Ｓ１００１の処理に進み、選択領域が合成境界４０２の何れとも重複していないと判定した場合、図１０の処理を終了する。
Ｓ１００１において、ＣＰＵ２１１は、エラーを示す情報を出力Ｉ／Ｆ２１５に接続されたモニタに表示する表示処理を実行することで、ユーザへ、予め定められた処理の対象として設定された領域が合成境界４０２と重複することを提示する。エラーを示す情報とは、例えば、選択領域が不適切な位置に設定されていることを示す情報である。エラーを示す情報としては、例えば、文字列や画像等がある。ＣＰＵ２１１は、例えば、出力Ｉ／Ｆ２１５に接続されているモニタに、エラーを示す文字列を表示する。また、ＣＰＵ２１１は、出力Ｉ／Ｆ２１５に接続されているモニタに、選択領域が合成境界４０２と重複しているが、選択領域をこのまま設定してもよいか否かを確認するためのポップアップ画面を表示することとしてもよい。
Ｓ１００１において、ＣＰＵ２１１は、エラーを示す情報を出力Ｉ／Ｆ２１５に接続されたモニタに表示する表示処理を実行することで、ユーザへ、予め定められた処理の対象として設定された領域が合成境界４０２と重複することを提示する。エラーを示す情報とは、例えば、選択領域が不適切な位置に設定されていることを示す情報である。エラーを示す情報としては、例えば、文字列や画像等がある。ＣＰＵ２１１は、例えば、出力Ｉ／Ｆ２１５に接続されているモニタに、エラーを示す文字列を表示する。また、ＣＰＵ２１１は、出力Ｉ／Ｆ２１５に接続されているモニタに、選択領域が合成境界４０２と重複しているが、選択領域をこのまま設定してもよいか否かを確認するためのポップアップ画面を表示することとしてもよい。
以上、本実施形態の処理により、情報処理システムは、エラーを示す情報を表示することで、ユーザに対して、より詳細な情報を提示できる。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
例えば、上述した情報処理システムの機能構成の一部又は全てをハードウェアとして撮像装置１００、クライアント装置１０１に実装してもよい。
実施形態１～３では、撮像装置１００は、複数の撮像部２０５を含む単体の撮像装置であることとした。しかし、撮像装置１００は、複数の撮像装置と接続されたＰＣ、サーバ装置等の情報処理装置であることとしてもよい。その場合、撮像装置１００は、接続された外部の複数の撮像装置を、実施形態１～３における撮像部２０５として用いる。
実施形態１～３では、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたモニタに対して、予め定められた表示処理を実行することとした。しかし、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたタッチパネルの表示部等の他の表示装置に対して、予め定められた表示処理を実行することとしてもよい。また、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたスクリーン投影装置を介して、外部のスクリーンに対して、予め定められた表示処理を実行することとしてもよい。
実施形態１～３では、撮像装置１００は、複数の撮像部２０５を含む単体の撮像装置であることとした。しかし、撮像装置１００は、複数の撮像装置と接続されたＰＣ、サーバ装置等の情報処理装置であることとしてもよい。その場合、撮像装置１００は、接続された外部の複数の撮像装置を、実施形態１～３における撮像部２０５として用いる。
実施形態１～３では、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたモニタに対して、予め定められた表示処理を実行することとした。しかし、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたタッチパネルの表示部等の他の表示装置に対して、予め定められた表示処理を実行することとしてもよい。また、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたスクリーン投影装置を介して、外部のスクリーンに対して、予め定められた表示処理を実行することとしてもよい。
実施形態１～３では、クライアント装置１０１が、図６、９、１０の処理を行うこととした。しかし、撮像装置１００が、図６、９、１０の処理を行うこととしてもよい。その場合、撮像装置１００は、以下のような処理を行う。即ち、撮像装置１００は、合成画像４００を生成したら、クライアント装置１０１に送信する。クライアント装置１０１は、例えば、受信した合成画像４００を、出力Ｉ／Ｆ２１５に接続されたモニタに表示する。ユーザは、入力Ｉ／Ｆ２１４に接続されたマウス等を用いて、予め定められた処理の対象となる領域、他の処理の対象となる領域等の指定を行う。クライアント装置１０１は、指定された領域の位置の情報を、撮像装置１００に送信する。そして、撮像装置１００は、送信された位置の情報に基づいて、図６、９、１０におけるＳ６０２以降の処理を行う。そして、撮像装置１００は、Ｓ６０５で、合成境界４０２の表示態様を変更した場合、変更した表示態様の情報をクライアント装置１０１に送信し、出力Ｉ／Ｆ２１５に接続されたモニタにおける合成境界４０２の表示態様の変更を指示する。また、撮像装置１００は、Ｓ１００１で、エラー情報を、クライアント装置１０１に送信することで出力し、エラー情報を、出力Ｉ／Ｆ２１５に接続されたモニタに表示するよう指示する。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
１００ 撮像装置
１０１ クライアント装置
２１１ ＣＰＵ
１０１ クライアント装置
２１１ ＣＰＵ
Claims (11)
- 複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定する設定手段と、
前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、前記境界を示す線を表示する表示処理を実行し、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれない場合、表示部に対して、前記境界を示す線を表示する表示処理を実行しない表示制御手段と、
を有する情報処理装置。 - 前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれ、且つ、前記複数の撮像部に含まれる前記対象領域に含まれる被写体を撮影する撮像部と前記被写体との距離の値が予め定められた範囲に含まれる場合、前記表示部に対して、前記表示処理を実行する請求項１記載の情報処理装置。
- 前記予め定められた範囲は、予め定められた閾値以下となる範囲である請求項２記載の情報処理装置。
- 前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を示す線を予め定められた表示態様で表示する処理である前記表示処理を実行する請求項１乃至３何れか１項記載の情報処理装置。
- 前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を示す線を、予め定められた色で表示する表示態様である前記表示態様で、表示する処理である前記表示処理を実行する請求項４記載の情報処理装置。
- 前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を示す線を、前記複数の撮像部に含まれる前記対象領域に含まれる被写体を撮影する撮像部と前記被写体との距離に応じた幅で表示する表示態様である前記表示態様で、表示する処理である前記表示処理を実行する請求項４記載の情報処理装置。
- 前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を撮影する撮像部であって、それぞれの露出値が異なるように露出値が更新された撮像部を含む前記複数の撮像部を介して撮影された複数の画像が合成された合成画像を表示する表示処理を実行する請求項１乃至３何れか１項記載の情報処理装置。
- 前記設定手段は、前記合成画像に、予め定められたオブジェクトの形状を利用する処理である前記予め定められた処理の対象となる領域である前記対象領域を設定する請求項１乃至７何れか１項記載の情報処理装置。
- 複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定する設定手段と、
前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、前記境界を示す線を表示する表示処理を実行し、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれない場合、表示部に対して、前記境界を示す線を表示する表示処理を実行しない表示制御手段と、
を有するシステム。 - 情報処理装置が実行する情報処理方法であって、
複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定する設定ステップと、
前記設定ステップで設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、前記境界を示す線を表示する表示処理を実行し、前記設定ステップで設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれない場合、表示部に対して、前記境界を示す線を表示する表示処理を実行しない表示制御ステップと、
を含む情報処理方法。 - コンピュータを、請求項１乃至８何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017201855A JP7005269B2 (ja) | 2017-10-18 | 2017-10-18 | 情報処理装置、システム、情報処理方法及びプログラム |
| US16/160,033 US11069029B2 (en) | 2017-10-18 | 2018-10-15 | Information processing device, system, information processing method, and storage medium |
| EP18200680.9A EP3474226A1 (en) | 2017-10-18 | 2018-10-16 | Information processing device, system, information processing method, and storage medium |
| CN201811214445.4A CN109688348B (zh) | 2017-10-18 | 2018-10-18 | 信息处理装置、信息处理方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017201855A JP7005269B2 (ja) | 2017-10-18 | 2017-10-18 | 情報処理装置、システム、情報処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019075739A JP2019075739A (ja) | 2019-05-16 |
| JP7005269B2 true JP7005269B2 (ja) | 2022-01-21 |
Family
ID=63921513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017201855A Active JP7005269B2 (ja) | 2017-10-18 | 2017-10-18 | 情報処理装置、システム、情報処理方法及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11069029B2 (ja) |
| EP (1) | EP3474226A1 (ja) |
| JP (1) | JP7005269B2 (ja) |
| CN (1) | CN109688348B (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7661710B2 (ja) * | 2021-02-04 | 2025-04-15 | 株式会社リコー | 情報処理装置、情報処理方法、及びプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007041791A (ja) | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP2008033901A (ja) | 2006-07-06 | 2008-02-14 | Nissan Motor Co Ltd | 車両用画像表示システム |
| JP2009100095A (ja) | 2007-10-15 | 2009-05-07 | Alpine Electronics Inc | 画像処理装置及び画像処理方法 |
| JP2013030833A (ja) | 2011-07-26 | 2013-02-07 | Aisin Seiki Co Ltd | 車両周辺監視システム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003078817A (ja) * | 2001-08-30 | 2003-03-14 | Matsushita Electric Ind Co Ltd | 画像合成方法、及び画像合成装置 |
| JP2005192057A (ja) | 2003-12-26 | 2005-07-14 | D Link Corp | 空間画像の切出し表示方法及び装置 |
| JP4560716B2 (ja) * | 2004-09-28 | 2010-10-13 | アイシン精機株式会社 | 車両の周辺監視システム |
| JP4596978B2 (ja) | 2005-03-09 | 2010-12-15 | 三洋電機株式会社 | 運転支援システム |
| JP4934308B2 (ja) | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
| US20090128630A1 (en) | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
| KR101452713B1 (ko) * | 2009-10-30 | 2014-10-21 | 삼성전자주식회사 | 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치 |
| JP5696872B2 (ja) | 2010-03-26 | 2015-04-08 | アイシン精機株式会社 | 車両周辺監視装置 |
| CN101877775A (zh) | 2010-04-06 | 2010-11-03 | 中兴通讯股份有限公司 | 远程呈现系统及其摄像机组 |
| JP5251947B2 (ja) * | 2010-09-17 | 2013-07-31 | 日産自動車株式会社 | 車両用画像表示装置 |
| CN104794701A (zh) | 2014-01-21 | 2015-07-22 | 富士通株式会社 | 图像拼接装置、方法以及图像处理设备 |
| CN104156527B (zh) | 2014-08-12 | 2017-10-13 | 大连海事大学 | 一种用于航海模拟器仿真的雷达模拟数据合并方法 |
-
2017
- 2017-10-18 JP JP2017201855A patent/JP7005269B2/ja active Active
-
2018
- 2018-10-15 US US16/160,033 patent/US11069029B2/en active Active
- 2018-10-16 EP EP18200680.9A patent/EP3474226A1/en not_active Withdrawn
- 2018-10-18 CN CN201811214445.4A patent/CN109688348B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007041791A (ja) | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP2008033901A (ja) | 2006-07-06 | 2008-02-14 | Nissan Motor Co Ltd | 車両用画像表示システム |
| JP2009100095A (ja) | 2007-10-15 | 2009-05-07 | Alpine Electronics Inc | 画像処理装置及び画像処理方法 |
| JP2013030833A (ja) | 2011-07-26 | 2013-02-07 | Aisin Seiki Co Ltd | 車両周辺監視システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US11069029B2 (en) | 2021-07-20 |
| EP3474226A1 (en) | 2019-04-24 |
| JP2019075739A (ja) | 2019-05-16 |
| CN109688348A (zh) | 2019-04-26 |
| CN109688348B (zh) | 2021-11-16 |
| US20190114741A1 (en) | 2019-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106454065B (zh) | 信息处理装置及其控制方法 | |
| US10796543B2 (en) | Display control apparatus, display control method, camera system, control method for camera system, and storage medium | |
| US10404947B2 (en) | Information processing apparatus, information processing method, camera system, control method for camera system, and storage medium | |
| EP2428914B1 (en) | Display control apparatus and display control method | |
| US10951873B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US10070043B2 (en) | Image processing system, image processing method, and program | |
| CN103493125A (zh) | 用于交互控制多图像显示的视窗/级别参数的方法和系统 | |
| CN112514366A (zh) | 图像处理方法、图像处理装置和图像处理系统 | |
| JP6700845B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6602067B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
| JP2019054369A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
| KR20150064761A (ko) | 투명 디스플레이를 포함하는 전자 장치 및 제어 방법 | |
| JP7005269B2 (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
| JP2016081428A (ja) | 情報端末、情報処理装置、およびプログラム | |
| US20160373703A1 (en) | Projection system, projection apparatus, information processing method, and storage medium | |
| JP2022027804A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP6700706B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6975205B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
| EP2961170A1 (en) | Multiple rasterizing displays for multiple rois in an overlaid display | |
| US20150326831A1 (en) | Management apparatus, a managing method, a storage medium | |
| US12464228B2 (en) | Information processing apparatus, control apparatus, and control method | |
| JP6089549B2 (ja) | 情報処理装置、情報処理システム、およびプログラム | |
| JP6670918B2 (ja) | 生成装置、生成方法及び生成プログラム | |
| JP7140583B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| WO2024018975A1 (ja) | 情報処理方法、情報処理装置、及び情報処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220105 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7005269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |