JP7718179B2 - 撮像システムおよびその制御方法 - Google Patents

Description

本発明は、透明物体を画像化するための技術に関する。

透過軸方向の異なる偏光子が規則的に配置された撮像素子を有する偏光カメラを用いて、透明物体を画像化する技術が知られている（特許文献１参照）。このような技術は、例えば、ガラスや透明樹脂からなる物品の検出や検査などへの応用が期待されている。

特開２０２０－１７６８８号公報

透明物体に光を当てると、一部の光が透明物体の表面で鏡面反射する。鏡面反射した光は偏光特性を持つため、偏光カメラで観測することができ、その観測結果をもとに透明物体の表面（反射面）を画像化することができる。

しかしながら、偏光カメラには、鏡面反射光だけでなく、被写体や背景などで拡散反射した光も入射し、それがノイズ要因となる場合がある。また、被写体の形状や反射特性に依存して、偏光の現れ方もさまざまである。そのため、偏光カメラを利用した検出や検査を安定して行うには、対象となる被写体ないし状況に応じて、画像処理のパラメータや撮像条件・照明条件などを調整する（追い込む）作業が必要となるケースが多い。しかし、偏光カメラにより得られた結果をユーザが目で見たとしても、偏光の情報が正しく抽出されているのか否かを判断したり、偏光とノイズを区別（分離）したりすることは容易ではない。したがって、画像処理のパラメータや撮像条件・照明条件の調整には、高度なスキル・知識と試行錯誤が必要であった。

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、偏光カメラにより得られた情報の目視による確認や判読を支援するための新規な技術を提供することにある。

本発明は、透明物体を画像化するための撮像システムであって、透明物体を照明するための照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備え、前記処理装置は、前記照明装置により前記透明物体を照明した状態で前記偏光カメラによって撮影された元画像を取得する画像取得手段と、前記元画像の各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段と、前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段と、前記偏光情報画像を画面に表示する表示手段と、を有し、前記偏光情報は、偏光方向の情報を含み、前記偏光情報画像は、前記偏光情報の一つである偏光方向を疑似色で表す偏光方向画像を含み、前記表示手段は、前記画面上に、前記偏光方向画像とともに、疑似色と偏光方向の対応関係を示す補助画像を表示することを特徴とする撮像システムを提供する。

この構成によれば、偏光情報の一つである偏光方向が疑似色で表示されるので、ユーザは、透明物体の表面（反射面）の向きの違いを色の違いとして視認することができる。し
かも、疑似色と偏光方向の対応関係を示す補助画像もあわせて表示されるため、画像の色から偏光方向（すなわち反射面の方位）を定量的に把握可能となる。よって、このような表示画面を提供することにより、偏光情報からの透明物体の形状や構造の理解を支援することができる。また、色の分布や不連続などを手掛かりにして、画像に含まれるノイズやアーチファクトを発見することが可能となるため、偏光情報が正しく抽出されているかの確認や、偏光情報画像の品質評価も容易になると期待できる。

前記処理装置は、前記元画像と前記偏光情報画像を含む複数の画像のなかから表示対象とする画像をユーザに指定させるためのユーザインターフェイスを提供する入力手段をさらに有し、前記表示手段は、前記ユーザインターフェイスにて指定された画像を前記画面上に表示するように構成されてもよい。この構成によれば、ユーザ自ら画面に表示する画像（例えば、確認したい画像）を指定することができる。また、偏光情報画像だけでなく、元画像も表示できるため、例えば、元画像と偏光情報画像を見比べるなどして、偏光情報が正しく抽出されているか確認するといった利用方法が可能となる。

前記偏光情報は、複数項目の偏光情報を含み、前記偏光情報画像は、前記複数項目の偏光情報のそれぞれに対応する複数種類の偏光情報画像を含んでもよい。これにより、例えば、元画像と偏光情報画像を見比べる他、異なる種類の偏光情報画像を見比べるなどして、偏光情報が正しく抽出されているか確認するといった利用方法が可能となる。前記複数項目の偏光情報は、例えば、偏光方向と偏光強度と明度を含んでもよい。この場合に、前記偏光方向画像は、偏光方向に応じて画素の色相を変化させ、かつ、偏光強度に応じて前記画素の彩度もしくは明度を変化させた画像であってもよい。

前記ユーザインターフェイスは、前記複数の画像のなかから表示対象とする画像をユーザに択一的に選択させるものであり、前記表示手段は、ユーザの選択に応じて、前記画面上に表示する画像を切り替えてもよい。このとき、切り替え前の画像と切り替え後の画像とが位置合わせされた状態で表示されるとよい。これにより、被写体の元画像や偏光情報画像を交互に切り替えるなどして、画像の同じ位置同士を容易に見比べることができる。

前記ユーザインターフェイスは、前記複数の画像のなかから表示対象とする２以上の画像をユーザに選択させるものであり、前記表示手段は、ユーザに選択された前記２以上の画像を比較可能な態様で前記画面上に表示してもよい。「比較可能な態様」は、例えば、２以上の画像を画面上に並べて表示する態様、２以上の画像を重ね合わせて表示する態様、２以上の画像をスライドショーのように自動的に切り替え表示する態様などである。このような表示により、画像同士を容易に見比べることができる。

前記偏光抽出処理は、前記元画像の各画素の偏光情報を算出した後に、その算出結果に含まれるノイズを除去ないし低減するノイズ除去処理を含んでもよい。ノイズ除去処理を行うことにより、高品位な偏光情報を抽出することができる。

前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、非類似と判断した場合に、前記対象画素の偏光情報を削除する処理を含んでもよい。このような処理により、信頼性の低い偏光情報を除去することができる。

前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、類似と判断した場合に、前記対象画素の偏光情報を、前記対象画素と前記周辺画素のなかから選択した画素の偏光情報で置き換える処理を含んでもよい。このような処理により、偏光情報がスムージングされるため、偏光情報のＳＮ比をさらに向上することができる。

本発明は、照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備える撮像システムの制御方法であって、前記照明装置により透明物体を照明するステップと、前記偏光カメラにより撮影を行うステップと、前記偏光カメラによって撮影された元画像を前記処理装置に取り込むステップと、前記処理装置によって、前記元画像の各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行し、前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成するステップと、前記偏光情報画像を画面に表示するステップと、を含み、前記偏光情報は、偏光方向の情報を含み、前記偏光情報画像は、前記偏光情報の一つである偏光方向を疑似色で表す偏光方向画像を含み、前記画面上に、前記偏光方向画像とともに、疑似色と偏光方向の対応関係を示す補助画像が表示されることを特徴とする制御方法を提供してもよい。

本発明は、上記制御方法の各ステップをプロセッサに実行させるためのプログラムを提供してもよい。

本発明は、上記手段の少なくとも一部を有する撮像システムとして捉えてもよいし、処理装置、制御装置、あるいは画像処理装置として捉えてもよい。また、本発明は、撮像システムで得られた偏光情報画像を用いて透明物体を検出ないし検査する装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む撮像システムの制御方法、画像処理方法、検出方法、あるいは検査方法として捉えてもよいし、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、偏光カメラにより得られた情報の目視による確認や判読を支援することができる。

図１は、本発明の実施形態に係る撮像システムの全体構成を模式的に示す図である。 図２は、偏光カメラの構造を模式的に示す図である。 図３Ａは、照明装置の構造を模式的に示す図であり、図３Ｂおよび図３Ｃは照明装置の他の構成例を示す図である。 図４は、処理装置の論理構成（機能構成）を示すブロック図である。 図５Ａおよび図５Ｂは、鏡面反射を説明する図である。 図６は、偏光カメラの画像から偏光成分を抽出する方法を説明する図である。 図７は、撮像システムの動作の一例を示すフローチャートである。 図８は、画像処理パラメータ入力用のユーザインターフェイスの一例である。 図９は、偏光情報算出処理のフローチャートである。 図１０Ａ～図１０Ｄは、近傍画素の例を示す図である。 図１１Ａは、曲面部分での鏡面反射の例を示す図であり、図１１Ｂは、偏光が入射する範囲が狭小である場合のマスクサイズの選択例を示す図である。 図１２は、大きいマスクサイズが適している例を示す図である。 図１３は、ノイズ除去処理のフローチャートである。 図１４は、比較範囲の例を示す図である。 図１５は、撮像システムの応用例を示す図である。 図１６は、図８のＵＩ画面における偏光方向画像の表示例を示す図である。 図１７は、偏光情報の表示例を示す図である。 図１８Ａは、偏光方向画像に含まれるノイズやアーチファクトの例を示す図であり、図１８Ｂは、補助画像の他の例を示す図であり、図１８Ｃは、補助画像の他の例を示す図である。 図１９は、表示対象画像の指定および画像の確認を行うためのＵＩ画面の他の例を示す図である。

（システム構成）
図１は、本発明の実施形態に係る撮像システムの全体構成を模式的に示している。この撮像システム１は、偏光カメラ１０を利用して透明物体を画像化するためのシステムであり、例えば、工場の製造ラインにおいて透明物体の検出や検査を行うために利用される。

撮像システム１は、主な構成として、偏光カメラ１０、照明装置１１、処理装置１２、ステージ１３を有して構成される。偏光カメラ１０は、偏光子が配列された撮像素子を有する撮像手段である。照明装置１１は、ステージ１３に配置された被写体（透明物体）Ｗに照明光Ｌを照射するための光源である。処理装置１２は、撮像システム１全体の制御、および、偏光カメラ１０で撮影された画像を用いた情報処理を実行する装置である。ステージ１３は、被写体Ｗを載置ないし保持するための装置である。

偏光カメラ１０は、ステージ１３に配置された被写体Ｗを天頂方向から撮影するように配置されている。ステージ１３と平行にＸ，Ｙ軸をとり、ステージ１３に垂直にＺ軸をとったＸＹＺ座標系を考えた場合、偏光カメラ１０の光軸はＺ軸に平行となる。本システムでは、被写体Ｗで鏡面反射した光を偏光カメラ１０で捉えることが目的のため、被写体表面に対する照明光Ｌの入射角ができるだけブリュースター角に近い方が望ましい。そこで本実施形態では、照明装置１１をステージ１３とほぼ同じ高さに（実際上は、照明光Ｌがステージ１３で遮られないよう、照明装置１１の下端がステージ１３の上端とほぼ同じ高さになる程度に）配置し、照明光Ｌがほぼ真横（Ｚ軸に対し垂直な方向）から被写体Ｗに入射するようにしている。このような照明配置をローアングル照明とも称する。本実施形態のような天頂カメラとローアングル照明の組み合わせでは、被写体表面への入射角が約４５度となる照明光Ｌの鏡面反射Ｒが偏光カメラ１０で捉えられることとなる。なお、入射角をよりブリュースター角に近づけるために、被写体Ｗよりも低い位置から照明光Ｌを当てるような照明配置を採用したり、偏光カメラ１０の光軸を照明装置１１とは反対側に倒したりしてもよい。

（偏光カメラ）
図２を参照して、偏光カメラ１０の構成の一例を説明する。図２は、偏光カメラ１０の構造を模式的に示す図である。

偏光カメラ１０は、撮像素子２０に偏光子アレイ２１を組み合わせた構造を有する。撮像素子２０は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの光電変換素子（画素とも称する）が２次元的に配列されたデバイスであり、イメージセンサとも呼ばれる。偏光子アレイ２１は、多数の偏光子が２次元的に配列されたデバイスであり、１つの偏光子２１０が撮像素子２０の１つの画素（受光素子）２００に対応するように位置およびサイズが設計されている。偏光子２１０は、特定の方向の直線偏光のみを通過させる性質をもつ光学素子である（偏光子２１０が透過する直線偏光の振動方向を、その偏光子２１０の透過軸方向と呼ぶ。）。本実施形態の偏光子アレイ２１は、図２に示すように、４種類の透過軸方向（０度、４５度、
９０度、１３５度）の偏光子２１０が規則的に配列された構造を有する。具体的には、撮像素子２０の２×２の４画素に、それぞれ異なる透過軸方向（０度、４５度、９０度、１３５度）の直線偏光成分が入射するような配列パターンがとられている。

撮像素子２０および偏光子アレイ２１の解像度（画素ピッチ）およびサイズ（画素数）は、被写体や画像の用途に応じて適宜設計すればよい。偏光子アレイ２１の実現方法としては、ワイヤーグリッド、フォトニック結晶などがあるが、いずれの方法を用いてもよい。また、図２では、４種類の透過軸方向の偏光子を２×２の４画素に組み合わせたが、偏光子の透過軸方向のバリエーションや配列は他の構成でもよい。

（照明装置）
図３Ａを参照して、照明装置１１の構成の一例を説明する。図３Ａは、本実施形態の照明装置１１の構造を模式的に示す図であり、偏光カメラ１０側からステージ１３を視たときの様子を示している。

照明装置１１は、ステージ１３を囲むように配置された、４本の棒状照明３０から構成される。４本の棒状照明３０を同時に点灯すると、ステージ１３上の被写体Ｗを四方（Ｘ正方向、Ｘ負方向、Ｙ正方向、Ｙ負方向）から照明することができる。また、いずれかの棒状照明３０のみを選択的に点灯させれば、照明方向を切り換えることができる。棒状照明３０は、例えば、基板上に配置した複数のＬＥＤ光源とそれらを覆うように配置した拡散板により構成される。

なお、照明装置１１の構造は図３Ａに示すものに限られない。例えば、図３Ｂのような円環状の照明装置１１を用いてもよい。この構造でも被写体Ｗを全方位から同時に照明することができる。また、ＬＥＤ光源を選択的に点灯させることで照明方向を任意に切り換えることも可能である。また、全方位照明ではなく、図３Ｃに示すように特定の方向だけから被写体Ｗを照明する構成でもよい。例えば、被写体Ｗの存在範囲が限られていたり、検出したい被写体表面の角度が既知もしくは限られている場合には、必要な方向から照明すれば足りる。あるいは、図３Ｃのような照明装置１１を用いた場合でも、照明装置１１と被写体Ｗの相対位置を変える（例えば、被写体Ｗをステージ上で回転させるなど）ことによって全方位的な撮影を行ってもよい。

（処理装置）
図４を参照して、処理装置１２の構成の一例を説明する。図４は、本実施形態の処理装置１２の論理構成（機能構成）を示すブロック図である。

処理装置１２は、主な構成として、カメラ制御部４０、照明制御部４１、画像処理部４２を有する。カメラ制御部４０は、偏光カメラ１０の制御を担う。例えば、カメラ制御部４０は、偏光カメラ１０の撮像条件（露光時間、ゲインなど）の制御、偏光カメラ１０からの画像データの取り込み、偏光カメラ１０のキャリブレーションなどを実行する。照明制御部４１は、照明装置１１の制御を担う。例えば、照明制御部４１は、照明条件（発光強度、発光時間など）の制御、光源ごとの点灯／消灯の制御などを実行する。画像処理部４２は、偏光カメラ１０から取り込まれた画像に対する処理を実行する。

本実施形態の画像処理部４２は、画像取得部４２０、偏光抽出部４２１、偏光情報画像生成部４２２、表示部４２３、パラメータ受付部４２４などの機能を有する。画像取得部４２０は、偏光カメラ１０によって撮影された画像（以下「元画像」とも称する）をカメラ制御部４０を介して取得する。偏光抽出部４２１は、元画像から偏光情報を抽出する偏光抽出処理を行う。偏光情報は、透明物体での鏡面反射に由来する偏光に関する情報である。偏光情報画像生成部４２２は、偏光抽出処理の抽出結果に基づいて偏光情報を表す画
像（以下「偏光情報画像」とも称する）を生成する。表示部４２３は、生成された偏光情報画像をディスプレイ装置に表示する処理を行う。パラメータ受付部４２４は、撮像システム１の動作を決定する各種の条件設定（パラメータ）の変更を受け付ける機能である。画像処理部４２の各処理の詳細は後述する。

処理装置１２は、例えば、ＣＰＵ・ＧＰＵなどのプロセッサ、主記憶としてのメモリ、補助記憶としてのストレージ、ディスプレイ装置、マウスやタッチパネルなどの入力装置、ネットワークＩ／Ｆ等を備えたコンピュータにより構成してもよい。コンピュータとしては、パーソナルコンピュータ、タブレット端末、スマートフォン、フィールドコンピュータなどの汎用コンピュータを利用してもよいし、組み込み型コンピュータや専用装置でもよいし、偏光カメラ１０やＰＬＣ（Programmable logic Controller）といった他の装
置のコンピュータ資源を利用するものであってもよい。図４に示す構成は、ストレージなどに格納されたプログラムをメモリにロードしプロセッサによって実行することにより、実現される。ただし、図４に示す構成の一部もしくは全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの専用デバイスで構成してもよい。また、クラウドコンピューティングや分散コンピューティングを利用して、図４に示す構成の一部や処理の一部を他の装置で実行してもよい。

（偏光カメラによる透明物体検出）
偏光カメラによる透明物体検出の基本原理について説明する。

図５Ａに示すように、ガラスや透明樹脂などの透明物体Ｗに光５０が斜めに入射したとき、入射光５０の大部分は屈折光５１となり透明物体Ｗを透過するが、入射光５０の一部は透明物体Ｗの表面（界面）において鏡面反射し、反射光５２となる。この鏡面反射において、入射光５０に含まれるｐ波（電界の振動方向が入射面に平行な偏光成分）とｓ波（電界の振動方向が入射面に垂直な（つまり反射面に平行な）偏光成分）との間に反射率の差が生じる。図５Ｂは、横軸に入射角、縦軸に反射率をとり、ｓ波とｐ波の反射率の差の一例を示したものである。この例に示すように、ｓ波の反射率は入射角αに応じて単調増加するが、ｐ波の反射率は入射角αが０度から増すに従い徐々に減少し、ある角度（ブリュースター角と呼ばれる）で反射率が０となる。したがって、鏡面反射の場合に観測される反射光５２は、ｓ波、すなわち、反射面である透明物体Ｗの表面に平行な方向に振動する偏光成分が支配的となる。このような性質を利用し、偏光カメラによって偏光をとらえることで、透明物体Ｗの表面（反射面）を画像化することができる。

ところで、偏光カメラには、鏡面反射による偏光だけでなく、被写体や背景などで拡散反射した光も入射する。透明物体の画像化においては、拡散反射光成分は不要でありアーチファクトの原因ともなることから、まずは偏光カメラの画像から偏光成分のみを抽出する必要がある。そのために、本実施形態では、偏光子による透過特性の違いを利用する。

図６を参照して、偏光カメラの画像から偏光成分を抽出する方法を説明する。受光素子で受光される偏光成分の強度は、偏光方向θと偏光子の透過軸方向とが一致した場合に最大となり、透過軸方向が偏光方向θからずれるに従い減少し、透過軸方向と偏光方向θが直交する場合に最小となる。つまり、偏光子の透過軸方向を０度～１８０度まで変化させていくと、受光素子で受光される偏光成分の強度は正弦波のように変化する。一方、入射光に含まれる拡散反射光成分の強度は、偏光子の透過軸方向に依らず、一定である。したがって、透過軸方向の異なる複数種類の偏光子を通して観測したときの光強度の変化（透過軸方向依存性）に基づいて、入射光に含まれる偏光成分の情報だけを抽出することができる。

例えば、図６に示すように、透過軸方向が０度、４５度、９０度、１３５度の４種類の
偏光子２１０を通して、偏光方向θの偏光成分を含む入射光を観測するケースを想定する。このとき、各偏光子２１０に対応する画素２００の値（透過光の光強度に相当）には、透過軸方向に依存した差が生じている。この４点の画素値に対し、正弦波をフィッティングすることで、偏光成分の偏光方向θおよび偏光強度を推定できる。図６において、フィッティングカーブが最大となる角度が偏光成分の偏光方向θを表し、フィッティングカーブの振幅が偏光強度（偏光度とも呼ぶ）を表している。偏光カメラ１０で得られた画像の各画素について、このような偏光抽出処理を適用することにより、偏光カメラ１０の視野内に存在する透明物体Ｗで鏡面反射した偏光の情報（偏光方向、偏光強度など）をとらえることができる。

本実施形態の偏光抽出部４２１による偏光抽出処理も、透過軸方向の異なる複数種類の偏光子を通して観測したときの光強度の変化（透過軸方向依存性）に基づいて偏光情報を抽出する、という基本的な原理は同じである。ただし、精度やユーザビリティのさらなる向上を図るため、マスクサイズ（偏光を算出するときに参照する近傍画素の範囲を規定するパラメータ）の選択、ノイズ除去などのユニークな処理を加えている。詳しくは後述する。

（撮像システムの動作例）
図７のフローチャートに沿って、撮像システム１の動作の一例を説明する。

ステップＳ７０にて、被写体Ｗとなる透明物体がステージ１３上に配置される。ロボットや搬送装置を利用して被写体Ｗを搬送・位置決めしてもよいし、作業者がステージ１３上に被写体Ｗをセットしてもよい。

ステップＳ７１にて、処理装置１２のパラメータ受付部４２４が提供するユーザインターフェイスを利用して、ユーザが、偏光カメラ１０の撮像条件や照明装置１１の照明条件を入力する。なお、撮像条件や照明条件を変更する必要がなければ、ステップＳ７１の処理はスキップしてもよい。

ステップＳ７２にて、被写体Ｗの撮影が行われる。具体的には、処理装置１２の照明制御部４１が与えられた照明条件に従って照明装置１１を点灯させ、被写体Ｗに照明光を照射する。そして、被写体Ｗを照明した状態で、カメラ制御部４０が与えられた撮像条件に従って偏光カメラ１０を制御し、撮影を行う。

ステップＳ７３にて、処理装置１２の画像取得部４２０が、ステップＳ７２で撮影された画像（元画像）を偏光カメラ１０から取り込む。取り込まれた元画像データは、メモリ又はストレージに格納され、画像処理部４２による処理に供される。

ステップＳ７４にて、パラメータ受付部４２４が提供するユーザインターフェイスを利用して、ユーザが、画像処理部４２で用いられる画像処理パラメータを入力する。なお、画像処理パラメータを変更する必要がなければ、ステップＳ７４の処理はスキップしてもよい。

図８は、パラメータ受付部４２４が提供する画像処理パラメータ入力用のユーザインターフェイス（ＵＩ）の一例である。このＵＩ画面は、マスクサイズ設定８０、ノイズ除去設定８１、表示画像設定８２、全体画像表示エリア８３、拡大画像表示エリア８４、拡大設定８５から構成されている。マスクサイズ設定８０は、元画像から偏光情報を算出するときに参照する近傍画素の範囲を規定する「マスクサイズ」を設定するためのＵＩである。図８の例では、２×２、３×３、４×４、５×５のなかからマスクサイズを選択させるようになっているが、ユーザに任意のサイズを入力させるようにしてもよい。ノイズ除去
設定８１は、偏光情報の算出結果に含まれるノイズを除去ないし低減する「ノイズ除去処理」に関する条件を設定するためのＵＩである。図８の例では、ノイズ除去処理を適用するか否かを選択可能であり、「あり」の場合には、さらに、ノイズ除去処理で用いるパラメータ（比較範囲、偏光角度差閾値、偏光強度差閾値）を入力可能である。

表示画像設定８２は、全体画像表示エリア８３および拡大画像表示エリア８４に表示する表示対象画像の種類をユーザに指定させるためのＵＩである。図８の例では、元画像、偏光強度画像、偏光方向画像、明度画像の４種類の画像のなかから選択可能となっている。全体画像表示エリア８３は、全体画像（低解像度）が表示されるエリアであり、拡大画像表示エリア８４は、画像の一部分（枠８６で示される部分）が高解像度で表示されるエリアである。また、拡大設定８５は、拡大画像表示エリア８４に表示する拡大画像の倍率や範囲を設定するためのＵＩである。

ステップＳ７５にて、偏光抽出部４２１が、ステップＳ７３で取り込まれた元画像から偏光情報を算出する。偏光情報算出処理の詳細は後述する。

ステップＳ７６にて、偏光抽出部４２１が、ステップＳ７５の算出結果に対してノイズ除去処理を適用する。なお、図８のＵＩにおいてノイズ除去「なし」に設定されている場合は、ステップＳ７６の処理はスキップされる。ノイズ除去処理の詳細は後述する。

ステップＳ７７にて、偏光情報画像生成部４２２が、偏光抽出部４２１の演算結果に基づいて、偏光情報画像を生成する。本実施形態では、偏光情報画像として、偏光強度画像、偏光方向画像、明度画像の３種類の画像が生成される。偏光強度画像は、偏光強度（偏光の程度）を濃淡で表す画像であり、偏光方向画像は、偏光方向を疑似色で表す画像である。また、明度画像は、偏光成分の光強度を濃淡で表す画像である。

ステップＳ７８では、表示部４２３が、図８のＵＩの表示画像設定８２で選択されている画像を全体画像表示エリア８３および拡大画像表示エリア８４に表示する。

ここで、ユーザが、図８のＵＩ上で表示画像設定８２を変更すると、それに応じて全体画像表示エリア８３および拡大画像表示エリア８４に表示される画像が切り替わる。このＵＩを利用することにより、元画像の様子と、偏光情報（偏光強度、偏光方向、明度）とを見比べることができるので、例えば、偏光情報の算出やノイズの除去が適切に行われているか確認したり、透明物体の形状や状態を確認したりする作業が容易になる。なお、図８のＵＩ上でマスクサイズ設定８０やノイズ除去設定８１が変更された場合に、ステップＳ７５～Ｓ７８の処理が再度実行されてもよい。このようなＵＩを利用することにより、演算結果（偏光情報画像）を確認しながら、画像処理パラメータ（マスクサイズ、ノイズ除去の有無、比較範囲、閾値など）の追い込みを行うことができる。

（偏光情報算出処理）
図９および図１０Ａ～図１０Ｄを参照して、偏光抽出部４２１の偏光情報算出処理（図７のステップＳ７５）の実装例を説明する。図９は偏光情報算出処理のフローチャートであり、図１０Ａ～図１０Ｄは近傍画素の例を示す図である。ここでは、元画像のサイズ（画素数）をＭ行×Ｎ列とし、ｉ行ｊ列の画素を（ｉ，ｊ）、その画素の画素値（光強度）をＩ（ｉ，ｊ）と表記する（ｉ＝１，２，・・・，Ｍ、ｊ＝１，２，・・・，Ｎ）。図１０Ａ～図１０Ｄは元画像の一部を拡大して示したものであり、一つ一つの矩形が画素を表し、画素内の矢印は透過軸方向を表し、欄外に記載した記号は画素の行番号と列番号を表している。

ステップＳ１０にて、偏光抽出部４２１は、元画像から演算対象とする注目画素を選択
する。ステップＳ１０では、（１，１）から（Ｍ，Ｎ）まで注目画素が順に選択されるものとする。

ステップＳ１１にて、偏光抽出部４２１は、注目画素の偏光情報を算出する際に参照する近傍画素を選択する。ここで選択する近傍画素の範囲は、図８のマスクサイズ設定８０で指定されたマスクサイズで決まる。まずは、デフォルトのマスクサイズである２×２の場合を例に挙げて説明する。マスクサイズが２×２の場合、図１０Ａに示すように、注目画素（ｉ，ｊ）に隣接する３つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ，ｊ－１）が近傍画素として選択される。なお、注目画素が元画像の境界にあり、近傍画素が存在しない場合には、ステップＳ１１～Ｓ１２の処理をスキップしてもよいし、適当な値でパディングしてもよい。

ステップＳ１２にて、偏光抽出部４２１は、注目画素と近傍画素の光強度（画素値）を基に、注目画素の偏光情報を算出する。透過軸方向が０度、４５度、９０度、１３５度の光強度をそれぞれＩ１、Ｉ２、Ｉ３、Ｉ４とおいた場合、例えば、注目画素の明度Ｉ０、偏光方向θ、偏光強度Ｄは下記式により求まる。

図１０Ａの例では、４つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ，ｊ－１）、（ｉ，ｊ）に対応する透過軸方向は、それぞれ、９０度、１３５度、４５度、０度であるから、式（１）～（３）におけるＩ１～Ｉ４は下記式で与えられる。
Ｉ１＝Ｉ（ｉ，ｊ）
Ｉ２＝Ｉ（ｉ，ｊ－１）
Ｉ３＝Ｉ（ｉ－１，ｊ－１）
Ｉ４＝Ｉ（ｉ－１，ｊ）

式（１）の明度Ｉ０は、注目画素に入射する入射光の強度を表す指標である。式（２）の偏光方向θは、注目画素に入射する入射光に含まれる偏光成分の主軸方位を表す。式（３）の偏光強度Ｄは、注目画素に入射する入射光に含まれる偏光成分の偏光の程度を表す指標である。

なお、上記式（１）～（３）は一例であり、他の計算式によって明度、偏光方向、偏光強度に相当する指標を計算しても構わない。例えば、式（１）～（３）における係数を他のものに置き換えたり、式（３）を下記の式（４）に置き換えてもよい。

ステップＳ１３にて、偏光抽出部４２１は、元画像のすべての画素に対して偏光情報の算出処理が完了したか（すなわち、ｉ＝Ｍかつｊ＝Ｎであるか）確認し、未処理の画素が
ある場合にはステップＳ１０に戻って次の注目画素に対する処理を実行する。

以上述べた処理により、元画像のすべての画素について、３項目の偏光情報（偏光方向θ、偏光強度Ｄ、明度Ｉ０）が算出される。偏光情報算出処理の演算結果は、例えば、各画素の座標（ｉ，ｊ）と偏光方向θ（ｉ，ｊ）・偏光強度Ｄ（ｉ，ｊ）・明度Ｉ０（ｉ，ｊ）とを対応付けたデータ形式でメモリ又はストレージに保存され、後段の処理に供される。

次に、図１０Ｂ～図１０Ｄを参照して、マスクサイズが２×２より大きい場合の処理例を説明する。

図１０Ｂに示すように、マスクサイズが３×３の場合は、ステップＳ１１において、注目画素（ｉ，ｊ）に隣接する８つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ－１，ｊ＋１）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ－１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）が近傍画素として選択される。図１０Ｂの例では、注目画素と近傍画素を合わせた９つの画素群のなかに、透過軸方向が０度の画素が１つ、４５度の画素と１３５度の画素が２つずつ、９０度の画素が４つ含まれる。このように透過軸方向が同じ画素が複数存在する場合には、ステップＳ１２の演算において、透過軸方向ごとの画素の代表値を式（１）～（３）のＩ１～Ｉ４に代入すればよい。

例えば、代表値として平均値を用いる場合であれば、Ｉ１～Ｉ４は下記式で与えられる。
Ｉ１＝Ｉ（ｉ，ｊ）
Ｉ２＝｛Ｉ（ｉ，ｊ－１）＋Ｉ（ｉ，ｊ＋１）｝／２
Ｉ３＝｛Ｉ（ｉ－１，ｊ－１）＋Ｉ（ｉ－１，ｊ＋１）＋Ｉ（ｉ＋１，ｊ－１）＋Ｉ（ｉ＋１，ｊ＋１）｝／４
Ｉ４＝｛Ｉ（ｉ，ｊ－１）＋Ｉ（ｉ，ｊ＋１）｝／２

代表値としては、平均値の他、最頻値、中間値、最大値、最小値などを用いてもよい。また、代表値を用いずに、９つの画素の値に対し正弦波のフィッティングを行うことで、Ｉ１～Ｉ４を推定するか、又は、明度Ｉ０、偏光方向θ、偏光強度Ｄを直接計算してもよい。

図１０Ｃは、マスクサイズが４×４の例である。マスクサイズ３×３のときの８つの近傍画素にさらに７つの画素（ｉ－２，ｊ－２）、（ｉ－２，ｊ－１）、（ｉ－２，ｊ）、（ｉ－２，ｊ＋１）、（ｉ－１，ｊ－２）、（ｉ，ｊ－２）、（ｉ＋１，ｊ－２）を加えた範囲が選択される。図１０Ｃの例では、選択範囲のなかに０度、４５度、９０度、１３５度の画素が４つずつ含まれる。この場合も、３×３の場合と同じく、透過軸方向ごとの代表値をＩ１～Ｉ４に代入するか、１６個の画素の値に対し正弦波のフィッティングを行えばよい。

図１０Ｄは、マスクサイズが５×５の例である。マスクサイズ４×４のときの１５個の近傍画素にさらに９つの画素（ｉ－２，ｊ＋２）、（ｉ－１，ｊ＋２）、（ｉ，ｊ＋２）、（ｉ＋１，ｊ＋２）、（ｉ＋２，ｊ－２）、（ｉ＋２，ｊ－１）、（ｉ＋２，ｊ）、（ｉ＋２，ｊ＋１）、（ｉ＋２，ｊ＋２）を加えた範囲が選択される。図１０Ｄの例では、選択範囲のなかに０度の画素が９つ、４５度の画素と１３５度の画素が６つずつ、９０度の画素が４つ含まれる。この場合も、３×３の場合と同じく、透過軸方向ごとの代表値をＩ１～Ｉ４に代入するか、２５個の画素の値に対し正弦波のフィッティングを行えばよい。

本実施形態では、マスクサイズ、すなわち、偏光情報の算出時に参照する画素範囲を任意に変更できるようになっている。ユーザは、被写体の形状や状態、あるいは、本システムの用途などに応じて、適切なマスクサイズを選択すればよい。

例えば、図１１Ａに示すように、被写体Ｗの曲面部分での鏡面反射を偏光カメラ１０でとらえるようなケースでは、反射面が極めて狭小なため、（偏光カメラ１０の解像度にもよるが）偏光が入射する範囲が数画素幅の狭小領域になることがある。このようなケースにおいては、マスクサイズが大きすぎると、図１１Ｂに示すように、偏光が入射していない画素まで参照してしまい、偏光情報の検出性が低下する可能性がある。したがって、偏光が入射する範囲よりも小さいマスクサイズを選択することが好ましい。これにより、狭小領域における偏光情報を適切に抽出することができる。

一方で、図１２に示すように、平坦な面の反射の特性（鏡面反射、散乱の強さ）により、面上の汚れ・異物などの検査を行うケースでは、画像上の比較的広い範囲において、類似した偏光特性が現れることが想定される。このようなケースにおいては、マスクサイズが小さすぎると、局所的な反射率の違いなどに敏感に影響を受け、検査が安定しない可能性がある。したがって、ある程度大きめのマスクサイズを設定することにより、局所的な反射率の違いなどによるかく乱要因を平均化することが好ましい。これにより、検査の安定性を向上することができる。

なお、本実施形態では、マスクサイズの例として２×２、３×３、４×４、５×５の４つを示したが、マスクサイズはこれらに限られない。例えば、５×５より大きいマスクを用いてもよいし、正方形でない形状のマスクを用いてもよい。また、ユーザがマスクのサイズや形状を任意に設計できるようにしてもよい。

（ノイズ除去処理）
上述した偏光情報算出処理は、局所的な画素値の差を、偏光子の透過軸方向の違いによる透過量の差であるととらえ、偏光を検出する、という原理を利用している。そのため、例えば、被写体のエッジ部分やテクスチャ部分において空間周波数の高い輝度変化が生じた場合に、偏光による画素値の差であると誤解し、偏光の誤検出を招くことがある。ノイズ除去処理は、このような誤検出によるノイズを、偏光情報算出処理の演算結果から除去ないし低減するための処理である。

図１３および図１４Ａ、図１４Ｂを参照して、ノイズ除去処理（図７のステップＳ７６）の実装例を説明する。図１３はノイズ除去処理のフローチャートであり、図１４Ａ、図１４Ｂは比較範囲の例を示す図である。

ステップＳ２０にて、偏光抽出部４２１は、図８のノイズ除去設定８１で設定されたパラメータを読み込む。ここでは、ノイズ除去のあり／なし、比較範囲、偏光角度差閾値、偏光強度差閾値の４つのパラメータが読み込まれる。ノイズ除去「なし」に設定されている場合には、以降の処理をスキップする（ステップＳ２１）。ノイズ除去「あり」の場合は、ステップＳ２２に進む。

ステップＳ２２にて、偏光抽出部４２１は、メモリ又はストレージから偏光情報算出処理の演算結果を読み込む。ここでは、各画素の座標（ｉ，ｊ）と偏光方向θ（ｉ，ｊ）・偏光強度Ｄ（ｉ，ｊ）・明度Ｉ０（ｉ，ｊ）とが対応付けられたデータが取得される。

ステップＳ２３にて、偏光抽出部４２１は、処理対象とする対象画素を選択する。ステップＳ２３では、（１，１）から（Ｍ，Ｎ）まで対象画素が順に選択されるものとする。

ステップＳ２４にて、偏光抽出部４２１は、対象画素とその周辺画素のあいだで偏光方向を比較し、偏光方向が類似しているか否か判断する。図１４Ａに示すように、比較範囲「１」に設定された場合は、対象画素（ｉ，ｊ）と３つの周辺画素（ｉ，ｊ＋１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）のあいだで比較が行われる。また、図１４Ｂに示すように、比較範囲「２」に設定された場合は、対象画素（ｉ，ｊ）と８つの周辺画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ－１，ｊ＋１）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ－１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）のあいだで比較が行われる。そして、偏光方向の差が偏光角度差閾値よりも大きくなる組み合わせが１つでも見つかった場合には、「非類似」と判断し、ステップＳ２６に進む。一方、「類似」と判断された場合には、ステップＳ２５へと進む。

ステップＳ２５にて、偏光抽出部４２１は、対象画素とその周辺画素のあいだで偏光強度を比較し、偏光強度が類似しているか否か判断する。比較範囲の選び方は図１４Ａおよび図１４Ｂで示したとおりである。そして、偏光強度の差が偏光強度差閾値よりも大きくなる組み合わせが１つでも見つかった場合には、「非類似」と判断し、ステップＳ２６に進む。一方、「類似」と判断された場合には、ステップＳ２７へと進む。

偏光方向又は偏光強度のいずれかが「非類似」である場合、対象画素の偏光情報は周辺画素に比べて特異な値（外れ値）になっており、ノイズである蓋然性が高い。そこで、ステップＳ２６にて、偏光抽出部４２１は、対象画素の偏光情報（偏光方向θおよび偏光強度Ｄ）を削除する。

偏光方向と偏光強度のいずれも「類似」である場合、ステップＳ２７にて、偏光抽出部４２１は、対象画素と比較範囲内の画素のなかで偏光強度が最も大きい画素を選択し、対象画素の偏光方向・偏光強度をその選択画素の偏光方向・偏光強度に置き換える。この処理によって、偏光方向・偏光強度の局所的なばらつきを低減するスムージング効果が得られる。

ステップＳ２８にて、偏光抽出部４２１は、すべての画素に対してノイズ除去処理が完了したか確認し、未処理の画素がある場合にはステップＳ２３に戻って次の対象画素に対する処理を実行する。

以上述べた処理により、偏光情報算出処理の演算結果である偏光方向θと偏光強度Ｄに対し、ノイズ（外れ値）の除去とスムージングが行われる。なお、修正後のデータは、メモリ又はストレージ内に上書き保存される。

（応用例）
上述した撮像システム１を、薬液充填済みシリンジの製造プロセスにおける検出・検査に応用する例を説明する。

薬液充填済みシリンジの製造プロセスでは、通常、ロボットを利用してシリンジのピック＆プレースや薬液注入が行われる。このとき、シリンジが不正な位置に存在したり、横倒しの姿勢になっていたりすると、シリンジの破損や製造装置の故障を招くおそれがあるため、シリンジの位置や姿勢を監視し、問題が生じた場合にエラーを出力したり装置を停止したりする仕組みが望まれる。

図１５Ａは、ネスト１００に配置されたシリンジ１０１を天頂カメラ１０２で観測する様子を示している。２本のシリンジ１０１ｂがネスト１００の穴に挿入されず、横倒しになっている。しかし、シリンジ１０１は無色透明であるため、これを例えば通常の透過照明と光学カメラで撮影しても、図１５Ｂに示すように、シリンジ１０１と背景（白色のネ
スト１００）の境界を画像上ほとんど識別することができず、横倒しのシリンジ１０１ｂを安定的に検出することは困難である。

これに対し、本発明の実施形態に係る撮像システム１を用いて偏光情報を抽出すると、図１５Ｃに示すように、シリンジ１０１の表面での鏡面反射のみを画像化することができる。偏光情報画像では、正しい姿勢のシリンジ１０１ａでは円形の像が現れ、横倒しのシリンジ１０１ｂでは直線的な帯状の像が現れる。このような偏光情報画像を利用することで、シリンジの位置および姿勢の検査や、不正な位置もしくは姿勢のシリンジの検出を安定的に行うことが可能となる。

（画像の表示例）
図１６は、図８のＵＩ画面における偏光方向画像の表示例を示している。

このＵＩ画面の表示画像設定８２は、元画像と偏光強度画像・偏光方向画像・明度画像の３種類の偏光情報画像の４つの画像のなかから、表示対象とする画像を指定させるためのユーザインターフェイスである。表示画像設定８２のＵＩはいわゆるラジオボタンを用いて構成されており、表示対象とする画像が択一的に選択されるようになっている。

ユーザが、表示画像設定８２において「偏光方向画像」を選択すると、それに応じて、全体画像表示エリア８３および拡大画像表示エリア８４の表示画像が偏光方向画像に切り替わる。このとき、偏光方向画像は疑似色を用いて表示される。疑似色は偏光方向を表しており、例えば、偏光方向０度～１８０度の範囲が、青→シアン→青緑→緑→黄→オレンジ→赤→マゼンタという色相の変化で表されるものである。本実施形態では、図１６に示すように、全体画像表示エリア８３および拡大画像表示エリア８４に、疑似色と偏光方向の対応関係を示す補助画像９０が表示される。なお、図示の便宜から、図１６では疑似色の色相の変化を６種類のパターンの変化で表現しているが、実際の表示画面では、偏光方向の角度に応じて色相が連続的に変化するように疑似色が設定されるとよい。

このような表示を見ることにより、ユーザは、透明物体の表面（反射面）の向きの違いを色の違いとして視認することができる。例えば、図１６の拡大画像表示エリア８４には、略Ｖ字型の像が表示されているが、左側の直線部９１と右側の直線部９３とでは色が異なるため、左側の直線部９１に対応する反射面と右側の直線部９３に対応する反射面とでは向きが異なることが判る。また、破線で囲った屈曲部９２では、色が徐々に変化しているため、反射面の向きが徐々に変わっていることが判る。

さらに、補助画像９０を参考にすることで、それぞれの反射面の偏光方向（すなわちＸＹ面内での方位）を定量的に把握することができる。図１６の例であれば、左側の直線部９１が約１３５度、右側の直線部９３が約４５度であり、あいだの屈曲部９２において偏光方向が約１３５度から約４５度に徐々に変化していることが判る。

さらに、偏光強度、偏光方向、明度などの偏光情報を数値で表示してもよい。図１７は、偏光情報を数値で表示するＵＩの一例である。このＵＩでは、拡大画像表示エリア８４に表示されている画像上にマウスカーソル８８をあわせると（あるいは、画像をマウスカーソル８８でクリックすると）、マウスカーソル８８の画素位置における偏光強度、偏光方向、明度などの情報が情報表示エリア８７に表示される。また、偏光方向画像が表示されている場合には、マウスカーソル８８の画素位置における偏光方向の値を指し示すバーのようなＧＵＩ部品８９を補助画像９０に重畳表示してもよい。このような情報表示機能を提供することによって、画像内の特定箇所の偏光情報を詳細に確認することが容易になる。

図１６および図１７に示すような表示画面を提供することにより、ユーザが偏光情報から透明物体の形状や構造あるいは状態を理解することを支援することができる。例えば、図１５Ａの状態に対応する偏光方向画像では、正しい姿勢のシリンジ１０１ａは、周方向に色が変化する円形の像として現れ、横倒しのシリンジ１０１ｂは、単色の帯状の像として現れる。しかも、帯状の像は、シリンジ１０１ｂの向きに応じて異なる色を呈する。したがって、このような偏光方向画像を利用すれば、横倒しのシリンジ１０１ｂを容易に視認し検出することが可能となる。

また、コンピュータによる画像認識技術を用いて、偏光情報画像からシリンジの検出や、シリンジの姿勢の判定などを行ってもよい。例えば、正しい姿勢のシリンジは、内側の円形およびその周囲のフランジ部にて鏡面反射が現れる。この画像特徴に着目し、偏光情報画像のなかから、円およびフランジ部の形状をパターンマッチング等の方法にて検出することによって、正しい姿勢のシリンジの自動認識が可能となる。横倒しのシリンジの場合は、例えば、まず、特定の偏光方向範囲（例：０°～６０°）を持ち、互いに隣接する画素の集合（画素領域）を抽出し、その後、抽出した画素領域のうちから閾値以上の幅・長さを持つ画素領域を検出すればよい。このような処理によって、横倒しのシリンジの帯状の画素領域を自動認識することが可能となる。

また、偏光方向画像における色の分布や不連続などを手掛かりにして、画像に含まれるノイズやアーチファクトを発見することも可能となる。その一例を図１８Ａに示す。図１８Ａの偏光方向画像では、Ｖ字型の像の近くに細長い像９４が現れている。ただし、像９４の色を見ると、偏光方向が約１８０度となっている。被写体の構造上、偏光方向約４５度の反射面のすぐ近くに偏光方向約１８０度の反射面が存在することは考えにくいため、像９４はノイズまたはアーチファクト（例えば、被写体のエッジ部分での拡散反射に起因するもの）であろうと推測できる。なお、このようなノイズやアーチファクトを発見した場合には、マスクサイズやノイズ除去のパラメータの調整、偏光カメラによる撮影、偏光情報の抽出、画像の再確認、という操作を繰り返し、ノイズやアーチファクトの低減を図るとよい。本実施形態の表示画面およびＵＩを利用すれば、偏光情報が正しく抽出されているかの確認や、偏光情報画像の品質評価も容易になると期待できる。

図１８Ｂおよび図１８Ｃは、補助画像の他の例を示している。この補助画像は、色相環のように、周方向に色が変化する円環形状の画像である。円環における方位角が偏光方向を表すように、疑似色が対応付けられている。このような補助画像を用いれば、疑似色と偏光方向の対応関係をより直観的に把握することができる。

偏光方向画像の表示方法は、上記の例に限られない。例えば、偏光方向（角度）と色相の対応関係は任意に設計してもよい。また、角度に応じて色相を連続的に変化させてもよいし、角度に応じて色相を段階的に変化させてもよい（例えば１５度ごとに色相を切り替えるなど）。さらに、色相だけでなく、彩度や明度を変化させてもよい。例えば、偏光方向（角度）に応じて色相を変化させ、偏光強度に応じて彩度もしくは明度を変化させた画像を表示することにより、偏光方向と偏光強度の直観的な把握が可能になるものと期待できる。

図１９は、表示対象画像の指定および画像の確認を行うためのＵＩ画面の他の例を示している。このＵＩ画面では、プルダウンメニュー９５ａ、９５ｂにより、表示対象とする画像を２つ選択することが可能である。プルダウンメニュー９５ａで指定された画像は、第１表示エリア９６ａに表示され、プルダウンメニュー９５ｂで指定された画像は、第２表示エリア９６ｂに表示される。画面上に複数の画像を並べて表示することで、ユーザは画像同士（図１９の例であれば、元画像と偏光方向画像）を見比べることが容易になり、偏光情報が正しく抽出されているかの確認、被写体の形状や構造の把握などがやりやすく
なる。なお、図１９では、２つの画像を並べて表示する例を示したが、３つ以上の画像を並べて表示してもよい。また、比較する画像を並べるのではなく、比較する画像を重ねて表示したり、スライドショーのように自動で切り替え表示してもよい。

（その他）
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

例えば、偏光カメラと照明装置の配置や構成は、図１や図３Ａ～図３Ｃに示したものに限られず、被写体や用途に応じて適宜設計すればよい。すなわち、照明光の鏡面反射が偏光カメラで観測できさえすればよい。また、複数台の偏光カメラを設けてもよいし、可動式の偏光カメラや照明装置を用いてもよい。

上記実施形態では、０度、４５度、９０度、１３５度の偏光子を用いたが、透過軸方向の設定はこれに限られない。撮像素子において異なる透過軸方向の偏光子を通過した光を観測でき、かつ、その観測結果から入射光に含まれる偏光情報を抽出できさえすればよい。

図８のＵＩ画面では、偏光情報算出処理で用いるマスクサイズと、ノイズ除去処理で用いるパラメータとを設定可能としたが、ＵＩ画面の構成やパラメータ項目は一例にすぎない。偏光抽出処理で用いられるパラメータをユーザに変更させるＵＩであれば、どのようなものでもよい。すなわち、ユーザ自身が、被写体や用途などに応じて、偏光抽出のロジックを適宜変更できればよい。また、上記実施形態では、パラメータ受付部４２４がパラメータ設定用のユーザインターフェイスを提供したが、パラメータ受付部４２４は、ユーザからのパラメータの変更指示をネットワークを通じて外部装置から受信するものでもよい。

＜付記１＞
透明物体（Ｗ）を画像化するための撮像システム（１）であって、
透明物体（Ｗ）を照明するための照明装置（１１）と、
透過軸方向の異なる偏光子（２１０）が規則的に配列された撮像素子（２０）を有する偏光カメラ（１０）と、
処理装置（１２）と、を備え、
前記処理装置（１２）は、
前記照明装置（１１）により前記透明物体（Ｗ）を照明した状態で前記偏光カメラ（１０）によって撮影された元画像を取得する画像取得手段（４２０）と、
前記元画像の各画素について、前記透明物体（Ｗ）での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段（４２１）と、
前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段（４２２）と、
前記偏光情報画像を画面に表示する表示手段（４２３）と、を有し、
前記偏光情報は、偏光方向の情報を含み、
前記偏光情報画像は、前記偏光情報の一つである偏光方向を疑似色で表す偏光方向画像を含み、
前記表示手段（４２３）は、前記画面上に、前記偏光方向画像（９１，９２，９３）とともに、疑似色と偏光方向の対応関係を示す補助画像（９０）を表示する
ことを特徴とする撮像システム（１）。

＜付記２＞
照明装置（１１）と、透過軸方向の異なる偏光子（２１０）が規則的に配列された撮像素子（２０）を有する偏光カメラ（１０）と、処理装置（１２）と、を備える撮像システム（１）の制御方法であって、
前記照明装置（１１）により透明物体（Ｗ）を照明するステップと、
前記偏光カメラ（１０）により撮影を行うステップと、
前記偏光カメラ（１０）によって撮影された元画像を前記処理装置（１２）に取り込むステップ（Ｓ７３）と、
前記処理装置（１２）によって、前記元画像の各画素について、前記透明物体（Ｗ）での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理（Ｓ７５，Ｓ７６）を実行し、前記偏光抽出処理（Ｓ７５，Ｓ７６）の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成するステップ（Ｓ７７）と、前記偏光情報画像を画面に表示するステップ（Ｓ７８）と、を含み、
前記偏光情報は、偏光方向の情報を含み、
前記偏光情報画像は、前記偏光情報の一つである偏光方向を疑似色で表す偏光方向画像を含み、
前記画面上に、前記偏光方向画像（９１，９２，９３）とともに、疑似色と偏光方向の対応関係を示す補助画像（９０）が表示されることを特徴とする制御方法。

１：撮像システム
１０：偏光カメラ
１１：照明装置
１２：処理装置
１３：ステージ
２０：撮像素子
２１：偏光子アレイ
３０：棒状照明

Claims (12)

1. 透明物体を画像化するための撮像システムであって、
   透明物体を照明するための照明装置と、
   透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、
   処理装置と、を備え、
   前記処理装置は、
   前記照明装置により前記透明物体を照明した状態で前記偏光カメラによって撮影された元画像を取得する画像取得手段と、
   前記元画像の各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段と、
   前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段と、
   前記偏光情報画像を画面に表示する表示手段と、を有し、
   前記偏光情報は、偏光方向の情報を含み、
   前記偏光情報画像は、前記偏光情報の一つである偏光方向を疑似色で表す偏光方向画像を含み、
   前記表示手段は、前記画面上に、前記偏光方向画像とともに、疑似色と偏光方向の対応関係を示す補助画像を表示する
   ことを特徴とする撮像システム。
2. 前記処理装置は、前記元画像と前記偏光情報画像を含む複数の画像のなかから表示対象とする画像をユーザに指定させるためのユーザインターフェイスを提供する入力手段をさらに有し、
   前記表示手段は、前記ユーザインターフェイスにて指定された画像を前記画面上に表示する
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記偏光情報は、複数項目の偏光情報を含み、
   前記偏光情報画像は、前記複数項目の偏光情報のそれぞれに対応する複数種類の偏光情報画像を含む
   ことを特徴とする請求項２に記載の撮像システム。
4. 前記複数項目の偏光情報は、偏光方向と偏光強度と明度を含む
   ことを特徴とする請求項３に記載の撮像システム。
5. 前記偏光方向画像は、偏光方向に応じて画素の色相を変化させ、かつ、偏光強度に応じて前記画素の彩度もしくは明度を変化させた画像である
   ことを特徴とする請求項４に記載の撮像システム。
6. 前記ユーザインターフェイスは、前記複数の画像のなかから表示対象とする画像をユーザに択一的に選択させるものであり、
   前記表示手段は、ユーザの選択に応じて、前記画面上に表示する画像を切り替える
   ことを特徴とする請求項２～５のうちいずれか１項に記載の撮像システム。
7. 前記ユーザインターフェイスは、前記複数の画像のなかから表示対象とする２以上の画像をユーザに選択させるものであり、
   前記表示手段は、ユーザに選択された前記２以上の画像を比較可能な態様で前記画面上に表示する
   ことを特徴とする請求項２～５のうちいずれか１項に記載の撮像システム。
8. 前記偏光抽出処理は、前記元画像の各画素の偏光情報を算出した後に、その算出結果に含まれるノイズを除去ないし低減するノイズ除去処理を含む
   ことを特徴とする請求項１～７のうちいずれか１項に記載の撮像システム。
9. 前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、非類似と判断した場合に、前記対象画素の偏光情報を削除する処理を含む
   ことを特徴とする請求項８に記載の撮像システム。
10. 前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、類似と判断した場合に、前記対象画素の偏光情報を、前記対象画素と前記周辺画素のなかから選択した画素の偏光情報で置き換える処理を含む
    ことを特徴とする請求項８又は９に記載の撮像システム。
11. 照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備える撮像システムの制御方法であって、
    前記照明装置により透明物体を照明するステップと、
    前記偏光カメラにより撮影を行うステップと、
    前記偏光カメラによって撮影された元画像を前記処理装置に取り込むステップと、
    前記処理装置によって、前記元画像の各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行し、前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成するステップと、前記偏光情報画像を画面に表示するステップと、を含み、
    前記偏光情報は、偏光方向の情報を含み、
    前記偏光情報画像は、前記偏光情報の一つである偏光方向を疑似色で表す偏光方向画像を含み、
    前記画面上に、前記偏光方向画像とともに、疑似色と偏光方向の対応関係を示す補助画像が表示される
    ことを特徴とする制御方法。
12. 請求項１１に記載の制御方法の各ステップをプロセッサに実行させるためのプログラム。