JP2016062365A

JP2016062365A - 載置支援方法

Info

Publication number: JP2016062365A
Application number: JP2014190539A
Authority: JP
Inventors: 隆敏山中; Takatoshi Yamanaka; 山野　大偉治; Taiji Yamano; 大偉治山野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-09-18
Filing date: 2014-09-18
Publication date: 2016-04-25

Abstract

【課題】物品を載置する作業を簡単化することが可能な載置支援方法を提供する。
【解決手段】撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、撮像対象物からの物品の載置動作を検出する処理Ｓ２０７と、物品の載置手順を記憶した記憶部を参照して、撮像対象物上の載置動作が検出された箇所の次に載置される物品の撮像対象物上の箇所を特定する処理Ｓ２０４と、撮像対象物のうち、特定した箇所に対して投影を実行する処理Ｓ２０６とを含むことを特徴とする。
【選択図】図１４

Description

本件は、載置支援方法に関する。

例えば回路基板上の予め指定された箇所に電子部品（例えば抵抗器やトランジスタなど）を載置して、電子部品をハンダにより固定することは広く行われている。回路基板に電子部品を載置する場合、事前準備として部品庫から取り出した電子部品を電子部品毎に小分けして収容可能なトレイに載置させる場合がある。したがって、作業者が組み立て手順書などを参考にしながら、トレイに収容された電子部品を組み立て順に取り出して回路基板に載置してハンダづけすることで、電子装置の組み立てが完成する。

ところが、回路基板に多くの電子部品を載置する場合、小分け可能なトレイが有する複数の収容箇所に誤って不要な電子部品を収容してしまうおそれがある。このような事態を回避するために、事前にトレイに電子部品の写真を貼り付けておく手法が採用されている。

しかしながら、組み立てる電子装置が変わる度にトレイに貼り付ける写真を取り替えることは非常に手間である。一方、組み立てる電子装置毎にトレイを用意することは管理や運用に負担がかかるという問題がある。

また、トレイから電子部品を取り出して回路基板に載置する場合に、電子部品を取り違えて誤った組み立て順序で載置してしまうおそれもある。部品の取り違えを未然に防止する技術として、部品にＩＣタグを予め取り付けておくとともに、組立説明書にもＩＣタグを貼り付けておき、双方のＩＣタグに記録されたコードが一致するか否かを報知する技術が知られている（例えば特許文献１参照）。

特開２００６−２６８０７９号公報

しかしながら、上述した特許文献１では部品にＩＣタグを取り付けるとともに、組立説明書にもＩＣタグを貼り付けなければならず、多大な手間がかかるという問題がある。

そこで、１つの側面では、物品を載置する作業を簡単化することが可能な載置支援方法を提供することを目的とする。

本明細書に開示の載置支援方法は、撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、前記撮像対象物からの物品の載置動作を検出し、物品の載置手順を記憶した記憶部を参照して、前記撮像対象物上の前記載置動作が検出された箇所の次に載置される物品の前記撮像対象物上の箇所を特定し、前記撮像対象物のうち、特定した前記箇所に対して投影を実行する、処理を含むことを特徴とする載置支援方法である。

本明細書に開示の載置支援方法は、第１撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、組立単位毎に物品を記憶した第１記憶部から前記第１撮像対象物で定められた物品を特定し、第２撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、物品の載置箇所を前記第２撮像対象物毎に記憶した第２記憶部から、撮像した前記第２撮像対象物に対応する載置箇所を特定し、特定した前記載置箇所に対して、特定した前記物品に関する画像の投影を実行する、処理を含むことを特徴とする載置支援方法である。

本明細書に開示の載置支援方法は、物品を載置した撮像対象物を撮像して得られた撮像画像を解析して、前記撮像対象物を識別する情報を検出し、前記情報を利用して前記撮像対象物に対する検査手引きを記憶した記憶部を参照し、前記撮像対象物に応じた検査手引きを特定し、特定した前記検査手引きで示された検査箇所と前記撮像対象物上の位置とを対応付け、前記物品に対する特定の被写体の動作が検出された場合に、検査内容を表す画像の投影を実行する、処理を含むことを特徴とする載置支援方法である。

本明細書に開示の載置支援方法によれば、物品を載置する作業を簡単化することが可能である。

図１は、載置支援システムの一例を説明するための図である。図２は、載置支援装置のハードウェア構成の一例である。図３は、第１実施形態における載置支援装置のブロック図の一例である。図４は、部品テーブルの一例である。図５は、トレイテーブルの一例である。図６は、画像テーブルの一例である。図７は、割当テーブルの一例である。図８は、トレイの各載置箇所に画像が投影される様子の一例を説明するための図である。図９は、第１実施形態における載置支援装置の動作の一例を示すフローチャートである。図１０は、組立指示書の一例である。図１１は、トレイの一例である。図１２は、第２実施形態における載置支援装置のブロック図の一例である。図１３は、組立順記憶部の一例である。図１４は、第２実施形態における載置支援装置の動作の一例を示すフローチャートである。図１５は、組立指示書が置かれたトレイの一例を示す図である。図１６は、載置動作を検出した箇所の次の箇所に画像が投影される様子を説明するための図である。図１７は、第３実施形態における載置支援装置のブロック図の一例である。図１８は、マニュアルテーブル記憶部の一例である。図１９は、基板記憶部の一例である。図２０は、第３実施形態における載置支援装置の動作の一例を示すフローチャートである。図２１は、回路基板を撮像する様子の一例を説明するための図である。図２２は、検査内容を表す画像が投影されている様子の一例を説明するための図である。図２３は、第３実施形態における載置支援装置の一部の動作の一例を示すフローチャートである。

以下、本件を実施するための形態について図面を参照して説明する。
尚、本件を実施するための形態は第１実施形態乃至第３実施形態を含んでいる。
第１実施形態は、部品庫から電子部品を取り出して、トレイに載置する際に本件技術を利用することについて説明している。
第２実施形態は、トレイへの収容が完了した電子部品をトレイから回路基板に載置する際に本件技術を利用することについて説明している。
第３実施形態は、回路基板への載置が完了した後、載置した電子部品を電子部品毎に検査する際に本件技術を利用することについて説明している。

（第１実施形態）
図１は、載置支援システムＳの一例を説明するための図である。載置支援システムＳは、第１実施形態乃至第３実施形態のいずれの場合においても利用される。
載置支援システムＳは、投影部１００、第１撮像部２００、第２撮像部３００及び載置支援装置４００を含んでいる。載置支援装置４００に代えて、載置支援装置５００，６００が利用されてもよい。載置支援装置４００は、投影部１００、第１撮像部２００、第２撮像部３００と有線または無線を介して通信可能に接続される。なお、載置支援装置４００は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。更に、投影部１００は、必要に応じて載置支援システムＳに含まれれば良く、必ずしも必要な構成要素ではない。図１に示すように、投影部１００、第１撮像部２００及び第２撮像部３００は、例えば投影面１０の上方に、鉛直下向きの方向で設置される。投影面１０としては、例えば、カウンター、台、机といった各種作業を行うための作業台がある。

投影部１００は、撮像対象の一例である対象物ＯＢ上又はその傍に画像を投影する。例えば、投影面１０に対象物ＯＢが置かれて、その対象物ＯＢの一部を手指により指定すると、第１撮像部２００及び第２撮像部３００は対象物ＯＢを手指とともに撮像し、投影部１００は撮像された撮像画像に基づいて対象物ＯＢ上又はその傍の所定の位置に画像を投影する。このような投影手法は、例えばAugmented Reality（ＡＲ：拡張現実）と呼ばれる。さらに、ユーザが手指ＦＧを画像に提示すると、投影された画像に対してインタラクション操作が行われる。尚、投影部１００としては、例えばプロジェクタといった画像を表示するデバイスがある。対象物ＯＢとしては、例えば電子部品収容前又は収容後のトレイ、回路基板などがある。

第１撮像部２００及び第２撮像部３００は、内部パラメータが等しく既知であり、互いの光軸が平行で、かつ、第１撮像部２００及び第２撮像部３００が撮像する複数の画像中の任意の横軸が同一直線状上になる様に配置される、いわゆる平行ステレオの配置となる。第１撮像部２００は、第１の視野Ｖ１の範囲内に含まれる領域を撮像する。第２撮像部３００は、第２の視野Ｖ２の範囲内に含まれる領域を撮像する。したがって、第１撮像部２００による第１撮像画像及び第２撮像部３００による第２撮像画像にはそれぞれ、対象物ＯＢを含む投影面１０が含まれる。特に、対象物ＯＢ上に手指ＦＧが含まれている場合には、第１撮像画像及び第２撮像画像にはそれぞれ手指ＦＧの画像が含まれる。第１撮像部２００及び第２撮像部３００により、第１撮像画像と第２撮像画像の色情報、ならびに対象物ＯＢの深度、手指ＦＧの深度などの情報を含む画像が撮像される。尚、第１撮像部２００及び第２撮像部３００としては、例えば、Charge Coupled Device（ＣＣＤ）カメラやComplementary Metal Oxide Semiconductor（ＣＭＯＳ）カメラといった撮像デバイスがある。また、平行ステレオは、位置関係が既知かつ平行な２台のカメラによる撮像画像から同一の対象物が撮影された画素の位置ずれ（視差）を利用して、三角測量の原理により任意の基準点から対象物までの距離を算出する手法である。

載置支援装置４００は、第１撮像部２００及び第２撮像部３００により異なる光軸で撮像された第１撮像画像及び第２撮像画像を取得し、後述する各種の処理を行って投影部１００の動作を制御する。これにより、投影部１００は各種の画像を投影する。例えば、取得した第１撮像画像及び第２撮像画像に基づいて、世界座標系（３次元上）におけるユーザの手指ＦＧの位置及び対象物ＯＢの位置を算出する。算出した位置における深度が対象物ＯＢから所定の距離（例えば０〜１０ｍｍ）の範囲内に含まれていた場合、対象物ＯＢの傍に画像が投影される。ここで、載置支援システムＳにおける載置支援装置４００の配置位置は自由に設定することが可能である。例えば、載置支援装置４００は投影部１００と同じ位置に配置されていてもよい。尚、載置支援装置４００の機能の詳細については後述する。

ところで、図１に示す載置支援システムＳの構成時点で、第１撮像部２００と第２撮像部３００の座標系と投影部１００の世界座標系における位置合わせ（キャリブレーション）は、予め実施されているものとする。また、載置支援装置４００に使用開始後に、第１撮像部２００と第２撮像部３００と投影部１００の位置関係を変化させる場合は、キャリブレーションを、少なくとも一回実行すれば良い。ここで、具体的なキャリブレーションの方法の一例として、投影部１００が投影する任意の投影画像を、第１撮像部２００と第２撮像部３００で撮像することで、載置支援装置４００内部でキャリブレーションを実行する方法を説明する。なお、当該方法においては、第１撮像部２００と第２撮像部３００のそれぞれについて、予めキャリブレーションが実行されているものとする。

先ず、投影部１００は、世界座標系において、ある任意の座標値（ｘ_ｐ、ｙ_ｐ）に対して任意のマーカを投影する。当該マーカは、周囲の背景と区別しやすいような任意の色や形状を用いることが可能である。そして、第１撮像部２００と第２撮像部３００は、所定の投影面１０に投影されたマーカを撮像する。続いて、載置支援装置４００は、マーカを公知の任意の載置支援によって認識する。例えば、載置支援装置４００は、投影部１００がマーカとして円形の模様を投影した場合、例えば、「Kimmeら、“Finding circles by an array of accumulators”, Communications of the Association for Computing Machinery, #18, pp.120-122, 1975.」に開示される、ハフ円変換により円形状を認識することが出来る。ここで、載置支援装置４００がマーカを認識した際の座標値を（ｘ_ｉ、ｙ_ｉ）とする。載置支援装置４００は、上述の処理を、任意の場所で４点分繰り返す。載置支援装置４００は、当該処理で得られた（ｘ_ｐ、ｙ_ｐ）に対応する（ｘ_ｉ、ｙ_ｉ）の組の４組から、３行３列のホモグラフィ行列Ｈの各成分を、８次元連立一次方程式を用いて算出する。なお、ホモグラフィとは、三次元空間上のある平面から別の平面への射影変換を表す行列である。本実施形態においては、載置支援装置４００は、第１撮像部２００と第２撮像部３００の座標平面と投影部１００の投影部座標平面との対応付けを求める。載置支援装置４００は、算出したホモグラフィ行列を、例えば、図示しないキャッシュまたはメモリに保存しておくことで、画像の投影時においてホモグラフィ行列を利用することが出来る。

続いて、図２を参照して、載置支援装置４００のハードウェア構成について説明する。

図２は、載置支援装置４００のハードウェア構成の一例である。後述する載置支援装置５００，６００についても基本的に同様の構成を有する。
図２に示すように、載置支援装置４００は、少なくともCentral Processing Unit（ＣＰＵ）４００Ａ、Random Access Memory（ＲＡＭ）４００Ｂ、Read Only Memory（ＲＯＭ）４００Ｃ及びネットワークＩ／Ｆ（インタフェース）４００Ｄを含んでいる。載置支援装置４００は、必要に応じて、Hard Disk Drive（ＨＤＤ）４００Ｅ、入力Ｉ／Ｆ４００Ｆ、出力Ｉ／Ｆ４００Ｇ、入出力Ｉ／Ｆ４００Ｈ、ドライブ装置４００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ４００Ａ・・・ドライブ装置４００Ｉは、内部バス４００Ｊによって互いに接続されている。少なくともＣＰＵ４００ＡとＲＡＭ４００Ｂとが協働することによってコンピュータが実現される。

入力Ｉ／Ｆ４００Ｆには、入力装置７１０が接続される。入力装置７１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ４００Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ４００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ４００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ４００Ｆ及び入出力Ｉ／Ｆ４００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ４００Ｇは、例えばディスプレイポートを備えている。

ドライブ装置４００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置４００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。
ネットワークＩ／Ｆ４００Ｄは、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。載置支援装置４００は、ネットワークＩ／Ｆ４００Ｄを介してネットワークと接続される。

上述したＲＡＭ４００Ｂには、ＲＯＭ４００ＣやＨＤＤ４００Ｅに記憶されたプログラムがＣＰＵ４００Ａによって格納される。ＲＡＭ４００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ４００Ａによって格納される。格納されたプログラムをＣＰＵ４００Ａが実行することにより、後述する各種の機能が実現され、また、各種の動作が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。

続いて、図３乃至図７を参照して、第１実施形態における載置支援装置４００の詳細について説明する。

図３は、載置支援装置４００のブロック図の一例である。
載置支援装置４００は、図３に示すように、第１記憶部の一例である部品記憶部４１０、第２記憶部の一例であるトレイ記憶部４２０、画像記憶部４３０、画像解析部４４０、第１特定部４５０、第２特定部４６０、画像抽出部４７０、投影画像割当部４８０及びテーブル記憶部４９０を含んでいる。

部品記憶部４１０は、電子装置の組立単位毎に電子装置の組立てに要する電子部品の種類、電子部品の数及び電子部品を表す画像の識別情報を記憶する。具体的には、図４に示すように、部品記憶部４１０は、複数の部品テーブル２０を記憶している。部品テーブル２０は、ユニット番号、項番、部品番号、ピッキング数及び画像ＩＤを構成要素としている。ユニット番号は、電子装置の組立単位毎に割り当てられた識別番号である。ピッキング数は、その部品番号の電子部品を必要とする数である。したがって、ユニット番号「３４８２９」の電子装置は、部品番号「Ｋ０００１」が割り当てられた２つの電子部品と、部品番号「Ｋ０００２」が割り当てられた３つの電子部品と、・・・、部品番号「Ｋ０００６」が割り当てられた１つの電子部品とにより組み立てられる。

トレイ記憶部４２０は、電子部品を収容するトレイに関する情報を記憶する。具体的には、図５に示すように、トレイ記憶部４２０は、トレイテーブル３０を記憶している。トレイテーブル３０は、トレイを識別するトレイ番号、トレイのサイズ、載置箇所の数及び載置箇所のサイズを構成要素としている。載置箇所は、電子部品を収容可能な収容部を表している。例えば、トレイ番号「１０１」のトレイは、そのサイズが「３００ｍｍ×３６０ｍｍ」である。そして、当該トレイは、６個の載置箇所を有しており、各々のサイズが「１４０ｍｍ×１１０ｍｍ」である。

画像記憶部４３０は、電子部品の写真又はイラストを表す画像情報を記憶する。具体的には、図６に示すように、画像記憶部４３０は、画像テーブル４０を記憶している。画像テーブル４０は、画像ＩＤ及び部品画像を構成要素としている。したがって、部品テーブルの構成要素の１つである画像ＩＤを特定すれば、特定された画像ＩＤに基づいて、その画像ＩＤを有する電子部品の部品画像を特定することができる。

画像解析部４４０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像を解析して、撮像画像に含まれる各種の情報を読み取る。例えば、第１撮像画像と第２撮像画像に後述する組立指示書（図１０参照）が含まれている場合、第１撮像画像と第２撮像画像を解析して、その組立指示書に示されたユニット番号を情報として読み取る。例えば、第１撮像画像と第２撮像画像にトレイＴＲ（図１１参照）が含まれている場合、第１撮像画像と第２撮像画像を解析して、そのトレイＴＲに付されたトレイ番号を情報として読み取る。画像解析部４４０は、読み取った情報を第１特定部４５０又は第２特定部４６０に送信する。

第１特定部４５０は、画像解析部４４０から送信された情報に基づいて、部品記憶部４１０からその情報に対応する部品テーブル２０を特定する。例えば、画像解析部４４０からユニット番号が送信された場合、ユニット番号に対応する部品テーブル２０を特定する。部品テーブル２０には、ユニット番号が割り当てられた電子装置の組立てに要する種々の部品番号が含まれているため、部品テーブル２０を特定することで、組立てに要する部品番号が特定される。第１特定部４５０は、部品テーブル２０を特定すると、特定した部品テーブル２０を画像抽出部４７０に送信する。

第２特定部４６０は、画像解析部４４０から送信された情報に基づいて、トレイ記憶部４２０からその情報に対応するトレイテーブル３０の載置箇所等を特定する。例えば、画像解析部４４０からトレイ番号が送信された場合、トレイ番号に対応するトレイのサイズ、載置箇所の数及びサイズを特定する。これにより、トレイのサイズ、電子部品を収容できる載置箇所の数とそのサイズが特定される。第２特定部４６０は、特定したトレイのサイズ、載置箇所の数及びサイズを投影画像割当部４８０に送信する。

画像抽出部４７０は、第１特定部から送信された部品テーブル２０に含まれる画像ＩＤに基づいて、画像記憶部４３０から画像ＩＤに対応する電子部品の部品画像を抽出する。画像抽出部４７０は、部品テーブル２０と部品画像を投影画像割当部４８０に送信する。

投影画像割当部４８０は、画像抽出部４７０から送信された部品テーブル２０及び部品画像、並びに第２特定部４６０から送信されたトレイのサイズ、載置箇所の数及びサイズを受信すると、テーブル記憶部４９０に投影画像を割り当てるための割当テーブルを生成する。具体的には、投影画像割当部４８０は、トレイのサイズ、載置箇所の数及びサイズに基づいて、すべての載置箇所がトレイに収まる配置構成を有する割当テーブルを生成する。例えば、トレイ番号が「１０１」である場合、図５を参照して説明したように、トレイのサイズが「３００ｍｍ×３６０ｍｍ」、載置箇所の数が「６個」、載置箇所のサイズが「１４０ｍｍ×１１０ｍｍ」であるため、投影画像割当部４８０は、これらの情報に基づいて、図７に示すように、２×３の割当テーブルを生成する。投影画像割当部４８０は、割当テーブルを生成すると、部品テーブル２０に含まれる部品番号、ピッキング数及び画像ＩＤを割当テーブルの各領域に順に割り当てる。したがって、図７に示すように、割当テーブルにおける１Ａの領域には、部品テーブル２０に含まれる部品番号「Ｋ０００１」、ピッキング数「２」及び画像ＩＤ「Ｋ００１．ｊｐｇ」が割り当てられる。同様に、割当テーブルにおける２Ａ〜３Ｂの領域には、それぞれ対応する部品番号、ピッキング数及び画像ＩＤが割り当てられる。これにより、投影部１００により投影される画像がテーブル記憶部４９０に記憶される。投影画像割当部４８０は、投影画像の割当が完了すると、投影部１００にその旨を送信する。

この結果、投影部１００は、投影画像の割当が完了した旨を投影画像割当部４８０から受信すると、テーブル記憶部４９０から割当テーブルを取得し、割当テーブルに割り当てられた画像ＩＤに応じた部品画像を投影画像割当部４８０から取得する。これにより、割当テーブルに割り当てられた画像ＩＤは部品画像に変換される。投影部１００は画像ＩＤが部品画像に変換されたことを確認すると、図８（ａ）に示すように、トレイＴＲに投影画像の投影を実行する。この結果、トレイＴＲには、図８（ｂ）に示すように、それぞれの載置箇所Ｘに割当テーブルの各領域に対応する投影画像Ｙが投影される。尚、投影が実行される際には、「部品番号：」が部品番号「Ｋ０００１」〜「Ｋ０００６」に付与されて実行される。同様に、「個数：」がピッキング数「２」〜「１」に付与されて実行される。

続いて、図９乃至図１１を参照して、載置支援装置４００の動作について説明する。

図９は、載置支援装置４００の動作の一例を示すフローチャートである。図１０は、組立指示書の一例である。図１１は、トレイＴＲの一例である。

まず、載置支援システムＳに電源が投入されると、第１撮像部２００は第１の視野Ｖ１内を撮像し、第２撮像部３００は第２の視野Ｖ２内を撮像する。したがって、第１の視野Ｖ１内及び第２の視野Ｖ２内に対象物ＯＢが含まれていれば、第１撮像部２００及び第２撮像部３００は、対象物ＯＢをそれぞれ撮像する。これにより、画像解析部４４０には、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像が入力される。

ここで、画像解析部４４０は、組立指示書を撮像したか否かを判断する（ステップＳ１０１）。紙などで作られた組立指示書には、図１０に示すように、ユニット番号、ユニット番号に対応するバーコード、ユニット番号に対応する電子装置の組立順、部品番号及び部品画像が示されている。作業者は投影面１０に対象物ＯＢとして組立指示書を置いたり、投影面１０上でかざしたりすると、第１撮像部２００及び第２撮像部３００が組立指示書をそれぞれ撮像するため、組立指示書をそれぞれ含む第１撮像画像及び第２撮像画像が画像解析部４４０に入力される。画像解析部４４０は、第１撮像画像及び第２撮像画像を解析して、ＯＣＲ処理といった文字認識処理により文字「ユニット番号」が第１撮像画像及び第２撮像画像に含まれていれば、組立指示書を撮像したと判断する（ステップＳ１０１：ＹＥＳ）。逆に、文字「ユニット番号」が第１撮像画像及び第２撮像画像に含まれていなければ、組立指示書以外の対象物ＯＢを撮像したと判断する（ステップＳ１０１：ＮＯ）。画像解析部４４０は、組立指示書を撮像したと判断した場合、文字「ユニット番号」の右隣りに５桁の数値で表されたユニット番号「３４８２９」を読み取る（ステップＳ１０２）。尚、バーコードに対して画像認識処理を実行してバーコードに対応するユニット番号を読み取るようにしてもよい。

画像解析部４４０がユニット番号を読み取ると、次いで、第１特定部４５０は、部品記憶部４１０からユニット番号に応じた部品テーブル２０を特定し（ステップＳ１０３）、画像解析部４４０がトレイＴＲを撮像したと判断するまで待機する。次いで、画像解析部４４０は、トレイＴＲを撮像したか否かを判断する（ステップＳ１０４）。トレイＴＲの側縁には、図１１に示すように、トレイ番号、トレイ番号に対応するバーコードが付されている。作業者は投影面１０に対象物ＯＢとしてトレイＴＲを置いたり、投影面１０上でかざしたりすると、第１撮像部２００及び第２撮像部３００がトレイＴＲをそれぞれ撮像するため、トレイＴＲをそれぞれ含む第１撮像画像及び第２撮像画像が画像解析部４４０に入力される。画像解析部４４０は、第１撮像画像及び第２撮像画像を解析して、文字認識処理により文字「トレイ番号」が第１撮像画像及び第２撮像画像に含まれていれば、トレイＴＲを撮像したと判断する（ステップＳ１０４：ＹＥＳ）。逆に、文字「トレイ番号」が第１撮像画像及び第２撮像画像に含まれていなければ、トレイＴＲ以外の対象物ＯＢを撮像したと判断する（ステップＳ１０４：ＮＯ）。画像解析部４４０は、トレイＴＲを撮像したと判断した場合、文字「トレイ番号」の右隣りに３桁の数値で表されたトレイ番号「１０１」を読み取る（ステップＳ１０５）。尚、バーコードに対して画像認識処理を実行してバーコードに対応するトレイ番号を読み取るようにしてもよい。

画像解析部４４０がトレイ番号を読み取ると、次いで、第２特定部４６０は、トレイ記憶部４２０からトレイ番号に応じた載置箇所等を特定する（ステップＳ１０６）。また、ステップＳ１０６の処理の後、又は、ステップＳ１０６の処理と並行して、画像抽出部４７０は、画像記憶部４３０から部品テーブル２０の画像ＩＤに応じた部品画像を抽出する（ステップＳ１０７）。そして、ステップＳ１０７の処理が完了すると、投影画像割当部４８０は、トレイＴＲに対応する割当テーブル投影画像を割り当て（ステップＳ１０８）、割当テーブルの投影画像を投影部１００に投影させる（ステップＳ１０９）。

これにより、図８（ｂ）に示すように、トレイＴＲの各載置箇所Ｘに対し投影部１００から対応する電子部品の部品番号、ピッキング数及び部品画像を含む投影画像Ｙが投影される。したがって、トレイＴＲの各載置箇所Ｘに対し投影部１００から対応する電子部品の部品番号等が投影されているため、作業者は部品庫から電子部品を取り出して、トレイＴＲに電子部品を載置する際に、電子装置の組立てに要する電子部品の種類や個数を誤らずに載置させることができる。言い換えれば、画像投影により部品庫からトレイＴＲに電子部品を載置する作業が支援される。特に、電子部品の写真やイラストを利用して作業者に電子部品をトレイＴＲに載置させていないため、写真等を貼り替える手間や貼り替え誤りが防止される。

（第２実施形態）
続いて、本件の第２実施形態について説明する。第２実施形態では、電子部品の収容が完了したトレイＴＲを利用して行われる。

図１２は、載置支援装置５００のブロック図の一例である。図１３は、組立順記憶部５１０の一例である。
載置支援装置５００は、図１２に示すように、記憶部の一例である組立順記憶部５１０、テーブル記憶部５２０、解析手段の一例である画像解析部５３０、特定手段の一例である組立順テーブル抽出部５４０及び次箇所特定部５６０並びに動作検出部５５０を含んでいる。

組立順記憶部５１０は、電子装置の組立順序に関する情報をユニット番号毎に記憶する。具体的には、図１３に示すように、組立順記憶部５１０は、組立順テーブル５０を記憶している。組立順テーブル５０は、ユニット番号、組立順序、部品番号及び画像ＩＤを構成要素としている。したがって、ユニット番号「３４８２９」の電子装置は、最初に部品番号「Ｋ０００１」の電子部品が回路基板に取り付けられ、次に、部品番号「Ｋ０００３」の電子部品が回路基板に取り付けられる。以降、組立順序に従って電子部品が回路基板に取り付けられる。
テーブル記憶部５２０は、割当テーブルを記憶する。テーブル記憶部５２０に記憶される割当テーブルには投影画像が割り当てられる。尚、テーブル記憶部５２０に記憶される割当テーブルには、テーブル記憶部４９０（図７参照）に記憶された割当テーブルが利用される。

画像解析部５３０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像を解析して、撮像画像に含まれる各種の情報を読み取る。例えば、第１撮像画像と第２撮像画像にトレイＴＲの上に置かれた組立指示書（図１５参照）が含まれている場合、第１撮像画像と第２撮像画像を解析して、その組立指示書に示されたユニット番号を情報として読み取る。画像解析部４４０は、読み取った情報を組立順テーブル抽出部５４０に送信する。

組立順テーブル抽出部５４０は、画像解析部５３０から送信された情報に基づいて、組立順記憶部５１０からその情報に対応する組立順テーブル５０を抽出る。例えば、画像解析部５３０からユニット番号が送信された場合、ユニット番号に対応する組立順テーブル５０を抽出する。組立順テーブル抽出部５４０は、組立順テーブル５０を抽出すると、抽出した組立順テーブル５０を次箇所特定部５６０に送信する。

動作検出部５５０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像を受信して、トレイＴＲからの電子部品の回路基板への載置動作を検出する。動作検出部５５０は、載置動作の検出を、載置を行う手指の動作を示す画像の検出に基づいて行う。例えば、動作検出部５５０は、手指が電子部品をつまむ動作を示す画像を検出した場合、トレイＴＲからの電子部品の回路基板への載置動作があったと判断する。動作検出部５５０は、トレイＴＲからの電子部品の回路基板への載置動作を検出した場合、検出した旨を次箇所特定部５６０に送信する。

次箇所特定部５６０は、載置動作を検出した旨を動作検出部５５０から受信すると、テーブル記憶部５２０を参照して割当テーブルを抽出し、割当テーブルと組立順テーブル５０との関係に基づいて、トレイＴＲ上の載置動作が検出された箇所の次に載置される電子部品のトレイＴＲ上の箇所を特定する。具体的には、次箇所特定部５６０は、割当テーブルにおける１Ａの領域（図７参照）に対応する箇所に対し最初の載置動作が検出された場合、部品番号「Ｋ０００１」の電子部品が回路基板に載置されると判断できる。そして、組立順テーブル５０を参照すると、次に載置される電子部品は、部品番号「Ｋ０００３」の電子部品であるため（図１３参照）、割当テーブルにおける３Ａの領域（図７参照）に対応する箇所を特定する。次箇所特定部５６０は、次の箇所を特定すると、特定した次の箇所に所定の投影画像を投影させる指示を投影部１００に送信する。所定の投影画像は、例えば電子部品を示すマークの投影である。当該マークとしては、例えば電子部品の形状を示す画像であったり、電子部品の名を示す文字であったり、電子部品に対応するシンボルが利用される。

これにより、投影部１００は、トレイＴＲ上の載置動作が検出された箇所の次に載置される電子部品のトレイＴＲ上の箇所に所定の投影画像を投影する。したがって、作業者がトレイＴＲにおける任意の箇所から電子部品を回路基板に載置すると、投影部１００から次に回路基板に載置する電子部品が収容された箇所に投影画像が投影される。このため、作業者は電子部品の組立順序を誤らずに作業することができる。

次に、図１４乃至図１６を参照して、載置支援装置５００の動作について説明する。

図１４は、載置支援装置５００の動作の一例を示すフローチャートである。図１５は、組立指示書が置かれたトレイＴＲの一例を示す図である。図１６は、載置動作を検出した箇所の次の箇所に画像が投影される様子を説明するための図である。

第１撮像部２００が第１の視野Ｖ１内を撮像し、第２撮像部３００は第２の視野Ｖ２内を撮像すると、画像解析部４４０には、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像が入力される。

ここで、画像解析部５３０は、ユニット番号とトレイ番号を撮像したか否かを判断する（ステップＳ２０１）。望ましくは、画像解析部５３０は、ユニット番号とトレイ番号を同時に撮像したか否かを判断する。例えば、図１５に示すように、組立指示書が２つ折りにされてトレイＴＲ上に置かれている場合、画像解析部５３０は、文字認識処理により文字「ユニット番号」及び文字「トレイ番号」の双方を同時に認識することができる。画像解析部５３０は、文字「ユニット番号」及び文字「トレイ番号」の双方を認識するまで待機し（ステップＳ２０１：ＮＯ）、文字「ユニット番号」及び文字「トレイ番号」の双方を認識した場合、ユニット番号とトレイ番号を撮像した判断する（ステップＳ２０１：ＹＥＳ）。トレイ番号を認識できたことで、トレイＴＲが投影面１０に置かれていると判断できる。尚、ユニット番号とトレイ番号が撮像された場合、電子装置の組立作業を開始するため、作業者にはトレイＴＲから組立指示書を取り除くことが要求される。

ステップＳ２０１の処理が完了すると、次いで、画像解析部５３０は。文字「ユニット番号」の右隣りに５桁の数値で表されたユニット番号「３４８２９」を読み取る（ステップＳ２０２）。尚、バーコードに対して画像認識処理を実行してバーコードに対応するユニット番号を読み取るようにしてもよい。

画像解析部５３０がユニット番号を読み取ると、次いで、組立順テーブル抽出部５４０は、組立順記憶部５１０からユニット番号に応じた組立順テーブル５０を抽出する（ステップＳ２０３）。組立順テーブル抽出部５４０が組立順テーブル５０を抽出すると、次いで、次箇所特定部５６０は、組立順テーブルの部品番号の１つを読み取り、テーブル記憶部５２０（より詳しくは割当テーブル）から部品番号に対応する載置箇所の次の載置箇所を特定する（ステップＳ２０４）。ステップＳ２０４の処理が最初に実行される場合には、組立順序「１」の部品番号を読み取り、ステップＳ２０４の処理が２回目以降に実行される場合には、直近に処理を終えた組立順序の次の組立順序の部品番号を読み取る。

次箇所特定部５６０は、テーブル記憶部５２０における割当テーブルを参照し、全部品が使用されているか否かを判断する（ステップＳ２０５）。例えば、トレイＴＲから回路基板への載置動作が繰り返されることにより、トレイＴＲから電子部品が徐々に減っていき、最終的にトレイＴＲには電子部品が残らなくなる。次箇所特定部５６０は、割当テーブルを参照する度に各領域の電子部品の数を計数し、全部品が使用されているか否かを判断する。

次箇所特定部５６０は、全部品が使用されていないと判断した場合（ステップＳ２０５：ＮＯ）、特定した載置箇所に所定の画像を投影部１００に投影させる（ステップＳ２０６）。これにより、図１６（ａ）に示すように、最初に回路基板に載置される部品番号「Ｋ０００１」の電子部品Ｚ１の次に載置される部品番号「Ｋ０００３」の電子部品Ｚ３が載置されたトレイＴＲの箇所Ｘ３に所定の投影画像Ｗ３が投影される。これにより、作業者は回路基板に最初に取り付ける電子部品Ｚ１の次に回路基板に取り付ける電子部品Ｚ３を誤らずに認識することができる。

次いで、動作検出部５５０は、撮像画像から、特定した載置箇所に対する手指の動作を検出したか否かを判断する（ステップＳ２０７）。動作検出部５５０は、手指の動作を検出するまで待機を続け（ステップＳ２０７：ＮＯ）、手指の動作を検出すると（ステップＳ２０７：ＹＥＳ）、ステップＳ２０５の処理で全部品を使用し終えたと判断されない限り、ステップＳ２０４からステップＳ２０６の処理を繰り返す。これにより、図１６（ｂ）に示すように、部品番号「Ｋ０００３」の電子部品Ｚ３が載置されたトレイＴＲの箇所Ｘ３に手指ＦＧが移動して、部品番号「Ｋ０００３」の電子部品Ｚ３をつまむ動作を行うと、投影部１００は、部品番号「Ｋ０００６」の電子部品Ｚ６が載置されたトレイＴＲの箇所Ｘ６に所定の投影画像Ｗ６を投影する。同様に、図１６（ｃ）に示すように、部品番号「Ｋ０００６」の電子部品Ｚ６が載置されたトレイＴＲの箇所Ｘ６に手指ＦＧが移動して、部品番号「Ｋ０００６」の電子部品Ｚ６をつまむ動作を行うと、投影部１００は、部品番号「Ｋ０００１」の電子部品Ｚ１が載置されたトレイＴＲの箇所Ｘ１に所定の投影画像Ｗ１を投影する。

尚、図１５（ａ）乃至図１５（ｃ）においては、電子部品に対応するシンボルを表す画像を投影させているが、電子部品の形状を示す画像や電子部品の名を示す文字を投影させるようにしてもよい。

以上説明したように、第２実施形態によれば、回路基板に載置する電子部品が投影画像により次々と案内される。このため、作業者は当該案内に沿って電子部品を回路基板に載置していけば、誤った取付順序で電子部品を回路基板に取り付けることが防止される。すなわち、画像投影によりトレイから回路基板に電子部品を載置する作業が支援される。

（第３実施形態）
続いて、本件の第３実施形態について説明する。第３実施形態では、電子部品が載置された回路基板を利用して行われる。

図１７は、載置支援装置６００のブロック図の一例である。図１８は、マニュアルテーブル記憶部６１０の一例である。図１９は、基板記憶部６６０の一例である。
載置支援装置６００は、図１７に示すように、マニュアルテーブル記憶部６１０、画像解析部６２０、マニュアルテーブル特定部６３０、座標算出部６４０、手指位置判定部６５０、基板記憶部６６０及び基板ＩＤ特定部６７０を含んでいる。

マニュアルテーブル記憶部６１０は、電子装置の検査マニュアルに関するマニュアルテーブルを記憶する。マニュアルテーブルは、検査手引きの一例である。具体的には、図１８に示すように、マニュアルテーブル記憶部６１０は、マニュアルテーブル６０を記憶している。マニュアルテーブル６０は、マニュアルＩＤ、検査順、検査箇所、検査項目を構成要素としている。検査項目は、さらに検査箇所の位置座標を含んでいる。したがって、マニュアルＩＤ「１０１００１」によって検査される電子装置は、最初に位置座標（Ｘ１１，Ｙ１１）から位置座標（Ｘ１２，Ｙ１２）に載置された検査箇所「ファン」について、「１：４ヶ所ネジとめ」、「２：赤線ハンダつけ」、・・・、「ｎ−１：ケーブル差し込み」が検査項目として検査される。ファンについてこれらの検査項目に対する検査が終了すると、次に、チップ１の検査が行われ、以降、チップ２、ジャック差し込み、・・・の検査が行われる。

画像解析部６２０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像を解析して、撮像画像に含まれる情報を検出する。例えば、第１撮像画像と第２撮像画像に回路基板ＢＲＤ（図２１（ａ）参照）が含まれている場合、画像解析部６２０は、第１撮像画像と第２撮像画像を解析して、その回路基板ＢＲＤに付された基板ＩＤを情報として検出する。また、画像解析部６２０は、第１撮像画像と第２撮像画像を解析して、その回路基板ＢＲＤの形状を情報として検出する。画像解析部６２０は、検出した情報をマニュアルテーブル特定部６３０に送信する。画像解析部６２０は、検出した形状を基板ＩＤ特定部６７０に送信する。画像解析部６２０は、入力された第１撮像画像及び第２撮像画像を座標算出部６４０に送信する。

マニュアルテーブル特定部６３０は、画像解析部６２０から送信された情報に基づいて、マニュアルテーブル記憶部６１０からその情報に対応するマニュアルテーブル６０を特定する。例えば、画像解析部６２０から基板ＩＤが送信された場合、基板ＩＤに対応するマニュアルテーブル６０を特定する。マニュアルテーブル特定部６３０は、マニュアルテーブル６０を特定すると、特定したマニュアルテーブル６０を座標算出部６４０及び手指位置判定部６５０に送信する。

座標算出部６４０は、画像解析部６２０から送信された第１撮像画像及び第２撮像画像に基づいて、回路基板ＢＲＤの左下端を原点とした回路基板ＢＲＤ上の位置座標を算出する。回路基板ＢＲＤの左下端に凹みがある場合には、凹みが存在しないと仮定した回路基板ＢＲＤの左下端を原点とする。これにより、左下端を原点とした回路基板上の位置座標が特定される。さらに、座標算出部６４０は、受信したマニュアルテーブル６０の位置座標と算出した位置座標とを対応付ける。これにより、検査箇所の位置座標と回路基板ＢＲＤ上の位置座標が対応付けられる。座標算出部６４０は、対応付けを終えると、検査手順が最初の検査箇所に検査内容を表す画像を投影部１００に投影させる。これにより、投影部１００は、検査手順が最初の検査箇所に検査内容を表す画像を投影する。

手指位置判定部６５０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像を取得して、第１撮像画像及び第２撮像画像に特定の被写体としての手指が含まれていれば、回路基板ＢＲＤ上で手指が指し示した位置座標を判定する。手指位置判定部６５０は、判定した結果、検査箇所に対応していれば、マニュアルテーブル６０に基づいて、検査手順が次である検査箇所に検査内容を表す画像を投影部１００に投影させる。これにより、次に確認すべき検査箇所に検査内容を表す画像が投影され、作業者による検査誤りを回避することができる。

基板記憶部６６０は、回路基板ＢＲＤに形状に関する情報を記憶する。具体的には、図１９に示すように、基板記憶部６６０は、基板テーブル７０を記憶している。基板テーブル７０は、基板ＩＤ、基板形状、サイズ、凹み位置及び凹みサイズを構成要素としている。すなわち、回路基板ＢＲＤの形状毎に識別情報が割り当てられており、回路基板ＢＲＤの形状が矩形でない場合には、矩形の一部が凹んでいると定め、その凹んだ位置を凹み位置としてサイズとともに特定している。

基板ＩＤ特定部６７０は、画像解析部６２０から送信された形状に基づいて、基板記憶部６６０からその形状に対応する基板ＩＤを特定する。基板ＩＤ特定部６７０は、基板ＩＤを特定すると、特定した基板ＩＤをマニュアルテーブル特定部６３０に送信する。

次に、図２０乃至図２３を参照して、載置支援装置６００の動作について説明する。

図２０は、載置支援装置６００の動作の一例を示すフローチャートである。図２１は、回路基板ＢＲＤを撮像する様子の一例を説明するための図である。図２２は、検査内容を表す画像が投影されている様子の一例を説明するための図である。図２３は、載置支援装置６００の一部の動作の一例を示すフローチャートである。

第１撮像部２００が第１の視野Ｖ１内を撮像し、第２撮像部３００は第２の視野Ｖ２内を撮像すると、画像解析部６２０には、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像が入力される。

ここで、画像解析部６２０は、回路基板ＢＲＤを撮像したか否かを判断する（ステップＳ３０１）。例えば、画像解析部４４０は、第１撮像画像及び第２撮像画像を解析して、ＯＣＲ処理といった文字認識処理により文字「基板ＩＤ」が第１撮像画像及び第２撮像画像に含まれていれば、回路基板ＢＲＤを撮像したと判断する（ステップＳ３０１：ＹＥＳ）。逆に、文字「基板ＩＤ」が第１撮像画像及び第２撮像画像に含まれていなければ、回路基板ＢＲＤ以外の対象物ＯＢを撮像したと判断する（ステップＳ３０１：ＮＯ）。画像解析部６２０は、回路基板ＢＲＤを撮像したと判断した場合、文字「基板ＩＤ」の右隣りに６桁の数値で表された基板ＩＤ「１０１００１」を検出する（ステップＳ３０２）。尚、バーコードに対して画像認識処理を実行してバーコードに対応する基板ＩＤを検出するようにしてもよい。

画像解析部６２０が基板ＩＤを検出すると、次いで、マニュアルテーブル特定部６３０は、マニュアルテーブル記憶部６１０から基板ＩＤに応じたマニュアルテーブルを特定する（ステップＳ３０３）。ステップＳ３０３の処理が完了すると、座標算出部６４０は、回路基板の左下端を原点とした位置座標を算出し（ステップＳ３０４）、マニュアルテーブルの検査箇所を示す位置座標と算出した位置座標とを対応付ける（ステップＳ３０５）。座標算出部６４０は、ステップＳ３０５の処理を終えると、検査手順が最初の検査箇所に検査内容を表す画像を投影させる（ステップＳ３０６）。これにより、図２２（ａ）に示すように、検査手順が最初の検査箇所に検査内容を表す画像Ｗ７が投影される。

次いで、手指位置判定部６５０は、手指が指し示した位置座標を判定し（ステップＳ３０７）、手指の位置座標が検査箇所に対応しているか否かを判断する（ステップＳ３０８）。回路基板ＢＲＤの位置座標は算出されているため、ステップＳ３０７で判定した手指の位置座標が検査項目の位置座標に対応していれば、手指位置判定部６５０は、手指の位置座標が検査箇所に対応していると判断する（ステップＳ３０８：ＹＥＳ）。一方、ステップＳ３０７で判定した手指の位置座標が検査項目の位置座標に対応していなければ、手指位置判定部６５０は、手指の位置座標が検査箇所に対応していないと判断する（ステップＳ３０８：ＮＯ）。

手指の位置座標が検査箇所に対応していると判断された場合、手指位置判定部６５０は、次の検査箇所があるか否かを判断する（ステップＳ３０９）。手指位置判定部６５０にはマニュアルテーブル特定部６３０からマニュアルテーブル６０が送信されているため、手指位置判定部６５０はマニュアルテーブル６０に基づいて次の検査箇所があるか否かを判断する。手指位置判定部６５０は、次の検査箇所があると判断した場合（ステップＳ３０９：ＹＥＳ）、検査手順が次の検査場所に検査内容を表す画像を投影させる（ステップＳ３１０）。すなわち、図２２（ｂ）に示すように、手指ＦＧの位置座標が最初の検査箇所に対応している場合、検査内容を表す画像Ｗ８は、検査手順が次の検査場所に投影される。手指位置判定部６５０は、ステップＳ３１０の処理を終えると、ステップＳ３０７からステップＳ３０９の処理を繰り返す。そして、手指位置判定部６５０は、次の検査箇所がないと判断した場合（ステップＳ３０９：ＮＯ）、処理を終える。

このように、第３実施形態によれば、電子部品が回路基板に載置された電子装置を検査する際に、検査順序に沿って検査内容を表す画像が投影される。作業者が検査内容を表す画像が投影された検査箇所を手指で指定すれば、検査をしている又は検査を終えたと判断され、検査順序に沿った次の検査箇所に検査内容を表す画像が投影される。したがって、作業者は画像が投影された検査箇所を次に検査すればよいと判断でき、検査漏れを回避することができる。すなわち、画像投影により載置した電子部品の検査作業が支援される。

以上説明した処理では、基板ＩＤを利用してマニュルテーブルを特定したが、回路基板ＢＲＤの形状を利用してから基板ＩＤを特定し、特定した基板ＩＤを利用してマニュルテーブル６０を特定してもよい。例えば、回路基板ＢＲＤに基板ＩＤが付与されていなくても、基板記憶部６６０に基板テーブル７０が記憶されていれば、回路基板ＢＲＤの形状から基板ＩＤを特定することができる。以下の説明では、回路基板ＢＲＤの形状を利用して基板ＩＤを特定する処理について説明する。

まず、図２３に示すように、上述した画像解析部６２０がステップＳ３０１の処理を終えると、撮像画像を解析して回路基板ＢＲＤの形状を検出する（ステップＳ４０１）。図２１（ｂ）に示すように、投影面１０に回路基板ＢＲＤが置かれれば、回路基板ＢＲＤは第１撮像部２００及び第２撮像部３００により撮像されるため、第１撮像画像及び第２撮像画像を通じて回路基板ＢＲＤの形状が検出される。検出した形状は基板ＩＤ特定部６７０に送信され、次いで、基板ＩＤ特定部６７０は、検出された基板の形状に基づいて、基盤記憶部６６０から形状に応じた基板ＩＤを特定する（ステップＳ４０２）。特定した基板ＩＤはマニュアルテーブル特定部６３０に送信され、マニュアルテーブル特定部６３０は、マニュアルテーブル記憶部６１０から基板ＩＤに応じたマニュアルテーブル６０を特定する（ステップＳ４０３）。ステップＳ４０３の処理が終了すると、座標算出部６４０がステップＳ３０４の処理を実行する。ステップＳ３０５以降の処理については、図１９を参照して説明したとおりである。このような処理によっても、上述したように、作業者は画像が投影された検査箇所を次に検査すればよいと判断でき、検査漏れを回避することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述した実施形態では、電子部品を用いて説明したが機械部品（例えばネジやボルト等）を用いてもよい。また、特定の被写体として手指ＦＧの場合を説明したが、例えば筆記具を含む棒状の部材であってもよい。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、前記撮像対象物からの物品の載置動作を検出し、物品の載置手順を記憶した記憶部を参照して、前記撮像対象物上の前記載置動作が検出された箇所の次に載置される物品の前記撮像対象物上の箇所を特定し、前記撮像対象物のうち、特定した前記箇所に対して投影を実行する、処理を含むことを特徴とする載置支援方法。
（付記２）前記載置動作の検出は、載置を行う指の動作を示す画像の検出に基づいて行われる、ことを特徴とする付記１記載の載置支援方法。
（付記３）前記投影は、次に載置される物品の前記撮像対象物上の箇所に対する特定の物品を示すマークの投影である、ことを特徴とする付記１又は２に記載の載置支援方法。
（付記４）前記マークは、前記特定の物品の形状を示す画像、又は、前記特定の物品の名を示す文字、又は、前記特定の物品に対応するシンボルである、ことを特徴とする付記３に記載の載置支援方法。
（付記５）第１撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、組立単位毎に物品を記憶した第１記憶部から前記第１撮像対象物で定められた物品を特定し、第２撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、物品の載置箇所を前記第２撮像対象物毎に記憶した第２記憶部から、撮像した前記第２撮像対象物に対応する載置箇所を特定し、特定した前記載置箇所に対して、特定した前記物品に関する画像の投影を実行する、処理を含むことを特徴とする載置支援方法。
（付記６）物品を載置した撮像対象物を撮像して得られた撮像画像を解析して、前記撮像対象物を識別する情報を検出し、前記情報を利用して前記撮像対象物に対する検査手引きを記憶した記憶部を参照し、前記撮像対象物に応じた検査手引きを特定し、特定した前記検査手引きで示された検査箇所と前記撮像対象物上の位置とを対応付け、前記物品に対する特定の被写体の動作が検出された場合に、検査内容を表す画像の投影を実行する、処理を含むことを特徴とする載置支援方法。
（付記７）撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、前記撮像対象物からの物品の載置動作を検出し、物品の載置手順を記憶した記憶部を参照して、前記撮像対象物上の前記載置動作が検出された箇所の次に載置される物品の前記撮像対象物上の箇所を特定し、前記撮像対象物のうち、特定した前記箇所に対して投影を実行する、処理をコンピュータに実行させることを特徴とする載置支援プログラム。
（付記８）撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、前記撮像対象物からの物品の載置動作を検出する解析手段と、物品の載置手順を記憶した記憶部を参照して、前記撮像対象物上の前記載置動作が検出された箇所の次に載置される物品の前記撮像対象物上の箇所を特定する特定手段と、前記撮像対象物のうち、特定した前記箇所に対して投影を実行させる投影手段と、を備えることを特徴とする載置支援装置。
（付記９）前記載置動作の検出は、載置を行う指の動作を示す画像の検出に基づいて行われる、ことを特徴とする付記８記載の載置支援装置。
（付記１０）前記投影は、次に載置される物品の前記撮像対象物上の箇所に対する特定の物品を示すマークの投影である、ことを特徴とする付記８又は９に記載の載置支援装置。
（付記１１）前記マークは、前記特定の物品の形状を示す画像、又は、前記特定の物品の名を示す文字、又は、前記特定の物品に対応するシンボルである、ことを特徴とする付記１０に記載の載置支援装置。

Ｓ載置支援システム
１００投影部
２００第１撮像部
３００第２撮像部
４００，５００，６００載置支援装置

Claims

撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、前記撮像対象物からの物品の載置動作を検出し、
物品の載置手順を記憶した記憶部を参照して、前記撮像対象物上の前記載置動作が検出された箇所の次に載置される物品の前記撮像対象物上の箇所を特定し、
前記撮像対象物のうち、特定した前記箇所に対して投影を実行する、
処理を含むことを特徴とする載置支援方法。
前記載置動作の検出は、載置を行う指の動作を示す画像の検出に基づいて行われる、
ことを特徴とする請求項１記載の載置支援方法。
前記投影は、次に載置される物品の前記撮像対象物上の箇所に対する特定の物品を示すマークの投影である、
ことを特徴とする請求項１又は２に記載の載置支援方法。
前記マークは、前記特定の物品の形状を示す画像、前記特定の物品の名を示す文字、又は前記特定の物品に対応するシンボルである、
ことを特徴とする請求項３に記載の載置支援方法。
第１撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、組立単位毎に物品を記憶した第１記憶部から前記第１撮像対象物で定められた物品を特定し、
第２撮像対象物を撮像装置で撮像して得られた撮像画像を解析して、物品の載置箇所を前記第２撮像対象物毎に記憶した第２記憶部から、撮像した前記第２撮像対象物に対応する載置箇所を特定し、
特定した前記載置箇所に対して、特定した前記物品に関する画像の投影を実行する、
処理を含むことを特徴とする載置支援方法。
物品を載置した撮像対象物を撮像して得られた撮像画像を解析して、前記撮像対象物を識別する情報を検出し、
前記情報を利用して前記撮像対象物に対する検査手引きを記憶した記憶部を参照し、前記撮像対象物に応じた検査手引きを特定し、
特定した前記検査手引きで示された検査箇所と前記撮像対象物上の位置とを対応付け、
前記物品に対する特定の被写体の動作が検出された場合に、検査内容を表す画像の投影を実行する、
処理を含むことを特徴とする載置支援方法。