JP2007010620A - ねじ部検査装置及びねじ部検査方法 - Google Patents

Abstract

【課題】 物体に設けられるねじ部を画像処理により検査するための装置及び方法において、ねじ部が適正な状態にあるか否かを高精度かつ短時間で検査できるようにする。
【解決手段】 ねじ部検査装置１０は、物体に設けられるねじ部を画像処理により検査するものであって、ねじ部の中心軸線に対し傾斜した方向から、物体のねじ部を含む領域を撮影して、物体の２次元画像を取得する撮像部１２と、撮像部１２によって取得された２次元画像におけるねじ部の画像データに、フィルタ処理を施す画像処理部１４と、フィルタ処理を施したねじ部の出力画像データに基づき、ねじ部にねじが存在するか否かを判定するねじ判定部１６とを備える。画像処理部１４が行なうフィルタ処理は、エッジ検出処理を含み、ねじ部の出力画像データは、ねじ部におけるエッジデータを含む。
【選択図】 図１

Description

本発明は、物体に設けられるねじ部を画像処理により検査するための装置及び方法に関する。

生産システムにおいて、生産効率や安全性の向上等の目的で、ワークや周辺機器等の作業環境に関する画像データを取得して適当な画像処理を行なうことは知られている。例えば、自動車の生産ラインにおいて、車体を構成する板金部材に、他の様々な部品を取り付けるためのナットを固定する溶接工程が実施される場合には、他部品取付工程に移行する前に、板金部材の所要箇所にナットが確実に固定されているか否かを検査する必要がある。このような場合に、ナットが固定されているべき板金部材上の所定領域の二次元画像を取得して適宜画像処理することにより、所定領域内でのナットの有無を検査することができる。この種の生産システムは、例えば、画像処理機能を有するロボットシステムを用いて構築できる。

上記したナット溶接工程では、板金部材に予め形成したナット用の貫通穴に対し、ナットの雌ねじを略同心状に整合配置した状態で、ナットを板金部材に溶接する。この場合、一般に、板金部材の貫通穴は、ナットの雌ねじの直径よりも幾分大きな直径を有して形成される。このような板金部材に対し、ナットが確実に固定されているか否かを画像処理により検査する従来のナット検査方法では、まず、撮像装置をその光軸が板金表面に直交する（すなわちナット用貫通穴の中心軸線に平行する）姿勢に設置して、板金部材上のナット用貫通穴を正面から観察、撮影する。そして、撮影した穴の直径を画像処理により計測し、ナットが板金部材に適正に固定されているか否かを、計測した穴の直径の相違に基づいて判定する。

なお、上記した従来のナット検査方法は、当業界で知られているものであるが、これを記載した特許文献等の先行技術文献は、本願出願時において発見できなかった。

上記した従来のナット検査方法では、板金部材に形成された貫通穴の直径とナットの雌ねじの直径との差が、一般に僅かであるから、検査精度を向上させるためには、画像処理により計測した穴の直径の相違を明確に判別できる程度まで、撮像装置の視野を小さく設定する必要があった。他方、自動車の車体においては、１枚の板金部材に複数のナットが溶接されている箇所があるが、視野を小さく設定した撮像装置でそのような板金部材上の複数のナットの有無を検査しようとすると、個々のナット用貫通穴の正面に１台ずつ撮像装置を用意しなければならなくなる場合がある。この場合、全てのナット用貫通穴に対してナットの有無を検査するためには、ナット用貫通穴の個数と同じ台数の撮像装置が必要になり、生産システムのコスト増加を招くことが危惧される。或いは、１台の撮像装置を搭載したロボットを導入して、ロボットを動作させながら１台の撮像装置で複数のナット用貫通穴を１つずつ撮影することにより、全てのナット用貫通穴に対しナットの有無を順次に検査することもできる。しかしこの方法では、ロボットの動作に時間を要するので、全てのナット用貫通穴を検査するのに時間が掛かり、結果として生産サイクルタイムが増加する懸念がある。

このように、画像処理を用いた従来のナット検査方法では、検査精度を維持しつつ検査に要する時間を短縮することが困難であった。それ故、実際の自動車生産ラインでは、オペレータが目視でナットの有無を検査することも行なわれている。なお、画像処理を用いた撮像対象物の検査に関するこのような問題は、例えば、工作機械を用いたタップ立て加工において、素材に雌ねじが確実に形成されているか否かを、画像処理を用いて検査する場合にも顕現する。これは、タップにより形成した雌ねじに対する従来の検査方法が、雌ねじの中心軸線に平行に光軸を配置した撮像装置により雌ねじを正面から撮影して、撮影した雌ねじの直径の微小差に基づいて、雌ねじが適正に形成されているか否かを判定するものであって、そのような微小差を精度良く判定するためには撮像装置の視野を小さく設定せざるを得ないからである。したがって、ナット用貫通穴とナットとから構成されるねじ部や、タップにより形成した雌ねじからなるねじ部に対し、ねじ部が適正な状態にあるか否か（すなわち、ナットが確実に固定されているか否か、雌ねじが確実に形成されているか否か、等）の検査を、高精度かつ短時間で自動的に実施できるようにすることが望まれている。

本発明の目的は、物体に設けられるねじ部を画像処理により検査するための装置及び方法であって、ねじ部が適正な状態にあるか否かを、高精度かつ短時間で検査でき、以って生産システムのコスト増加を抑制できるねじ部検査装置及びねじ部検査方法を提供することにある。

上記目的を達成するために、請求項１に記載の発明は、物体に設けられるねじ部を画像処理により検査するねじ部検査装置において、ねじ部の中心軸線に対し傾斜した方向から物体のねじ部を含む領域を撮影して、物体の２次元画像を取得する撮像部と、撮像部によって取得された２次元画像におけるねじ部の画像データに、フィルタ処理を施す画像処理部と、フィルタ処理を施したねじ部の出力画像データに基づき、ねじ部にねじが存在するか否かを判定するねじ判定部とを具備することを特徴とするねじ部検査装置を提供する。

請求項２に記載の発明は、請求項１に記載のねじ部検査装置において、画像処理部が行なうフィルタ処理は、エッジ検出処理を含み、ねじ部の出力画像データは、ねじ部におけるエッジデータを含むねじ部検査装置を提供する。

請求項３に記載の発明は、請求項２に記載のねじ部検査装置において、ねじ判定部は、エッジ検出処理によって得られたエッジデータの情報量に基づいて、ねじ部にねじが存在するか否かを判定するねじ部検査装置を提供する。

請求項４に記載の発明は、請求項１〜３のいずれか１項に記載のねじ部検査装置において、撮像部が物体の前記領域を撮影する方向と実質的同一の方向から、ねじ部に光を照射する投光部をさらに具備するねじ部検査装置を提供する。

請求項５に記載の発明は、請求項１〜４のいずれか１項に記載のねじ部検査装置において、ねじ部は、物体に設けられる穴と、穴に雌ねじを整合配置して物体に固定されるナットとを含み、ねじ判定部は、ねじ部の出力画像データに基づき、ナットが穴に雌ねじを整合配置して物体に固定されているか否かを判定するねじ部検査装置を提供する。

請求項６に記載の発明は、物体に設けられるねじ部を画像処理により検査するねじ部検査方法において、ねじ部の中心軸線に対し傾斜した方向から物体のねじ部を含む領域を撮影して、物体の２次元画像を取得し、取得した２次元画像におけるねじ部の画像データに、フィルタ処理を施し、フィルタ処理を施したねじ部の出力画像データに基づき、ねじ部にねじが存在するか否かを判定することを特徴とするねじ部検査方法を提供する。

請求項７に記載の発明は、請求項６に記載のねじ部検査方法において、フィルタ処理は、エッジ検出処理を含み、ねじ部の出力画像データは、該ねじ部におけるエッジデータを含むねじ部検査方法を提供する。

請求項８に記載の発明は、請求項７に記載のねじ部検査方法において、エッジ検出処理によって得られたエッジデータの情報量に基づいて、ねじ部にねじが存在するか否かを判定するねじ部検査方法を提供する。

請求項９に記載の発明は、請求項６〜８のいずれか１項に記載のねじ部検査方法において、物体の前記領域を撮影するときに、撮影方向と実質的同一の方向から、ねじ部に光を照射するねじ部検査方法を提供する。

請求項１０に記載の発明は、請求項６〜９のいずれか１項に記載のねじ部検査方法において、ねじ部は、物体に設けられる穴と、穴に雌ねじを整合配置して物体に固定されるナットとを含み、ねじ部にねじが存在するか否かを判定することは、ねじ部の出力画像データに基づき、ナットが穴に雌ねじを整合配置して物体に固定されているか否かを判定することを含むねじ部検査方法を提供する。

請求項１に記載の発明によれば、撮像部が、ねじ部の中心軸線に対し傾斜した方向から物体のねじ部を含む領域を撮影することで、ねじ部のねじ（螺条）の山及び谷の２次元画像データを取得できる。この画像データに、画像処理部がフィルタ処理を施すことにより、ねじの山及び谷（又はいずれか一方）の画像を一層明確にした（つまり明暗のコントラストを強調した）出力画像データが得られる。そしてねじ判定部は、ねじの山及び谷（又はいずれか一方）が撮影されていると判断したときに、ねじ部にねじが存在すると判定することができる。このような構成によれば、撮像部が撮影したねじ部の画像が小さくても、ねじの存在を精度良く検査することができるので、撮像部の視野角を大きくした状態で使用することが可能になる。その結果、１つの撮像部による１回の撮像で、複数のねじ部を同時に観察して検査することができるので、複数のねじ部が適正な状態にあるか否かを、高精度かつ短時間で検査できるようになり、以って生産システムのコスト増加を抑制できる。

請求項２に記載の発明によれば、エッジ検出処理を行なうことにより、ねじ部の検査精度を一層向上させることができる。

請求項３に記載の発明によれば、ねじ部にねじが存在するか否かを安定して判定することができる。

請求項４に記載の発明によれば、ねじ部に光を照射することにより、ねじ部の検査精度を一層向上させることができる。

請求項５に記載の発明によれば、ナットが穴に雌ねじを整合配置して物体に固定されているか否かを、画像処理により自動的に判定することができる。

請求項６〜１０に記載の発明は、それぞれ、請求項１〜５に記載の発明と同等の作用効果を奏する。

以下、添付図面を参照して、本発明の実施の形態を詳細に説明する。全図面に渡り、対応する構成要素には共通の参照符号を付す。
図面を参照すると、図１は、本発明に係るねじ部検査装置１０の基本構成を示す機能ブロック図、図２は、ねじ部検査装置１０を用いたねじ部検査方法の一段階を模式図的に示す図である。ねじ部検査装置１０は、物体Ｍに設けられるねじ部Ｔを画像処理により検査するものであって、ねじ部Ｔの中心軸線Ｏに対し傾斜した方向から、物体Ｍのねじ部Ｔを含む領域を撮影して、物体Ｍの２次元画像を取得する撮像部１２と、撮像部１２によって取得された２次元画像におけるねじ部Ｔの画像データに、フィルタ処理を施す画像処理部１４と、フィルタ処理を施したねじ部Ｔの出力画像データに基づき、ねじ部Ｔにねじが存在するか否かを判定するねじ判定部１６とを備えて構成される。

上記構成を有するねじ部検査装置１０によれば、撮像部１２が、ねじ部Ｔの中心軸線Ｏに対し傾斜した方向から物体Ｍのねじ部Ｔを含む領域を撮影することで、ねじ部Ｔ（図２では雌ねじ）のねじの山及び谷の２次元画像データを取得できる。この画像データに、画像処理部１４がフィルタ処理を施すことにより、ねじの山及び谷（又はいずれか一方）の画像を一層明確にした（つまり明暗のコントラストを強調した）出力画像データが得られる。そしてねじ判定部１６は、ねじの山及び谷（又はいずれか一方）が撮影されていると判断したときに、ねじ部Ｔにねじが存在すると判定することができる。このような構成によれば、撮像部１２が撮影したねじ部Ｔの画像が小さくても、ねじの存在を精度良く検査することができるので、撮像部１２の視野角を大きくした状態で使用することが可能になる。その結果、１つの撮像部１２による１回の撮像で、複数のねじ部を同時に観察して検査することができるので、複数のねじ部が適正な状態にあるか否か（例えば自動車の板金部材に設けられる複数のねじ部にナットが正確に溶接されているか否か）を、高精度かつ短時間で検査できるようになり、以って生産システムのコスト増加を抑制できる。

図３は、上記基本構成を有する本発明の一実施形態によるねじ部検査装置２０の構成を模式図的に示す。図示実施形態によるねじ部検査装置２０は、画像処理機能を有するロボットシステムを採用したものであり、多関節型のロボット機構部２２（以下、ロボット２２と称する）と、ロボット２２に接続されてロボット２２の動作を制御するロボット制御装置２４と、ロボット２２の手首部に搭載される撮像装置２６と、撮像装置２６に接続されて撮像装置２６の動作を制御する画像処理装置２８とを備える。ロボット２２の手首部には、撮像装置２６に並置して、画像処理装置２８により動作制御される照明装置３０がさらに設置される。画像処理装置２８は、通信ケーブル３２を介してロボット制御装置２４に接続され、ロボット制御装置２４の指令下で、撮像装置２６による画像データの取得及び取得した画像データに対する所定の画像処理を実行して、その結果（出力画像データ）をロボット制御装置２４に返送する。

ねじ部検査装置２０における撮像装置２６及び画像処理装置２８は、図１のねじ部検査装置１０の撮像部１２及び画像処理部１４にそれぞれ対応する。また、図１のねじ部検査装置１０のねじ判定部１６の機能は、ねじ部検査装置２０におけるロボット制御装置２４又は画像処理装置２８が有することができる。

ねじ部検査装置２０の照明装置３０は、撮像装置２６が物体Ｍのねじ部Ｔを含む領域を撮影する方向と好ましくは実質的同一の方向から、ねじ部Ｔに光を照射する投光部として機能する。このような照明装置３０を用いることにより、撮像装置２６が撮像したねじ部Ｔの２次元画像のコントラスト（すなわちねじの山及び谷の明暗）が効果的に強調されるので、ねじ部Ｔを一層高精度に検査することができる。また、ねじ部検査装置２０の環境に左右されず、安定したねじ部検査を遂行できる利点がある。

照明装置３０としては、例えば、ＬＥＤを用いた同軸落斜型の照明装置、リング状ＬＥＤによる直接照射型の照明装置等を用いることができる。また、電球を用いた一般的構成を有する照明装置３０を、撮像装置２６の近傍に設置する形態であっても、実用上は問題無い。さらには、照明装置３０を省略して、ねじ部検査装置２０の周囲環境の自然光や室内光だけでも、ねじ部Ｔの２次元画像データを取得してフィルタ処理によりねじ部Ｔを検査することは可能である。

次に図４〜図６を参照して、ねじ部検査装置２０が実施する本発明に係るねじ部検査方法の一実施形態を説明する。図示実施形態では、ねじ部Ｔは、物体Ｍに設けられる穴（貫通穴）Ｈと、穴Ｈに雌ねじＩを略同心状に整合配置して物体Ｍに固定されるナットＮとを含んで構成される。物体Ｍは、例えば自動車の車体を構成する板金部材であり、１枚の板金部材に複数のねじ部Ｔ（穴Ｈ及びナットＮ）が設けられる場合がある。

撮像装置２６は、ねじ部Ｔの中心軸線Ｏ（或いは物体Ｍの表面（ナットＮとは反対側の面）Ｍａの法線）に対し傾斜した方向から、物体Ｍの表面Ｍａにおけるねじ部Ｔを含む領域を撮影して、物体Ｍの２次元画像を取得する。このとき、同じ方向から、照明装置３０が、物体Ｍの表面Ｍａにおけるねじ部Ｔを含む領域を照射する。それにより、ナットＮが物体Ｍに適正に固定されている場合（図４）には、物体Ｍの穴Ｈの開口縁並びにナットＮの雌ねじＩにおけるねじの山及び谷の２次元画像データが、撮像装置２６により確実に取得される。また、ナットＮが物体Ｍに適正に固定されていない場合（図５）には、物体Ｍの穴Ｈの開口縁の２次元画像データが、撮像装置２６により確実に取得される。そして、ねじ判定部１６（図１）を構成するロボット制御装置２４又は画像処理装置２８（図３）は、後述するような画像処理装置２８によるフィルタ処理を経たねじ部Ｔの出力画像データに基づき、ナットＮが穴Ｈに雌ねじＩを略同心状に整合配置して物体Ｍに固定されているか否かを判定する。

以下、図６に示すフローチャートに従って、ねじ部検査装置２０による上記したねじ部検査方法をさらに詳述する。
まず、ステップＳ１で、画像処理装置２８は、撮像装置２６に、物体Ｍの表面Ｍａにおけるねじ部Ｔを含む領域を撮影させて、物体Ｍの２次元画像を取得する。次にステップＳ２で、画像処理装置２８は、取得した２次元画像にフィルタ処理を施す。ここで撮像装置２６は、ねじ部Ｔを斜め方向から見ているので、フィルタ処理の対象となる穴Ｈ及び雌ねじＩの画像データは、画面上では楕円形の輪郭を有するものとなる。

物体Ｍには、ねじ部Ｔ以外の様々な穴や類似物が設けられている場合がある。そこで、フィルタ処理の対象として、穴Ｈ及び雌ねじＩの画像データを特定することが必要になる。その手法としては、予めオペレータが、撮像装置２６の映像を表示する画面上での複数の楕円形輪郭の位置及び寸法を設定して、画像処理装置２８に入力しておく手法を採用できる。或いは、付加的な画像処理機能によって、実際の撮像データから画面上で穴Ｈ及び雌ねじＩの楕円形輪郭のデータを抽出して、その抽出データに対応する画像を処理対象とする手法も採用できる。後者の手法によれば、撮像装置２６と物体Ｍとの距離の変動により画面上でのねじ部Ｔの位置及び寸法が変化した場合にも、的確に対応できる。

画像処理装置２８が行なうフィルタ処理は、エッジ検出処理を含むことが有利である。この場合、フィルタ処理によって得られた出力画像データは、ねじ部Ｔにおけるエッジデータを含むものとなる。エッジ検出処理用のフィルタとしては、ロバーツ（Ｒｏｂｅｒｔｓ）、ソーベル（Ｓｏｂｅｌ）、ラプラシアン（Ｌａｐｌａｃｉａｎ）等で呼称されるフィルタを利用することができる。

次にステップＳ３で、ねじ判定部（ロボット制御装置２４又は画像処理装置２８）は、フィルタ処理を施した出力画像データから、エッジ検出処理によって得られたエッジデータを抽出し、エッジデータの情報量（例えばエッジを表示する画素の総数又は総面積）の多寡を判断するための評価値を計算で求める。この評価値としては、撮影したねじ部Ｔの画面上での面積に対するエッジの割合を用いることができる。例えば、濃度勾配（濃淡の変化量）が予め定めた閾値よりも大きい画素を、エッジ画像の画素と見なして、次式により評価値を計算する。
評価値＝濃度勾配が閾値よりも大きい画素の数÷ねじ部Ｔの画像の総画素数

そしてステップＳ４で、上記評価値を、予め設定されている基準値と比較する。ナットＮが物体Ｍに適正に固定されていれば（図４）、照明装置３０から照射された光がナットＮの雌ねじを照らして乱反射するので、撮像装置２６が取得した画像データは、雌ねじの螺条に対応する複数の楕円形の明るい縞模様のデータを含む。これに対し、ナットＮが物体Ｍに適正に固定されていない場合（図５）には、照明３０から照射された光が穴Ｈを通過するので、撮像装置２６が取得した画像データは、穴Ｈの一様に暗い領域のデータを含む。したがって、上記した評価値が予め定めた基準値よりも大きい場合には、ナットＮ（すなわち雌ねじ）が存在すると判定し、評価値が基準値よりも小さい場合には、ナットＮ（すなわち雌ねじ）が存在しないと判定する。

このように、ねじ部検査装置２０によれば、前述したねじ部検査装置１０に関連して説明した格別の作用効果が奏される。特に、ロボット２２に搭載する撮像装置２６の台数や、ねじ部Ｔの撮像ステップにおけるロボット２２の移動回数を、著しく削減できる利点がある。

本発明に係るねじ部検査装置の基本構成を示す機能ブロック図である。 図１のねじ部検査装置によって行なわれるねじ部検査方法の一段階を模式図的に示す図である。 本発明の一実施形態によるねじ部検査装置の構成を模式図的に示す図である。 本発明の一実施形態による図３のねじ部検査装置によって行なわれる本発明の一実施形態によるねじ部検査方法の一段階を模式図的に示す図である。 本発明の一実施形態によるねじ部検査方法の他の段階を模式図的に示す図である。 本発明の一実施形態によるねじ部検査方法のねじ判定手順を示すフローチャートである。

符号の説明

１０、２０ ねじ部検査装置
１２ 撮像部
１４ 画像処理部
１６ ねじ判定部
２２ ロボット
２４ ロボット制御装置
２６ 撮像装置
２８ 画像処理装置
３０ 照明装置

Claims (10)

1. 物体に設けられるねじ部を画像処理により検査するねじ部検査装置において、
   前記ねじ部の中心軸線に対し傾斜した方向から前記物体の該ねじ部を含む領域を撮影して、該物体の２次元画像を取得する撮像部と、
   前記撮像部によって取得された前記２次元画像における前記ねじ部の画像データに、フィルタ処理を施す画像処理部と、
   前記フィルタ処理を施した前記ねじ部の出力画像データに基づき、前記ねじ部にねじが存在するか否かを判定するねじ判定部と、
   を具備することを特徴とするねじ部検査装置。
2. 前記画像処理部が行なう前記フィルタ処理は、エッジ検出処理を含み、前記ねじ部の前記出力画像データは、該ねじ部におけるエッジデータを含む、請求項１に記載のねじ部検査装置。
3. 前記ねじ判定部は、前記エッジ検出処理によって得られた前記エッジデータの情報量に基づいて、前記ねじ部にねじが存在するか否かを判定する、請求項２に記載のねじ部検査装置。
4. 前記撮像部が前記物体の前記領域を撮影する方向と実質的同一の方向から、前記ねじ部に光を照射する投光部をさらに具備する、請求項１〜３のいずれか１項に記載のねじ部検査装置。
5. 前記ねじ部は、前記物体に設けられる穴と、該穴に雌ねじを整合配置して該物体に固定されるナットとを含み、前記ねじ判定部は、前記ねじ部の前記出力画像データに基づき、前記ナットが前記穴に前記雌ねじを整合配置して前記物体に固定されているか否かを判定する、請求項１〜４のいずれか１項に記載のねじ部検査装置。
6. 物体に設けられるねじ部を画像処理により検査するねじ部検査方法において、
   前記ねじ部の中心軸線に対し傾斜した方向から前記物体の該ねじ部を含む領域を撮影して、該物体の２次元画像を取得し、
   前記取得した２次元画像における前記ねじ部の画像データに、フィルタ処理を施し、
   前記フィルタ処理を施した前記ねじ部の出力画像データに基づき、前記ねじ部にねじが存在するか否かを判定すること、
   を特徴とするねじ部検査方法。
7. 前記フィルタ処理は、エッジ検出処理を含み、前記ねじ部の前記出力画像データは、該ねじ部におけるエッジデータを含む、請求項６に記載のねじ部検査方法。
8. 前記エッジ検出処理によって得られた前記エッジデータの情報量に基づいて、前記ねじ部にねじが存在するか否かを判定する、請求項７に記載のねじ部検査方法。
9. 前記物体の前記領域を撮影するときに、撮影方向と実質的同一の方向から、前記ねじ部に光を照射する、請求項６〜８のいずれか１項に記載のねじ部検査方法。
10. 前記ねじ部は、前記物体に設けられる穴と、該穴に雌ねじを整合配置して該物体に固定されるナットとを含み、前記ねじ部にねじが存在するか否かを判定することは、前記ねじ部の前記出力画像データに基づき、前記ナットが前記穴に前記雌ねじを整合配置して前記物体に固定されているか否かを判定することを含む、請求項６〜９のいずれか１項に記載のねじ部検査方法。

Images