JP7367408B2 - 外観検査方法及び外観検査装置 - Google Patents

Description

本発明は、被検査物の外観を自動的に検査する方法及び装置に関する。

従来から、タイヤ等の被検査物の外観を検査する技術が種々検討されている（例えば、特許文献１参照）。

特開２０１８－１０５６９９号公報

そして、上記外観の検査においては、検査精度のさらなる向上が期待されている。

本発明は、以上のような実状に鑑み案出されたもので、高精度に外観不良を検出できる外観検査方法及び外観検査装置を提供することを主たる目的としている。

本発明の第１発明は、被検査物の外観を検査する方法であって、複数の前記被検査物を撮像して画像を取得する撮像工程と、ワンクラス学習のアルゴリズムを用いて、前記画像を予め定められた基準内の良品推定画像と基準外の不良品推定画像とに選別する第１選別工程と、オブジェクト検出のアルゴリズムを用いて、前記不良品推定画像から欠陥の特徴を抽出し、前記画像内で前記特徴を検索することにより、前記被検査物から不良品を検出する第２選別工程とを含む。

本発明に係る前記外観検査方法において、前記第２選別工程では、前記特徴が前記欠陥の種別毎に分類して蓄積される、ことが望ましい。

本発明に係る前記外観検査方法において、前記第２選別工程では、前記第１選別工程で前記良品推定画像として選別された後、前記第２選別工程で前記不良品として検出された前記被検査物の前記画像から抽出された前記特徴が蓄積される、ことが望ましい。

本発明に係る前記外観検査方法において、前記被検査物は、タイヤである、ことが望ましい。

本発明に係る前記外観検査方法において、前記撮像工程では、サイドウォール部での環状の撮像領域が撮像される、ことが望ましい。

本発明に係る前記外観検査方法において、前記撮像工程では、前記撮像領域が帯状に変換される、ことが望ましい。

本発明の第２発明は、被検査物の外観を検査する装置であって、複数の前記被検査物を撮像して画像を取得する撮像部と、前記画像を記憶する記憶部と、ワンクラス学習のアルゴリズムを用いて、前記画像を予め定められた基準内の良品推定画像と基準外の不良品推定画像とに選別する第１選別部と、オブジェクト検出のアルゴリズムを用いて、前記不良品推定画像から欠陥の特徴を抽出し、前記画像内で前記特徴を検索することにより、前記被検査物から不良品を検出する第２選別部とを含む。

本発明に係る前記外観検査装置において、前記第２選別部は、前記特徴を前記欠陥の種別毎に分類し、前記記憶部は、前記特徴を前記種別毎に蓄積する、ことが望ましい。

本発明に係る前記外観検査装置において、前記撮像部は、２Ｄカメラを含む、ことが望ましい。

本発明に係る前記外観検査装置において、前記撮像部は、３Ｄカメラを含む、ことが望ましい。

本第１発明の前記外観検査方法は、前記ワンクラス学習の前記アルゴリズムを用いる前記第１選別工程と、前記オブジェクト検出の前記アルゴリズムを用いる前記第２選別工程とを含んでいる。前記第１選別工程では、前記撮像工程で取得された前記画像が前記良品推定画像又は前記不良品推定画像に選別される。前記第２選別工程では、前記不良品推定画像から前記欠陥の前記特徴が抽出される。さらに、前記画像内で前記特徴が検索され、前記被検査物における前記欠陥の有無が判定される。これにより、前記被検査物から精度よく前記不良品が検出される。

本第１発明では、検査の進展に伴い撮像された前記画像が蓄積されるに従い、前記第１選別工程で得られる前記不良品推定画像が増加し、前記第２選別工程で抽出される前記欠陥の前記特徴も自動的に増加する。従って、数多くの前記被検査物を検査することにより、前記不良品の検出精度が容易に向上する。

本第２発明の前記外観検査装置は、前記ワンクラス学習の前記アルゴリズムを用いる前記第１選別部と、前記オブジェクト検出の前記アルゴリズムを用いる前記第２選別部とを含んでいる。前記第１選別部は、前記撮像部で取得された前記画像を前記良品推定画像又は前記不良品推定画像に選別する。前記第２選別部は、前記不良品推定画像から前記欠陥の前記特徴を抽出する。さらに、前記第２選別部は、前記画像内で前記特徴を検索し、前記被検査物における前記欠陥の有無を判定する。これにより、前記被検査物から精度よく前記不良品が検出される。

本第２発明では、検査の進展に伴い撮像された前記画像が蓄積されるに従い、前記第１選別部で得られる前記不良品推定画像が増加し、前記第２選別部によって抽出される前記欠陥の前記特徴も自動的に増加する。従って、数多くの前記被検査物を検査することにより、前記不良品の検出精度が容易に向上する。

本第１発明の外観検査方法の一実施形態の処理手順の一例を示すフローチャートである。 本第２発明の外観検査装置の概略構成を示すブロック図である。 図２の演算部の概略構成を示すブロック図である。 ディープラーニングによって生成される学習モデルの一例を示す図である。 図１の第２選別工程で検出された欠陥の一例を示す図である。 図２のカメラによって撮像されるタイヤの撮像領域を示す図である。 帯状に変換された画像を示す図である。

以下、本発明の実施の一形態が図面に基づき説明される。
図１は、本第１発明の外観検査方法の一実施形態の処理手順の一例を示している。外観検査方法は、被検査物の外観を検査する方法である。被検査物の外観を検査するとは、被検査物の外観に欠陥（異常）が生じているか否かを判定することである。外観検査方法は、例えば、作業者の目視による検査と併用して又は作業者の目視による検査に替えて、実施される。

検査対象である被検査物は、特に限定されない。本実施形態では、被検査物としてタイヤ等の工業製品が適用されている。この場合、工業製品の生産ラインで本第１発明の外観検査方法が実施される。そして、外観に欠陥が生じていると判定された製品は、出荷されることなく廃棄、又は、欠陥が修理された後、出荷される。

以下、タイヤの外観検査について説明するが、他の工業製品の外観検査にあっては、タイヤを当該工業製品に置き換えて適用可能である。

外観検査方法は、撮像工程Ｓ１と、第１選別工程Ｓ２と、第２選別工程Ｓ３とを含んでいる。外観検査方法は、外観検査装置を用いて実行される。外観検査装置１は、被検査物の外観を検査する装置である。

図２は、外観検査装置１の概略構成を示している。外観検査装置１は、被検査物の外観を検査する装置である。外観検査装置１は、撮像部２と、演算部３とを含んでいる。演算部３には、例えば、コンピューター装置４が適用される。

撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えたカメラ２１を有している。カメラ２１は、被検査物１００としての複数のタイヤ１０１を撮像してその画像を取得する。より具体的には、カメラ２１は、タイヤ１０１によって反射等された光を電気信号に変換し、画像の電子データーを取得する。カメラ２１によって取得された画像データーは、コンピューター装置４に送信され、記憶される。

撮像部２には、カメラ２１の被写体であるタイヤ１０１を照らすための照明装置２２が必要に応じて設けられる。また、撮像部２には、搬送されたタイヤ１０１を位置決めし、回転させる装置（図示せず）が設けられている。カメラ２１、照明装置２２及び上記装置等は、例えば、コンピューター装置４によって制御される。

図３は、コンピューター装置４の概略構成を示している。コンピューター装置４は、各種の演算処理及び情報処理を実行する処理部４１と、処理部４１の動作を司るプログラム及び各種の情報が格納された記憶部４２、処理部４１に各種の指令や情報を入力するための入力部４３及び処理部４１による処理結果を出力するための出力部４４等を備えている。なお、本実施形態の処理部４１は、上述したカメラ２１及び照明装置２２等の制御も司っている。

処理部４１は、例えば、ＣＰＵ（Central Processing Unit）及びメモリによって構成されている。なお、処理部４１には、ＣＰＵに加えて又はＣＰＵに替えて、特定のデーター処理に秀でたＧＰＵ（Graphics Processing Unit）が適用されていてもよい。記憶部４２には、例えば、大容量のハードディスク駆動装置が適用される。

入力部４３には、キーボード及びマウス等のデバイス、及び、撮像部２と接続され撮像部２から画像データーの入力を受けるための装置が適用される。出力部４４には、例えば、ＬＣＤ（Liquid Crystal Display）等のディスプレイ装置が適用される。

コンピューター装置４には、他のコンピューター装置（図示せず）との間で、各種の情報（例えば、タイヤ１０１の外観検査に用いられる情報）を交換するための通信部（図示せず）が設けられていてもよい。通信部は、例えば、ＬＡＮ（Local Area Network）を介して他のコンピューター装置と接続されている。この場合、演算部３は、コンピューター装置４及び他のコンピューター装置を含むネットワークによって構成される。

以下、図１ないし３を参照して、外観検査方法の処理手順、すなわち、外観検査装置１の動作について説明する。

図１に示される撮像工程Ｓ１では、カメラ２１によって複数のタイヤ１０１が撮像され、その画像が電子データーとして取得される。撮像工程Ｓ１にて取得された画像データーは、コンピューター装置４に送信され、処理部４１によって記憶部４２に格納される。

第１選別工程Ｓ２及び第２選別工程Ｓ３は、コンピューター装置４の処理部４１によって実行される。

第１選別工程Ｓ２では、ワンクラス学習（One Class Support Vector Machine）のアルゴリズムを用いて、撮像工程Ｓ１で取得された画像が良品推定画像５０又は不良品推定画像５１に選別される。良品推定画像５０は、ワンクラス学習によって外観が良好であると推定されるタイヤ１０１の画像であり、例えば、記憶部４２の良品画像フォルダー５５に格納される。一方、不良品推定画像５１は、ワンクラス学習によって外観が良好ではないと推定されるタイヤ１０１の画像であり、例えば、記憶部４２の不良品画像フォルダー５６に格納される。

ワンクラス学習とは、教師なしで学習した良品の学習値からの離れ値（outliers）を検出するアルゴリズムであり、タイヤ１０１等の大多数が良品である工業製品の異常検査に好適な手法である。本実施形態では、例えば、良品タイヤの画像データーを学習することにより、上記学習値が取得される。画像データーの学習には、例えば、ディープラーニング（深層学習）の手法が用いられる。

図４は、ディープラーニングによって生成される学習モデルの一例を示している。本実施形態では、学習モデル７００は、処理部４１の演算によって生成され、記憶部４２に記憶されている。学習モデル７００は、例えば、コンピューター装置４の外部の他のコンピューター装置の演算によって生成され、コンピューター装置４に入力され、記憶部４２に記憶されるものであってもよい。

学習モデル７００は、例えば、複数の良品タイヤの画像データー７０１ａ、７０１ｂ、７０１ｃ、７０１ｄ、７０１ｅ…を入力層７０１として、良品の学習値７０３ａ、７０３ｂ、７０３ｃ、…を出力層７０３として、機械学習によって生成された中間層７０２によって定義される。

本実施形態の中間層７０２は、多段階に階層化された複数のニューロン（ノード）７０４と最適化された重み付け係数７０５（パラメーター）との組み合わせを含んでいる。各ニューロン７０４は、重み付け係数７０５によって接続されている。このような中間層７０２は、畳み込みニューラルネットワーク（Convolutional Neural Network）と称される。すなわち、本実施形態の学習モデル７００は、畳み込みニューラルネットワークを含んでいる。

第１選別工程Ｓ２では、ワンクラス学習を用いることにより良品の学習値７０３ａ、７０３ｂ、７０３ｃ、…からの離れ値が検出されるため、想定が困難な新規な（未学習の）欠陥も検出されうる。従って、多様な形態の不良品推定画像５１を容易に収集可能となる。

第２選別工程Ｓ３では、オブジェクト検出のアルゴリズムを用いて、不良品のタイヤ１０１が検出される。オブジェクト検出とは、検査対象の画像内で物体（本実施形態では欠陥）を検出するアルゴリズムである。オブジェクト検出には、例えば、畳み込みニューラルネットワークを含む学習モデルが適用される。

本実施形態の第２選別工程Ｓ３では、撮像工程Ｓ１にて取得された画像データー内で欠陥の特徴が検索される。欠陥の特徴は、第１選別工程Ｓ２で選別され、記憶部４２に格納されている不良品推定画像５１から抽出される。すなわち、処理部４１は、不良品推定画像５１から欠陥の特徴を抽出し、例えば、記憶部４２の欠陥フォルダー５７に格納する。なお、抽出される欠陥の特徴には、上記畳み込み処理によって人間が理解できない次元の特徴も含まれる。そして、処理部４１は、撮像工程Ｓ１にて取得された画像データーと欠陥の特徴とを照合することにより、画像データー内で欠陥を検索し、撮像されたタイヤ１０１から不良品を検出する。すなわち、画像データー内に欠陥が存在する場合、その画像データーの撮影元となったタイヤ１０１が不良品と判定される。

図５は、第２選別工程Ｓ３で検出された欠陥２００の一例である。本例では、タイヤ１０１のサイドウォール部１０２（図２参照）の一部に生じた欠陥２００が示されている。同図では、サイドウォール部１０２の表面に形成されている文字「Ｅ」の箇所に、ゴム流れ不良等に起因する外観上の欠陥２００が生じていることが確認される。また、タイヤサイズを示す表示「２０５／６０Ｒ１６」の近傍にも同様の欠陥２００が生じていることが確認される。本実施形態によれば、図５に示される欠陥２００のみならず、例えば、サイドウォール部１０２への異物混入等の欠陥も検出可能である。

タイヤ１０１等の工業製品では、通常、大多数が良品であって不良品の発生頻度は低い。このため、多様な欠陥２００の特徴を収集し、記憶部４２に格納することは一般に困難である。しかしながら、本実施形態では、検査の進展に伴い撮像工程Ｓ１でカメラ２１にて撮像された画像が蓄積されるに従い、第１選別工程Ｓ２で得られる不良品推定画像５１が増加し、第２選別工程Ｓ３で抽出され記憶部４２に蓄積される欠陥２００の特徴も増加する。従って、数多くのタイヤ１０１を検査することにより、不良品の検出精度が容易に向上する。

本実施形態では、第１選別工程Ｓ２において、処理部４１は、カメラ２１にて取得された画像を、ワンクラス学習のアルゴリズムを用いて良品推定画像５０と不良品推定画像５１とに選別する第１選別部として機能する。また、第２選別工程Ｓ３において、処理部４１は、オブジェクト検出のアルゴリズムを用いて、カメラ２１にて撮像されたタイヤ１０１から不良品を検出する第２選別部として機能する。すなわち、第１選別部及び第２選別部は、処理部４１及びその動作を司るソフトウェア等によって実現される。なお、ワンクラス学習のアルゴリズム及びオブジェクト検出のアルゴリズムは、既知のソフトウェアを適用することによっても、導入可能である。

第２選別工程Ｓ３では、欠陥２００の特徴がその種別（例えば、上述したゴム流れ不良、異物混入等）毎に分類して蓄積される、のが望ましい。本実施形態では、欠陥２００の特徴は、処理部４１（第２選別部）によって分類され、記憶部４２の欠陥フォルダー５７に種別毎に分かれて蓄積されている。種別毎に分類された欠陥２００の特徴を用いて撮像工程Ｓ１にて取得された画像データーと照合することにより、不良品の検出精度がより一層向上する。

第２選別工程Ｓ３では、不良品推定画像５１のみならず良品推定画像５０が欠陥２００の特徴と照合されるのが望ましい。この場合、第１選別工程Ｓ２で良品と判定されたタイヤ１０１に関しても第２選別工程Ｓ３で欠陥２００が検索され、不良品の検出精度が向上する。また、第１選別工程Ｓ２及び第２選別工程Ｓ３で不良品と判定されたタイヤ１０１が不良品として扱われてもよく、第１選別工程Ｓ２又は第２選別工程Ｓ３で不良品と判定されたタイヤ１０１が不良品として扱われてもよい。

これらの場合、欠陥フォルダー５７には、第１選別工程Ｓ２で良品推定画像として選別された後、第２選別工程Ｓ３で不良品として検出されたタイヤ１０１の画像から抽出された欠陥２００の特徴が蓄積されてもよい。このような構成によれば、より一層多様な欠陥２００の特徴が欠陥フォルダー５７に蓄積されることとなり、不良品の検出精度がより一層向上する。

一方、第２選別工程Ｓ３で良品として判定されたタイヤ１０１の画像は、第１選別工程Ｓ２のワンクラス学習における良品タイヤの画像に追加されてもよい。このような構成によれば、第１選別工程Ｓ２における画像の選別精度がより一層高められる。

図６は、カメラ２１によって撮像されるタイヤ１０１の撮像領域１０３を示している。同図では、撮像領域１０３はドットパターンのハッチングにて描かれている。本実施形態では、撮像工程Ｓ１において、タイヤ１０１のサイドウォール部１０２での環状の撮像領域１０３が撮像される。これにより、タイヤ１０１のサイドウォール部１０２の外観不良の有無が容易に検査される。この場合、撮像工程Ｓ１では、上記環状の撮像領域１０３が帯状に変換される、ことが望ましい。

図７は、帯状に変換されたサイドウォール部１０２の画像が示されている。画像の変換は、処理部４１によって実行され、記憶部４２には、変換された画像が格納される。撮像工程Ｓ１において環状の画像が帯状に変換されることにより、ディスプレイ装置での画像のスクロール等が容易となり、作業者による外観不良の確認が容易となる。

なお、撮像工程Ｓ１では、サイドウォール部１０２に印されるユニフォミティのピークマーク及び軽点マーク等がマスキング処理されるのが望ましい。本実施形態では、被検査物１００がタイヤ１０１である場合、カメラ２１によって撮像された画像内で上記ピークマーク及び軽点マーク等に相当する領域が、タイヤ１０１自身と同等の色彩、例えば、黒色にペイントされることによりマスキングされる。これらのマークは、色彩上の特異な箇所ではあるがタイヤ１０１の欠陥ではないため、異常として検出されることは望ましくない。そうしたところ、本実施形態では、上記マスキング処理を施すことによって、第１選別工程Ｓ２及び第１選別工程Ｓ２において、画像内で上記マークの存在が無視され、不良品の誤検出が抑制される。

一方、本実施形態では、カメラ２１の位置を変更してタイヤ１０１のトレッド部１０５（図２参照）を撮像するように構成されていてもよい。このような構成により、トレッド部１０５の外観不良の有無を検査することも可能である。

カメラ２０１には、２Ｄカメラ若しくは３Ｄカメラ又は２Ｄカメラ及び３Ｄカメラが適用される。２Ｄカメラによれば、第１選別工程Ｓ２及び第２選別工程Ｓ３において、主として色彩に関する異常の観点から欠陥２００が検出される。一方、３Ｄカメラによれば、第１選別工程Ｓ２及び第２選別工程Ｓ３において、主として形状に関する異常の観点から欠陥２００が検出される。両者を組み合わせることにより、色彩及び形状に関する異常の観点から欠陥２００が検出される。

以上、本発明の外観検査方法等が詳細に説明されたが、本発明は上記の具体的な実施形態に限定されることなく種々の態様に変更して実施される。

１ 外観検査装置
２ 撮像部
２１ カメラ
４１ 処理部（第１選別部、第２選別部）
４２ 記憶部
５０ 良品推定画像
５１ 不良品推定画像
１００ 被検査物
１０１ タイヤ
１０２ サイドウォール部
２００ 欠陥
Ｓ１ 撮像工程
Ｓ２ 第１選別工程
Ｓ３ 第２選別工程

Claims (10)

1. 被検査物の外観を検査する方法であって、
   複数の前記被検査物を撮像して画像を取得する撮像工程と、
   ワンクラス学習のアルゴリズムを用いて、前記画像を予め定められた基準内の良品推定画像と基準外の不良品推定画像とに選別する第１選別工程と、
   前記不良品推定画像から欠陥の特徴を抽出する抽出工程と、
   オブジェクト検出のアルゴリズムを用いて、前記撮像工程で取得された複数の前記被検査物の前記画像内で前記特徴を検索することにより、前記被検査物から不良品を検出する第２選別工程とを含む、
   外観検査方法。
2. 前記第２選別工程では、前記特徴が前記欠陥の種別毎に分類して蓄積される、請求項１記載の外観検査方法。
3. 前記第１選別工程で前記良品推定画像として選別され、その後、前記第２選別工程で前記不良品として検出された前記被検査物の前記画像から抽出された前記特徴を蓄積する蓄積工程をさらに含む、請求項１又は２に記載の外観検査方法。
4. 前記被検査物は、タイヤである、請求項１ないし３のいずれかに記載の外観検査方法。
5. 前記撮像工程では、サイドウォール部での環状の撮像領域が撮像される、請求項４記載の外観検査方法。
6. 前記撮像工程では、前記撮像領域が帯状に変換される、請求項５記載の外観検査方法。
7. 被検査物の外観を検査する装置であって、
   複数の前記被検査物を撮像して画像を取得する撮像部と、
   前記画像を記憶する記憶部と、
   ワンクラス学習のアルゴリズムを用いて、前記画像を予め定められた基準内の良品推定画像と基準外の不良品推定画像とに選別する第１選別部と、
   前記不良品推定画像から抽出された欠陥の特徴を、オブジェクト検出のアルゴリズムを用いて、前記撮像部によって取得された複数の前記被検査物の前記画像内で検索することにより、前記被検査物から不良品を検出する第２選別部とを含む、
   外観検査装置。
8. 前記第２選別部は、前記特徴を前記欠陥の種別毎に分類し、
   前記記憶部は、前記特徴を前記種別毎に蓄積する、請求項７記載の外観検査装置。
9. 前記撮像部は、２Ｄカメラを含む、請求項７又は８に記載の外観検査装置。
10. 前記撮像部は、３Ｄカメラを含む、請求項７ないし９のいずれかに記載の外観検査装置。

Images