[go: up one dir, main page]

JP5354335B2 - レーザ加工良否判定方法及び装置 - Google Patents

レーザ加工良否判定方法及び装置 Download PDF

Info

Publication number
JP5354335B2
JP5354335B2 JP2008290047A JP2008290047A JP5354335B2 JP 5354335 B2 JP5354335 B2 JP 5354335B2 JP 2008290047 A JP2008290047 A JP 2008290047A JP 2008290047 A JP2008290047 A JP 2008290047A JP 5354335 B2 JP5354335 B2 JP 5354335B2
Authority
JP
Japan
Prior art keywords
light
irradiation region
welding
luminance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008290047A
Other languages
English (en)
Other versions
JP2010115680A (ja
Inventor
英伸 石田
茂樹 齋藤
直樹 小沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Original Assignee
Suzuki Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp filed Critical Suzuki Motor Corp
Priority to JP2008290047A priority Critical patent/JP5354335B2/ja
Publication of JP2010115680A publication Critical patent/JP2010115680A/ja
Application granted granted Critical
Publication of JP5354335B2 publication Critical patent/JP5354335B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Laser Beam Processing (AREA)

Description

本発明は、レーザ加工の良否を判定する技術分野に関連し、特に、レーザ溶接や切断加工での貫通の程度をモニタリング可能な技術に関する。
レーザ加工は、レーザビームを高エネルギー密度の微少スポットに集光し、対象物を加工する技術である。このレーザ加工として、切断、穴空け、溶接、熱処理などがある。レーザ溶接では、2つの対象部材を突き合わせて突き合わせ面と平行に溶接する突き合わせ溶接や、ヘリ継手のヘリ面に平行に溶接するヘリ溶接や、対象物を重ね合わせて重ね合わせ面に垂直に溶接する重ね合わせ溶接などがある。
多くのレーザ加工の品質を決定づける最大の要因は、レーザ光によるキーホールの生成及びキーホールによる貫通の程度である。
特許文献1には、非貫通による溶接不良の発生をオンラインで検出することを目的として、突き合わせ溶接にて加工点からのレーザビームの反射光の強度変化を測定し(図1)、予め定められた境界値(段落0018,図3)と比較することで貫通の有無を判定する手法(段落0019)が開示されている。
特許文献2には、レーザ溶接状態の監視を目的として、レーザ光の光軸と同軸となるように(段落0017,図1)、溶接箇所から発する溶接光を受光し(段落0026から段落0027)、そのうちのプラズマ光及び反射光(段落0034)の位置(面積)及び強度を測定し、溶接ビードと相関する予め実験した値(段落0041)と比較する手法(段落0033から段落0042等)が開示されている。
特許文献3には、レーザ切断機による加工が正常に進行しているか否かを判断することを目的として、加工部の発光部位の面積(段落0038から段落0040,図4及び図5)を測定し、この面積の広狭に応じて異常の発生を判断する手法が開示されている。
特許文献4には、高精度かつリアルタイムに溶接品質を判定することを目的として、第1の受光出力手段が、レーザ反射光を溶接進行方向の前方斜め上方から受光し、第2の受光出力手段が、レーザ光の照射方向と同軸方向にて受光することで(段落0009)、その強度及び強度変化に基づいて溶接品質を判定する(段落0042から段落0054,図5から図8)手法が開示されている。また、レーザ光と同軸方向での画像から、溶融池が大きく後退する欠陥である引け溶接の有無を判定しようとしている(段落0013,段落0048から段落0049及び図7b)。
特許文献5には、溶接状態の確実な検出を目的として、溶融池画像(段落0014)のキーホール内の黒点の有無を測定し(段落0009から段落0010)、溶融部ME面積と、黒点面積と、溶接進行方向の溶融部ME長さと、そして、溶融部ME重心位置とから、溶接の状態を判定する(段落0032から0045,表1)手法が開示されている。また、貫通の有無とキーホール内の黒点の有無とを対応付けている(段落0043)。
特開平8-215868号公報 特開2000-42769号 特開2002-185755号 特開2008-87056号 特開2003-19584号
上記特許文献1では、非貫通溶接が発生した場合に、溶接時のレーザの反射光量が多くなるという性質を利用しているため(段落0018)、実際には、貫通不良よりも突発的なスパッタリングやブローホールの生成を判定しているのであり、突発的な異常のない非貫通溶接を発見することができない。
上記特許文献2では、溶接欠陥が発生した場合に、プラズマ光あるいは照射レーザ光の反射光の強度が減少するという性質を利用しているため(段落0018)、溶接ビードの深さや幅の評価が試みられているが(段落0049)、貫通の有無を安定して判定することはできない。さらに、プラズマ光の発生は、溶接品質とは一対一に対応しないため、溶接品質を安定して測定することができない。
上記特許文献3では、レーザによる切断加工が正常な際には溶融池及び燃焼部分の面積が小さく、異常が発生した際に面積が広がるという性質を利用しているため(段落0038から段落0041)、レーザ加工中に異常発生を判定することができるが(段落0049から段落0051)、キーホールの状態に応じた貫通の程度を判定することはできない。
上記特許文献4では、特許文献1と同様に、非貫通溶接が発生した場合に、溶接時のレーザの反射光量が多くなるという性質を利用しているため(段落0015)、突発的な異常のない非貫通溶接を発見することができない。
上記特許文献5では、溶融池画像のキーホール内に黒点が存在するか否かを検出することで、貫通であるか非貫通であるかを判断可能という性質を利用しているが(段落0043)、斜め方向からの撮影であるためにキーホールの斜面(ホール壁)の反射及び発光の影響を受けてしまい、画像判定測定精度が悪化し、不安定となる。従って、キーホールの状態に応じた貫通の程度を安定して判定することができない。
また良否判断用の基準面積(段落0044)を必須としており、このため、工程毎の微調整が必要となってしまう、という欠点がある。
[課題1]このように、上記従来例では、キーホールの状態に応じた貫通の程度を判定することができない、という不都合があった。
[課題2]さらに、上記従来例では、レーザ加工の良否を判定するために正常となる基準データを予め測定しておかなければならず、多数の現場に適用する際に個々の調整が必要となってしまう、という不都合があった。
すなわち、ノイズに強く、撮影した画像のみで判定可能な画像処理手法は、上記各文献に何ら開示されていない。
[発明の目的]本発明の目的は、キーホールの状態に応じた貫通の程度を安定して判定することにある。
[着眼点]本発明の発明者は、キーホールの状態に応じた貫通の程度を安定して判定するには、溶接部分材の発光をレーザ光軸と同軸で撮影するのが良い、という点に着目した。そして、溶接部分材自体の発光の状態について同軸による良質な画像を得て、この画像に対する画像処理を工夫することで、上記課題を解決できるのではないか、との着想に至った。
[課題解決手段1]実施例1に対応する第1群の本発明は、対象物に照射されるレーザビームの光軸と同軸で当該対象物の前記照射領域での当該対象物の温度に依存した発光を撮像して照射領域画像を生成する撮像工程と、前記照射領域画像の円状で高輝度の発光輪を抽出する発光輪抽出工程と、前記照射領域画像のうち前記発光輪の輝度分布と、当該発光輪の内側の輝度分布とに基づいて、前記照射領域での貫通の程度を判定する判定処理工程とを備えた、という構成を採っている。
これにより、上記課題1及び2を解決した。
[課題解決手段2] 実施例2に対応する第2群の本発明は、対象物に照射されるレーザビームの光軸と同軸で当該対象物の前記照射領域からの光を分光する分光部と、この分光部で分光された前記照射領域の光を光電変換して照射領域画像を生成するカメラと、前記カメラと前記照射領域との間に設置され、当該照射領域にて発生するプラズマ光の波長成分を遮断する光学フィルターと、前記照射領域画像から円状で高輝度の発光輪を抽出して、前記発光輪の輝度分布と、当該発光輪の内側の輝度分布とを算出する画像解析部と、この画像解析部で解析された前記各輝度分布に基づいて、前記照射領域での貫通の程度を判定する判定処理部とを備えた、という構成を採っている。
これにより、上記課題1及び2を解決した。
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
[発明の作用効果1] 課題解決手段1のレーザ加工良否判定方法では、撮像工程が、レーザビームの光軸と同軸で照射領域を撮像し、判定工程が、円状で高輝度の発光輪の輝度分布と、発光輪の内側(発光輪内側領域や発光輪重心領域)の輝度分布との比較により、照射領域での貫通の程度を判定する。
従って、キーホールと呼ばれる貫通現象の状態や程度を安定して判定することができ、貫通状態の程度を判定できることから、レーザ加工の目的に応じた当該加工の良否をモニタリングすることができる。
[発明の作用効果2] 課題解決手段2のレーザ加工良否判定装置は、カメラが、レーザビームの光軸と同軸で照射領域を撮像し、画像解析部が、発光輪を抽出して、円状で高輝度の発光輪の輝度分布と、発光輪の内側の輝度分布とを算出し、判定処理部が、この各輝度分布を比較することで、照射領域での貫通の程度を判定する。
従って、課題解決手段1と同様に、キーホールと呼ばれる貫通現象の状態や程度を安定して判定することができ、貫通状態の程度を判定できることから、レーザ加工の目的に応じた当該加工の良否をモニタリングすることができる。
発明を実施するための最良の形態として、4つの実施例を開示する。実施例1はレーザ加工良否判定方法であり、実施例2はレーザ加工良否判定装置、実施例3はレーザ溶接良否判定装置、実施例4はレーザ加工装置である。実施例1から4までを含めて実施形態という。実施例1から4は、例えば、車体などの金属材料をレーザ加工する場合に、溶接部分をカメラ24で撮像し画像解析をして、溶接品質の良否判定・評価をおこなうモニタリングシステムの技術に属する。
図1を参照すると、実施例1から4で使用するレーザ加工良否判定装置は、主要な要素として、分光部20と、カメラ24と、光学フィルター26と、画像解析部40と、判定処理部56とを備えている。
また、図1に示す例では、レーザビームLBを照射するレーザトーチ84と、レーザビームLBを光軸OXにて集光する集光ミラー28と、照射領域ARからの光を集光する集光レンズ30と、カメラ24に向けて反射させるミラー23と、カメラ24に導く光を拡大するエクステンダレンズ32とを備えている。さらに、カメラ24で撮像された照射領域画像10を伝達する通信ケーブル36と、この照射領域画像10を対象とした情報処理をする良否判定コントローラー34とを備えている。
分光部20は、対象物OJに照射されるレーザビームLBの光軸OXと同軸で当該対象物OJの前記照射領域ARからの光を分光する。対象物OJは、レーザ加工として例えば重ね合わせ溶接とする際には、上側シートOJuと下側シートOJlとである。照射領域ARは、レーザビームLBの集光位置をほぼ中心とする加工の対象となる領域であり、レーザ加工が切断加工である場合には切断対象となる領域で、溶接である場合には溶接ビードが生ずる領域である。そして、分光部20は、可視光から近赤外光の光をカメラ24に向けて透過すると共にレーザビームLBの反射光等の可視光から近赤外光以外の帯域光を反射させるハーフミラー22を備えると良い。
光学フィルター26は、前記カメラ24と前記照射領域ARとの間に設置され、当該照射領域ARにて発生するプラズマ光PLの波長成分を遮断し、一方、照射領域ARで発生する可視光から近赤外光の波長成分(360 [nm] から1000 [nm])を透過させてカメラ24に導く。レーザ加工の条件や環境にもよるが、600 [nm] から1000 [nm]の帯域の光を透過させるバンドパス・フィルターを用いると、プラズマ光の成分を良好に低減させることができる。
カメラ24は、分光部20で分光され光学フィルター26を透過した前記照射領域ARの光を光電変換することで照射領域画像10を生成する。図1に示す例では、照射領域ARの光は、ハーフミラー22を透過し、集光レンズ30で集光され、ミラー23で反射し、光学フィルター26を透過し、エクステンダレンズ32で拡大される。カメラ24は、この照射領域ARからの光を光電変換することで、照射領域画像10を生成する。カメラ24は、可視光以外の近赤外光の波長成分も光電変換すると良い。
そして、分光部20が、レーザビームLBの光軸OXと同軸の光をカメラ24に導き、カメラ24がレーザビームLBの光軸OXと同軸で照射領域ARを撮影するため、照射領域ARを正投影図の六面図でいう平面図で撮影することができ、カメラ24を斜め方向に設置する際に生ずるような誤差がない。また、完全に平面方向から撮影すると、キーホールKHの壁面(キーホール壁KHw)の発光の影響を均質とする照射領域画像10を生成することができる。
良否判定コントローラー34内の画像解析部40は、前記照射領域画像10から円状で高輝度の発光輪12(図3等)を抽出して、前記発光輪12の輝度分布と、当該発光輪12の内側の輝度分布とを算出する。発光輪12は、レーザビームLBが対象物OJに照射されることによって生ずる溶融部MEの高温部分であり、キーホールKHの外周である。画像解析部40は、照射領域画像10のうち、画像処理により、円状で高輝度部分を抽出して、これを発光輪12とする。画像解析部40は、さらに、発光輪12部分の輝度分布と、発光輪12の内側の輝度分布とを算出する。
判定処理部56は、この画像解析部40で解析された前記各輝度分布に基づいて、前記照射領域ARでの貫通の程度を判定する。各輝度分布は、発光輪12の輝度分布と、発光輪12の内側の輝度分布とである。この各輝度分布に基づいた判定は、例えば、各輝度分布の値を比較したり、各輝度分布の分散値を比較したり、各輝度分布それぞれの中央値や平均値等の統計値を算出して比較することによる判定である。
従来例では、プラズマ光PLやレーザビームLBが溶接部分で反射してきた光をカメラ24で撮らえてキーホールKHの様態を判定していた。一方、本実施形態の方法及び装置が観察するのは、対象物OJの加熱による自己発光である。すなわち、本実施形態で観察するのは、レーザビームLBが照射されたことで金属が赤熱状態となりその溶融部MEからのいわゆる黒体放射の自己発光である。この自己発光はレーザビームLBと同軸で観察すると円形となる。この円を本実施形態では発光輪12という。また、レーザビームLBの作用による発熱で対象物OJが完全に貫通した際には、穴の開いた部分(キーホールKH)は発光しないため、キーホールKHの輝度は発光輪12の輝度よりも暗く観測することができる。従って、発光輪12の輝度分布と、発光輪12の内側の輝度分布との比較により、キーホールKHの状態を知ることができる。
<1.1レーザ加工良否判定方法>
本実施形態の実施例1を開示する。実施例1は、レーザ加工の良否を判定するために、レーザビームの照射による貫通の程度を調べようとするものである。レーザ加工にとって、切断加工であれば貫通が必須であり、溶接の際にも貫通の程度が溶接の良否と相関する。また、木材等の表面装飾やガラスの内部加工等の場合には貫通は不良となる。実施例1のレーザ加工良否判定方法は、レーザ加工の用途や目的と、貫通の程度との関係から、画像処理により当該加工の良否の判定をするものである。
図2を参照すると、実施例1のレーザ加工良否判定方法は、まず、対象物OJに照射されるレーザビームLBの光軸OXと同軸で当該対象物OJの前記照射領域ARでの当該対象物OJの温度に依存した発光を撮像して照射領域画像10を生成する(撮像工程,S1)。次に、前記照射領域画像10の円状で高輝度の発光輪12を抽出する(発光輪抽出工程,S2)。さらに、前記照射領域画像10のうち前記発光輪12の輝度分布と、当該発光輪12の内側の輝度分布とに基づいて、前記照射領域ARでの貫通の程度を判定する(判定処理工程,S3)。
撮像工程S1では、図1に示す重ね合わせ溶接の例では、レーザトーチ84が発振したレーザビームLBを照射し、ハーフミラー22がこのレーザビームLBを集光ミラー28側に反射し、集光ミラー28が予め定められた焦点に向けてレーザビームLBを集光する。集光したレーザビームLBが対象物OJに照射されると、集光位置にレーザビームLBのエネルギーが集中し、加熱され、溶融し、溶融部MEが生ずる。この溶融は加熱によるもので、その加熱により当該溶融部MEが発光する。この発光は、プランク分布に従う黒体放射(黒体輻射)として知られる現象であり、温度に依存した波長(色)で発光する。対象物OJは厳密な黒体とは限らないが、発光の強度は加熱対象の量に依存し、照射領域画像10での発光輪12部分の輝度値が高まる(明るくなる)。そして、溶融部MEが貫通しキーホールKHとなると、この貫通部分自体は発光しないため、輝度値が低くなる(暗くなる)。
図3を参照すると、照射領域画像10はタイプ1(図3(A))からタイプ5(図3(E))に分類することができる。照射領域ARの発光は、円状となり、すべてのタイプにて、輝度値の高い(明るい)円が観測される。この円の円周部分を発光輪12という。発光輪12の内側を発光輪内側領域16という。発光輪内側領域16は、タイプ1からタイプ5まででその輝度値や輝度分布が異なる状態となっている。
図4を参照すると、図3に示す各タイプは、その溶接状態(対象物OJの断面図)と輝度分布とがそれぞれ異なるものとなっている。輝度分布は、図3に示す図中横方向の各白線上の輝度分布である。
タイプ1: 図3(A)及び図4(A)に示す例では、貫通しておらず、重ね合わせ溶接としてはNGである。溶融部MEは、上側シートOJuと、下側シートOJlのごく一部のみとなり、点線で示すレーザビームLBの貫通領域LBpも下側シートOJlを突き抜けていない。この場合、発光輪12の輝度値より発光輪内側領域16の輝度値が高くなっている。特に、発光輪12の重心部分(発光輪重心領域18)の輝度値が高い(明るい)。
タイプ2: 図3(B)及び図4(B)に示す例では、貫通しておらず、重ね合わせ溶接としてはNGである。溶融部MEは、上側シートOJuと、下側シートOJlの下側に達しているものの、貫通していない。そして、点線で示すレーザビームLBの貫通領域LBpも下側シートOJlを突き抜けていない。この場合、タイプ1と同様に、発光輪12の輝度値より発光輪内側領域16の輝度値が高くなっている。特に、発光輪12の重心部分(発光輪重心領域18)の輝度値がなだらかに高い(明るい)。
タイプ3: 図3(C)及び図4(C)に示す例では、貫通しており、重ね合わせ溶接としてはOKとすることができる(溶接の用途や目的によってはNGとすることもある)。溶融部MEは、上側シートOJuと、下側シートOJlの裏面を含んでおり、点線で示すレーザビームLBの貫通領域LBpも下側シートOJlの裏面に達している。この場合、発光輪12の輝度値と発光輪内側領域16の輝度値とはほぼ等しい。特に、発光輪12の重心部分(発光輪重心領域18)の輝度値と発光輪12の輝度値とがほぼ等しい。
タイプ1からタイプ3を比較すると、発光輪内側領域16の輝度分布がそれぞれ特徴的である。タイプ3では、発光輪12の輝度分布と発光輪内側領域16の輝度分布とがほぼ等しく、発光輪内側領域16の輝度値の分布は平坦で輝度値の分散値(ばらつき)は小さい。一方、タイプ2、タイプ1の順で、発光輪内側領域16の輝度値の分散値は大きくなっている。このため、発光輪内側領域16の輝度分布の分散値等に応じてタイプ1からタイプ3を画像処理により区分することができる。
タイプ4: 図3(D)及び図4(D)に示す例では、貫通しており、重ね合わせ溶接としてはOKである。溶融部MEは、上側シートOJuと、下側シートOJlの裏面を含んでおり、点線で示すレーザビームLBの貫通領域LBpも下側シートOJlを貫通している。この例では、発光輪12の輝度値よりも、発光輪内側領域16の輝度値が低い(暗い)。特に、発光輪12の重心部分(発光輪重心領域18)の輝度値が発光輪12の輝度値よりも低くなっている。
タイプ5: 図3(E)及び図4(E)に示す例では、貫通しており、重ね合わせ溶接としてはOKである。タイプ4と同様に、溶融部MEは、上側シートOJuと、下側シートOJlの裏面を含んでおり、点線で示すレーザビームLBの貫通領域LBpも下側シートOJlを貫通している。この例では、発光輪12の輝度値よりも、発光輪内側領域16の輝度値がより低く(暗い)。特に、発光輪12の重心部分(発光輪重心領域18)の輝度値が発光輪12の輝度値よりも極めて低くなっている。そして、発光輪内側領域16にて、輝度値の低い領域が大きい。この輝度値が低い領域の大きさは貫通した領域の大きさと相関するため、この輝度値が低い領域の広さ(発光輪内側領域16の輝度分布)に応じて貫通の程度を判定することができる。
そして、図2に示す発光輪抽出工程S2は、図3及び図4に示す発光輪12を画像処理により抽出する。発光輪12を抽出するというのは、発光輪12となっている画素を特定する情報処理である。照射領域画像10の輝度値のピークに対して予め定められた比率の輝度値となっている画素を発光輪12の画素と判定するようにしても良いし(実施例2)、予め定められたしきい値を発光輪12の画素と判定しても良いし、照射領域画像10の全体の輝度分布から図3及び図4に示すタイプを区分して、区分毎に発光輪12の画素を特定するようにしても良い。
この発光輪抽出工程S2は、図1に示す例では、画像解析部40が実行する。
判定処理工程S3は、発光輪12の輝度分布と、当該発光輪12の内側(発光輪内側領域16)の輝度分布とに基づいて、前記照射領域ARでの貫通の程度を判定する。図3及び図4に示すように、発光輪12の輝度分布と、発光輪内側領域16の輝度分布との関係に応じて、貫通の程度を例えば5つのタイプに区分することができる。このため、判定処理工程S3では、発光輪12の輝度分布と、発光輪内側領域16の輝度分布とを比較することで、レーザ加工の良否の程度を貫通の程度との関係で判定することができる。例えば、発光輪12の輝度値よりも発光輪内側領域16の輝度値が高い(明るい)場合には、タイプ1又は2であり、その程度に応じてタイプ1及び2を区分できる。
発光輪12の輝度値が発光輪内側領域16の輝度値とほぼ等しい場合には、タイプ3と判定することができる。発光輪12の輝度値よりも発光輪内側領域16の輝度値が低い(暗い)場合には、タイプ4又は5であり、その程度に応じてタイプ4及び5を区分することができる。
また、判定処理工程S3は、輝度分布の微分値や、分散値などを使用して判定をするようにしても良い。さらに、発光輪内側領域16のさらに中心部分(発光輪12の重心位置となる一定範囲の領域)を発光輪重心領域18として、発光輪12の輝度分布(又は輝度値等)と、発光輪重心領域18の輝度分布(又は輝度値等)とを使用して、タイプを判定するようにしても良い。
この判定処理工程S3は、図1に示す例では、判定処理部56が実行する。
図2に示すレーザ加工良否判定方法は、図3及び図4に示す対象物OJの加熱による発光とキーホールKHの生成との性質とを利用するものであるため、レーザ加工に限定されず、レーザ以外のエネルギビームによる溶接(例:電子ビーム)や、レーザとのハイブリッド溶接にも適用可能である。
・1.1レーザ加工良否判定方法の効果
上述したように実施例1では、撮像工程S1が、レーザビームLBの光軸OXと同軸で照射領域ARを撮像し、判定工程が、円状で高輝度の発光輪12の輝度分布と、発光輪12の内側(発光輪内側領域16や発光輪重心領域18)の輝度分布との比較により、照射領域ARでの貫通の程度を判定する。これにより、キーホールKHと呼ばれる貫通現象の状態や程度を安定して判定することができ、貫通状態の程度を判定できることから、レーザ加工の目的に応じた当該加工の良否をモニタリングすることができる。
実施例1では特に、レーザビームLBの光軸OXと同軸で撮像した照射領域画像10を使用するため、カメラ24を斜めに配置する場合と比較して、第1に、発光輪12をより正円に近い状態で撮像でき、キーホール壁KHwの発光による影響を低減でき、従ってノイズに強く、このため、安定した照射領域画像10の生成と判定とが可能である。
そして、発光輪12の輝度分布と、発光輪内側領域16の輝度分布との比較により貫通の程度を判定可能であるため、判定の基準となる基準データを製造現場毎に生成する必要がない。すなわち、良好な状態を示す基準データを準備しなくとも、発光輪12の輝度分布と発光輪内側領域16の輝度分布との比較によって貫通の程度を判定することができるため、多様な現場への適用する作業負荷が小さく、レーザ加工の現場の相違による撮像環境の相違に強い判定手法を提供することができる。
そして、レーザ加工の品質を決定づける貫通の程度を安定して判定可能であるため、レーザ加工の用途や目的に応じて、その加工の良否を比較的判りやすい画像処理によって判定することができる。
<2レーザ加工良否判定装置>
<2.1撮像手段の同軸配置>
次に、実施例2のレーザ加工良否判定装置を開示する。実施例2の開示内容は、レーザ加工良否判定方法として実施例1の方法に適用することができる。また、実施例3及び4は、実施例2の開示内容に依拠している。
再度図1を参照すると、レーザ加工良否判定装置は、実施形態及び実施例1の説明と同様に、ハードウエアに関する主要な要素として、分光部20と、カメラ24と、光学フィルター26とを備えている。レーザ良否加工判定装置のハードウエアに関する要素群を、全体として良否判定ユニット100という(実施例4)。また、ソフトウエアに関する主要な要素として、画像解析部40と、判定処理部とを備えている。
まず、実施例2では、カメラ24をレーザビームLBと同軸に配置する。
図1に示すように、レーザビームLBの光軸OXに波長選択性を持つハーフミラー22(レーザビームLBは反射するが可視光及び近赤外光は透過する)を45度に挿入してレーザビームLBの光軸OXと同軸にカメラ24を設置することで、照射領域AR(レーザ加工部分を中心とする撮像範囲)を上から垂直方向(平面図となる方向)にて画像撮影をすることができ、キーホールKHの形状を正確に評価することができる。
さらに、実施例2では、プラズマ光PLをカットする特性の光学フィルター26を用いる。
上述のように、本装置及び方法は、プラズマ光PLやレーザビームLBの反射光を観測するのではなく、対象物OJの自己発光を観測するため、プラズマ光PLはノイズとなる。このため、溶接等のレーザ加工中に生成するプラズマの発光波長スペクトルをあらかじめ測定し、最も発光強度が弱い波長を決定し、その波長域を透過させる光学フィルター26をカメラ24前面に配置すると良い。この光学フィルター26の使用により、プラズマ光PLの成分を低減し、ノイズの影響を低下させることができる。
更に、レーザビームLBからの反射光の影響が残り画像解析に悪影響を及ぼす場合には、その波長のカットフィルタを用いると良い。
また光強度がカメラ24にとって強すぎる場合には、適切なND(Neutral Density(波長特性がフラット(中立)な光学密度を有するフィルター))フィルターをカメラ24の前方に配置すると良い。
また、本実施例2では、レーザビームLBと同軸でカメラ24を配置している。そのため、カメラ24はレーザビームLBの集光ミラー28もしくは集光レンズ30を通して照射領域ARを観察する。カメラ24用の接眼レンズに相当するものは、無限遠の配置で使用する必要がある。作動距離が有限な「単位共役比デザイン」のレンズではなく、「無限共役比デザイン」のレンズを使用すると良い。また、単焦点レンズが好ましい。
そして、キーホールKHのサイズは小さいので、画像を拡大するために、負の焦点距離を持つエクステンダレンズ32や、望遠レンズを用いると良い。レーザビームLBが炭酸ガスレーザの場合、集光ミラー28は放物面鏡を用いるが、その場合には、放物面鏡の収差を補正するような特別な接眼レンズを用いると、より一層、明確な画像を得ることができる。
このように、実施例2の良否判定ユニット100は、プラズマ光PLをカットする光学フィルター26を使用することで、プラズマ光PLに邪魔されずに明確に画像を得ることができ、また、光学レンズ条件を無限共役比、高倍率とすることで、溶接部分の明確な画像を得ることができる。
また、実施例2では、カメラ24のフレームレート等を次のようにすると良い。
溶接不良や欠陥を溶接シームラインに沿って細かく測定・評価するためには、高いフレームレートF (f/s=Hz)を有する高速度のカメラ24で細かい時間間隔で観察すると良い。例えば、溶接ラインに沿って1 [mm] ごとに溶接良否判定をする場合、例えば溶接速度V=10 [m/min]の時は、F=1/(60 [s] × 1 [mm] / 10,000 [mm])=167Hzの高速度のカメラ24が必要となる。このため、例えば、F=300 [Hz] (または600 [Hz] 切替式)のカメラ24を採用すると良い。
ただし、カメラ24のフレームレートがあまり高いと画像解析をする良否判定コントローラー34へのデータ転送が急激に増加してしまう。このようにデータ量が多いと、撮像記録動作と平行してカメラ24から良否判定コントローラー34にデータをストリーミング送信することができなくなり、撮像終了してもデータ転送が終わらないか、若しくは、撮像を一旦終了して後にデータ転送をする必要が生じる。現在のカメラ24から良否判定コントローラー34への転送速度(例えばカメラ24のリンク規格方式では、最大1.6 G [bit/s])によると、F=200〜1,000 [Hz] 程度の適切なフレームレートを有すると、実際の溶接生産現場への適用上好ましい。
このように、カメラ24のフレームレートを適正に設定すると、評価時間の短縮を図ることができる。
・2.1撮像手段の同軸配置の効果
上述のように、カメラ24をレーザビームLBと同軸に配置することで、キーホールKHの斜面であるキーホール壁KHwからの光の影響をなくすことができ、発光輪12をほぼ正円で撮影することができ、多様な反射光等のノイズの影響を軽微にすることができ、このため、良否判定の精度を安定させつつ向上させることができる。
<2.2発光輪の抽出>
次に、発光輪の抽出処理を説明する。
照射領域画像10の大きさを例えば160画素×120画素を10 [bit] とすると、数10 [MB] と大きく、画像解析に時間を要する主要な原因となってしまう。また、画像の枚数も、溶接時間:20 [秒]、フレームレート300 [Hz] とすると、6000 [枚] にも達する。一方、溶接の生産現場では、溶接の良否判定に要する時間は出来うる限り短い方が好ましく、ソフトの処理時間によっては生産現場に適用することができなくなってしまう。とはいえ、判定の安定性を向上させるべく画像全体の情報をなんらかの形で取り込みたい。しかし、扱うデータ量は多くしたくない。
このため、まず、発光輪12の断面について輝度分布(光強度の分布)を取り込むことを検討する。
図5に、発光輪12の一方向の断面強度分布の一例を示す。この図5に示す例では、平均の算出等をしていない。図5に示す単純な断面強度分布は、キーホールを見るため発光輪12の中央付近を通る位置で断面に切断したものである。そして、その断面強度分布の一つの谷と2つの山を検出し、その山と谷の高低差でキーホールKHかどうかの判定をすることを検討する。この場合、画像によっては、Pa1及びPa2の極大値のように、左右のどちらかの山が極大値としてのピークではなかったり、また、谷と山の間に、Pa3の極小値部分のように、小さい谷や山があったりと、山と谷の判定が非常に難しい。
小さい山や谷をならすためのデジタルフィルタ処理をかける方法もあるが、正確に評価したいメインの山と谷の形を崩すこととなり、判定精度を不可避的に悪化させてしまう。また、最初に切断する切断面は180度の任意性があるが、画像の一部にスパッタなどの輝点粒子が映って乱れている場合、その切断の向きによっては、うまく山と谷を検出できなくなってしまう。更に、そもそも山と谷を検出するのには微分をする必要があり、計算時間を要してしまう。このように、断面強度分布による画像処理は安定して良好な精度の判定とすることは難しい。
そこで、次に、画像の横方向の投影(平均)分布、縦方向の投影(平均)分布の情報を取り込む手法を検討する。
図6を参照すると、照射領域画像10は、発光輪12を含んでいる。このx方向の全ての各画素について、画素列毎に、y方向の全ての輝度値の平均を算出すると、x方向平均輝度分布Pxを得ることができる。また、y方向の全ての各画素について、画素行毎に、x方向の全ての輝度値の平均を算出すると、y方向平均輝度分布Pyを得ることができる。この平均輝度分布Px, Pyには、発光輪12を含む照射領域画像10の特徴が安定して現れる。すなわち、平均輝度分布Px, Pyは、投影・射影された分布であるから、画像の一部に乱れがあっても平均操作でならされ、解析判定の安定性を増加させることができる。
また、レーザビームLBの光軸OXと同軸に撮影していることから、発光輪12をほぼ正円とすることができ、これによっても、x方向とy方向の平均輝度分布Px, Pyが安定する。そして、断面の方向を選択する必要性がなく、断面の方向選択に依存したノイズの影響を低減することができる。
本実施例2では、この平均輝度分布Px, Py等を用いた画像解析により、高速で安定した判定を図っている。
図7を参照すると、画像解析部40は、発光輪12を抽出するために、平均輝度分布判定処理42と、取込画像抽出処理44と、重心座標算出処理46と、直径算出処理48とを備えている。また、画像解析部40は、判定処理で使用する情報を算出するために、等分座標値算出処理50と、発光輪輝度値算出処理52とを備えている。
以下、Pa, Pamax, Ca, Ra, QaTH, DaTH等というとき、「a」は、x又はyや、i又はjとなり得る。例えば、Paというときには、Pxの場合と、Pyの場合と、両方の場合と、xy以外の方向による値の場合とがある。QaTHは、QxTHや、QyTHや、その他の方向での値を含む。
図8を参照すると、画像解析部40の各処理は情報処理としてフローチャートで表すことができ、各工程S11からS16が、平均輝度分布判定処理42から発光輪輝度値算出処理52までの各処理に対応する。また、図8に示す情報処理工程は、図2に示す発光輪抽出工程S2の詳細例である。
図7及び図8を参照すると、まず、平均輝度分布算出処理42は、前記照射領域画像10(P(i,j))での少なくとも2方向について当該各方向での平均輝度分布Paを算出する(ステップS11)。図6に示す例では、2方向をx方向とy方向としているため、平均輝度分布は、x方向平均輝度分布Pxと、y方向平均輝度分布Pyとなる。二次元画像について2方向というと、通常、直行するx方向とy方向であるが、本実施例2では抽出対象が円であるため、2直線の成す角が45度等の2直線の方向としても良い。また、画像を任意に回転させた後にx方向とy方向とするようにしても良い。ここでは、xy座標を例に説明する。
取込画像抽出処理44は、各方向での最大輝度値Pamaxに予め定められた1以下の取込輝度係数βを掛けて取込輝度しきい値QaTHを算出すると共に、当該取込輝度しきい値QaTHよりも明るい画素を取込画像Q(i,j)として抽出する(ステップS12)。取込画像抽出処理44は、発光輪12の外側での不安定な輝度値の影響を除去するために、発光輪12の外側を除去し、発光輪12とその内側を取り込む。
重心座標算出処理46は、この取込画像Q(i,j)の重心を算出して前記発光輪12の重心となる重心座標Caを求める(ステップS13)。xy座標系では、重心座標は、Cx, Cyとなる。
直径算出処理48は、前記各方向での前記最大輝度値Pamaxに予め定められた1以下の直径抽出係数γを掛けて直径抽出輝度しきい値DaTHを求めて前記各方向についてそれぞれ当該直径抽出輝度しきい値DaTHよりも明るい画素の最大座標値amaxと最小座標値aminとを算出すると共に、各方向についての最大座標値amaxと最小座標値aminとの差Daの平均を前記発光輪12の直径Dとして算出する(ステップS14)。
xy座標系で、x座標の画素位置をi、y座標の画素位置をjで表すと、x方向最大座標値imaxと最小座標値iminとの差がx方向での発光輪の直径Dxとなり、y方向最大座標値jmaxと最小座標値jminとの差がy方向での発光輪の直径Dyとなる。そして、このx方向直径Dxとy方向直径Dyとの平均値を発光輪12の直径と推定することができる。
図9(A)を参照すると、照射領域画像10の発光輪12、発光輪内側領域16及び発光輪重心領域18等の輝度分布(光強度分布)に応じて、x方向平均輝度分布Pxと、y方向平均輝度分布Pyとが算出される。この分布を例として、数式を用いつつ、再度画像解析部40の各処理の内容を説明する。
平均輝度分布判定処理42(ステップS11)は、照射領域画像10である二次元輝度分布I(i, j)について、次式(1a)によりx方向平均輝度分布Pxを求め、次式(1b)によりy方向平均輝度分布Pyを求める。平均輝度分布Paが求まると、図9(A)に示すように、各最大輝度値Pamaxを容易に特定することができる。
I(i, j): 二次元輝度分布(照射領域画像10)
Px: x方向平均輝度分布、Py: y方向平均輝度分布
Nxm: x方向画素数、Nym: x方向画素数
取込画像抽出処理44(ステップS12)は、図9(B)に示すように、予め定められた取込輝度係数βと最大輝度値Pamaxを用いて、取込しきい値QaTHを算出し、この取込しきい値QaTHを使用して、次式(2a)及び次式(2b)により取込画像Q(i, j)を抽出する。
なお、取込画像抽出処理44は、図9(B)に示すように、発光輪12の外側の輝度値を0とするための処理であるため、例えばx方向であれば、図中左側の画素から走査を開始して予め定められた数画素の輝度値が連続してQxTHを超えるまでQx[i]を0とし、超えた後は式2aの通りとして、さらに予め定められた数画素の輝度値が連続してQxTHを下回った際にQx[i]を0とするようにしても良い。
Qx: x方向取込輝度分布、 Qy: y方向取込輝度分布
Pxmax: x方向最大輝度値、 Pymax: y方向最大輝度値
β: 取込輝度係数
QaTH: 取込輝度値
重心座標算出処理46(ステップS13)は、次式(3a)及び次式(3b)を使用して、図9(C)に示す重心位置を算出することで、発光輪12の重心位置(中心位置)を算出する。
Cx: x方向取込画像重心位置、 Cy: y方向取込画像重心位置
Cx0: x方向重心偏心長さ、 Cy0: y方向重心偏心長さ
直径算出処理48(ステップS14)は、まず、予め定められた直径抽出係数γと最大輝度値Pamaxとを用いて、直径抽出しきい値DaHTを算出する。そして、DxTHを用いて、x方向平均輝度分布Pxを走査して、次式(4b)により、図9(D)に示すx座標最小座標値iminを求め、次式(4c)によりx座標最大座標imaxを求める。同様に、次式(4d)により、図9(D)に示すy座標最小座標値jminを求め、次式(4e)によりy座標最大座標jmaxを求める。
そして、次式(4a)を用いて、図9(D)に示すx方向直径Dxと、y方向直径Dyとを求め、その平均値を発光輪12の直径Dとする。
なお、直径変更倍率αは、1としても良いが、発光輪12の外側を抽出する方が安定する際には、発光輪12の直径Dを大きめに求めておき、この直径変更倍率αにより小さめに補正すると良い。また、直径Dを小さめに求めて、直径変更倍率αにより大きめに補正することもできる。
D: 発光輪12の直径
Dx: x方向直径、Dy: y方向直径
imax: x座標最大座標値、imin: x座標最小座標値
jmax: y座標最大座標値、jmin: y座標最小座標値
α: 直径変更倍率
γ: 直径抽出係数
・2.2発光輪の抽出
上述のように、発光輪12の抽出に図7から図9に示す情報処理を適用すると、横・縦の投影強度分布(2方向の平均輝度分布)の算出によるため、キーホールKHの画像判定における不安定性を解消することができる。また、微分処理などを使用しないため、画像処理を高速に行うことができる。
<2.3発光輪の円周等分点>
再度図7及び図8を参照すると、画像解析部40は、発光輪の輝度分布を算出するために、等分座標算出処理50と、発光輪輝度値算出処理52(ステップS16)とを備えている。等分座標算出処理50は、前記重心座標Caを原点とする前記直径Dの円周を予め定められた等分数Mで等分した際の座標値を等分座標Ra[k]として算出する(ステップS15)。発光輪輝度値算出処理52は、この各等分座標Ra[k]の輝度値の平均を算出して当該発光輪の輝度分布として単一の輝度値を求める(ステップS16)。
図10に、等分数Mが3である例を、図11に等分数Mが5である例を示す。
等分座標算出処理50(ステップS15)は、Caを中心、Dを直径とする円周について等分数Mで等分する位置(等分座標)を次式(5a)及び次式(5b)を用いて算出する。等分数Mに応じて、図10には等分座標Ra[k]が3カ所、図11には等分座標Raを等分x座標Rxと等分y座標Ryとに分解して5カ所特定されている。
M: 発光輪12の等分数
k: 等分番号
Rx[k]: 発光輪のk番等分位置x座標、Ry[k]: 発光輪のk番等分位置y座標
Cx: x方向取込画像重心位置、Cy: y方向取込画像重心位置
θ0: 初期角度
発光輪輝度値算出処理52は、次式(6a)により、全ての等分座標の輝度値を平均して、平均輝度値Acrを算出する。本実施例2では、発光輪の輝度分布として、この発光輪の複数の等分座標の輝度値の平均輝度値Acrを採用している。
CR(Rx[k], Ry[k]): 発光輪12のk番等分位置の輝度値
Acr: 発光輪12の全等分位置の平均輝度値
また、判定処理部56は、発光輪内側領域16の輝度分布を求める。式(6b)では、重心位置Cx,Cyの輝度値をそのまま採用し、発光輪12の重心位置の輝度値Ainとしている。
IN: 発光輪12の重心位置の輝度値
Ain: 発光輪12の重心位置の(平均)輝度値
判定処理部56は、式(6c)により、発光輪の平均輝度値Acrと、重心位置の輝度値Ainとの比を算出して、予め定められたしきい値Kthと比較することで、貫通の程度に応じたレーザ加工の良否を判定する。この比率は、中央部に極小値の暗部ができていると、1より大きい値となる。比率の値 > 1.0 の場合には、十分に溶接判定にOKを下すことが出来る。しかしながら、上記の比率が、0.9や0.8であるからといって、NGであるわけではない。キーホールKHが生じていても、いろいろな要因(溶接溶け込み形状やプラズマなどの光)で中央部の輝度低下が十分でない場合もある。そのため、周辺輝度の定義にもよるが、おおよそ、しきい値Kthとしては、Kth = 0.5〜1.0、の範囲で設定するとよい。
このように、発光輪内側領域16の輝度分布として、重心位置Cx,Cyの1画素の輝度値を採用しても良いし、また、重心位置の周辺領域を特定して、発光輪重心領域18を特定し、その領域全体の平均値や、x方向及びy方向の平均輝度分布Paの当該発光輪重心領域18内の平均値を求めてAinとしても良い。発光輪重心領域18の特定は、例えば、βやγのような1以下の重心領域抽出係数ηを定めておき、直径Dにこの重心領域抽出係数ηを掛けることで重心領域の長さを求めると良い。
また、式(6c)では、発光輪輝度分布となるAcrと、発光輪内側領域の輝度分布となるAinとの2つの数値の比率により判定していたが、図3及び図4に示すタイプを判定するには、発光輪12とその発光輪内側領域16を3以上の区分に分割し、その大小関係のパターンを得るようにしても良い。
図11に示す例では、等分数Mを5とし、発光輪12の直径Dの約半分程度の直径で発光輪内側領域を2分割し、内領域16Aと、外領域16Bとに分割している。また、発光輪重心領域18を小さめに特定している。この発光輪重心領域18は、発光輪12の内側で最も輝度値が低い(暗い)部分を探索し、図3及び図4に示すタイプ4及び5のように、暗い部分がある場合には、その暗い部分を発光輪重心領域18とし、タイプ1,2及び3のように、暗い部分がない場合には重心位置Cx, Cyの近傍としても良い。
この各領域や、各領域の円上の等分位置の平均値等の輝度値の高低のパターンに応じて貫通の状態に応じたレーザ加工の良否を判定するようにしても良い。
・2.3発光輪の円周等分点の効果
上述のように、発光輪12の円周の等分点を用いると、レーザ加工の進行方向と無関係に発光輪12の特徴を捉えることができ、計算時間を短縮しつつ、発光輪12の輝度分布の特徴を良く表すデータを取り扱うことができ、高速でかつ精度の良い判定をすることができる。また、等分点を用いることで、画像に外乱が含まれても、発光輪12の全体の情報を含むので評価が不安定になることがない。そして、データ量を少なくすることができることから、レーザ加工の現場に適用し易い。
さらに、式(6c)による判定は、第1に、レーザ加工の現場で入手する正常を示す基準データを使用せずに判定をすることができ、第2に、比較的判りやすい判定であるためレーザ加工の現場に適切で有用な情報を早期に提供することができる。
<3.1発光色から溶接温度推定>
実施例3のレーザ溶接良否判定装置は、主要な要素として、実施例2と同様に、分光部20と、カメラ24と、光学フィルター26と、良否判定コントローラー34と、画像解析部40と、判定処理部56とを備えている。
そして、実施例3では特に、バンドパス・フィルター60と、温度推定処理部62とを備えている。バンドパス・フィルター60は、予め定められた可視光から近赤外光中の特定の波長λを透過する。そして、温度推定処理部62は、この特定の波長λでの発光輪12の輝度分布と、発光輪内側領域16の輝度分布とに基づいて前記照射領域ARの温度(分布)を推定する。
輝度分布となる光強度Bは、プランクの公式である次式(7)で表される。hはプランク定数、kはボルツマン定数、cは光速度、Tは温度である。次式(7)により、波長と光強度を特定すると対象物の温度Tを唯一に特定することができる。
図12に示すレーザ溶接良否判定装置は、実施例2と同様に、レーザトーチ84と、ハーフミラー22を有する分光部20と、レーザビームLBを集光する集光ミラー28とを備え、重ね合わせ溶接の上側シートOJuと下側シートOJlとの溶接をする。そして、図12に示す例では、レーザビームLBの光軸OXと同軸に分光した光を、さらに2系統に分光している。すなわち、カメラ24Aとカメラ24Bとの2台設置とし、ハーフミラー22Bが、この2つのカメラへ導く光を分光している。分光された一方の光は、λ1の帯域の光を透過するバンドバス・フィルター60Aと、集光レンズ30Aと、エクステンダレンズ32Aとを経過して、カメラ24Aに至る。分光された他方の光は、ミラー64にて反射して、λ2の帯域の光を透過するバンドバス・フィルター60Bと、集光レンズ30Bと、エクステンダレンズ32Bとを経過して、カメラ24Bに至る。
カメラ24Aは、λ1の波長の光について、その輝度分布を照射領域画像10Aとして良否判定コントローラー34に伝送する。カメラ24Bは、λ2の波長の光について、照射領域画像10Bを良否判定コントローラー34に伝送する。良否判定コントローラー34では、画像解析部40が、実施例1及び2と同様に発光輪12の輝度分布等を算出する。そして、図12に示す例では、温度推定処理部62が、λ1の光強度(輝度値)と、λ2の光強度とから、対象物OJの温度を推定する。
図13に、式(7)の横軸を波長λとし、縦軸を光強度Bとしたグラフの一例を示す。波長と光強度の関係について3つのグラフ66A、66B及び66Cを例示した。この各グラフは、それぞれ特定の温度であることを示している。例えば、波長λ1の光強度がグラフ66Cに重なる光強度である場合、対象物OJは当該グラフ66Cが示す温度である。同様に、グラフ66Bに重なればグラフ66Bの温度となる。図12に示す例では、λ1とλ2の照射領域画像10A,10Bを取得するため、2つの波長のそれぞれの光強度から最も近いグラフ66を特定することで、より安定して対象物OJの温度を推定することができる。
また、発光輪12の円周部分の温度と、発光輪重心領域18部分の温度とをそれぞれの光強度から推定することもできる。
図12に示す例では、判定処理部56は、前記各輝度分布と前記推定された温度とに基づいて、前記照射領域ARでの貫通の程度に応じた溶接の良否を判定する。例えば、推定された温度が予め定められた温度に達しない場合に溶接不良と判定することができる。さらに、溶融部MEの温度変化を時系列で観察することもできる。
また、図3及び4に示すタイプ2及び3のように、キーホールKHができているともできていないとも判定が難しく微妙な場合について、複数波長λ1,λ2によるモニタリングによって、発光輪重心領域18(中央部)の温度を評価することができれば、レーザビームLBの反射光やプラズマ光PLの影響で中央輝度が上昇しているのか、それとも赤熱された溶融部MEからの黒体放射であるかを状態判定に追加し、より正確に安定した良否判定が可能になる。
また、バンドパス・フィルター60A,60Bを用いると、プラズマ光PLの影響を低減することができる。例えば、プラズマ光PLの影響で輝度が高まってしまい図14(A)に示すように発光輪内側領域16にてキーホールKHが観察されない場合であっても、バンドパス・フィルター60Aを用いると図14(B)に示すようにキーホールKHを観察することができる。
・3.1発光色から溶接温度推定の効果
上述したように温度推定処理部62を備える例では、対象物OJの色(波長λ)及び光強度とから、対象物OJの温度を推定することができるため、発光輪12と発光輪内側領域16との各輝度分布による良否の判定に加えて、温度変化の観察による良否判定を並列して行うことができ、さらに、各輝度分布による判定の正当性を温度変化の観察により判定することもできる。例えば、プラズマ光PLによる輝度であるか、対象物OJの発光による輝度であるかを対象物OJの推定温度により判定することができ、溶接の良否判定をより正確に行うことができる。
<3.2偏光フィルター使用>
図15に示すように、光学フィルター26として、偏光フィルター72を使用しても良い。一般に光の特性として、偏光状態の混在した光が固体や液体表面で反射した場合、その反射光は直線偏光の成分を多く含むことになる。そのため、金属の上部の空中で生じているプラズマには無偏光の光を多く含むので、表面で反射された光は、ある特定の方向の偏光を多く含むことになる。この現象を利用して、偏光素子72を用いると、コントラストの高い照射領域画像10を得ることができる。
プラズマ光のカメラ24への侵入を防ぐのに、光学的なバンドパス・フィルター60を用いる方法もあるが、完全にプラズマ光の波長とキーホールKHを得るための波長を切り分けることが難しい場合には、この偏光素子を使用すると良い。
また、表面からの反射光を強めるために、図15に示すように、照明部70による外部照明光を利用する方法と組合すことが有効であると考えられる。
・3.2偏光フィルター使用の効果
このように、偏光フィルター72を用いると、バンドパス・フィルター60を使用せずに、プラズマ光PLの成分を遮断して、コントラストの高い照射領域画像10を得ることができる。また、対象物OJの表面からの反射光を強めるために照明部70を用いると、反射光の成分を精度良く撮影することができる。
<3.3バックライト使用>
図16に示すように、バックライトを使用しても良い。この例では、溶接しようとする金属シートの裏側から、特定の波長に強度が強いバックライトを照射することによって、キーホールの生成を観察する。この例では、実施例2と同様に、主要な構成として、分光部20と、カメラ24と、良否判定コントローラー34とを備えている。そして、図16に示す例では特に、狭帯域光源76と、狭帯域バンドパス・フィルター78と、輝円板抽出処理82とを備えている。
図16に示す例では、狭帯域光源76は、レーザビームLBを照射する側(カメラ24がみている側)に対して反対側からワークに特定の波長の光(例:半導体レーザやLEDの照明)を照射する。そして、この帯域の波長だけを透過する狭帯域バンドパス・フィルター78をカメラ24前方に設置する。ここで、特定の波長とはプラズマ光やレーザビームLBにその波長成分が少ないような値を選択しておく。この手法により、キーホールKHの部分は、暗部(ホール)ではなく、図17に示すような輝点(ブライトキーホール,輝円板80)となるが、人為的な照明を用いているので画像のコントラストが上がり、判定安定性が更に向上すると考えられる。
この例では、レーザトーチ84がレーザビームを照射すると、このレーザビームLBは、ハーフミラー22で反射し、集光ミラー28で集光されて対象物OJである上側シートOJuと下側シートOJlとを加熱する。そして、狭帯域光源76は、前記レーザビームLBの照射方向の反対方向から前記対象物を介して前記光軸に向けて狭帯域の光を照射する。レーザビームLBの加熱によりキーホールKHが発生していると、対象物OJには穴が開いており、狭帯域光源76の光が対象物の穴(キーホールKH)を透過する。この透過光は、集光ミラー28で反射してハーフミラー22に至る。ハーフミラー22を備える分光部20は、対象物OJに照射されるレーザビームLBの光軸OXと同軸で当該対象物OJの前記照射領域ARからの光を分光する。従って、狭帯域光源76からの狭帯域の光と、対象物OJの自己発光の光等をカメラ24側に透過する。
そして、カメラ24と前記照射領域ARとの間に設置された狭帯域バンドパス・フィルター78は、狭帯域光源76の狭帯域の光を透過させる。続いて、集光レンズ30で集光され、エクステンダレンズ32で拡大される。そして、カメラ24は、この分光部20で分光され、狭帯域バンドパス・フィルター78を透過した前記照射領域ARの光を光電変換して照射領域画像10を生成する。良否判定コントローラー34は、この照射領域画像10を情報処理して当該溶接の良否を判定する。
図16に示す例では、良否判定コントローラー34は、輝円板処理部82を備えている。輝円板処理部82は、前記照射領域画像10から円板状で高輝度の輝円板80を抽出して、当該輝円板の重心座標と直径とを算出すると共に、この前記輝円板の重心座標と直径とに基づいて、前記照射領域ARでの貫通の程度に応じた溶接の良否を判定する。輝円板80の直径は対象物OJの貫通穴の直径に等しく、貫通の状態を直接的に判定することができる。
・3.3バックライト使用の効果
図16及び図17に示す例では、狭帯域の光をバックライトとして使用し、光学フィルター26としてこの狭帯域の光を透過する狭帯域バンドパス・フィルター78を使用したため、カメラ24は、対象物OJのキーホールKHによる貫通穴の状態を安定して撮影することができる。そして、輝円板処理部82は、輝円板80の直径を画像処理により算出することで、貫通の程度に応じた溶接の良否を判定することができる。
<4レーザ溶接装置>
<4.1フィードバック制御>
実施例4は、実施例2又は3のレーザ加工良否判定装置を備えたレーザ溶接装置である。
図18を参照すると、このレーザ溶接装置は、対象物OJにレーザビームLBを照射するレーザトーチ84と、このレーザトーチ84を案内可能に支持するロボットアーム90と、このロボットアーム90を駆動することでレーザトーチを溶接位置に案内するロボット86と、このロボット86を駆動制御して前記対象物の溶接を制御する溶接コントローラー88とを備えている。
レーザ溶接装置は、さらに、良否判定ユニット100と、良否判定コントローラー34とを備えている。良否判定ユニット100は、実施例2の主要なハードウエアを備えている。すなわち、良否判定ユニット100は、前記対象物OJに照射されるレーザビームLBの光軸OXと同軸で当該対象物OJの前記照射領域ARからの光を分光する分光部20と、この分光部20で分光された前記照射領域ARの光を光電変換して照射領域画像10を生成するカメラ24と、前記カメラ24と前記照射領域ARとの間に設置され、当該照射領域ARにて発生するプラズマ光PLの波長成分を遮断する光学フィルター26とを備えている。
また、良否判定コントローラー34は、実施例2の主要なソフトウエアを備えている。すなわち、良否判定コントローラー34は、前記照射領域画像10から円状で高輝度の発光輪12を抽出して、前記発光輪12の輝度分布と、当該発光輪12の内側の輝度分布とを算出する画像解析部40と、この画像解析部40で解析された前記各輝度分布に基づいて、前記照射領域ARでの貫通の程度を判定する判定処理部56とを備えている。そして、実施例4では特に、判定処理部56は、溶接不良の位置を特定する特定処理を備えている。図18に示す例では、判定処理部56は、溶接に伴い、通常の正常な溶接正常箇所GAと、溶接不良箇所BAと特定する。
さらに、実施例4では、前記溶接コントローラー88が、前記判定処理部56によって特定された溶接不良箇所BAを再溶接させる制御をする再溶接制御部92を備えている。実施例4のレーザ溶接装置は、溶接後にほぼ数秒にて溶接判定結果が出力できるため、検出された溶接不良箇所BAの情報をロボット86に自動的に伝達することで、その場で再溶接し、溶接品質を確保することができる。
・4.1フィードバック制御の効果
このように、良否判定コントローラー34が、溶接不良箇所BAを特定し、溶接コントローラー88が、溶接不良箇所BAを再溶接制御するため、溶接不良が発生した際に直ちに再溶接することで、溶接品質を確保することができる。
<4.2光強度の併用>
再度図18を参照すると、レーザ溶接装置は、好適には、良否判定コントローラー34が、光強度監察部94と、光強度別処理96とを備え、溶接コントローラー88が、非貫通再溶接制御処理98を備えている。
光強度観察部94は、前記照射領域画像10の一部又は全部の輝度値に基づいて、前記照射領域ARの光強度の変化を観察する。そして、光強度別処理96は、当該光強度観察部94にて予め定められた輝度値以上の強い光強度が観察されない期間について、前記画像解析部40により解析された前記各輝度分布に基づいて、前記溶接不良の位置を特定する。さらに、前記再溶接制御部92の非貫通再溶接制御処理98は、前記強い光強度が観察されない期間の前記溶接不良とされた位置(溶接不良箇所BA)について、非貫通溶接の場合の再溶接をさせる制御をする。
このように、画像全体の輝度(光強度)の変更も観測して、強い光強度が観測された際には、従来同様、貫通(裏抜け)以外の不良現象(スパッタリング、ブローホール等)と判定することができる。そして、このような突発的な大きい規模で生ずる不良時には輝度変化が大きいため、その間は実施例2による判定をせず、光強度による良否判定とすると良い。そして、光強度による不良が発生していない期間(強い光強度が観測されない期間)について、実施例2の手法により不良と判定された際には、ブローホール等の突発的な不良ではなく、非貫通の不良であることがより明確となる。従って、この場合、非貫通の不良であるとして非貫通を防止するための再溶接の制御を行うことができる。
例えば、図19のFL1で示す時には、何かがフラッシュして光強度も高いピークとなっている。このような場合、ブローホールが観測される。そして、画面全体の輝度が高く、仮に非貫通溶接での発光輪重心領域18での輝度値低下があっても、ブローホールの発光により観測できない。一方、FL2で示す時に非貫通溶接があると、発光輪重心領域18での輝度値低下を観測することができる。
また、図20に示すように、実施例1及び2の手法による溶接の良否の判定と、光強度の変化とを時系列で同期させると、光強度が大きく変化している際には、溶接NGと判定される。一方、光強度が変化していない際にも、溶接NGと判定されている。この溶接NGのうち、光強度が変化している際には、ブローホール等の突発的な異常の発生であることが多く、一方、光強度が変化していない際の溶接NGは、非貫通溶接の異常であることが多い。
・4.2光強度の併用の効果
このように、発光輪12の輝度分布と発光輪内側領域16の輝度分布とを用いた良否判定と、画像全体の輝度値(光強度)の変化による判定とを併用することで、非貫通溶接を捉える精度を向上させることができる。
本発明の一実施形態の構成例を示すブロック図である。(実施例1から4) 実施例1の構成例を示すフローチャートである。(実施例1から4) 図3(A)から(E)は加工状態と照射部分の自己発光の輝度分布との関係例を示す説明図である。(実施例1から4) 図4(A)から(E)は図3に対応する画像例を示す模式図である。(実施例1から4) 照射領域画像の断面の光強度分布の一例を示す説明図である。(実施例2) 画像解析部の処理対象となる画像例を示す説明図である。(実施例2) 画像解析部の構成例を示すブロック図である。(実施例2) 画像解析部による情報処理例を示すフローチャートである。(実施例2) 図9(A)から(D)は図8に対応した画像処理の一例を示す説明図である。(実施例2) 等分座標の一例を示す説明図である。(実施例2) 等分座標領域の一例を示す説明図である。(実施例2) 複数波長をモニタリングする構成例を示す説明図である。(実施例3) 各波長と溶接部分の温度との関係例を示す説明図である。(実施例3) 図14(A)及び(B)は各波長の画像例を示す説明図である。(実施例3) 偏光フィルターを使用する構成例を示す説明図である(実施例3) バックライトを使用する構成例を示す説明図である(実施例3) 実施例3での照射領域画像の一例を示す説明図である(実施例4) 実施例4のレーザ加工装置の構成例を示す説明図である。(実施例4) 光強度の変化例を示すグラフ図である。(実施例4) 光強度を併用する一例を示す説明図である。(実施例4)
符号の説明
10 照射領域画像
12 発光輪
16 発光輪内側領域
18 発光輪重心領域
20 分光部
24 カメラ
28 集光ミラー
30 集光レンズ
32 エクステンダレンズ
40 画像解析部
AR 照射領域
KH キーホール
KHw キーホール壁
LB レーザビーム
ME 溶融部
OJ 対象物
OX 光軸
PL プラズマ光

Claims (7)

  1. 対象物に照射されるレーザビームの光軸と同軸で当該対象物の照射領域での当該対象物の温度に依存した発光を撮像して照射領域画像を生成する撮像工程と、
    前記照射領域画像の円状で高輝度の発光輪を抽出する発光輪抽出工程と、
    前記照射領域画像のうち前記発光輪の輝度分布と、当該発光輪の内側の輝度分布とに基づいて、前記照射領域での貫通の程度を判定する判定処理工程とを備えた、
    ことを特徴とするレーザ加工良否判定方法。
  2. 対象物に照射されるレーザビームの光軸と同軸で当該対象物の照射領域からの光を分光する分光部と、
    この分光部で分光された前記照射領域の光を光電変換して照射領域画像を生成するカメラと、
    前記カメラと前記照射領域との間に設置され、当該照射領域にて発生するプラズマ光の波長成分を遮断する光学フィルターと、
    前記照射領域画像から円状で高輝度の発光輪を抽出して、前記発光輪の輝度分布と、当該発光輪の内側の輝度分布とを算出する画像解析部と、
    この画像解析部で解析された各輝度分布に基づいて、前記照射領域での貫通の程度を判定する判定処理部とを備えた、
    ことを特徴とするレーザ加工良否判定装置。
  3. 前記画像解析部が、前記発光輪の抽出に際して、
    前記照射領域画像での少なくとも2方向について当該各方向での平均輝度分布を算出する平均輝度分布算出処理と、
    各方向での最大輝度値に予め定められた1以下の取込輝度係数を掛けて取込輝度しきい値を算出すると共に当該取込輝度しきい値よりも明るい画素を取込画像として抽出する取込画像抽出処理と、
    この取込画像の重心を算出して前記発光輪の重心となる重心座標を求める重心座標算出処理と、
    前記各方向での前記最大輝度値に予め定められた1以下の直径抽出係数を掛けて直径抽出輝度しきい値を求めて前記各方向についてそれぞれ当該直径抽出輝度しきい値よりも明るい画素の最大座標値と最小座標値とを算出すると共に、各方向についての最大座標値と最小座標値との差の平均を前記発光輪の直径として算出する直径算出処理とを備えた、
    ことを特徴とする請求項2記載のレーザ加工良否判定装置。
  4. 前記画像解析部が、前記発光輪の前記輝度分布の算出に際して、
    前記重心座標を原点とする前記直径の円周を予め定められた等分数kで等分した際の座
    標値を等分座標として算出する等分座標算出処理と、
    この各等分座標の輝度値の平均を算出して当該発光輪の輝度分布として単一の輝度値を求める発光輪輝度値算出処理とを備えた、
    ことを特徴とする請求項3記載のレーザ加工良否判定装置。
  5. 対象物に照射されるレーザビームの光軸と同軸で当該対象物の照射領域からの光を分光する分光部と、
    この分光部で分光された前記照射領域の光を光電変換して照射領域画像を生成するカメラと、
    前記カメラと前記照射領域との間に設置され、予め定められた可視光から近赤外光中の特定の波長を透過するバンドパス・フィルターと、
    前記照射領域画像を情報処理して溶接の良否を判定する良否判定コントローラーとを備え、
    この良否判定コントローラーが、
    前記照射領域画像から円状で高輝度の発光輪を抽出して、前記発光輪の輝度分布と、当該発光輪の内側の輝度分布とを算出する画像解析部と、
    前記特定の波長での各輝度分布に基づいて前記照射領域の温度を推定する温度推定処理部と、
    前記各輝度分布と前記推定された温度とに基づいて、前記照射領域での貫通の程度に応じた溶接の良否を判定する判定処理部とを備えた、
    ことを特徴とするレーザ溶接良否判定装置。
  6. 対象物にレーザビームを照射するレーザトーチと、
    このレーザトーチを対象物の溶接位置に案内するロボットと、
    このロボットを駆動制御して前記対象物の溶接を制御する溶接コントローラーと、
    前記溶接をモニタリングして当該溶接の良否を判定する良否判定コントローラーと、
    前記対象物に照射されるレーザビームの光軸と同軸で当該対象物の照射領域からの光を分光する分光部と、
    この分光部で分光された前記照射領域の光を光電変換して照射領域画像を生成するカメラと、
    前記カメラと前記照射領域との間に設置され、当該照射領域にて発生するプラズマ光の波長成分を遮断する光学フィルターとを備え、
    前記良否判定コントローラーが、
    前記照射領域画像から円状で高輝度の発光輪を抽出して、前記発光輪の輝度分布と、当該発光輪の内側の輝度分布とを算出する画像解析部と、
    この画像解析部で解析された各輝度分布に基づいて、前記照射領域での貫通の程度を判定すると共に溶接不良の位置を特定する判定処理部とを備え、
    前記溶接コントローラーが、前記判定処理部によって溶接不良と判定された位置を再溶接させる制御をする再溶接制御部を備えた、
    ことを特徴とするレーザ溶接装置。
  7. 前記良否判定コントローラーが、
    前記照射領域画像の一部又は全部の輝度値に基づいて、前記照射領域の光強度の変化を観察する光強度観察部を備え、
    前記画像解析部が、当該光強度観察部にて予め定められた輝度値以上の強い光強度が観察されない期間について、前記画像解析部により解析された各輝度分布に基づいて、前記溶接不良の位置を特定する光強度別処理を有し、
    前記再溶接制御部が、前記強い光強度が観察されない期間の前記溶接不良とされた位置について、非貫通溶接の場合の再溶接をさせる制御をする非貫通再溶接制御処理を備えた、
    ことを特徴とする請求項6記載のレーザ溶接装置。
JP2008290047A 2008-11-12 2008-11-12 レーザ加工良否判定方法及び装置 Expired - Fee Related JP5354335B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008290047A JP5354335B2 (ja) 2008-11-12 2008-11-12 レーザ加工良否判定方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008290047A JP5354335B2 (ja) 2008-11-12 2008-11-12 レーザ加工良否判定方法及び装置

Publications (2)

Publication Number Publication Date
JP2010115680A JP2010115680A (ja) 2010-05-27
JP5354335B2 true JP5354335B2 (ja) 2013-11-27

Family

ID=42303658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008290047A Expired - Fee Related JP5354335B2 (ja) 2008-11-12 2008-11-12 レーザ加工良否判定方法及び装置

Country Status (1)

Country Link
JP (1) JP5354335B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012247381A (ja) * 2011-05-31 2012-12-13 Ihi Corp 溶接部の温度測定装置
WO2013171848A1 (ja) * 2012-05-15 2013-11-21 トヨタ自動車株式会社 溶接方法、溶接装置、及び電池の製造方法
JP5967042B2 (ja) 2013-09-12 2016-08-10 Jfeスチール株式会社 レーザ溶接良否判定装置及びレーザ溶接良否判定方法
JP6211863B2 (ja) * 2013-09-19 2017-10-11 株式会社キーレックス 接合組立装置
JP2016097407A (ja) * 2014-11-18 2016-05-30 株式会社アマダホールディングス 反射光検出方法及びレーザ加工ヘッド
JP6359475B2 (ja) * 2015-03-11 2018-07-18 プライムアースEvエナジー株式会社 溶接モード判別装置、溶接モード判別方法及びレーザ溶接装置
CN105784334B (zh) * 2016-04-08 2018-08-07 中国人民解放军国防科学技术大学 基于光电探测器和ccd相机的光纤激光光束质量测量方法
EP3571003B1 (en) * 2017-01-18 2024-07-03 IPG Photonics Corporation Methods and systems for coherent imaging and feedback control for modification of materials
JP7006915B2 (ja) * 2017-09-27 2022-02-10 株式会社タマリ工業 溶接外観不良検出装置、レーザ溶接装置、及び、溶接外観不良検出方法
EP3466597A1 (en) * 2017-10-05 2019-04-10 Synova S.A. Apparatus for machining a workpiece with a laser beam
EP3492210B1 (en) 2017-12-04 2023-08-30 Synova S.A. Apparatus for 3d shaping of a workpiece by a liquid jet guided laser beam
DE102018220329A1 (de) * 2018-11-27 2020-05-28 Amada Holdings Co., Ltd. Laserschweissmaschine und verfahren zur überwachung eines schweisszustands
JP6579595B1 (ja) * 2018-11-30 2019-09-25 東芝エレベータ株式会社 基準位置設定システム
JP7220383B2 (ja) * 2019-06-28 2023-02-10 パナソニックIpマネジメント株式会社 リペア溶接制御装置およびリペア溶接制御方法
KR102173947B1 (ko) * 2019-07-18 2020-11-04 (주)제이스텍 레이져 가공 동축 비젼시스템
KR102173946B1 (ko) * 2019-07-18 2020-11-04 (주)제이스텍 디스플레이 패널 커팅용 레이져 가공 동축 비젼시스템
JP2020006442A (ja) * 2019-09-03 2020-01-16 株式会社アマダホールディングス 反射光検出方法及びレーザ加工ヘッド
CN110567925A (zh) * 2019-09-10 2019-12-13 哈尔滨焊接研究院有限公司 激光焊接在线自适应熔透检测装置及检测方法
CN112692453B (zh) * 2020-12-16 2022-07-15 西安中科微精光子科技股份有限公司 利用高速相机识别气膜孔穿透区域的方法、系统及介质
JP7645451B2 (ja) * 2021-05-27 2025-03-14 パナソニックIpマネジメント株式会社 推定方法、および推定システム
KR102652118B1 (ko) * 2023-07-27 2024-03-27 박진성 중증장애인의 나전칠기 제조방법
CN120931952A (zh) * 2025-10-15 2025-11-11 西北工业大学宁波研究院 一种基于偏振成像的金属表面焊缝特征定位方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3817448B2 (ja) * 2001-07-06 2006-09-06 本田技研工業株式会社 レーザ溶接方法

Also Published As

Publication number Publication date
JP2010115680A (ja) 2010-05-27

Similar Documents

Publication Publication Date Title
JP5354335B2 (ja) レーザ加工良否判定方法及び装置
US10002418B2 (en) Laser beam welding diagnosis apparatus and laser beam welding diagnosis method
JP5875630B2 (ja) 不完全切断を識別するための方法および装置
CN114502313B (zh) 用于借助激光束在工件上执行加工工序的激光加工系统和用于监控工件上的借助激光束的加工工序的方法
KR102673034B1 (ko) 레이저 가공 장치, 웨이퍼 처리 시스템 및 레이저 가공 장치의 제어 방법
JP2013123743A (ja) レーザ溶接の溶接位置検出装置および溶接位置検出方法
JP6792880B2 (ja) レーザ溶接状態判定装置
JP2018039028A (ja) レーザ加工機、及びレーザ加工方法
JP4179558B2 (ja) レーザ溶接品質評価方法および装置
JP2008246536A (ja) 溶接状況解析装置及び方法
JP7173641B2 (ja) 表示装置パネルに対するレーザーリペア及び検査方法とこれに適したリペア及び検査装置
JP2005014027A (ja) 溶接部のイメージ処理方法、溶接管理システム、溶接機のためのフィードバックシステム、突合わせ線検出システム
JP2018084431A (ja) 検査装置及び検査方法
JP4240220B2 (ja) レーザ溶接品質検査方法及び装置
JP2005265661A (ja) 画像処理方法およびその装置
JP3579788B2 (ja) 裏波溶接制御方法及びその装置
KR20160118722A (ko) 3d 비전검사 시스템
JP5224061B2 (ja) レーザ溶接品質評価方法及び装置
JP2020069518A (ja) 溶接モニタリング装置および溶接モニタリング方法
Lertrusdachakul et al. Vision-based control of wire extension in GMA welding
TWI718965B (zh) 雷射束的異常檢測方法及雷射加工裝置
KR101136387B1 (ko) 비전시스템을 이용한 자동차 부품 검사방법
JP2008087056A (ja) レーザ溶接品質判定システムおよび品質判定方法
WO2021111545A1 (ja) 溶接異常診断装置
JP6094690B2 (ja) レーザ溶接鋼管のレーザ照射位置ずれ検出方法、鋼管の製造方法、レーザ照射位置ずれ検出装置、鋼管のレーザ溶接装置、および鋼管の製造装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130815

LAPS Cancellation because of no payment of annual fees