[go: up one dir, main page]

WO1992000167A1 - Method of detecting shift in camera position - Google Patents

Method of detecting shift in camera position Download PDF

Info

Publication number
WO1992000167A1
WO1992000167A1 PCT/JP1991/000723 JP9100723W WO9200167A1 WO 1992000167 A1 WO1992000167 A1 WO 1992000167A1 JP 9100723 W JP9100723 W JP 9100723W WO 9200167 A1 WO9200167 A1 WO 9200167A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
data
robot
error
fixed point
Prior art date
Application number
PCT/JP1991/000723
Other languages
English (en)
French (fr)
Inventor
Atsushi Watanabe
Taro Arimatsu
Original Assignee
Fanuc Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Ltd filed Critical Fanuc Ltd
Publication of WO1992000167A1 publication Critical patent/WO1992000167A1/ja

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Definitions

  • the present invention relates to a method for detecting a camera position shift in a robot system, and more particularly to a method for detecting a camera position shift before starting work.
  • the camera may be fixed or provided on the robot hand.
  • assembling work becomes impossible if the position of the camera is shifted.
  • the frequency of the position and posture of the fixed force One — not very expensive.
  • the nature of the force camera that captures a distant object even a small amount of misalignment can be an obstacle to robot operation. It was difficult to judge a small amount of misalignment easily, and performing the mouth bot operation as it was was a concern before starting the work. Once a failure has occurred in the robot operation, the work will be damaged and will not be recovered.
  • the present invention has been made in view of such a point, and an object of the present invention is to provide a camera position shift detecting method which can confirm a camera position shift before starting work by a simple method.
  • a method of detecting a displacement of a camera comprising: capturing an image of a fixed point for confirmation with the camera; obtaining imaging data; obtaining position data from the imaging data; An error between the data and the reference position data is determined, and when the error exceeds an allowable value, a camera position error alarm is provided.
  • Fig. 1 is a flowchart of the misalignment confirmation program
  • Fig. 2 is an overall configuration diagram of a robot system for implementing the method for detecting misalignment of a force camera according to the present invention. It is. BEST MODE FOR CARRYING OUT THE INVENTION
  • an embodiment of the present invention will be described with reference to the drawings.
  • FIG. 2 is an overall configuration diagram of a robot system for implementing the camera position shift detection method of the present invention.
  • a pattern plate 3 is connected to the arm 2 of the robot 1.
  • the pattern plate 3 is provided with a fixed point for confirming the displacement of the camera 4.
  • one fixed point is theoretically sufficient for most displacements, but two fixed points are provided for accuracy.
  • the robot 1 is controlled by the mouth robot controller 10.
  • the robot controller 10 controls the robot 1 and positions the pattern plate 3 at the reference position in order to detect the displacement of the camera 4.
  • a force camera 4 is coupled to the image processing device 20, and the camera 4 captures an image of the pattern plate 3 to detect a displacement of the camera 4.
  • the image processing device 20 is mainly composed of a processor (CPU) 21.
  • ROM 22 has components for image processing. Stores the role software 22a.
  • the program memory 23 stores a position shift check program 23 a for checking the position shift of the camera 4.
  • the details of the displacement confirmation program 23a will be described later.
  • the data memory 24 stores reference position data 24 a of a fixed point of the pattern board 3 imaged by the camera 4.
  • image data 25 a at a fixed point of the pattern board 3 captured by the camera 4 is stored via a camera interface (CINT) 28.
  • the image data 25a is processed by the image processor 26 and sent to the data memory 24 as position data 24b.
  • the interface (INT) 27 is an interface for communication with the robot controller 10, receives a command for confirming the displacement of the camera 4 from the robot controller 10, and issues a displacement error signal. Alternatively, send the position normal signal to the robot controller 10
  • Fig. 1 shows a chart of the misalignment confirmation program.
  • the numeral following S indicates the step number.
  • the robot controller 10 determines whether the robot 1 has positioned the pattern No. 3 at the reference position, and proceeds to S3 if the positioning is completed.
  • Mouth bot controller 10 will interrupt when positioning is completed.
  • a positioning completion signal is sent to the image processing device 20 via the fuse 27.
  • the camera 4 captures an image of a fixed point on the pattern plate 3 and captures the captured data as framed data 25a into the frame memory 25 via the camera interface 28. Further, the image data 25a is subjected to image processing by the image processor 26 and stored in the data memory 24 as position data 24b.
  • the robot controller 10 receives the displacement alarm signal and displays the displacement alarm of the force camera 4 on a display device (not shown). This allows the operator to know the position of the camera. On the other hand, if the position of the force camera 4 is not deviated, a camera position normal signal is sent to the robot controller 10 and it is displayed that there is no abnormality in the camera position. Work can be started with confidence.
  • the fixed point for imaging is provided on the pattern plate and positioned at the reference position by the mouth bot.
  • the fixed point may be provided at a fixed position.
  • the position error alarm signal or the position confirmation signal of the camera is sent to the robot control device, and the position error alarm or the like is displayed on the display device of the robot control device.
  • the deviation alarm signal can be sent to a PC (programmable controller) that controls the robot in general and processed by this PC.
  • the camera is imaged at a fixed point to detect the displacement of the camera, so that it is possible to confirm whether the position of the camera is normal before starting work, and to ensure safety. Work can be started at the same time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)

Description

明 細 書 カメ ラの位置ずれ検出方法
技 術 分 野
本発明はロボッ ト システムにおけるカメ ラの位置ずれ検出 方法に関し、 特にカメ ラの位置ずれを作業開始前に確認する カメ ラの位置ずれ検出方法に関する。
背 景 技 術
ロボッ ト システムではワークをカメ ラによって撮像し、 ヮ ークの位置を認識させて、 検査作業、 組立作業、 パレタイ ジ ング作業等を実行させることが実用化されつつある。 このた めに、 カメ ラを固定する場合と、 ロボッ トのハン ドに設ける 場合がある。 特に、 力メ ラの位置が固定の場合は、 カメ ラ位 置がずれると組立作業等は不可能になる。
しかし、 実際のロボッ 卜の作業が正常に行えないようにな る場合には種々の原因が考えられる。 例えば、 ロボッ トと対 象物の相対位置のずれ、 ティーチングプログラムの誤り等が あ 。
従って、 ある不具合が生じたときにその原因を特定するた めに、 原因となる要素を個々に確認していく必要がある。 勿 論、 カメ ラの位置ずれも、 これらの不具合の原因の一つであ る o
一般に固定しておいた力メ ラの位置、 姿勢がずれる頻度は 一 — それほど高くない。 しかし、 距離のある対象物を撮像する力 メ ラの性質上、 微量な位置ずれもロボッ トの作業上の障害と なる。 微量の位置ずれは簡単に判断するのは困難であり、 口 ボッ トの作業をそのまま行うことは、 作業開始前の不安材料 であった。 一旦ロボッ トの作業に不具合が発生してからでは、 ワークの損傷等が発生し、 取り返しがつかない。
従って、 事前に簡単な方法で、 カメ ラの位置、 姿勢等のず れの確認をすることが要求される。 発 明 の 開 示
本発明はこのような点に鑑みてなされたものであり、 簡単 な方法で作業開始前にカメ ラの位置ずれを確認できるカメ ラ の位置ずれ検出方法を提供することを目的とする。
本発明では上記課題を解決するために、
ロボッ ト システムにおけるカメ ラの位置ずれを検出する力 メ ラの位置ずれ検出方法において、 前記カメ ラで確認用定点 を撮像し、 撮像データを求め、 前記撮像データから位置デー タを求め、 前記位置データと基準位置データとの誤差を求め、 前記誤差が許容値を越えているときは、 カメ ラの位置ずれァ ラームとすることを特徴とするカメ ラの位置ずれ検出方法が、 提供される。
ロボッ 卜の作業開始前に、 カメ ラで確認用定点を撮像して、 撮像データを求める。 撮像データから位置データを求める。 この位置データと基準位置データとの誤差を求め、 この誤差 が許容値を越えているときは、 カメ ラの位置ずれアラームと する。 これによつて、 カメ ラの位置ずれを確認できる。 図 面 の 簡 単 な 説 明 第 1図は位置ずれ確認プログラムのフローチャー ト、 第 2図は本発明の力メ ラの位置ずれ検出方法を実施するた めのロボッ ト システムの全体の構成図である。 発明を実施するための最良の形態 以下、 本発明の一実施例を図面に基づいて説明する。
第 2図は本発明のカメ ラの位置ずれ検出方法を実施するた めのロボッ ト システムの全体の構成図である。 ロボッ ト 1の アーム 2には、 パター ン板 3が結合されている。 パター ン板 3にはカメ ラ 4の位置ずれを確認するための定点が設けられ ている。 カメ ラ 4の位置ずれを検出するには、 ほとんどの位 置ずれに対して理論的に 1個の定点で足りるが、 正確を期す ために 2個の定点を設けている。
ロボッ ト 1 は口ボッ ト制御装置 1 0によって制御される。 ロボッ ト制御装置 1 0はロボッ ト 1を制御して、 カメ ラ 4の 位置ずれを検出するために、 パター ン板 3を基準位置に位置 決めする。
—方、 画像処理装置 2 0 には力メ ラ 4が結合されており、 カメ ラ 4によってパター ン板 3を撮像し、 カメ ラ 4の位置ず れを検出する。
画像処理装置 2 0はプロセ ッサ (C P U ) 2 1を中心に構 成されている。 R O M 2 2には画像処理を行うためのコ ン ト ロール · ソフ ト ウ ェア 2 2 aが格納されている。
プログラムメモリ 2 3には、 カメ ラ 4の位置ずれを確認す るための位置ずれ確認プログラム 2 3 aが格納されている。 位置ずれ確認プログラム 2 3 aの詳細については後述する。
データメモリ 2 4には、 カメ ラ 4で撮像するパターン板 3 の定点の基準位置データ 2 4 aが格納されている。
フ レームメ モ リ 2 5 は、 カメ ラ 4が撮像した、 パターン板 3の定点の撮像データ 2 5 aがカメ ライ ンタフェース (C I N T ) 2 8を経由して格納される。 この撮像データ 2 5 aは 画像処理プロセッサ 2 6によって処理され、 位置データ 2 4 bとしてデータメ モ リ 2 4に送られる。
イ ンタ フェース ( I N T ) 2 7 はロボッ ト制御装置 1 0 と の通信のためのィ ンタフヱースであり、 ロボッ ト制御装置 1 0からカメ ラ 4の位置ずれ確認指令を受け、 その位置ずれァ ラーム信号あるいは位置正常信号をロボッ ト制御装置 1 0に
3 ^る。
次にカメ ラ 4の位置ずれ確認プログラムについて述べる。 第 1図は位置ずれ確認プログラムのフ口一チャー トである。 図において、 Sに続く数値はステップ番号を示す。
〔 S 1〕 ロボッ ト制御装置 1 0からカメ ラ 4の位置の確認指 令があるか判別し、 あれぱ S 2へ進む。
〔 S 2〕 ロボッ ト制御装置 1 0 によって、 ロボッ ト 1 がパタ ーン扳 3を基準位置に位置決めしたか判別し、 位置決めが完 了していれば S 3へ進む。
口ボッ ト制御装置 1 0は位置決めが完了したときにイ ンタ フ ユ ース 2 7を経由して、 位置決め完了信号を画像処理装置 2 0 に送る。
〔 S 3〕 カメ ラ 4によって、 パター ン板 3の定点を撮像して、 カメ ライ ンタフヱース 2 8を経由して、 フ レームメ モ リ 2 5 に撮像データ 2 5 aとして取り込む。 さらに、 この撮像デー タ 2 5 aを画像処理プロセッサ 2 6で画像処理して、 位置デ ータ 2 4 bとして、 データメ モ リ 2 4に格納する。
〔 S 4〕 基準位置データ 2 4 aと位置データ 2 4 bを比較し、 その誤差厶 εを求める。
〔 S 5〕 誤差△ εを誤差許容値 ε aと比較し、 誤差 Δ εの方 が大きければ S 6へ、 そうでなければ S 7へ進む。
〔 S 6〕 誤差△ εが誤差許容値 ε aより大きいので、 ロボッ ト制御装置 1 0へ力メ ラ 4の位置ずれァラーム信号を送る。
〔 S 7〕 ロボッ ト制御装置 1 0へカメ ラの位置正常信号を送 る o
ロボッ ト制御装置 1 0は位置ずれアラーム信号を受けて、 図示されていない表示装置に力メ ラ 4の位置ずれァラームを 表示する。 これによつて、 オペレータはカメ ラの位置ずれを 知ることができる。 また、 逆に力メ ラ 4の位置がずれていな いときは、 ロボッ ト制御装置 1 0にカメ ラの位置正常信号が 送られ、 カメ ラの位置に異常がないことが表示され、 ォペレ —タは安心して作業を開始することができる。
上記の説明では、 撮像用の定点はパター ン板に設けて、 口 ボッ トで基準位置に位置決めするようにしたが、 固定した位 置に定点を設けて行うこともできる。 また、 上記の説明では、 ロボッ ト制御装置にカメ ラの位置 ずれアラーム信号あるいは位置確認信号を送り、 ロボッ ト制 御装置の表示装置に位置ずれアラーム等を表示するようにし たが、 これらの位置ずれアラーム信号をロボッ トを統括制御 する P C (プログラマブル ' コ ン ト ローラ) 等に送り、 この P Cで処理することもできる。
以上説明したように本発明では、 カメ ラで定点を撮像して、 カメ ラの位置ずれを検出するようにしたので、 作業開始前に カメ ラの位置が正常かどうか確認することができ、 安全に作 業を開始することができる。

Claims

請 求 の 範 囲
1 . 口 ボッ ト システムにおけるカ メ ラの位置ずれを検出す るカ メ ラの位置ずれ検出方法において、
前記カメ ラで確認用定点を撮像し、 撮像データを求め、 前記撮像データから位置データを求め、
前記位置データと基準位置データとの誤差を求め、
前記誤差が許容値を越えているときは、 カメ ラの位置ずれ アラームとすることを特徵とする力メ ラの位置ずれ検出方法。
2 . 前記確認用定点はロボッ 卜のアームに把持されたパタ ーン板上の点とし、 前記ロボッ 卜が前記パターン板を基準位 置に位置決めすることを特徴とする請求項 1記載の力メ ラの 位置ずれ検出方法。
3 . 前記定点は前記力メ ラの位置確認用に設けられた固定 された点であることを特徵とする請求項 1記載の力メ ラの位 置ずれ検出方法。
PCT/JP1991/000723 1990-06-29 1991-05-28 Method of detecting shift in camera position WO1992000167A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2171645A JP2806604B2 (ja) 1990-06-29 1990-06-29 カメラの位置ずれ検出方法
JP2/171645 1990-06-29

Publications (1)

Publication Number Publication Date
WO1992000167A1 true WO1992000167A1 (en) 1992-01-09

Family

ID=15927053

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1991/000723 WO1992000167A1 (en) 1990-06-29 1991-05-28 Method of detecting shift in camera position

Country Status (4)

Country Link
US (1) US5274360A (ja)
EP (1) EP0494308A4 (ja)
JP (1) JP2806604B2 (ja)
WO (1) WO1992000167A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228826A (zh) * 2023-02-21 2023-06-06 蔚来汽车科技(安徽)有限公司 换电站相机校准系统及其方法、计算机可读存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5771234A (en) * 1995-12-06 1998-06-23 Industrial Technology Research Institute Method and system for ATM cell multiplexing under constant bit rate, variable bit rate and best-effort traffic
US5812526A (en) * 1995-12-21 1998-09-22 Industrial Technology Research Institute Traffic control mechanism in ATM communications network
US5987028A (en) * 1997-05-12 1999-11-16 Industrial Technology Research Insitute Multiple channel ATM switch
US5940389A (en) * 1997-05-12 1999-08-17 Computer And Communication Research Laboratories Enhanced partially self-routing algorithm for controller Benes networks
JP5033291B2 (ja) 2000-04-07 2012-09-26 ピルツ ゲーエムベーハー アンド コー.カーゲー 危険区域の安全防護のための保護装置およびその装置の機能的信頼性をチェックする方法
DE102005063217C5 (de) 2005-12-22 2022-08-18 Pilz Gmbh & Co. Kg Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichsund entsprechende Überwachungseinrichtung
JP5496008B2 (ja) 2010-08-06 2014-05-21 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
WO2013108075A1 (en) * 2012-01-17 2013-07-25 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi System and method for measuring tracker system accuracy
CN105939474B (zh) * 2016-06-24 2018-03-06 华为技术有限公司 用于测试摄像头的测试设备和测试方法
JP6750406B2 (ja) * 2016-09-01 2020-09-02 アイシン精機株式会社 搬入出装置の搬入出作業における失敗要因特定方法
US10399227B1 (en) 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN112677146A (zh) * 2019-10-18 2021-04-20 牧今科技 验证和更新机器人控制用校准信息的方法和控制系统
CN111890371B (zh) * 2019-03-29 2021-05-04 牧今科技 验证和更新机器人控制用校准信息的方法和控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01103292A (ja) * 1987-10-14 1989-04-20 Hitachi Ltd ロボットへのカメラ取り付け方式
JPH01121975A (ja) * 1987-11-06 1989-05-15 Fanuc Ltd 視覚センサのための光軸補正方式

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
EP0151417A1 (en) * 1984-01-19 1985-08-14 Hitachi, Ltd. Method for correcting systems of coordinates in a robot having visual sensor device and apparatus therefor
US4851905A (en) * 1984-10-12 1989-07-25 Diffracto Ltd. Vision target fixture construction
US4796200A (en) * 1986-12-09 1989-01-03 Diffracto Ltd. Target based determination of robot and sensor alignment
JPS6374586A (ja) * 1986-09-18 1988-04-05 トキコ株式会社 工業用ロボツト
US5060007A (en) * 1986-11-20 1991-10-22 Canon Kabushiki Kaisha Image blur display device
JPH0213804A (ja) * 1988-07-01 1990-01-18 Fanuc Ltd 視覚センサにおけるノミナル設定方式
JPH03205994A (ja) * 1990-10-26 1991-09-09 Hitachi Ltd クロマ信号のエンファシス・ディエンファシス回路

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01103292A (ja) * 1987-10-14 1989-04-20 Hitachi Ltd ロボットへのカメラ取り付け方式
JPH01121975A (ja) * 1987-11-06 1989-05-15 Fanuc Ltd 視覚センサのための光軸補正方式

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0494308A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228826A (zh) * 2023-02-21 2023-06-06 蔚来汽车科技(安徽)有限公司 换电站相机校准系统及其方法、计算机可读存储介质

Also Published As

Publication number Publication date
US5274360A (en) 1993-12-28
EP0494308A1 (en) 1992-07-15
EP0494308A4 (en) 1993-03-03
JPH0460817A (ja) 1992-02-26
JP2806604B2 (ja) 1998-09-30

Similar Documents

Publication Publication Date Title
WO1992000167A1 (en) Method of detecting shift in camera position
JP4174342B2 (ja) ワーク搬送装置
CN103128464B (zh) 机器人点焊系统防错方法
WO1992015838A1 (en) Detection position correction system
WO1992001539A1 (fr) Procede d'etalonnage d'un capteur visuel
JP7281910B2 (ja) ロボット制御システム
JPH08286701A (ja) 複数ロボット制御方法およびシステム
JP3300477B2 (ja) ロボット間補正データ通信方式
JP2665227B2 (ja) 位置補正装置
JPS63288696A (ja) ロボット動作異常監視方式
TWM570449U (zh) Automatic detection device
TWI812952B (zh) 設備故障影像監控系統
JP3831988B2 (ja) 画像の2値化処理におけるしきい値設定方法
JPH042488A (ja) ロボットの異常空間動作検知方法
JPS6016395A (ja) ロボツト動作異常監視装置
JP7563131B2 (ja) モバイルマニピュレータ、モバイルマニピュレータの制御方法、制御プログラム
JP7441319B2 (ja) 対基板作業機
WO2023137841A1 (zh) 基于机器视觉的机器人关节形变传感器、机械臂及方法
JPH06243257A (ja) 移動体の位置検出健全性確認方式
KR20020079195A (ko) 반도체 설비의 웨이퍼 매수 확인 방법
JPS61276497A (ja) デツドロツク認識方法
JP2545829B2 (ja) ロボツトの制御装置
JP2007000995A (ja) データ及び計算の二重化、駆動系の照合によるロボットの操作方法
JP2813052B2 (ja) レーザプレス加工における材料位置ずれ検出の運転方法
JPS6398001A (ja) 異常検出による装置の停止制御方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE IT SE

WWE Wipo information: entry into national phase

Ref document number: 1991909717

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1991909717

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 1991909717

Country of ref document: EP