[go: up one dir, main page]

WO2023248439A1 - ロボットシステム、ロボット制御装置およびロボット制御プログラム - Google Patents

ロボットシステム、ロボット制御装置およびロボット制御プログラム Download PDF

Info

Publication number
WO2023248439A1
WO2023248439A1 PCT/JP2022/025181 JP2022025181W WO2023248439A1 WO 2023248439 A1 WO2023248439 A1 WO 2023248439A1 JP 2022025181 W JP2022025181 W JP 2022025181W WO 2023248439 A1 WO2023248439 A1 WO 2023248439A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
display screen
image
robot system
image displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/025181
Other languages
English (en)
French (fr)
Inventor
智 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to PCT/JP2022/025181 priority Critical patent/WO2023248439A1/ja
Priority to TW112121064A priority patent/TW202400375A/zh
Publication of WO2023248439A1 publication Critical patent/WO2023248439A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators

Definitions

  • the embodiments mentioned in this application relate to a robot system, a robot control device, and a robot control program.
  • vision systems robot vision
  • videos images acquired by the vision system
  • an industrial robot will be explained as an example, but the present embodiment is not limited to application to industrial robots, and can be applied to collaborative robots and other applications. It can be widely applied to a variety of robots.
  • JP2006-289531A Japanese Patent Application Publication No. 2000-079587 JP2020-093385A
  • the image displayed on the display screen of the teaching operation panel is determined by the orientation of the camera attached to the industrial robot. Therefore, depending on the orientation of the camera, the direction in which the industrial robot moves as seen by the worker operating the teaching pendant and the direction in which it moves in the image on the display screen may not be intuitively acceptable.
  • the problem to be solved by the present invention is a robot system, a robot control device, and a robot control program that can smoothly perform operations by eliminating the sense of discomfort between the direction of movement of the robot actually operated and the direction of movement in the image on the display screen.
  • the goal is to provide the following.
  • an image capturing device a terminal device having a display screen that displays images captured by the image capturing device, and a terminal device that is operated based on the image displayed on the display screen.
  • a robot system comprising: a robot that moves a second direction in which a subject in the image displayed on the display screen moves when a predetermined part of the robot is operated to move in a first direction;
  • a robotic system is provided that adjusts based on a first orientation.
  • FIG. 1 is a diagram schematically showing an industrial robot system as an example of the robot system according to the present embodiment.
  • FIG. 2 is a diagram (part 1) for explaining the first example of the robot system according to the present embodiment.
  • FIG. 3 is a diagram (part 2) for explaining the first example of the robot system according to the present embodiment.
  • FIG. 4 is a diagram (part 3) for explaining the first example of the robot system according to the present embodiment.
  • FIG. 5 is a diagram (part 1) for explaining the second example of the robot system according to the present embodiment.
  • FIG. 6 is a diagram (part 2) for explaining the second example of the robot system according to the present embodiment.
  • FIG. 7 is a diagram for explaining a first application example of the robot system according to this embodiment.
  • FIG. 1 is a diagram schematically showing an industrial robot system as an example of the robot system according to the present embodiment.
  • FIG. 2 is a diagram (part 1) for explaining the first example of the robot system according to the present embodiment.
  • FIG. 3 is a diagram (
  • FIG. 8 is a diagram for explaining a second application example of the robot system according to this embodiment.
  • FIG. 9 is a diagram for explaining a third application example of the robot system according to this embodiment.
  • FIG. 10 is a flowchart for explaining an example of processing of the robot control program according to this embodiment.
  • FIG. 11 is a flowchart for explaining another example of the processing of the robot control program according to this embodiment.
  • FIG. 1 is a diagram schematically showing an industrial robot system as an example of the robot system according to the present embodiment.
  • an industrial robot system 100 as an example of a robot system according to the present embodiment includes an industrial robot 1, a robot control device 2, and a teaching pendant (terminal device) 3.
  • a gripping portion (hand portion) 11A is provided at the tip of the arm 11 of the industrial robot 1, and the gripping portion 11A grips, for example, a workpiece (object) 5 placed on a workbench 4 and holds it in a predetermined position. It is designed to perform the following processing.
  • a camera (image photographing device) 12 for photographing the workpiece 5 and the like is attached near the gripping portion 11A of the arm 11, and an image (video) including the workpiece 5 photographed by this camera 12 is sent to the robot control device 2. is output to.
  • reference numeral 13 is a ring illumination (illumination device) provided on the outer periphery of the camera 12 and for irradiating the workpiece 5 with light L to obtain a clear image.
  • the robot control device 2 refers to images from the camera 12 and controls the industrial robot 1 based on, for example, a pre-installed program (software program).
  • the teaching pendant 3 includes a display screen 31 and an operation section 32, and is connected to the robot control device 2 by wired or wireless communication.
  • the teaching pendant 3 allows a predetermined position of the industrial robot 1 using the gripping part 11A by, for example, an operator (teaching person) operating the operating part 32 while checking the image on the display screen 31.
  • the robot controller 2 is used to teach the operation of the robot via the robot controller 2.
  • the robot control device 2 not only controls the industrial robot 1 based on commands from the teaching pendant 3, but also processes images displayed on the display screen 31 of the teaching pendant 3, etc., as will be described in detail later.
  • the example of the robot system according to the present embodiment described in detail below is realized by the processing of the robot control device 2, or by the robot control program executed by the arithmetic processing unit (CPU) of the robot control device 2. be done.
  • the robot system according to the present embodiment is not limited to an industrial robot system that grips a workpiece 5 with a gripper 11A as shown in FIG. It may be a system. Furthermore, as described above, the robot system according to this embodiment is not limited to industrial robot systems, and can be widely applied to various robot systems including collaborative robots. be.
  • FIGS. 2(a) and 2(b) are for explaining an example of teaching processing in a robot system to which this embodiment is not applied
  • FIGS. 4(a) and 4(b) are for explaining an example of teaching processing in a robot system to which this embodiment is not applied.
  • FIG. 3 is for explaining the processing by the robot control device in the robot system of the first embodiment.
  • a worker (teacher) P operates the operation unit 32 while checking the image on the display screen 31 of the teaching pendant 3, and the robot (industrial robot) 1
  • the hand portion 11A is moved in the leftward direction DA (from right to left in FIG. 2(a)).
  • an image (video) captured by the camera 12 and input via the robot control device 2 is displayed on the display screen 31 of the teaching pendant 3.
  • the image displayed on the display screen 31 of the teaching pendant 3 changes depending on, for example, the orientation of the camera 12. Specifically, for example, as shown in FIG. 2(b), even if the worker P actually moves the hand portion 11A of the robot 1 to the left (in real space) DA, the teaching operation panel In the image on the display screen 31 of No. 3, the subject (for example, the workpiece W(5)) moves upward Db (from the bottom to the top in FIG. 2(b)).
  • the worker P may feel uncomfortable because the direction DA in which the hand portion 11A of the robot 1 is actually moved and the direction Db in which the subject moves in the image on the display screen 31 are different. That is, the worker P feels uncomfortable in the movement operation of the hand section 11A, and as a result, the teaching operation cannot be performed smoothly, which may lead to a decrease in work efficiency.
  • the robot control device 2 receives an image taken by the camera 12, rotates the image 90 degrees counterclockwise (Ra), and outputs the image to the teaching pendant 3.
  • the operator P operates the operating unit 32 while checking the image on the display screen 31 of the teaching pendant 3, and the robot 1
  • the hand portion 11A is moved to the leftward direction DA
  • the subject (workpiece W) also moves to the leftward direction Da in the image on the display screen 31.
  • the worker P operates the operating section 32 of the teaching pendant 3 to make the robot move while checking the image after the counterclockwise rotation Ra of 90 degrees displayed on the display screen 31 of the teaching pendant 3, for example.
  • the hand portion 11A of No. 1 is actually moved in the direction of DA.
  • the worker P can perform the teaching work smoothly without feeling any discomfort, that is, without causing a decrease in work efficiency.
  • the camera 12 is attached near the moving hand portion 11A of the robot 1, but for example, it may be fixed above the robot 1 (for example, fixed to the ceiling 6 above the robot 1). The same applies in any case.
  • an image taken by a fixed camera 12' is displayed on the display screen 31 of the teaching pendant 3 via the robot control device 2. For example, if the direction in which the hand section 11A of the robot 1 moves in the image on the display screen 31 does not match the direction in which the hand section 11A of the robot 1 actually operated by the worker P is moved, the worker P It will give you a sense of discomfort.
  • This discomfort may occur, for example, when the worker P presses and operates a predetermined part of the robot 1 (for example, the hand section 11A), or when the worker P actually operates the hand guide (guide section) 14 provided on the hand section 11A. It becomes even larger when moving by applying force. That is, when the worker P actually applies force to a part of the robot 1 as will be described in detail later with reference to FIGS. This may lead to an even greater reduction in work efficiency.
  • FIG. 5 and 6 are diagrams for explaining a second example of the robot system according to this embodiment.
  • the robot system of the second embodiment has the above-mentioned
  • a coordinate system is added to the image displayed on the display screen 31 and displayed.
  • a world coordinate system CA is set for the robot 1 in real space (actual).
  • this world coordinate system CA is displayed as the coordinate system Cb in the image displayed on the display screen 31 of the teaching pendant 3 and furthermore, the world coordinate system CA is displayed as the coordinate system Cb in the image displayed on the display screen 31 of the teaching pendant 3.
  • the image on the display screen 31 is rotated 90 degrees counterclockwise to eliminate the operator's discomfort.
  • the world coordinate system CA in real space is added and displayed as the coordinate system Ca to the image in which the moving direction of the subject has been corrected.
  • the worker P can easily check the correspondence between the coordinate system CA in the real space photographed by the camera 12 and the coordinate system Ca in the image displayed on the display screen 31 of the teaching pendant 3. Become.
  • FIG. 6(a) for example, only the image before being rotated 90 degrees counterclockwise and the coordinate system Cb of that image may be displayed as the image displayed on the display screen 31. can. Furthermore, the rotation direction of the image (90 degrees counterclockwise rotation Ra) may be displayed to match the moving direction with respect to the image on the display screen 31. That is, before directly displaying the image shown in FIG. 6(b), for example, the image shown in FIG. 6(a) is displayed, and the image shown in FIG. 6(a) or FIG. ) can also be selected.
  • FIG. 7 is a diagram for explaining a first application example of the robot system according to the present embodiment.
  • reference numeral 3' indicates a tablet (terminal device), and 31' indicates a display screen (display area) of a touch panel on the tablet 3'.
  • the operation section 32 of the teaching pendant 3 in FIG. 1 described above can also be provided as a touch operation area on the display screen 31' of the tablet 3', for example.
  • the tablet 3' is equipped with a GPS (Global Positioning System) function, a geomagnetic sensor (azimuth sensor), etc.
  • the tablet 3' may be a dedicated device provided by the provider that provides the robot system 100, but a general-purpose tablet owned by the user may also be used.
  • a communication terminal such as a general-purpose smartphone owned by the user.
  • the robot control program according to the present embodiment is installed and used on the tablet or smartphone.
  • the worker P while checking the image displayed on the display screen 31' of the tablet 3', Apply force to 11A and move it. At this time, the worker P may operate the touch operation area on the display screen 31' of the tablet 3'.
  • the worker P when the worker P actually applies force to the hand portion 11A of the robot 1 to move it, by applying this embodiment, the worker P can perform the operation without feeling any discomfort, and the work efficiency can be improved. becomes possible to rise.
  • the effect of improving work efficiency due to the absence of discomfort in the direction in which the subject moves in the image on the display screen 31' is particularly It becomes something big.
  • the moving direction of the hand section 11A that is actually moved by the worker P is always shown in the image displayed on the display screen 31' of the tablet 3'. This can be made to match the moving direction of the hand portion 11A. That is, the image displayed on the display screen of the tablet 3' changes in real time according to the orientation of the display screen 31' of the tablet 3' held in the hand of the worker P, so that the image does not make the worker P feel uncomfortable. It looks like this.
  • FIG. 8 is a diagram for explaining a second application example of the robot system according to the present embodiment.
  • reference numeral 16 is a holding point for charging the battery of the tablet 3' and calibrating the position and orientation of the tablet 3' using a GPS function, a geomagnetic sensor, etc. mounted on the tablet 3', for example. shows.
  • the worker P takes out and uses the tablet 3', which has been placed in the holding location 16 and whose battery has been charged and whose position and orientation have been calibrated, for example. Thereby, the robot control device 2 can recognize the position and orientation of the tablet 3'.
  • the robot control device 2 can receive, for example, output signals from encoders provided in the motors of each movable part of the robot 1, and can recognize the positions and moving directions of the camera 12 and the hand part 11A. In this way, the robot control device 2 can recognize the orientation (position and orientation) of the display screen 31' of the tablet 3', the orientation (distance and direction) in which the hand section 11A is positioned, and so on.
  • the robot system according to the present embodiment described with reference to FIGS. 2 to 6 recognizes the relative relationship between the objects (the workpiece W and a predetermined location where the robot 1 moves) in the image displayed on the display screen 31'. It becomes possible to realize the first and second embodiments.
  • FIG. 9 is a diagram for explaining a third application example of the robot system according to the present embodiment.
  • reference numeral 14 indicates a hand guide (guide portion), and 12' indicates a camera fixed above the robot 1 (for example, on the ceiling 6).
  • the hand guide 14 is provided near the hand section 11A of the robot 1, and is used by the worker P to actually apply force to the hand guide 14 to move the hand section 11A and teach a predetermined operation.
  • the robot system shown in FIG. 9 includes both a camera 12 attached near the hand portion 11A of the robot 1 and a camera 12' fixed to the ceiling 6 above the robot 1. ' may also be the case.
  • the worker P operates the operating section 32 while checking the image displayed on the display screen 31 of the teaching pendant 3 connected to the robot control device 2, and further operates the hand guide 14 with his or her own hands.
  • the hand portion 11A of the robot 1 is moved (operated) by applying force.
  • the processing of the image taken by the camera 12 attached near the hand part 11A of the robot 1 is as explained with reference to FIGS. The same applies to processing of captured images.
  • the subject photographed by the fixed camera 12' for example, the hand section 11A of the robot 1
  • the direction in which the worker P moved the hand section 11A via the hand guide 14 and the direction in which the object was photographed by the fixed camera 12' are determined.
  • the processing in the robot systems of the first and second embodiments described above can also be applied to the direction of movement of the hand section 11A in the image displayed on the display screen 31 of the teaching pendant 3.
  • FIG. 10 is a flowchart for explaining an example of the processing of the robot control program according to the present embodiment. It is something.
  • step ST11 the hand guide is used to move the hand part A of the robot in the front direction (back-and-forth direction) and in the left-right direction when viewed from the worker P. Then, the process proceeds to step ST12. That is, in step ST11, the hand portion (grip portion) 11A of the robot 1 is moved in the front direction and left/right direction using the hand guide 14 described with reference to FIG.
  • the robot control device 2 (arithmetic processing device) can accurately recognize the robot 1 based on the output signal of an encoder provided to the motor of each movable part of the robot 1 or the pulse signal controlling each motor.
  • step ST12 the relative relationship between the world coordinate system of the camera 12 (for example, the world coordinate system CA in FIG. 5) and the direction of the worker P is calculated from the motion of the robot 1. That is, the robot control device 2 calculates the positional coordinates in the world coordinate system CA in which the hand portion 11A of the robot 1 moves, and the direction in which the worker P operates the hand portion 11A of the robot 1.
  • the robot control device 2 calculates the positional coordinates in the world coordinate system CA in which the hand portion 11A of the robot 1 moves, and the direction in which the worker P operates the hand portion 11A of the robot 1.
  • step ST13 where the position and orientation of the camera with respect to the world coordinate system is calculated
  • step ST14 where the relative relationship between the orientation of the camera 12 and the orientation of the worker P is obtained by coordinate transformation. That is, the robot control device 2 acquires the relationship between the coordinate system (world coordinate system) CA in real space and the coordinate system Cb in the image displayed on the display screen 31 of the teaching pendant 3.
  • step ST15 the process proceeds to step ST15, and based on the relative position and orientation, the image is displayed on the display screen 31 so that, for example, the front direction of the worker P and the upper direction of the display image (the image on the display screen 31) match.
  • the robot control device 2 rotates the image on the display screen 31 so that the coordinate system Cb in the image displayed on the display screen 31 becomes the coordinate system Ca.
  • the direction in which the worker P actually moves the hand portion 11A of the robot 1 matches the direction in which the subject moves in the image on the display screen 31, eliminating the discomfort of the worker P and allowing him to work. It becomes possible to do it smoothly.
  • FIG. 11 is a flowchart for explaining another example of the processing of the robot control program according to the present embodiment. This is for illustrative purposes only.
  • step ST21 when another example of the processing of the robot control program starts, in step ST21, the tablet 3' on which the GPS sensor, geomagnetic sensor, etc. are mounted is placed at a predetermined location on the robot in a predetermined direction. Deploy. That is, the position and orientation of the tablet 3' is calibrated as described with reference to FIG. 8. Thereby, the robot control device 2 can recognize the relative relationship between the hand portion 11A of the robot 1 and the image on the display screen 31' of the tablet 3'.
  • step ST22 information on the position and orientation of the tablet 3' is acquired using a GPS sensor, a geomagnetic sensor, etc. while the tablet 3' is being held. That is, the robot control device 2 can acquire information about the tablet 3' from the tablet 3' connected via a wired or wireless line.
  • steps ST21 and ST22 include, for example, as described with reference to FIG. 8, the tablet 3' is placed on the holding location 16, the battery is charged, and the position and orientation of the tablet 3' are calibrated. Once done, you can make it unnecessary.
  • step ST23 the process proceeds to step ST23, and the relative coordinates of the camera 12 from the robot base 15 are acquired.
  • the robot control device 2 can obtain the relative coordinates of the camera 12 with respect to the robot base 15 using, for example, output signals and control signals of encoders provided to the motors of each movable part of the robot 1.
  • step ST24 the process proceeds to step ST24 to calculate the relative position and orientation from the camera 12 to the tablet 3'. That is, the robot control device 2 determines the relative position from the camera 12 to the tablet 3' based on the position and orientation of the tablet 3' obtained in step ST22 and the relative coordinates of the camera 12 with respect to the robot base 15 obtained in step ST23. Calculate the position and orientation of the object.
  • the worker P is rotated based on the relative position and orientation so that the front direction of the worker P and the upper direction of the display image (the image displayed on the display screen 31' of the tablet 3') coincide. do. That is, the robot control device 2 performs, for example, the rotation processing of the displayed image as described with reference to FIGS. 2 to 4. Thereby, the direction in which the hand portion 11A of the robot 1 is actually moved matches the direction in which the subject moves in the image on the display screen 31, so that the worker P can work smoothly without feeling uncomfortable.
  • step ST26 coordinates based on the relative position and orientation are displayed on the display screen of the tablet 3'. That is, as described with reference to FIGS. 5 and 6, the coordinate system is added to the display image and displayed. Thereby, the worker P can easily confirm the correspondence between the coordinate system CA in the real space photographed by the camera 12 and the coordinate system Ca (Cb) in the image displayed on the display screen 31' of the tablet 3'. becomes possible.
  • the robot control program according to the present embodiment described above may be provided by being recorded on a computer-readable non-temporary recording medium or a non-volatile semiconductor storage device, or may be provided via wired or wireless communication.
  • the computer-readable non-temporary recording medium may be, for example, an optical disk such as a CD-ROM (Compact Disc Read Only Memory) or a DVD-ROM, or a hard disk device.
  • PROM Programmable Read Only Memory
  • flash memory etc.
  • distribution from the server device may be provided via a wired or wireless WAN (Wide Area Network), LAN (Local Area Network), the Internet, or the like.
  • the robot can be operated without any discomfort between the direction of movement of the robot to be actually operated and the direction of movement in the image on the display screen. can be carried out smoothly.
  • Robot 2 Robot control device 3 Teaching operation panel (terminal device) 3' Tablet (terminal device) 4 Workbench 5, W Work (object) 6 Ceiling (above the robot) 11 Arm 11A Gripping part (hand part) 12,12' camera (image capture device) 13 Ring lighting (lighting device) 14 Hand guide (guide part) 15 Robot base 16 Holding location 31, 31' Display screen 32 Operation unit 100 Industrial robot system (robot system)

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

ロボットシステム１００は、画像撮影装置１２と、前記画像撮影装置１２で撮影された画像を表示する表示画面３１を有する端末装置３と、前記表示画面に表示される前記画像に基づいて操作されるロボット１と、を備える。前記ロボット１の所定個所１１Ａを第１の向きに動くように操作するとき、前記表示画面３１に表示される前記画像における被写体が動く第２の向きを、前記第１の向きに基づいて調整する。

Description

ロボットシステム、ロボット制御装置およびロボット制御プログラム
　この出願で言及する実施例は、ロボットシステム、ロボット制御装置およびロボット制御プログラムに関する。
　近年、産業用ロボットや協働ロボットには、ビジョンシステム(ロボットビジョン)が適用され、そのビジョンシステムにより取得された画像(映像)に基づいて、産業用ロボット等に所定の動作を行わせるものが提供されている。
　すなわち、ロボットとビジョンセンサを組み合わせることで、「固定したカメラ」や「ロボットに取り付けたカメラ」で撮影した画像を表示画面上にリアルタイムで表示しながらロボットを操作するものが実用化されている。また、例えば、産業用ロボットとして、作業者(教示者)が教示操作盤の表示画面の画像を確認しながら、所定の動作を教示するものも実用化されている。
　なお、本明細書では、説明を簡略化するために、産業用ロボットを例にとって説明するが、本実施形態は、産業用ロボットへの適用に限定されるものではなく、協働ロボットを始めとする様々なロボットに対して幅広く適用することが可能である。
　従来、表示画像を確認しながらロボットの教示や遠隔操作を行う技術として、様々な提案がなされている。
特開２００６－２８９５３１号公報 特開２０００－０７９５８７号公報 特開２０２０－０９３３８５号公報
　前述したように、例えば、産業用ロボットとして、作業者が教示操作盤の表示画面の画像を確認しながら、所定の動作を教示するものが実用化されている。しかしながら、産業用ロボットと作業者の相対的な向きによっては、表示画面の画像が作業者に違和感を与え、操作に支障をきたすことがあった。
　具体的に、例えば、教示操作盤の表示画面に映し出される画像は、産業用ロボットに取り付けたカメラの向きによって決まっている。そのため、カメラの向きによっては、教示操作盤を操作する作業者から見た産業用ロボットの動く向きと、表示画面の画像における動く向きが直感的に受け入れられないことがあった。
　すなわち、作業者が実際に操作する産業用ロボットの動く向きと、教示操作盤の表示画面に映し出される画像における動く向きに違和感があり、その違和感に起因して、作業者が教示操作を円滑に行えないことがあった。
　本発明が解決しようとする課題は、実際に操作するロボットの動く向きと、表示画面の画像における動く向きの違和感をなくして操作を円滑に行うことができるロボットシステム、ロボット制御装置およびロボット制御プログラムを提供することである。
　本発明に係る一実施形態によれば、画像撮影装置と、前記画像撮影装置で撮影された画像を表示する表示画面を有する端末装置と、前記表示画面に表示される前記画像に基づいて操作されるロボットと、を備えるロボットシステムであって、前記ロボットの所定個所を第１の向きに動くように操作するとき、前記表示画面に表示される前記画像における被写体が動く第２の向きを、前記第１の向きに基づいて調整する、ロボットシステムが提供される。
　本発明の目的および効果は、特に請求項において指摘される構成要素および組み合わせを用いることによって認識され且つ得られるであろう。前述の一般的な説明および後述の詳細な説明の両方は、例示的および説明的なものであり、請求の範囲に記載されている本発明を制限するものではない。
図１は、本実施形態に係るロボットシステムの一例としての産業用ロボットシステムを模式的に示す図である。 図２は、本実施形態に係るロボットシステムの第１実施例を説明するための図(その１)である。 図３は、本実施形態に係るロボットシステムの第１実施例を説明するための図(その２)である。 図４は、本実施形態に係るロボットシステムの第１実施例を説明するための図(その３)である。 図５は、本実施形態に係るロボットシステムの第２実施例を説明するための図(その１)である。 図６は、本実施形態に係るロボットシステムの第２実施例を説明するための図(その２)である。 図７は、本実施形態に係るロボットシステムの第１適用例を説明するための図である。 図８は、本実施形態に係るロボットシステムの第２適用例を説明するための図である。 図９は、本実施形態に係るロボットシステムの第３適用例を説明するための図である。 図１０は、本実施形態に係るロボット制御プログラムの処理の一例を説明するためのフローチャートである。 図１１は、本実施形態に係るロボット制御プログラムの処理の他の例を説明するためのフローチャートである。
　以下、本実施形態に係るロボットシステム、ロボット制御装置およびロボット制御プログラムの実施例を、添付図面を参照して詳述する。図１は、本実施形態に係るロボットシステムの一例としての産業用ロボットシステムを模式的に示す図である。
　図１に示されるように、本実施形態に係るロボットシステムの一例としての産業用ロボットシステム１００は、産業用ロボット１、ロボット制御装置２、および、教示操作盤(端末装置)３を備える。産業用ロボット１のアーム１１の先端には、把持部(ハンド部)１１Ａが設けられ、この把持部１１Ａにより、例えば、作業台４に載置されたワーク(対象物)５を把持して所定の処理を行うようになっている。
　アーム１１における把持部１１Ａの近傍には、ワーク５等を撮影するためのカメラ(画像撮影装置)１２が取り付けられ、このカメラ１２により撮影されたワーク５を含む画像(映像)がロボット制御装置２に出力される。ここで、参照符号１３は、カメラ１２の外周に設けられ、ワーク５に光Ｌを照射して鮮明な画像を取得するためのリング照明(照明装置)である。ロボット制御装置２は、カメラ１２からの画像を参照し、例えば、予めインストールされたプログラム(ソフトウェアプログラム)等に基づいて、産業用ロボット１を制御する。
　教示操作盤３は、表示画面３１および操作部３２を備え、有線または無線通信によりロボット制御装置２に接続される。ここで、教示操作盤３は、例えば、作業者(教示者)が表示画面３１の画像を確認しながら操作部３２を操作することにより、産業用ロボット１に対して把持部１１Ａを使用した所定の動作をロボット制御装置２を介して教示するために使用される。
　ロボット制御装置２は、教示操作盤３からの指令に基づいて産業用ロボット１を制御するだけでなく、後に詳述するように、教示操作盤３の表示画面３１に表示される画像の処理等も行う。すなわち、以下に詳述する本実施形態に係るロボットシステムの実施例は、ロボット制御装置２の処理により実現され、或いは、ロボット制御装置２の演算処理装置(ＣＰＵ)が実行するロボット制御プログラムにより実現される。
　なお、本実施形態に係るロボットシステムは、図１に示すようなワーク５を把持部１１Ａで把持する産業用ロボットシステムに限定されず、把持以外の様々な機能を有するハンド部を備えた産業ロボットシステムであってもよい。さらに、本実施形態に係るロボットシステムは、産業用ロボットシステムに限定されるものではなく、協働ロボットを始めとする様々なロボットシステムに対して幅広く適用することができるのは、前述した通りである。
　［第１実施例］
　図２～図４は、本実施形態に係るロボットシステムの第１実施例を説明するための図である。ここで、図２(a)および図２(b)は、本実施形態を適用しないロボットシステムにおける教示処理の一例を説明するためのものであり、図４(a)および図４(b)は、第１実施例のロボットシステムにおける教示処理の一例を説明するためのものである。なお、図３は、第１実施例のロボットシステムにおけるロボット制御装置による処理を説明するためのものである。
　図２(a)に示されるように、例えば、作業者(教示者)Ｐが教示操作盤３の表示画面３１の画像を確認しながら操作部３２を操作して、ロボット(産業用ロボット)１のハンド部１１Ａを左向きＤＡ(図２(a)中、右から左の方向)に移動させる。このとき、図２(b)に示されるように、教示操作盤３の表示画面３１には、カメラ１２により撮影され、ロボット制御装置２を介して入力された画像(映像)が映し出される。
　ここで、教示操作盤３の表示画面３１に映し出される画像は、例えば、カメラ１２の向き等により変化する。具体的に、例えば、図２(b)に示されるように、作業者Ｐがロボット１のハンド部１１Ａを実際に(実空間で)左向きＤＡに移動させた場合であっても、教示操作盤３の表示画面３１における画像では、被写体(例えば、ワークＷ(５))は上向きＤｂ(図２(b)中、下から上の方向)に移動する。
　そのため、作業者Ｐは、ロボット１のハンド部１１Ａを実際に移動させた向きＤＡと、表示画面３１の画像において被写体が移動する向きＤｂが異なるため、違和感を感じることがある。すなわち、作業者Ｐは、ハンド部１１Ａの移動操作に違和感を覚え、その結果、教示操作を円滑に行えず、作業効率の低下を招く虞がある。
　このような場合、本実施形態に係るロボットシステムの第１実施例によれば、例えば、図３に示されるように、教示操作盤３の表示画面３１における画像を反時計回りに９０度回転Ｒａして表示する。すなわち、ロボット制御装置２は、カメラ１２により撮影された画像を受け取り、その画像を反時計回りに９０度回転Ｒａした後の画像を教示操作盤３に出力する。
　これにより、図４(a)および図４(b)に示されるように、例えば、作業者Ｐが教示操作盤３の表示画面３１の画像を確認しながら操作部３２を操作して、ロボット１のハンド部１１Ａを左向きＤＡに移動させた場合、表示画面３１の画像でも被写体(ワークＷ)が同じ左向きＤａに移動することになる。
　そして、作業者Ｐは、例えば、教示操作盤３の表示画面３１に映し出される反時計回りに９０度回転Ｒａした後の画像を確認しながら、教示操作盤３の操作部３２を操作してロボット１のハンド部１１Ａを実際にＤＡの向きに移動させる。その結果、作業者Ｐは、違和感を感じることなく、すなわち、作業効率の低下を招くことなく、円滑な教示作業を行うとが可能になる。
　なお、上述した説明において、カメラ１２は、ロボット１の移動するハンド部１１Ａの近傍に取り付けられているが、例えば、ロボット１の上方に固定(例えば、ロボット１の上方の天井６に固定)した場合であっても同様である。図９を参照して後に詳述するが、例えば、固定されたカメラ１２’により撮影された画像は、ロボット制御装置２を経由して教示操作盤３の表示画面３１に表示される。例えば、この表示画面３１の画像におけるロボット１のハンド部１１Ａが移動する向きと、作業者Ｐが実際に操作したロボット１のハンド部１１Ａを移動させた向きが一致していないと、作業者Ｐに違和感を与えることになる。
　この違和感は、例えば、作業者Ｐがロボット１の所定個所(例えば、ハンド部１１Ａ)を押して操作する場合、或いは、作業者Ｐがハンド部１１Ａに設けられたハンドガイド(ガイド部)１４を実際に力を加えて移動させる場合等において、より一層大きなものになる。すなわち、図７および図９を参照して後に詳述するような作業者Ｐが実際にロボット１の一部に力を加える作業では、表示画面３１の画像における被写体の移動する向きの違和感が、より一層大きな作業効率の低下を招く虞がある。
　［第２実施例］
　図５および図６は、本実施形態に係るロボットシステムの第２実施例を説明するための図である。図５と図４(a)、図６(a)と図３、並びに、図６(b)と図４(b)の比較から明らかなように、本第２実施例のロボットシステムでは、上述した第１実施例のロボットシステムに対して、表示画面３１に表示される画像に座標系を追加して表示するようになっている。
　まず、図５に示されるように、実空間(実際)のロボット１に対して、世界座標系(ワールド座標系)ＣＡを設定する。図６(a)に示されるように、この世界座標系ＣＡは、教示操作盤３の表示画面３１に表示される画像における座標系Ｃｂとして表示され、さらに、図３を参照して説明したのと同様に、作業者の違和感をなくすために表示画面３１における画像を反時計回りに９０度回転する。
　すなわち、図６(b)に示されるように、実空間の世界座標系ＣＡは、被写体の移動する向きが修正された画像に対して、座標系Ｃａとして追加して表示される。これにより、作業者Ｐは、カメラ１２で撮影した実空間における座標系ＣＡと、教示操作盤３の表示画面３１に表示される画像における座標系Ｃａの対応関係を容易に確認することが可能になる。
　なお、図６(a)に示されるように、例えば、表示画面３１に表示する画像として、反時計回りに９０度回転する前の画像、並びに、その画像における座標系Ｃｂのみを表示することもできる。さらに、表示画面３１の画像に対して、移動する向きを一致させるための画像の回転方向(反時計回りに９０度回転Ｒａ)を表示してもよい。すなわち、図６(b)に示す画像を直接表示する前に、例えば、図６(a)に示す画像を表示し、作業者Ｐに対して、図６(a)の画像または図６(b)の画像のいずれかを選択可能とすることもできる。
　図７は、本実施形態に係るロボットシステムの第１適用例を説明するための図である。図７において、参照符号３’は、タブレット(端末装置)を示し、３１’は、タブレット３’におけるタッチパネルの表示画面(表示領域)を示す。なお、前述した図１における教示操作盤３の操作部３２は、例えば、タブレット３’の表示画面３１’におけるタッチ操作領域として設けることもできる。
　タブレット３’は、ＧＰＳ(Global Positioning System)機能および地磁気センサ(方位センサ)等を搭載している。なお、タブレット３’は、ロボットシステム１００を提供するプロバイダによる専用のものであってもよいが、ユーザが所有している汎用的なタブレットを利用することもできる。また、タブレット３’としては、例えば、ユーザが所有している汎用的なスマートフォンといった通信端末を利用することも可能である。ここで、ユーザが所有するタブレットやスマートフォンをタブレット３’として利用する場合、そのタブレットやスマートフォンに対して、本実施形態に係るロボット制御プログラムをインストールして使用することになる。
　図７に示されるように、本実施形態に係るロボットシステムの第１適用例において、作業者Ｐは、タブレット３’の表示画面３１’に表示された画像を確認しながら、ロボット１のハンド部１１Ａに対して実際に力を加えて移動させる。このとき、作業者Ｐは、タブレット３’の表示画面３１’におけるタッチ操作領域を操作してもよい。
　このように、例えば、作業者Ｐが実際にロボット１のハンド部１１Ａに対して実際に力を加えて動かす場合、本実施形態を適用することにより、違和感なく操作を行うことができ、作業効率を上昇させることが可能になる。本適用例のように、作業者Ｐが自身の手でハンド部１１Ａを押して移動させる場合、表示画面３１’の画像において、被写体が移動する向きに対する違和感のなさによる作業効率向上の効果は、特に大きなものになる。
　なお、タブレット３’はＧＰＳ機能および地磁気センサ等を搭載しているので、作業者Ｐが実際に動かすハンド部１１Ａの移動する向きを、常にタブレット３’の表示画面３１’に表示される画像におけるハンド部１１Ａの移動する向きに一致させることができる。すなわち、タブレット３’の表示画面に表示される画像は、作業者Ｐが手に持っているタブレット３’の表示画面３１’の向きに応じてリアルタイムに変化し、作業者Ｐに違和感を与えないようになっている。
　図８は、本実施形態に係るロボットシステムの第２適用例を説明するための図である。図８において、参照符号１６は、例えば、タブレット３’のバッテリを充電すると共に、タブレット３’に搭載されたＧＰＳ機能および地磁気センサ等によるタブレット３’の位置姿勢のキャリブレーションを行うための保持個所を示す。なお、作業者Ｐは、例えば、保持個所１６に載置されてバッテリの充電および位置姿勢のキャリブレーションが済んだタブレット３’を取り出して使用する。これにより、ロボット制御装置２は、タブレット３’の位置姿勢を認識することができる。
　さらに、ロボット制御装置２は、例えば、ロボット１の各可動部のモータに設けたエンコーダの出力信号を受け取り、カメラ１２およびハンド部１１Ａの位置や移動する向きを認識することができる。このように、ロボット制御装置２は、タブレット３’の表示画面３１’の向き(位置姿勢)およびハンド部１１Ａが位置する向き(距離および方向)等を認識することができるため、タブレット３’の表示画面３１’に表示される画像における被写体(ワークＷやロボット１の移動する所定個所)の相対関係を認識して、図２～図６を参照して説明した本実施形態に係るロボットシステムの第１および第２実施例を実現することが可能になる。
　なお、図８の説明では、タブレット３’を保持個所１６に載置して、タブレット３’の充電および位置姿勢のキャリブレーションを行う例を説明したが、例えば、タブレット３’のキャリブレーションのみを行うこともできる。すなわち、例えば、キャリブレーションを行うロボット１の特定個所に表示ライトを設け、その表示ライトの位置に対して、予め定められた向きでタブレット３’を配置してキャリブレーションを行うことも可能である。
　図９は、本実施形態に係るロボットシステムの第３適用例を説明するための図である。図９において、参照符号１４は、ハンドガイド(ガイド部)を示し、１２’は、ロボット１の上方(例えば、天井６)に固定されたカメラを示す。ここで、ハンドガイド１４は、ロボット１のハンド部１１Ａの近傍に設けられ、作業者Ｐが実際にハンドガイド１４に力を加えることでハンド部１１Ａを移動させて所定の動作を教示するためのものである。なお、図９に示すロボットシステムは、ロボット１のハンド部１１Ａの近傍に取り付けられたカメラ１２と、ロボット１の上方の天井６に固定されたカメラ１２’の両方を備えているが、カメラ１２’だけの場合もあり得る。
　作業者Ｐは、例えば、ロボット制御装置２に接続された教示操作盤３の表示画面３１に表示された画像を確認しながら操作部３２を操作し、さらに、作業者自身の手によりハンドガイド１４に力を加えてロボット１のハンド部１１Ａを移動(動作)させる。ここで、ロボット１のハンド部１１Ａの近傍に取り付けられたカメラ１２により撮影された画像の処理は、図２～図６を参照して説明した通りであるが、カメラ(固定カメラ)１２’により撮影された画像の処理に関しても同様である。
　すなわち、固定カメラ１２’により撮影された被写体(例えば、ロボット１のハンド部１１Ａ)に関し、作業者Ｐがハンドガイド１４を介してハンド部１１Ａを移動させた向きと、固定カメラ１２’により撮影して教示操作盤３の表示画面３１に表示される画像におけるハンド部１１Ａの移動の向きに関しても、前述した第１および第２実施例のロボットシステムにおける処理を適用することができる。
　図１０は、本実施形態に係るロボット制御プログラムの処理の一例を説明するためのフローチャートであり、例えば、ＧＰＳ機能等を搭載しない教示操作盤３を使用して作業を行う場合を説明するためのものである。
　図１０に示されるように、ロボット制御プログラムの処理の一例が開始すると、ステップＳＴ１１において、ハンドガイドを使用してロボットのハンド部Ａを作業者Ｐから見て正面方向(前後方向)および左右方向に移動し、ステップＳＴ１２に進む。すなわち、ステップＳＴ１１では、図９を参照して説明したハンドガイド１４を使用してロボット１のハンド部(把持部)１１Ａを正面方向および左右方向に移動する。
　なお、ロボット１のハンド部１１Ａの近傍に設けたハンドガイド１４を正面方向に移動することによるハンド部１１Ａの位置変化、および、ハンドガイド１４を左右方向に移動することによるハンド部１１Ａの位置変化は、例えば、ロボット１の各可動部のモータに設けたエンコーダの出力信号、或いは、各モータを制御するパルス信号等に基づいて、ロボット制御装置２(演算処理装置)が正確に認識することができる。
　ステップＳＴ１２では、ロボット１の動作からカメラ１２の世界座標系(例えば、図５における世界座標系ＣＡ)と作業者Ｐの向きの相対関係を計算する。すなわち、ロボット制御装置２は、世界座標系ＣＡにおけるロボット１のハンド部１１Ａが移動する位置座標、および、作業者Ｐがロボット１のハンド部１１Ａを操作する向きを計算する。
　次に、ステップＳＴ１３に進んで、カメラの世界座標系に対する位置姿勢を計算し、ステップＳＴ１４に進み、座標変換によりカメラ１２の向きと作業者Ｐの向きの相対関係を取得する。すなわち、ロボット制御装置２は、実空間における座標系(世界座標系)ＣＡと、教示操作盤３の表示画面３１に表示される画像における座標系Ｃｂの関係を取得する。
　そして、ステップＳＴ１５に進んで、相対的な位置姿勢に基づいて、例えば、作業者Ｐの正面方向と表示画像(表示画面３１の画像)の上方向を一致させるように、表示画面３１に表示される画像を回転する。すなわち、ロボット制御装置２は、表示画面３１に表示される画像における座標系Ｃｂが座標系Ｃａとなるように、表示画面３１の画像を回転する。これにより、作業者Ｐがロボット１のハンド部１１Ａを実際に移動させる向きが、表示画面３１の画像において被写体が移動する向きに一致することになり、作業者Ｐの違和感をなくして、作業を円滑に行うことが可能になる。
　図１１は、本実施形態に係るロボット制御プログラムの処理の他の例を説明するためのフローチャートであり、例えば、ＧＰＳ機能および地磁気センサ等を搭載したタブレット３’を使用して作業を行う場合を説明するためのものである。
　図１１に示されるように、ロボット制御プログラムの処理の他の例が開始すると、ステップＳＴ２１において、ＧＰＳセンサおよび地磁気センサ等が搭載されたタブレット３’をロボットの所定個所で予め定められた向きに配置する。すなわち、図８を参照して説明したようなタブレット３’の位置姿勢のキャリブレーションを行う。これにより、ロボット制御装置２は、ロボット１のハンド部１１Ａとタブレット３’の表示画面３１’の画像の相対関係を認識することができる。
　さらに、ステップＳＴ２２に進んで、タブレット３’を持った状態でＧＰＳセンサおよび地磁気センサ等によりタブレット３’の位置姿勢の情報を取得する。すなわち、ロボット制御装置２は、有線または無線回線で接続されたタブレット３’から、そのタブレット３’の情報を取得することができる。なお、ステップＳＴ２１およびＳＴ２２の処理は、例えば、図８を参照して説明したように、タブレット３’を保持個所１６に載置し、バッテリの充電と共に、タブレット３’の位置姿勢のキャリブレーションを済ませておけば不要とすることができる。
　次に、ステップＳＴ２３に進んで、ロボット基台１５からカメラ１２の相対座標を取得する。なお、ロボット制御装置２は、例えば、ロボット１の各可動部のモータに設けたエンコーダの出力信号や制御信号等により、ロボット基台１５に対するカメラ１２の相対座標を取得することができる。さらに、ステップＳＴ２４に進んで、カメラ１２からタブレット３’への相対的な位置姿勢を計算する。すなわち、ロボット制御装置２は、ステップＳＴ２２で取得したタブレット３’の位置姿勢、および、ステップＳＴ２３で取得したロボット基台１５に対するカメラ１２の相対座標に基づいて、カメラ１２からタブレット３’への相対的な位置姿勢を計算する。
　そして、ステップＳＴ２５に進んで、相対的な位置姿勢に基づいて、作業者Ｐの正面方向と表示画像(タブレット３’の表示画面３１’に表示される画像)の上方向を一致させるように回転する。すなわち、ロボット制御装置２は、例えば、図２～図４を参照して説明したような表示画像の回転処理を行う。これにより、作業者Ｐは、ロボット１のハンド部１１Ａを実際に移動させた向きと、表示画面３１の画像において被写体が移動する向きが一致するので、違和感なく円滑に作業を行うことができる。
　さらに、ステップＳＴ２６に進んで、タブレット３’の表示画面上に、相対的な位置姿勢に基づいた座標を表示する。すなわち、図５および図６を参照して説明したように、座標系を表示画像に追加して表示する。これにより、作業者Ｐは、カメラ１２で撮影した実空間における座標系ＣＡと、タブレット３’の表示画面３１’に表示される画像における座標系Ｃａ(Ｃｂ)の対応関係を容易に確認することが可能になる。
　以上において、上述した本実施形態に係るロボット制御プログラムは、コンピュータ読み取り可能な非一時的記録媒体や不揮発性半導体記憶装置に記録して提供してもよく、また、有線または無線を介して提供してもよい。ここで、コンピュータ読み取り可能な非一時的記録媒体としては、例えば、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)やＤＶＤ－ＲＯＭ等の光ディスク、或いは、ハードディスク装置等が考えられる。また、不揮発性半導体記憶装置としては、ＰＲＯＭ(Programmable Read Only Memory)やフラッシュメモリ(Flash Memory)等が考えられる。さらに、サーバ装置からの配信としては、有線または無線によるＷＡＮ(Wide Area Network)、ＬＡＮ(Local Area Network)またはインターネット等を介した提供が考えられる。
　以上、詳述したように、本実施形態に係るロボットシステム、ロボット制御装置およびロボット制御プログラムによれば、実際に操作するロボットの動く向きと、表示画面の画像における動く向きの違和感をなくして操作を円滑に行うことが可能になる。
　本開示の実施形態について詳述したが、本開示は上述した個々の実施形態に限定されるものではない。これらの実施形態は、発明の要旨を逸脱しない範囲で、または、特許請求の範囲に記載された内容とその均等物から導き出される本発明の思想および趣旨を逸脱しない範囲で、種々の追加、置き換え、変更、部分的削除等が可能である。例えば、上述した実施形態において、各動作の順序や各処理の順序は、一例として示したものであり、これらに限定されるものではない。また、上述した実施形態の説明に数値または数式が用いられている場合も同様である。
　１　　産業用ロボット(ロボット)
　２　　ロボット制御装置
　３　　教示操作盤(端末装置)
　３’　　タブレット(端末装置)
　４　　作業台
　５，Ｗ　　ワーク(対象物)
　６　　天井(ロボットの上方)
　１１　　アーム
　１１Ａ　　把持部(ハンド部)
　１２，１２’　　カメラ(画像撮影装置)
　１３　　リング照明(照明装置)
　１４　　ハンドガイド(ガイド部)
　１５　　ロボット基台
　１６　　保持個所
　３１，３１’　　表示画面
　３２　　操作部
　１００　　産業用ロボットシステム(ロボットシステム)

Claims (11)

  1. 　画像撮影装置と、
    　前記画像撮影装置で撮影された画像を表示する表示画面を有する端末装置と、
    　前記表示画面に表示される前記画像に基づいて操作されるロボットと、を備えるロボットシステムであって、
    　前記ロボットの所定個所を第１の向きに動くように操作するとき、前記表示画面に表示される前記画像における被写体が動く第２の向きを、前記第１の向きに基づいて調整する、ロボットシステム。
  2. 　前記所定個所を前記第１の向きに動くように作業者が操作するとき、前記表示画面に表示される前記画像における前記被写体が動く前記第２の向きを、前記第１の向きに基づいて前記作業者に違和感を与えないように調整する、請求項１に記載のロボットシステム。
  3. 　前記ロボットは、前記所定個所の近傍に設けられたガイド部を含み、
    　前記作業者は、前記ガイド部を動かして前記ロボットを動作させると共に、前記端末装置の前記表示画面に表示される前記画像を確認しながら前記端末装置を操作する、請求項２に記載のロボットシステム。
  4. 　前記所定個所を前記第１の向きに動くように操作するとき、前記表示画面に表示される前記画像における前記被写体が動く前記第２の向きが前記第１の向きに一致するように、前記画像を回転する、請求項１乃至請求項３のいずれか１項に記載のロボットシステム。
  5. 　前記表示画面に表示される前記画像に対して、前記被写体の座標系を追加して表示する、請求項１乃至請求項４のいずれか１項に記載のロボットシステム。
  6. 　前記画像撮影装置は、前記ロボットの前記所定個所の近傍に取り付けられ、
    　前記被写体は、前記ロボットにより処理が行われるワークを含む、請求項１乃至請求項５のいずれか１項に記載のロボットシステム。
  7. 　前記画像撮影装置は、前記ロボットの上方に固定して取り付けられ、
    　前記被写体は、前記ロボットの前記所定個所を含む、請求項１乃至請求項５のいずれか１項に記載のロボットシステム。
  8. 　前記端末装置は、前記ロボットを操作する教示操作盤、タブレットまたはスマートフォンである、請求項１乃至請求項７のいずれか１項に記載のロボットシステム。
  9. 　前記ロボットは、産業用ロボットまたは協働ロボットであり、
    　前記所定個所は、前記産業用ロボットまたは前記協働ロボットのハンド部である、請求項１乃至請求項７のいずれか１項に記載のロボットシステム。
  10. 　画像撮影装置で撮影された画像を表示する表示画面を有する端末装置の操作に基づいて、ロボットを制御するロボット制御装置であって、
    　前記ロボットの所定個所を第１の向きに動くように操作するとき、前記表示画面に表示される前記画像における被写体が動く第２の向きを、前記第１の向きに基づいて調整する、ロボット制御装置。
  11. 　画像撮影装置で撮影された画像を表示する表示画面を有する端末装置の操作に基づいて、ロボットを制御するロボット制御プログラムであって、
    　演算処理装置に、
    　　前記ロボットの所定個所を第１の向きに動くように操作するとき、前記表示画面に表示される前記画像における被写体が動く第２の向きを、前記第１の向きに基づいて調整する、処理を実行させるロボット制御プログラム。
PCT/JP2022/025181 2022-06-23 2022-06-23 ロボットシステム、ロボット制御装置およびロボット制御プログラム Ceased WO2023248439A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/025181 WO2023248439A1 (ja) 2022-06-23 2022-06-23 ロボットシステム、ロボット制御装置およびロボット制御プログラム
TW112121064A TW202400375A (zh) 2022-06-23 2023-06-06 機器人系統、機器人控制裝置及機器人控制程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/025181 WO2023248439A1 (ja) 2022-06-23 2022-06-23 ロボットシステム、ロボット制御装置およびロボット制御プログラム

Publications (1)

Publication Number Publication Date
WO2023248439A1 true WO2023248439A1 (ja) 2023-12-28

Family

ID=89379317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/025181 Ceased WO2023248439A1 (ja) 2022-06-23 2022-06-23 ロボットシステム、ロボット制御装置およびロボット制御プログラム

Country Status (2)

Country Link
TW (1) TW202400375A (ja)
WO (1) WO2023248439A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311291A (ja) * 1986-07-03 1988-01-18 三菱電機株式会社 遠隔操作式マニピユレ−タ装置
JP2011189431A (ja) * 2010-03-12 2011-09-29 Denso Wave Inc ロボットシステム
JP2019101476A (ja) * 2017-11-28 2019-06-24 シュナイダーエレクトリックホールディングス株式会社 操作案内システム
JP2020075354A (ja) * 2018-11-01 2020-05-21 キヤノン株式会社 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311291A (ja) * 1986-07-03 1988-01-18 三菱電機株式会社 遠隔操作式マニピユレ−タ装置
JP2011189431A (ja) * 2010-03-12 2011-09-29 Denso Wave Inc ロボットシステム
JP2019101476A (ja) * 2017-11-28 2019-06-24 シュナイダーエレクトリックホールディングス株式会社 操作案内システム
JP2020075354A (ja) * 2018-11-01 2020-05-21 キヤノン株式会社 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体

Also Published As

Publication number Publication date
TW202400375A (zh) 2024-01-01

Similar Documents

Publication Publication Date Title
JP7490349B2 (ja) 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体
JP4844453B2 (ja) ロボットの教示装置及び教示方法
JP4167940B2 (ja) ロボットシステム
CN105666505B (zh) 具备扩展现实对应显示器的机器人系统
US20190202058A1 (en) Method of programming an industrial robot
US11173601B2 (en) Teaching device for performing robot teaching operations and teaching method
JP2020055075A (ja) 拡張現実と複合現実を用いたロボット制御装置及び表示装置
JP2017104944A (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP2005106825A (ja) 受像装置の位置および方向づけの決定方法および装置
WO2017033357A1 (ja) ロボットシステム
JP2018202514A (ja) ロボットの教示のための情報を表示するロボットシステム
JP7517803B2 (ja) ロボット教示システム、画像生成方法、及びプログラム
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
JP7366264B2 (ja) ロボット教示方法及びロボット作業方法
JP2023069253A (ja) ロボット教示システム
JP6669714B2 (ja) 教示操作盤およびロボット制御システム
JP5573537B2 (ja) ロボットのティーチングシステム
WO2023248439A1 (ja) ロボットシステム、ロボット制御装置およびロボット制御プログラム
WO2018214156A1 (zh) 校正机器人的运动控制命令的方法及其相关设备
JP3754340B2 (ja) 位置検出装置
Dinh et al. Augmented reality interface for taping robot
US20230356405A1 (en) Robot control system, and control device
JP2025075506A (ja) 端末装置
JPH05197416A (ja) ロボット動作点教示装置
JPH0430981A (ja) 遠隔操縦型ロボットのテレビカメラ制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22948000

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22948000

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP