[go: up one dir, main page]

WO2023281789A1 - ロボット制御装置、およびロボット制御方法 - Google Patents

ロボット制御装置、およびロボット制御方法 Download PDF

Info

Publication number
WO2023281789A1
WO2023281789A1 PCT/JP2022/005212 JP2022005212W WO2023281789A1 WO 2023281789 A1 WO2023281789 A1 WO 2023281789A1 JP 2022005212 W JP2022005212 W JP 2022005212W WO 2023281789 A1 WO2023281789 A1 WO 2023281789A1
Authority
WO
WIPO (PCT)
Prior art keywords
external force
robot
sensor information
torque
torque sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/005212
Other languages
English (en)
French (fr)
Inventor
康宏 松田
良 寺澤
キリル ファンヘールデン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to CN202280046812.2A priority Critical patent/CN117597219A/zh
Priority to US18/575,338 priority patent/US20240316765A1/en
Priority to JP2023533055A priority patent/JPWO2023281789A1/ja
Publication of WO2023281789A1 publication Critical patent/WO2023281789A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0004—Gripping heads and other end effectors with provision for adjusting the gripped object in the hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages

Definitions

  • the present disclosure relates to a robot control device and a robot control method.
  • Japanese Patent Laid-Open No. 2004-100013 proposes a technique of realizing high-precision gripping and flexible gripping with the same mechanism by providing two members with different rigidity in the fingers of a hand.
  • a robot control device acquires torque sensor information and tactile sensor information from a torque sensor and a tactile sensor provided in a control target portion of a robot, respectively, and acquires the acquired torque sensor information and tactile sensor.
  • An external force estimating unit is provided that separates the intended external force due to the task given to the robot from the external force acting on the part to be controlled based on the information, and estimates the unintended external force.
  • a robot control method acquires torque sensor information and tactile sensor information from a torque sensor and a tactile sensor provided in a control target portion of a robot, respectively; Separating the intended external force due to the task given to the robot from the external force acting on the part to be controlled based on the tactile sensor information, and estimating the unintended external force.
  • torque sensor information and tactile sensor information are respectively acquired from a torque sensor and a tactile sensor provided in a control target portion of a robot, and the acquired torque Based on the sensor information and the tactile sensor information, the intended external force due to the task given to the robot is separated from the external force acting on the part to be controlled, and the unintended external force is estimated.
  • FIG. 10 is an explanatory diagram showing an example of an environment in which an object to be hand-operated by a robot according to a comparative example is placed;
  • FIG. 10 is an explanatory diagram showing an example of interference with surrounding objects caused by a hand operation by a robot according to a comparative example;
  • FIG. 9 is an explanatory diagram showing an example of a decrease in positional accuracy when flexible hand control is performed in a robot according to a comparative example;
  • 1 is an external view schematically showing an example of a robot to be controlled by a robot control device and a robot control method according to a first embodiment of the present disclosure;
  • FIG. 10 is an explanatory diagram showing an example of an environment in which an object to be hand-operated by a robot according to a comparative example is placed;
  • FIG. 10 is an explanatory diagram showing an example of interference with surrounding objects caused by a hand operation by a robot according to a comparative example;
  • FIG. 9 is an explanatory diagram showing an example of a decrease
  • FIG. 1 is a configuration diagram schematically showing an example of a robot hand to be controlled by a robot control device and a robot control method according to a first embodiment
  • FIG. 4 is a block diagram showing one configuration example of an external force estimator in the robot control device according to the first embodiment
  • FIG. 10 is an explanatory diagram showing a specific task and an estimation example of an external force corresponding to the task
  • 1 is a block diagram showing an example of the overall configuration of a robot control device according to a first embodiment
  • FIG. FIG. 4 is an explanatory diagram showing an example of torque modulation by an external force adaptive control section in the robot control device according to the first embodiment
  • FIG. 1 shows an example of an environment in which an object to be hand-operated by a robot according to a comparative example is placed.
  • the hand is often targeted for manipulating objects, so it is easy to collide with the target object or the environment.
  • the object 200 to be manipulated is arranged in a miscellaneous environment where there are many surrounding objects 201, or near the environment such as a shelf 300. It is noticeable when
  • FIG. 2 shows an example of interference with a peripheral object 201 that accompanies a hand operation by a robot according to a comparative example.
  • 2A shows a state before the hand 101 grasps the object 200 to be operated
  • FIG. 2B shows a state immediately before the hand 101 grasps the object 200 to be operated.
  • FIG. 3 shows an example of a decrease in positional accuracy when flexible hand control is performed in a robot according to a comparative example.
  • the hand 101 has a first finger portion 111 and a second finger portion 112 as a grip portion.
  • FIG. 4 schematically shows an example of a robot 100 to be controlled by the robot control device and robot control method according to the first embodiment of the present disclosure.
  • FIG. 5 schematically shows an example of the hand 101 of the robot 100. As shown in FIG.
  • the robot control device and robot control method according to the first embodiment are suitable for, for example, a robot 100 having an arm 102, as shown in FIG.
  • a hand 101 is provided at the tip of the arm 102 as a part to be controlled.
  • parts other than the hand 101 can be set as parts to be controlled.
  • a leg (not shown) as a control target part.
  • the hand 101 is capable of gripping an object 200 (see FIG. 1, etc.) to be operated.
  • the hand 101 has a grasping portion that grasps an object 200 to be operated, and a joint portion that links to the grasping portion.
  • the configuration example of FIG. 5 shows an example having two finger portions (first finger portion 111 and second finger portion 112) as a grip portion.
  • a plurality of joints 401 are provided on the first finger 111 .
  • a plurality of joints 402 are provided on the second finger 112 .
  • a tactile sensor 11 is provided at each tip of the first finger 111 and the second finger 112 .
  • a torque sensor 12 is provided in each of the plurality of joints 401 and the plurality of joints 402 .
  • the grip may be configured to have three or more fingers. Also, each finger may have only one joint, or may have three or more joints.
  • FIG. 6 shows a configuration example of the external force estimating section in the robot control device according to the first embodiment.
  • the robot control device includes an external force estimator 20 .
  • the external force estimation unit 20 acquires the torque sensor information ⁇ e and the tactile sensor information p from the torque sensor 12 and the tactile sensor 11 provided on the hand 101 as the control target part of the robot 100 . Based on the acquired torque sensor information ⁇ e and tactile sensor information p, the external force estimation unit 20 separates the intended external force due to the task given to the robot 100 from the external force acting on the control target part, and estimates the unintended external force. do.
  • the external force estimation unit 20 has a pressure-load conversion unit 21, an inverse dynamics calculation unit 22, a subtractor 23, a torque-force moment conversion unit 24, and a subtractor 25.
  • the external force estimation unit 20 converts the first external force (external force F( ⁇ ) trq ) calculated based on the torque sensor information ⁇ e to the second external force (external force F( ) pre ) to estimate the unintended external force (estimated external force F( ⁇ ) ex ).
  • the external force estimating unit 20 calculates the torque sensor information ⁇ e and the estimated torque (estimated joint torque, dynamics component ⁇ ( ⁇ )) calculated using inverse dynamics calculation based on the target motion of the control target part. 1 external force (external force F( ⁇ ) trq ) is calculated.
  • An external operating force acts on the tactile sensor 11 via the object 200 gripped by the hand 101 .
  • the pressure-load conversion unit 21 converts pressure distribution information (tactile sensor information p) from the tactile sensor 11 into, for example, six-dimensional force/moment information (external force F( ⁇ ) pre ).
  • the force (torque) generated from the dynamics of the robot 100 itself is a dynamics component ⁇ ( ⁇ ). included as The dynamics component ⁇ ( ⁇ ) can be obtained by the inverse dynamics calculation using the following equation (1) by the inverse dynamics calculator 22 .
  • Equation (1) q is a joint angle vector, M is an inertia matrix (inertia force term), c is a centrifugal force/Coriolis force term, and g is a gravitational term.
  • a subtractor 23 subtracts the dynamics component ⁇ ( ⁇ ) corresponding to the current state and the target motion from the torque sensor information ⁇ e from the torque sensor 12, thereby eliminating the dynamics component ⁇ ( ⁇ ) of the robot 100 itself, Components from the object 200 and the environment can be extracted as torque information ⁇ ( ⁇ ) e .
  • the external force F( ⁇ ) trq can be calculated using the Jacobian matrix J by the following equation (2).
  • the subtractor 25 compares the operating external force (external force F( ⁇ ) pre ) through the object 200 with the external force F( ⁇ ) trq from the object 200 and the environment, and the external force is determined by the task operation. It is possible to separate the intended external force from the unexpected unintended external force (estimated external force F( ⁇ ) ex ) generated from contact with the environment (equation (3)).
  • Fig. 7 shows a specific task and an example of external force estimation corresponding to the task.
  • Examples of specific tasks include approaching an object 200 in free space (example 1) and interacting with the environment via a grasping tool (example 2).
  • Examples of tasks in which an unintended external force is generated include an unexpected collision with the environment or the object 200 (example 3), or an unexpected collision with the environment or the object 200 while working on the environment via a grasping tool (example 4).
  • the estimated external force F( ⁇ ) ex is 0 or a value close to 0.
  • the estimated external force F( ⁇ ) ex becomes a value corresponding to the unintended external force.
  • FIG. 8 shows an example of the overall configuration of the robot control device according to the first embodiment, which includes the force control section 30 that performs such force control.
  • the robot control device includes a force control section 30 and a joint control section 41.
  • the force control unit 30 has a pressure-load conversion unit 31, a Cartesian space control unit 32, a torque command value calculation unit 33, an adder 34, and an external force adaptive control unit 35.
  • the joint section 40 includes joint sections 401 and 402 in the case of the configuration example of the hand 101 in FIG. 5, for example.
  • the external force adaptive control unit 35 modulates the torque sensor information ⁇ e based on the magnitude of the unintended external force (estimated external force F( ⁇ ) ex ) estimated by the external force estimation unit 20 .
  • the external force adaptive control unit 35 modulates the torque sensor information ⁇ e such that, for example, as the unintended external force increases, the torque value indicated by the torque sensor information ⁇ e increases.
  • the adder 34 calculates torque for the control target region based on the torque command value ⁇ d for the control target region calculated based on the exercise purpose and the post-modulation torque sensor information ⁇ adj modulated by the external force adaptive control unit 35. Calculate the final torque command value.
  • the adder 34 corresponds to a specific example of the "torque control section" in the technology of the present disclosure.
  • FIG. 1 An example of hand control of the robot 100 will be described below as an example of force control by the force control unit 30.
  • the Cartesian space controller 32 includes various controllers and transforms the motion target xd into an acceleration target x(..) d .
  • the controller include a PID (Proportional Integral Differential) controller that realizes a position target at the tip of the hand 101, an impedance controller that realizes contact operation using force information (external force F( ⁇ ) pre ), and the like. is used.
  • a linear controller or a nonlinear controller that further increases the positional accuracy of the tip of the hand 101 may be used.
  • the torque command value calculation unit 33 calculates the torque command value ⁇ d from the acceleration target x( . d can be realized.
  • torque sensor information ⁇ e , ⁇ adj torque sensor information
  • the external torque acting on the joint portion 40 of the hand 101 from the environment or the like can be constantly measured as the torque sensor information ⁇ e .
  • the external torque (torque sensor information ⁇ e ) obtained by the torque sensor 12 is converted by the external force adaptive control unit 35 into to modulate from 0 to ⁇ e .
  • the adder 34 adds the modulated torque sensor information ⁇ adj to the torque command value ⁇ d to achieve natural control switching between rigid control and flexible control.
  • FIG. 9 shows an example of torque modulation by the external force adaptive control section 35.
  • the following modulation results are obtained.
  • the post-modulation torque sensor information ⁇ adj 0.0.
  • the post-modulation torque sensor information ⁇ adj ⁇ e .
  • torque modulation is not limited to the example of linear modulation described above, and may be modulation using a nonlinear function.
  • Fig. 10 shows an example of torque modulation and hand control corresponding to specific tasks.
  • the motion purpose is trajectory tracking control of the tip position and tip orientation of the hand 101
  • the ability to adapt to external force is weakened, and priority is given to the position control and attitude control of the tip of the hand 101 (high-rigidity and high-precision hand motion).
  • the purpose of motion is trajectory tracking control of the tip position and orientation of the hand 101, and the external force estimation result by the external force estimation unit 20 is F( ⁇ ) ex ⁇ 0. becomes.
  • the purpose of motion is impedance control of the force via the object 200, and the external force estimation result by the external force estimation unit 20 is F( ⁇ ) ex ⁇ 0.
  • the desired operation via the object 200 and the tool is maintained as much as possible, and the hand operation is performed with consideration given to flexibility. How flexible and highly safe the operation should be depends on the modulation by the external force adaptive control section 35 .
  • FIG. 11 is a flow chart showing an example of control operation by the robot control device according to the first embodiment.
  • the force control unit 30 acquires an external operating force (external force F( ⁇ ) pre ) and torque sensor information ⁇ e (step S101).
  • the external force estimation unit 20 calculates an estimated joint torque (dynamics component ⁇ ( ⁇ )) using inverse dynamics calculation based on the desired motion (step S102).
  • the external force estimation unit 20 calculates the estimated external force (external force F( ⁇ ) trq ) based on the estimated joint torque (dynamics component ⁇ ( ⁇ )), the torque sensor information ⁇ e , and the Jacobian matrix J (step S103). .
  • the external force estimation unit 20 calculates a force difference amount (estimated external force F( ⁇ ) ex ) from the difference between the estimated external force (external force F( ⁇ ) trq ) and the operation external force (external force F( ⁇ ) pre ) ( step S104).
  • the external force adaptive control unit 35 calculates post-modulation torque sensor information ⁇ adj (step S105).
  • the adder 34 calculates the final joint command torque from the torque command value ⁇ d from the torque command value calculation unit 33 calculated based on the exercise purpose and the post-modulation torque sensor information ⁇ adj (step S106).
  • the joint control unit 41 controls the target joint (joint unit 40) based on the final joint command torque (step S107).
  • the torque sensor information ⁇ e and tactile sensor information p and based on the acquired torque sensor information ⁇ e and tactile sensor information p, the intended external force due to the task given to the robot is separated from the external force acting on the control target part, and the unintended external force Estimate the (estimated external force F( ⁇ ) ex ). This makes it possible to perform highly accurate external force estimation.
  • adaptive force control is performed according to the estimated external force F( ⁇ ) ex .
  • F( ⁇ ) ex the estimated external force
  • high-rigidity and high-precision hand control and high-flexibility and high-safety hand control can be changed based on the same control rule.
  • high-rigidity and high-precision hand control and high-flexibility and high-safety hand control are adaptively performed according to tasks and environments. can be realized. It is possible to perform automatic hand control using the estimated external force without the need for manual settings. For example, the following hand control can be automatically performed.
  • the position of the tip of the hand 101 Control and attitude control can be prioritized.
  • a high task success rate can be achieved by realizing high-rigidity and high-precision hand movements.
  • the force of the tip of the hand 101 ( impedance) control can be prioritized.
  • the impedance operation of the hand 101 can be realized with high accuracy, and the success rate of the contact task can be improved.
  • the tactile sensor 11 has an external force
  • the torque sensor 12 There is an external force on the joint 40 of the hand 101
  • adaptive control of the external force acting on the joint 40 of the hand 101 can also be considered.
  • highly flexible and highly safe hand operations can be taken into account while achieving highly accurate impedance operations of the hand 101 . How highly flexible and highly safe the operation should be depends on the modulation by the external force adaptive control section 35 .
  • FIG. 12 shows an overview of hand control by the robot control device and robot control method according to the second embodiment.
  • individual hand control may be performed according to the positions of the fingers (the first finger 111 and the second finger 112) of the hand 101 as the grip.
  • the finger on the floor side for example, the second finger 112
  • Hand control may be performed in which precision is prioritized with a high-rigidity motion, and the opposite finger (for example, the first finger 111) flexibly presses the object 200 with a low-rigidity motion.
  • the hand 101 when the hand 101 is configured to have a finger portion corresponding to the thumb and other finger portions, the finger portion corresponding to the thumb is operated with high rigidity, and the other finger portions are operated with low rigidity and flexible operation. You may make it perform hand control which performs.
  • FIG. 13 shows an example of the overall configuration of the robot control device according to the second embodiment, which implements the hand control described above.
  • the force control section 30 has a plurality of adders 341 and 342 as the adder 34 .
  • the adders 341 and 342 correspond to a specific example of the "torque control section" in the technique of the present disclosure.
  • the joint angle vectors q1 and q2 from the joints 401 and 402 of the first finger 111 and the second finger 112 are input to the external force estimation unit 20, respectively.
  • the external force adaptive control unit 35 individually modulates the torque sensor information ⁇ e in each of the plurality of joints 401 and 402 according to the positions at which the plurality of joints 401 and 402 are provided. Torque sensor information ⁇ adj 1 and ⁇ adj 2 are output to adders 341 and 342 .
  • Adders 341 and 342 generate torque command values ⁇ d 1 and ⁇ d 2 for each of the plurality of joints 401 and 402 calculated based on the exercise purpose, and a plurality of torque command values individually modulated by the external force adaptive control section 35 .
  • a final torque command value for each of the joints 401 and 402 is calculated based on the post-modulation torque sensor information ⁇ adj 1 and ⁇ adj 2 for each of the joints 401 and 402 .
  • the joint control units 411 and 412 control the joint units 401 and 402 based on the final torque command values for each of the multiple joint units 401 and 402 .
  • FIG. 14 shows an example of the overall configuration of a robot control device according to the third embodiment.
  • the force control section 30 performs force control according to the task designated by the task setting section 50 .
  • the external force adaptive control unit 35 calculates torque sensor information ⁇ e is modulated.
  • the external force adaptive control unit 35 may modulate the torque sensor information ⁇ e based on the magnitude of the unintended external force estimated by the external force estimating unit 20 and environmental information around the robot 100 .
  • the environmental information may include distance information to objects 200 around the robot 100 .
  • FIG. 15 shows an example of the overall configuration of a robot control device according to the fourth embodiment, which realizes hand control using distance information as described above.
  • the force control unit 30 further has the distance calculation unit 14.
  • the distance calculator 14 calculates the distance d between the robot 100 and the surrounding environment or object based on the sensor information from the distance sensor 13 .
  • the distance sensor 13 is composed of, for example, a camera (image sensor) or LiDAR (Light Detection And Ranging).
  • the robot control device it is possible to perform hand control according to the surrounding environment. For example, in an environment where there are people or objects around the robot 100, it is possible to perform hand control to perform highly safe and flexible movements.
  • FIG. 16 is a flow chart showing an example of control operation by the robot control device according to the fourth embodiment.
  • processing steps other than steps S101A and S105A are the same as those in the flowchart shown in FIG.
  • the force control unit 30 acquires the operating external force (external force F( ⁇ ) pre ), the torque sensor information ⁇ e , and the distance d (step S101A).
  • the external force estimation unit 20 calculates an estimated joint torque (dynamics component ⁇ ( ⁇ )) using inverse dynamics calculation based on the desired motion (step S102).
  • the external force estimation unit 20 calculates the estimated external force (external force F( ⁇ ) trq ) based on the estimated joint torque (dynamics component ⁇ ( ⁇ )), the torque sensor information ⁇ e , and the Jacobian matrix J (step S103). .
  • the external force estimation unit 20 calculates a force difference amount (estimated external force F( ⁇ ) ex ) from the difference between the estimated external force (external force F( ⁇ ) trq ) and the operation external force (external force F( ⁇ ) pre ) ( step S104).
  • the external force adaptive control unit 35 sets a torque modulation threshold based on the distance d (step S105A).
  • the external force adaptive control unit 35 calculates post-modulation torque sensor information ⁇ adj (step S105B).
  • the adder 34 calculates the final joint command torque from the torque command value ⁇ d from the torque command value calculation unit 33 calculated based on the exercise purpose and the post-modulation torque sensor information ⁇ adj (step S106).
  • the joint control unit 41 controls the target joint (joint unit 40) based on the final joint command torque (step S107).
  • the present technology can also have the following configuration.
  • torque sensor information and tactile sensor information are acquired from a torque sensor and a tactile sensor provided in a control target portion of a robot, respectively, and based on the acquired torque sensor information and tactile sensor information, , separates the intended external force due to the task given to the robot from the external force acting on the control target part, and estimates the unintended external force. This makes it possible to perform highly accurate external force estimation.
  • the external force estimator The robot control device according to (2) above, wherein the first external force is calculated based on the torque sensor information and an estimated torque calculated using an inverse dynamics calculation based on a target motion of the control target portion.
  • the external force adaptive control unit that modulates the torque sensor information based on the magnitude of the unintended external force estimated by the external force estimation unit. robot controller.
  • a final torque command value for the controlled portion is calculated based on the torque command value for the controlled portion calculated based on the exercise purpose and the torque sensor information modulated by the external force adaptive control section.
  • the robot control device according to any one of (4) above, further comprising a torque control section.
  • the control target part has a plurality of joint parts, The torque sensor is provided in each of the plurality of joints, The external force adaptive control unit performs individual modulation on the torque sensor information of each of the plurality of joints according to the positions at which the plurality of joints are provided, The torque control unit controls torque command values for each of the plurality of joints calculated based on the exercise purpose, and the torque sensors at each of the plurality of joints individually modulated by the external force adaptive control unit.
  • the robot control device according to (5) above, wherein a final torque command value for each of the plurality of joints is calculated based on the information.
  • the external force adaptive control section modulates the torque sensor information based on the magnitude of the unintended external force estimated by the external force estimating section and a designated task. robot controller.
  • the external force adaptive control unit modulates the torque sensor information based on the magnitude of the unintended external force estimated by the external force estimation unit and environmental information around the robot. robot controller.
  • the robot control device according to (9), wherein the environment information includes distance information with respect to objects around the robot.
  • the robot includes a hand capable of gripping an object as the control target part, The hand has a gripping portion for gripping the object and a joint portion for moving the gripping portion, The torque sensor is provided at a joint of the hand, The robot control device according to any one of (1) to (10) above, wherein the tactile sensor is provided in a grasping portion of the hand. (12) Acquiring torque sensor information and tactile sensor information from a torque sensor and a tactile sensor provided in a control target part of the robot, respectively; separating an intended external force due to a task given to the robot from an external force acting on the control target part based on the acquired torque sensor information and the tactile sensor information, and estimating an unintended external force. control method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

本開示のロボット制御装置は、ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得し、取得したトルクセンサ情報および触覚センサ情報に基づいて、制御対象部位に働く外力から、ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定する外力推定部を備える。

Description

ロボット制御装置、およびロボット制御方法
　本開示は、ロボット制御装置、およびロボット制御方法に関する。
　ロボットにおいてハンドは物体への操作を対象とすることが多いため、その対象物体や環境と衝突しやすい。剛性の高いハンド制御の場合、位置精度は高いが、周辺の環境や物体と接触した際の安全性が低下する。一方で、柔軟性を持つハンド制御では、安全性は高いが、位置精度が低くなり、タスクの失敗に繋がる可能性がある。特許文献１では、ハンドの指部に剛性の異なる２つの部材を備えることで、高精度の把持と柔軟な把持とを同一の機構で実現する技術が提案されている。
特開２００９－１０１４２４号公報
　高精度化と高安全性との両立をロボット側のメカ構造ではなく、例えばハンドに働く外力に応じてハンド制御を適応的に変えることで実現することが考えられる。この場合、精度の高い外力推定を行うことが望ましい。
　精度の高い外力推定を行うことが可能なロボット制御装置、およびロボット制御方法を提供することが望ましい。
　本開示の一実施の形態に係るロボット制御装置は、ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得し、取得したトルクセンサ情報および触覚センサ情報に基づいて、制御対象部位に働く外力から、ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定する外力推定部を備える。
　本開示の一実施の形態に係るロボット制御方法は、ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得することと、取得したトルクセンサ情報および触覚センサ情報に基づいて、制御対象部位に働く外力から、ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定することとを含む。
　本開示の一実施の形態に係るロボット制御装置、またはロボット制御方法では、ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得し、取得したトルクセンサ情報および触覚センサ情報に基づいて、制御対象部位に働く外力から、ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定する。
比較例に係るロボットによるハンド操作の対象となる物体が置かれた環境の一例を示す説明図である。 比較例に係るロボットによるハンド操作に伴う周辺物体との干渉の一例を示す説明図である。 比較例に係るロボットにおいて、柔軟なハンド制御を行った場合の位置精度の低下の一例を示す説明図である。 本開示の第１の実施の形態に係るロボット制御装置およびロボット制御方法による制御の対象となるロボットの一例を概略的に示す外観図である。 第１の実施の形態に係るロボット制御装置およびロボット制御方法による制御の対象となるロボットのハンドの一例を概略的に示す構成図である。 第１の実施の形態に係るロボット制御装置における外力推定部の一構成例を示すブロック図である。 具体的なタスクとタスクに対応した外力の推定例を示す説明図である。 第１の実施の形態に係るロボット制御装置の全体構成例を示すブロック図である。 第１の実施の形態に係るロボット制御装置における外力適応制御部によるトルク変調の一例を示す説明図である。 具体的なタスクとタスクに対応したトルク変調およびハンド制御の一例を示す説明図である。 第１の実施の形態に係るロボット制御装置による制御動作の一例を示すフローチャートである。 第２の実施の形態に係るロボット制御装置およびロボット制御方法によるハンド制御の概要を示す説明図である。 第２の実施の形態に係るロボット制御装置の全体構成例を示すブロック図である。 第３の実施の形態に係るロボット制御装置の全体構成例を示すブロック図である。 第４の実施の形態に係るロボット制御装置の全体構成例を示すブロック図である。 第４の実施の形態に係るロボット制御装置による制御動作の一例を示すフローチャートである。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　０．比較例（図１～図３）
　１．第１の実施の形態（図４～図１１）
　　１．１　外力推定部の構成および外力推定の演算例
　　１．２　力制御部の構成およびハンド制御の例
　　１．３　動作
　　１．４　効果
　　１．５　変形例
　２．第２の実施の形態（指部ごとに個別のハンド制御を行う例）（図１２～図１３）
　３．第３の実施の形態（タスクに応じたハンド制御を行う例）（図１４）
　４．第４の実施の形態（周辺環境に応じたハンド制御を行う例）（図１５～図１６）
　５．その他の実施の形態
 
＜０．比較例＞
（比較例に係るロボット制御装置、およびロボット制御方法の概要と課題）
　図１は、比較例に係るロボットによるハンド操作の対象となる物体が置かれた環境の一例を示している。
　ロボットにおいてハンドは物体への操作を対象とすることが多いため、その対象物体や環境と衝突しやすい。特に、図１に示したように、操作の対象となる物体２００の他にも、周辺物体２０１が多く存在する雑多な環境や、棚３００などの環境近くに操作の対象となる物体２００が配置されている場合が顕著である。
　図２は、比較例に係るロボットによるハンド操作に伴う周辺物体２０１との干渉の一例を示している。図２において、（Ａ）はハンド１０１による操作の対象となる物体２００を把持する前、（Ｂ）は操作の対象となる物体２００をハンド１０１によって把持する直前の状態を示す。図３は、比較例に係るロボットにおいて、柔軟なハンド制御を行った場合の位置精度の低下の一例を示している。図３に示したように、ハンド１０１は把持部として、第１指部１１１および第２指部１１２を備えている。
　剛性の高いハンド制御の場合、図２の（Ｂ）に示したように、位置精度は高いが周辺の環境や周辺物体２０１と接触（衝突）することで、安全性が低下する。一方で、柔軟性を持つハンド制御では、安全性は高いが、外乱、あるいはノイズやモデル誤差などに敏感に反応することになり手先の位置や姿勢の精度が低くなり、タスクの失敗に繋がる可能性がある。例えば、図３に示したように、ハンド１０１の中心位置１０１Ｃに物体中心２００Ｃを合わせて物体２００を把持しようとした場合に、ハンド１０１の撓みやモデル誤差等による運動学誤差によって、例えば第１指部１１１が物体２００に衝突するなどしてタスクが失敗する可能性がある。
　一般的に、高剛性で高精度なハンド動作と、柔軟で高安全性のハンド動作とを同一の制御則によって実現するのは困難である。そのため、タスクや環境に応じ、制御則を切り替えることも考えられるが、外力センシングと力制御の観点からそれぞれ以下の課題がある。外力センシングの課題として、タスク実行に必要な意図した接触による外力か、意図せず環境や障害物に衝突して発生した外力かの分離が困難である。また、力制御の課題として、動作を切り替えた際に、振動や動作の不連続化など安定性を低下させる可能性がある。
　そこで、外力センシングの観点として、精度の高い外力推定を行うことが可能な技術の開発が望まれる。また、力制御の観点として、外力に応じた適応的な力制御を行うことが可能な技術の開発が望まれる。これにより、ロボットのハンド等の制御に関して、高精度化と高安全性との両立を実現する技術の開発が望まれる。
＜１．第１の実施の形態＞
［１．１　外力推定部の構成および外力推定の演算例］
　図４は、本開示の第１の実施の形態に係るロボット制御装置およびロボット制御方法による制御の対象となるロボット１００の一例を概略的に示している。図５は、ロボット１００のハンド１０１の一例を概略的に示している。
　第１の実施の形態に係るロボット制御装置およびロボット制御方法は、図４に示したように、例えば、アーム１０２を有するロボット１００に好適である。アーム１０２の先端には、制御対象部位としてのハンド１０１が設けられている。ただし、第１の実施の形態に係るロボット制御装置およびロボット制御方法は、ハンド１０１以外の部位を制御対象部位とすることも可能である。例えば、図示しない足部を制御対象部位とすることも可能である。
　ハンド１０１は、操作の対象となる物体２００（図１等参照）を把持することが可能となっている。ハンド１０１は、操作の対象となる物体２００を把持する把持部と、把持部にリンクする関節部とを有する。図５の構成例では、把持部として、２本の指部（第１指部１１１および第２指部１１２）を有する例を示す。第１指部１１１には複数の関節部４０１が設けられている。第２指部１１２には複数の関節部４０２が設けられている。第１指部１１１および第２指部１１２のそれぞれの先端部には、触覚センサ１１が設けられている。複数の関節部４０１および複数の関節部４０２のそれぞれには、トルクセンサ１２が設けられている。
　なお、把持部として、３本以上の指部を有する構成であってもよい。また、各指部において、関節部は１つのみであってもよいし、３つ以上の関節部を有する構成であってもよい。
　図６は、第１の実施の形態に係るロボット制御装置における外力推定部の一構成例を示している。
　なお、以下の文章中、「（＾）」はその左側の文字の上にハット記号（＾）が付されている文字であることを示す。例えば、「Ｆ（＾）」は、Ｆの上にハット記号が付されている文字であることを示す。同様に、「（・），（・・）」はその左側の文字の上にドット記号（・・）（微分記号）が付されている文字であることを示す。例えば、「ｑ（・・）」は、ｑの上にドット記号（・・）が付されている文字であることを示す。
　第１の実施の形態に係るロボット制御装置は、外力推定部２０を備えている。外力推定部２０は、ロボット１００の制御対象部位としてのハンド１０１に設けられたトルクセンサ１２および触覚センサ１１からそれぞれ、トルクセンサ情報τｅおよび触覚センサ情報ｐを取得する。外力推定部２０は、取得したトルクセンサ情報τｅおよび触覚センサ情報ｐに基づいて、制御対象部位に働く外力から、ロボット１００に与えられたタスクによる意図した外力を分離し、意図しない外力を推定する。
　外力推定部２０は、圧力－荷重変換部２１と、逆動力学演算部２２と、減算器２３と、トルク－力モーメント変換部２４と、減算器２５とを有する。
　外力推定部２０は、トルクセンサ情報τｅに基づいて算出された第１の外力（外力Ｆ（＾）ｔｒｑ）から、触覚センサ情報ｐに基づいて算出された第２の外力（外力Ｆ（＾）ｐｒｅ）を減算することによって意図しない外力（推定外力Ｆ（＾）ｅｘ）を推定する。
　外力推定部２０は、トルクセンサ情報τｅと、制御対象部位の目標動作に基づく逆動力学演算を用いて算出された推定トルク（推定関節トルク、ダイナミクス成分τ（＾））とに基づいて第１の外力（外力Ｆ（＾）ｔｒｑ）を算出する。
　以下、制御対象部位がハンド１０１である場合における、外力推定部２０による外力推定の演算例をより具体的に説明する。
　触覚センサ１１にはハンド１０１によって把持した物体２００を介して操作外力（外力Ｆ（＾）ｐｒｅ）が作用する。圧力－荷重変換部２１は、触覚センサ１１からの圧力分布情報（触覚センサ情報ｐ）を例えば６次元の力・モーメント情報（外力Ｆ（＾）ｐｒｅ）に変換する。一方、トルクセンサ１２で検知される関節トルク（トルクセンサ情報τｅ）には、物体２００や環境からの外力に加え、ロボット１００自身のダイナミクスから発生する力（トルク）がダイナミクス成分τ（＾）として含まれる。ダイナミクス成分τ（＾）は、逆動力学演算部２２による以下の式（１）を用いた逆動力学演算によって求めることができる。式（１）において、ｑは関節角度ベクトル、Ｍは慣性行列（慣性力項）、ｃは遠心力・コリオリ力項、ｇは重力項である。
Figure JPOXMLDOC01-appb-M000001
  
　トルクセンサ１２からのトルクセンサ情報τｅから現状態と目標動作とに応じたダイナミクス成分τ（＾）を減算器２３によって減算することで、ロボット１００自身のダイナミクス成分τ（＾）を排除し、物体２００や環境からの成分をトルク情報τ（＾）ｅとして抽出することができる。抽出されたトルク情報τ（＾）ｅから、トルク－力モーメント変換部２４において、ヤコビ行列Ｊを用いて手先情報（外力Ｆ（＾）ｔｒｑ）に変換することで、触覚センサ１１から取得できる情報（外力Ｆ（＾）ｐｒｅ）と次元が一致する。外力Ｆ（＾）ｔｒｑは、ヤコビ行列Ｊを用いて以下の式（２）による演算によって求めることができる。
Figure JPOXMLDOC01-appb-M000002
  
　最終的に、減算器２５によって、物体２００を介した操作外力（外力Ｆ（＾）ｐｒｅ）と物体２００や環境からの外力Ｆ（＾）ｔｒｑとを比較することで、その外力がタスク操作による意図した外力か、環境などとの接触から発生した想定外の意図しない外力（推定外力Ｆ（＾）ｅｘ）かを分離することができる（式（３））。
Figure JPOXMLDOC01-appb-M000003
  
　図７は、具体的なタスクとタスクに対応した外力の推定例を示している。
　具体的なタスクの例として、自由空間における物体２００へのアプローチ（例１）や、把持ツールを介した環境への働きかけ（例２）がある。また、意図しない外力が発生するタスクの例として、環境や物体２００との不意の衝突（例３）や、把持ツールを介した環境への働きかけ中に環境や物体２００との不意の衝突（例４）がある。
　不意の衝突などがなく、意図しない外力が発生しない、または意図しない外力が小さい場合、推定外力Ｆ（＾）ｅｘは０または０に近い値となる。不意の衝突などがあり、意図しない外力が発生する場合、推定外力Ｆ（＾）ｅｘは意図しない外力に応じた値となる。
［１．２　力制御部の構成およびハンド制御の例］
　第１の実施の形態に係るロボット制御装置およびロボット制御方法では、上記のような推定外力Ｆ（＾）ｅｘに基づいて、ロボット１００の制御対象部位の力制御を行う。
　図８は、このような力制御を行う力制御部３０を備えた、第１の実施の形態に係るロボット制御装置の全体構成例を示している。
　第１の実施の形態に係るロボット制御装置は、力制御部３０と、関節制御部４１とを備える。
　力制御部３０は、圧力－荷重変換部３１と、デカルト空間制御部３２と、トルク指令値算出部３３と、加算器３４と、外力適応制御部３５とを有する。
　関節部４０は、例えば、図５のハンド１０１の構成例の場合には、関節部４０１，４０２を含む。
　外力適応制御部３５は、外力推定部２０によって推定された意図しない外力（推定外力Ｆ（＾）ｅｘ）の大きさに基づいて、トルクセンサ情報τｅの変調を行う。外力適応制御部３５は、例えば、意図しない外力が大きくなるに従い、トルクセンサ情報τｅによって示されるトルク値が大きくなるようにトルクセンサ情報τｅの変調を行う。
　加算器３４は、運動目的に基づいて算出された制御対象部位に対するトルク指令値τｄと、外力適応制御部３５によって変調された変調後のトルクセンサ情報τａｄｊとに基づいて、制御対象部位に対する最終的なトルク指令値を算出する。
　加算器３４は、本開示の技術における「トルク制御部」の一具体例に相当する。
　以下、力制御部３０による力制御の例として、ロボット１００のハンド制御の例を説明する。
　一般的に、タスクに基づくハンド１０１の運動目標ｘｄがデカルト空間座標で指示される。デカルト空間制御部３２は各種制御器を含み、運動目標ｘｄを加速度目標ｘ（・・）ｄに変換する。制御器としては、例えば、ハンド１０１の先端での位置目標を実現するＰＩＤ（Proportional Integral Differential）制御器や、力情報（外力Ｆ（＾）ｐｒｅ）を用いて接触動作を実現するインピーダンス制御器などが用いられる。他にも、ハンド１０１の先端の位置精度をさらに高めるような線形制御器や非線形制御器を用いてもよい。
　一般に、トルク指令値算出部３３において、加速度目標ｘ（・・）ｄから動力学演算を用いてトルク指令値τｄを算出し、関節制御部４１に指令することで、ハンド１０１の運動目標ｘｄの実現が可能になる。ただし、このような制御のみでは外力、外トルク成分（トルクセンサ情報τｅ，τａｄｊ）を考慮していないため、ハンド１０１の関節部４０に外力が働いても不感状態となり、剛性の高い動作しか実現は困難である。
　一方、トルクセンサ１２を用いることで、ハンド１０１の関節部４０に環境などから働く外トルクをトルクセンサ情報τｅとして常に計測することができる。第１の実施の形態における力制御手法では、トルクセンサ１２によって得られる外トルク（トルクセンサ情報τｅ）を、外力適応制御部３５において、外力推定値（推定外力Ｆ（＾）ｅｘ）に基づいて０～τｅに変調する。そして、加算器３４において、変調後のトルクセンサ情報τａｄｊをトルク指令値τｄに加算することで、剛性の高い制御と柔軟な制御との自然な制御の切り替えを実現する。
　外力適応制御部３５による外力推定値（推定外力Ｆ（＾）ｅｘ）を用いたトルクセンサ情報τｅの変調は、式（４）のように表現される。
Figure JPOXMLDOC01-appb-M000004
  
　図９は、外力適応制御部３５によるトルク変調の一例を示している。例えば図９のような線形変調の場合、以下のような変調結果となる。
・外力推定値（推定外力Ｆ（＾）ｅｘ）が閾値ｔｈ１より小さい場合、変調後のトルクセンサ情報τａｄｊは、τａｄｊ＝０．０となる。
・外力推定値（推定外力Ｆ（＾）ｅｘ）が閾値ｔｈ２より大きい場合、変調後のトルクセンサ情報τａｄｊは、τａｄｊ＝τｅとなる。
・外力推定値（推定外力Ｆ（＾）ｅｘ）が閾値ｔｈ１からｔｈ２の間は、変調後のトルクセンサ情報τａｄｊは、例えば式（５）のような線形変換により、τａｄｊ＝０～τｅとなる。
Figure JPOXMLDOC01-appb-M000005
  
　なお、トルク変調は、上記した線形変調の例に限らず、非線形な関数を利用した変調であってもよい。
　図１０は、具体的なタスクとタスクに対応したトルク変調およびハンド制御の一例を示している。
　例１の自由空間における物体２００へのアプローチの場合、運動目的はハンド１０１の先端位置および先端姿勢の軌道追従制御であり、外力推定部２０による外力推定結果は、Ｆ（＾）ｅｘ＝０となる。この場合、外力適応制御部３５はトルク変調により、τａｄｊ＝０とする。これにより、外力適応能力を弱め、ハンド１０１の先端の位置制御および姿勢制御を優先させる（高剛性かつ高精度なハンド動作とする）。
　例２の把持ツールを介した環境への働きかけの場合、運動目的は物体２００を介した力のインピーダンス制御であり、外力推定部２０による外力推定結果はＦ（＾）ｅｘ＝０となる。この場合、外力適応制御部３５は、トルク変調により、τａｄｊ＝０とする。これにより、物体２００やツールを介した所望の操作（高精度なハンド１０１のインピーダンス動作など）を実現可能となる
　例３の環境や物体２００との不意の衝突の場合、運動目的はハンド１０１の先端位置および先端姿勢の軌道追従制御であり、外力推定部２０による外力推定結果は、Ｆ（＾）ｅｘ≠０となる。この場合、外力適応制御部３５はトルク変調により、τａｄｊ＝τｅとする。これにより、外力適応能力を強め、高柔軟性かつ高安全性なハンド動作を優先させる。
　例４の把持ツールを介した環境への働きかけ中に環境や物体２００との不意の衝突の場合、運動目的は物体２００を介した力のインピーダンス制御であり、外力推定部２０による外力推定結果はＦ（＾）ｅｘ≠０となる。この場合、外力適応制御部３５は、トルク変調により、τａｄｊ＝０～τｅとする。これにより、物体２００やツールを介した所望の操作をできるだけ維持しながら、柔軟性も加味したハンド動作を実施させる。どの程度柔軟で高安全な動作にするかは、外力適応制御部３５による変調次第となる。
［１．３　動作］
　図１１は、第１の実施の形態に係るロボット制御装置による制御動作の一例を示すフローチャートである。
　まず、力制御部３０は、操作外力（外力Ｆ（＾）ｐｒｅ）、およびトルクセンサ情報τｅを取得する（ステップＳ１０１）。次に、外力推定部２０が、目標動作に基づく逆動力学演算を利用した推定関節トルク（ダイナミクス成分τ（＾））を算出する（ステップＳ１０２）。次に、外力推定部２０が、推定関節トルク（ダイナミクス成分τ（＾））、トルクセンサ情報τｅ、およびヤコビ行列Ｊに基づき推定外力（外力Ｆ（＾）ｔｒｑ）を算出する（ステップＳ１０３）。次に、外力推定部２０が、推定外力（外力Ｆ（＾）ｔｒｑ）と操作外力（外力Ｆ（＾）ｐｒｅ）との差分から力差分量（推定外力Ｆ（＾）ｅｘ）を算出する（ステップＳ１０４）。
　次に、外力適応制御部３５が、変調後のトルクセンサ情報τａｄｊを算出する（ステップＳ１０５）。次に、加算器３４が、運動目的に基づき算出したトルク指令値算出部３３からのトルク指令値τｄと変調後のトルクセンサ情報τａｄｊとから、最終的な関節指令トルクを算出する（ステップＳ１０６）。次に、関節制御部４１が、最終的な関節指令トルクに基づいて対象関節（関節部４０）の制御を行う（ステップＳ１０７）。
［１．４　効果］
　以上説明したように、第１の実施の形態に係るロボット制御装置およびロボット制御方法によれば、ロボット１００の制御対象部位に設けられたトルクセンサ１２および触覚センサ１１からそれぞれ、トルクセンサ情報τｅおよび触覚センサ情報ｐを取得し、取得したトルクセンサ情報τｅおよび触覚センサ情報ｐに基づいて、制御対象部位に働く外力から、ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力（推定外力Ｆ（＾）ｅｘ）を推定する。これにより、精度の高い外力推定を行うことが可能となる。
　第１の実施の形態に係るロボット制御装置およびロボット制御方法によれば、推定外力Ｆ（＾）ｅｘに応じた適応的な力制御を行う。これにより、ロボット１００のハンド１０１等の制御に関して、高精度化と高安全性との両立を実現することが可能となる。例えば、高剛性かつ高精度なハンド制御と、高柔軟性かつ高安全性なハンド制御とを同一の制御則の元、変更することができる。
　第１の実施の形態に係るロボット制御装置およびロボット制御方法によれば、タスクや環境に応じて、高剛性かつ高精度なハンド制御と、高柔軟性かつ高安全性なハンド制御とを適応的に実現することが可能となる。特に人による設定を必要とせず、推定された外力により自動的なハンド制御を行うことが可能となる。例えば、以下のようなハンド制御を自動的に行うことが可能となる。
　例えば、自由空間において物体２００へのアプローチをする場合において、想定外の外力なし（触覚センサ１１に想定外の外力なし、トルクセンサ１２に想定外の外力なし）の場合、ハンド１０１の先端の位置制御および姿勢制御を優先させることができる。これにより、高剛性かつ高精度なハンド動作が実現できることで高いタスク成功率を狙える。
　また、例えば、把持した物体２００や把持ツールを介して環境に働きかける場合において、外力あり（触覚センサ１１に外力あり、トルクセンサ１２に想定外の外力なし）の場合、ハンド１０１の先端の力（インピーダンス）制御を優先させることができる。これにより、高精度なハンド１０１のインピーダンス動作が実現できることで接触タスクの成功率向上を狙える。
　また、例えば、意図せず環境や障害物と衝突した場合は、外力あり（触覚センサ１１に外力なし、トルクセンサ１２に外力あり）となり、ハンド１０１の関節部４０に働く外力の適応制御を優先させることができる。これにより、高柔軟性かつ高安全性なハンド動作が実現できることで、環境や物体２００の破損の可能性を低下させることができる。
　また、例えば、把持した物体２００やツールを介して環境に働きかけながら、ハンド１０１の指等が意図せず環境や障害物と衝突した場合は、外力あり（触覚センサ１１に外力あり、トルクセンサ１２に外力あり）となり、ハンド１０１の関節部４０に働く外力の適応制御も考慮可能となる。これにより、高精度なハンド１０１のインピーダンス動作を実現しながら、高柔軟性かつ高安全性なハンド動作も加味することができる。どの程度高柔軟性かつ高安全性な動作にするかは、外力適応制御部３５による変調次第となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
［１．５　変形例］
　以上の説明では、外力適応制御部３５によるトルク変調を所定の関数を用いて行う例を挙げたが、あらかじめ決められた関数ではなく、例えば機械学習による変調パラメータを用いてトルク変調を行うようにしてもよい。これにより、学習環境下で、ロバストかつハンド動作に適した制御パラメータを取得することができる。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態に係るロボット制御装置、およびロボット制御方法について説明する。なお、以下では、上記第１の実施の形態に係るロボット制御装置、およびロボット制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１２は、第２の実施の形態に係るロボット制御装置およびロボット制御方法によるハンド制御の概要を示している。
　例えば、把持部としてのハンド１０１の指部（第１指部１１１、第２指部１１２）の位置に応じた個別のハンド制御を行うようにしてもよい。例えば、図１２に示したように、第１指部１１１と第２指部１１２とが重力方向に対して異なる位置関係にある場合、床面側の指部（例えば第２指部１１２）を高剛性な動作で精度優先、対面の指部（例えば第１指部１１１）を低剛性で柔軟に物体２００を押さえるような動作を行うハンド制御を行うようにしてもよい。
　また、例えば、ハンド１０１が親指に相当する指部とその他の指部とを有する構成である場合、親指に相当する指部を高剛性な動作にし、その他の指部を低剛性で柔軟な動作を行うようなハンド制御を行うようにしてもよい。
　図１３は、上記のようなハンド制御を実現する、第２の実施の形態に係るロボット制御装置の全体構成例を示している。
　第２の実施の形態に係るロボット制御装置は、力制御部３０が、加算器３４として複数の加算器３４１，３４２を有する。
　加算器３４１，３４２は、本開示の技術における「トルク制御部」の一具体例に相当する。
　外力推定部２０には、第１指部１１１および第２指部１１２における複数の関節部４０１，４０２のそれぞれからの関節角度ベクトルｑ１，ｑ２が入力される。
　外力適応制御部３５は、複数の関節部４０１，４０２のそれぞれにおけるトルクセンサ情報τｅに対して、複数の関節部４０１，４０２が設けられた位置に応じた個別の変調を行い、変調後のトルクセンサ情報τａｄｊ１，τａｄｊ２を加算器３４１，３４２に出力する。
　加算器３４１，３４２は、運動目的に基づいて算出された複数の関節部４０１，４０２のそれぞれに対するトルク指令値τｄ１，τｄ２と、外力適応制御部３５によって個別に変調された複数の関節部４０１，４０２のそれぞれにおける変調後のトルクセンサ情報τａｄｊ１，τａｄｊ２とに基づいて、複数の関節部４０１，４０２のそれぞれに対する最終的なトルク指令値を算出する。
　関節制御部４１１，４１２は、複数の関節部４０１，４０２のそれぞれに対する最終的なトルク指令値に基づいて、関節部４０１，４０２を制御する。
　その他の構成、動作および効果は、上記第１の実施の形態に係るロボット制御装置、およびロボット制御方法と略同様であってもよい。
＜３．第３の実施の形態＞
　次に、本開示の第３の実施の形態に係るロボット制御装置、およびロボット制御方法について説明する。なお、以下では、上記第１または第２の実施の形態に係るロボット制御装置、およびロボット制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１４は、第３の実施の形態に係るロボット制御装置の全体構成例を示している。
　第３の実施の形態に係るロボット制御装置では、力制御部３０は、タスク設定部５０によって指定されたタスクに応じた力制御を行う。外力適応制御部３５は、外力推定部２０によって推定された意図しない外力（推定外力Ｆ（＾）ｅｘ）の大きさと、タスク設定部５０によって指定されたタスクとに基づいて、トルクセンサ情報τｅの変調を行う。
　第３の実施の形態に係るロボット制御装置、およびロボット制御方法によれば、例えば、ドア開けなど精度が不要なタスクでは、安全性の高い柔軟性のハンド動作を優先するようなハンド制御を行うことが可能となる。
　また、例えば、位置精度が重要なタスクでは、ハンド１０１が環境に接触するような場合であっても、高剛性で高精度な動作を優先するようなハンド制御を行うことが可能となる。
　また、例えば、失敗時のタスクの再計画に応じて、優先度を再設定するようなハンド制御を行うことが可能となる。
　その他の構成、動作および効果は、上記第１の実施の形態に係るロボット制御装置、およびロボット制御方法と略同様であってもよい。
＜４．第４の実施の形態＞
　次に、本開示の第４の実施の形態に係るロボット制御装置、およびロボット制御方法について説明する。なお、以下では、上記第１ないし第３のいずれかの実施の形態に係るロボット制御装置、およびロボット制御方法の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　外力適応制御部３５は、外力推定部２０によって推定された意図しない外力の大きさと、ロボット１００の周辺の環境情報とに基づいて、トルクセンサ情報τｅの変調を行うようにしてもよい。環境情報は、ロボット１００の周辺の物体２００に対する距離情報を含んでもよい。
　図１５は、上記のような距離情報を用いたハンド制御を実現する、第４の実施の形態に係るロボット制御装置の全体構成例を示している。
　第２の実施の形態に係るロボット制御装置は、力制御部３０が、距離算出部１４をさらに有する。距離算出部１４は、距離センサ１３からのセンサ情報に基づいて、ロボット１００と周辺の環境や物体との距離ｄを算出する。距離センサ１３は、例えばカメラ（イメージセンサ）やＬｉＤＡＲ（Light Detection And Ranging）で構成される。
　第４の実施の形態に係るロボット制御装置によれば、周辺環境に応じたハンド制御が可能となる。例えば、ロボット１００の周辺に人や物体がいるような環境の場合には、安全性の高い柔軟性のある動作を行うようなハンド制御が可能となる。
　図１６は、第４の実施の形態に係るロボット制御装置による制御動作の一例を示すフローチャートである。なお、図１６に示すフローチャートにおいて、ステップＳ１０１Ａ、ステップＳ１０５Ａ以外の処理ステップは、図１１に示すフローチャートと同様である。
　まず、力制御部３０は、操作外力（外力Ｆ（＾）ｐｒｅ）、トルクセンサ情報τｅ、および距離ｄを取得する（ステップＳ１０１Ａ）。次に、外力推定部２０が、目標動作に基づく逆動力学演算を利用した推定関節トルク（ダイナミクス成分τ（＾））を算出する（ステップＳ１０２）。次に、外力推定部２０が、推定関節トルク（ダイナミクス成分τ（＾））、トルクセンサ情報τｅ、およびヤコビ行列Ｊに基づき推定外力（外力Ｆ（＾）ｔｒｑ）を算出する（ステップＳ１０３）。次に、外力推定部２０が、推定外力（外力Ｆ（＾）ｔｒｑ）と操作外力（外力Ｆ（＾）ｐｒｅ）との差分から力差分量（推定外力Ｆ（＾）ｅｘ）を算出する（ステップＳ１０４）。
　次に、外力適応制御部３５が、距離ｄに基づき、トルク変調の閾値を設定する（ステップＳ１０５Ａ）。次に、外力適応制御部３５が、変調後のトルクセンサ情報τａｄｊを算出する（ステップＳ１０５Ｂ）。次に、加算器３４が、運動目的に基づき算出したトルク指令値算出部３３からのトルク指令値τｄと変調後のトルクセンサ情報τａｄｊとから、最終的な関節指令トルクを算出する（ステップＳ１０６）。次に、関節制御部４１が、最終的な関節指令トルクに基づいて対象関節（関節部４０）の制御を行う（ステップＳ１０７）。
　その他の構成、動作および効果は、上記第１の実施の形態に係るロボット制御装置、およびロボット制御方法と略同様であってもよい。
＜５．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得し、取得したトルクセンサ情報および触覚センサ情報に基づいて、制御対象部位に働く外力から、ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定する。
　これにより、精度の高い外力推定を行うことが可能となる。
（１）
　ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得し、取得した前記トルクセンサ情報および前記触覚センサ情報に基づいて、前記制御対象部位に働く外力から、前記ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定する外力推定部
　を備える
　ロボット制御装置。
（２）
　前記外力推定部は、前記トルクセンサ情報に基づいて算出された第１の外力から、前記触覚センサ情報に基づいて算出された第２の外力を減算することによって前記意図しない外力を推定する
　上記（１）に記載のロボット制御装置。
（３）
　前記外力推定部は、
　前記トルクセンサ情報と、前記制御対象部位の目標動作に基づく逆動力学演算を用いて算出された推定トルクとに基づいて前記第１の外力を算出する
　上記（２）に記載のロボット制御装置。
（４）
　前記外力推定部によって推定された前記意図しない外力の大きさに基づいて、前記トルクセンサ情報の変調を行う外力適応制御部、をさらに備える
　上記（１）ないし（３）のいずれか１つに記載のロボット制御装置。
（５）
　運動目的に基づいて算出された前記制御対象部位に対するトルク指令値と、前記外力適応制御部によって変調された前記トルクセンサ情報とに基づいて、前記制御対象部位に対する最終的なトルク指令値を算出するトルク制御部、をさらに備える
　上記（４）のいずれか１つに記載のロボット制御装置。
（６）
　前記外力適応制御部は、前記意図しない外力が大きくなるに従い、前記トルクセンサ情報によって示されるトルク値が大きくなるように前記トルクセンサ情報の変調を行う
　上記（４）または（５）に記載のロボット制御装置。
（７）
　前記制御対象部位は、複数の関節部を有し、
　前記トルクセンサは前記複数の関節部のそれぞれに設けられ、
　前記外力適応制御部は、前記複数の関節部のそれぞれにおける前記トルクセンサ情報に対して、前記複数の関節部が設けられた位置に応じた個別の変調を行い、
　前記トルク制御部は、前記運動目的に基づいて算出された前記複数の関節部のそれぞれに対するトルク指令値と、前記外力適応制御部によって個別に変調された前記複数の関節部のそれぞれにおける前記トルクセンサ情報とに基づいて、前記複数の関節部のそれぞれに対する最終的なトルク指令値を算出する
　上記（５）に記載のロボット制御装置。
（８）
　前記外力適応制御部は、前記外力推定部によって推定された前記意図しない外力の大きさと、指定されたタスクとに基づいて、前記トルクセンサ情報の変調を行う
　上記（４）または（５）に記載のロボット制御装置。
（９）
　前記外力適応制御部は、前記外力推定部によって推定された前記意図しない外力の大きさと、前記ロボットの周辺の環境情報とに基づいて、前記トルクセンサ情報の変調を行う
　上記（４）に記載のロボット制御装置。
（１０）
　前記環境情報は、前記ロボットの周辺の物体に対する距離情報を含む
　上記（９）に記載のロボット制御装置。
（１１）
　前記ロボットは前記制御対象部位として、物体を把持することが可能なハンドを備え、
　前記ハンドは、前記物体を把持する把持部と、前記把持部を移動させる関節部とを有し、
　前記トルクセンサは、前記ハンドの関節部に設けられ、
　前記触覚センサは、前記ハンドの把持部に設けられている
　上記（１）ないし（１０）のいずれか１つに記載のロボット制御装置。
（１２）
　ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得することと、
　取得した前記トルクセンサ情報および前記触覚センサ情報に基づいて、前記制御対象部位に働く外力から、前記ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定することと
　を含む
　ロボット制御方法。
　本出願は、日本国特許庁において２０２１年７月５日に出願された日本特許出願番号第２０２１－１１１７７６号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (12)

  1. 　ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得し、取得した前記トルクセンサ情報および前記触覚センサ情報に基づいて、前記制御対象部位に働く外力から、前記ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定する外力推定部
    　を備える
    　ロボット制御装置。
  2. 　前記外力推定部は、前記トルクセンサ情報に基づいて算出された第１の外力から、前記触覚センサ情報に基づいて算出された第２の外力を減算することによって前記意図しない外力を推定する
    　請求項１に記載のロボット制御装置。
  3. 　前記外力推定部は、
    　前記トルクセンサ情報と、前記制御対象部位の目標動作に基づく逆動力学演算を用いて算出された推定トルクとに基づいて前記第１の外力を算出する
    　請求項２に記載のロボット制御装置。
  4. 　前記外力推定部によって推定された前記意図しない外力の大きさに基づいて、前記トルクセンサ情報の変調を行う外力適応制御部、をさらに備える
    　請求項１に記載のロボット制御装置。
  5. 　運動目的に基づいて算出された前記制御対象部位に対するトルク指令値と、前記外力適応制御部によって変調された前記トルクセンサ情報とに基づいて、前記制御対象部位に対する最終的なトルク指令値を算出するトルク制御部、をさらに備える
    　請求項４に記載のロボット制御装置。
  6. 　前記外力適応制御部は、前記意図しない外力が大きくなるに従い、前記トルクセンサ情報によって示されるトルク値が大きくなるように前記トルクセンサ情報の変調を行う
    　請求項４に記載のロボット制御装置。
  7. 　前記制御対象部位は、複数の関節部を有し、
    　前記トルクセンサは前記複数の関節部のそれぞれに設けられ、
    　前記外力適応制御部は、前記複数の関節部のそれぞれにおける前記トルクセンサ情報に対して、前記複数の関節部が設けられた位置に応じた個別の変調を行い、
    　前記トルク制御部は、前記運動目的に基づいて算出された前記複数の関節部のそれぞれに対するトルク指令値と、前記外力適応制御部によって個別に変調された前記複数の関節部のそれぞれにおける前記トルクセンサ情報とに基づいて、前記複数の関節部のそれぞれに対する最終的なトルク指令値を算出する
    　請求項５に記載のロボット制御装置。
  8. 　前記外力適応制御部は、前記外力推定部によって推定された前記意図しない外力の大きさと、指定されたタスクとに基づいて、前記トルクセンサ情報の変調を行う
    　請求項４に記載のロボット制御装置。
  9. 　前記外力適応制御部は、前記外力推定部によって推定された前記意図しない外力の大きさと、前記ロボットの周辺の環境情報とに基づいて、前記トルクセンサ情報の変調を行う
    　請求項４に記載のロボット制御装置。
  10. 　前記環境情報は、前記ロボットの周辺の物体に対する距離情報を含む
    　請求項９に記載のロボット制御装置。
  11. 　前記ロボットは前記制御対象部位として、物体を把持することが可能なハンドを備え、
    　前記ハンドは、前記物体を把持する把持部と、関節部とを有し、
    　前記トルクセンサは、前記ハンドの関節部に設けられ、
    　前記触覚センサは、前記ハンドの把持部に設けられている
    　請求項１に記載のロボット制御装置。
  12. 　ロボットの制御対象部位に設けられたトルクセンサおよび触覚センサからそれぞれ、トルクセンサ情報および触覚センサ情報を取得することと、
    　取得した前記トルクセンサ情報および前記触覚センサ情報に基づいて、前記制御対象部位に働く外力から、前記ロボットに与えられたタスクによる意図した外力を分離し、意図しない外力を推定することと
    　を含む
    　ロボット制御方法。
PCT/JP2022/005212 2021-07-05 2022-02-09 ロボット制御装置、およびロボット制御方法 Ceased WO2023281789A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280046812.2A CN117597219A (zh) 2021-07-05 2022-02-09 机器人控制装置和机器人控制方法
US18/575,338 US20240316765A1 (en) 2021-07-05 2022-02-09 Robot control device and robot control method
JP2023533055A JPWO2023281789A1 (ja) 2021-07-05 2022-02-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-111776 2021-07-05
JP2021111776 2021-07-05

Publications (1)

Publication Number Publication Date
WO2023281789A1 true WO2023281789A1 (ja) 2023-01-12

Family

ID=84801557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005212 Ceased WO2023281789A1 (ja) 2021-07-05 2022-02-09 ロボット制御装置、およびロボット制御方法

Country Status (4)

Country Link
US (1) US20240316765A1 (ja)
JP (1) JPWO2023281789A1 (ja)
CN (1) CN117597219A (ja)
WO (1) WO2023281789A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009101424A (ja) * 2006-12-14 2009-05-14 Yaskawa Electric Corp ロボット
JP2010069584A (ja) * 2008-09-19 2010-04-02 Yaskawa Electric Corp マニピュレータの制御装置および制御方法
WO2020017370A1 (ja) * 2018-07-17 2020-01-23 ソニー株式会社 制御装置、制御方法、及び制御システム
WO2020246263A1 (ja) * 2019-06-05 2020-12-10 ソニー株式会社 制御装置および方法、並びに、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11618163B2 (en) * 2018-12-27 2023-04-04 Fanuc Corporation Industrial robot system
JP7057316B2 (ja) * 2019-04-26 2022-04-19 ファナック株式会社 ロボット
US11548152B2 (en) * 2019-08-02 2023-01-10 Dextrous Robotics, Inc. Systems and methods for robotic control under contact
US11999059B2 (en) * 2020-12-18 2024-06-04 Boston Dynamics, Inc. Limiting arm forces and torques
JPWO2022269850A1 (ja) * 2021-06-24 2022-12-29

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009101424A (ja) * 2006-12-14 2009-05-14 Yaskawa Electric Corp ロボット
JP2010069584A (ja) * 2008-09-19 2010-04-02 Yaskawa Electric Corp マニピュレータの制御装置および制御方法
WO2020017370A1 (ja) * 2018-07-17 2020-01-23 ソニー株式会社 制御装置、制御方法、及び制御システム
WO2020246263A1 (ja) * 2019-06-05 2020-12-10 ソニー株式会社 制御装置および方法、並びに、プログラム

Also Published As

Publication number Publication date
JPWO2023281789A1 (ja) 2023-01-12
CN117597219A (zh) 2024-02-23
US20240316765A1 (en) 2024-09-26

Similar Documents

Publication Publication Date Title
Bimbo et al. Teleoperation in cluttered environments using wearable haptic feedback
CN106945043B (zh) 一种主从式遥操作手术机器人多臂协同控制系统
KR101549818B1 (ko) 로봇 핸드 및 그 제어방법
Du et al. Markerless human–robot interface for dual robot manipulators using Kinect sensor
JP6501900B2 (ja) ロボット・マニピュレ−タを制御する装置及び方法
US10335946B2 (en) Compositional impedance programming for robots
US8483877B2 (en) Workspace safe operation of a force- or impedance-controlled robot
Luo et al. Real time human motion imitation of anthropomorphic dual arm robot based on Cartesian impedance control
Shirwalkar et al. Telemanipulation of an industrial robotic arm using gesture recognition with Kinect
WO2008001713A1 (en) Articulated robot and its control program
JP6831530B2 (ja) 外乱オブザーバ及びロボット制御装置
JP7717036B2 (ja) 遠隔操作補助システム、および遠隔操作補助方法
Liu et al. Variable motion mapping to enhance stiffness discrimination and identification in robot hand teleoperation
Tobergte et al. Direct force reflecting teleoperation with a flexible joint robot
Passenberg et al. Towards real-time haptic assistance adaptation optimizing task performance and human effort
JP2023107569A (ja) 遠隔操作補助装置、遠隔操作補助方法、およびプログラム
Namiki et al. Vision-based predictive assist control on master-slave systems
Yamada et al. Comparison between admittance and impedance control of a multi-finger-arm robot using the guaranteed manipulability method
WO2023281789A1 (ja) ロボット制御装置、およびロボット制御方法
CN116096540A (zh) 机器人控制装置、机器人控制系统、以及用于控制机器人的方法
KR20120048107A (ko) 로봇의 양 팔을 이용해 물체를 잡기 위한 로봇의 동작 제어 시스템 및 제어 방법
JP4232196B2 (ja) ロボットの直接教示装置およびロボットシステム
Ciobanu et al. Tactile controller using fuzzy logic for robot inhand manipulation
Mouri et al. Teleoperated humanoid hand robot using force feedback
Pistillo et al. Bilateral physical interaction with a robot manipulator through a weighted combination of flow fields

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837211

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023533055

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18575338

Country of ref document: US

Ref document number: 202280046812.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22837211

Country of ref document: EP

Kind code of ref document: A1