[go: up one dir, main page]

WO2021029147A1 - ロボット制御装置、方法およびプログラム - Google Patents

ロボット制御装置、方法およびプログラム Download PDF

Info

Publication number
WO2021029147A1
WO2021029147A1 PCT/JP2020/024824 JP2020024824W WO2021029147A1 WO 2021029147 A1 WO2021029147 A1 WO 2021029147A1 JP 2020024824 W JP2020024824 W JP 2020024824W WO 2021029147 A1 WO2021029147 A1 WO 2021029147A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
target person
control device
robot control
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/024824
Other languages
English (en)
French (fr)
Inventor
龍一 鈴木
洋貴 鈴木
承夏 梁
一生 本郷
雄大 湯口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202080056064.7A priority Critical patent/CN114206561B/zh
Priority to US17/633,259 priority patent/US20220331960A1/en
Priority to KR1020227001080A priority patent/KR20220047751A/ko
Priority to EP20851682.3A priority patent/EP4009129A1/en
Priority to JP2021539829A priority patent/JP7416070B2/ja
Publication of WO2021029147A1 publication Critical patent/WO2021029147A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/002—Manipulators for defensive or military tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/086—Proximity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39001—Robot, manipulator control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39091—Avoid collision with moving obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence

Definitions

  • This disclosure relates to robot controls, methods and programs.
  • the robot corrects the operation pattern in order to avoid harm, and changes the display mode of the display provided by the robot according to the correction amount.
  • the present application has been made in view of the above, and an object of the present application is to provide a robot control device, a method, and a program capable of giving appropriate notification.
  • the robot control device of one aspect according to the present disclosure includes an attribute determination unit and a determination unit.
  • the attribute determination unit determines the attributes of the target person around the robot.
  • the determination unit is a notification action for notifying the target person of the existence from the robot based on the attribute determined by the attribute determination unit and the harm risk which is a risk related to the harm given to the target person by the robot. To determine.
  • the subject who is in daily contact with the robot is familiar with the behavior pattern of the robot, while the subject who is in contact with the robot for the first time does not know the behavior pattern of the robot. Therefore, for example, when the notification contents to both target persons are the same, it is conceivable that the notification contents may be excessive or the notification contents may be insufficient.
  • This technical idea was conceived by paying attention to the above points, and it is possible to give an appropriate notification by setting the notification content for each target person.
  • the present technical idea gives notification in consideration of the risk that the robot causes harm to the target person (hereinafter referred to as “harm risk”).
  • FIG. 1 is a diagram showing an outline of a robot control device according to the present embodiment.
  • the robot control device 10 is a control device built in the robot 1 and controlling the robot 1.
  • the robot 1 is a mobile robot, and in the example shown in FIG. 1, the case where the robot 1 is a robot traveling on wheels is shown.
  • the robot may be a leg type or a flying type moving body. Further, it may be provided with at least one or more arms, or may be a moving body without an arm.
  • the robot control device 10 detects the target person T around the robot 1 based on the sensing result of the sensor S that senses the surroundings of the robot 1, and the attributes of the target person T and the robot 1 with respect to the target person T.
  • the notification action of the robot 1 to the target person T is determined based on the harm risk, which is the risk of causing harm.
  • the sensor S is provided separately from the robot 1
  • the sensor S may be provided in the robot 1, or a wearable device worn by the target person T. May be used as the sensor S.
  • the robot control device 10 determines whether or not the target person T is a user who is normally in contact with the robot 1 as an attribute of the target person T, and determines the current state of the robot 1 or the target person T and the robot 1. The risk of harm is determined based on the distance of the robot.
  • the robot control device 10 calculates the degree of intervention that the robot 1 should intervene in the target person T based on the above attributes and the risk of harm.
  • the degree of intervention is the degree to which the target person T should be notified of the existence of the robot 1.
  • the robot control device 10 determines the notification action that the target person T can easily notice as the degree of intervention is higher, and determines the minimum notification action as the degree of intervention is lower.
  • the robot control device 10 determines the notification action according to the degree of intervention, and appropriately determines the notification action according to the attribute of the target person T and the above-mentioned hazard risk. Is possible.
  • FIG. 2 is a block diagram showing a configuration example of the robot control device 10 according to the embodiment.
  • the robot control device 10 includes a remote control reception unit 2, an input unit 3, an output unit 4, a drive unit 5, a storage unit 6, and a control unit 7.
  • the remote control reception unit 2 is a communication unit that receives remote control for the robot 1.
  • the input unit 3 inputs the sensing result of the environment sensing around the robot 1 to the control unit 7.
  • the input unit 3 includes a laser ranging device 31, an RGB camera 32, a stereo camera 33, and an inertial measurement unit 34.
  • the laser range finder 31 is a device that measures the distance to an obstacle, and is composed of an infrared range finder, an ultrasonic range finder, LiDAR (Laser Imaging Detection and Ranging), and the like.
  • the RGB camera 32 is an imaging device that captures an image (still image or moving image).
  • the stereo camera 33 is an imaging device that measures the distance to an object by photographing the object from a plurality of directions.
  • the inertial measurement unit 34 is, for example, a device that detects angles of three axes and acceleration.
  • the output unit 4 is provided on the robot 1, for example, and is composed of a display device and a speaker.
  • the output unit 4 outputs an image or sound input from the control unit 7.
  • the drive unit 5 is composed of an actuator, and drives the robot 1 under the control of the control unit 7.
  • the storage unit 6 includes subject information 61, model information 62, physical characteristics table 63, difficulty table 64, comprehension table 65, risk table 66, intervention degree table 67, and action table 68.
  • Target person information 61 is information about the target person T.
  • the target person information 61 is information regarding the number of times and the frequency of contact with the robot 1 by the target person T.
  • FIG. 3 is a diagram showing an example of the target person information 61 according to the embodiment.
  • the target person information 61 is information in which a "target person ID”, a “feature amount”, a “contact history”, a “recognition degree”, and the like are associated with each other.
  • the "target person ID” is an identifier that identifies the target person T.
  • the "feature amount” indicates the feature amount of the corresponding subject T.
  • the feature amount is information about the feature amount of the face of the subject T.
  • the "contact history” is information related to the history of the corresponding target person T contacting the robot 1.
  • the contact history here is a history in which the robot 1 recognizes the target person T.
  • information regarding the date and time, frequency, and the like when the robot 1 recognizes the target person T is registered.
  • the recognition level is set according to the number of contacts or the frequency of contact with the robot 1 based on the contact history.
  • the recognition level is expressed in three stages, "A” indicates the highest recognition level, and “C” indicates the lowest recognition level.
  • the recognition level “A” indicates that the robot 1 is in constant contact with the robot 1
  • the subject T having the recognition level “C” indicates that the robot T is in contact with the robot for the first time. That is, the recognition level is set high depending on the number of times the target person T comes into contact with the robot 1.
  • the model information 62 is information about a model that identifies the physical characteristics of the subject T from the image data.
  • the model includes a model for estimating the age of the subject T, a model for determining whether the subject T is wearing a cane, whether the subject T is using a wheelchair, and the like.
  • the physical characteristic table 63 is a table relating to the physical characteristics of the subject T.
  • FIG. 4 is a diagram showing an example of the physical characteristics table 63 according to the embodiment. As shown in FIG. 4, the physical characteristic table 63 is a table showing ranks for each item of "age" and "other" as physical characteristics.
  • Physical characteristics are ranked in three stages of A, B, and C, indicating that the physical characteristics decrease in the order of A, B, and C.
  • the age of 8 to 15 and over is "B”
  • the age of 15 to 50 is "A”.
  • the target person T is under 8 years old or 50 years old or older, it is assumed that the target person T is difficult to grasp far away and it is difficult to understand the operation of the robot 1. For this reason, the rank of physical characteristics is lower than that of the subject T aged 8 to 15 years.
  • FIG. 4 the case where the subject T with a cane or the subject T using a wheelchair or a walking aid has a lower rank of physical characteristics than a healthy person is shown. Shown.
  • the physical characteristic table 63 shown in FIG. 4 is an example, and the present invention is not limited to this.
  • the ease table 64 is a table showing the ease of recognition of the subject T regarding the harm factors that the robot 1 can give to the subject T.
  • FIG. 5 is a diagram showing an example of the ease table 64 according to the embodiment.
  • the ease table 64 is a table showing the relationship between the cognitive ease and the five senses.
  • the five senses indicate which organ of the subject T is used to recognize the harmful factor of the robot 1.
  • the cognitive ease when the harmful factor of the robot 1 can be recognized only by the sense of touch or taste is "C”
  • the cognitive ease when the harmful factor can be recognized only by the sense of sight or smell is "B”.
  • the degree of cognition when the hazard can be recognized using hearing is "A”.
  • the hazard factor is the fever of the robot 1
  • the subject T can recognize the hazard factor only by touch, so the recognition ease level is "C”.
  • the recognition ease level is "C”.
  • the recognition becomes easy and the degree of recognition becomes “B”.
  • the harmful factor can be recognized by hearing, the harmful factor can be recognized from a distance, so that the ease of recognition is set to "A”.
  • the comprehension table 65 is a table relating to the comprehension level of the subject T with respect to the robot.
  • FIG. 6 is a diagram showing an example of the comprehension table 65 according to the embodiment.
  • the comprehension table 65 is a table for calculating the comprehension level from the physical characteristics and the cognitive ease level.
  • the comprehension degree is “A”.
  • the comprehension level is determined by the rank of the cognitive level shown in FIG.
  • the recognition level is C or B
  • the comprehension level is "B”
  • the recognition level is "A”
  • the comprehension level is "A”.
  • the degree of comprehension decreases as the rank of cognitive ease becomes lower
  • the degree of comprehension decreases as the rank of physical characteristics decreases.
  • the risk table 66 is a table relating to the hazard risk in which the robot 1 harms the subject T.
  • FIG. 7 is a diagram showing an example of the risk table 66 according to the embodiment. As shown in FIG. 7, the risk table 66 is a table for determining the hazard risk based on the degree of impact and the contact deferment.
  • the degree of influence indicates the magnitude of damage to the target person T when the robot 1 causes harm to the target person T.
  • the degree of influence when the subject T is seriously injured is "A”
  • the degree of influence when the subject T is slightly injured is "B”
  • the degree of influence when the subject T is not harmed is "C”.
  • the degree of influence can be lowered in advance, the degree of influence after the reduction is applied.
  • the robot 1 is a twin bowl robot and one of the arms is broken and sharpened, the degree of influence is reduced by storing the broken arm and switching to the other arm that is not broken. can do.
  • the "contact grace” shown in FIG. 7 indicates the grace until the robot 1 and the target person T come into contact with each other.
  • the contact grace is calculated based on the distance between the robot 1 and the subject T or the moving speed of both.
  • the contact grace is "C"
  • the distance between the robot 1 and the target person T or the time until contact is made. If the time is within 5 m or 5 seconds, the contact grace is "B". Further, when the distance between the robot 1 and the target person T or the time until contact is 5 m or more or 5 seconds or more, the contact grace is "A”.
  • the intervention degree table 67 is a table for calculating the intervention degree from the harm risk and the understanding degree.
  • FIG. 8 is a diagram showing an example of the intervention degree table 67 according to the embodiment.
  • the intervention level table 67 is a table showing the relationship between the hazard risk, the understanding level, and the intervention level.
  • the action table 68 is a table that defines notification actions according to the degree of intervention. Further, in the present embodiment, the action table 68 defines the notification action according to the harm factor.
  • the control unit 7 has a function of controlling each configuration included in the robot control device 10. Further, as shown in FIG. 2, the control unit 7 includes an attribute determination unit 71, a state determination unit 72, a calculation unit 73, a determination unit 74, and a behavior detection unit 75.
  • the attribute determination unit 71 determines the attribute of the target person T. Specifically, the attribute determination unit 71 extracts, for example, the feature amount of the target person T from the image data captured by the RGB camera 32, and sets the feature amount of the target person T and the feature amount of the target person information 61. By comparing, it is determined whether or not the target person T is a person registered in the target person information 61.
  • the attribute determination unit 71 extracts the recognition level of the target person T when the target person T is registered in the target person information 61, and if the target person T is not registered in the target person information 61, the target person T is the target. Newly registered in the person information 61.
  • the attribute determination unit 71 selects a target person T who may collide with the robot 1 when the robot 1 moves on the planned travel route, and for the target person T, the physical body of the target person T from the image data. Judge the characteristics. Specifically, as described above, the attribute determination unit 71 determines the age of the subject T, the presence / absence of a cane, a wheelchair, a walking aid, and the like based on the model information 62.
  • the attribute determination unit 71 determines the rank of the physical characteristics with respect to the subject T based on the physical characteristics table 63. Further, the attribute determination unit 71 refers to the comprehension table 65 based on the cognitive ease notified from the state determination unit 72, which will be described later, and determines the rank of the comprehension level of the target person T with respect to the robot 1. That is, the attribute determination unit 71 determines the degree of understanding depending on which organ can recognize the harmful factor of the robot 1.
  • the state determination unit 72 determines the state of the robot 1. Specifically, the state determination unit 72 determines the state of the robot 1 by, for example, image data captured by the robot 1, a temperature sensor provided on the robot 1, or the like.
  • the state determination unit 72 determines the presence / absence of a failure of the robot 1 from the image data, the presence / absence of a transported object, the contents of the transported object, and the like, and also determines the surface temperature of the robot 1 from the temperature sensor.
  • the state determination unit 72 determines the current "influence degree" (see FIG. 7) of the robot 1 according to the determined state. Further, the determination unit 74 is notified of the information regarding the contents of the transported object determined by the state determination unit 72.
  • the calculation unit 73 intervenes in which the robot 1 should intervene in the target person based on the attribute of the target person T determined by the attribute determination unit 71 and the grit risk which is the risk of harm to the target person T by the robot 1. Calculate the degree.
  • the calculation unit 73 selects the target person T who comes into contact with the robot 1 when, for example, the robot 1 moves on the current planned travel route. Next, the calculation unit 73 calculates the distance to the target person T based on the measurement results of the laser ranging device 31 and the stereo camera 33.
  • the calculation unit 73 can calculate the moving speed and the moving direction of the target person T by tracking the target person T, and based on the detection result of the inertial measurement unit 34, the current robot 1 The speed and direction can be calculated.
  • the calculation unit 73 calculates the above contact grace based on the distance and speed, and determines the rank of the contact grace. After that, the calculation unit 73 will calculate the hazard risk by referring to the risk table 66 based on the determined "contact grace” and the "impact degree" determined by the state determination unit 72.
  • the calculation unit 73 calculates the contact grace as needed and updates the hazard risk. This makes it possible to give appropriate notification according to the risk of harm.
  • the determination unit 74 performs a notification action for notifying the target person T of the existence from the robot 1 based on the attribute determined by the attribute determination unit 71 and the harm risk which is the risk related to the harm that the robot 1 gives to the target person T. decide.
  • the determination unit 74 determines the notification action based on the degree of intervention calculated by the calculation unit 73.
  • the decision unit 74 selects the notification method of the notification action according to the degree of intervention.
  • the notification method includes a method of directly notifying and a method of indirectly notifying.
  • the determination unit 74 selects a method for directly notifying, and determines the notification action in which the target person T surely notices the existence of the robot 1.
  • the existence of the robot 1 is directly appealed to the target person T.
  • the existence of the robot 1 may be appealed to the target person T by blinking a light emitting body such as a light.
  • the determination unit 74 may refer to the target person T at a location other than the arm (for example, the body). ) May be taken.
  • the determination unit 74 decides on a notification action that indirectly notifies the harm factor of the robot 1. For example, the determination unit 74 determines an action suggesting the contents of the transported object of the robot 1 as a notification action.
  • the determination unit 74 determines an action suggesting that a heavy transported object is being transported as a notification action.
  • the determination unit 74 determines as a notification action an action in which the robot 1 is shaken by the weight of the transported object. Further, when the robot 1 is transporting the container containing the liquid, the determination unit 74 determines an action along the container, which is different from the arm holding the container, as a notification action. This can suggest that the transported object is a liquid.
  • the action of sliding the arm in response to the shaking of the robot 1 when moving is performed. Determined as a notification action. As a result, it is possible to indirectly notify the subject T of the damage to the arm. If the intervention level is "C", the notification action is not performed.
  • the decision unit 74 can cause the robot 1 to execute the notification action by displaying a warning image on the output unit 4 or driving the drive unit 5 according to the determined notification action.
  • the determination unit 74 determines the next notification action after the notification action based on the behavior of the target person T detected by the behavior detection unit 75 described later. Specifically, when the target person T takes an action indicating understanding of the notification action, the determination unit 74 cancels the notification action and moves to the execution of the original task.
  • the decision unit 74 may perform the original task while continuing the notification action with the degree of intervention fixed.
  • the decision unit 74 continues to perform the notification action according to the current degree of intervention.
  • the degree of intervention is updated by the distance between the robot 1 and the target person T, the degree of intervention increases as the distance between the robot 1 and the target person T gets closer, and the degree of intervention becomes higher. Notification actions will be taken according to changes.
  • the determination unit 74 performs an action such as storing the failed arm when the arm fails or when the arm generates heat and the degree of influence can be reduced by an alternative means. Is also possible.
  • the behavior detection unit 75 detects the behavior of the target person T.
  • the behavior detection unit 75 detects the behavior of the subject T by analyzing the image data captured by the RGB camera 32.
  • the behavior detection unit 75 detects the behavior of the target person T as to whether or not the target person T understands the notification action of the robot 1. Specifically, for example, the behavior detection unit 75 determines the behavior such as whether or not the line of sight of the target person T faces the notification action of the robot 1, and whether or not the movement speed of the target person T changes before and after the notification action. To detect.
  • the robot control device 10 determines the action after the notification action by focusing on the point that the target person T shows different behavior depending on whether the target person T understands the notification action or not.
  • FIG. 9 is a flowchart showing a processing procedure executed by the robot control device 10.
  • the robot control device 10 first determines the state of the robot 1 (step S101), and calculates the degree of influence based on the hazard factor (step S102). Subsequently, the robot control device 10 determines whether or not the influence degree calculated in step S102 is higher than "C" (step S103), and when the influence degree is higher than "C” (step S103, Yes). ), It is determined whether or not there is a target person T who may come into contact with the robot 1 (step S104).
  • step S104 when the target person T is present (step S104, Yes), the robot control device 10 determines the attribute of the target person T (step S105) and calculates the degree of intervention (step S106).
  • the robot control device 10 determines a notification action based on the degree of intervention (step S107), and causes the robot 1 to execute the determined notification action (step S108).
  • the robot control device 10 determines whether or not the behavior of the target person T who recognizes the robot 1 is detected (step S109), and when such behavior is detected (step S110), executes the original task. (Step S110), the process ends.
  • step S109 if the robot control device 10 does not detect the behavior in the determination in step S109 (steps S109, No), the contact grace is updated (step S111), and the process proceeds to the process in step S106.
  • the robot control device 10 steps when the degree of influence is "C" in the determination in step S103 (step S103, No), and when there is no target person in the determination process in step S104 (step S104, No). The process proceeds to S110.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in any unit according to various loads and usage conditions. It can be integrated and configured.
  • FIG. 10 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the robot control device 10.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording a program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the functions of the attribute determination unit 71 and the like by executing the program loaded on the RAM 1200.
  • the HDD 1400 stores the program related to the present disclosure and the data in the storage unit 6.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • An attribute judgment unit that determines the attributes of the target person around the robot, A determination unit that determines a notification action for notifying the target person of the existence from the robot based on the attribute determined by the attribute determination unit and the harm risk that is the risk related to the harm that the robot gives to the target person.
  • a robot control device equipped with (2) A calculation unit for calculating the degree of intervention by which the robot should intervene in the subject based on the attributes and the risk of harm is provided. The decision unit The notification action is determined based on the degree of intervention calculated by the calculation unit. The robot control device according to (1) above. (3) The decision unit Change the notification method of the notification action based on the degree of intervention. The robot control device according to (2) above.
  • the attribute determination unit The attribute is determined based on the target person's understanding of the robot.
  • the robot control device according to any one of (1) to (3) above.
  • the attribute determination unit The attribute is determined based on the physical characteristics of the subject.
  • the robot control device according to any one of (1) to (3) above.
  • the calculation unit The higher the risk of harm, the higher the degree of intervention is calculated.
  • the robot control device according to any one of (2) to (5) above.
  • the calculation unit The hazard risk is calculated based on the distance between the robot and the target person.
  • the robot control device according to any one of (2) to (6) above.
  • the calculation unit The hazard risk is calculated based on the speed at which the subject approaches the robot.
  • the robot control device according to any one of (2) to (7) above.
  • a state determination unit for determining a hazard factor that may cause the harm to the target person based on the state of the robot is provided.
  • the calculation unit The hazard risk is calculated based on the hazard factor determined by the condition determination unit.
  • the robot control device according to any one of (2) to (8) above.
  • the state determination unit The hazard is determined based on the surface temperature of the robot.
  • the robot control device according to (9) above.
  • (11) The state determination unit The hazard is determined based on the presence or absence of the robot.
  • (12) The state determination unit The hazard is determined based on the material being transported by the robot.
  • the robot control device according to any one of (9) to (11).
  • the decision unit The action suggesting the transported object is determined as the notification action.
  • the decision unit The notification action is determined based on the cognitive ease with which the subject perceives the hazard.
  • the decision unit When the degree of intervention is within a predetermined range, an action action suggesting the harm factor is determined as the notification action.
  • (16) The decision unit When the degree of intervention is greater than the predetermined range, at least one output of the image or sound is determined as the notification action.
  • the decision unit Based on the behavior of the target person after the notification action, it is determined whether or not to perform the next notification action.
  • the robot control device according to any one of (1) to (16).
  • the computer Determine the attributes of the target person around the robot and A method of determining a notification action for notifying the target person of the existence from the robot based on the determined attribute and the harm risk which is a risk related to the harm given to the target person by the robot.
  • An attribute judgment unit that determines the attributes of the target person around the robot and the computer
  • a determination unit that determines a notification action for notifying the target person of the existence from the robot based on the attribute determined by the attribute determination unit and a hazard risk that is a risk related to the harm that the robot gives to the target person.
  • a program that works as and.
  • Robot 10 Robot control device 71 Attribute judgment unit 72 State judgment unit 73 Calculation unit 74 Decision unit 75 Behavior detection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

ロボット制御装置（１０）は、ロボット（１）周囲の対象者（Ｔ）の属性を判定する属性判定部（７１）と、属性判定部（７１）によって判定された属性と、ロボット（１）が対象者（Ｔ）へ与える危害に関するリスクである危害リスクとに基づいて、ロボット（１）から対象者（Ｔ）へ存在を通知する通知アクションを決定する決定部（７４）とを備える。

Description

ロボット制御装置、方法およびプログラム
　本開示は、ロボット制御装置、方法およびプログラムに関する。
　ロボットが周囲の対象者へ危害を与えうる場合に、周囲の対象者へロボットが備えるディスプレイを介して、周知させる技術がある。かかるロボットは、危害を回避すべく動作パターンを補正するとともに、補正量に応じてロボットが備えるディスプレイの表示態様を変更する。
特開２００７－１９６２９８号公報
　しかしながら、従来技術では、ロボットから対象者へ適切な通知を行ううえで改善の余地があった。例えば、同じ通知内容であっても、対象者毎に捉え方が異なるので、対象者によっては過度な通知となる場合や、通知が不十分となる場合がある。
　本願は、上記に鑑みてなされたものであって、適切な通知を行うことができるロボット制御装置、方法およびプログラムを提供することを目的とする。
　上記の課題を解決するために、本開示に係る一態様のロボット制御装置は、属性判定部と、決定部とを備える。前記属性判定部は、ロボット周囲の対象者の属性を判定する。前記決定部は、前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する。
　実施形態の一態様によれば、適切な通知を行うことができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施形態に係るロボット制御装置の概要を示す図である。 実施形態に係るロボット制御装置の構成例を示すブロック図である。 実施形態に係る対象者情報の一例を示す図である。 実施形態に係る身体特性テーブルの一例を示す図である。 実施形態に係る容易度テーブルの一例を示す図である。 実施形態に係る理解度テーブルの一例を示す図である。 実施形態に係るリスクテーブルの一例を示す図である。 実施形態に係る介入度テーブルの一例を示す図である。 実施形態に係るロボット制御装置が実行する処理手順を示すフローチャートである。 ロボット制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（実施形態）
［実施形態に係るシステムの構成］
　まず、本開示の一実施形態の概要について説明する。上述したように、ロボットが周囲の対象者へ危害を与えうる場合に、周囲の対象者へロボットが備えるディスプレイを介して、周知させる技術がある。しかしながら、かかる技術では、対象者に対する通知内容を最適化するうえで、改善の余地があった。例えば、同一の通知内容であっても対象者によって捉え方が異なる場合がある。
　具体的には、例えば、ロボットと日頃から接している対象者は、ロボットの行動パターンを熟知している一方で、ロボットと初めて接する対象者には、ロボットの行動パターンが分からない。このため、例えば、双方の対象者に対する通知内容が同一である場合には、過度な通知になる場合や、通知内容が不足する場合が考えられる。
　本技術思想は、上記の点に着目して発想されたものであり、対象者毎に通知内容を設定することで、適切な通知を行うことが可能である。また、本技術思想は、ロボットが対象者に危害を与えるリスク（以下、危害リスクと記載する）を考慮して通知を行う。
　まず、図１を用いて、本実施形態に係るロボット制御装置の概要について説明する。図１は、本実施形態に係るロボット制御装置の概要を示す図である。図１に示すように、ロボット制御装置１０は、ロボット１内に内蔵され、ロボット１を制御する制御装置である。
　例えば、ロボット１は、移動型ロボットであり、図１に示す例では、ロボット１が車輪で走行するロボットである場合を示す。ここで、ロボットとは、脚式型であってもよく、飛行型の移動体であってもよい。また、少なくとも１以上のアームを備えていてもよいし、アームを備えていない移動体であってもよい。
　ロボット制御装置１０は、例えば、ロボット１周囲をセンシングするセンサＳのセンシング結果に基づいて、ロボット１周囲の対象者Ｔを検出し、対象者Ｔの属性と、ロボット１が対象者Ｔに対して危害を与えるリスクである危害リスクとに基づいて、対象者Ｔに対するロボット１の通知アクションを決定する。
　なお、図１に示す例では、センサＳがロボット１と別に設けられる場合について示しているが、センサＳをロボット１内に設けることにしてもよいし、あるいは、対象者Ｔが装着するウェアラブルデバイスをセンサＳとして用いることにしてもよい。
　例えば、ロボット制御装置１０は、対象者Ｔの属性として、対象者Ｔが普段からロボット１と接しているユーザか否かを判定し、ロボット１の現在の状態や、対象者Ｔとロボット１との距離などに基づいて、危害リスクを決定する。
　そして、ロボット制御装置１０は、上記の属性と、危害リスクとに基づいて、ロボット１が対象者Ｔに介入すべき介入度を算出する。ここで、介入度とは、ロボット１の存在を対象者Ｔに対して通知すべき度合である。
　ロボット制御装置１０は、介入度が高いほど、対象者Ｔが気づきやすい通知アクションに決定し、介入度が低いほど、最小限の通知アクションに決定する。
　このように、実施形態に係るロボット制御装置１０は、介入度に応じて、通知アクションを決定することで、対象者Ｔの属性および上記の危害リスクに応じて、適切に通知アクションを決定することが可能となる。
［実施形態に係るロボット制御装置の構成］
　次に、図２を用いて、実施形態に係るロボット制御装置１０の構成例について説明する。図２は、実施形態に係るロボット制御装置１０の構成例を示すブロック図である。
　図２に示すように、ロボット制御装置１０は、遠隔操作受付部２と、入力部３と、出力部４と、駆動部５と、記憶部６と、制御部７とを備える。遠隔操作受付部２は、ロボット１に対する遠隔操作を受け付ける通信ユニットである。
　入力部３は、ロボット１周囲の環境センシングのセンシング結果を制御部７へ入力する。図２に示す例において、入力部３は、レーザ測距装置３１と、ＲＧＢカメラ３２と、ステレオカメラ３３と、慣性計測装置３４とを備える。
　レーザ測距装置３１は、障害物までの距離を測距する装置であり、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（Laser　Imaging　Detection　and　Ranging）などによって構成される。
　ＲＧＢカメラ３２は、画像（静止画像又は動画像）を撮像する撮像装置である。ステレオカメラ３３は、対象物を複数の方向から撮像することで、対象者までの距離を測定する撮像装置である。慣性計測装置３４は、例えば、３軸の角度と、加速度を検出する装置である。
　出力部４は、例えば、ロボット１に設けられ、表示装置やスピーカによって構成される。出力部４は、制御部７から入力される画像や音声を出力する。駆動部５は、アクチュエータによって構成され、制御部７の制御に基づいて、ロボット１を駆動させる。
　記憶部６は、対象者情報６１と、モデル情報６２と、身体特性テーブル６３と、容易度テーブル６４と、理解度テーブル６５と、リスクテーブル６６と、介入度テーブル６７と、アクションテーブル６８とを記憶する。
　対象者情報６１は、対象者Ｔに関する情報である。本実施形態において、対象者情報６１は、対象者Ｔがロボット１と接した回数や接する頻度に関する情報である。図３は、実施形態に係る対象者情報６１の一例を示す図である。
　図３に示すように、対象者情報６１は、「対象者ＩＤ」と、「特徴量」と、「接触履歴」と、「認知度」などが互いに関連付けられた情報である。「対象者ＩＤ」は、対象者Ｔを識別する識別子である。「特徴量」は、対応する対象者Ｔの特徴量を示す。例えば、特徴量は、対象者Ｔの顔の特徴量に関する情報である。
　「接触履歴」は、対応する対象者Ｔがロボット１と接した履歴に関する情報である。言い換えれば、ここでの接触履歴は、ロボット１が対象者Ｔを認識した履歴である。例えば、接触履歴には、ロボット１が対象者Ｔを認識した日時、頻度などに関する情報が登録される。
　「認知度」は、対応する対象者Ｔがロボット１のことをどれだけ認知しているかの度合を示す。本実施形態では、接触履歴に基づき、ロボット１と、接した回数又は接する頻度によって認知度が設定される。
　本実施形態においては、認知度は、３段階で表現され、「Ａ」が最も認知度が高いことを示し、「Ｃ」が認知度が最も低いことを示すものとする。例えば、認知度「Ａ」は、定常的にロボット１と接していることを示し、認知度「Ｃ」である対象者Ｔは、初めてロボットと接することを示す。つまり、対象者Ｔのロボット１と接する回数によって、認知度が高く設定されることになる。
　図２の説明に戻り、モデル情報６２について説明する。モデル情報６２は、画像データから対象者Ｔの身体的特性を特定するモデルに関する情報である。例えば、モデルには、対象者Ｔの年齢を推定するモデルや、対象者Ｔが杖をついているか否か、車椅子を利用しているか否かなどを判定するためのモデルを含む。
　身体特性テーブル６３は、対象者Ｔの身体特性に関するテーブルである。図４は、実施形態に係る身体特性テーブル６３の一例を示す図である。図４に示すように、身体特性テーブル６３は、身体的特性として、「年齢」、「その他」の項目ごとに、ランクを示すテーブルである。
　身体的特性は、Ａ、Ｂ、Ｃの３段階でランク付けされ、Ａ、Ｂ、Ｃの順に、身体的特性が低下することを示す。図４の例において、８歳未満が「Ｃ」、８～１５歳、５０歳以上が「Ｂ」、１５～５０歳が「Ａ」である場合を示す。
　対象者Ｔが８歳未満の場合や、５０歳以上の場合には、対象者Ｔが遠くまで把握しにくく、また、ロボット１の動作を理解しにくいことが想定される。このため、８～１５歳までの対象者Ｔよりも身体的特性のランクを低くしている。
　また、図４の「その他」には、杖をついている対象者Ｔや、車いすまたは歩行補助器を使用している対象者Ｔを健常者に比べて、身体的特性のランクを低くする場合を示す。なお、図４に示す身体特性テーブル６３は、一例であり、これに限定されるものではない。
　図２の説明に戻り、容易度テーブル６４について説明する。容易度テーブル６４は、ロボット１が対象者Ｔへ与えうる危害因子について、対象者Ｔの認知の容易さを示すテーブルである。図５は、実施形態に係る容易度テーブル６４の一例を示す図である。
　図５に示すように、容易度テーブル６４は、認知容易度と、五感との関係を示すテーブルである。ここで、五感とは、ロボット１の危害因子を対象者Ｔのどの器官を使って認知するかを示す。
　例えば、触覚や味覚でしか、ロボット１の危害因子を認知できない場合の認知容易度は、「Ｃ」であり、視覚や嗅覚でしか、危害因子を認知できない場合の認知容易度は、「Ｂ」である。また、聴覚を用いて、危害因子を認知可能な場合の認知容易度は、「Ａ」となる。
　例えば、危害因子がロボット１の発熱だった場合、対象者Ｔは触覚でしか危害因子を認知できないので、認知容易度は「Ｃ」となる。また、視覚や嗅覚を用いて、対象者Ｔが危害因子を認知できる場合には、認知が容易になり、認知容易度が「Ｂ」となる。さらに、聴覚で危害因子を認知可能な場合、より遠くから危害因子を認知できるので、認知容易性を「Ａ」としている。
　図２の説明に戻り、理解度テーブル６５について説明する。理解度テーブル６５は、対象者Ｔのロボットに対する理解度に関するテーブルである。図６は、実施形態に係る理解度テーブル６５の一例を示す図である。
　図６に示すように、理解度テーブル６５は、身体的特性と、認知容易度とから理解度を算出するためのテーブルである。図４の例では、認知容易性および認知度がともに「Ａ」である場合、理解度が「Ａ」となる。また、認知容易性が「Ａ」であり、身体的特性が「Ｂ」である場合、図３に示した認知度のランクによって理解度が決定される。
　具体的には、認知度がＣまたはＢの場合、理解度が「Ｂ」となり、認知度が「Ａ」の場合、理解度が「Ａ」となる。その他、図６に示す例において、認知容易性のランクが低くなるにつれて、理解度が低くなり、身体的特性のランクが低くなるにつれて、理解度が低くなる。
　図２の説明に戻り、リスクテーブル６６について説明する。リスクテーブル６６は、ロボット１が対象者Ｔに危害を与える危害リスクに関するテーブルである。図７は、実施形態に係るリスクテーブル６６の一例を示す図である。図７に示すように、リスクテーブル６６は、影響度と、接触猶予とに基づいて、危害リスクを決定するためのテーブルである。
　ここで、影響度とは、ロボット１が対象者Ｔへ危害を与えたときに、対象者Ｔの被害の大きさを示す。例えば、対象者Ｔが重傷を負う場合の影響度を「Ａ」、対象者Ｔが軽傷を負う場合の影響度を「Ｂ」、対象者Ｔに危害を与えない場合の影響度を「Ｃ」とする。
　ここで、予め影響度を下げられる場合には、下げた後の影響度を適用する。例えば、ロボット１が双椀ロボットであり、一方のアームが故障し、鋭利になっている場合、故障しているアームを格納し、故障していない他方のアームに切り替えることで、影響度を低くすることができる。
　また、図７に示す「接触猶予」とは、ロボット１と対象者Ｔとが接触するまでの猶予を示す。接触猶予は、ロボット１と対象者Ｔとの距離または双方の移動する速度に基づいて算出される。
　例えば、ロボット１と対象者Ｔとの距離または接触するまでの時間が、３ｍまたは３秒以内である場合、接触猶予は「Ｃ」となり、ロボット１と対象者Ｔとの距離または接触するまでの時間が、５ｍまたは５秒以内である場合、接触猶予は、「Ｂ」となる。また、ロボット１と対象者Ｔとの距離または接触するまでの時間が、５ｍ以上また５秒以上である場合、接触猶予は「Ａ」となる。
　そして、図７に示す例において、影響度が高いほど、危害リスクが高く、接触猶予が高いほど、危害リスクが高くなることを示す。
　図２の説明に戻り、介入度テーブル６７について説明する。介入度テーブル６７は、危害リスクと理解度とから介入度を算出するためのテーブルである。図８は、実施形態に係る介入度テーブル６７の一例を示す図である。
　図８に示すように、介入度テーブル６７は、危害リスクと理解度と介入度との関係を示すテーブルである。図８に示す例では、理解度が高いほど、介入度が低くなり、危害リスクが高いほど、介入度は高くなる。
　図２の説明に戻り、アクションテーブル６８について説明する。アクションテーブル６８は、介入度に応じた通知アクションを定義したテーブルである。また、本実施形態において、アクションテーブル６８には、危害因子に応じた通知アクションが定義される。
　制御部７は、ロボット制御装置１０が備える各構成を制御する機能を有する。また、図２に示すように、制御部７は、属性判定部７１と、状態判定部７２と、算出部７３と、決定部７４と、挙動検出部７５とを備える。
　属性判定部７１は、対象者Ｔの属性を判定する。具体的には、属性判定部７１は、例えば、ＲＧＢカメラ３２で撮像された画像データから対象者Ｔの特徴量を抽出し、対象者Ｔの特徴量と、対象者情報６１の特徴量とを比較することで、対象者Ｔが対象者情報６１に登録された人物か否かを判定する。
　そして、属性判定部７１は、対象者Ｔが対象者情報６１に登録されていた場合、かかる対象者Ｔの認知度を抽出し、対象者Ｔが対象者情報６１に登録されていなければ、対象者情報６１に新規登録する。
　また、属性判定部７１は、ロボット１が走行予定経路を移動する場合に、ロボット１と衝突するおそれのある対象者Ｔを選択し、かかる対象者Ｔについて、画像データから対象者Ｔの身体的特性を判定する。具体的には、上述のように、属性判定部７１は、モデル情報６２に基づいて、対象者Ｔの年齢や、杖、車いす、歩行補助器の有無などを判定する。
　そして、属性判定部７１は、身体特性テーブル６３に基づいて、対象者Ｔに対する身体的特性のランクを決定する。また、属性判定部７１は、後述する状態判定部７２から通知される認知容易度に基づいて、理解度テーブル６５を参照し、対象者Ｔのロボット１に対する理解度のランクを決定する。つまり、属性判定部７１は、ロボット１の危害因子をどの器官で認知できるかによって、理解度を決定する。
　状態判定部７２は、ロボット１の状態を判定する。具体的には、状態判定部７２は、例えば、ロボット１が撮像された画像データや、ロボット１に設けられた温度センサなどによってロボット１の状態を判定する。
　例えば、状態判定部７２は、画像データからロボット１の故障の有無や、搬送物の有無、搬送物の中身などを判定するとともに、温度センサからロボット１の表面温度などを判定する。
　そして、状態判定部７２は、判定した状態に応じて、ロボット１の現在の「影響度」（図７参照）を決定する。また、状態判定部７２が判定した搬送物の中身に関する情報については、決定部７４に通知される。
　算出部７３は、属性判定部７１によって判定された対象者Ｔの属性と、ロボット１が対象者Ｔへ与える危害のリスクである気概リスクとに基づいて、ロボット１が対象者に介入すべき介入度を算出する。
　具体的には、算出部７３は、例えば、ロボット１が現在の走行予定経路を移動した場合に、ロボット１と接触する対象者Ｔを選択する。次いで、算出部７３は、レーザ測距装置３１や、ステレオカメラ３３の計測結果に基づき、対象者Ｔとの距離を算出する。
　また、算出部７３は、対象者Ｔをトラッキングすることで、対象者Ｔの移動速度や、移動する向きを算出することができ、慣性計測装置３４の検出結果に基づいて、ロボット１の現在の速度や向きを算出することができる。
　そして、算出部７３は、距離や速度に基づいて、上記の接触猶予を算出するとともに、接触猶予のランクを決定する。その後、算出部７３は、決定した「接触猶予」と、状態判定部７２によって決定された「影響度」とに基づき、リスクテーブル６６を参照し、危害リスクを算出することになる。
　ここで、上述のように、接触猶予が少ないほど、危害リスクが高くなる。言い換えれば、ロボット１と、対象者Ｔとの距離が近くなるにつれて、危害リスクが高まることになる。このため、算出部７３は、接触猶予を随時算出し、危害リスクを更新する。これにより、危害リスクに応じて、適切な通知を行うことが可能となる。
　決定部７４は、属性判定部７１によって判定された属性と、ロボット１が対象者Ｔへ与える危害に関するリスクである危害リスクとに基づいて、ロボット１から対象者Ｔへ存在を通知する通知アクションを決定する。
　具体的には、決定部７４は、算出部７３によって算出された介入度に基づいて、通知アクションを決定する。本実施形態において、決定部７４は、介入度に応じて、通知アクションの通知手法を選択する。ここで、以下に示すように、通知手法は、直接的に通知する手法と、間接的に通知する手法がある。
　例えば、決定部７４は、介入度が「Ａ」である場合、直接的に通知する手法を選択し、対象者Ｔがロボット１の存在を確実に気づく通知アクションに決定する。
　具体的には、出力部４に警告画像を表示したり、警告音を出力したりすることで、ロボット１の存在を対象者Ｔへ直接的にアピールする。なお、この場合、例えば、ライトなどの発光体を点滅させたりすることで、ロボット１の存在を対象者Ｔへアピールすることにしてもよい。
　また、決定部７４は、アームが故障している場合や、アームが発熱している場合等において、対象者Ｔがロボット１に触れる場合、対象者Ｔに対してアーム以外の箇所（例えば、胴体）を掴んでもらうよう促すアクションを実行することにしてもよい。
　また、決定部７４は、介入度が「Ｂ」である場合、すなわち、介入度が所定範囲内である場合、ロボット１の危害因子を間接的に通知する通知アクションに決定する。例えば、決定部７４は、ロボット１の搬送物の中身を示唆するアクションを通知アクションとして決定する。
　ロボット１が重い搬送物を搬送中である場合、ロボット１と対象者Ｔとが接触し、搬送物を対象者Ｔに落とす場合が考えられる。このため、決定部７４は、重たい搬送物を搬送中であることを示唆するアクションを通知アクションとして決定する。
　具体的には、決定部７４は、ロボット１が搬送物の重さによってロボット１が振られるようなアクションを通知アクションとして決定する。また、決定部７４は、ロボット１が液体を入れた容器を搬送中である場合、容器を保持するアームとは別のアームを容器に沿えるアクションを通知アクションとして決定する。これにより、搬送物が液体であることを示唆することができる。
　また、アームが故障しており、かかるアームが対象者Ｔに触れると対象者Ｔが怪我を負うおそれがある場合、ロボット１の移動する際の揺れに応じて、かかるアームを摺動させるアクションを通知アクションとして決定する。これにより、アームの破損を間接的に対象者Ｔへ通知することができる。なお、介入度が「Ｃ」である場合、通知アクションを行わない。
　決定部７４は、決定した通知アクションに応じて、出力部４に警告画像を表示したり、駆動部５を駆動させることで、通知アクションをロボット１に対して実行させることができる。
　その後、決定部７４は、後述する挙動検出部７５によって検出された対象者Ｔの挙動に基づいて、通知アクション後の次の通知アクションを決定する。具体的には、決定部７４は、対象者Ｔが通知アクションに対する理解を示す挙動を取った場合、通知アクションを中止し、本来のタスクの実行に移る。
　なお、この場合、決定部７４は、介入度を固定した状態で通知アクションを継続しつつ、本来のタスクを行うことにしてもよい。
　一方、決定部７４は、対象者Ｔが通知アクションを理解していない場合、現在の介入度に応じた通知アクションを継続して行う。ここで、上述のように、介入度は、ロボット１と対象者Ｔとの距離によって更新されるため、ロボット１と、対象者Ｔとの距離が近づくにつれて、介入度が高くなり、介入度の変化に応じた通知アクションを行うことになる。
　また、決定部７４は、上述のように、アームが故障した場合や、アームが発熱した場合に、代替手段によって影響度を下げられる場合は、故障中のアームを格納するなどのアクションを行うことも可能である。
　挙動検出部７５は、対象者Ｔの挙動を検出する。挙動検出部７５は、ＲＧＢカメラ３２によって撮像された画像データを解析することで、対象者Ｔの挙動を検出する。
　本実施形態において、挙動検出部７５は、対象者Ｔの挙動として、対象者Ｔがロボット１の通知アクションを理解したか否かに関する挙動を検出する。具体的には、例えば、挙動検出部７５は、対象者Ｔの視線がロボット１の通知アクションを向いたか否か、通知アクションの前後で、対象者Ｔの移動速度が変化したかなどの挙動を検出する。
　つまり、ロボット制御装置１０は、対象者Ｔが通知アクションを理解した場合と、理解していない場合とで異なる挙動を示す点に着眼し、通知アクション後のアクションを決定することになる。
　これにより、過度な通知アクションを行わずに済むので、ロボット１の存在を対象者Ｔに対して、適切に周知させることが可能となる。
　次に、図９を用いて、実施形態に係るロボット制御装置１０が実行する処理手順について説明する。図９は、ロボット制御装置１０が実行する処理手順を示すフローチャートである。
　図９に示すように、ロボット制御装置１０は、まず、ロボット１の状態を判定し（ステップＳ１０１）、危害因子に基づいて影響度を算出する（ステップＳ１０２）。続いて、ロボット制御装置１０は、ステップＳ１０２にて算出した影響度が「Ｃ」よりも高いか否かを判定し（ステップＳ１０３）、影響度が「Ｃ」よりも高い場合（ステップＳ１０３，Ｙｅｓ）、ロボット１と接触するおそれのある対象者Ｔがいるか否かを判定する（ステップＳ１０４）。
　ロボット制御装置１０は、ステップＳ１０４の判定において、対象者Ｔがいた場合（ステップＳ１０４，Ｙｅｓ）、対象者Ｔの属性を判定し（ステップＳ１０５）、介入度を算出する（ステップＳ１０６）。
　その後、ロボット制御装置１０は、介入度に基づいて、通知アクションを決定し（ステップＳ１０７）、ロボット１に決定した通知アクションを実行させる（ステップＳ１０８）。
　続いて、ロボット制御装置１０は、ロボット１を認識する対象者Ｔの挙動を検出したか否かを判定し（ステップＳ１０９）、かかる挙動を検出した場合（ステップＳ１１０）、本来のタスクを実行して（ステップＳ１１０）、処理を終了する。
　一方、ロボット制御装置１０は、ステップＳ１０９の判定において、挙動を検出しなかった場合（ステップＳ１０９，Ｎｏ）、接触猶予を更新し（ステップＳ１１１）、ステップＳ１０６の処理へ移行する。
　また、ロボット制御装置１０は、ステップＳ１０３の判定において、影響度が「Ｃ」である場合（ステップＳ１０３，Ｎｏ）、ステップＳ１０４の判定処理において、対象者がいない場合（ステップＳ１０４，Ｎｏ）、ステップＳ１１０の処理へ移行する。
　上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　上述してきた各実施形態に係るロボット制御装置、ＨＭＤ、コントローラ等の情報機器は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係るロボット制御装置１０を例に挙げて説明する。図１０は、ロボット制御装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係るロボット制御装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、属性判定部７１等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部６内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ロボット周囲の対象者の属性を判定する属性判定部と、
　前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する決定部と
　を備える、ロボット制御装置。
（２）
　前記属性と、前記危害リスクとに基づいて、前記ロボットが前記対象者に介入すべき介入度を算出する算出部を備え、
　前記決定部は、
　前記算出部によって算出された前記介入度に基づいて、前記通知アクションを決定する、
　前記（１）に記載のロボット制御装置。
（３）
　前記決定部は、
　前記介入度に基づいて、通知アクションの通知手法を変更する、
　前記（２）に記載のロボット制御装置。
（４）
　前記属性判定部は、
　前記対象者の前記ロボットに対する理解度に基づいて、前記属性を判定する、
　前記（１）～（３）のいずれかに記載のロボット制御装置。
（５）
　前記属性判定部は、
　前記対象者の身体的特徴に基づいて、前記属性を判定する、
　前記（１）～（３）のいずれかに記載のロボット制御装置。
（６）
　前記算出部は、
　前記危害リスクが高いほど、前記介入度を高く算出する、
　前記（２）～（５）のいずれかに記載のロボット制御装置。
（７）
　前記算出部は、
　前記ロボットと前記対象者の距離に基づいて、前記危害リスクを算出する、
　前記（２）～（６）のいずれかに記載のロボット制御装置。
（８）
　前記算出部は、
　前記対象者の前記ロボットに近づく速度に基づいて、前記危害リスクを算出する、
　前記（２）～（７）のいずれかに記載のロボット制御装置。
（９）
　前記ロボットの状態に基づいて、前記対象者へ前記危害を与えうる危害因子を判定する状態判定部
　を備え、
　前記算出部は、
　前記状態判定部によって判定された前記危害因子に基づいて、前記危害リスクを算出する、
　前記（２）～（８）のいずれかに記載のロボット制御装置。
（１０）
　前記状態判定部は、
　前記ロボットの表面温度に基づいて、前記危害因子を判定する、
　前記（９）に記載のロボット制御装置。
（１１）
　前記状態判定部は、
　前記ロボットの有無に基づいて、前記危害因子を判定する、
　前記（９）または（１０）に記載のロボット制御装置。
（１２）
　前記状態判定部は、
　前記ロボットが搬送中の搬送物に基づいて、前記危害因子を判定する、
　前記（９）～（１１）のいずれかに記載のロボット制御装置。
（１３）
　前記決定部は、
　前記搬送物を示唆するアクションを前記通知アクションとして決定する、
　前記（１２）に記載のロボット制御装置。
（１４）
　前記決定部は、
　前記危害因子を前記対象者が認知する認知容易度に基づいて、前記通知アクションを決定する、
　前記（９）～（１３）のいずれかに記載のロボット制御装置。
（１５）
　前記決定部は、
　前記介入度が所定範囲内である場合に、前記危害因子を示唆する動作アクションを前記通知アクションとして決定する、
　前記（９）～（１４）のいずれかに記載のロボット制御装置。
（１６）
　前記決定部は、
　前記介入度が前記所定範囲よりも大きい場合に、画像または音声のうち、少なくとも一方の出力を前記通知アクションとして決定する、
　前記（１５）に記載のロボット制御装置。
（１７）
　前記決定部は、
　前記通知アクション後の前記対象者の挙動に基づいて、次の前記通知アクションを行うか否かを判定する、
　前記（１）～（１６）のいずれかに記載のロボット制御装置。
（１８）
　コンピュータが、
　ロボット周囲の対象者の属性を判定し、
　判定した前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する
　方法。
（１９）
　コンピュータを
　ロボット周囲の対象者の属性を判定する属性判定部と、
　前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する決定部と
　として機能させる、プログラム。
　　１　　ロボット
　１０　　ロボット制御装置
　７１　　属性判定部
　７２　　状態判定部
　７３　　算出部
　７４　　決定部
　７５　　挙動検出部

Claims (19)

  1. 　ロボット周囲の対象者の属性を判定する属性判定部と、
    　前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する決定部と
    　を備える、ロボット制御装置。
  2. 　前記属性と、前記危害リスクとに基づいて、前記ロボットが前記対象者に介入すべき介入度を算出する算出部を備え、
    　前記決定部は、
    　前記算出部によって算出された前記介入度に基づいて、前記通知アクションを決定する、
    　請求項１に記載のロボット制御装置。
  3. 　前記決定部は、
    　前記介入度に基づいて、通知アクションの通知手法を変更する、
    　請求項２に記載のロボット制御装置。
  4. 　前記属性判定部は、
    　前記対象者の前記ロボットに対する理解度に基づいて、前記属性を判定する、
    　請求項１に記載のロボット制御装置。
  5. 　前記属性判定部は、
    　前記対象者の身体的特徴に基づいて、前記属性を判定する、
    　請求項１に記載のロボット制御装置。
  6. 　前記算出部は、
    　前記危害リスクが高いほど、前記介入度を高く算出する、
    　請求項２に記載のロボット制御装置。
  7. 　前記算出部は、
    　前記ロボットと前記対象者の距離に基づいて、前記危害リスクを算出する、
    　請求項２に記載のロボット制御装置。
  8. 　前記算出部は、
    　前記対象者の前記ロボットに近づく速度に基づいて、前記危害リスクを算出する、
    　請求項２に記載のロボット制御装置。
  9. 　前記ロボットの状態に基づいて、前記対象者へ前記危害を与えうる危害因子を判定する状態判定部
    　を備え、
    　前記算出部は、
    　前記状態判定部によって判定された前記危害因子に基づいて、前記危害リスクを算出する、
    　請求項２に記載のロボット制御装置。
  10. 　前記状態判定部は、
    　前記ロボットの表面温度に基づいて、前記危害因子を判定する、
    　請求項９に記載のロボット制御装置。
  11. 　前記状態判定部は、
    　前記ロボットの有無に基づいて、前記危害因子を判定する、
    　請求項９に記載のロボット制御装置。
  12. 　前記状態判定部は、
    　前記ロボットが搬送中の搬送物に基づいて、前記危害因子を判定する、
    　請求項９に記載のロボット制御装置。
  13. 　前記決定部は、
    　前記搬送物を示唆するアクションを前記通知アクションとして決定する、
    　請求項１２に記載のロボット制御装置。
  14. 　前記決定部は、
    　前記危害因子を前記対象者が認知する認知容易度に基づいて、前記通知アクションを決定する、
    　請求項９に記載のロボット制御装置。
  15. 　前記決定部は、
    　前記通知アクション後の前記対象者の挙動に基づいて、次の前記通知アクションを行うか否かを判定する、
    　請求項１に記載のロボット制御装置。
  16. 　前記決定部は、
    　前記介入度が所定範囲内である場合に、前記危害因子を示唆する動作アクションを前記通知アクションとして決定する、
    　請求項９に記載のロボット制御装置。
  17. 　前記決定部は、
    　前記介入度が前記所定範囲よりも大きい場合に、画像または音声のうち、少なくとも一方の出力を前記通知アクションとして決定する、
    　請求項１６に記載のロボット制御装置。
  18. 　コンピュータが、
    　ロボット周囲の対象者の属性を判定し、
    　判定した前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する
    　方法。
  19. 　コンピュータを
    　ロボット周囲の対象者の属性を判定する属性判定部と、
    　前記属性判定部によって判定された前記属性と、前記ロボットが前記対象者へ与える危害に関するリスクである危害リスクとに基づいて、前記ロボットから前記対象者へ存在を通知する通知アクションを決定する決定部と
    　として機能させる、プログラム。
PCT/JP2020/024824 2019-08-14 2020-06-24 ロボット制御装置、方法およびプログラム Ceased WO2021029147A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202080056064.7A CN114206561B (zh) 2019-08-14 2020-06-24 机器人控制装置、方法和程序
US17/633,259 US20220331960A1 (en) 2019-08-14 2020-06-24 Robot control device, method, and program
KR1020227001080A KR20220047751A (ko) 2019-08-14 2020-06-24 로봇 제어 장치, 방법 및 프로그램
EP20851682.3A EP4009129A1 (en) 2019-08-14 2020-06-24 Robot control device, method, and program
JP2021539829A JP7416070B2 (ja) 2019-08-14 2020-06-24 ロボット制御装置、方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019148940 2019-08-14
JP2019-148940 2019-08-14

Publications (1)

Publication Number Publication Date
WO2021029147A1 true WO2021029147A1 (ja) 2021-02-18

Family

ID=74571035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024824 Ceased WO2021029147A1 (ja) 2019-08-14 2020-06-24 ロボット制御装置、方法およびプログラム

Country Status (6)

Country Link
US (1) US20220331960A1 (ja)
EP (1) EP4009129A1 (ja)
JP (1) JP7416070B2 (ja)
KR (1) KR20220047751A (ja)
CN (1) CN114206561B (ja)
WO (1) WO2021029147A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021213639A1 (en) * 2020-04-22 2021-10-28 Abb Schweiz Ag Method of controlling industrial robot, control system and robot system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007196298A (ja) 2006-01-24 2007-08-09 Yaskawa Electric Corp ディスプレイを備えたロボット
WO2012039280A1 (ja) * 2010-09-21 2012-03-29 トヨタ自動車株式会社 移動体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007085330A1 (en) * 2006-01-30 2007-08-02 Abb Ab A method and a system for supervising a work area including an industrial robot
JP4975503B2 (ja) * 2007-04-06 2012-07-11 本田技研工業株式会社 脚式移動ロボット
CN101646534B (zh) * 2007-06-27 2012-03-21 松下电器产业株式会社 机器手控制装置及控制方法、机器人
WO2013105264A1 (ja) * 2012-01-13 2013-07-18 三菱電機株式会社 リスク測定システム
EP2890529A2 (en) * 2012-08-31 2015-07-08 Rethink Robotics Inc. Systems and methods for safe robot operation
US9517559B2 (en) * 2013-09-27 2016-12-13 Honda Motor Co., Ltd. Robot control system, robot control method and output control method
JP6397226B2 (ja) * 2014-06-05 2018-09-26 キヤノン株式会社 装置、装置の制御方法およびプログラム
US9902061B1 (en) * 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
US10831204B1 (en) * 2014-11-13 2020-11-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle automatic parking
CN106003047B (zh) * 2016-06-28 2019-01-22 北京光年无限科技有限公司 一种面向智能机器人的危险预警方法和装置
WO2018008224A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 ロボット、ロボットシステム及び記憶媒体
US10233021B1 (en) * 2016-11-02 2019-03-19 Amazon Technologies, Inc. Autonomous vehicles for delivery and safety
JP6763968B2 (ja) * 2016-12-02 2020-09-30 Cyberdyne株式会社 上肢動作支援装置及び上肢動作支援システム
JP6812772B2 (ja) * 2016-12-09 2021-01-13 富士ゼロックス株式会社 監視装置及びプログラム
JP7039855B2 (ja) * 2017-04-17 2022-03-23 株式会社デンソー 運転支援装置
KR101974870B1 (ko) * 2017-06-08 2019-05-03 엘지전자 주식회사 인공지능 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
CN107357292A (zh) * 2017-07-13 2017-11-17 上海斐讯数据通信技术有限公司 一种儿童室内智能看护系统及其看护方法
US11220008B2 (en) * 2017-07-18 2022-01-11 Panasonic Intellectual Property Management Co., Ltd. Apparatus, method, non-transitory computer-readable recording medium storing program, and robot
JP7003633B2 (ja) * 2017-12-20 2022-01-20 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
CN109955245A (zh) * 2017-12-26 2019-07-02 深圳市优必选科技有限公司 一种机器人的避障方法、系统及机器人
JP7101001B2 (ja) * 2018-03-14 2022-07-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
EP3865032B1 (en) * 2018-10-12 2023-03-29 Sony Group Corporation Food preparation system, method for controlling food preparation system, and program
JPWO2020158642A1 (ja) * 2019-01-31 2021-12-02 ソニーグループ株式会社 ロボットの制御装置、ロボットの制御方法、及びプログラム
WO2020242065A1 (ko) * 2019-05-31 2020-12-03 주식회사 라운지랩 위험도 판단에 기초한 로봇 움직임 제어 방법 및 이를 이용한 이동 로봇 장치
JP7639808B2 (ja) * 2020-03-04 2025-03-05 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN116249604B (zh) * 2020-12-23 2024-05-28 松下知识产权经营株式会社 机器人的控制方法、机器人以及计算机程序产品
US11964398B2 (en) * 2021-01-28 2024-04-23 Micropharmacy Corporation Systems and methods for autonomous robot distributed processing
US12420422B2 (en) * 2021-12-17 2025-09-23 Intel Corporation Situation-aware safety assessment of robot-human activities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007196298A (ja) 2006-01-24 2007-08-09 Yaskawa Electric Corp ディスプレイを備えたロボット
WO2012039280A1 (ja) * 2010-09-21 2012-03-29 トヨタ自動車株式会社 移動体

Also Published As

Publication number Publication date
JP7416070B2 (ja) 2024-01-17
EP4009129A1 (en) 2022-06-08
CN114206561B (zh) 2024-12-03
US20220331960A1 (en) 2022-10-20
CN114206561A (zh) 2022-03-18
JPWO2021029147A1 (ja) 2021-02-18
KR20220047751A (ko) 2022-04-19

Similar Documents

Publication Publication Date Title
JP6264494B1 (ja) 運転者監視装置、運転者監視方法、学習装置及び学習方法
JP6778872B2 (ja) 運転支援装置及び運転支援方法
CN111699521A (zh) 用于混合驾驶中基于驾驶者状态的驾驶模式切换的方法和系统
CN111373335A (zh) 用于混合驾驶中基于自身觉知性能参数的驾驶模式切换的方法和系统
KR20200110702A (ko) 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출
CN111615723A (zh) 用于混合驾驶中基于驾驶者状态的增强提示的方法和系统
CN105404305B (zh) 平衡车的控制方法和控制装置
CN116520681B (zh) 轮椅自动行驶控制方法及装置、自动行驶轮椅
US10507582B2 (en) Apparatus, robot, method, and recording medium
JP2011200947A (ja) 制御装置、制御方法およびプログラム
JP2022184841A (ja) ヘッドマウント情報処理装置
US20190152047A1 (en) Biomechanical assistive device
JP2009048307A (ja) 運転支援装置および方法、並びに、プログラム
US11195108B2 (en) Abnormality detection device and abnormality detection method for a user
WO2021029147A1 (ja) ロボット制御装置、方法およびプログラム
JP6557853B2 (ja) 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
JP7607155B2 (ja) 情報処理装置
JP6616602B2 (ja) 対象者誘導装置、対象者誘導方法、プログラム及び対象者誘導システム
CN111372830A (zh) 用于混合驾驶中基于风险的驾驶模式切换的方法和系统
CN111615722A (zh) 用于切换驾驶模式中的风险控制的方法和系统
CN118163804A (zh) 一种基于多模态感知的车辆控制方法、装置、设备及介质
US12487360B2 (en) Systems and methods for using an accessibility headset system for providing directions to audio and visually impaired users
US20230316557A1 (en) Retail computer vision system for sensory impaired
JP6755095B2 (ja) 余裕度判定装置、余裕度判定方法および運転支援システム
CN104924907A (zh) 一种调节车速的方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20851682

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021539829

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020851682

Country of ref document: EP

Effective date: 20220301