[go: up one dir, main page]

WO2002003325A1 - Systeme automatique pour la prise de decision par un agent virt uel ou physique et procede de pilotage d'un agent correspondant - Google Patents

Systeme automatique pour la prise de decision par un agent virt uel ou physique et procede de pilotage d'un agent correspondant Download PDF

Info

Publication number
WO2002003325A1
WO2002003325A1 PCT/FR2001/002165 FR0102165W WO0203325A1 WO 2002003325 A1 WO2002003325 A1 WO 2002003325A1 FR 0102165 W FR0102165 W FR 0102165W WO 0203325 A1 WO0203325 A1 WO 0203325A1
Authority
WO
WIPO (PCT)
Prior art keywords
agent
virtual
motivation
physical
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2001/002165
Other languages
English (en)
Inventor
Vincent Agami
Jean-Yves Donnart
Bruno Heintz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MATHEMATIQUES APPLIQUEES SA
Original Assignee
MATHEMATIQUES APPLIQUEES SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MATHEMATIQUES APPLIQUEES SA filed Critical MATHEMATIQUES APPLIQUEES SA
Priority to EP01984118A priority Critical patent/EP1323130A1/fr
Priority to US10/312,985 priority patent/US20040054638A1/en
Priority to AU2002216773A priority patent/AU2002216773A1/en
Publication of WO2002003325A1 publication Critical patent/WO2002003325A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards

Definitions

  • the present invention relates to the field of artificial intelligence, and more specifically, automatic systems for decision-making affecting a virtual or physical agent, for example a robot. More specifically, the present invention relates to a system making it possible to automatically select the actions of an autonomous agent as well as the way in which this agent learns to behave in his environment.
  • the invention relates more particularly to an automatic system for decision-making by a virtual or physical agent as a function of external variables coming from an environment described by a numerical model, and of variables internal to the agent described by parameters numerical, comprising means for selecting actions to be exercised by the agent from a variation of one or more of said variables.
  • This didactic machine for agents includes learning means operating on an environment in which the agent is located and developing an indication of behavior and means for predicting changes in the environment using the learning means so as to know the environment in which the agent is located in order to be able to predict changes or developments in the environment.
  • a responsibility or reward / punishment signal is generated to weight the indication of behavior of the learning means and thus to generate behavior affecting the environment. The smaller the errors of the means of prediction, the stronger the signal of responsibility must be.
  • the aim of the present invention is to overcome this drawback and to propose an improved automatic system and method making it possible to generate computer tools simulating autonomous developments of the agent close to reality.
  • Another object of the invention is to propose an automatic system for decision-making affecting a virtual or physical agent, as well as a corresponding method, making it possible to provide a user with appropriate software tools to enable him to configure the one or more agents according to different types of behavior to be obtained from the agent, in particular according to his condition and the environment in which he is situated, in particular according to the perception he has of it.
  • the invention relates, in its most general sense, to an automatic system for decision-making by a virtual or physical agent as a function of external variables originating from an environment described by a numerical model, and of variables internal to the agent described by numerical parameters, comprising means for selecting actions to be exercised by the agent from a variation of one or more of said variables, characterized in that the numerical parameters describing the virtual or physical agent include digital data representative of the motivation of the agent, and in that the selection of actions of the virtual or physical agent is also a function of the value of said data representative of the motivation of the agent.
  • the system includes means for the temporal evolution of the value of at least part of the motivation data.
  • the virtual or physical agent comprises at least one personality parameter, the system comprising calculation means for changing the value of at least part of the motivation data as a function of the value of said personality parameters.
  • the system comprises means for configuring at least one agent perception and / or knowledge variable and calculation means for changing the value of at least part of the data of motivation according to the value of said parameters of perception and / or knowledge.
  • this system comprises calculation means for changing the value of at least part of the motivation data of a virtual or physical agent as a function of the result of an action of said agent or of other agents or depending on the environment.
  • it comprises a base of behaviors associated with the agent or virtual agents, each behavior being defined by a set of computer routines and by parameters determining the influence on at least one motivation, and means of calculation for the selection of a behavior or a sequence of behaviors acting on a virtual or physical agent as a function of the result of a function for changing the motivation data of said virtual or physical agent.
  • the system comprises means of calculation for the periodic updating of the variables of one or a plurality of interacting virtual agents, and for the periodic selection of the actions applied to the agent or to each one of said agents.
  • the system is provided with a database comprising a plurality of agents each described by a class, by data of motivation, behavior, actions, events perceived by the agent, personality and knowledge.
  • the system may further include a motivation database comprising a plurality of motivation cards each comprising data relating to the triggered behaviors, the influence of the events perceived by the agent and the influence of the personality of the agent.
  • the system is provided with a behavior database comprising a plurality of behavior sheets each comprising data relating to the sequences of triggered behaviors, to the lists of triggered actions, to the influence of the personality of the agent and the influence of the agent's knowledge. It may also include an action database comprising a plurality of action sheets, each comprising data relating to the consequences of the action on the environment and the consequences of the action on the motivations.
  • the system includes a database for describing the world in which virtual agents operate.
  • the invention also relates to a method for managing the operation of a virtual or physical agent, comprising the configuration and modeling of the agent, the configuration and modeling of an environment in which the agent is located, the '' development of variables external and internal to the agent, and the selection of actions according to variations of one or more external or internal variables.
  • the modeling of the agent includes the development and configuration of digital data representative of the motivation of the agent, and in that the selection of actions of the virtual or physical agent comprises a selection of said actions according to the value of said data representative of the agent's motivation.
  • FIG. 1 is a block diagram illustrating the general structure of a system according to the invention, as configured by a user;
  • FIG. 2 is a block diagram illustrating the structure of an agent associated with the system of Figure 1;
  • FIG. 3 shows the evolution of the states of an internal variable of the system of Figure 1.
  • This system essentially comprises a behavioral engine constituting a software toolbox for the configuration and development of computer applications using agents having a autonomous behavior and, in particular, software applications intended to develop the behavior of an agent, namely to control the execution bodies of elementary functions or groups of functions of a robot or other, as a function of variables internal to the 'agent and variables external to it.
  • the invention makes it possible to develop applications implementing agents having an autonomous and non-predictive behavior whose evolution makes it possible to carry out forecasts, model analyzes or simulations.
  • the applications of such a system can relate to very varied fields such as the field of games, electronic commerce, marketing studies or industrial or economic simulations.
  • the implementation of the invention is carried out in the form of a behavioral engine and of layers specific to each application, comprising a set of databases.
  • the virtual or physical agent such as a robot
  • the virtual or physical agent is representative of a human being and, in particular whose behavior is representative of that of a human being .
  • an application comprises a base layer constituted by the behavioral engine, ensuring the management of the actions of the agents and the management of the conflicts.
  • An upper layer is specific to a trade.
  • a third layer contains the elements specific to a type of application.
  • Each agent includes variables characteristic of the agent's motivation, the agent's behavior, and parameters or variables representative of the agent's personality as well as innate or acquired knowledge,
  • the agent's motivation triggers a behavior or a set of behaviors, which interact with the agent's environment. These actions are influenced by internal parameters and variables, i.e. specific to the agent, by other agents, as well as by external events.
  • FIGS. 1 and 2 in which the flow of data between the various elements forming part of the system is shown by arrows, the general structure of a system will be described. according to the invention. In this exemplary embodiment, only two agents A1 and A2 are managed by the system.
  • the system provides a user with a set of computer tools, in the form of predetermined toolboxes made up of software modules that can be configured using an appropriate interface, to allow each agent to be configured. , in terms of external and internal characteristics to determine its behavior in response to requests or stimuli that are also configurable and configurable, as well as the environment in which the agent operates.
  • the system essentially comprises a first part or software layer, designated by the general reference numeral 10, constituting an interface with the real environment usable by the user, a second part 12 consisting essentially of databases encompassing the 'set of configured agents containing the behavioral engine, as well as a third part 14 constituting databases in which is stored a representation of the environment or the world in which the agents operate.
  • module 15 also configurable by the user, incorporated in the second part relating to the agents and in which are loaded the objects of the environment which surrounds an agent and incorporating information relating to these objects.
  • this module 15 is in the form of a database. This information is intended for the agent to allow him to take it into consideration during his reflection
  • the first part can be used by the user to code, configure and configure the agents so as to define their intrinsic and extrinsic characteristics, as well as the environment.
  • the assembly which has just been described is in the form of on-board material means, controlling the various elements of execution basic functions of the robot via appropriate relays and associated with storage means in which the user-configurable and dynamically modifiable tool boxes are loaded.
  • the behavioral engine essentially breaks down into two parts, namely the engine itself, designated by the reference general numeric 16, used to define motivations, which create needs that the agent will seek to satisfy, such as eating, drinking, responding to an order, ... by carrying out actions on the environment and a part called representations and knowledge 18, in which information relating to the modeling of the environment in the third part 14 or to other agents is stored.
  • This part 16 that is to say the engine proper, comprises a motivation database comprising a plurality of motivation cards each comprising data relating to the triggered behaviors, to the influence of the events perceived by the agent. and the influence of the agent's personality
  • the representation and knowledge part 18 comprises a first module 20 in which each agent or class of agent can store data relating to knowledge usable by. the agent to find solutions to his needs, a second module 22 in which information relating to the representation of a class of agents or an agent of another class of agents or objects is stored, as well that a third module 24 in which are loaded data relating to the representation made by each class of agents or agent of an instance of an agent or an object.
  • a third part of the engine, designated by the reference 26, is used to model intrinsic state variables of the agent or of a class of agents, which makes it possible to configure several agents simultaneously, such as its intrinsic characteristics, for example his greed, his attributes, that is to say for example the organs or capacities available to each agent, and the skills of each agent.
  • the actual motor 16 contains three parts or modules, namely: - a motivational part 28,
  • the motivational part 28 is a module for calculating the motivations of the agent to respond to a psychological or physical need and to the stimuli which he receives from a perception module 32.
  • this perception module also configurable by the user, is provided with means 32-a of perception adapted to obtain from the environment 14 representative characteristics of the latter, of means 32-b adapted to perceive physical effects applied to the agent and, in particular, applied to the organs for executing elementary functions activated for example in response to a stimuli, and means 32-c able to perceive communication signals emanating for example other agents.
  • the motivational part 28 which includes the motivation database, performs a modeling determining the psychological, physiological and emotional states of the agents, as well as the behavior of an agent which results therefrom, that is to say the behavior linked to biological needs (food, drink, rest, etc.) and psychological attitudes (running away, being aggressive, etc.).
  • the motivational part 28 performs a calculation of the temporal evolution of at least part of the motivation data of the agent using predetermined functions, as well as a calculation of the evolution of a part at least motivation data as a function of configured and stored parameters of the agent's personality and of configured and stored variables of perception and / or knowledge, also by means of predetermined functions, or also as a function of the result of an action by the agent. It also performs a periodic update of the variables of several interacting agents, and a periodic selection of the actions applied to each agent.
  • It comprises a set of modules 34 for developing and calculating control variables of the reactive part and of the cognitive part 30, these modules each comprising means 36 of calculating internal state variables varying with time and events external to the motivation, such as the consumption of food or the presence of external stimuli, as well as a module 38 for calculating the control variables from the state variables internal delivered by the calculation means 36, for example by comparison with predetermined and configurable threshold values.
  • each calculated motivation variable evolves in an interval of values going from an comfort interval, to an emergency interval corresponding to an imminent death of the agent and induces a more or less strong motivation tending to activate behaviors or tasks having for goal to make return the incriminated state in the interval of comfort.
  • the motivational part 28 finally comprises a stimulation module 40 receiving data coming from the perception module 32 and from the representation and knowledge part 18 to generate stimuli used by the calculation means 36 to vary the state variables. internal.
  • This stimulation module thus makes it possible to vary the internal state variables as a function of different stimuli such as the effect of surprise, of habituation, ... as well as according to the agent's knowledge relating for example to d other agents or environmental objects.
  • the motivational part is organized by functional layers, including:
  • these are, for example, constituted by survival variables or by additional variables.
  • Figure 3 represents the evolution of the states of a variable. As indicated above, and with reference to FIG. 3 in which the evolution of a variable V has been represented, all the variables V have a comfort interval IC. In this zone, the agent is in a perfectly normal state.
  • each variable also has an alarm interval IA from which an action must be executed urgently to bring the variable back into the comfort interval IC, as well as a tolerance interval IT which corresponds to an interval in which the tolerance to the corresponding state is lower, as well as an interval of viability IV from which the state corresponding to the elevation of the variable is intolerable (possibly syncope or dead).
  • the agent's biological system is designed (for example, when the agent's hydration rate is very low, it has syncope through the effect of the variable on the model, but not by an additional mechanism that would monitor each variable ) to return the variable to the comfort interval when it exits (for example, an agent will probably die faster if he stops drinking than if he drinks too much).
  • the user must therefore during configuration ensure that the system stabilizes naturally. It must for example avoid that the increase of a variable leads by retro action to the increase of this same variable. If the variable still deviates from its comfort interval, it can exit the alarm interval (for example, the “thirst” information is constructed from the survival variable “hydration rate” and the stimulus "presence of water.
  • the information" thirst is stored in an intermediate variable. This variable can induce behavior" to rehydrate ", it is then called motivation, but also be used to calculate the intermediate variable” nervousness ”) .
  • the “thirst” information is constructed from the survival variable “hydration rate” and the stimulus “presence of water”.
  • the “thirst” information "Is stored in an intermediate variable. This variable can induce the "rehydrate” behavior, it is then called motivation, but also be used to calculate the intermediate variable "nervousness”).
  • the variable While moving further away, the variable can leave the tolerance interval (for example, the intermediate variable “thirst” is slightly activated by the stimulus “presence of water”, and inhibited by the essential variable “fear” and is very dependent on the "hydration rate”). Outside this interval, the effect of the variable is amplified all the more as it approaches the saturation limits.
  • the variable is called the survival variable (examples: hydration rate, fatigue ).
  • the other variables are called ancillary variables (one does not die from curiosity, or from the feeling of insecurity).
  • variable in the value reading curve is moreover weighted when used in the psychological and biological model.
  • V n . + f + (V n , increments)
  • V n . f (V n , decrements)
  • Intermediate variables are, for their part, tools which make it possible to synthesize information coming from essential variables and external stimuli (this avoids having too many connections between essential variables and behaviors motivated).
  • This summary information is used for other intermediate variables or to define an agent's motivation (for example, the “thirst” information is constructed from the survival variable “hydration rate” and the stimulus “presence of water.
  • the “thirst” information is stored in an intermediate variable. This variable can induce the behavior “to rehydrate”, it is then called motivation, but also be used to calculate the intermediate variable “nervousness”).
  • the information coming from an essential variable can be taken into account in different ways, qualitatively and quantitatively [for example, the intermediate variable “thirst” is slightly activated. by the stimulus “presence of water”, and inhibited by the essential variable “fear” and is very dependent on the “hydration rate”]: inhibition, activation, function of.
  • the cognitive and reactive parts constituted by the module 30 previously mentioned, constitute the behavioral part of the system. They are activated by the motivational part 28 and control an action management module 42 with a view to selecting the actions to be executed.
  • the cognitive part which makes it possible to model more complex and more efficient agents, contains an order management system.
  • the reactive part consists of instances of behavior linked to a goal capable of either breaking down or directly activating an elementary action. It can be triggered by the motivational part or by the cognitive part of the architecture.
  • the behavioral part consists of a hierarchy of behaviors capable of instantiating. As seen in Figure 2, this behavioral part consists of a set of modules in the form of behavior databases.
  • each behavior is defined by a set of computer routines and by parameters determining the influence on at least one motivation.
  • this database is associated with calculation means for the selection of a behavior or a sequence of behaviors acting on the agent as a function of the result of a predetermined function of data evolution agent motivation statement.
  • these modules include a module 44 corresponding to a reactive behavior intended to cause the direct or indirect execution of an action by the action management module 42 as soon as a triggering condition was calculated by the motivational part, as well as two modules 46 corresponding to cognitive behavior, that is to say behavior memorizing the agent's intentions to do something.
  • a module 44 corresponding to a reactive behavior intended to cause the direct or indirect execution of an action by the action management module 42 as soon as a triggering condition was calculated by the motivational part
  • two modules 46 corresponding to cognitive behavior that is to say behavior memorizing the agent's intentions to do something.
  • the instance can continue to exist according to criteria defined in the databases by the user.
  • the cognitive behavior modules include, for example, a behavior database comprising behavior sheets which can also include data relating to the sequences of triggered behavior, to the lists of triggered actions, to the influence of the events perceived by the agent, to the influence of the agent's knowledge, and to the influence of the latter's personality.
  • these modules may include an action database comprising a plurality of action sheets each comprising data relating to the consequences of the action on the environment and the consequences of the action on the motivations, or a scenario database.
  • the information provided by the behavior modules 44 and 46 are, at this stage, differentiated into communication actions to be carried out, that is to say actions by which the agent sends a message to the attention other agents and in general actions to be carried out, that is to say actions other than communication actions.
  • the action management module 42 is provided with a sub-module 48 ensuring the management and selection of the communication actions to be carried out, as well as two sub-modules 50 ensuring the management and selection of the general actions.
  • each instance of behavior can either be broken down into a list of sub-behaviors, or directly activate elementary actions.
  • the role of a motivated behavior consists in triggering one or more behaviors linked to a goal thanks to the intervention of a system of binders (production rules).
  • Behaviors linked to a decomposable goal can be broken down into sub-behaviors linked to a goal thanks to the intervention of a system of classifiers (production rules).
  • This system is of the same type as that used by motivated behaviors, i.e. it is capable of:
  • Each behavior linked to a goal is coded in the architecture by a behavior linked to a general goal.
  • the general goal which is a variable, is instantiated, which produces behavior linked to a goal.
  • the behavior "Eat (banana)” is an example of behavior linked to a goal (the banana) which is reduced to an action (eat).
  • the conditions and actions of the rules for activating one or more actions have the following form:
  • the action message parameterized Action (objectl, object2, object3) 'is then activated and instantiated with the particular values of the Xi, which generates behavior linked to a parameterized goal.
  • the behavioral part 30 and the module 42 for managing and selecting actions implements an activity propagation procedure.
  • the propagation of activity consists in propagating inside the behavioral part the values generated by the motivational part so as to calculate at the end of the chain the interest of each instantiated action.
  • One of the properties of propagation is to be able to accumulate, at the level of a behavior or an action, a
  • the propagation of activity in the network of instantiated behaviors leads to the constitution of a list of instantiated actions. Each of these actions is associated with a force that represents the total activity it received from the network.
  • the selection of actions consists in choosing from this list of instantiated actions the set of non-incompatible actions that have the greatest forces.
  • the following description describes in detail the cognitive tasks present in the cognitive part of the engine.
  • the structure of these tasks is constructed as a generalization of the behavior modules used so far in the reactive part.
  • This behavior structure makes it possible to carry out both cognitive tasks or behavior modules whose functionality will then be increased.
  • a cognitive task represents a memory of what the agent must do. It should therefore not disappear from one iteration to another of the engine.
  • a cognitive task can be activated by a one-time event and remains active when the corresponding condition has disappeared.
  • the strength of a cognitive task can, however, decrease over time when the event no longer occurs.
  • a cognitive task is associated with a stop condition which causes its termination.
  • a cognitive task can also end when no other task activates it.
  • a new class of behavior which contains, like current behavior modules, a set of rules for breaking down into sub-behaviors.
  • Each of these behaviors may have, for each agent, a set of instances.
  • the strength of each instance is calculated from the strength of the instances of the parent behavior (s) that activated it.
  • the new behavior class can also contain:
  • Each instance of the new behavior class is associated with:
  • this configuration may consist, as can be seen in FIG. 2, of creating and configuring links between the modules 34 for developing and calculating control variables of the reactive part and of the cognitive part in a way such that a modification of an internal state variable generates a consecutive modification of another variable to which it is linked.
  • the system according to the invention preferably incorporates means for learning at least part of the internal variables, appearing for example in the form of incorporated lines of code to the modules entering into its constitution, in particular the modules of the motivational part and the behavioral part.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Ce système automatique pour la prise de décision par un agent virtuel ou physique en fonction de variables externes provenant d'un environnement décrit par un modèle numèrique, et de variables internes à l'agent décrites par des paramètres numériques, comprend des moyens de sélection d'actions à exercer par l'agent à partir d'une variation d'une ou plusieurs desdites des variables. Les paramètres numériques décrivant l'agent virtuel ou physique comportent des données numériques représentatives de la motivation de l'agent. La sélection d'actions de l'agent virtuel ou physique est également fonction de la valeur desdites données représentatives de la motivation de l'agent.

Description

SYSTEME AUTOMATIQUE POUR LA PRISE DE DECISION PAR UN AGENT VIRTUEL OU PHYSIQUE ET PROCÉDÉ DE PILOTAGE D'UN AGENT CORRESPONDANT.
La présente invention concerne le domaine de l'intelligence artificielle, et plus précisément, des systèmes automatiques pour la prise de décision affectant un agent virtuel ou physique, par exemple un robot. Plus spécifiquement, la présente invention porte sur un système permettant de sélectionner automatiquement les actions d'un agent autonome ainsi que la manière dont cet agent apprend à se comporter dans son environnement.
L'invention se rapporte plus particulièrement sur un système automatique pour la prise de décision par un agent virtuel ou physique en fonction de variables externes provenant d'un environnement décrit par un modèle numérique, et de variables internes à l'agent décrites par des paramètres numériques, comprenant des moyens de sélection d'actions à exercer par l'agent à partir d'une variation d'une ou plusieurs desdites des variables.
Cette machine didactique pour agents comporte des moyens d'apprentissage opérant sur un environnement dans lequel se situe l'agent et élaborant une indication de comportement et des moyens de prédiction de modifications de l'environnement utilisant les moyens d'apprentissage de manière à connaître l'environnement dans lequel se situe l'agent pour pouvoir prédire les modifications ou évolutions de l'environnement. Un signal de responsabilité ou de récompense/punition est généré pour pondérer l'indication de comportement des moyens d'apprentissage et pour engendrer ainsi le comportement affectant l'environnement. Plus les erreurs des moyens de prédiction sont faibles, plus fort doit être le signal de responsabilité.
Dans un environnement non linéaire et non stable, par exemple dans l'environnement d'un objet de commande ou d'un système, aucun signal spécifique d'enseignement n'est donné. Les états des différents environnement et comportements optimaux pour les modes de fonctionnement sont commutés et combinés. Un comportement peut être appris avec souplesse sans connaissances préalables. On connaît, dans l'état de la technique, en particulier du document JP6161551, un système d'information dans lequel des agents sont soumis à des actions dépendant de descripteurs de proximité et de stimuli externes.
Bien que permettant de modifier le comportement d'un agent en fonction de stimuli externes, et de manière générale, en fonction de l'environnement tel qu'il est perçu par l'agent, ce système n'est pas approprié pour adapter le comportement de l'agent en fonction de variables internes à celui-ci.
Le but de la présente invention est de pallier cet inconvénient et de proposer un système et un procédé automatique améliorés permettant de générer des outils informatiques simulant des évolutions autonomes de l'agent proche de la réalité.
Un autre but de l'invention est de proposer un système automatique pour la prise de décision affectant un agent virtuel ou physique, ainsi qu'un procédé correspondant, permettant de fournir à un utilisateur des outils logiciels appropriés pour lui permettre de configurer le ou les agents en fonction de différents types de comportement à obtenir de la part de l'agent, en particulier en fonction de son état et de l'environnement dans lequel il se situe, notamment en fonction de la perception qu'il en a.
A cet effet, l'invention concerne selon son acception la plus générale un système automatique pour la prise de décision par un agent virtuel ou physique en fonction de variables externes provenant d'un environnement décrit par un modèle numérique, et de variables internes à l'agent décrites par des paramètres numériques, comprenant des moyens de sélection d'actions à exercer par l'agent à partir d'une variation d'une ou plusieurs desdites variables, caractérisé en ce que les paramètres numériques décrivant l'agent virtuel ou physique comportent des données numériques représentatives de la motivation de l'agent, et en ce que la sélection d'actions de l'agent virtuel ou physique est également fonction de la valeur desdites données représentatives de la motivation de l'agent.
Selon une autre caractéristique de l'invention, le système comporte un moyen pour l'évolution temporelle de la valeur d'une partie au moins des données de motivation.
Avantageusement, l'agent virtuel ou physique comporte au moins un paramètre de personnalité, le système comportant des moyens de calcul pour faire évoluer la valeur d'une partie au moins des données de motivation en fonction de la valeur desdits paramètres de personnalité. Selon une autre caractéristique de ce système, il comporte des moyens de configuration d'au moins une variable de perception et/ou de connaissances de l'agent et des moyens de calcul pour faire évoluer la valeur d'une partie au moins des données de motivation en fonction de la valeur desdits paramètres de perception et/ou de connaissances.
Selon encore une autre caractéristique de ce système, il comporte des moyens de calcul pour faire évoluer la valeur d'une partie au moins des données de motivation d'un agent virtuel ou physique en fonction du résultat d'une action dudit agent ou d'autres agents ou en fonction de l'environnement. De préférence, il comporte une base de comportements associés à l'agent ou aux agents virtuels, chaque comportement étant défini par un ensemble de routines informatiques et par des paramètres déterminant l'influence sur au moins une motivation, et des moyens de calcul pour la sélection d'un comportement ou d'une séquence de comportements agissant sur un agent virtuel ou physique en fonction du résultat d'une fonction d'évolution des données de motivation dudit agent virtuel ou physique.
Dans un mode de réalisation particulier, le système comporte des moyens de calcul pour l'actualisation périodique des variables d'un ou d'une pluralité d'agents virtuels interagissant, et pour la sélection périodique des actions appliquées à l'agent ou à chacun desdits agents.
Selon une autre mode de réalisation avantageux, le système est pourvu d'une base de données comportant une pluralité d'agents décrits chacun par une classe, par des données de motivation, de comportement, d'actions, d'événements perçus par l'agent, de personnalité et de connaissances. Le système peut en outre comporter une base de données de motivation comportant une pluralité de fiches de motivation comprenant chacune des données relatives aux comportements déclenchés, à l'influence des événements perçus par l'agent et à l'influence de la personnalité de l'agent.
Selon encore un autre mode de réalisation, le système est pourvu d'une base de données de comportements comportant une pluralité de fiches de comportement comportant chacune des données relatives aux séquences de comportements déclenchés, aux listes d'actions déclenchées, à l'influence de la personnalité de l'agent et l'influence des connaissances de l'agent. Il peut par ailleurs comporter une base de données d'actions comportant une pluralité de fiches d'actions comportant chacune des données relatives aux conséquences de l'action sur l'environnement et aux conséquences de l'action sur les motivations. Selon encore une autre variante, le système comporte une base de données pour la description du monde dans lequel évoluent les agents virtuels.
Il peut également comporter une base de données de scénarios.
Selon encore une autre caractéristique, il comporte des moyens d'apprentissage d'une partie au moins des variables internes. L'invention a également pour objet un procédé de gestion du fonctionnement d'un agent virtuel ou physique, comprenant la configuration et la modélisation de l'agent, la configuration et la modélisation d'un environnement dans lequel se situe l'agent, l'élaboration de variables externes et internes à l'agent, et la sélection d'actions en fonction de variations d'une ou de plusieurs variables externes ou internes.
Selon un aspect de ce procédé, la modélisation de l'agent comporte l'élaboration et la configuration de données numériques représentatives de la motivation de l'agent, et en ce que la sélection d'actions de l'agent virtuel ou physique comporte une sélection desdites actions en fonction de la valeur desdites données représentatives de la motivation de l'agent.
D'autres buts, caractéristiques et avantages de l'invention ressortiront de la description qui va suivre, donnée uniquement à titre d'exemple non limitatif et faite en référence aux dessins annexés sur lesquels :
- la figure 1 est un schéma synoptique illustrant la structure générale d'un système conforme à l'invention, tel que configuré par un utilisateur ;
- la figure 2 est un schéma synoptique illustrant la structure d'un agent associé au système de la figure 1 ; et
- la figure 3 représente l'évolution des états d'une variable interne du système de la figure 1. Dans ce qui suit, à titre d'exemple, on va décrire la structure générale et le fonctionnement d'un système automatique pour la prise de décision d'un agent, tel qu'un robot. Ce système comporte essentiellement un moteur comportemental constituant une boîte à outils logiciels pour la configuration et le développement d'applications informatiques mettant en oeuvre des agents présentant un comportement autonome et, en particulier, des applications logicielles destinées à élaborer le comportement d'un agent, à savoir piloter les organes d'exécution de fonctions ou de groupes de fonctions élémentaires d'un robot ou autre, en fonction de variables internes à l'agent et de variables externes à celui-ci. Plus spécifiquement, l'invention permet d'élaborer des applications mettant en œuvre des agents ayant un comportement autonome et non prédictif dont l'évolution permet de procéder à des prévisions, des analyses de modèles ou des simulations.
Les applications d'un tel système peuvent relever de domaines très variés tels que le domaine des jeux, du commerce électronique, des études marketing ou des simulations industrielles ou économiques.
La mise en œuvre de l'invention est réalisée sous la forme d'un moteur comportemental et de couches spécifiques à chaque application, comportant un ensemble de bases de données. Dans la description qui suit, on s'appuiera sur un exemple où l'agent virtuel ou physique, tel qu'un robot, est représentatif d'un être humain et, en particulier dont le comportement est représentatif de celui d'un être humain.
De façon schématique, une application comporte une couche de base constituée par le moteur comportemental, assurant la gestion des actions des agents et la gestion des conflits. Une couche supérieure est spécifique à un métier.
Elle précise la nature des agents et leurs principales caractéristiques. Une troisième couche contient les éléments spécifiques à un type d'applications.
Chaque agent comprend des variables caractéristiques de la motivation de l'agent, du comportement de l'agent, et des paramètres ou des variables représentatives de la personnalité de l'agent ainsi que des connaissances innées ou acquises,
La motivation de l'agent déclenche un comportement ou un ensemble de comportement, qui interagissent avec l'environnement de l'agent. Ces actions sont influencées par les paramètres et variables internes, c'est-à-dire spécifiques à l'agent, par les autres agents, ainsi que par des événements extérieurs.
En se référant aux figures 1 et 2, sur lesquelles on a représenté par des flèches les flux de données entre les différents éléments entrant dans la constitution du système, on va décrire la structure générale d'un système conforme à l'invention. Dans cet exemple de réalisation seuls deux agents Al et A2 sont gérés par le système.
Comme indiqué précédemment, le système met à la disposition d'un utilisateur un ensemble d'outils informatiques, sous la forme de boîtes à outils prédéterminées constituées de modules logiciels paramétrables à l'aide d'une interface appropriée, pour permettre de configurer chaque agent, en termes de caractéristiques externes et internes pour déterminer son comportement en réponse à des sollicitations ou stimuli également configurables et paramétrables, ainsi que l'environnement dans lesquels évolue l'agent. Pour ce faire, le système comporte essentiellement une première partie ou couche logicielle, désignée par la référence numérique générale 10, constituant une interface avec l'environnement réel utilisable par l'utilisateur, une deuxième partie 12 consistant essentiellement en des bases de données englobant l'ensemble des agents paramétrés et contenant le moteur comportemental, ainsi qu'une troisième partie 14 constituant en des bases de données dans lesquelles est stockée une représentation de l'environnement ou du monde dans lequel évoluent les agents.
Ces éléments sont complétés par un module 15 également configurable par l'utilisateur, incorporé dans la deuxième partie portant sur les agents et dans lequel sont chargés les objets de l'environnement qui entoure un agent et incorporant des informations portant sur ces objets. Par exemple, ce module 15 se présente sous la forme d'une base de données. Ces informations sont destinées à l'agent pour lui permettre de les prendre en considération lors de sa réflexion
La première partie est utilisable par l'utilisateur pour coder, configurer et paramétrer les agents de manière à définir leurs caractéristiques intrinsèques et extrinsèques, ainsi que l'environnement.
Par exemple, et en particulier dans le cas où le système est destiné à gérer les prises de décision par un robot, l'ensemble qui vient d'être décrit se présente sous la forme de moyens matériels embarqués, pilotant les différents éléments d'exécution de fonctions élémentaires du robot par l'intermédiaire de relais appropriés et associés à des moyens de mémorisation dans lesquels sont chargés les boîtes à outils paramétrables par l'utilisateur et modifiables dynamiquement.
Pour chaque agent, le moteur comportemental se décompose essentiellement en deux parties, à savoir le moteur proprement dit, désigné par la référence numérique générale 16, servant à définir des motivations, lesquelles créent des besoins que l'agent va chercher à satisfaire, tels que manger, boire, répondre à un ordre,... en réalisant des actions sur l'environnement et une partie dite représentations et connaissances 18, dans laquelle sont stockées des informations relatives à la modélisation de l'environnement dans la troisième partie 14 ou à d'autres agents.
Cette partie 16, c'est-à-dire le moteur proprement dit, comporte une base de données de motivation comprenant une pluralité de fiches de motivation comportant chacune des données relatives aux comportements déclenchés, à l'influence des événements perçus par l'agent et à l'influence de la personnalité de l'agent
Comme visible sur la figure 2, la partie 18 de représentation et de connaissance, comporte un premier module 20 dans lequel chaque agent ou classe d'agent peut mémoriser des données portant sur des connaissances utilisables par. l'agent pour trouver des solutions à ses besoins, un deuxième module 22 dans lequel sont stockées des informations relatives à la représentation que se fait une classe d'agents ou un agent d'une autre classe d'agents ou d'objets, ainsi qu'un troisième module 24 dans lequel sont chargées des données relatives à la représentation que se fait chaque classe d'agents ou agent d'une instance d'un agent ou d'un objet.
Une troisième partie du moteur, désignée par la référence 26, est utilisée pour modéliser des variables d'état intrinsèques de l'agent ou d'une classe d'agents, ce qui permet de configurer simultanément plusieurs agents, telles que ses caractéristiques intrinsèques, par exemple sa gourmandise, ses attributs, c'est- à-dire par exemple les organes ou capacités dont dispose chaque agent, et les compétences de chaque agent.
Dans l'exemple de réalisation considéré, après configuration par l'utilisateur, le moteur proprement dit 16 contient trois parties ou modules, à savoir : - une partie motivationnelle 28,
- une partie réactive, et
- une partie cognitive, les parties réactives et cognitives étant regroupées sous la forme d'un même module 30. La partie motivationnelle 28 est un module de calcul des motivations de l'agent à répondre à un besoin psychologique ou physique et aux stimuli qu'il reçoit en provenance d'un module de perception 32.
Comme on le voit sur la figure 2, ce module de perception, également configurable par l'utilisateur, est pourvu de moyens 32-a de perception adapté pour obtenir de l'environnement 14 des caractéristiques représentatives de ce dernier, de moyens 32-b adapté pour percevoir des effets physiques appliqués à l'agent et, en particulier, appliqués aux organes d'exécution de fonctions élémentaires activés par exemple en réponse à un stimuli, et des moyens 32-c aptes à percevoir des signaux de communication émanant par exemple d'autres agents.
La partie motivationnelle 28, qui comporte la base de données de motivation, procède à une modélisation déterminant les états psychologiques, physiologiques et émotionnels des agents, ainsi que le comportement d'un agent qui en découle, c'est-à-dire le comportement lié à des besoins biologiques (se nourrir, boire, se reposer etc.) et à des attitudes psychologiques (s'enfuir, être agressif etc.).
Plus spécifiquement, la partie motivationnelle 28 effectue un calcul de l'évolution temporelle d'une partie au moins des données de motivation de l'agent à l'aide de fonctions prédéterminées, ainsi qu'un calcul de l'évolution d'une partie au moins des données de motivation en fonction de paramètres configurés et mémorisés de personnalité de l'agent et de variables configurées et mémorisées de perception et/ou de connaissance, également au moyen de fonctions prédéterminées, ou encore en fonction du résultat d'une action par l'agent. Elle effectue en outre une actualisation périodique des variables de plusieurs agents interagissant, et une sélection périodique des actions appliquées à chaque agent.
Elle comporte un ensemble de modules 34 d'élaboration et de calcul de variables de commande de la partie réactive et de la partie cognitive 30, ces modules comportant chacun des moyens 36 de calcul de variables d'état interne variant avec le temps et les événements extérieurs à la motivation, tels que la consommation de nourriture ou la présence de stimuli externes, ainsi qu'un module 38 de calcul des variables de commande à partir des variables d'état interne délivrées par les moyens de calcul 36, par exemple par comparaison avec des valeurs de seuil prédéterminées et paramétrables.
En effet, comme cela sera indiqué par la suite, l'état de chaque variable de motivation calculée évolue dans un intervalle de valeurs allant d'un intervalle de confort, à un intervalle d'urgence correspondant à une mort prochaine de l'agent et induit une motivation plus ou moins forte tendant à faire activer des comportements ou des tâches ayant pour but de faire retourner l'état incriminé dans l'intervalle de confort.
On notera que les différents modules 34 sont liés entre eux de sorte que les motivations peuvent mutuellement s'activer ou s'inhiber.
La partie motivationnelle 28 comporte enfin un module 40 de stimulation recevant des données en provenance du module de perception 32 et de la partie 18 de représentation et de connaissance pour engendrer des stimuli utilisés par les moyens de calcul 36 pour faire varier les variables d'état interne. Ce module de stimulation permet ainsi de faire varier les variables d'état interne en fonction de différents stimuli comme l'effet de surprise, d'habituation,... ainsi qu'en fonction de connaissances de l'agent relatives par exemple à d'autres agents ou à des objets de l'environnement.
Plus spécifiquement, la partie motivationnelle est organisée par couches fonctionnelles, comprenant :
- des moyens d'élaboration de variables essentielles,
- des moyens d'élaboration de variables intermédiaires,
- des moyens d'élaboration de variables de motivation.
Comme indiqué précédemment, à ces trois couches fonctionnelles s'ajoutent les stimuli de l'environnement, sous forme de messages, qui fonctionnent de la même façon que des requêtes (perception par l'agent d'un élément de son environnement), qui alimentent des variables de détection interne. Il s'agit d'une forme de feedback immédiat de l'environnement.
En ce qui concerne les variables essentielles celles-ci sont par exemple constituées par des variables de survie ou par des variables annexes.
Elles définissent l'état biologique et psychologique du personnage. Ce sont des variables objectives. Elles définissent l'état de l'agent, mais pas ce que l'agent ressent. Il s'agit, par exemple, du taux d'hydratation du corps, de la fatigue, de la douleur, etc. Elles évoluent en fonction de ce que fait ou ne fait pas l'agent. Par exemple, la fatigue augmente quand l'agent marche, elle diminue quand l'agent se repose. De même, le taux d'hydratation augmente en fonction de ce que l'agent a pu ingurgiter etc. La figure 3 représente l'évolution des états d'une variable. Comme indiqué précédemment, et en référence à la figure 3 sur laquelle on a représenté l'évolution d'une variable V, toutes les variables V ont un intervalle IC de confort. Dans cette zone, l'agent est dans un état parfaitement normal. Hors de cette zone de confort, le moteur engendre une motivation, par exemple de soif, laquelle va déclencher un comportement visant à satisfaire cette motivation. Ainsi, chaque variable possède également un intervalle d'alarme IA à partir duquel une action doit être exécutée de toute urgence pour faire revenir la variable dans l'intervalle de confort IC, ainsi qu'un intervalle de tolérance IT qui correspond à un intervalle dans lequel la tolérance à l'état correspondant est moindre, ainsi qu'un intervalle de viabilité IV à partir duquel l'état correspondant à l'élévation de la variable est intolérable (éventuellement syncope ou mort).
Le système biologique de l'agent est conçu (par exemple, lorsque le taux d'hydratation de l'agent est très bas, il a une syncope par effet de la variable sur le modèle, mais pas par un mécanisme supplémentaire qui superviserait chaque variable) pour faire retourner la variable dans l'intervalle de confort, quand elle en sort (par exemple, un agent mourra probablement plus rapidement s'il arrête de boire que s'il boit trop). L'utilisateur doit ainsi lors de la configuration faire en sorte que le système se stabilise naturellement. Il doit éviter par exemple que l'augmentation d'une variable entraîne par rétro action l'augmentation de cette même variable. Si la variable s'éloigne encore de son intervalle de confort, elle peut sortir de l'intervalle d'alarme (par exemple, l'information « soif » est construite à partir de la variable de survie « taux d'hydratation » et du stimulus «présence d'eau. L'information « soif » est stockée dans une variable intermédiaire. Cette variable peut induire le comportement « se réhydrater », elle est alors appelée motivation, mais aussi être utilisée pour calculer la variable intermédiaire « énervement »).
Toutes les variables sont bornées par les bornes de saturation (par exemple, l'information « soif » est construite à partir de la variable de survie « taux d'hydratation » et du stimulus « présence d'eau ». L'information « soif » est stockée dans une variable intermédiaire. Cette variable peut induire le comportement « se réhydrater », elle est alors appelée motivation, mais aussi être utilisée pour calculer la variable intermédiaire « énervement »).
En s'éloignant encore, la variable peut sortir de l'intervalle de tolérance (par exemple, la variable intermédiaire « soif » est légèrement activée par le stimulus « présence d'eau », et inhibée par la variable essentielle « peur » et est très dépendante du « taux d'hydratation »). En dehors de cet intervalle, l'effet de la variable est amplifié d'autant plus qu'elle se rapproche des bornes de saturation.
Cela correspond à une situation d'urgence qu'il faut prendre en compte de manière prioritaire. Une variable essentielle sortie de l'intervalle de viabilité ne peut plus y retourner naturellement. L'agent est alors dans un état psychotique ou meurt.
Lorsque la sortie de l'intervalle de viabilité entraîne la mort de l'agent, la variable est appelée variable de survie (exemples : taux d'hydratation, fatigue...). Les autres variables sont nommées variables annexes (on ne meurt pas de curiosité, ou du sentiment d'insécurité).
Il n'y a pas de mécanisme de supervision des variables qui déclenche des comportements particuliers d'urgence lorsque les variables atteignent des valeurs extrêmes : c'est l'effet des variables sur le modèle qui définit le comportement d'urgence implicitement. Le comportement aux bornes de chaque intervalle est fixé de manière différente en fonction de chaque variable.
La variable de la courbe de lecture de la valeur, est de plus pondérée lors de son utilisation dans le modèle psychologique et biologique.
En ce qui concerne les courbes d'évolution des variables d'état interne, on notera que l'évolution d'une variable V est une fonction linéaire des autres variables et du temps. vn+I = Vn + Vn. -Dt avec Vn. = Vn.+ ou Vn. selon que la variable est augmentée ou diminuée. et Vn.+ = f+( Vn, incréments ), Vn. = f ( Vn, décréments ) Les variables intermédiaires sont, quant à elles, des outils qui permettent de synthétiser l'information venant des variables essentielles et des stimuli externes (cela évite d'avoir trop de connexions entre les variables essentielles et les comportements motivés). Cette information synthétique est utilisée pour d'autres variables intermédiaires ou pour définir une motivation de l'agent (par exemple, l'information « soif » est construite à partir de la variable de survie « taux d'hydratation » et du stimulus «présence d'eau. L'information « soif » est stockée dans une variable intermédiaire. Cette variable peut induire le comportement « se réhydrater », elle est alors appelée motivation, mais aussi être utilisée pour calculer la variable intermédiaire « énervement »).
En ce qui concerne l'évolution des variables intermédiaires et facteurs d'entrée, l'information venant d'une variable essentielle peut être prise en compte de différentes manières, qualitativement et quantitativement [par exemple, la variable intermédiaire « soif » est légèrement activée par le stimulus « présence d'eau », et inhibée par la variable essentielle « peur » et est très dépendante du « taux d'hydratation »] : inhibition, activation, fonction de.
Les parties cognitives et réactives, constituées par le module 30 précédemment mentionné, constituent la partie comportementale du système. Elles sont activées par la partie motivationnelle 28 et pilotent un module de gestion d'actions 42 en vue de la sélection des actions à exécuter.
La partie cognitive, qui permet de modéliser des agents plus complexes et plus performants, contient un système de gestion des ordres.
La partie réactive se compose d'instances de comportements liés à un but capable soit de se décomposer, soit d'activer directement une action élémentaire. Elle peut être déclenchée par la partie motivationnelle ou par la partie cognitive de l'architecture.
La partie comportementale se compose d'une hiérarchie de comportements capables de s'instancier. Comme on le voit sur la figure 2, cette partie comportementale se compose d'un ensemble de modules se présentant sous la forme de bases de données de comportement.
Dans cette base de données, chaque comportement est défini par un ensemble de routines informatiques et par des paramètres déterminant l'influence sur au moins une motivation. Comme cela sera décrit par la suite, cette base est associée à des moyens de calcul pour la sélection d'un comportement ou d'une séquence de comportements agissant sur l'agent en fonction du résultat d'une fonction prédéterminée d'évolution des données de motivation de l'agent.
Dans l'exemple de réalisation considéré, ces modules comportent un module 44 correspondant à un comportement réactif destiné à provoquer l'exécution directe ou indirecte d'une action par le module de gestion d'actions 42 dès qu'une condition déclenchante a été calculée par la partie motivationnelle, ainsi que deux modules 46 correspondant à un comportement cognitif, c'est-à-dire un comportement mémorisant les intentions qu'a l'agent de faire quelque chose. Au contraire du comportement réactif, lorsque le contexte ou les conditions qui ont créé une instance de la tâche ont disparu, l'instance peut continuer d'exister selon des critères définis dans les bases de données par l'utilisateur.
Les modules de comportement cognitif comportent par exemple une base de données de comportement comprenant des fiches de comportement pouvant également comporter des données relatives aux séquences de comportement déclenchées, aux listes d'actions déclenchées, à l'influence des événements perçus par l'agent, à l'influence des connaissances de l'agent, et à l'influence de la personnalité de ce dernier.
En outre, ces modules peuvent comporter une base de données d'actions comportant une pluralité de fiches d'actions comportant chacune des données relatives aux conséquences de l'action sur l'environnement et aux conséquences de l'action sur les motivations, ou une base de données de scénarios.
On notera que les informations fournies par les modules de comportement 44 et 46 sont, à ce stade, différenciées en des actions de communications à réaliser, c'est-à-dire des actions par lesquelles l'agent émet un message à l'attention d'autres agents et en des actions générales à effectuer, c'est-à-dire des actions autres que des actions de communication.
Ainsi, le module de gestion d'actions 42 est pourvu d'un sous-module 48 assurant la gestion et la sélection des actions de communication à effectuer, ainsi que de deux sous-modules 50 assurant la gestion et la sélection des actions générales.
Ces sous-modules 48 et 50 pilotent alors le ou les organes 52 d'exécution de fonctions élémentaire concernés, ce qui se traduit par une modification de la variable ayant provoqué l'exécution de cette fonction ainsi que, le cas échéant une modification de l'environnement 14. On notera que chaque instance de comportement peut soit se décomposer en une liste de sous-comportements, soit activer directement des actions élémentaires. Le rôle d'un comportement motivé consiste à déclencher un ou plusieurs comportements liés à un but grâce à l'intervention d'un système de classeurs (règles de production).
Chaque comportement motivé est directement relié à une motivation (ou variable intermédiaire) qui le déclenche en fonction des facteurs suivants :
- un niveau de la motivation correspondante,
- une activation (ou inhibition) de stimuli (externes ou internes),
- une activation (ou inhibition) d'éléments présents dans la représentation. Les comportements liés à un but décomposable peuvent se décomposer en sous-comportements liés à un but grâce à l'intervention d'un système de classeurs (règles de production). Ce système est du même type que celui qui est utilisé par les comportements motivés, c'est-à-dire qu'il est capable de :
- contenir des variables et les instancier, et
- propager de l'activité. Ainsi, un comportement « Aller_vers (Pièce adjacente) » peut être décomposé en « Ouvrir_porte » si la porte qui sépare l'agent de la pièce en question est fermée.
Chaque comportement lié à un but est codé dans l'architecture par un comportement lié à un but général. Au moment du déclenchement d'un comportement lié à un but particulier, le but général, qui est une variable, est instancié, ce qui produit un comportement lié à un but.
Dans l'exemple des règles décrites dans le paragraphe concernant les comportements motivés, si X est une banane et Y un sanglier grillé, l'agent « Obélix » déclenchera deux comportements liés à un but : Manger( banane ) et Aller Vers ( Lieu ( sanglier ) ).
Lorsque certains comportements liés à un but ne sont pas décomposables, ils se réduisent alors en actions élémentaires directement réalisables par l'agent
Le comportement « Manger (banane) » est un exemple de comportement lié à un but (la banane) qui se réduit à une action (manger). En ce qui concerne la gestion et la sélection des comportements, les conditions et actions des règles d' activation d'une ou de plusieurs actions ont la forme suivante :
Si < Conditionl (XI) > et < Condition2 (X2) >
... et < Condition(Xn) > Alors < Action (xl, x2, Xn) > Une règle se déclenche quand les conditions s'apparient avec la situation courante pour des valeurs particulières des Xi.
Le message d'action paramétré Action(objetl, objet2, objet3)' est alors activé et instancié avec les valeurs particulières des Xi ce qui génère un comportement lié à un but paramétré.
En outre, la partie comportementale 30 et le module 42 de gestion et de sélection d'actions met en œuvre une procédure de propagation d'activité.
La propagation d'activité consiste à propager à l'intérieur de la partie comportementale les valeurs engendrées par la partie motivationnelle de manière à calculer en bout de chaîne l'intérêt de chaque action instanciée.
Pour calculer l'activité reçue par un sous-comportement SC de la part d'un comportement C grâce à l'activation d'une règle R, on utilise les valeurs suivantes :
- l'activité courante de C, - la force des messages qui se sont appariés avec les conditions de déclenchement de R,
- le poids de chacune de ces conditions,
- la force de la règle R.
Par exemple, la force du message d'action Action(objetl, objet2, objetn) de la règle R du paragraphe précédent est calculée par l'équation suivante : Force R.= (∑iForce (Conditioni(objeti)). Poids (Conditioni) ) avec ∑i Poids (Conditioni) = 1 (par soucis de normalisation) et dans laquelle Force (Conditioni (objeti) ) donne la force d'appariement. Une des propriété de la propagation est de pouvoir cumuler au niveau d'un comportement ou d'une action un ensemble d'activité provenant de plusieurs sources.
La propagation de l'activité dans le réseau de comportements instanciés conduit à la constitution d'une liste d'actions instanciées. Chacune de ces actions est associée à une force qui représente l'activité totale qu'elle a reçu du réseau. La sélection des actions consiste à choisir dans cette liste d'actions instanciées l'ensemble des actions non incompatibles qui possèdent les forces les plus grandes.
La description qui suit expose de manière détaillée les tâches cognitives présentes dans la partie cognitive du moteur. La structure de ces tâches est construite comme une généralisation des modules de comportement utilisés jusqu'à présent dans la partie réactive.
Le paramétrage de cette structure de comportement permet de réaliser à la fois des tâches cognitives ou des modules de comportement dont les fonctionnalités seront alors augmentées.
Voici les propriétés obtenues au niveau du fonctionnement des tâches cognitives :
Une tâche cognitive représente une mémoire de ce que doit faire l'agent. Elle ne doit donc pas disparaître d'une itération à l'autre du moteur. Une tâche cognitive peut être activée par un événement ponctuel et reste active lorsque la condition correspondante a disparu.
La force d'une tâche cognitive peut cependant décroître dans le temps quand l'événement ne se reproduit plus.
Une tâche cognitive est associée à une condition d'arrêt qui provoque sa terminaison.
Une tâche cognitive peut aussi se terminer quand plus aucune autre tâche ne l'active.
Pour réaliser les objectifs fixés plus haut, une nouvelle classe de comportements est définie, laquelle contient comme les modules de comportement actuels un ensemble de règles de décomposition en sous-comportements.
Chacun de ces comportements pourra avoir, pour chaque agent, un ensemble d'instances.
La force de chaque instance est calculée à partir de la force des instances du ou des comportements père qui l'ont activé. La nouvelle classe de comportement peut contenir en plus :
- le nombre maximum d'instances de comportements fils que ce comportement a le droit d'activer
- le nombre maximum d'instances de comportements fils que ce comportement peut mémoriser - un seuil d'existence au-dessous duquel l'instance doit être supprimée.
- un seuil de décomposition au-dessous duquel l'instance n'a pas le droit de se décomposer.
- un seuil d' activation au-dessous duquel l'activité engendrée par une règle ne doit pas être propagée. - un facteur d'oubli associé à chaque règle de décomposition
A chaque instance de la nouvelle classe de comportement est associée :
- une condition d'arrêt : CA (x)
- un booléen disant si la condition d'arrêt est vérifiée. - le nombre d'instances de comportement père qui ont activé cette instance.
- une mémoire des instances de comportements fils que cette instance a activé ou veut activer. Cette mémoire doit contenir pour chaque instance de comportement fils :
1. Un lien sur les règles qui l'ont activé et la force reçue de chacune de ces règles.
2. La force totale de l'instance à activer et qui combine les forces des différentes règles qui lui envoient de l'activité.
Il est possible de limiter les activations de comportement sans perdre de l'information sur les autres comportements que l'on pourra déclencher plus tard, même si l'événement n'est plus présent.
Alors que dans ce qui a précédé il a été exposé la manière de configurer le système selon l'invention par configuration des caractéristiques intrinsèques et extrinsèques à chaque agent, des caractéristiques de l'environnement dans lequel il se situe et des objets qu'il perçoit et des actions à exécuter en réponse, notamment de stimuli, il convient de noter que lors de cette phase préalable de configuration du système , on procède à une configuration des liens entre les différents éléments du système de manière qu'une modification d'un élément entraîne une modification consécutive d'un autre élément.
Ainsi, par exemple, cette configuration peut consister, comme visible sur la figure 2, à créer et paramétrer des liens entre les modules 34 d'élaboration et de calcul de variables de commande de la partie réactive et de la partie cognitive d'une manière telle qu'une modification d'une variable d'état interne engendre une modification consécutive d'une autre variable à laquelle elle est liée.
Il est dès lors possible, par exemple, de prévoir qu'une augmentation d'une variable interne correspondant à une sensation de peur d'un agent engendre une diminution d'une sensation de soif ressentie par ce dernier.
On notera enfin que , de préférence, le système selon l'invention incorpore de préférence des moyens d'apprentissage d'une partie au moins des variables internes, se présentant par exemple sous la forme de lignes de code incorporées aux modules entrant dans sa constitution, en particulier les modules de la partie motivationnelle et de la partie comportementale.
Définitions : ι
- Requête : mécanisme de consultation des connaissances ou, de manière générale, mécanisme de consultation d'informations dont dispose l'agent, utilisé dans les parties réactives et cognitives, par lequel un agent peut connaître une caractéristique de son environnement.
- règle : association d'une partie condition(s), action (sous-comportement ou action élémentaire), force. Les conditions sont construites à partir de requêtes. comportement : ensemble de sous-comportements ou d'actions élémentaires.

Claims

REVENDICATIONS
1 - Système automatique pour la prise de décision par un agent virtuel ou physique en fonction de variables externes provenant d'un environnement décrit par un modèle numérique, et de variables internes à l'agent décrites par des paramètres numériques, comprenant des moyens (42) de sélection d'actions à exercer par l'agent à partir d'une variation d'une ou plusieurs desdites variables, caractérisé en ce que les paramètres numériques décrivant l'agent virtuel ou physique comportent des données numériques représentatives de la motivation de l'agent, et en ce que la sélection d'actions de l'agent virtuel ou physique est également fonction de la valeur desdites données représentatives de la motivation de l'agent.
2 - Système automatique pour la prise de décision par un agent virtuel ou physique selon la revendication 1, caractérisé en ce qu'il comporte un moyen (36) pour l'évolution temporelle de la valeur d'une partie au moins des données de motivation.
3 - Système automatique pour la prise de décision par un agent virtuel ou physique selon la revendication 1 ou 2, caractérisé en ce que l'agent virtuel ou physique comporte au moins un paramètre de personnalité et en ce que le système comporte des moyens (36) de calcul pour faire évoluer la valeur d'une partie au moins des données de motivation en fonction de la valeur desdits paramètres de personnalité.
4 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte des moyens de configuration d' au moins une variable de perception et/ou de connaissances de l'agent en ce que le système comporte des moyens (36) de calcul pour faire évoluer la valeur d'une partie au moins des données de motivation en fonction de la valeur desdits paramètres de perception et/ou de connaissances. 5 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une quelconque des revendications précédentes, caractérisé en ce que le système comporte des moyens (36) de calcul pour faire évoluer la valeur d'une partie au moins des données de motivation d'un agent virtuel ou physique en fonction du résultat d'une action dudit agent ou d'autres agents ou en fonction de l'environnement.
6 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte une base (30) de comportements associés à l'agent ou aux agents virtuels, chaque comportement étant défini par un ensemble de routines informatiques et par des paramètres déterminant l'influence sur au moins une motivation, et des moyens de calcul (42) pour la sélection d'un comportement ou d'une séquences de comportements agissant sur un agent virtuel ou physique en fonction du résultat d'une fonction d'évolution des données de motivation dudit agent virtuel ou physique.
7 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte des moyens de calcul (28) pour l'actualisation périodique des variables d'un ou d'une pluralité d'agents virtuels interagissant, et pour la sélection périodique des actions appliquées à l'agent ou à chacun desdits agents.
8 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte une base de données (26) comportant une pluralité d'agents décrits chacun par une classe, par des données de motivation, de comportement, d'actions, d'événements perçus par l'agent, de personnalité et de connaissances.
9 - Système automatique pour la prise de décision par un agent virtuel ou physique selon la revendication 8, caractérisé en ce qu'il comporte une base de données de motivation (46) comportant une pluralité de fiches de motivation comportant chacune des données relatives aux comportements déclenchés, à l'influence des événements perçus par l'agent et à l'influence de la personnalité de l'agent.
10 - Système automatique pour la prise de décision par un agent virtuel ou physique selon la revendication 9, caractérisé en ce qu'il comporte une base de données (30) de comportements comportant une pluralité de fiches de comportement comprenant chacune des données relatives aux séquences de comportements déclenchés, aux listes d'actions déclenchées, à l'influence de la personnalité de l'agent et l'influence des connaissances de l'agent. 11 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une des revendications 9 et 10, caractérisé en ce qu'il comporte une base de données (30) d'actions comportant une pluralité de fiches d'actions comportant chacune des données relatives aux conséquences de l'action sur l'environnement et aux conséquences de l'action sur les motivations.
12 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une quelconque des revendications 9 à 11, caractérisé en ce qu'il comporte une base de données (14) pour la description du monde dans lequel évoluent les agents virtuels. 13 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une quelconque des revendications 9 à 12, caractérisé en ce qu'il comporte une base de données (30) de scénarios.
14 - Système automatique pour la prise de décision par un agent virtuel ou physique selon l'une quelconque des revendications 9 à 13, caractérisé en ce qu'il comporte des moyens d'apprentissage d'une partie au moins des variables internes.
15 - Procédé de gestion du fonctionnement d'un agent virtuel ou physique, comprenant la configuration et la modélisation de l'agent, la configuration et la modélisation d'un environnement dans lequel se situe l'agent, l'élaboration de variables externes et internes à l'agent, et la sélection d'actions en fonction de variations d'une ou de plusieurs variables externes ou internes, caractérisé en ce que la modélisation de l'agent comporte l'élaboration et la configuration de données numériques représentatives de la motivation de l'agent, et en ce que la sélection d'actions de l'agent virtuel ou physique comporte une sélection desdites actions en fonction de la valeur desdites données représentatives de la motivation de l'agent.
PCT/FR2001/002165 2000-07-05 2001-07-05 Systeme automatique pour la prise de decision par un agent virt uel ou physique et procede de pilotage d'un agent correspondant Ceased WO2002003325A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP01984118A EP1323130A1 (fr) 2000-07-05 2001-07-05 Systeme automatique pour la prise de decision par un agent virt uel ou physique et procede de pilotage d'un agent correspondant
US10/312,985 US20040054638A1 (en) 2000-07-05 2001-07-05 Automatic system for decision making by a virtual or physical agent and corresponding method for controlling an agent
AU2002216773A AU2002216773A1 (en) 2000-07-05 2001-07-05 Automatic system for decision making by a virtual or physical agent and corresponding method for controlling an agent

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR00/08760 2000-07-05
FR0008760A FR2811449B1 (fr) 2000-07-05 2000-07-05 Systeme automatique pour la prise de decision par un agent virtuel ou physique

Publications (1)

Publication Number Publication Date
WO2002003325A1 true WO2002003325A1 (fr) 2002-01-10

Family

ID=8852146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2001/002165 Ceased WO2002003325A1 (fr) 2000-07-05 2001-07-05 Systeme automatique pour la prise de decision par un agent virt uel ou physique et procede de pilotage d'un agent correspondant

Country Status (5)

Country Link
US (1) US20040054638A1 (fr)
EP (1) EP1323130A1 (fr)
AU (1) AU2002216773A1 (fr)
FR (1) FR2811449B1 (fr)
WO (1) WO2002003325A1 (fr)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004268235A (ja) * 2003-03-11 2004-09-30 Sony Corp ロボット装置、その行動制御方法及びプログラム
EP1484716A1 (fr) 2003-06-06 2004-12-08 Sony France S.A. Une architecture pour des dispositifs capables de s'autodévelopper
FR2856820B1 (fr) 2003-06-27 2005-09-30 Axel Buendia Systeme de conception et d'utilisation de modeles decisionnels
US8504621B2 (en) * 2007-10-26 2013-08-06 Microsoft Corporation Facilitating a decision-making process
US20090306946A1 (en) * 2008-04-08 2009-12-10 Norman I Badler Methods and systems for simulation and representation of agents in a high-density autonomous crowd
EP2216145B1 (fr) * 2009-02-06 2011-06-08 Honda Research Institute Europe GmbH Apprentissage et utilisation de schémas dans des dispositifs robotiques
WO2013067242A1 (fr) * 2011-11-02 2013-05-10 ThinkVine Corporation Modélisation de sensibilité d'agent pour des systèmes de modélisation à base d'agent
US8447419B1 (en) 2012-05-02 2013-05-21 Ether Dynamics Corporation Pseudo-genetic meta-knowledge artificial intelligence systems and methods
US10831466B2 (en) 2017-03-29 2020-11-10 International Business Machines Corporation Automatic patch management
US20190095507A1 (en) * 2017-09-25 2019-03-28 Appli Inc. Systems and methods for autonomous data analysis
US20200257954A1 (en) * 2019-02-11 2020-08-13 Rival Theory, Inc. Techniques for generating digital personas
US12153711B1 (en) 2021-08-24 2024-11-26 Go2Market Insights, Inc. Systems and methods for predictive analysis
CN116719848B (zh) * 2023-06-02 2025-11-14 支付宝(杭州)信息技术有限公司 知识库调用方法及装置、介质、设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586218A (en) * 1991-03-04 1996-12-17 Inference Corporation Autonomous learning and reasoning agent
US6031549A (en) * 1995-07-19 2000-02-29 Extempo Systems, Inc. System and method for directed improvisation by computer controlled characters
EP0935202A1 (fr) * 1998-01-19 1999-08-11 Sony France S.A. Architecture matérielle ou de logiciel avec conditionnement autopolarisé
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US6563503B1 (en) * 1999-05-07 2003-05-13 Nintendo Co., Ltd. Object modeling for computer simulation and animation

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GAUSSIER P ET AL: "The visual homing problem: An example of robotics/biology cross fertilization", ROBOTICS AND AUTONOMOUS SYSTEMS,NL,ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, vol. 30, no. 1-2, January 2000 (2000-01-01), pages 155 - 180, XP004187563, ISSN: 0921-8890 *
GOMI T: "Non-Cartesian robotics", ROBOTICS AND AUTONOMOUS SYSTEMS,NL,ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, vol. 18, no. 1, 1 July 1996 (1996-07-01), pages 169 - 184, XP004007604, ISSN: 0921-8890 *
OLIVEIRA E ET AL: "Multi-agent systems: which research for which applications", ROBOTICS AND AUTONOMOUS SYSTEMS,NL,ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, vol. 27, no. 1-2, 30 April 1999 (1999-04-30), pages 91 - 106, XP004164321, ISSN: 0921-8890 *

Also Published As

Publication number Publication date
FR2811449A1 (fr) 2002-01-11
FR2811449B1 (fr) 2008-10-10
AU2002216773A1 (en) 2002-01-14
US20040054638A1 (en) 2004-03-18
EP1323130A1 (fr) 2003-07-02

Similar Documents

Publication Publication Date Title
Pierson Data science for dummies
EP1323130A1 (fr) Systeme automatique pour la prise de decision par un agent virt uel ou physique et procede de pilotage d&#39;un agent correspondant
Pfeffer IBAL: A probabilistic rational programming language
US8965834B2 (en) Particle methods for nonlinear control
Vu et al. A software architecture for mechanism-based social systems modelling in agent-based simulation models
WO2012007489A1 (fr) Processeur d&#39;analyse situationnelle
EP1921572A1 (fr) Procédé de formation d&#39;un système pour réagir spécifiquement sur une entrée spécifique
US20190228297A1 (en) Artificial Intelligence Modelling Engine
Vasileiou et al. PLEASE: Generating personalized explanations in human-aware planning
US20240428042A1 (en) Active Chatbot System with Composite Finite State Machine and Method Thereof
Horst Notions of intuition in the cognitive science of religion
AU2021261394A1 (en) Systems, devices and methods for the dynamic generation of dialog-based interactive content
EP3213267A1 (fr) Architecture logicielle pour systeme expert
US20240428043A1 (en) Active Chatbot System with Customized Setting and Updating Download and Method Thereof
Torres et al. Advances in Intelligent Systems and Robotics
WO2005001758A2 (fr) Systeme de conception et d’utilisation de modeles decisionnels
Lotzmann et al. DRAMS-A Declarative Rule-Based Agent Modelling System.
Dzeroski et al. Encoding and using domain knowledge on population dynamics for equation discovery
Стенін et al. Development of subject-oriented innovative software products based on artificial intelligence systems
Nguyen A Review of Mechanistic Models of Event Comprehension
Da Silva Ontology-driven agent-based modeling approach
CN114127791A (zh) 具身施动者中的认知模式设置
Richter Synaptic Circuits and Functions in Bio-inspired Integrated Architectures: Designing and advancing neurosynaptic physical-time systems-a practical introduction and survey
Sijs et al. Can I do it
Rathi Legal issues and computational measures at the cross-section of AI, law and policy

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
REEP Request for entry into the european phase

Ref document number: 2001984118

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2001984118

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWP Wipo information: published in national office

Ref document number: 2001984118

Country of ref document: EP

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 10312985

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP