[go: up one dir, main page]

WO2025083011A1 - Système informatique de création de scénario pour système externe - Google Patents

Système informatique de création de scénario pour système externe Download PDF

Info

Publication number
WO2025083011A1
WO2025083011A1 PCT/EP2024/079112 EP2024079112W WO2025083011A1 WO 2025083011 A1 WO2025083011 A1 WO 2025083011A1 EP 2024079112 W EP2024079112 W EP 2024079112W WO 2025083011 A1 WO2025083011 A1 WO 2025083011A1
Authority
WO
WIPO (PCT)
Prior art keywords
scenario
data
external system
user
creating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2024/079112
Other languages
English (en)
Inventor
Mina GHOBRIAL
Mahmoud FAHMY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Twinworks
Original Assignee
Twinworks
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Twinworks filed Critical Twinworks
Publication of WO2025083011A1 publication Critical patent/WO2025083011A1/fr
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems

Definitions

  • the invention relates to a computer system for creating scenarios for an external system.
  • the invention relates to a computer system for creating scenarios for creating different scenarios from raw data representative of one or more components of the external system, for example instructions for assembly, repair, etc. of the external system, or for labeling and categorizing raw data relating to the external system, or the creation of a digital twin of one or more components of the external system or even of the external system as a whole.
  • the invention falls within the field of digital transformation and advanced human-machine interaction.
  • the invention fits into the concept of Industry 4.0, which refers to a desire for increased automation of industrial processes and the extensive use of machine learning methods.
  • the invention seeks to automate the creation of a scenario linked to an external system such as an object, an industrial machine or even an entire factory, these scenarios being able to be in particular the creation of instructions linked to a 3D model of the external system or the creation of a digital twin for interaction with a user.
  • the creation of interactive 3D instructions is a first example of a challenge raised by Industry 4.0. Augmented reality devices can be used to assist operators in setting up maintenance or repair procedures for the systems they need to work on. If the interfaces used to follow these interactive instructions are ergonomic, the However, setting up these interactive instructions is time-consuming and requires the use of dedicated software that is complex to use.
  • Creating digital twins also presents disadvantages in terms of creation time and software complexity.
  • dedicated solutions are generally inflexible and very expensive due to the difficulty of developing modules dedicated to each type of external system.
  • Another difficulty with digital twins is the implementation of the various interfaces with the sensors, which generally use APIs or communication buses whose configuration is complex to implement by a user who is not an API or communication bus specialist.
  • the inventors therefore sought to provide a solution to overcome these drawbacks, and in particular to automate the creation of scenarios.
  • the invention aims to provide a scenario creation system enabling the automation of the creation of scenarios dedicated to an external system, from raw data relating to at least one component of this external system.
  • the invention aims in particular to provide, in at least one embodiment, a scenario creation system reducing the number of manual interventions for the creation of the scenario.
  • the invention aims in particular to provide, in at least one embodiment, a scenario creation system configured to produce lists of interactive instructions on a 3D model of the external system or of one or more of its components.
  • the invention aims in particular to provide, in at least one embodiment, a scenario creation system configured to simplify the generation of a digital twin of the external system or of one or more of its components.
  • the invention relates to a computer system for creating scenario for the interaction of a user with an external system from raw data relating to at least one component of this external system, characterized in that it comprises a computer device called an algorithmic device comprising at least one processor and: a module for receiving from one or more databases said raw data, input data from a user, a predetermined data structure and a frame of at least one desired scenario, a module for creating a text query adapted to said desired scenario and to the external system, from a preconfigured query text, the predetermined data structure, the raw data and the scenario frame, in that the creation computer system further comprises an intelligent module comprising at least one machine learning model trained from a generic and/or specific data set and configured to receive as input data said text query and to generate as output data processed data representative of the desired scenario in which the raw data are conformed to the predetermined data structure according to the desired scenario frame, and in that the algorithmic device is further configured to receive the processed data and format said processed data to provide data intended for the user's interaction with the external
  • a computer system for creating a scenario therefore makes it possible to obtain, from raw data, a scenario relating to an external system which can be formatted by the algorithmic device for interaction with a user.
  • the formatting of the text query by the algorithmic device allows simplified, personalized and robust processing of the raw data to obtain output data which can be easily used by the algorithmic device for the implementation of this user interaction solution linked to the scenario.
  • the text query is generally known as prompt term in English.
  • the text query can include other data in addition to the text, such as image data, 3D model, etc., when the training model is a multimodal model capable of handling these types of data.
  • the creation system therefore makes it possible to autonomously and intuitively transform heterogeneous data, whether textual, visual (2D images), 3D models, etc., into a scenario, for example a sequence of interactive and animated 3D instructions, or an interface for the integration, editing and dynamic adaptation of digital twins.
  • the intelligent module is responsible for the interpretation, categorization, labeling and conversion of raw data into an intelligible file that can be processed by the algorithmic device.
  • the algorithmic device is particularly responsible for the recognition, naming, classification and description of the different components of the external system in the 3D models in order to create the link between these elements and the raw data which concern it, in particular the textual data.
  • the predetermined data structure and the scenario framework make it possible to provide the intelligent module with a skeleton to which the raw data are conformed after their processing by the intelligent module.
  • the data structure and the scenario framework are for example implemented in the form of a data structure as used in an object-oriented programming language, making it possible to categorize the components of the external system, their associated parameters, and the possible interaction during the implementation of the scenario.
  • Using the system to create interactive instructions provides a more immersive and effective user learning and application experience. Integrating a machine learning model could save up to 90% of time on content creation.
  • a raw list of instructions written in natural language is segmented and classified into separate steps, and options related to external system components can be selected, such as a display color, a component state (open, closed, on, off, etc.).
  • the intelligence module can also, from the scenario frame, select display options such as visual aids, arrows targeting a component, animations, representations of the component state, and associated parameters.
  • the output data of the intelligent module is consistent with the data structure and the provided scenario framework and is therefore easily interpretable by the algorithmic device.
  • the output data is, for example, integrated into a text file in JSON or XML format.
  • This output data is, for example, processed by the algorithmic device using a set of intelligent tools and scripts, such as algorithms for non-collision of parts, choice of view orientation, choice of screwing direction, etc.
  • the creation system automates the process of creating and adjusting digital twins, by integrating pre-programmed modules, allowing in particular communication with the APIs of the different components, in a coherent and real-time manner, while allowing the user to interact in natural language with the system.
  • the invention also allows in particular a significant reduction in the time taken to create instructions, an improvement in the accuracy and efficiency of the instruction generation process by integrating ergonomics standards into the creation process. Another advantage is to unify the vision of creating and interpreting an interactive guide (for example, the color red will be used to point to a part not to be touched and green for parts with which there will be interaction during a certain step).
  • the invention also offers greater flexibility in creating scenarios, thanks to its ability to process a variety of data types, as well as more robust and diverse data processing. By making it possible to transform traditional manuals into 3D guides Interactive, the authoring system facilitates more intuitive understanding and learning of procedures, thus improving the user experience and efficiency of product use.
  • the authoring system also enables data capitalization, by efficiently storing and managing the collected and processed data, thus enabling in-depth analysis and future use for various applications. This capitalized data can be exploited by mobilizing machine learning and artificial intelligence models to provide analyses, predictions and recommendations.
  • the authoring system also provides a user interface that combines speech recognition and text-to-speech to create an interactive dialogue between the user and the system, while adding visual aids to the scenario. This interactivity gives the impression of having a conversation with an intelligent assistant, allowing for more efficient problem-solving in the current operation.
  • a module may, for example, consist of a computing device such as a computer, a set of computing devices, an electronic component or a set of electronic components, or, for example, a computer program, a set of computer programs, a library of a computer program or a function of a computer program executed by a computing device such as a computer, a set of computing devices, an electronic component or a set of electronic components.
  • the raw data comprises one or more of the following elements: one or more two-dimensional images of at least one component of the external system, annotated or not, one or more three-dimensional models of at least one component of the external system, annotated or not, textual data relating to the external system, output data from a previous processing by the intelligent module, pre-programmed modules for generating a digital twin of the external system, the pre-programmed modules comprising modules for modeling the behavior of at least one component of the external system and/or modules for modeling interfacing with at least one component of the external system.
  • the raw data comprises at least text for obtaining the text query, and preferably a combination of several raw data formats.
  • Raw data can also include output data already obtained through the intelligent module of the external system.
  • This output data is then a pre-processing of the data, for example via categorization and labeling which makes it possible to simplify raw data for future processing.
  • This labeling and categorization can also make it possible to reduce the size of the raw data when the text query intended for the machine learning model is limited in size, or to reduce the cost if a machine learning model is implemented on an external server which charges for processing based on the size of the data.
  • the algorithmic device removes this information from the existing data, for example the existing names in the 3D model, the intelligent module can process the raw data in terms of recognition (by machine vision) and then send this classified, categorized and ordered information to the algorithmic module to store and reuse it directly or by passing it back through the intelligent module.
  • the algorithmic device has the function in this case of preparing the raw data (for example in terms of quantity of text so that it can be "processed" by the intelligent module) and sending it to the intelligent module to classify, categorize, etc.
  • the pre-programmed modules for generating a digital twin are of different types:
  • Modeling modules include technical characteristics of at least one component of the system to enable its simulation in the context of the scenario, for example to simulate a output based on input parameters, to simulate the query of sensor values, etc.
  • the interface modeling modules simplify the user's interaction with the digital twin by providing the communication bus or API (Application Programming Interface) information used for communication with the device.
  • the interface modeling modules are taken into account by the intelligent module to provide simplified interfacing, for example by allowing the user to use natural language that will be adapted to the interface used by the digital twin according to the settings provided by the interface modeling module.
  • pre-programmed modules can advantageously be provided to the system in the form of an extension module (plugin in English) which can be retrieved and added to the creation computer system according to the user's needs or the scenarios to be created.
  • extension module plugin in English
  • the scenario frame is chosen from one or more of the following scenario frames: an instruction scenario frame, configured for obtaining a list of instructions associated with actions relating to one or more components of the external system, for implementation by a human user, a raw data labeling and categorization scenario frame according to the predetermined data structure for obtaining labeled and categorized data suitable for use in the text query, a digital twin scenario frame, configured for obtaining a digital twin of at least one component of the external system, for a simulation of at least one component of the external system and for providing an interface for sending instructions or queries to said simulation of said component.
  • an instruction scenario frame configured for obtaining a list of instructions associated with actions relating to one or more components of the external system, for implementation by a human user
  • a raw data labeling and categorization scenario frame according to the predetermined data structure for obtaining labeled and categorized data suitable for use in the text query
  • a digital twin scenario frame configured for obtaining a digital twin of at least one component of the external system, for a simulation of at least
  • the different scenario frames make it possible to adapt the result to the user's needs.
  • the computer system is capable of adapting to the new frames proposed by the user to create the appropriate scenario.
  • the scenario may, for example, constitute a route of movement and action to be carried out in the external system which may be a city, a building (for example a factory), etc.
  • the invention can be used to create interactive 3D instructions for product assembly, thereby improving the customer experience and potentially reducing product returns.
  • the 3D instructions generated by the system can help technicians perform maintenance and repair operations more efficiently and with fewer errors.
  • Vocational Training The invention can be used in industrial environments to train workers in product assembly or the operation of complex machinery.
  • Museum tours could be used to create interactive guides for museum visitors, enhancing the tour experience.
  • the intelligent module is integrated into an external server accessible via the Internet and in that the creation system includes a communication network intended to transmit the textual request to the intelligent module and to receive as output data the processed data representative of the scenario.
  • At least one machine learning model of the intelligent module is in particular hosted on a server or a plurality of external servers whose query is accessible via the Internet by a dedicated API.
  • An example of such an implementation is the learning models of the company Open AI such as GPT-2, GPT-3 or GPT-4 via its ChatGPT service.
  • the intelligent module is integrated into a private server internal to the creation computer system and the machine learning model pre-trained by a data set is then adjusted for the creation of scenarios from textual queries adapted to a plurality of scenarios and a plurality of external systems.
  • At least one machine learning model can be managed in an internal server and preferably finely tuned according to the needs of the scenario creation computer system.
  • the internal integration of the learning model makes it possible to maintain total management of the exchanged data and limit the risks of confidentiality issues.
  • An example of such a learning model that can be integrated into an internal server is, for example, the LLaMa machine learning model from the company Meta AI.
  • the machine learning model is a large-scale machine learning model.
  • a large machine learning model refers to a machine learning model comprising a large number of parameters (generally at least one million, in practice several billion or even billions or trillions of parameters), and generally trained with a large dataset, in particular several million, billions, trillion or more words or tokens.
  • the large-scale machine learning model is a machine learning model from one or a combination of the elements of the following list: a large-scale language model, a large-scale multimodal model, a large-scale foundation model, a model intended for image processing, in particular recognition of shapes in an image and/or image segmentation.
  • these different types of models can be used alone or in combination to compose the intelligent module.
  • a model intended for image processing can be used to carry out a first pass and the output data of this model are transmitted to a large multimodal model with the other raw data.
  • LLM Large language models are better known as LLM and can handle text data. Examples of these models are Google's BERT, OpenAI's GPT-2, GPT-3, and GPT-4, Meta AI's LLaMa and LLaMa 2, and Alpaca, derived from LLaMa.
  • LMM Large Multimodal Model
  • the large multimodal model is better known as LMM for Large Multimodal Model in English, and designates a model allowing to process data of any type, in particular textual, visual, etc.
  • LMMs can for example be derived from LLM, in particular by pre-processing image data to obtain textual data, or created specifically to be multimodal.
  • LFMs Large Foundation Models
  • LFMs Large Foundation Models
  • the invention also relates to a user system for creating scenario for user interaction with an external system, characterized in that it comprises a computer system for creating a scenario according to the invention and a user interface device comprising: information input means configured to allow the user to enter input data, select the scenario and the raw data used, preprocess the raw data, and interact with the data intended for user interaction with the external system according to the created scenario, information display means configured to display information relating to the scenario creation system and/or display a visual representation of the data intended for user interaction with the external system according to the created scenario.
  • a user system therefore makes it possible to provide the user with a user interface allowing the user to interact with the computer system for creating scenarios, upstream for the creation of the scenario and downstream for the interaction with the external system according to the scenario created.
  • the user can act upstream to adjust the desired scenario to his needs, then downstream implement a process following the interactive instructions created.
  • the user can select upstream the components of the external system that will be integrated into the digital twin and select the desired interactions, and downstream interact with the digital twin, preferably in natural language directly from the user system.
  • the display means may combine several components, such as a screen, an augmented reality device, a virtual reality device, a mixed reality device.
  • the scenario accompanied for example by a 3D model of one or more components of the external system or of the entire external system may for example be displayed on the display means.
  • the data displayed may be managed in software integrated and dedicated to the computer system or managed by external software receiving the data from the computer system provided in a file format that can be read by this external software.
  • the invention also relates to a computer system for creating scenarios and a user system characterized in combination by all or part of the characteristics mentioned above or below.
  • FIG. 1 is a schematic view representing a computer creation system according to an embodiment of the invention and the various data processing operations carried out by this creation system.
  • Figure 1 schematically represents a computer creation system 10 according to an embodiment of the invention and the different data processing operations carried out by this creation system.
  • the computer system 10 allows the creation of a scenario for the interaction of a user with an external system 12 from raw data 14a, 14b, 14c, 14d relating to at least one component of this external system.
  • the system 10 comprises in particular a computer device called an algorithmic device 16 comprising at least one processor.
  • the raw data are for example one or more two-dimensional images 14a, one or more three-dimensional models 14b, textual data 14c, and any other type of data 14d, in particular preconfigured modules for the creation of digital twins.
  • the algorithmic device 16 further comprises a module 16a of receiving from one or more databases 18 said raw data, input data from a user, a predetermined data structure and a frame of at least one desired scenario.
  • the database 18 may in particular comprise the data 14a, 14b, 14c, 14d, even if they are here schematically represented outside the database.
  • the algorithmic device 16 may also comprise a data integration module capable of processing the collected data in combination with documentation data relating to the external system, such as technical manuals, diagrams, 3D models or operating history data.
  • the algorithmic device 16 also comprises a module 16b for creating a text query 20 adapted to said desired scenario and to the external system, from a preconfigured query text, the predetermined data structure, the raw data and the scenario frame.
  • the computer creation system 10 further comprises an intelligent module 22 comprising at least one machine learning model 24 (or digital learning model), preferably a large machine learning model, trained from a generic and/or specific data set and configured to receive as input data said text query 20 and to generate as output data processed data 26 representative of the desired scenario in which the raw data are conformed to the predetermined data structure according to the desired scenario frame. If necessary, the intelligent module 22 transmits to the algorithmic device 16 the data exchange format 28 so that the creation of the text query 20 is compliant with the received format.
  • the intelligent module 22 can be hosted in an internal private server or managed by an external server accessible from the Internet.
  • a user system may include a computer system as described and enable interaction with a user and display of raw data and processed data.
  • the text query is in particular a prompt type query comprising one or more messages and giving the intelligent module the instructions for processing raw data.
  • a simplified prompt in French for generating, in the manner of an object-oriented program, a scenario (class "Scenario") comprising a list of steps (class “Steps”) associated with components (class “Components”) is for example the following:
  • a first message intended to define the classes of the objects to be processed that is to say the data structure: "New message ⁇ " the text query must be transcribed in a JSON format which takes the form of a "Scenario" object with the following structure: class: class Scenario ⁇ string ProductName; string ScenarioTitle; List ⁇ steps> Steps; ⁇ class Steps ⁇ string StepTitle; string TextDescription; List ⁇ Component> Components; ⁇ class Component ⁇ string ComponentName; bool Highlight; string _material; string _color; string VisualIndication; string _VisualIndicationPosition; string _VisualIndicationOrientation; ⁇ " ⁇ .
  • a message indicating the colors to be chosen for the highlighted components New message ⁇ “If components are selected, the highlighting is done by default and a color chosen, green for components to be used or moved, blue to attract attention and red for security information” ⁇
  • New message “The choices of visual indications are as follows”+ScenarioRequest.VisualIndications+ “, they will be attached to the component concerned (example: PressButton to button type components” ⁇
  • the parts in quotes are strings that are conveniently concatenated with raw data from the Scenario or ScenarioQuery classes that are integrated into the data structure.
  • the text query can advantageously be written in French, English or another language if the learning model is more efficient in that language, in particular if the learning model has been trained with a larger volume of words from that language.
  • the text query can also include image data, 3D model, etc., in addition to the text.
  • Blocks 30, 32 and 34 schematically represent the selection of the scenario to be created, which is carried out in the intelligent module 22.
  • the desired scenario is selected.
  • An example of a first scenario 32 may be a scenario of interactive instructions to be provided to the user.
  • An example of a second scenario 34 may be a scenario of data categorization and labeling.
  • Other examples of scenarios are, for example, the creation of digital twins.
  • the algorithmic device 16 is further configured to receive the processed data 26 and format said processed data 26 to provide data 36 intended for the user's interaction with the external system according to the created scenario.
  • the data is in particular accessible to a user 40 via a user system 38 comprising interaction means and display means.
  • the raw data includes pre-programmed modules of different types dedicated to this creation or interaction.
  • the modules can be, for example: modules for modeling the behavior of at least one external system component, in particular for sensors, actuators, communication interfaces and other elements of the product architecture interfacing modeling modules with at least one external system component, i.e. modules that can automatically integrate with the product's APIs, for easy and dynamic access to data.
  • these modules have interfaces that can be linked to various types of sensors (temperature, pressure, etc.), actuators (motors, cylinders, etc.), and other APIs to allow a wide variety of configurations. Modules also allow integration with the product's APIs, for easy and dynamic access to data.
  • the raw data may also include pre-built simulation environments that can be attached to real-time sensors for data visualization in various potential forms (3D model, 2D, graph, curves, spreadsheet, etc.).
  • the computer system 10 may also include a data acquisition module designed to collect and capitalize on real-time data from physical sensors associated with the external system and/or one of its interfaces (API/UI).
  • sensors may, for example, be temperature sensors, pressure sensors, position sensors, cameras, microphones, or any other measuring device adapted to the environment of which a digital twin is to be created.
  • This data can be collected and capitalized, for example to enable in-depth analysis and future use for various applications, in particular by mobilizing machine learning and artificial intelligence models to provide analyses, predictions and recommendations, or even for training machine learning models.
  • machine learning models can be used to predict the future behavior of the external system, identify potential anomalies, anticipate maintenance needs (predictive maintenance), and/or optimize system performance.
  • the digital twin thus generated faithfully represents the external system and is updated in real time based on the data collected.
  • a possible embodiment for implementing a digital twin scenario is, for example, based on a graphical language or visual scripting or visual programming implementation, where the pre-programmed modules are represented by nodes, whether they are nodes representing components of the external system, nodes representing sensors or nodes representing interfaces.
  • nodes of a data layer including sensors, for example temperature sensors, pressure sensors, etc.
  • nodes of a communication layer configured for defining real-time communication protocols, communication security protocols
  • nodes of a model layer including 2D models, 3D models, semantic models, etc.
  • nodes of an analysis layer configured for data analytics, machine learning, diagnostics, and other types of analysis
  • nodes of an action layer configured for control adjustments, maintenance plans, or other actions.
  • the smart module then functions as a controller in orchestrating the nodes, linking them appropriately based on the scenario and user needs.
  • the smart module can further generate or control node parameters in real time. For example, if a user wants to track the temperature, the smart module can generate an instance of a temperature sensor node and connect it to the 3D model to display this data.
  • the graphical language implementation is visually accessible to the user who can modify it in its user system interface.
  • the intelligent module can also generate an output wizard that processes user queries in natural language and data in various forms (text, image, 3D models, etc.) in the process of integrating components into the existing digital twin or creating a new digital twin.
  • the user can interact with the system to add, remove or adjust modules, and the intelligent module acts accordingly to rearrange and adjust the digital twin and produce suggestions to the user.
  • Pre-processing modules can also allow the management of physical parameters related to the external system, for example so that the management of the kinematics of the digital twin is analogous to the kinematics of the external system.
  • the movement of a virtual part of the digital twin will be subject to kinematic constraints analogous to those of the external system, in particular in its interaction with other parts.
  • a user interaction module allows a user to interact directly with the digital twin through various interfaces, including text queries, spatial or two-dimensional user interfaces, and/or voice commands.
  • User interaction with the digital twin includes, among other things, the ability to provide information to the digital twin, obtain information from the digital twin, perform simulations, control and modify aspects of the digital twin, and/or use the leveraged intelligence to receive analyses, predictions or advice based on the data collected and processed by the system.
  • This interaction with the digital twin limits direct interaction with the real physical environment, as the digital twin can mimic the user’s actions in relation to the real system.
  • the user can also modify parameters of the digital twin and observe the impacts via simulations or visualizations.
  • User interaction can be enhanced by interpreting voice commands using a natural language processing module, allowing corresponding actions to be performed on the digital twin, through the possibility to use a virtual or augmented reality interface, to superimpose the digital twin of the system on the real system, by supporting several interaction modes for maximum flexibility (text, voice, graphical interface, etc.).
  • the creation system also allows control and synchronization with the external system, in particular via a real-time update of the digital twin based on data from the external system, ensuring a faithful representation at all times, via a two-way interaction between the digital twin and the external system, allowing the external system to be controlled via the digital twin, and/or via capitalization of interactions, by recording and analyzing these interactions with the digital twin to continuously improve the system.
  • the algorithmic device includes everything that is programmed and pre-programmed as tools created in classical code, while the intelligent module is responsible for organizing data and raw user queries to simplify communication and completion of user intentions to integrate an external system within the digital twin of the target entity, thus creating a complete and flexible architecture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

L'invention concerne un système informatique de création de scénario pour l'interaction avec un système externe à partir de données (14a, 14b, 14c, 14d) brutes relatives à au moins un composant de ce système externe, comprenant un dispositif (16) algorithmique comprenant un module (16a) de réception desdites données (14a, 14b, 14c, 14d) brutes, de données d'entrée d'un utilisateur, d'une structure de données et d'une trame de scénario souhaité, et un module (16b) de création d'une requête (20) textuelle, le système informatique comprenant aussi un module (22) intelligent comprenant un modèle (24) d'apprentissage automatique configuré pour recevoir en tant que donnée d'entrée ladite requête (20) textuelle et pour générer comme données de sortie des données traitées représentatives du scénario souhaité, et en ce que le dispositif (16) algorithmique est en outre configuré pour recevoir les données traitées et les mettre en forme pour l'interaction de l'utilisateur selon le scénario créé.

Description

DESCRIPTION
TITRE DE L’INVENTION : SYSTÈME INFORMATIQUE DE CRÉATION DE SCÉNARIO POUR SYSTÈME EXTERNE
Domaine technique de l’invention
L’invention concerne un système informatique de création de scénario pour un système externe. En particulier, l’invention concerne un système informatique de création de scénario permettant de créer différents scénario à partir de données brutes représentatives d’un ou plusieurs composants du système externe, par exemple des instructions de montage, réparation, etc. du système externe, ou d’étiquetage et de catégorisation des données brutes relatives au système externe, ou la création d’un jumeau numérique d’un ou plusieurs composants du système externe voire du système externe dans sa globalité.
Arrière-plan technologique
L’invention se place dans le domaine de la transformation numérique et de l’interaction homme-machine avancée. En particulier l’invention s’intégre dans le concept d’industrie 4.0 qui désigne une volonté d’automatisation accentuée du process industriel et l’utilisation poussée de méthodes d’apprentissage automatique (Machine Learning en anglais).
En particulier, l’invention cherche à automatiser la création de scénario lié à un système externe tel qu’un objet, une machine industrielle voire une usine entière, ces scénarios pouvant être en particulier la création d’instructions liés à un modèle 3D du système externe ou la création d’un jumeau numérique pour une interaction avec un utilisateur.
La création d’instructions interactives en 3D est un premier exemple de défi soulevé par l’industrie 4.0. Les dispositifs de réalité augmentée permettent notamment d’assister des opérateurs pour la mise en place de procédures de maintenance ou de réparation des systèmes sur lesquels ils doivent intervenir. Si les interfaces permettant le suivi de ces instructions interactives sont ergonomiques, la mise en place de ces instructions interactives est toutefois chronophage et requiert l’utilisation de logiciels dédiés complexes à prendre en main.
La création de jumeaux numériques présente également des inconvénients en termes de temps de création et de complexité des logiciels. En outre, les solutions dédiées sont généralement peu flexibles et très coûteuses par la difficulté de développer les modules dédiés à chaque type de système externe. Une autre difficulté des jumeaux numériques est la mise en place des différentes interfaces avec les capteurs, qui font appel généralement à des API ou des bus de communication dont le paramétrage est complexe à mettre en œuvre par un utilisateur non spécialiste de l’API ou du bus de communication.
Les inventeurs ont donc cherché à fournir une solution pour pallier ces inconvénients, et en particulier pour automatiser la création de scénario.
Objectifs de l’invention
L’invention vise à fournir un système de création de scénario permettant l’automatisation de la création de scénario dédiés à un système externe, à partir de données brutes relatives à au moins un composant de ce système externe.
L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un système de création de scénario réduisant le nombre d’intervention manuelle pour la création du scénario.
L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un système de création de scénario configuré pour produire des listes d’instructions interactives sur un modèle 3D du système externe ou d’un ou plusieurs de ses composants.
L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un système de création de scénario configuré pour simplifier la génération d’un jumeau numérique du système externe ou d’un ou plusieurs de ses composants.
Exposé de l’invention
Pour ce faire, l’invention concerne un système informatique de création de scénario pour l’interaction d’un utilisateur avec un système externe à partir de données brutes relatives à au moins un composant de ce système externe, caractérisé en ce qu’il comprend un dispositif informatique dit dispositif algorithmique comprenant au moins un processeur et : un module de réception à partir d’une ou plusieurs bases de données desdites données brutes, de données d’entrée d’un utilisateur, d’une structure de données prédéterminée et d’une trame d’au moins un scénario souhaité, un module de création d’une requête textuelle adaptée audit scénario souhaité et au système externe, à partir d’un texte de requête préconfiguré, de la structure de données prédéterminée, des données brutes et de la trame de scénario, en ce que le système informatique de création comprend en outre un module intelligent comprenant au moins un modèle d’apprentissage automatique entraîné à partir d’un jeu de données générique et/ou spécifique et configuré pour recevoir en tant que donnée d’entrée ladite requête textuelle et pour générer comme données de sortie des données traitées représentatives du scénario souhaité dans lesquelles les données brutes sont conformées à la structure de données prédéterminée selon la trame de scénario souhaitée, et en ce que le dispositif algorithmique est en outre configuré pour recevoir les données traitées et mettre en forme lesdites données traitées pour fournir des données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé.
Un système informatique de création de scénario selon l’invention permet donc d’obtenir, à partir de données brutes, un scénario relatif à un système externe pouvant être mis en forme par le dispositif algorithmique pour une interaction avec un utilisateur. La mise en forme de la requête textuelle par le dispositif algorithmique permet un traitement simplifié, personnalisé et robuste des données brutes pour l’obtention de données de sortie facilement exploitables par le dispositif algorithmique pour la mise en œuvre de cette solution d’interaction avec l’utilisateur liée au scénario. La requête textuelle est généralement connue sous le terme prompt en anglais. La requête textuelle peut comprendre d’autres données en complément du texte, comme des données d’images, de modèle 3D, etc, lorsque le modèle d’apprentissage est un modèle multimodal capable de prendre en charge ce types de données.
Le système de création permet donc de transformer de manière autonome et intuitive des données hétérogènes, qu’elles soient textuelles, visuelles (images 2D), des modèles 3D, etc., en un scénario, par exemple une séquence d’instructions interactives et animées en 3D, ou bien une interface d’intégration, édition et adaptation dynamique de jumeaux numériques.
Le système de création se base sur une architecture bifonctionnelle qui se base sur le dispositif algorithmique en échange bidirectionnel avec le module intelligent pour un traitement optimisé des données brutes d’entrée du système et des données de sortie résultante du traitement par le modèle d’apprentissage automatique.
Le module intelligent est notamment responsable de l’interprétation, de la catégorisation, de l’étiquetage et de la conversion des données brutes en un fichier intelligible et traitable par le dispositif algorithmique.
Le dispositif algorithmique est notamment responsable de la reconnaissance, nomination, classification et description des différents composants du système externe dans les modèles 3D afin de créer la liaison entre ces éléments et les données brutes qui le concernent, en particulier les données textuelles.
En particulier, la structure de données prédéterminées et la trame de scénario permettent de fournir au module intelligent un squelette auquel sont conformées les données brutes après leur traitement par le module intelligent. La structure de données et la trame de scénario sont par exemple mis en œuvre sous la forme d’une structure de données tel qu’utilisée dans un langage de programmation orientée objet, permettant de catégoriser les composants du système externe, leurs paramètres associés, et l’interaction possible lors de la mise en œuvre du scénario.
L’utilisation du système pour la création d’instructions interactives permet d’offrir à l’utilisateur une expérience d’apprentissage et d’application plus immersive et efficace. L’intégration d’un modèle d’apprentissage automatique pourrait permettre d’obtenir un gain de temps de jusqu’à 90% sur la création de contenu. En particulier, une liste d’instructions brute écrite en langage naturelle est segmentée et classifiée en différentes étapes distinctes, et les options relatives aux composants du système externe peuvent être sélectionnées, par exemple une couleur d’affichage, un état du composant (ouvert, fermé, allumé, éteint, etc.).
Le module d’intelligence peut également, à partir de la trame de scénario, sélectionner des options d’affichage tels que aides visuelles, des flèches ciblant un composant, des animations, des représentations de l’état du composant, et les paramètres associés.
Les données de sortie du module intelligent est conformée à la structure de données et à la trame de scénario fournie et sont donc facilement interprétables par le dispositif algorithmique. Les données de sortie sont par exemple intégrées dans un fichier texte au format JSON ou XML. Ces données de sortie sont par exemple traitées par le dispositif algorithmique grâce à un ensemble d’outils intelligents et de scripts, tel que des algorithmes de non-collision de pièces, de choix d’orientation des vues, de choix du sens de vissage, etc.
Pour la génération de jumeaux numériques, le système de création permet d’automatiser le processus de création et l’ajustement des jumeaux numériques, en y intégrant des modules préprogrammés, permettant notamment la communication avec les API des différents composants, de manière cohérente et en temps réel, tout en permettant à l’utilisateur d’interagir en langage naturel avec le système.
L'invention permet également notamment une réduction significative du temps de création des instructions, une amélioration de la précision et de l'efficacité du processus de génération d'instructions en intégrant les normes de l’ergonomie dans le processus de création. Un autre avantage est d’unifier la vision de création et d’interprétation d’un guide interactif (par exemple, la couleur rouge sera utilisée pour pointer vers une pièce à ne pas toucher et le vert pour les pièces avec lesquelles il y aura une interaction lors d’une certaine étape). L’invention offre également une plus grande flexibilité dans la création de scénarios, grâce à sa capacité à traiter une variété de types de données, ainsi qu'un traitement de données plus robuste et diversifié. En permettant de transformer les manuels traditionnels en guides 3D interactifs, le système de création facilite une compréhension et un apprentissage plus intuitifs des procédures, améliorant ainsi l'expérience utilisateur et l'efficacité de l'utilisation des produits. Le système de création permet en outre une capitalisation des données, en permettant de stocker et gérer efficacement les données collectées et traitées permettant ainsi une analyse approfondie et une utilisation future pour diverses applications. Ces données capitalisées peuvent être exploitées en mobilisant des modèles d’apprentissages automatique et d’intelligence artificielle pour fournir des analyses, des prédictions et des recommandations .
Le système de création permet également de fournir une interface utilisateur qui combine la reconnaissance vocale et la synthèse vocale pour créer un dialogue interactif entre l'utilisateur et le système, tout en ajoutant dans le scénario des aides visuelles. Cette interactivité donne l'impression d'avoir une conversation avec un assistant intelligent, permettant de résoudre plus efficacement les problèmes de l'opération en cours.
Dans tout le texte, un module peut par exemple consister en un dispositif informatique tel qu’un ordinateur, d’un ensemble de dispositifs informatiques, d’un composant électronique ou d’un ensemble de composants électroniques, ou par exemple d’un programme informatique, d’un ensemble de programmes informatiques, d’une librairie d’un programme informatique ou d’une fonction d’un programme informatique exécuté par un dispositif informatique tel qu’un ordinateur, un ensemble de dispositifs informatiques, un composant électronique ou un ensemble de composants électroniques.
Avantageusement et selon l’invention, les données brutes comprennent un ou plusieurs des éléments suivants : une ou plusieurs images bidimensionnelles d’au moins un composant du système externe, annotées ou non, un ou plusieurs modèles tridimensionnels d’au moins un composant du système externe, annotés ou non, données textuelles relatives au système externe, des données de sortie d’un précédent traitement par le module intelligent, des modules préprogrammés pour la génération d’un jumeau numérique du système externe, les modules préprogrammés comprenant des modules de modélisation du comportement d’au moins un composant du système externe et/ou des modules de modélisation d’interfaçage avec au moins un composant du système externe.
Selon cet aspect de l’invention, les données brutes comprennent au minimum du texte pour l’obtention de la requête textuelle, et de préférence une combinaison de plusieurs formats de données brutes.
Les données brutes peuvent également comprendre des données de sortie déjà obtenues grâce au module intelligent du système externe. Ces données de sortie sont alors un pré-traitement des données, par exemple via la catégorisation et l’étiquetage qui permet de simplifier des données brutes pour un futur traitement. Cet étiquetage et catégorisation peut également permettre de réduire la taille des données brutes lorsque la requête textuelle destinée au modèle d’apprentissage automatique est limité en taille, ou pour réduire le coût si un modèle d’ apprentissage automatique est implémenté sur un serveur externe qui facture le traitement en fonction de la taille des données. Le dispositif algorithmique retire ces informations des données existantes, par exemple les noms existants dans le modèle 3D, le module intelligent peut traiter les données brutes en termes de reconnaissance (par vision machine) et ensuite envoyer ces informations classées, catégorisées et ordonnées au module algorithmique pour le stocker et le réutiliser directement ou en le repassant par le module intelligent. Le dispositif algorithmique a comme fonction dans ce cas là, de préparer les données brutes (par exemple en termes de quantité de texte pour qu’elle soit « traitable » par le module intelligent) et les envoyer au module intelligent pour les classer, catégoriser, etc.
Les modules préprogrammés pour la génération d’un jumeau numérique sont de différents types :
Les modules de modélisation comprennent des caractéristiques techniques d’au moins un composant du système pour permettre sa simulation dans le contexte du scénario, par exemple pour simuler une sortie en fonction de paramètres d’entrées, pour simuler la requête de valeurs de capteurs, etc.
Les modules de modélisation d’interfaçage permettent notamment de simplifier l’interaction de l’utilisateur avec le jumeau numérique en fournissant les informations de bus de communication ou d’API (interface de programmation d’application, ou Application Programming Interface en anglais) utilisés pour la communication avec l’appareil. Les modules de modélisation d’interfaçage sont pris en compte par le module intelligent pour fournir un interfaçage simplifié, par exemple en permettant à l’utilisateur d’utiliser le langage naturel qui sera adapté à l’interface utilisée par le jumeau numérique selon les paramétrages fournis par le module de modélisation d’interfaçage.
Ces modules préprogrammés peuvent avantageusement être fournis au système sous la forme de module d’extension (plugin en anglais) qui peuvent être récupérés et ajoutés au système informatique de création en fonction des besoins de l’utilisateur ou des scénarios à créer.
Avantageusement et selon l’invention, la trame de scénario est choisie parmi une ou plusieurs des trames de scénario suivantes : une trame de scénario d’instructions, configuré pour l’obtention d’une liste d’instructions associées à des actions relatives à un ou plusieurs composants du système externe, pour une mise en œuvre par un utilisateur humain, une trame de scénario d’étiquetage et de catégorisation des données brutes selon la structure de données prédéterminée pour l’obtention de données étiquetées et catégorisées adaptée pour être utilisées dans la requête textuelle, une trame de scénario de jumeau numérique, configuré pour l’obtention d’un jumeau numérique d’au moins un composant du système externe, pour une simulation d’au moins un composant du système externe et pour la fourniture d’une interface d’envoi d’instructions ou de requêtes à ladite simulation dudit composant.
Selon cet aspect de l’invention, les différentes trames de scénario permettent d’adapter le résultat aux besoins de l’utilisateur. Le système informatique est capable de s’adapter aux nouvelles trames proposées par l’utilisateur pour créer le scénario adéquat.
Selon d’autres variantes de l’invention, le scénario peut par exemple constituer un itinéraire de déplacement et d’action à réaliser dans le système externe qui peut être une ville, un bâtiment (par exemple une usine), etc.
En particulier, des exemples d’applications sont :
Assemblage de produits : L'invention peut être utilisée pour créer des instructions interactives en 3D pour l'assemblage de produits, améliorant ainsi l'expérience du client et réduisant potentiellement les retours de produits.
Maintenance et réparation : Les instructions en 3D générées par le système peuvent aider les techniciens à effectuer des opérations de maintenance et de réparation plus efficacement et avec moins d'erreurs. Formation professionnelle : L'invention peut être utilisée dans des environnements industriels pour former les travailleurs à l'assemblage de produits ou à l'utilisation de machines complexes.
Éducation : Les instructions interactives en 3D pourraient être utilisées dans un contexte éducatif pour aider les étudiants à comprendre des concepts complexes.
Guides de consommateurs : L’invention pourrait être utilisée en tant qu’alternatif aux manuels d’utilisateurs, au vu de son caractère plus parlant que les instructions textuelles et illustrées.
Visites guidées de musées : Les instructions en 3D pourraient être utilisées pour créer des guides interactifs pour les visiteurs de musées, améliorant ainsi l'expérience de la visite.
Avantageusement et selon l’invention, le module intelligent est intégré à un serveur externe accessible par l’Internet et en ce que le système de création comprend un réseau de communication destiné à transmettre la requête textuelle au module intelligent et à recevoir comme données de sortie les données traitées représentatives du scénario.
Selon cet aspect de l’invention, au moins un modèle d’apprentissage automatique du module intelligent est en particulier hébergé sur un serveur ou une pluralité de serveurs externes dont l’interrogation est accessible via Internet par une API dédiée. Un exemple d’une telle implémentation est les modèles d’apprentissage de la société Open AI tels que GPT-2, GPT-3 ou GPT-4 via son service ChatGPT.
Avantageusement et selon l’invention, le module intelligent est intégré à un serveur privé interne au système informatique de création et le modèle d’apprentissage automatique pré-entraîné par un jeu de données est ensuite réglé pour la création de scénario à partir de requêtes textuelles adaptées à une pluralité de scénarios et une pluralité de système externe.
Selon cet aspect de l’invention, au moins un modèle d’apprentissage automatique peut être géré dans un serveur interne et de préférence réglé finement selon les besoins du système informatique de création de scénario. L’intégration en interne du modèle d’apprentissage permet de conserver la gestion totale des données échangés et limiter les risques de problème de confidentialité. Un exemple de tel modèle d’apprentissage pouvant être intégré dans un serveur interne est par exemple le modèle d’apprentissage automatique LLaMa de la société Meta AI.
Avantageusement et selon l’invention, le modèle d’apprentissage automatique est un modèle d’apprentissage automatique de grande taille.
Un modèle d’apprentissage automatique de grande taille, désigné en anglais par « Large Model », désigne un modèle d’apprentissage automatique comprenant un grand nombre de paramètres (généralement au moins un million, en pratique plusieurs milliards voir billions ou trillions de paramètres), et généralement entraîné avec un jeu de données de taille importante, en particulier plusieurs millions, milliards, billion ou davantage de mots ou de jeton (token en anglais). Avantageusement et selon l’invention, le modèle d’apprentissage automatique de grande taille est un modèle d’apprentissage automatique parmi l’un ou une combinaison des éléments de la liste suivante : un modèle de langage de grande taille, un modèle multimodal de grande taille, un modèle de fondation de grande taille, un modèle destiné au traitement d’ image, en particulier reconnaissance de formes dans une image et/ou segmentation d’image.
Selon cet aspect de l’invention, ces différents types de modèles peuvent être utilisés seuls ou en combinaison pour composer le module intelligent. Par exemple, un modèle destiné au traitement d’image peut permettre de réaliser une première passe et les données de sortie de ce modèle sont transmis à un modèle multimodal de grande taille avec les autres données brutes.
Le modèle de langage de grande taille est plus connu sous le nom de LLM pour Large Langage Model en anglais et permet de traiter des données textuelles. Des exemples de ces modèles sont BERT de Google, GPT-2, GPT-3 et GPT-4 de la société OpenAI, LLaMa et LLaMa 2 de la société Meta AI, Alpaca dérivé de LLaMa, etc.
Le modèle multimodal de grande taille est plus connu sous le nom de LMM pour Large Multimodal Model en anglais, et désigne un modèle permettant de traiter des données de tout type, en particulier textuelles, visuelles, etc. Les LMM peuvent par exemple être dérivés de LLM, en particulier par pré-traitement de données d’image pour obtenir des données textuelles, ou bien créés spécifiquement pour être multimodaux.
Les modèles de fondation de grande taille sont plus connus sous le nom de LFM pour Large Fondation Model en anglais. Ces modèles utilisent des données de tout type tel les modèles multimodaux, et sont en outre par nature très généralistes mais particulièrement conçus pour être réglés finement (fine tuning en anglais) pour être adaptés à des situations spécifiques.
L’invention concerne également un système utilisateur pour la création de scénario pour l’interaction de l’utilisateur avec un système externe, caractérisé en ce qu’il comprend un système informatique de création de scénario l’invention et un dispositif d’interface utilisateur comprenant : des moyens de saisie d’informations configurés pour permettre à l’utilisateur l’entrée de données d’entrée, la sélection du scénario et des données brutes utilisées, un prétraitement des données brutes, et l’interaction avec les données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé, des moyens d’affichage d’informations configurés pour l’affichage d’informations relatives au système de création de scénario et/ou l’affichage d’une représentation visuelle des données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé.
Un système utilisateur selon l’invention permet donc, de fournir à l’utilisateur une interface utilisateur permettant l’interaction de l’utilisateur avec le système informatique de création de scénario, en amont pour la création du scénario et en aval pour l’interaction avec le système externe selon scénario créé.
Par exemple, lorsque le scénario concerne des instructions interactives, l’utilisateur peut agir en amont pour ajuster le scénario souhaité à ses besoins, puis en aval mettre en œuvre un procédé suivant les instructions interactives créés.
En autre exemple, lorsque le scénario concerne un jumeau numérique, l’utilisateur peut sélectionner en amont les composants du système externe qui seront intégré au jumeau numérique et sélectionner les interactions souhaitées, et en aval interagir avec le jumeau numérique, de préférence en langage naturel directement depuis le système utilisateur.
Les moyens d’affichage peuvent combiner plusieurs composants, tel qu’un écran, un dispositif de réalité augmentée, un dispositif de réalité virtuelle, un dispositif de réalité mixte. Le scénario accompagné par exemple d’un modèle 3D d’un ou plusieurs composants du système externe ou du système externe entier peuvent par exemple être affichés sur les moyens d’affichage. Les données affichées peuvent être gérées dans un logiciel intégré et dédié au système informatique ou bien gérées par un logiciel externe recevant les données issues du système informatique fournies dans un format de fichier pouvant être lu par ce logiciel externe.
L'invention concerne également un système informatique de création de scénario et un système utilisateur caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci-après.
Liste des figures
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles :
- [Fig. 1] est une vue schématique représentant un système informatique de création selon un mode de réalisation de l’invention et les différents traitements des données opérés par ce système de création.
Description détaillée d’un mode de réalisation de l’invention
Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté.
Les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures.
La figure 1 représente schématiquement un système 10 informatique de création selon un mode de réalisation de l’invention et les différents traitements des données opérés par ce système de création.
Le système 10 informatique permet la création de scénario pour l’interaction d’un utilisateur avec un système 12 externe à partir de données 14a, 14b, 14c, 14d brutes relatives à au moins un composant de ce système externe. Le système 10 comprend en particulier un dispositif informatique dit dispositif 16 algorithmique comprenant au moins un processeur. Les données brutes sont par exemple une ou plusieurs images 14a bidimensionnelles, un ou plusieurs modèles 14b tridimensionnels, des données 14c textuelles, et tout autre type de données 14d, en particulier des modules préconfigurés pour la création de jumeaux numériques.
Le dispositif 16 algorithmique comprend en outre un module 16a de réception à partir d’une ou plusieurs bases 18 de données desdites données brutes, de données d’entrée d’un utilisateur, d’une structure de données prédéterminée et d’une trame d’au moins un scénario souhaité. La base 18 de données peut en particulier comprendre les données 14a, 14b, 14c, 14d, même si elles sont ici schématiquement représentées hors de la base de données. Le dispositif 16 algorithmique peut également comprendre un module d’intégration des données capable de traiter les données recueillies en combinaison avec des données de documentation relatives au système externe, telles que des manuels techniques, schémas, modèles 3D ou données d’historique de fonctionnement.
Le dispositif 16 algorithmique comprend également un module 16b de création d’une requête 20 textuelle adaptée audit scénario souhaité et au système externe, à partir d’un texte de requête préconfiguré, de la structure de données prédéterminée, des données brutes et de la trame de scénario.
Le système 10 informatique de création comprend en outre un module 22 intelligent comprenant au moins un modèle 24 d’apprentissage automatique (ou modèle d’apprentissage numérique), de préférence un modèle d’apprentissage automatique de grande taille, entraîné à partir d’un jeu de données générique et/ou spécifique et configuré pour recevoir en tant que donnée d’entrée ladite requête 20 textuelle et pour générer comme données de sortie des données 26 traitées représentatives du scénario souhaité dans lesquelles les données brutes sont conformées à la structure de données prédéterminée selon la trame de scénario souhaitée. Si nécessaire, le module 22 intelligent transmet au dispositif 16 algorithmique le format 28 d’échange de données pour que la création de la requête 20 textuelle soit conforme au format reçu. Le module 22 intelligent peut être hébergé dans un serveur privé interne ou bien géré par un serveur externe accessible depuis l’Internet.
Un système utilisateur, non représenté, peut comprendre un système informatique tel que décrit et permettre l’interaction avec un utilisateur et l’affichage des données brutes et des données traitées.
La requête textuelle est en particulier une requête de type prompt comprenant un ou plusieurs messages et donnant au module intelligent les consignes pour le traitement des données brutes. Un exemple de prompt simplifié et en français pour la génération à la façon d’un programme orienté objet d’un scénario (classe « Scénario ») comprenant une liste d’étapes (classe « Étapes ») associée à des composants (classe « Composants ») est par exemple le suivants :
Un premier message destiné à définir les classes des objets à traiter, c’est-à-dire la structure de données : « Nouveau message {« la requête textuelle doit être transcrite dans un format JSON qui prend la forme d’un objet « Scénario » de structure suivante : classe : class Scénario { string NomduProduit; string Titreduscénario; List<étapes> Étapes; } class Étapes { string TitreÉtape; string DescriptionTextuelle; List<Composant> Composants; } class Composant { string NomComposant; bool MiseEnValeur ; string _matériau ; string _couleur; string IndicationVisuelle; string _PositionIndicationVisuelle ; string _ OrientationlndicationVisuelle; }" }.
Un message contenant les instructions à traiter : Nouveau message { « Les instructions sont les suivantes : » +RequêteScénario. Instructions }
Un message indiquant les composants du système externe : Nouveau message {« Les composants liés aux étapes doivent être sélectionnées et mises en valeur » +RequêteScénario.NomComposants }
Un message indiquant les couleurs devant être choisies pour les composants mis en valeurs : Nouveau message {« Si des composants sont sélectionner, la mise en valeur est faite par défaut et une couleur choisie, verte pour les composants à utiliser ou déplacer, bleu pour attirer l’attention et rouge pour une information de sécurité »}
Un message relatif aux indications visuelles pouvant être intégrées : Nouveau message {« Les choix d’indications visuelles sont les suivants »+RequêteScénario.IndicationVisuelles+ «, elles seront attachées au composant concerné (exemple : AppuyerBouton aux composants de type bouton » }
Un message relatif aux choix des couleurs : Nouveau message {« Les choix de couleur sont les suivants »+RequêteScénario.ListeDeCouleurs+ «, qui sont les couleurs des pièces mises en valeur » }
Un message permettant d’intégrer une requête fournie par l’utilisateur : Nouveau message {RequêteScénario.PromptUtilisateur}
Dans la requête, les parties entre guillemet sont des chaînes de caractères qui sont avantageusement concaténées avec des données brutes provenant des classes Scénario ou RequêteScénario qui sont intégré dans la structure de données.
La requête textuelle peuvent avantageusement être rédigées en français, anglais ou une autre langue si le modèle d’apprentissage est plus efficace dans cette langue, en particulier si le modèle d’apprentissage a été entraîné avec un volume plus important de mots de cette langue. La requête textuelle peut également comprendre des données d’image, de modèle 3D, etc., en complément du texte.
Les blocs 30, 32 et 34 représentent schématiquement la sélection du scénario à créer, qui s’effectue dans le module 22 intelligent. À l’étape 30, le scénario souhaité est sélectionné. Un exemple de premier scénario 32 peut être un scénario d’instructions interactives à fournir à l’utilisateur. Un exemple de deuxième scénario 34 peut être un scénario de catégorisation et étiquetage de données. D’autres exemples de scénarios sont par exemple la création de jumeaux numériques.
Le dispositif 16 algorithmique est en outre configuré pour recevoir les données 26 traitées et mettre en forme lesdites données 26 traitées pour fournir des données 36 destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé. Les données sont en particulier accessibles à un utilisateur 40 via un système 38 utilisateur comprenant des moyens d’interactions et des moyens d’affichage.
Lorsque le scénario concerne la création de jumeau numérique ou l’interaction avec un jumeau numérique, les données brutes comprennent des modules préprogrammés de différents types dédiés à cette création ou interaction. En particulier, les modules peuvent être par exemple : des modules de modélisation du comportement d’au moins un composant du système externe, en particulier pour les capteurs, les actuateurs, les interfaces de communication et d'autres éléments de l'architecture du produit des modules de modélisation d’interfaçage avec au moins un composant du système externe, c’est-à-dire des modules qui peuvent automatiquement s'intégrer aux API du produit, pour un accès facile et dynamique aux données. En particulier, ces modules ont des interfaces qui peuvent être liées à divers types de capteurs (température, pression, etc.), actionneurs (moteurs, vérins, etc. ), et d'autres APIs pour permettre une grande variété de configurations. Des modules permettent également de s'intégrer aux API du produit, pour un accès facile et dynamique aux données.
Les données brutes peuvent également comprendre des environnements de simulation préconstruits qui peuvent être attachés à des capteurs en temps réel pour la visualisation de données sous diverses formes potentielles (modèle 3D, 2D, graphique, courbes, tableur, etc.). En particulier, le système 10 informatique peut également comprendre un module d’acquisition de données conçu pour recueillir et capitaliser des données en temps réel provenant de capteurs physiques associés au système externe et/ou à une de ses interfaces (API / UI). Ces capteurs peuvent par exemple être des capteurs de température, des capteurs de pression, capteurs de position, caméras, microphones, ou tout autre dispositif de mesure adapté à l’environnement dont on veut créer un jumeau numérique.
Ces données peuvent être collectées et capitalisées, pour permettre par exemple une analyse approfondie et une utilisation future pour diverses applications, en particulier en mobilisant des modèles d'apprentissage automatique et d'intelligence artificielle pour fournir des analyses, des prédictions et des recommandations, voire pour l’entraînement de modèles d’apprentissage automatique. En particulier, les modèles d’apprentissage automatique peuvent être utilisés pour prédire le comportement futur du système externe, identifier des anomalies potentielles, anticiper les besoins de maintenance (maintenance prédictive), et/ou optimiser les performances du système. Le jumeau numérique ainsi généré représente fidèlement le système externe est mis à jour en temps réel en fonction des données collectées.
Un mode de réalisation possible pour l’implémentation d’un scénario de jumeau numérique est par exemple basé sur une implémentation de type langage graphique ou visual scripting ou visual programming en anglais, où les modules préprogrammés sont représentés par des nœuds, qu’ils soient des nœuds représentant des composants du système externe, des nœuds représentant des capteurs ou des nœuds représentants des interfaces.
Les nœuds sont par exemple : des nœuds d’une couche de données (data layer en anglais), comprenant les capteurs, par exemple des capteurs de températures, de pression, etc. des nœuds d’une couche de communication (communication layer en anglais), configuré pour la définition des protocoles de communication en temps réel, les protocoles de sécurisation des communication, des nœuds d’une couche modèle (model layer en anglais), comprenant des modèles 2D, des modèles 3D, des modèles sémantiques, etc. des nœuds d’une couche d’analyse (analysis layer en anglais), configuré pour l’analytique des données, l’apprentissage automatique, le diagnostic, et d’autres types d’analyse, des nœuds d’une couche d’action (action layer en anglais), configuré pour les ajustements de contrôle, les plans de maintenance, ou d’autres actions.
Le module intelligent fonctionne alors comme un régisseur dans l’orchestration des nœuds, en les liant de manière appropriée en fonction du scénario et des besoins utilisateur. Le module intelligent peut en outre générer ou contrôler en temps réel des paramètres des nœuds. Par exemple, si un utilisateur souhaite suivre la température, le module intelligent peut générer une instance d’un nœud de capteur de température et le connecter au modèle 3D pour afficher ces données. Dans un mode de réalisation de l’invention, l’implémentation de langage graphique est accessible de façon visuelle à l’utilisateur qui peut le modifier dans son interface du système utilisateur.
Le module intelligent peut également générer en sortie un assistant qui traite des requêtes de l’utilisateur en langage naturel et les données sous diverses formes (texte, image, modèles 3D, etc.) en procédure d’intégration de composant au jumeau numérique existant ou la création de nouveau jumeau numérique.
L'utilisateur peut interagir avec le système pour ajouter, retirer ou ajuster des modules, et le module intelligent agit en conséquence pour réorganiser et ajuster le jumeau numérique et produire des suggestions à l’utilisateur.
Des modules de traitement préalables peuvent également permettre la gestion de paramètres physiques liés au système externe, par exemple pour que la gestion de la cinématique du jumeau numérique soit analogue à la cinématique du système externe. Ainsi, le déplacement d’une pièce virtuelle du jumeau numérique sera soumis à des contraintes cinématiques analogues à celle du système externe, en particulier dans son interaction avec d’autres pièces.
Un module d’interaction utilisateur permet à un utilisateur d’interagir directement avec le jumeau numérique via divers interfaces, notamment via des requêtes textuelles, des interfaces utilisateur spatiales ou bidimensionnelles et/ou des commandes vocales.
L’interaction utilisateur avec le jumeau numérique comprend notamment la possibilité de fournir des informations au jumeau numérique, obtenir des informations du jumeau numérique, effectuer des simulations, contrôler et modifier des aspects du jumeau numérique, et/ou utiliser l’intelligence mobilisée pour recevoir des analyses, des prédictions ou des conseils basés sur les données collectées et traitées par le système. Cette interaction avec le jumeau numérique limite l’interaction directe avec l’environnement physique réel, le jumeau numérique pouvant imiter les actions de l’utilisateur par rapport au système réel.
L’utilisateur peut également modifier des paramètres du jumeau numérique et observer les impacts via des simulations ou des visualisations.
L’interaction utilisateur peut-être améliorée par l’interprétation de commandes vocales grâce à un module de traitement du langage naturel, permettant d’effectuer des actions correspondantes sur le jumeau numérique, par la possibilité d’utiliser une interface de réalité virtuelle ou augmentée, pour superposer le jumeau numérique du système sur le système réel, par le support de plusieurs modes d’interaction pour une flexibilité maximale (textuel, vocal, interface graphique, etc.). Le système de création permet également le contrôle et la synchronisation avec le système externe, notamment via une mise à jour en temps réel du jumeau numérique en fonction des données du système externe, assurant une représentation fidèle à tout moment, via une interaction bidirectionnelle entre le jumeau numérique et le système externe, permettant de contrôler le système externe via le jumeau numérique, et/ou via une capitalisation des interactions, par l’enregistrement et l’analyse de ces interactions avec le jumeau numérique pour améliorer continuellement le système.
Le dispositif algorithmique inclue tout ce qui est programmé et préprogrammé en tant qu’outils créés en code classique, tandis que le module intelligent est responsable de l’organisation de données et des requêtes brutes de l’utilisateur pour simplifier la communication et la complétion des intentions de l’utilisateur pour intégrer un système externe au sein du jumeau numérique de l’entité cible, créant ainsi une architecture complète et flexible.

Claims

REVENDICATIONS
1. Système informatique de création de scénario pour l’interaction d’un utilisateur avec un système externe à partir de données (14a, 14b, 14c, 14d) brutes relatives à au moins un composant de ce système externe, caractérisé en ce qu’il comprend un dispositif informatique dit dispositif (16) algorithmique comprenant au moins un processeur et : un module (16a) de réception à partir d’une ou plusieurs bases (18) de données desdites données (14a, 14b, 14c, 14d) brutes, de données d’entrée d’un utilisateur, d’une structure de données prédéterminée et d’une trame d’au moins un scénario souhaité, un module (16b) de création d’une requête (20) textuelle adaptée audit scénario souhaité et au système externe, à partir d’un texte de requête préconfiguré, de la structure de données prédéterminée, des données brutes et de la trame de scénario, en ce que le système informatique de création comprend en outre un module (22) intelligent comprenant au moins un modèle (24) d’apprentissage automatique entraîné à partir d’un jeu de données générique et/ou spécifique et configuré pour recevoir en tant que donnée d’entrée ladite requête (20) textuelle et pour générer comme données de sortie des données traitées représentatives du scénario souhaité dans lesquelles les données (14a, 14b, 14c, 14d) brutes sont conformées à la structure de données prédéterminée selon la trame de scénario souhaitée, et en ce que le dispositif (16) algorithmique est en outre configuré pour recevoir les données traitées et mettre en forme lesdites données traitées pour fournir des données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé.
2. Système informatique de création de scénario selon la revendication 1, caractérisé en ce que les données (14a, 14b, 14c, 14d) brutes comprennent un ou plusieurs des éléments suivants : une ou plusieurs images bidimensionnelles d’au moins un composant du système externe, annotées ou non, un ou plusieurs modèles tridimensionnels d’au moins un composant du système externe, annotés ou non, données textuelles relatives au système externe, des données de sortie d’un précédent traitement par le module intelligent, des modules préprogrammés pour la génération d’un jumeau numérique du système externe, les modules préprogrammés comprenant des modules de modélisation du comportement d’au moins un composant du système externe et/ou des modules de modélisation d’interfaçage avec au moins un composant du système externe.
3. Système informatique de création de scénario selon l’une des revendications 1 ou 2, caractérisé en ce que la trame de scénario est choisie parmi une ou plusieurs des trames de scénario suivantes : une trame de scénario d’instructions, configuré pour l’obtention d’une liste d’instructions associées à des actions relatives à un ou plusieurs composants du système externe, pour une mise en œuvre par un utilisateur humain, une trame de scénario d’étiquetage et de catégorisation des données brutes selon la structure de données prédéterminée pour l’obtention de données étiquetées et catégorisées adaptée pour être utilisées dans la requête textuelle, une trame de scénario de jumeau numérique, configuré pour l’obtention d’un jumeau numérique d’au moins un composant du système externe, pour une simulation d’au moins un composant du système externe et pour la fourniture d’une interface d’envoi d’instructions ou de requêtes à ladite simulation dudit composant.
4. Système informatique de création de scénario selon l’une des revendications 1 à 3, caractérisé en ce que le module (22) intelligent est intégré à un serveur externe accessible par l’Internet et en ce que le système de création comprend un réseau de communication destiné à transmettre la requête (20) textuelle au module (22) intelligent et à recevoir comme données de sortie les données traitées représentatives du scénario.
5. Système informatique de création de scénario selon l’une des revendications 1 à 3, caractérisé en ce que le module (22) intelligent est intégré à un serveur privé interne au système informatique de création et le modèle (24) d’apprentissage automatique pré-entraîné par un jeu de données est ensuite réglé pour la création de scénario à partir de requêtes textuelles adaptées à une pluralité de scénarios et une pluralité de système externe.
6. Système informatique de création de scénario selon l’une des revendications 1 à 5, caractérisé en ce que le modèle (24) d’apprentissage automatique est un modèle d’apprentissage automatique de grande taille.
7. Système informatique de création de scénario selon la revendication 6, caractérisé en ce que le modèle (24) d’apprentissage automatique de grande taille est un modèle d’apprentissage automatique parmi l’un ou une combinaison des éléments de la liste suivante : un modèle de langage de grande taille, un modèle multimodal de grande taille, un modèle de fondation de grande taille, un modèle destiné au traitement d’image, en particulier reconnaissance de formes dans une image et/ou segmentation d’image.
8. Système informatique de création de scénario selon l’une des revendications 1 à 7, caractérisé en ce que la requête textuelle comprend au moins trois messages : un premier message de classification des données brutes, comprenant une instruction de définition de classe d’objets à attribuer aux données brutes selon la structure de données prédéterminée ; un deuxième message de définition de la trame de scénario, à partir de la trame de scénario et de la structure de données prédéterminée ; un troisième message de définition d’éléments du système externe.
9. Système utilisateur pour la création de scénario pour l’interaction de l’utilisateur avec un système externe, caractérisé en ce qu’il comprend un système (10) informatique de création de scénario selon l’une des revendications 1 à 8 et un dispositif d’interface utilisateur comprenant : des moyens de saisie d’informations configurés pour permettre à l’utilisateur l’entrée de données d’entrée, la sélection du scénario et des données brutes utilisées, un prétraitement des données brutes, et l’interaction avec les données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé, des moyens d’affichage d’informations configurés pour l’affichage d’informations relatives au système de création de scénario et/ou l’affichage d’une représentation visuelle des données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé.
PCT/EP2024/079112 2023-10-16 2024-10-16 Système informatique de création de scénario pour système externe Pending WO2025083011A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2311163A FR3154205A1 (fr) 2023-10-16 2023-10-16 Système informatique de création de scénario pour système externe
FRFR2311163 2023-10-16

Publications (1)

Publication Number Publication Date
WO2025083011A1 true WO2025083011A1 (fr) 2025-04-24

Family

ID=88965621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/079112 Pending WO2025083011A1 (fr) 2023-10-16 2024-10-16 Système informatique de création de scénario pour système externe

Country Status (2)

Country Link
FR (1) FR3154205A1 (fr)
WO (1) WO2025083011A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140310595A1 (en) * 2012-12-20 2014-10-16 Sri International Augmented reality virtual personal assistant for external representation
US20220139049A1 (en) * 2020-11-05 2022-05-05 Computer Generated Solutions, Inc. Systems and methods for integrating and using augmented reality technologies

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140310595A1 (en) * 2012-12-20 2014-10-16 Sri International Augmented reality virtual personal assistant for external representation
US20220139049A1 (en) * 2020-11-05 2022-05-05 Computer Generated Solutions, Inc. Systems and methods for integrating and using augmented reality technologies

Also Published As

Publication number Publication date
FR3154205A1 (fr) 2025-04-18

Similar Documents

Publication Publication Date Title
Hoijtink et al. Machine learning and the platformization of the military: a study of Google's machine learning platform tensorflow
US20170308800A1 (en) Interchangeable Artificial Intelligence Perception Systems and Methods
EP3786783A1 (fr) Systeme d&#39;aide a la conception d&#39;application d&#39;intelligence artificielle, executable sur des plates-formes informatiques distribuees
US20090287814A1 (en) Visualization of streaming real-time data
Evangeline Digital twin technology for “smart manufacturing”
CN101685295A (zh) 在工业自动化环境中根据境况和状态信息动态产生可视化图像
US20240169662A1 (en) Latent Pose Queries for Machine-Learned Image View Synthesis
WO2015125066A1 (fr) Système et procédé destinés à faciliter la maintenance d&#39;équipement à l&#39;aide de lunettes intelligentes
US20220083881A1 (en) Automated analysis generation for machine learning system
Corradini et al. DTMN a modelling notation for digital twins
Erraissi et al. An approach based on model driven engineering for big data visualization in different visual modes
FR3100355A1 (fr) Système d’aide à la conception d’application d’Intelligence Artificielle, exécutable sur des plates-formes informatiques distribuées
US20240053877A1 (en) Interactive Graphical User Interfaces for Deployment and Application of Neural Network Models using Cross-Device Node-Graph Pipelines
JP7457211B2 (ja) サードパーティ資産を用いて拡張現実体験を促進するためのコンピューティングプラットフォーム
Rani et al. Using github and grafana tools: Data visualization (data viz) in big data
Gautam et al. IIoT-enabled digital twin for legacy and smart factory machines with LLM integration
WO2025083011A1 (fr) Système informatique de création de scénario pour système externe
JP2025121863A (ja) 作業プロトコルのための人工知能アシスタント
WO2025090062A1 (fr) Appareil à ia générative
Flotyński Creating explorable extended reality environments with semantic annotations
US11966721B2 (en) Extended reality platform and machine learning engine for automated code error resolution
US20250306867A1 (en) Omnichannel runtime process of an application modernization platform for multiple user interfaces
US20250348788A1 (en) Machine Learned Models For Generative User Interfaces
FR3022659A1 (fr) Procede de copier-coller relationnel
Jokitulppo Real-time sentiment analysis of video calls

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24790529

Country of ref document: EP

Kind code of ref document: A1