FR3154205A1

FR3154205A1 - Système informatique de création de scénario pour système externe

Info

Publication number: FR3154205A1
Application number: FR2311163A
Authority: FR
Inventors: Mina GHOBRIAL; Mahmoud FAHMY
Original assignee: Twinworks
Current assignee: Twinworks
Priority date: 2023-10-16
Filing date: 2023-10-16
Publication date: 2025-04-18
Also published as: WO2025083011A1

Abstract

SYSTÈME INFORMATIQUE DE CRÉATION DE SCÉNARIO POUR SYSTÈME EXTERNE L’invention concerne un système informatique de création de scénario pour l’interaction avec un système externe à partir de données (14a, 14b, 14c, 14d) brutes relatives à au moins un composant de ce système externe, comprenant un dispositif (16) algorithmique comprenant un module (16a) de réception desdites données (14a, 14b, 14c, 14d) brutes, de données d’entrée d’un utilisateur, d’une structure de données et d’une trame de scénario souhaité, et un module (16b) de création d’une requête (20) textuelle, le système informatique comprenant aussi un module (22) intelligent comprenant un modèle (24) d’apprentissage numérique configuré pour recevoir en tant que donnée d’entrée ladite requête (20) textuelle et pour générer comme données de sortie des données traitées représentatives du scénario souhaité, et en ce que le dispositif (16) algorithmique est en outre configuré pour recevoir les données traitées et les mettre en forme pour l’interaction de l’utilisateur selon le scénario créé. Figure pour l’abrégé : figure 1

Description

SYSTÈME INFORMATIQUE DE CRÉATION DE SCÉNARIO POUR SYSTÈME EXTERNE

Domaine technique de l’invention

L’invention concerne un système informatique de création de scénario pour un système externe. En particulier, l’invention concerne un système informatique de création de scénario permettant de créer différents scénario à partir de données brutes représentatives d’un ou plusieurs composants du système externe, par exemple des instructions de montage, réparation, etc. du système externe, ou d’étiquetage et de catégorisation des données brutes relatives au système externe, ou la création d’un jumeau numérique d’un ou plusieurs composants du système externe voire du système externe dans sa globalité.

Arrière-plan technologique

L’invention se place dans le domaine de la transformation numérique et de l’interaction homme-machine avancée. En particulier l’invention s’intègre dans le concept d’industrie 4.0 qui désigne une volonté d’automatisation accentuée du process industriel et l’utilisation poussée de méthodes d’apprentissage automatique (Machine Learningen anglais).

En particulier, l’invention cherche à automatiser la création de scénario lié à un système externe tel qu’un objet, une machine industrielle voire une usine entière, ces scénarios pouvant être en particulier la création d’instructions liés à un modèle 3D du système externe ou la création d’un jumeau numérique pour une interaction avec un utilisateur.

La création d’instructions interactives en 3D est un premier exemple de défi soulevé par l’industrie 4.0. Les dispositifs de réalité augmentée permettent notamment d’assister des opérateurs pour la mise en place de procédures de maintenance ou de réparation des systèmes sur lesquels ils doivent intervenir. Si les interfaces permettant le suivi de ces instructions interactives sont ergonomiques, la mise en place de ces instructions interactives est toutefois chronophage et requiert l’utilisation de logiciels dédiés complexes à prendre en main.

La création de jumeaux numériques présente également des inconvénients en termes de temps de création et de complexité des logiciels. En outre, les solutions dédiées sont généralement peu flexibles et très couteuses par la difficulté de développer les modules dédiés à chaque type de système externe. Une autre difficulté des jumeaux numériques est la mise en place des différentes interfaces avec les capteurs, qui font appel généralement à des API ou des bus de communication dont le paramétrage est complexe à mettre en œuvre par un utilisateur non spécialiste de l’API ou du bus de communication.

Les inventeurs ont donc cherché à fournir une solution pour pallier ces inconvénients, et en particulier pour automatiser la création de scénario.

Objectifs de l’invention

L’invention vise à fournir un système de création de scénario permettant l’automatisation de la création de scénario dédiés à un système externe, à partir de données brutes relatives à au moins un composant de ce système externe.

L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un système de création de scénario réduisant le nombre d’intervention manuelle pour la création du scénario.

L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un système de création de scénario configuré pour produire des listes d’instructions interactives sur un modèle 3D du système externe ou d’un ou plusieurs de ses composants.

L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un système de création de scénario configuré pour simplifier la génération d’un jumeau numérique du système externe ou d’un ou plusieurs de ses composants.

Pour ce faire, l’invention concerne un système informatique de création de scénario pour l’interaction d’un utilisateur avec un système externe à partir de données brutes relatives à au moins un composant de ce système externe, caractérisé en ce qu’il comprend un dispositif informatique dit dispositif algorithmique comprenant au moins un processeur et :

un module de réception à partir d’une ou plusieurs bases de données desdites données brutes, de données d’entrée d’un utilisateur, d’une structure de données prédéterminée et d’une trame d’au moins un scénario souhaité,
un module de création d’une requête textuelle adaptée audit scénario souhaité et au système externe, à partir d’un texte de requête préconfiguré, de la structure de données prédéterminée, du jeu de données structurées et de la trame de scénario,

en ce que le système informatique de création comprend en outre un module intelligent comprenant au moins un modèle d’apprentissage numérique entraîné à partir d’un jeu de données générique et/ou spécifique et configuré pour recevoir en tant que donnée d’entrée ladite requête textuelle et pour générer comme données de sortie des données traitées représentatives du scénario souhaité dans lesquelles les données brutes sont conformées à la structure de données prédéterminée selon la trame de scénario souhaitée,

et en ce que le dispositif algorithmique est en outre configuré pour recevoir les données traitées et mettre en forme lesdites données traitées pour fournir des données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé.

Un système informatique de création de scénario selon l’invention permet donc d’obtenir, à partir de données brutes, un scénario relatif à un système externe pouvant être mis en forme par le dispositif algorithmique pour une interaction avec un utilisateur. La mise en forme de la requête textuelle par le dispositif algorithmique permet un traitement simplifié, personnalisé et robuste des données brutes pour l’obtention de données de sortie facilement exploitables par le dispositif algorithmique pour la mise en œuvre de cette solution d’interaction avec l’utilisateur liée au scénario. La requête textuelle est généralement connue sous le termeprompten anglais. La requête textuelle peut comprendre d’autres données en complément du texte, comme des données d’images, de modèle 3D, etc, lorsque le modèle d’apprentissage est un modèle multimodal capable de prendre en charge ce types de données.

Le système de création permet donc de transformer de manière autonome et intuitive des données hétérogènes, qu’elles soient textuelles, visuelles (images 2D), des modèles 3D, etc., en un scénario, par exemple une séquence d’instructions interactives et animées en 3D, ou bien une interface d’intégration, édition et adaptation dynamique de jumeaux numériques.

Le système de création se base sur une architecture bifonctionnelle qui se base sur le dispositif algorithmique en échange bidirectionnel avec le module intelligent pour un traitement optimisé des données brutes d’entrée du système et des données de sortie résultante du traitement par le modèle d’apprentissage automatique.

Le module intelligent est notamment responsable de l’interprétation, de la catégorisation, de l’étiquetage et de la conversion des données brutes en un fichier intelligible et traitable par le dispositif algorithmique.

Le dispositif algorithmique est notamment responsable de la reconnaissance, nomination, classification et description des différents composants du système externe dans les modèles 3D afin de créer la liaison entre ces éléments et les données brutes qui le concernent, en particulier les données textuelles.

En particulier, la structure de données prédéterminées et la trame de scénario permettent de fournir au module intelligent un squelette auquel sont conformées les données brutes après leur traitement par le module intelligent. La structure de données et la trame de scénario sont par exemple mis en œuvre sous la forme d’une structure de données tel qu’utilisée dans un langage de programmation orientée objet, permettant de catégoriser les composants du système externe, leurs paramètres associés, et l’interaction possible lors de la mise en œuvre du scénario.

L’utilisation du système pour la création d’instructions interactives permet d’offrir à l’utilisateur une expérience d’apprentissage et d’application plus immersive et efficace. L’intégration d’un modèle d’apprentissage automatique pourrait permettre d’obtenir un gain de temps de jusqu’à 90% sur la création de contenu. En particulier, une liste d’instructions brute écrite en langage naturelle est segmentée et classifiée en différentes étapes distinctes, et les options relatives aux composants du système externe peuvent être sélectionnées, par exemple une couleur d’affichage, un état du composant (ouvert, fermé, allumé, éteint, etc.).

Le module d’intelligence peut également, à partir de la trame de scénario, sélectionner des options d’affichage tels que aides visuelles, des flèches ciblant un composant, des animations, des représentations de l’état du composant, et les paramètres associés.

Les données de sortie du module intelligent est conformée à la structure de données et à la trame de scénario fournie et sont donc facilement interprétables par le dispositif algorithmique. Les données de sortie sont par exemple intégrées dans un fichier texte au format JSON ou XML. Ces données de sortie sont par exemple traitées par le dispositif algorithmique grâce à un ensemble d’outils intelligents et de scripts, tel que des algorithmes de non-collision de pièces, de choix d’orientation des vues, de choix du sens de vissage, etc.

Pour la génération de jumeaux numériques, le système de création permet d’automatiser le processus de création et l’ajustement des jumeaux numériques, en y intégrant des modules préprogrammés, permettant notamment la communication avec les API des différents composants, de manière cohérente et en temps réel, tout en permettant à l’utilisateur d’interagir en langage naturel avec le système.

L'invention permet également notamment une réduction significative du temps de création des instructions, une amélioration de la précision et de l'efficacité du processus de génération d'instructions en intégrant les normes de l’ergonomie dans le processus de création. Un autre avantage est d’unifier la vision de création et d’interprétation d’un guide interactif (par exemple, la couleur rouge sera utilisée pour pointer vers une pièce à ne pas toucher et le vert pour les pièces avec lesquelles il y aura une interaction lors d’une certaine étape). L’invention offre également une plus grande flexibilité dans la création de scénarios, grâce à sa capacité à traiter une variété de types de données, ainsi qu'un traitement de données plus robuste et diversifié. En permettant de transformer les manuels traditionnels en guides 3D interactifs, le système de création facilite une compréhension et un apprentissage plus intuitifs des procédures, améliorant ainsi l'expérience utilisateur et l'efficacité de l'utilisation des produits.

Le système de création permet également de fournir une interface utilisateur qui combine la reconnaissance vocale et la synthèse vocale pour créer un dialogue interactif entre l'utilisateur et le système, tout en ajoutant dans le scénario des aides visuelles. Cette interactivité donne l'impression d'avoir une conversation avec un assistant intelligent, permettant de résoudre plus efficacement les problèmes de l'opération en cours.

Dans tout le texte, un module peut par exemple consister en un dispositif informatique tel qu’un ordinateur, d’un ensemble de dispositifs informatiques, d’un composant électronique ou d’un ensemble de composants électroniques, ou par exemple d’un programme informatique, d’un ensemble de programmes informatiques, d’une librairie d’un programme informatique ou d’une fonction d’un programme informatique exécuté par un dispositif informatique tel qu’un ordinateur, un ensemble de dispositifs informatiques, un composant électronique ou un ensemble de composants électroniques.

Avantageusement et selon l’invention, les données brutes comprennent un ou plusieurs des éléments suivants :

une ou plusieurs images bidimensionnelles d’au moins un composant du système externe, annotées ou non,
un ou plusieurs modèles tridimensionnels d’au moins un composant du système externe, annotés ou non,
données textuelles relatives au système externe,
des données de sortie d’un précédent traitement par le module intelligent,
des modules préprogrammés pour la génération d’un jumeau numérique du système externe, les modules préprogrammés comprenant des modules de modélisation du comportement d’au moins un composant du système externe et/ou des modules de modélisation d’interfaçage avec au moins un composant du système externe.

Selon cet aspect de l’invention, les données brutes comprennent au minimum du texte pour l’obtention de la requête textuelle, et de préférence une combinaison de plusieurs formats de données brutes.

Les données brutes peuvent également comprendre des données de sortie déjà obtenues grâce au module intelligent du système externe. Ces données de sortie sont alors un pré-traitement des données, par exemple via la catégorisation et l’étiquetage qui permet de simplifier des données brutes pour un futur traitement. Cet étiquetage et catégorisation peut également permettre de réduire la taille des données brutes lorsque la requête textuelle destinée au modèle d’apprentissage automatique est limité en taille, ou pour réduire le coût si un modèle d’apprentissage automatique est implémenté sur un serveur externe qui facture le traitement en fonction de la taille des données. Le dispositif algorithmique retire ces informations des données existantes, par exemple les noms existants dans le modèle 3D, le module intelligent peut traiter les données brutes en termes de reconnaissance (par vision machine) et ensuite envoyer ces informations classées, catégorisées et ordonnées au module algorithmique pour le stocker et le réutiliser directement ou en le repassant par le module intelligent. Le dispositif algorithmique a comme fonction dans ce cas là, de préparer les données brutes (par exemple en termes de quantité de texte pour qu’elle soit « traitable » par le module intelligent) et les envoyer au module intelligent pour les classer, catégoriser, etc.

Les modules préprogrammés pour la génération d’un jumeau numérique sont de différents types :

Les modules de modélisation comprennent des caractéristiques techniques d’au moins un composant du système pour permettre sa simulation dans le contexte du scénario, par exemple pour simuler une sortie en fonction de paramètres d’entrées, pour simuler la requête de valeurs de capteurs, etc.
Les modules de modélisation d’interfaçage permettent notamment de simplifier l’interaction de l’utilisateur avec le jumeau numérique en fournissant les informations de bus de communication ou d’API (interface de programmation d’application, ouApplication Programming Interfaceen anglais) utilisés pour la communication avec l’appareil. Les modules de modélisation d’interfaçage sont pris en compte par le module intelligent pour fournir un interfaçage simplifié, par exemple en permettant à l’utilisateur d’utiliser le langage naturel qui sera adapté à l’interface utilisée par le jumeau numérique selon les paramétrages fournis par le module de modélisation d’interfaçage.

Ces modules préprogrammés peuvent avantageusement être fournis au système sous la forme de module d’extension (pluginen anglais) qui peuvent être récupérés et ajoutés au système informatique de création en fonction des besoins de l’utilisateur ou des scénarios à créer.

Avantageusement et selon l’invention, la trame de scénario est choisie parmi une ou plusieurs des trames de scénario suivantes :

une trame de scénario d’instructions, configuré pour l’obtention d’une liste d’instructions associées à des actions relatives à un ou plusieurs composants du système externe, pour une mise en œuvre par un utilisateur humain,
une trame de scénario d’étiquetage et de catégorisation des données brutes selon la structure de données prédéterminée pour l’obtention de données étiquetées et catégorisées adaptée pour être utilisées dans la requête textuelle,
une trame de scénario de jumeau numérique, configuré pour l’obtention d’un jumeau numérique d’au moins un composant du système externe, pour une simulation d’au moins un composant du système externe et pour la fourniture d’une interface d’envoi d’instructions ou de requêtes à ladite simulation dudit composant.

Selon cet aspect de l’invention, les différentes trames de scénario permettent d’adapter le résultat aux besoins de l’utilisateur. Le système informatique est capable de s’adapter aux nouvelles trames proposées par l’utilisateur pour créer le scénario adéquat.

Selon d’autres variantes de l’invention, le scénario peut par exemple constituer un itinéraire de déplacement et d’action à réaliser dans le système externe qui peut être une ville, un bâtiment (par exemple une usine), etc.

En particulier, des exemples d’applications sont :

Assemblage de produits : L'invention peut être utilisée pour créer des instructions interactives en 3D pour l'assemblage de produits, améliorant ainsi l'expérience du client et réduisant potentiellement les retours de produits.
Maintenance et réparation : Les instructions en 3D générées par le système peuvent aider les techniciens à effectuer des opérations de maintenance et de réparation plus efficacement et avec moins d'erreurs.
Formation professionnelle : L'invention peut être utilisée dans des environnements industriels pour former les travailleurs à l'assemblage de produits ou à l'utilisation de machines complexes.
Éducation : Les instructions interactives en 3D pourraient être utilisées dans un contexte éducatif pour aider les étudiants à comprendre des concepts complexes.
Guides de consommateurs : L’invention pourrait être utilisée en tant qu’alternatif aux manuels d’utilisateurs, au vu de son caractère plus parlant que les instructions textuelles et illustrées.
Visites guidées de musées : Les instructions en 3D pourraient être utilisées pour créer des guides interactifs pour les visiteurs de musées, améliorant ainsi l'expérience de la visite.

Avantageusement et selon l’invention, le module intelligent est intégré à un serveur externe accessible par l’Internet et en ce que le système de création comprend un réseau de communication destiné à transmettre la requête textuelle au module intelligent et à recevoir comme données de sortie les données traitées représentatives du scénario.

Selon cet aspect de l’invention, au moins un modèle d’apprentissage automatique du module intelligent est en particulier hébergé sur un serveur ou une pluralité de serveurs externes dont l’interrogation est accessible via Internet par une API dédiée. Un exemple d’une telle implémentation est les modèles d’apprentissage de la société Open AI tels que GPT-2, GPT-3 ou GPT-4 via son service ChatGPT.

Avantageusement et selon l’invention, le module intelligent est intégré à un serveur privé interne au système informatique de création et le modèle d’apprentissage automatique pré-entraîné par un jeu de données est ensuite réglé pour la création de scénario à partir de requêtes textuelles adaptées à une pluralité de scénarios et une pluralité de système externe.

Selon cet aspect de l’invention, au moins un modèle d’apprentissage automatique peut être géré dans un serveur interne et de préférence réglé finement selon les besoins du système informatique de création de scénario. L’intégration en interne du modèle d’apprentissage permet de conserver la gestion totale des données échangés et limiter les risques de problème de confidentialité. Un exemple de tel modèle d’apprentissage pouvant être intégré dans un serveur interne est par exemple le modèle d’apprentissage automatique LLaMa de la société Meta AI.

Avantageusement et selon l’invention, le modèle d’apprentissage automatique est un modèle d’apprentissage automatique de grande taille.

Un modèle d’apprentissage automatique de grande taille, désigné en anglais par « Large Model », désigne un modèle d’apprentissage automatique comprenant un grand nombre de paramètres (généralement au moins un million, en pratique plusieurs milliards voir billions ou trillions de paramètres), et généralement entraîné avec un jeu de données de taille importante, en particulier plusieurs millions, milliards, billion ou davantage de mots ou de jeton (tokenen anglais).

Avantageusement et selon l’invention, le modèle d’apprentissage automatique de grande taille est un modèle d’apprentissage automatique parmi l’un ou une combinaison des éléments de la liste suivante :

un modèle de langage de grande taille,
un modèle multimodal de grande taille,
un modèle de fondation de grande taille,
un modèle destiné au traitement d’image, en particulier reconnaissance de formes dans une image et/ou segmentation d’image.

Selon cet aspect de l’invention, ces différents types de modèles peuvent être utilisés seuls ou en combinaison pour composer le module intelligent. Par exemple, un modèle destiné au traitement d’image peut permettre de réaliser une première passe et les données de sortie de ce modèle sont transmis à un modèle multimodal de grande taille avec les autres données brutes.

Le modèle de langage de grande taille est plus connu sous le nom de LLM pourLarge Langage Modelen anglais et permet de traiter des données textuelles. Des exemples de ces modèles sont BERT de Google, GPT-2, GPT-3 et GPT-4 de la société OpenAI, LLaMa et LLaMa 2 de la société Meta AI, Alpaca dérivé de LLaMa, etc.

Le modèle multimodal de grande taille est plus connu sous le nom de LMM pourLarge Multimodal Modelen anglais, et désigne un modèle permettant de traiter des données de tout type, en particulier textuelles, visuelles, etc. Les LMM peuvent par exemple être dérivés de LLM, en particulier par pré-traitement de données d’image pour obtenir des données textuelles, ou bien créés spécifiquement pour être multimodaux.

Les modèles de fondation de grande taille sont plus connus sous le nom de LFM pourLarge Fondation Modelen anglais. Ces modèles utilisent des données de tout type tel les modèles multimodaux, et sont en outre par nature très généralistes mais particulièrement conçus pour être réglés finement (fine tuningen anglais) pour être adaptés à des situations spécifiques.

L’invention concerne également un système utilisateur pour la création de scénario pour l’interaction de l’utilisateur avec un système externe, caractérisé en ce qu’il comprend un système informatique de création de scénario l’invention et un dispositif d’interface utilisateur comprenant :

des moyens de saisie d’informations configurés pour permettre à l’utilisateur l’entrée de données d’entrée, la sélection du scénario et des données brutes utilisées, un prétraitement des données brutes, et l’interaction avec les données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé,
des moyens d’affichage d’informations configurés pour l’affichage d’informations relatives au système de création de scénario et/ou l’affichage d’une représentation visuelle des données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé.

Un système utilisateur selon l’invention permet donc, de fournir à l’utilisateur une interface utilisateur permettant l’interaction de l’utilisateur avec le système informatique de création de scénario, en amont pour la création du scénario et en aval pour l’interaction avec le système externe selon scénario créé.

Par exemple, lorsque le scénario concerne des instructions interactives, l’utilisateur peut agir en amont pour ajuster le scénario souhaité à ses besoins, puis en aval mettre en œuvre un procédé suivant les instructions interactives créés.

En autre exemple, lorsque le scénario concerne un jumeau numérique, l’utilisateur peut sélectionner en amont les composants du système externe qui seront intégré au jumeau numérique et sélectionner les interactions souhaitées, et en aval interagir avec le jumeau numérique, de préférence en langage naturel directement depuis le système utilisateur.

Les moyens d’affichage peuvent combiner plusieurs composants, tel qu’un écran, un dispositif de réalité augmentée, un dispositif de réalité virtuelle, un dispositif de réalité mixte. Le scénario accompagné par exemple d’un modèle 3D d’un ou plusieurs composants du système externe ou du système externe entier peuvent par exemple être affichés sur les moyens d’affichage. Les données affichées peuvent être gérées dans un logiciel intégré et dédié au système informatique ou bien gérées par un logiciel externe recevant les données issues du système informatique fournies dans un format de fichier pouvant être lu par ce logiciel externe.

L'invention concerne également un système informatique de création de scénario et un système utilisateur caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci-après.

Liste des figures

D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles :

FIG. 1est une vue schématique représentant un système informatique de création selon un mode de réalisation de l’invention et les différents traitements des données opérés par ce système de création.

Description détaillée d’un mode de réalisation de l’invention

Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté.

Les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures.

LaFIG. 1représente schématiquement un système 10 informatique de création selon un mode de réalisation de l’invention et les différents traitements des données opérés par ce système de création.

Le système 10 informatique permet la création de scénario pour l’interaction d’un utilisateur avec un système 12 externe à partir de données 14a, 14b, 14c, 14d brutes relatives à au moins un composant de ce système externe. Le système 10 comprend en particulier un dispositif informatique dit dispositif 16 algorithmique comprenant au moins un processeur. Les données brutes sont par exemple une ou plusieurs images 14a bidimensionnelles, un ou plusieurs modèles 14b tridimensionnels, des données 14c textuelles, et tout autre type de données 14d, en particulier des modules préconfigurés pour la création de jumeaux numériques.

Le dispositif 16 algorithmique comprend en outre un module 16a de réception à partir d’une ou plusieurs bases 18 de données desdites données brutes, de données d’entrée d’un utilisateur, d’une structure de données prédéterminée et d’une trame d’au moins un scénario souhaité. La base 18 de données peut en particulier comprendre les données 14a, 14b, 14c, 14d, même si elles sont ici schématiquement représentées hors de la base de données.

Le dispositif 16 algorithmique comprend également un module 16b de création d’une requête 20 textuelle adaptée audit scénario souhaité et au système externe, à partir d’un texte de requête préconfiguré, de la structure de données prédéterminée, du jeu de données structurées et de la trame de scénario.

Le système 10 informatique de création comprend en outre un module 22 intelligent comprenant au moins un modèle 24 d’apprentissage numérique, de préférence un modèle d’apprentissage numérique de grande taille, entraîné à partir d’un jeu de données générique et/ou spécifique et configuré pour recevoir en tant que donnée d’entrée ladite requête 20 textuelle et pour générer comme données de sortie des données 26 traitées représentatives du scénario souhaité dans lesquelles les données brutes sont conformées à la structure de données prédéterminée selon la trame de scénario souhaitée. Si nécessaire, le module 22 intelligent transmet au dispositif 16 algorithmique le format 28 d’échange de données pour que la création de la requête 20 textuelle soit conforme au format reçu. Le module 22 intelligent peut être hébergé dans un serveur privé interne ou bien géré par un serveur externe accessible depuis l’Internet.

Un système utilisateur, non représenté, peut comprendre un système informatique tel que décrit et permettre l’interaction avec un utilisateur et l’affichage des données brutes et des données traitées.

La requête textuelle est en particulier une requête de typepromptcomprenant un ou plusieurs messages et donnant au module intelligent les consignes pour le traitement des données brutes. Un exemple depromptsimplifié et en français pour la génération à la façon d’un programme orienté objet d’un scénario (classe « Scénario ») comprenant une liste d’étapes (classe « Étapes ») associée à des composants (classe « Composants ») est par exemple le suivants :

Un premier message destiné à définir les classes des objets à traiter, c’est-à-dire la structure de données : « Nouveau message {« la requête textuelle doit être transcrite dans un format JSON qui prend la forme d’un objet « Scénario » de structure suivante : classe : class Scénario { string NomduProduit; string Titreduscénario; List<étapes> Étapes; } class Étapes { string TitreÉtape; string DescriptionTextuelle; List<Composant> Composants; } class Composant { string NomComposant; bool MiseEnValeur ; string _matériau ; string _couleur; string IndicationVisuelle; string _PositionIndicationVisuelle ; string _ OrientationIndicationVisuelle; }"}.
Un message contenant les instructions à traiter : Nouveau message {« Les instructions sont les suivantes : » +RequêteScénario.Instructions}
Un message indiquant les composants du système externe : Nouveau message {« Les composants liés aux étapes doivent être sélectionnées et mises en valeur » +RequêteScénario.NomComposants}
Un message indiquant les couleurs devant être choisies pour les composants mis en valeurs : Nouveau message {« Si des composants sont sélectionner, la mise en valeur est faite par défaut et une couleur choisie, verte pour les composants à utiliser ou déplacer, bleu pour attirer l’attention et rouge pour une information de sécurité »}
Un message relatif aux indications visuelles pouvant être intégrées : Nouveau message {« Les choix d’indications visuelles sont les suivants »+RequêteScénario.IndicationVisuelles+ «, elles seront attachées au composant concerné (exemple : AppuyerBouton aux composants de type bouton »}
Un message relatif aux choix des couleurs : Nouveau message {« Les choix de couleur sont les suivants »+RequêteScénario.ListeDeCouleurs+ «, qui sont les couleurs des pièces mises en valeur »}
Un message permettant d’intégrer une requête fournie par l’utilisateur : Nouveau message {RequêteScénario.PromptUtilisateur}

Dans la requête, les parties entre guillemet sont des chaînes de caractères qui sont avantageusement concaténées avec des données brutes provenant des classes Scénario ou RequêteScénario qui sont intégré dans la structure de données.

La requête textuelle peuvent avantageusement être rédigées en français, anglais ou une autre langue si le modèle d’apprentissage est plus efficace dans cette langue, en particulier si le modèle d’apprentissage a été entraîné avec un volume plus important de mots de cette langue. La requête textuelle peut également comprendre des données d’image, de modèle 3D, etc., en complément du texte.

Les blocs 30, 32 et 34 représentent schématiquement la sélection du scénario à créer, qui s’effectue dans le module 22 intelligent. À l’étape 30, le scénario souhaité est sélectionné. Un exemple de premier scénario 32 peut être un scénario d’instructions interactives à fournir à l’utilisateur. Un exemple de deuxième scénario 34 peut être un scénario de catégorisation et étiquetage de données. D’autres exemples de scénarios sont par exemple la création de jumeaux numériques.

Le dispositif 16 algorithmique est en outre configuré pour recevoir les données 26 traitées et mettre en forme lesdites données 26 traitées pour fournir des données 36 destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé. Les données sont en particulier accessibles à un utilisateur 40 via un système 38 utilisateur comprenant des moyens d’interactions et des moyens d’affichage.

Lorsque le scénario concerne la création de jumeau numérique ou l’interaction avec un jumeau numérique, les données brutes comprennent des modules préprogrammés de différents types dédiés à cette création ou interaction. En particulier, les modules peuvent être par exemple :

des modules de modélisation du comportement d’au moins un composant du système externe, en particulier pour les capteurs, les actuateurs, les interfaces de communication et d'autres éléments de l'architecture du produit
des modules de modélisation d’interfaçage avec au moins un composant du système externe, c’est-à-dire des modules qui peuvent automatiquement s'intégrer aux API du produit, pour un accès facile et dynamique aux données. En particulier, ces modules ont des interfaces qui peuvent être liées à divers types de capteurs (température, pression, etc.), actionneurs (moteurs, vérins, etc. ), et d'autres APIs pour permettre une grande variété de configurations. Des modules permettent également de s'intégrer aux API du produit, pour un accès facile et dynamique aux données.

Les données brutes peuvent également comprendre des environnements de simulation préconstruits qui peuvent être attachés à des capteurs en temps réel pour la visualisation de données sous diverses formes potentielles (modèle 3D, 2D, graphique, courbes, tableur, etc.).

Un mode de réalisation possible pour l’implémentation d’un scénario de jumeau numérique est par exemple basé sur une implémentation de type langage graphique ouvisual scriptingouvisual programmingen anglais, où les modules préprogrammés sont représentés par des nœuds, qu’ils soient des nœuds représentant des composants du système externe, des nœuds représentant des capteurs ou des nœuds représentants des interfaces.

Les nœuds sont par exemple :

des nœuds d’une couche de données (data layeren anglais), comprenant les capteurs, par exemple des capteurs de températures, de pression, etc.
des nœuds d’une couche de communication (communication layeren anglais), configuré pour la définition des protocoles de communication en temps réel, les protocoles de sécurisation des communication,
des nœuds d’une couche modèle (model layeren anglais), comprenant des modèles 2D, des modèles 3D, des modèles sémantiques, etc.
des nœuds d’une couche d’analyse (analysis layeren anglais), configuré pour l’analytique des données, l’apprentissage automatique, le diagnostic, et d’autres types d’analyse,
des nœuds d’une couche d’action (action layeren anglais), configuré pour les ajustements de contrôle, les plans de maintenance, ou d’autres actions.

Le module intelligent fonctionne alors comme un régisseur dans l’orchestration des nœuds, en les liant de manière appropriée en fonction du scénario et des besoins utilisateur. Le module intelligent peut en outre générer ou contrôler en temps réel des paramètres des nœuds. Par exemple, si un utilisateur souhaite suivre la température, le module intelligent peut générer une instance d’un nœud de capteur de température et le connecter au modèle 3D pour afficher ces données. Dans un mode de réalisation de l’invention, l’implémentation de langage graphique est accessible de façon visuelle à l’utilisateur qui peut le modifier dans son interface du système utilisateur.

Le module intelligent peut également générer en sortie un assistant qui traite des requêtes de l’utilisateur en langage naturel et les données sous diverses formes (texte, image, modèles 3D, etc.) en procédure d’intégration de composant au jumeau numérique existant ou la création de nouveau jumeau numérique.

L'utilisateur peut interagir avec le système pour ajouter, retirer ou ajuster des modules, et le module intelligent agit en conséquence pour réorganiser et ajuster le jumeau numérique et produire des suggestions à l’utilisateur.

Le dispositif algorithmique inclue tout ce qui est programmé et préprogrammé en tant qu’outils créés en code classique, tandis que le module intelligent est responsable de l’organisation de données et des requêtes brutes de l’utilisateur pour simplifier la communication et la complétion des intentions de l’utilisateur pour intégrer un système externe au sein du jumeau numérique de l’entité cible, créant ainsi une architecture complète et flexible.

Claims

Système informatique de création de scénario pour l’interaction d’un utilisateur avec un système externe à partir de données (14a, 14b, 14c, 14d) brutes relatives à au moins un composant de ce système externe, caractérisé en ce qu’il comprend un dispositif informatique dit dispositif (16) algorithmique comprenant au moins un processeur et :
un module (16a) de réception à partir d’une ou plusieurs bases (18) de données desdites données (14a, 14b, 14c, 14d) brutes, de données d’entrée d’un utilisateur, d’une structure de données prédéterminée et d’une trame d’au moins un scénario souhaité,

un module (16b) de création d’une requête (20) textuelle adaptée audit scénario souhaité et au système externe, à partir d’un texte de requête préconfiguré, de la structure de données prédéterminée, du jeu de données structurées et de la trame de scénario,
en ce que le système informatique de création comprend en outre un module (22) intelligent comprenant au moins un modèle (24) d’apprentissage numérique entraîné à partir d’un jeu de données générique et/ou spécifique et configuré pour recevoir en tant que donnée d’entrée ladite requête (20) textuelle et pour générer comme données de sortie des données traitées représentatives du scénario souhaité dans lesquelles les données (14a, 14b, 14c, 14d) brutes sont conformées à la structure de données prédéterminée selon la trame de scénario souhaitée,
et en ce que le dispositif (16) algorithmique est en outre configuré pour recevoir les données traitées et mettre en forme lesdites données traitées pour fournir des données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé.
Système informatique de création de scénario selon la revendication 1, caractérisé en ce que les données (14a, 14b, 14c, 14d) brutes comprennent un ou plusieurs des éléments suivants :
une ou plusieurs images bidimensionnelles d’au moins un composant du système externe, annotées ou non,

un ou plusieurs modèles tridimensionnels d’au moins un composant du système externe, annotés ou non,

données textuelles relatives au système externe,

des données de sortie d’un précédent traitement par le module intelligent,

des modules préprogrammés pour la génération d’un jumeau numérique du système externe, les modules préprogrammés comprenant des modules de modélisation du comportement d’au moins un composant du système externe et/ou des modules de modélisation d’interfaçage avec au moins un composant du système externe.
Système informatique de création de scénario selon l’une des revendications 1 ou 2, caractérisé en ce que la trame de scénario est choisie parmi une ou plusieurs des trames de scénario suivantes :
une trame de scénario d’instructions, configuré pour l’obtention d’une liste d’instructions associées à des actions relatives à un ou plusieurs composants du système externe, pour une mise en œuvre par un utilisateur humain,

une trame de scénario d’étiquetage et de catégorisation des données brutes selon la structure de données prédéterminée pour l’obtention de données étiquetées et catégorisées adaptée pour être utilisées dans la requête textuelle,

une trame de scénario de jumeau numérique, configuré pour l’obtention d’un jumeau numérique d’au moins un composant du système externe, pour une simulation d’au moins un composant du système externe et pour la fourniture d’une interface d’envoi d’instructions ou de requêtes à ladite simulation dudit composant.
Système informatique de création de scénario selon l’une des revendications 1 à 3, caractérisé en ce que le module (22) intelligent est intégré à un serveur externe accessible par l’Internet et en ce que le système de création comprend un réseau de communication destiné à transmettre la requête (20) textuelle au module (22) intelligent et à recevoir comme données de sortie les données traitées représentatives du scénario.
Système informatique de création de scénario selon l’une des revendications 1 à 3, caractérisé en ce que le module (22) intelligent est intégré à un serveur privé interne au système informatique de création et le modèle (24) d’apprentissage automatique pré-entraîné par un jeu de données est ensuite réglé pour la création de scénario à partir de requêtes textuelles adaptées à une pluralité de scénarios et une pluralité de système externe.
Système informatique de création de scénario selon l’une des revendications 1 à 5, caractérisé en ce que le modèle (24) d’apprentissage automatique est un modèle d’apprentissage automatique de grande taille.
Système informatique de création de scénario selon la revendication 6, caractérisé en ce que le modèle (24) d’apprentissage automatique de grande taille est un modèle d’apprentissage automatique parmi l’un ou une combinaison des éléments de la liste suivante :
un modèle de langage de grande taille,

un modèle multimodal de grande taille,

un modèle de fondation de grande taille,

un modèle destiné au traitement d’image, en particulier reconnaissance de formes dans une image et/ou segmentation d’image.
Système utilisateur pour la création de scénario pour l’interaction de l’utilisateur avec un système externe, caractérisé en ce qu’il comprend un système (10) informatique de création de scénario selon l’une des revendications 1 à 7 et un dispositif d’interface utilisateur comprenant :
des moyens de saisie d’informations configurés pour permettre à l’utilisateur l’entrée de données d’entrée, la sélection du scénario et des données brutes utilisées, un prétraitement des données brutes, et l’interaction avec les données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé,

des moyens d’affichage d’informations configurés pour l’affichage d’informations relatives au système de création de scénario et/ou l’affichage d’une représentation visuelle des données destinées à l’interaction de l’utilisateur avec le système externe selon le scénario créé.