[go: up one dir, main page]

FR2972321A1 - Method for aggregation and formatting of video on e.g. telephone, involves publishing generated document scene, and adapting step of generation chain of scene document to satisfy constraint associated to output format of generation chain - Google Patents

Method for aggregation and formatting of video on e.g. telephone, involves publishing generated document scene, and adapting step of generation chain of scene document to satisfy constraint associated to output format of generation chain Download PDF

Info

Publication number
FR2972321A1
FR2972321A1 FR1151744A FR1151744A FR2972321A1 FR 2972321 A1 FR2972321 A1 FR 2972321A1 FR 1151744 A FR1151744 A FR 1151744A FR 1151744 A FR1151744 A FR 1151744A FR 2972321 A1 FR2972321 A1 FR 2972321A1
Authority
FR
France
Prior art keywords
scene
document
formatting
constraint
templates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1151744A
Other languages
French (fr)
Other versions
FR2972321B1 (en
Inventor
Marc Brelot
Jonathan Launay
Pierre Souchay
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIZIONR
Original Assignee
VIZIONR
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIZIONR filed Critical VIZIONR
Priority to FR1151744A priority Critical patent/FR2972321B1/en
Publication of FR2972321A1 publication Critical patent/FR2972321A1/en
Application granted granted Critical
Publication of FR2972321B1 publication Critical patent/FR2972321B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8545Content authoring for generating interactive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The method involves formatting a metadata extracted starting from a set of heterogeneous structured data sources (21) i.e. XML document. A scene template (31) i.e. dynamic structure document, is filled with formatted metadata in order to generate a scene document (4). The generated document scene is published, and a step of generation chain of the scene document is adapted to satisfy a constraint associated to output format of the generation chain of the scene document. The template of scene is overlapped with another template of scene. Independent claims are also included for the following: (1) a system for aggregation and formatting of multi-media contents for multimedia terminals (2) a computer program product implemented on a memory medium, comprising a set of instructions for implementing a method for aggregation and formatting of multi-media contents for multimedia terminals.

Description

PROCEDE ET SYSTEME DE GENERATION ET DE MISE A JOUR DE DONNEES STRUCTUREES DESTINEES A DES TERMINAUX MULTIMEDIA L'invention se rapporte au domaine technique de l'agrégation et de la mise en forme de contenus multimédia sur des terminaux multimédia. On désigne, ci-après, par « contenu multimédia » toute représentation numérique comprenant au moins une scène multimédia qui est généralement décrite par un document de scène spécifiant l'agencement, dans l'espace et dans le temps, des objets multimédia qui s'y trouvent. Plus spécifiquement, une scène multimédia est constituée d'une scène initiale pouvant intégrer une pluralité d'objets multimédia discrets (texte, éléments graphiques de base, animations par exemple) ou continus (contenu audio, contenu vidéo par exemple) ainsi qu'éventuellement des éléments de transformation de scène permettant de la faire évoluer d'un état à un autre soit dans le temps soit par une action interactive. Par ailleurs, on entend ici par « terminal multimédia », tout équipement utilisateur (mobile ou fixe) apte à recevoir et afficher une scène multimédia tels qu'un terminal mobile de communications (un téléphone, un Smartphone, un PDA par exemple), un ordinateur, un téléviseur, ou plus généralement un moyen d'affichage d'information multimédia (actualités, horaires transport). Les progrès technologiques des moyens de communications visent, en particulier, à développer les capacités des terminaux multimédia à supporter un service multimédia d'une qualité toujours meilleure. La visualisation d'une scène multimédia sur l'écran d'un terminal utilisateur ne cesse de susciter le besoin d'une mise à disposition de plus en plus fluide et rapide des contenus multimédia. Ce besoin est particulièrement ressenti dans le marché du multimédia sur les réseaux bas-débits, comme les réseaux sans-fil 3G, destiné à des terminaux à ressources réduites tels que les Smartphones ou les assistants numériques personnels (PDA). On entend par « ressources réduites » la capacité de la connectivité (3G, Wifi, câble par exemple), les codecs, la V007 B001 FR/TQD The invention relates to the technical field of aggregation and formatting of multimedia contents on multimedia terminals. Hereinafter, "multimedia content" denotes any digital representation comprising at least one multimedia scene which is generally described by a scene document specifying the arrangement, in space and time, of multimedia objects which find there. More specifically, a multimedia scene consists of an initial scene that can integrate a plurality of discrete multimedia objects (text, basic graphic elements, animations for example) or continuous (audio content, video content for example) as well as possibly scene transformation elements to make it evolve from one state to another either in time or by an interactive action. Moreover, here "multimedia terminal" means any user equipment (mobile or fixed) able to receive and display a multimedia scene such as a mobile communication terminal (a telephone, a smartphone, a PDA for example), a computer, a television, or more generally a means of displaying multimedia information (news, transport schedules). The technological advances of the means of communication aim, in particular, at developing the capabilities of multimedia terminals to support a multimedia service of ever better quality. The visualization of a multimedia scene on the screen of a user terminal constantly arouses the need for an increasingly fluid and rapid availability of multimedia content. This need is particularly felt in the multimedia market on low-speed networks, such as 3G wireless networks, for low-resource terminals such as smartphones or personal digital assistants (PDAs). "Reduced resources" means the capacity of connectivity (3G, Wifi, cable for example), codecs, V007 B001 FR / TQD

mémoire du terminal, et la puissance, par exemples, du terminal multimédia. Par conséquent, l'émergence des terminaux multimédia à ressources réduites a fait surgir les limites des techniques actuelles de mise à disposition des contenus multimédia. La mise à disposition d'un contenu multimédia comprend, notamment, - la génération de documents de scène : dans cette phase, une abstraction des scènes est faite à l'aide de différentes méthodes descriptives telles que BIFS (Blnary Format for Scene), XHTML (eXtensible HyperText Markup Language), SVG (Scalable Vector Graphics), Flash, SMIL (Synchronized Multimedia Integration Language). Cette phase comprend, en outre, l'adaptation du contenu généré aux contraintes liées aux terminaux multimédia; - la publication des documents de scène générés: la publication se fait dans un format spécifique selon un mode particulier (en broadcast, ou sur IP par exemple) jusqu'au dispositif de lecture et/ou de visualisation (browser, lecteur Flash, BIFS, par exemple) afin d'y être affiché en une scène multimédia; et - la gestion des modifications ou mises à jour des scènes multimédia affichées liées soit aux interactions utilisateur soit aux actions temporelles. Il existe un grand nombre de procédés antérieurs permettant d'agréger des données et de les fusionner au sein d'un seul document, ainsi que de publier ou encore transformer le document de scène produit. terminal memory, and the power, for example, of the multimedia terminal. As a result, the emergence of low-resource multimedia terminals has brought up the limits of current multimedia content delivery techniques. The provision of multimedia content includes, in particular, the generation of scene documents: in this phase, an abstraction of the scenes is made using various descriptive methods such as BIFS (Blnary Format for Scene), XHTML (eXtensible HyperText Markup Language), SVG (Scalable Vector Graphics), Flash, SMIL (Synchronized Multimedia Integration Language). This phase furthermore comprises the adaptation of the generated content to the constraints related to the multimedia terminals; - the publication of the generated scene documents: the publication is done in a specific format according to a particular mode (in broadcast, or on IP for example) up to the device of reading and / or visualization (browser, Flash reader, BIFS, for example) to be displayed in a multimedia scene; and - the management of the modifications or updates of the displayed multimedia scenes related to the user interaction or to the temporal actions. There are a large number of prior methods for aggregating and merging data into a single document, as well as for publishing or transforming the produced scene document.

En ce qui concerne l'agrégation, le document produit est généralement statique et les aspects de formatage sont parfois proposés au sein de la chaîne de traitement. Cette étape d'agrégation peut avoir lieu au niveau - du client lui-même (le terminal multimédia) à l'aide de script (AJAX par exemple) ; ou - d'un serveur distant à la récupération du document (PHP, JPS par exemple) par le client. V007 B001 FR/TQD As far as aggregation is concerned, the document produced is usually static and formatting aspects are sometimes proposed within the processing chain. This aggregation step can take place at the level of the client itself (the multimedia terminal) using script (AJAX for example); or - from a remote server to the recovery of the document (PHP, JPS for example) by the client. V007 B001 FR / TQD

Dans ces deux derniers cas, le design et le formatage sont réalisés dans un seul traitement. Dans une troisième catégorie de système, l'agrégation se fait sur le serveur et les pages produites sont statiques bien qu'elles puissent être générées (et donc différentes) à chaque nouvelle requête d'un client (système CSS+ MODEL + DATA par exemple). Pour la génération d'une scène multimédia, il existe également une multitude de procédés et systèmes tels que les générateurs Flash et des boîtes à outils Web permettant de générer des présentations dynamiques (les pages web Gmail® par exemple). In the latter two cases, the design and formatting are done in a single process. In a third category of system, the aggregation is done on the server and the produced pages are static although they can be generated (and thus different) with each new request of a client (system CSS + MODEL + DATA for example) . For the generation of a multimedia scene, there are also a multitude of processes and systems such as Flash generators and Web toolkits to generate dynamic presentations (Gmail® web pages for example).

En termes de transformation, on peut citer, par exemple, les procédés basés sur le langage XSLT (eXtensible Stylesheet Language Transformations). Ce langage permet de transformer un document XML (Extensible Markup Language) vers un autre document (souvent XML lui aussi). Le document produit est alors statique et n'évolue pas dans le temps. Les procédés et systèmes connus sont imparfaits, notamment en raison de ce que: - la plupart des procédés existants ne produisent que des documents statiques (qui n'évoluent pas dans le temps). L'utilisateur est alors contraint de demander à nouveau la page s'il souhaite obtenir la page modifiée ; - la plupart des systèmes connus sont conçus pour ne traiter qu'un seul type de format. Leurs chaînes de génération sont entièrement construites autour du format de sortie. Il faut donc autant de chaînes de génération que de formats qu'on souhaite adresser. Certaines chaînes ne produisent que des formats propriétaires (Flash par exemple) ; - certaines solutions n'intègrent pas d'étape de formatage post injection des données brutes. Il faut donc formater les données avant de les injecter dans un modèle - ce qui pose des problèmes lorsqu'on ne connait pas forcement le design final du document ; - pour certaines solutions où les données brutes sont formatées au niveau de la génération du contenu multimédia (jsp, php, AJAX par V007 B001 FR/TQD In terms of transformation, there may be mentioned, for example, methods based on the XSLT (eXtensible Stylesheet Language Transformations) language. This language makes it possible to transform an Extensible Markup Language (XML) document into another document (often XML too). The produced document is then static and does not evolve in time. The known processes and systems are imperfect, in particular because: - most existing processes only produce static documents (which do not evolve over time). The user is then forced to request the page again if he wishes to obtain the modified page; most known systems are designed to process only one type of format. Their generation chains are built entirely around the output format. So you need as many generation chains as formats that you want to address. Some channels only produce proprietary formats (Flash for example); some solutions do not include a post-injection formatting step of the raw data. It is therefore necessary to format the data before injecting them into a model - which poses problems when one does not necessarily know the final design of the document; - for some solutions where the raw data are formatted at the level of multimedia content generation (jsp, php, AJAX by V007 B001 FR / TQD

exemple), le formatage se fait souvent au moment de la demande d'un document par le client. Il est alors nécessaire de refaire toute la couche de formatage dès lors qu'on modifie le design ; - les procédés existants ne sont pas spécifiquement orientés pour la diffusion broadcast ; - les procédés existants doivent être en général arrêtés lorsqu'il faut modifier les sources d'entrée de données, ou les modèles de services ou encore le « workflow » de traitement ; - les coûts de mise en oeuvre, d'évolution et de maintenance des systèmes connus sont généralement très élevés; - chaque client ne peut disposer d'une version optimale correspondante à sa configuration ; - l'acheminement d'un contenu multimédia complexe décrit à l'aide des modèles de description existants demeure toujours une tache difficile. Un objet de la présente invention est de remédier aux inconvénients des procédés et dispositifs de l'art antérieur. Un autre objet de la présente invention est de permettre une mise à disposition de contenus multimédia aussi automatique, rapide, et générique que possible. Un autre objet de la présente invention est de proposer une méthode d'abstraction pour la description d'une scène multimédia. Un autre objet de la présente invention est de proposer une méthode d'adaptation des contenus multimédia aux terminaux multimédia. example), formatting is often done when the customer requests a document. It is then necessary to redo the entire formatting layer as soon as the design is modified; - the existing processes are not specifically oriented for broadcast broadcasting; - Existing processes must generally be terminated when modifying data entry sources, or service models or the processing workflow; the costs of implementation, evolution and maintenance of the known systems are generally very high; - each client can not have an optimal version corresponding to its configuration; - The routing of complex multimedia content described using existing description templates is still a difficult task. An object of the present invention is to overcome the disadvantages of the methods and devices of the prior art. Another object of the present invention is to make multimedia content available as automatically, quickly and generically as possible. Another object of the present invention is to propose an abstraction method for the description of a multimedia scene. Another object of the present invention is to propose a method for adapting multimedia contents to multimedia terminals.

Un autre objet de la présente invention est de définir un framework multimédia couvrant la chaîne de fourniture des contenus multimédia. Un autre objet de la présente invention est de proposer un modèle de description de scènes multimédia riches (pouvant être composées de texte, de graphique 2D/3D, de vidéo, d'images et d'audio). V007 B001 FR/TQD Another object of the present invention is to define a multimedia framework covering the multimedia content supply chain. Another object of the present invention is to provide a model for describing rich multimedia scenes (which can be composed of text, 2D / 3D graphics, video, images and audio). V007 B001 FR / TQD

Un autre objet de l'invention est de mettre à disposition des utilisateurs des contenus multimédia dynamiques, générés d'une façon automatique sous différents formats. Un autre objet de la présente invention est de proposer un moteur de génération de contenus visuels, interactifs et dynamiques, indépendamment du format de sortie, du mode de transport, et des terminaux multimédia. Encore un autre objet de la présente invention est d'adapter le contenu multimédia à diverses contraintes liées au contexte d'utilisation (ou de consommation) du contenu multimédia. Another object of the invention is to provide users with dynamic multimedia content, generated automatically in different formats. Another object of the present invention is to provide a visual, interactive and dynamic content generation engine, independently of the output format, the transport mode, and the multimedia terminals. Yet another object of the present invention is to adapt the multimedia content to various constraints related to the context of use (or consumption) of the multimedia content.

II est proposé, selon un premier aspect, un procédé d'agrégation et de mise en forme de contenus multimédia destinés à des terminaux multimédia, ce procédé comprenant : - une étape de formatage de métadonnées extraites à partir d'une pluralité de données sources structurées hétérogènes ; - une étape de remplissage, avec au moins une métadonnée formatée, d'au moins un template de scène afin de générer un document de scène; - une étape de publication du document de scène généré ; - une étape d'adaptation d'au moins une étape de la chaîne de génération du document de scène pour satisfaire au moins une contrainte. Ce procédé peut en outre comprendre une étape d'imbrication de templates de scènes. Selon un deuxième aspect, il est proposé un système d'agrégation et de mise en forme de contenus multimédia destinés à des terminaux multimédia, ce système comprenant : - un formateur agencé pour formater une pluralité de métadonnées extraites à partir d'une pluralité de données sources structurées hétérogènes ; V007 B001 FR/TQD It is proposed, according to a first aspect, a method of aggregating and formatting multimedia contents intended for multimedia terminals, this method comprising: a step of formatting metadata extracted from a plurality of structured source data heterogeneous; a filling step, with at least one formatted metadata, of at least one scene template in order to generate a scene document; a step of publishing the generated scene document; a step of adapting at least one step of the generation chain of the scene document to satisfy at least one constraint. This method may further include a step of nesting scene templates. According to a second aspect, there is provided a system for aggregating and formatting multimedia contents intended for multimedia terminals, this system comprising: a formatter arranged to format a plurality of extracted metadata from a plurality of data heterogeneous structured sources; V007 B001 FR / TQD

- un gestionnaire de scènes agencé pour recenser les imbrications de templates de scène remplis par les métadonnées formatées afin de générer un document de scène ; - un module de publication chargé de relayer le document de scène généré ; - un contrôleur configuré pour rétroagir sur la chaîne de génération du document de scène pour satisfaire au moins une contrainte. D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement et de manière concrète à la lecture de la description ci-après de modes de réalisation préférés, laquelle est faite en référence aux dessins annexés dans lesquels : la figure 1 illustre schématiquement une représentation fonctionnelle d'un mode de réalisation ; les figures 2 à7 illustrent schématiquement des modules fonctionnels, pris seuls ou en interaction, selon différents modes de réalisation. Sur la figure 1 est illustré un générateur 1 de documents de scène 4 à partir de données sources 21 structurées hétérogènes. Le générateur 1 vise à agréger, par exemple depuis des sites web et/ou des bases de données 2, des données sources pour fournir en temps réel des documents de scène 4 multi-formats indépendants des données sources structurées 21 hétérogènes d'entrée. Il est à noter qu'on entend, ici, par « document structuré dynamique » une représentation définissant un ensemble de noeuds connectés entre eux formant une arborescence (ou un arbre de scène). Conformément à la notion générale d'arbre, celui-ci se compose de noeuds dont chacun possède un nombre arbitraire (éventuellement zéro) d'enfants (ou noeuds feuille) et exactement un parent. Le modèle de document de scène 4, utilisé ci-après, étend la définition précédente d'arborescence en ajoutant une différentiation des noeuds en deux catégories : des noeuds de document, généralement des noeuds feuille, décrivant la structure interne statique du document (avec l'arborescence de noeuds groupant) et le contenu lui-même du document ; V007 B001 FR/TQD a scene manager arranged to register the nesting of scene templates filled by the formatted metadata in order to generate a scene document; a publication module responsible for relaying the generated scene document; a controller configured to retroact on the generation chain of the scene document to satisfy at least one constraint. Other characteristics and advantages of the invention will appear more clearly and concretely on reading the following description of preferred embodiments, which is made with reference to the appended drawings in which: FIG. 1 schematically illustrates a representation functional of an embodiment; Figures 2 to 7 schematically illustrate functional modules, taken alone or in interaction, according to different embodiments. In Figure 1 is illustrated a generator 1 of scene documents 4 from heterogeneous structured source data 21. The purpose of the generator 1 is to aggregate, for example from web sites and / or databases 2, source data to provide in real time multi-format scene documents 4 independent of heterogeneous structured input source data. It should be noted that here we mean by "dynamic structured document" a representation defining a set of nodes connected together forming a tree (or a scene tree). In accordance with the general notion of tree, it consists of nodes each of which has an arbitrary number (possibly zero) of children (or leaf nodes) and exactly one parent. The scene document template 4, used hereinafter, extends the previous tree definition by adding a differentiation of the nodes into two categories: document nodes, generally leaf nodes, describing the static internal structure of the document (with grouping node tree) and the content itself of the document; V007 B001 FR / TQD

des noeuds de commande décrivant des commandes de mise à jour de la structure du document. Ces commandes sont insérées dans le document lui-même et leurs événements déclencheurs dépendent du langage associé au modèle (événement temporel, action utilisateur, réaction à une modification du document par exemple). Ainsi, un document structuré dynamique contient, dans une même arborescence, une description initiale de document statique et un ensemble de commandes applicables à celui-ci, attribuant de la sorte la dimension dynamique. Une modification apportée à une scène multimédia peut donc être vue comme une insertion, une suppression ou un remplacement de noeuds ou de feuilles, équivalente à une opération de mise à jour de l'arborescence. Le générateur 1 de documents de scène 4 comprend : un formateur 11 agencé pour formater des métadonnées extraites à partir des données sources structurées 21 (un document XML par exemple). Les métadonnées extraites se composent des attributs et des contenus des éléments du document 21, désignés ci-après par des clés. Le formateur 11 comprend une pluralité de modules unitaires de formatage organisés en chaîne et dont les sorties peuvent porter sur l'aspect temporel, spatial, ou interactif d'une scène ; un gestionnaire 12 de scènes pourvu d'une base de données 3 de templates 31 (c'est-à-dire de modèles) de scène et configuré pour recenser les imbrications des templates 31 de scène remplis par les clés afin d'obtenir un document de scène 4. Un template 31 de scènes est un document à structure dynamique déclarant des noeuds pour recevoir les clés 122, et des points d'ancrage 123 pour supporter l'imbrication d'autres templates 31 de scène. Le gestionnaire 12 de scènes possède, ainsi, une vision instantanée sur l'arborescence des templates 31 de scène relatifs au document structuré 21. un module 13 de publication, se trouvant à la sortie du générateur 1 de documents de scène, et chargé de relayer le document de scène 4 établi par le gestionnaire 12 de scènes ou de requérir, auprès de ce dernier, l'état instantané d'une scène. V007 B001 FR/TQD command nodes describing commands for updating the structure of the document. These commands are inserted in the document itself and their triggering events depend on the language associated with the model (time event, user action, reaction to a modification of the document for example). Thus, a dynamic structured document contains, in the same tree, an initial description of a static document and a set of commands applicable thereto, thus attributing the dynamic dimension. A change made to a multimedia scene can therefore be seen as an insertion, deletion or replacement of nodes or sheets, equivalent to an update operation of the tree. The scene document generator 4 comprises: a formatter 11 arranged to format extracted metadata from the structured source data 21 (an XML document for example). The extracted metadata consists of the attributes and contents of the elements of the document 21, hereinafter referred to as keys. The formatter 11 comprises a plurality of unitary formatting modules arranged in a chain and whose outputs can relate to the temporal, spatial, or interactive aspect of a scene; a scene manager 12 provided with a scene template database 31 (that is to say models) and configured to register the nesting of scene templates 31 filled with the keys in order to obtain a document 4. A scene template 31 is a dynamically structured document declaring nodes for receiving the keys 122, and anchor points 123 for supporting the nesting of other scene templates 31. The scene manager 12 thus has an instantaneous view on the tree structure of the scene templates 31 relating to the structured document 21. A publication module 13, located at the output of the scene document generator 1, and responsible for relaying the scene document 4 established by the scene manager 12 or to request, from the latter, the instantaneous state of a scene. V007 B001 FR / TQD

Les données injectées en entrée du générateur 1 proviennent de sources de données 2 diverses décorrélées n'ayant pas des connaissances des modèles - obtenus par imbrication des templates 31 de scène - à remplir. Ces données ne peuvent donc pas être insérées en l'état dans les modèles de documents. Pour cela, le formateur 11 est configuré pour permettre la mise en forme et l'enrichissement des données brutes en entrée avant leur insertion dans les modèles. En référence à la figure 2, le formateur 11 est, de préférence, composé d'une pluralité de formateur unitaires 111-114 connectés entre eux. The data injected into the input of the generator 1 comes from various uncorrelated data sources 2 not having knowledge of the models - obtained by nesting the scene templates 31 - to be completed. This data can not be inserted as is in document templates. For this, the formatter 11 is configured to allow the formatting and enrichment of the input raw data before insertion into the models. With reference to FIG. 2, the formatter 11 is preferably composed of a plurality of unitary formers 111-114 connected to each other.

Avantageusement, des formateurs unitaires 111-114 permettent d'obtenir, par combinaison, des « blocs de formatage » réalisant des fonctions complexes tout en maximisant les perspectives de réutilisation de chaque formateur unitaire 111-114 (ou chaque brique élémentaire). Le formateur 11 déclare des clés d'entrée sur lesquelles il effectue une ou plusieurs opérations élémentaires à l'aide des formateurs unitaires 111-114 afin de produire des clés de sortie. Ainsi, une ou plusieurs sorties prédictibles à partir de valeurs d'entrée correspondantes peuvent être produites par le formateur 11. Il est à noter qu'un formateur unitaire 111-114 peut ne pas avoir une clé d'entrée (respectivement, une clé de sortie). A titre d'exemple, un formateur unitaire 113 peut générer des valeurs en sortie sans nécessité de recueillir des données en entrée (par exemple un formateur unitaire donnant l'heure courante). Le formateur 11 assure également la gestion de la mise à jour des clés, que ce soit en entrée du module (données injectées dans le générateur 1 via l'interface dédiée) ou en sortie des formateurs unitaires 111-114. La prise en compte des mises à jour de clés fonctionne sur un mécanisme événementiel. La mise à jour d'une clé en n'importe quel point de la chaîne de formatage 110 entraîne une propagation des modifications de proche en proche au travers des différents formateurs unitaires 111-114 selon un algorithme assurant l'exécution du graphe de formatage en prévenant l'apparition de boucles infinies. V007 B001 FR/TQD Advantageously, unitary instructors 111-114 make it possible, by combination, to obtain "formatting blocks" carrying out complex functions while maximizing the reuse perspectives of each unitary trainer 111-114 (or each elementary block). The instructor 11 declares input keys on which he performs one or more elementary operations using the unit instructors 111-114 to produce output keys. Thus, one or more outputs that can be predicted from corresponding input values can be produced by the instructor 11. It should be noted that a unitary trainer 111-114 may not have an input key (respectively, a key of exit). For example, a unitary formatter 113 may generate output values without the need to collect input data (e.g., a unitary formatter giving the current time). The trainer 11 also manages the updating of the keys, either at the input of the module (data injected into the generator 1 via the dedicated interface) or at the output of the unit trainers 111-114. The consideration of key updates works on an event mechanism. The updating of a key at any point of the formatting chain 110 causes the changes to be propagated step by step through the various unitary instructors 111-114 according to an algorithm ensuring the execution of the formatting graph in preventing the appearance of infinite loops. V007 B001 FR / TQD

En référence à la figure 3, les clés 122 disponibles en sortie de la chaîne de formatage 110 sont connectées aux modules 121 de scènes obtenus par imbrication de templates 31 de scène chargés au sein du gestionnaire 12 de scènes. L'imbrication des templates 31 de scène est faite à l'aide de points d'ancrage 123. La mise à jour d'une donnée en entrée de la chaîne de formatage 110 entraîne en sortie une mise à jour d'une ou plusieurs clés d'entrée du gestionnaire 12 de scènes. Ce gestionnaire 12 de scène applique alors la modification correspondante sur le module 121 de scènes et génère un événement (une commande) correspondant à la mise à jour effectuée. Le gestionnaire 12 de scènes a principalement pour rôle de recenser et gérer les liaisons entre les templates 31 de scène qui y sont chargés depuis la base de données 3. En effet, la création de documents de scène 4 riches à partir de documents simples est effectuée par imbrication de templates 31 de scène préalablement chargés dans la base de données 3. Ayant à tout instant une connaissance des liaisons entre les différents templates 31 de scène(les flèches, sur la figure 3, liant les points d'ancrage 123 d'une template 31 de scène à une autre template 31 de scène au sein du module 121 de scènes), le gestionnaire 12 de scène est en mesure d'effectuer sur demande une reconstruction de document de scène correspondant à toute sous-partie de son arborescence de scènes. Etant donné un point d'entrée (scène racine), il suffit de parcourir l'arbre de manière descendante en procédant récursivement à l'imbrication des scènes enfant sur le noeud ancre de leur parent. With reference to FIG. 3, the keys 122 available at the output of the formatting chain 110 are connected to the modules 121 of scenes obtained by nesting scene templates 31 loaded in the scene manager 12. The nesting of the scene templates 31 is done using anchor points 123. Updating an input data of the formatting string 110 results in an update of one or more keys 12 scene manager input. This scene manager 12 then applies the corresponding modification to the module 121 of scenes and generates an event (a command) corresponding to the update performed. The role of the scene manager 12 is mainly to register and manage the links between the scene templates 31 loaded therein from the database 3. Indeed, the creation of rich scene documents 4 from simple documents is carried out by nesting scene templates 31 previously loaded into the database 3. Having at all times a knowledge of the links between the various scene templates 31 (arrows, in FIG. 3, linking the anchoring points 123 of a scene template 31 to another scene template 31 within the scene module 121), the scene manager 12 is able to perform on demand a scene document reconstruction corresponding to any sub-part of its scene tree. . Given an entry point (root scene), it suffices to traverse the tree in a descending way by recursively proceeding to the nesting of the child scenes on the anchor node of their parent.

Dans un mode de réalisation, le gestionnaire 12 de scènes est un conteneur d'un « nuage de scènes » connectées entre elles, et dont chaque scène évolue au sein de ce conteneur indépendamment des autres, et génère des événements différentiels pour signaler sa mise à jour. Par ailleurs, la création et la suppression de liaisons entre les différentes scènes déclenchent également des évènements (correspondant à une insertion de noeud dans le cas d'une création de liaison, ou à une suppression de noeud pour une rupture). Ces évènements sont exposés en sortie du module, de ce fait d'autres modules peuvent se placer à l'écoute In one embodiment, the scene manager 12 is a container of a "cloud of scenes" connected to each other, and each scene of which evolves within this container independently of the others, and generates differential events to signal its setting. day. In addition, the creation and deletion of links between the different scenes also trigger events (corresponding to a node insertion in the case of a connection creation, or to a node deletion for a break). These events are exposed at the end of the module, so other modules can be listened to

V007 B001 FR/TQD V007 B001 FR / TQD

de ces évènements pour en faire une interprétation : c'est le cas du module 13 de publication. Par conséquent, l'interface de sortie du gestionnaire 12 de scènes peut assurer une pluralité de fonctions dont principalement: le relai des événements différentiels (commandes) et la construction (sur requête) de documents par imbrication de scènes (autrement dit, de templates 31 de scène) reliées entre elles. Le module 13 de publication se trouve en sortie de la chaîne de génération de documents de scène 4. Il a pour rôle d'effectuer l'export d'une arborescence de scène. A cette fin, le module de publication se déclare auprès du gestionnaire 12 de scènes comme étant à l'écoute d'une scène donnée, et va ainsi relayer les événements pour cette scène et toutes ses scènes enfants. Le module 13 de publication peut, en outre, à tout moment demander au gestionnaire de scènes 12 de lui fournir l'état courant de cette scène, il obtient alors un document agrégé à partir de la scène racine déclarée. Selon le mode d'utilisation de ces deux fonctionnalités fournies par le gestionnaire 12 de scènes, il se dessine trois catégories distinctes de publication: une publication statique : le module 13 de publication n'interprète pas les événements émis par le gestionnaire 12 de scènes. Il récupère le document agrégé (périodiquement ou non), ensuite l'exporte dans un format adéquat ; une publication dynamique : le module 13 de publication effectue un relai des événements vers une application tierce, effectuant éventuellement une transformation préalable de ces événements pour satisfaire des contraintes de langage cible. Le module 13 de publication ne se préoccupe pas de l'état global de la scène ; une publication mixte : usage simultané des deux modes de fonctionnement décrits précédemment. Le module 13 de publication permet, en effet, de récupérer l'état courant de la scène pour interpréter/transformer les événements qu'il reçoit. Il est à noter que l'ensemble des modules du générateur 1 de documents de scène 4 (c.-à-d., le formateur 11, le gestionnaire 12 de scènes, et le of these events to make an interpretation: this is the case of the module 13 of publication. Therefore, the output interface of the scene manager 12 can provide a plurality of functions, mainly: the relaying of differential events (commands) and the construction (on request) of documents by nesting scenes (that is, templates). stage) connected to each other. The publication module 13 is at the output of the scene document generation chain 4. Its role is to perform the export of a scene tree. For this purpose, the publication module declares to the scene manager 12 as being in tune with a given scene, and will relay events for this scene and all its scenes children. The publication module 13 may, in addition, at any time request the scene manager 12 to provide it with the current state of this scene, it then obtains an aggregated document from the declared root scene. Depending on the mode of use of these two features provided by the scene manager 12, three distinct categories of publication emerge: a static publication: the publication module 13 does not interpret the events emitted by the scene manager 12. It retrieves the aggregated document (periodically or not), then exports it in a suitable format; a dynamic publication: the publication module 13 carries out a relay of events to a third party application, optionally performing a prior transformation of these events to satisfy target language constraints. The publication module 13 is not concerned with the overall state of the scene; a mixed publication: simultaneous use of the two modes of operation described above. The publication module 13 makes it possible, in fact, to recover the current state of the scene to interpret / transform the events it receives. It should be noted that all the modules of the scene document generator 1 (ie, the trainer 11, the scene manager 12, and the

V007 B001 FR/TQD n V007 B001 EN / TQD n

module 13 de publication) sont contrôlables via des interfaces de pilotage 14-16. Ces interfaces de pilotage 14-16 donnent la possibilité à un ou plusieurs opérateur(s) extérieur(s) (humains ou non) de configurer en temps réel l'ensemble de la chaîne de génération. publication module 13) are controllable via control interfaces 14-16. These control interfaces 14-16 give the possibility to one or more external operator (s) (human or not) to configure in real time the entire generation chain.

En effet, l'interface de contrôle 14 permet: - de configurer le formateur 11: création/suppression et la mise en liaison de formateurs unitaires 111-114, pilotage des formateurs unitaires 111-114 (si ces derniers en offrent la possibilité), gestion du graphe de formateurs (liaisons entre les formateurs unitaires 111- 114). Ainsi il est possible, par simple jeu de construction d'une chaîne de formatage par association de formateur unitaires 111-114, d'obtenir en sortie du formateur 11 une collection de clés 122 (c.à.d. des métadonnées formatées) mises en forme destinées à être insérées dans les modules 121 de scènes, comprenant des templates 31 de scène et prises en charge par le gestionnaire 12 de scènes; - de configurer le gestionnaire de scènes 12: connexion des clés 122 des modules 121 de scènes aux clés de sortie du formateur 11 (c.à.d. les métadonnées formatées par le formateur 11), création/suppression de connexions entre les différents modèles de scènes comprises dans le gestionnaire de scènes 12 (faire/défaire des imbrications des templates 31 de scène à l'aide du gestionnaire 12 de scènes. Le gestionnaire 12 de scènes permet ainsi, en tant que conteneur de nuage de scènes interconnectées, d'effectuer, sur demande depuis l'interface de contrôle 14, la reconstruction de la totalité ou d'une partie d'une arborescence de scènes); - de configurer le module 13 de publication en fonction de la fonction remplie par ce module : paramétrer les mécanismes de publication des données agrégées. Par ailleurs, l'interface d'injection 16 de templates 31 de scène représente le point d'entrée des templates 31 de scène dans le gestionnaire 12 de scènes. Dans un mode de réalisation, un template 31 de scène comprend un document XML déclarant un ensemble de clés 122 et d'ancres 123. Le V007 B001 FR/TQD Indeed, the control interface 14 makes it possible: to configure the trainer 11: creation / deletion and the linking of the unit trainers 111-114, control of the unit trainers 111-114 (if they offer the possibility), management of the trainer graph (links between the unit trainers 111-114). Thus, it is possible, by simply building a formatting chain by association of unitary trainers 111-114, to obtain at the output of the trainer 11 a collection of keys 122 (ie formatted metadata) used. shaped for insertion into the scene modules 121, including scene templates 31 and supported by the scene manager 12; to configure the scene manager 12: connection of the keys 122 of the scene modules 121 to the output keys of the formatter 11 (ie the metadata formatted by the formatter 11), creation / deletion of connections between the different models of scenes included in the scene manager 12 (making / unmounting scene templates 31 by using the scene manager 12. The scene manager 12 thus makes it possible, as a cloud container of interconnected scenes, to perform, on request from the control interface 14, the reconstruction of all or part of a tree of scenes); to configure the publication module 13 according to the function performed by this module: parameterize the publication mechanisms of the aggregated data. Furthermore, the scene template injection interface 16 represents the entry point of the scene templates 31 into the scene manager 12. In one embodiment, a scene template 31 includes an XML document declaring a set of keys 122 and anchors 123. The V007 B001 FR / TQD

générateur 1 est en mesure d'extraire ces méta-informations du template 31 de scène grâce à l'utilisation d'un espace de noms réservé à cet usage. L'interface d'injection 15 de données permet d'alimenter le formateur 11 avec des données structurées 21 hétérogènes (un document XML par exemple). Les données destinées à remplir les modèles de documents sont intégrées dans le générateur 1 sous forme de flux de données XML. Lors de l'injection d'un flux XML dans la chaîne, une collection de clés est générée en suivant une nomenclature fixe : l'élément racine du document est désigné par son nom (nom de la balise XML) le kième élément fils portant le même nom nomElement est désigné par nomElement[k-1] l'attribut nomAttribut d'un élément est désigné par #nomAttribut le contenu textuel d'un élément n'est pas désigné par un nom particulier, mais, s'il n'y pas de nom d'attribut spécifié, il peut être désigné implicitement ; les noms de clés peuvent être générées récursivement en séparant les différentes composantes par un caractère spécial tel que le caractère «.» (point). generator 1 is able to extract these meta-information from the scene template 31 thanks to the use of a namespace reserved for this purpose. The data injection interface 15 makes it possible to supply the formatter 11 with heterogeneous structured data (an XML document for example). The data intended to fill the document templates is integrated into the generator 1 as an XML data stream. When injecting an XML feed into the string, a key collection is generated by following a fixed BOM: the root element of the document is designated by its name (XML tag name) the kth child element with the same name elementName is designated by elementName [k-1] attribute attributeName of an element is designated by #nameAttribute the textual content of an element is not designated by a particular name, but, if there is no no specified attribute name, it can be implicitly designated; key names can be generated recursively by separating the different components by a special character such as the "." (period) character.

Les interfaces de pilotage 14-16 réalisent deux fonctions distinctes : les interfaces d'injection 15-16 permettent l'insertion dans le générateur des modèles de documents (interface d'injection 16 de templates 31 de scène) et des données de remplissage de ces modèles (interface d'injection 15 des données associées) ; l'interface de contrôle 14 offre quant à elle la possibilité de commander les différents modules du générateur 1 (formatage, gestion de scènes, publication). Le générateur 1, lors de l'injection d'un template 31 de scène (ou un modèle 31 de scène), parcourt le document à la recherche de ces attributs spécifiques et génère les clés et ancres correspondantes qui sont affectées au module 121 de scènes correspondant. Le générateur 1 permet ainsi de créer un module 121 de scènes pour le(s) template(s) 31 (ou le(s) modèle(e) 31) en exposant ses ancres et clés. The control interfaces 14-16 perform two distinct functions: the injection interfaces 15-16 allow insertion into the generator of the document templates (injection interface 16 of scene templates 31) and filling data of these models (injection interface 15 associated data); the control interface 14 offers the possibility of controlling the various modules of the generator 1 (formatting, scene management, publication). The generator 1, when injecting a scene template 31 (or a scene model 31), scans the document in search of these specific attributes and generates the corresponding keys and anchors that are assigned to the scene module 121. corresponding. The generator 1 thus makes it possible to create a module 121 of scenes for the template (s) 31 (or model (s) 31) by exposing its anchors and keys.

V007 B001 FR/TQD V007 B001 FR / TQD

Si un document injecté dans la chaîne de génération possède des commandes internes, alors le modèle 31 inséré dans le générateur 1 comprend au moins une scène temporelle : le document est décomposé en commandes ordonnées temporellement et qui s'exécutent en interne du module 121 de scènes. Le générateur 1 génère automatiquement une clé 122 pour chaque élément/attribut/texte du document XML 21 injecté. Ainsi, ayant connaissance de cette nomenclature, l'ensemble des formateurs unitaires 111-114 de la chaîne de formatage 110 peuvent se connecter à toute clé 122 d'un flux XML d'entrée. Par ailleurs, le générateur 1 reste connecté à ce flux de données et détecte tout changement de valeur d'une ou plusieurs valeurs. Le cas échéant, il propage la mise à jour dans l'ensemble de la chaîne (exécution du graphe de formatage 110, mise à jour des modules 121 de scènes, génération d'événements vers le module 13 de publication). Le module 13 de publication permet de produire un contenu multimédia final tout en satisfaisant au moins deux types de contraintes : des contraintes imposées par la configuration des étapes/modules de la chaîne de génération de documents de scène 4 (via les interfaces de contrôle 14 et d'injection 15-16 des modèles et données associées), généralement liées au format de données et à l'architecture du service ; des contraintes associées au format de sortie de la chaîne de génération (c.à.d. du générateur 1) de documents de scène 4 telles que des contraintes de débit ou de langage par exemple. Pour cela, une configuration fine des différents modules du générateur 1 en connaissance des caractéristiques du format de sortie est adoptée. En effet, les différents composants et contraintes du système peuvent fortement varier au cours du temps les données sources injectées dans la brique de formatage peuvent varier en nombre et en caractéristiques (poids, qualité par exemple) ; V007 B001 FR/TQD If a document injected into the generation chain has internal commands, then the model 31 inserted into the generator 1 comprises at least one temporal scene: the document is decomposed into temporally ordered commands and which executes internally of the module 121 of scenes . The generator 1 automatically generates a key 122 for each element / attribute / text of the XML document 21 injected. Thus, having knowledge of this nomenclature, the set of unitary trainers 111-114 of the formatting string 110 can connect to any key 122 of an input XML stream. In addition, the generator 1 remains connected to this data stream and detects any change in value of one or more values. If necessary, it propagates the update throughout the chain (execution of the formatting graph 110, update of the modules 121 of scenes, generation of events to the module 13 of publication). The publication module 13 makes it possible to produce a final multimedia content while satisfying at least two types of constraints: constraints imposed by the configuration of the steps / modules of the scene document generation chain 4 (via the control interfaces 14 and injection 15-16 models and associated data), generally related to the data format and service architecture; constraints associated with the output format of the generation chain (ie of the generator 1) of scene documents 4 such as flow or language constraints for example. For this, a fine configuration of the different modules of the generator 1 in knowledge of the characteristics of the output format is adopted. Indeed, the various components and constraints of the system can vary greatly over time the source data injected into the formatting brick can vary in number and characteristics (weight, quality for example); V007 B001 FR / TQD

l'ancrage ou la suppression d'une scène du service global peuvent modifier le « poids » des données à publier ; la configuration de publication peut changer, notamment, le débit alloué au transport du service. anchoring or deleting a global service scene can change the "weight" of the data to be published; the publishing configuration may change, in particular, the bit rate allocated to the transport of the service.

D'où l'intérêt d'une configuration adaptable du générateur 1. Une configuration optimale à un instant donné peut s'avérer inadéquate suite aux modifications diverses citées ci-dessus. Afin de préserver l'optimalité du générateur 1, le module 13 de publication est chargé de contrôler l'asservissement de la chaine de génération en appliquant une nouvelle configuration à chaque modification atomique qu'il détecte. Le module 13 de publication permet d'effectuer une « rétroaction » sur l'ensemble des modules du générateur 1. En référence à la figure 4, le module 13 de publication produit donc d'une part un flux de données 18 de service multimédia, et d'autre part un flux de contrôle 17 à destination des différents modules de génération (dont le module de publication lui-même). Ainsi l'état courant du module 13 de publication est réinjecté sous forme de données de configuration des divers modules 11-13. Cet asservissement du générateur 1 aux contraintes de sortie ajoute au système une capacité d'optimisation et d'adaptation automatique en temps réel aux variations de ces contraintes. Avantageusement, les informations retournées par le module 13 de publication aident les différents modules du générateur 1 à décider de la forme et de la nature optimale des adaptations à ajouter aux traitements en cours. Hence the advantage of an adaptable configuration of the generator 1. An optimal configuration at a given time may be inadequate following the various modifications mentioned above. In order to preserve the optimality of the generator 1, the publication module 13 is responsible for controlling the servocontrol of the generation chain by applying a new configuration to each atomic modification it detects. The publication module 13 makes it possible to "feedback" on all the modules of the generator 1. With reference to FIG. 4, the publication module 13 therefore produces a multimedia service data stream 18 on the one hand, and on the other hand a control flow 17 for the different generation modules (including the publication module itself). Thus, the current state of the publication module 13 is reinjected as configuration data of the various modules 11-13. This slaving of the generator 1 to the output constraints adds to the system a capacity for optimization and automatic adaptation in real time to the variations of these constraints. Advantageously, the information returned by the publication module 13 helps the different modules of the generator 1 to decide on the form and the optimal nature of the adaptations to be added to the current processes.

A cet effet, il est introduit, comme indiqué sur la figure 5, dans le formateur 12 une pluralité de paramètres de contrôle parmi les données de rétroaction 17 rebouclées depuis la sortie du module 13 de publication. Ainsi, le module de formatage 11 se retrouve asservi au flux de contrôle produit en sortie du générateur 1 et réalise donc une adaptation en temps réel des données de service sous les contraintes imposées par le module 13 de publication. V007 B001 FR/TQD For this purpose, it is introduced, as shown in FIG. 5, in the formatter 12 a plurality of control parameters among the feedback data 17 looped back from the output of the publication module 13. Thus, the formatting module 11 is enslaved to the control flow produced at the output of the generator 1 and thus realizes a real-time adaptation of the service data under the constraints imposed by the publication module 13. V007 B001 FR / TQD

Dans un mode de réalisation, l'adaptation est faite par sélection sous contrainte co, ..., cm. Ce mode de réalisation se base sur le fait de disposer de plusieurs données do, ..., dN différentes (en format, type, taille, qualité, par exemple) pouvant être substituées les unes aux autres au sein du service global. L'adaptation est réalisée par sélection d'une de ces données en fonction de paramètre(s) de contrôle permettant la prise de décision. Dans un autre mode de réalisation, le formateur 11, prenant en entrée un ensemble de données alternatives ainsi qu'une donnée de contrôle, comprend une fonction de sélection permettant la prise de décision sur la donnée à activer en sortie du formateur 11. L'implémentation de la fonction de sélection peut se faire selon plusieurs modèles différents : décision externe : la prise de décision ne s'effectue pas au sein du formateur 11. Ce dernier offre simplement la possibilité de sélectionner par aiguillage direct l'entrée à rediriger vers la sortie du formateur 11; décision interne : le formateur 11 prend en entrée un ensemble de contraintes co, ..., cm et implémente en interne une fonction F(co, ..., cm, do, ..., dN) de décision réalisant la sélection de la donnée à produire en sortie. In one embodiment, the adaptation is made by selection under stress co, ..., cm. This embodiment is based on having several data do, ..., dN different (in format, type, size, quality, for example) that can be substituted for each other within the global service. The adaptation is performed by selecting one of these data as a function of control parameter (s) allowing decision-making. In another embodiment, the formatter 11, taking as input a set of alternative data as well as a control data, comprises a selection function making it possible to take a decision on the data item to be activated at the output of the formatter 11. implementation of the selection function can be done according to several different models: external decision: the decision making does not take place within the trainer 11. The latter simply offers the possibility of selecting by direct referral the input to be redirected to the output of the trainer 11; internal decision: the trainer 11 takes as input a set of constraints co, ..., cm and internally implements a function F (co, ..., cm, do, ..., dN) of decision making the selection of the data to be output.

La figure 5 illustre un formateur avec fonction de décision F(co, ..., cm, do, dN) capable de sélectionner, par exemple, une image parmi un ensemble d'images de tailles, formats et poids (do, ..., dN) différents. Dans un autre mode de réalisation, l'adaptation est réalisée par une transformation sous contraintes. Ce mode de réalisation propose d'effectuer une adaptation sur une donnée unique en agissant par transformation de celle-ci pour satisfaire un ensemble de contraintes (co, ..., cm). A titre d'exemple, un formateur, prenant en entrée une donnée image haute résolution permet de produire en sa sortie une image dégradée répondant au mieux à des contraintes de débit, de format ou d'espace disponible au niveau du service. Par ailleurs, l'adaptation peut être obtenue par rétroaction sur le gestionnaire 12 de scènes. En effet, dans une architecture de service modulaire offrant plusieurs alternatives de format de service pouvant être V007 B001 FR/TQD FIG. 5 illustrates a trainer with a decision function F (co,..., Cm, do, dN) capable of selecting, for example, one of a set of images of sizes, formats and weights (do, .. ., dN) different. In another embodiment, the adaptation is performed by a transformation under constraints. This embodiment proposes to perform an adaptation on a single data by acting by transforming it to satisfy a set of constraints (co, ..., cm). For example, a trainer, taking a high resolution image data input allows to produce at its output a degraded image that best meets the constraints of bit rate, format or available space at the service level. Moreover, the adaptation can be obtained by feedback on the scene manager 12. Indeed, in a modular service architecture offering several alternative service format that can be V007 B001 FR / TQD

substituées les unes aux autres pour satisfaire un ensemble de contraintes de sortie, un ou plusieurs modules 121 de scènes (ou conteneurs 121 de scènes) peuvent être reliés à un certain nombre de sous-scènes alternatives, comme indiqué dans la figure 6. substituted for each other to satisfy a set of output constraints, one or more scene modules 121 (or scene containers 121) may be connected to a number of alternative sub-scenes as shown in FIG.

Les données de contrôle 17 (obtenues par rétroaction) agissent sous forme de commandes de pilotage du gestionnaire 12 de scènes réalisant la création et la rupture de liaisons entre le conteneur 121 et la scène i choisie pour réaliser l'adaptation. Chaque modification de contraintes en sorties du module 13 de publication entraîne une rétroaction sur le gestionnaire 12 de scènes définissant une nouvelle configuration de l'architecture de service répondant au mieux à ces contraintes. La figure 7 illustre un exemple de scénario d'adaptation de service sous contrainte de débit : trois scènes alternatives y sont définies, chacune étant calibrée pour satisfaire une plage de débit particulière : une scène contenant une vidéo et nécessitant donc un débit important. une scène comportant une image et un texte descriptif adaptée à un débit de transmission « moyen ». un texte descriptif seul adapté pour un faible débit de transmission. La figure 7 illustre un cas où la variation du débit disponible pour la transmission des données entraîne un changement du contenu du service (vidéo, image+texte ou texte seul). Les données de contrôle 17 générées par le module 13 de publication peuvent également être utilisées par celui-ci pour adapter sa stratégie de publication aux variations de contraintes. Nous prenons ici l'exemple d'un système de génération de flux broadcast (de type MPEG-2 TS). Le module 13 de publication comprend: un multiplexeur fonctionnant sur une architecture de diffusion pouvant être vue comme un ensemble de flux transportant des données sous forme de paquets. Le multiplexeur a pour rôle de créer un flux de transport unique par sélection de paquets sur l'ensemble de ses flux d'entrée selon un algorithme d'aiguillage. Chaque flux d'entrée V007 B001 FR/TQD The control data 17 (obtained by feedback) act as control commands of the scene manager 12 performing the creation and breaking of links between the container 121 and the scene i chosen to perform the adaptation. Each output constraint modification of the publication module 13 results in feedback on the scene manager 12 defining a new configuration of the service architecture that best meets these constraints. FIG. 7 illustrates an exemplary rate constrained service adaptation scenario: three alternative scenes are defined therein, each being calibrated to satisfy a particular bit rate range: a scene containing a video and thus requiring a large bit rate. a scene with an image and a descriptive text adapted to an "average" transmission rate. a descriptive text alone adapted for a low transmission rate. Figure 7 illustrates a case where the variation of the available data transmission bit results in a change in the content of the service (video, image + text or text only). The control data 17 generated by the publication module 13 can also be used by it to adapt its publication strategy to the variations of constraints. Here we take the example of a broadcast stream generation system (MPEG-2 TS type). The publication module 13 comprises: a multiplexer operating on a broadcast architecture that can be viewed as a set of streams carrying data in the form of packets. The role of the multiplexer is to create a single transport stream by selecting packets on all of its input streams according to a routing algorithm. Each input stream V007 B001 FR / TQD

possède sa configuration propre (débit cible, période de répétition des données par exemple) qui sont autant de contraintes à résoudre pour l'algorithme d'aiguillage dans le but de produire un flux multiplexé répondant aux mieux à l'ensemble de ces contraintes ; un encodeur : chaque flux d'entrée du multiplexeur dispose d'un encodeur pour permettre le transport des données sur le flux multiplexé. Les données peuvent être de types différents (audio, vidéo, dessin vectoriel par exemple), ce qui explique que chaque flux à multiplexer possède son propre encodeur, avec une configuration propre (notamment le débit cible). L'algorithme d'aiguillage du multiplexeur prend en compte ces contraintes lors de la production du flux multiplexé. un organiseur : les données à publier, issues du gestionnaire 12 de scènes, sont injectées dans une brique appelée « organiseur ». Son rôle est de ventiler le service multimédia sur les différents flux de l'architecture de diffusion. Il doit pour cela effectuer une projection du service produit par le gestionnaire de scène, ainsi que des événements de mise à jour du service, sur les différents flux d'entrée du multiplexeur ; un contrôleur : les trois briques précédemment décrites forment une chaîne de traitement séquentielle « branchée » en sortie du gestionnaire 12 de scènes. En règle générale dans le cas d'une chaîne de diffusion, le flux produit par le multiplexeur est soumis à des contraintes de débit strictes imposées soit par la norme de diffusion ou bien par l'entité chargée de la diffusion du flux de transport. Ces contraintes sont donc imposées au multiplexeur qui se trouve être le dernier maillon de la chaîne de génération. Le contrôleur se tient informé à tout instant de l'état du Multiplexeur et peut effectuer une rétroaction sur l'ensemble de la chaîne de génération : o le formateur 11/ le gestionnaire 12 de scènes: le contrôleur peut rétroagir sur ces modules pour adapter au mieux le service, que ce soit dans sa structure (rétroaction sur le gestionnaire 12 de scène) ou dans son contenu (rétroaction sur le formateur 11 de données associées), aux contraintes de diffusion. Ceci peut par exemple permettre, en cas d'une diminution du débit disponible, d'alléger le poids de données has its own configuration (target bit rate, data repetition period for example) which are as many constraints to be solved for the routing algorithm in order to produce a multiplexed stream that best meets all these constraints; an encoder: each input stream of the multiplexer has an encoder to allow the transport of data on the multiplexed stream. The data can be of different types (audio, video, vector drawing for example), which explains that each stream to be multiplexed has its own encoder, with a specific configuration (including the target bit rate). The routing algorithm of the multiplexer takes into account these constraints during the production of the multiplexed stream. an organizer: the data to be published, from the scene manager 12, are injected into a brick called "organizer". Its role is to break down the multimedia service on the various flows of the broadcast architecture. It must do this to project the service produced by the scene manager, as well as service update events, on the various input streams of the multiplexer; a controller: the three bricks described above form a "connected" sequential processing chain at the output of the scene manager 12. As a general rule in the case of a broadcast channel, the flow produced by the multiplexer is subject to strict rate constraints imposed either by the broadcast standard or by the entity responsible for broadcasting the transport stream. These constraints are therefore imposed on the multiplexer which is the last link in the generation chain. The controller keeps informed at all times of the state of the multiplexer and can feedback on the entire generation chain: o the trainer 11 / the scene manager 12: the controller can retroact on these modules to adapt to the better the service, whether in its structure (feedback on the scene manager 12) or in its content (feedback on the trainer 11 associated data), broadcast constraints. This can, for example, make it possible, in the event of a reduction in available throughput, to reduce the weight of data

V007 B001 FR/TQD V007 B001 FR / TQD

images ou bien encore de proposer des scènes alternatives moins « gourmandes » en débit ; o l'organiseur : une rétroaction sur l'organiseur offre la possibilité de modifier en temps réel la stratégie de projection des données de service sur les flux de diffusion. Par exemple, en cas d'un débit trop important en sortie, l'organiseur peut effectuer du partage de flux en redirigeant plusieurs sorties sur le même flux de diffusion (par exemple en groupant les données de scène et de mise à jour sur le même flux de diffusion) ; o les encodeurs : si les différents encodeurs (audio, vidéo, scène par exemple) possèdent des degrés de liberté sur la qualité de leur encodage, il est possible d'effectuer une rétroaction sur ces briques de traitement pour modifier par exemple les débits d'encodage de flux audio ou vidéo en réponse à des variations de débit disponible en sortie de la chaîne de génération; o le multiplexeur : il est possible d'effectuer un retour direct sur le module de multiplexage lui-même. En effet ce dernier peut adapter sa stratégie d'aiguillage pour répartir au mieux le débit disponible sur l'ensemble des flux à multiplexer. Il en résulte qu'avantageusement le contenu média obtenu est adapté aux contraintes du contexte de consommation, telles que les capacités du terminal, les préférences de l'utilisateur, les capacités du réseau. Le procédé qui vient d'être décrit présente un certain nombre d'avantages.images or to propose alternative scenes less "greedy" in flow; o Organizer: Feedback on the organizer provides the ability to edit the service data projection strategy for broadcast streams in real time. For example, if the output is too large, the organizer can perform stream sharing by redirecting multiple outputs to the same broadcast stream (for example, grouping the scene and update data on the same stream. broadcast stream); o encoders: if the various encoders (audio, video, scene for example) have degrees of freedom on the quality of their encoding, it is possible to make a feedback on these processing bricks to modify for example the flow rates of encoding audio or video streams in response to rate variations available at the output of the generation chain; o the multiplexer: it is possible to carry out a direct return on the multiplexing module itself. Indeed, the latter can adapt its referral strategy to best distribute the available bit rate on all the streams to be multiplexed. As a result, advantageously, the media content obtained is adapted to the constraints of the consumption context, such as the capabilities of the terminal, the user's preferences, and the network's capabilities. The process just described has a number of advantages.

25 Il permet en effet de favoriser le développement du marché du multimédia sur les réseaux bas-débits comme les réseaux sans-fil et par des terminaux au ressources réduites comme les téléphones mobiles et les Smartphones. Il est à noter que le terme « module » recouvre ici tout boîtier physique intégrant un processeur programmé pour assurer une ou plusieurs fonctions 30 prédéterminées, ou toute application logicielle (programme ou sous-programme, plugin) implémentée sur un processeur, indépendamment ou en combinaison avec d'autres applications logicielles. V007 B001 FR/TQD 10 15 20 It enables the development of the multimedia market on low-speed networks such as wireless networks and by terminals with limited resources such as mobile phones and smartphones. It should be noted that the term "module" here covers any physical box integrating a processor programmed to perform one or more predetermined functions, or any software application (program or subroutine, plugin) implemented on a processor, independently or in combination. with other software applications. V007 B001 EN / TQD 10 15 20

Claims (15)

REVENDICATIONS1. Procédé d'agrégation et de mise en forme de contenus multimédia destinés à des terminaux multimédia, ce procédé comprenant - une étape de formatage de métadonnées extraites à partir d'une pluralité de données sources (21) structurées hétérogènes ; - une étape de remplissage, avec au moins une métadonnée formatée, d'au moins un template (31) de scène afin de générer un document de scène (4); - une étape de publication du document de scène (4) généré ; - une étape d'adaptation d'au moins une étape de la chaîne de génération du document de scène (4) pour satisfaire au moins une contrainte. REVENDICATIONS1. A method of aggregating and formatting multimedia content for multimedia terminals, the method comprising: - a step of formatting metadata extracted from a plurality of heterogeneous structured source data (21); a filling step, with at least one formatted metadata, of at least one scene template (31) in order to generate a scene document (4); a step of publishing the generated scene document (4); a step of adapting at least one step of the generation chain of the scene document (4) to satisfy at least one constraint. 2. Procédé selon la revendication 1 caractérisé en ce qu'il comprend en outre une étape d'imbrication de templates (31) de scènes. 2. Method according to claim 1 characterized in that it further comprises a step of nesting templates (31) scenes. 3. Procédé selon l'une quelconques des revendications 1 ou 2, caractérisé en ce que les données sources structurées (21) est un document XML. 3. Method according to any one of claims 1 or 2, characterized in that the structured source data (21) is an XML document. 4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le template (31) de scène est un document à structure dynamique déclarant des noeuds pour recevoir des métadonnées formatées, et des points d'ancrage (123) pour supporter l'imbrication d'autres templates (31) de scène. A method according to any one of the preceding claims, characterized in that the scene template (31) is a dynamically structured document declaring nodes for receiving formatted metadata, and anchor points (123) for supporting interleaving other scene templates (31). 5. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la contrainte est une contrainte associée au format de sortie de la chaîne de génération du document de scène (4). 5. Method according to any one of the preceding claims, characterized in that the constraint is a constraint associated with the output format of the generation line of the scene document (4). 6. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la contrainte est une contrainte imposée par la configuration d'au moins un module de la chaîne de génération du document de scène (4). V007 B001 FR/TQD 6. Method according to any one of the preceding claims, characterized in that the constraint is a constraint imposed by the configuration of at least one module of the generation line of the scene document (4). V007 B001 FR / TQD 7. Système d'agrégation et de mise en forme de contenus multimédia destinés à des terminaux multimédia, ce système comprenant - un formateur (11) agencé pour formater une pluralité de métadonnées extraites à partir d'une pluralité de données sources (21) structurées hétérogènes ; - un gestionnaire (12) de scènes agencé pour recenser les imbrications de templates (31) de scène remplis par les métadonnées formatées afin de générer un document de scène (4) ; - un module (13) de publication chargé de relayer le document de scène (4) généré ; - un contrôleur configuré pour rétroagir sur la chaîne de génération du document de scène (4) pour satisfaire au moins une contrainte. A system for aggregating and formatting multimedia content for multimedia terminals, the system comprising: a formatter (11) arranged to format a plurality of metadata extracted from a plurality of structured source data (21). heterogeneous; a scene manager (12) arranged to register the nesting of scene templates (31) filled by the formatted metadata in order to generate a scene document (4); a publication module (13) responsible for relaying the generated scene document (4); a controller configured to feedback on the generation chain of the scene document (4) to satisfy at least one constraint. 8. Système selon la revendication précédente, caractérisé en ce qu'il comprend en outre une base de données (3) de templates (31) de scène. 8. System according to the preceding claim, characterized in that it further comprises a database (3) templates (31) scene. 9. Système selon l'une quelconque des revendications 7 ou 8, caractérisé en ce que le module (13) de publication est agencé pour requérir, auprès du gestionnaire (12) de scène, l'état instantanée d'un document de scène (4). 9. System according to any one of claims 7 or 8, characterized in that the module (13) of publication is arranged to require, from the manager (12) scene, the instantaneous state of a scene document ( 4). 10. Système selon l'une quelconque des revendications 7 à 9, caractérisé en ce que le formateur (11) comprend une pluralité de formateurs unitaires (111-114). 10. System according to any one of claims 7 to 9, characterized in that the formator (11) comprises a plurality of unitary formers (111-114). 11. Système selon l'une quelconque des revendications 7 à 10, caractérisé en ce que le template (31) de scène est un document à structure dynamique déclarant des noeuds pour recevoir des métadonnées formatées, et des points d'ancrage (123) pour supporter l'imbrication d'autres templates (31) de scène. System according to any one of claims 7 to 10, characterized in that the scene template (31) is a dynamic structure document declaring nodes for receiving formatted metadata, and anchor points (123) for support the nesting of other scene templates (31). 12. Système selon l'une quelconque des revendications 7 à 11 , caractérisé en ce qu'il comprend en outre - une interface de contrôle (14) agencé pour configurer le formateur (11), le gestionnaire (12) de scènes et le module (13) de publication ; V007 B001 FR/TQD - une interface d'injection (16) de templates (31) de scène permettant l'insertion de templates (31) de scène dans le gestionnaire (12) de scènes ; - une interface d'injection (15) de données permettant d'alimenter le formateur (11) avec des données structurées (21) hétérogènes. 12. System according to any one of claims 7 to 11, characterized in that it further comprises - a control interface (14) arranged to configure the formatter (11), the scene manager (12) and the module (13) publication; V007 B001 FR / TQD - an injection interface (16) of scene templates (31) for inserting scene templates (31) into the scene manager (12); a data injection interface (15) for feeding the formatter (11) with heterogeneous structured data (21). 13. Système selon l'une quelconque des revendications 7 à 12, caractérisé en ce que la contrainte est une contrainte imposée par la configuration d'au moins un module de la chaîne de génération du document de scène (4). 13. System according to any one of claims 7 to 12, characterized in that the constraint is a constraint imposed by the configuration of at least one module of the generation line of the scene document (4). 14. Système selon l'une quelconque des revendications 7 à 13, caractérisé en ce que la contrainte est une contrainte associée au format de sortie de la chaîne de génération du document de scène (4). 14. System according to any one of claims 7 to 13, characterized in that the constraint is a constraint associated with the output format of the generation line of the scene document (4). 15. Produit programme d'ordinateur implémenté sur un support mémoire, susceptible d'être mis en oeuvre au sein d'une unité de traitement informatique et comprenant des instructions pour la mise en oeuvre d'un procédé selon l'une des revendications 1 à 6. V007 B001 FR/TQD 15. Computer program product implemented on a memory medium, capable of being implemented within a computer processing unit and comprising instructions for the implementation of a method according to one of claims 1 to 6. V007 B001 EN / TQD
FR1151744A 2011-03-03 2011-03-03 METHOD AND SYSTEM FOR GENERATING AND UPDATING STRUCTURED DATA FOR MULTIMEDIA TERMINALS Active FR2972321B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1151744A FR2972321B1 (en) 2011-03-03 2011-03-03 METHOD AND SYSTEM FOR GENERATING AND UPDATING STRUCTURED DATA FOR MULTIMEDIA TERMINALS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1151744A FR2972321B1 (en) 2011-03-03 2011-03-03 METHOD AND SYSTEM FOR GENERATING AND UPDATING STRUCTURED DATA FOR MULTIMEDIA TERMINALS

Publications (2)

Publication Number Publication Date
FR2972321A1 true FR2972321A1 (en) 2012-09-07
FR2972321B1 FR2972321B1 (en) 2014-01-31

Family

ID=44549011

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1151744A Active FR2972321B1 (en) 2011-03-03 2011-03-03 METHOD AND SYSTEM FOR GENERATING AND UPDATING STRUCTURED DATA FOR MULTIMEDIA TERMINALS

Country Status (1)

Country Link
FR (1) FR2972321B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
WO2006113977A1 (en) * 2005-04-26 2006-11-02 Alterface S.A. Interactive multimedia applications device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110297A1 (en) * 2001-12-12 2003-06-12 Tabatabai Ali J. Transforming multimedia data for delivery to multiple heterogeneous devices
WO2006113977A1 (en) * 2005-04-26 2006-11-02 Alterface S.A. Interactive multimedia applications device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENOÎT PELLAN ET AL: "Adaptation of scalable multimedia documents", PROCEEDING OF THE EIGHTH ACM SYMPOSIUM ON DOCUMENT ENGINEERING, DOCENG '08, 1 January 2008 (2008-01-01), New York, New York, USA, pages 32, XP055009704, ISBN: 978-1-60-558081-4, DOI: 10.1145/1410140.1410148 *
BOUGHOUFALAH S ET AL: "A Template-Guided Authoring Environment to Produce MPEG-4 Content for the Web", MEDIAFUTURES, XX, XX, 1 January 2001 (2001-01-01), XP002415330 *
C. CONCOLATO: "Adaptive Video and Metadata Display using Multimedia Documents", 29 October 2010 (2010-10-29), pages 37 - 10, XP055009703, Retrieved from the Internet <URL:http://delivery.acm.org/10.1145/1880000/1878074/p37-concolato.pdf?ip=145.64.134.245&acc=ACTIVE SERVICE&CFID=60665201&CFTOKEN=97982744&__acm__=1318855760_1fbbe43230f053836a590fbabcae0d8f> [retrieved on 20111017] *

Also Published As

Publication number Publication date
FR2972321B1 (en) 2014-01-31

Similar Documents

Publication Publication Date Title
CN112184856B (en) Multimedia processing device supporting multi-layer special effect and animation mixing
US12386483B2 (en) Multi-source journal content integration systems and methods and systems and methods for collaborative online content editing
US9277198B2 (en) Systems and methods for media personalization using templates
US11157689B2 (en) Operations on dynamic data associated with cells in spreadsheets
US8990693B2 (en) System and method for distributed media personalization
US20060204214A1 (en) Picture line audio augmentation
CN105122817A (en) Systems and methods for media distribution and management
CN108090664A (en) A kind of workflow adaptation dispatching method, device, equipment and storage medium
US20100153520A1 (en) Methods, systems, and media for creating, producing, and distributing video templates and video clips
US20060218488A1 (en) Plug-in architecture for post-authoring activities
WO2013032354A1 (en) Visualization of natural language text
CN108810657B (en) A method and system for setting video cover
CN112653584A (en) 5G message arranging method and arranging tool box based on component capability
CN106657090A (en) Multimedia stream processing method and device as well as embedded device
US20180367826A1 (en) Social media asset portal
FR2823942A1 (en) Audiovisual digital word/MPEG format digital word conversion process having command transcoder with scene transcoder access first/second format signal converting
US7941739B1 (en) Timeline source
US7934159B1 (en) Media timeline
FR2912275A1 (en) METHOD FOR TRANSMITTING AT LEAST ONE REPRESENTATIVE CONTENT OF A SERVICE FROM A SERVER TO A TERMINAL, DEVICE AND CORRESPONDING COMPUTER PROGRAM PRODUCT
FR2972321A1 (en) Method for aggregation and formatting of video on e.g. telephone, involves publishing generated document scene, and adapting step of generation chain of scene document to satisfy constraint associated to output format of generation chain
CN102572533A (en) Internet protocol television (IPTV) center and area service management system
US8649666B2 (en) Apparatus and method for generating moving image and apparatus and method for reproducing moving image
Wirag Specification and scheduling of adaptive multimedia documents
US20080281859A1 (en) Data Generating Device, Data Generation Method, and System
FR2959375A1 (en) COMPUTER SHARING SYSTEM AND CORRESPONDING METHOD

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 11

PLFP Fee payment

Year of fee payment: 12

PLFP Fee payment

Year of fee payment: 13

PLFP Fee payment

Year of fee payment: 14

PLFP Fee payment

Year of fee payment: 15