WO1998032100A1 - Procede et installation de production d'une sequence filmee d'une activite sportive agrementee d'insertions en temps reel d'elements virtuels - Google Patents
Procede et installation de production d'une sequence filmee d'une activite sportive agrementee d'insertions en temps reel d'elements virtuels Download PDFInfo
- Publication number
- WO1998032100A1 WO1998032100A1 PCT/FR1998/000043 FR9800043W WO9832100A1 WO 1998032100 A1 WO1998032100 A1 WO 1998032100A1 FR 9800043 W FR9800043 W FR 9800043W WO 9832100 A1 WO9832100 A1 WO 9832100A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- virtual
- person
- cameras
- filmed
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Definitions
- the present invention relates to the field of television sports broadcasts.
- the invention relates more particularly to a method of producing a filmed sequence of a sporting activity comprising a playing field on which at least one natural person, in particular a player or a competitor, and a moving object, in particular a ball .
- the invention finds more particularly to apply to retransmissions of meetings of collective sports, in particular football, but it is not in any way limited to this type of meetings and can also relate to other individual sports such as for example tennis, or athletics.
- the object of the invention is to remedy these drawbacks by proposing a new method for producing a filmed sequence which makes it possible to match its distribution with a visual commentary in three dimensions and in real time.
- the invention provides a method of producing a filmed sequence of a sporting activity comprising an area of development on which at least one physical person, in particular a player or a competitor, and a moving object, in particular a balloon, characterized in that it consists of:
- the stage of construction of the virtual element consists of:
- the stage of construction of the virtual element consists of: - perform an analysis and processing of said data to calculate the relative positions of people and / or the moving object relative to the terrain of evolution; and
- the stage of construction of the virtual element consists of:
- the step of constructing the virtual element consists of: performing an analysis and processing of said data in order to calculate statistical information relating to the progress of the sporting activity and / or to the development and movement of people; the moving object; and
- the step of acquisition in real time of the instantaneous position of each person evolving on the ground consists in acquiring the position of these people in a benchmark with at least two dimensions corresponding to the dimensions of the terrain of evolution;
- the step of acquiring the instantaneous position of the mobile object in real time consists in acquiring the position of this object in a three-dimensional reference frame, two of which correspond to the dimensions of the terrain of evolution; - q ue the step of acq uisition in real time of the instantaneous position of the moving object consists in filming the moving object by means of two cameras belonging to said network of cameras; the method comprises an additional step consisting in fabricating a sequence of virtual video images from the virtual elements constructed so as to allow the delayed broadcasting of this sequence of virtual video images in association with the broadcasting of said filmed sequence.
- the invention also proposes an installation for implementing the method according to the invention, characterized in that it comprises: - a network of cameras, each of which is equipped with a system generating data representative of its position in the space in relation to a fixed reference linked to the ground, its movements, its optical focusing and a clock signal; - a computer unit for real-time acquisition of the instantaneous position of each person moving on the ground and of the object;
- a computer unit for cyclically producing a matrix of digital data representative of the position of each person and of the mobile object in the led it locates and memorizes the matrices;
- - a computer unit for constructing at least one virtual visual element of information and / or comment as a function of said data; - means for synchronizing the network of cameras and the computer units; and
- FIGS. 1 to 7 are diagrams illustrating examples of virtual elements inserted in application of the method according to the invention.
- Such a meeting takes place on a playing field, in the open air or in a closed enclosure, on which play two teams of eleven players each, a field referee and two assistant referees called touch judges, or twenty five physical persons in movement, and a movable ball which constitutes the movable object within the meaning of the invention.
- the twenty-five natural person actors evolve globally in two dimensions, that is to say in the plane of the terrain which is defined, in a Cartesian coordinate system orthonormal by two perpendicular horizontal axes X and Y, corresponding for example to a lateral line delimiting the pitch, called touchline, and a transverse line called goal line.
- the evolutions reduced in height of the players can be negated in the case of football or for example of rugby, but be important and taken into account within the framework of the method according to the invention for other sports such as basketball or volleyball .
- the ball constantly evolves in three dimensions on the ground, that is to say that knowing its position requires knowing its coordinates [x, y, z] in a three-dimensional frame of reference that consists of the reference X, Y in which the positions of the players and the referees can be determined, completed by a concurrent vertical axis Z whose origin corresponds for example to the ground.
- a fixed geometrical reference with respect to the ground.
- the realization of a filmed sequence of the sporting action traditionally calls upon several video cameras which are generally established around the ground, in altitude and / or on the level of the ground, the cameras being able to be fixed or mobile and being in addition with focal variable.
- the method according to the invention proposes to use a network of video cameras which are of a particular type but which are the cameras which allow the conventional capture of the real video images used for the conventional production of the filmed sequence, ie In other words, it does not in any way call upon a particular and additional network of cameras for the real-time acquisition of the instantaneous position of the players on the ground and of the balloon.
- each of them comprises a system generating data representative of its position in the space of the ground, that is to say with respect to the previously mentioned reference point, movements of the camera, and its development, ie to e the focal length of the optical system. Thanks to the use of such cameras called "motion control", and after an initialization step of each camera in the coordinate system, it is possible to use each image of each camera to analyze the content in order to acquire in real time, from all the images supplied simultaneously by the network cameras, the instantaneous position x, y of each actor and of the balloon x, y, z. As In addition, each camera can be equipped with telemetry means.
- Each camera can be of analog type, the images then being digitized, or be digital cameras.
- a computer unit forming part of the installation for implementing the method according to the invention makes it possible to cyclically produce a matrix of mathematical digital data which are representative of the position of each actor and the ball.
- This method of capturing spatial coordinates is particularly advantageous because it uses the same cameras as used for the realization of real images and it does not require 'to implant transmitters radiofréq influence on the actors and on the ball, wh ich will transmitters are not admitted in the regulations on the equipment of the players and which impose moreover to have on each ground a network of radio frequency receivers.
- the means for analyzing the video images of the network cameras are of known type (s) such as, for example, those sold by the company HYMATOM.
- the images are digitized and then analyzed pixel by pixel, an analysis which, in addition to determining the coordinates sought, is then used during the phase of insertion of the virtual elements.
- a photogrammetric analysis of each image is carried out, without going through a digitization step, that is to say say by implementing the principles of stereophotography.
- a digitization step that is to say say by implementing the principles of stereophotography.
- basic for retransmission called "broadcast" signal.
- To facilitate the acquisition of the position of the mobile formed by the ball it can for example be called upon by two crossed cameras assigned to the pursuit of the ball and its immediate environment, this capture being manual or automated.
- the image analysis means for determining the coordinates of the actors may for example include a real-time image analysis calculator for each player, all the computers being managed by a centralization module which manages in particular the passage of a player from one camera to another, which manages conflicts such as occlusions and collisions, automatically or with the help of a personal assistant. Processing by real-time calculation requires that the computer unit be synchronized with the network of cameras themselves synchronized.
- This virtual and visual comment element in particular in three dimensions, is intended to be inserted in the real video images filmed so as to allow the broadcasting in real time or in deferred of a filmed sequence comprising the comment element inserted.
- the insertion of the virtual element for the production of "augmented" video images intended to be broadcast is carried out by known computer means comprising at least one computer operating a real-time insertion program.
- the sequence of images including the insertion of the ball's trajectory is broadcast slightly delayed. It can also be supplemented with three-dimensional virtual representations such as "mu rs" M which represent, for example, the level at which the first attacker or the last defender, these virtual elements being linked to the corresponding player, that is to say that their insertion in real time is "dynamic" in that at each instant of the sequence commented by the virtual elements, the latter are recalculated and inserted.
- three-dimensional virtual representations such as "mu rs" M which represent, for example, the level at which the first attacker or the last defender, these virtual elements being linked to the corresponding player, that is to say that their insertion in real time is "dynamic" in that at each instant of the sequence commented by the virtual elements, the latter are recalculated and inserted.
- Fig ure 2 there is shown the insertion of a volume representation of a virtual "cone" of the shooting space available to a player at the time of his strike in direction of the goal.
- This representation could be supplemented with calculated data such as the distance of the player from the goal, the distance and the running time of the player before hitting, etc.
- Figures 3,4 and 5 show other angles of shots embellished with a virtual shooting cone with for example the addition of the trajectory of the ball.
- the representation illustrated in fig ure 6 shows the use of a virtual wall for the illustration and the commentary of the rule of the offside, the wall M being "attached" to the last defender and moving with the latter. All of the data obtained from the real-time capture and analysis of the filmed images allows the insertion of many other elements of comments.
- the method according to the invention also allows the realization of purely virtual sequences of the type of those produced in video games or the insertion of a virtual element allowing for example to simulate a hypothetical movement of a player compared to a real action. filmed and thus invent an alternative scenario of reality.
- Such a scenario also allows the explanation of complex game rules such as offside.
- the creation of virtual game sequences also makes it possible to "enter" the virtual camera on the ground and to rebroadcast a real prior action from another point of view, for example from the point of view of a player or the ball or of the referee.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
L'invention propose un procédé de production d'une séquence filmée d'une activité sportive caractérisé en ce qu'il consiste à filmer en temps réel une séquence de déroulement de l'activité sportive au moyen d'un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace, de ses mouvements, de sa mise au point optique et d'un signal d'horloge; acquérir en temps réel la position instantanée de chaque personne évoluant sur le terrain et de l'objet mobile par analyse des images vidéo filmées; produire cycliquement une matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile; construire au moins un élément visuel virtuel (C) en trois dimensions d'information et/ou de commentaire; et fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit en l'insérant dans l'image vidéo filmée de manière à permettre la diffusion, en temps réel ou en différé, d'une séquence filmée de l'activité sportive comportant ledit élément visuel virtuel d'information et/ou de commentaire.
Description
"Procédé et installation de production d'une séq uence filmée d'une activité sportive agrémentée d'insertions en temps réel d'éléments virtuels"
La présente invention concerne le domaine des retransmissions sportives télévisuelles.
L'invention concerne plus particulièrement un procédé de production d'une séquence filmée d'une activité sportive comportant un terrain d'évolution sur lequel évolue au moins une personne physique, notamment un joueur ou un concurrent, et un objet mobile, notamment un ballon.
L'invention trouve plus particu lièrement à s'appliq uer aux retransmissions de rencontres de sports collectifs, notamment de football , mais elle n'est nullement limitée à ce type de rencontres et peut aussi concerner d'autres sports individuels tels q ue par exemple le tennis, ou l'athlétisme.
Les retransmissions télédiffusées de rencontres sportives, à caractère national ou international , rencontrent un sucés croissant auprès des téléspectateurs et font à cet égard l'objet de négociations commerciales importantes relatives aux droits de retransmission et aux diffusions publicitaires qui les accompagnent.
Paradoxalement, le contenu des retransmissions, au- delà du simple déroulement de l'action sportive en cours , a très peu évolué, notamment en ce qui concerne les compléments des images, c'est à d ire ce que l'on peut q ualifier d'une manière générale de commentaire(s) .
En effet, la retransmission classique d'une rencontre de football , qu'il s'agisse d'une retransmission en d irect ou en différé, se résume à la diffusion d'images réelles filmées accompagnées d'un commentaire sonore généralement
prononcé et enregistré en direct par un ou plusieurs commentateurs.
Quelles que soient les qualités des commentateurs, professionnels de la télévision, du milieu sportif et/ou d u journalisme, leurs prestations sont similaires à celles d'u ne diffusion radiophonique, c'est à dire qu'ils ne sont en général pas en situation technique d'apporter d'autres commentaires que ceux résultant de leur propre vision , analyse et compréhension de la phase de jeu en cours, leur perception de cette phase de jeu étant en général double, c'est à dire qu'ils peuvent en prend re connaissance instantanément en direct, si ils sont présents dans l'enceinte sportive dans laquelle se déroule la rencontre , et parallèlement sur un écran ou moniteur vidéo q ui leur restitue les images réelles filmées qui sont diffusées à l'intention des téléspectateurs.
Afin d'améliorer le commentaire, et notamment afin d'enrichir son contenu technique relatif à l'analyse d u jeu , il a déjà été proposé d'adjoindre aux commentateurs des assistants qui effectuent des analyses statistiques de certains aspects du jeu et qui mettent leurs résultats à la disposition d u réalisateur responsable de la diffusion de la rencontre et/ou des commentateurs.
Ces compléments peuvent être mis en images , c'est-à- dire qu'ils font l'objet de la réalisation de "panneaux" informatifs qui sont insérés en cours de diffusion , le plus généralement pendant des temps morts au cours desq uels ces panneaux sont à leur tour commentés oralement.
Par ailleurs, la complexité des règ les de jeu, notamment des sports collectifs tels que le football , le rugby, le basket- bail, etc. , rend nécessaire d'enrichir les retransmissions télévisées de compléments qui permettent d'illustrer à l'image la mise en oeuvre des règles assurée par un ou plusieurs
arbitres, et ceci dans le but d'améliorer l'éducation des spectateurs et du public en vue notamment de promouvoir un comportement fair-play et serein d u public lors des rencontres. On sait par ailleurs que la formation des sportifs en vue de l'amélioration de leurs performances et de la q ualité du jeu sportif, fait de plus en plus appel à l'utilisation d'enregistrements télévisuels, qu'ils s'agissent de rencontres officielles précédentes ou de séq uences d'entraînements, qui sont à leur tour commentés par les responsables de la formation et notamment par l'entraîneur.
Dans cette tâche, et malgré sa compétence et sa culture technique et tactique, l'entraîneur se trouve confronté aux mêmes difficultés que le commentateur des retransmissions publiques, c'est à dire q u'ils ne dispose pas d'outils de commentaire visuel des images réelles filmées autre q ue des panneaux et des tableaux indépendants de l'image diffusée.
L'invention a pour but de remédier à ces inconvénients en proposant un nouveau procédé de production d'une séquence filmée qui permette d'assortir sa diffusion d'un commentaire visuel en trois dimensions et en temps réel.
Dans ce but, l'invention propose un procédé de production d'une séquence filmée d'une activité sportive comportant un terrain d'évolution sur lequel évolue au moins une personne physiq ue, notamment un joueur ou un concurrent, et un objet mobile, notamment un ballon , caractérisé en ce qu'il consiste à :
- filmer en temps réel une séquence de déroulement de l'activité sportive au moyen d'u n réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe lié au terrain , de ses mouvements, de sa mise au point optique et d'un signal d'horloge;
- acquérir en temps réel la position instantanée de chaque personne évoluant sur le terrain et de l'objet mobile par analyse, au moyen d'une unité informatique, des images vidéo filmées par ledit réseau de caméras; - produire cycliquement une matrice de données numériques représentatives de la position de chaque person ne et de l'objet mobile dans ledit repère et mémoriser les matrices successives dans une unité informatique de traitement;
- construire au moins un élément visuel virtuel, notamment en trois d imensions, d'information et/ou de commentaire au moyen d'une unité informatique de prod uction d'éléments visuels en fonction desd ites données ;
- synchroniser le réseau de caméras et les unités informatiques; et - fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit en l'insérant dans l'image vidéo filmée de manière à permettre la diffusion , en temps réel ou en différé, d'une séquence filmée de l'activité sportive comportant led it élément visuel virtuel d'information et/ou de commentaire.
Selon d'autres caractéristiq ues du procédé selon l'invention :
- l'étape de construction de l'élément virtuel consiste à :
- effectuer une analyse et un traitement desdites données pour calculer des informations représentatives de l'évolution dans le temps d'une personne ou de l'objet mobile (vitesse-accélération-trajectoire-mobi lité-etc.) ; et
- construire une représentation virtuelle de ces informations destinée à être insérée ; - l'étape de construction de l'élément virtuel consiste à :
- effectuer une analyse et un traitement desdites données pour calculer des positions relatives des personnes et/ou de l'objet mobile par rapport au terrain d'évolution ; et
- construire un objet visuel virtuel "fixe" associé auxdites positions relatives (cône de tir-position d'u n mur- angle de vue) et destiné à être inséré :
- l'étape de construction de l'élément virtuel consiste à :
- effectuer une analyse et un traitement desdites données pour déterminer l'évolution dans le temps d'au moins une personne et/ou de l'objet mobile ; et
- associer un élément virtuel de structure connue à ladite personne ou à l'élément mobile pour construire u n objet virtuel à insérer mobile lors du déroulement de la séquence ;
- l'étape de construction de l'élément virtuel consiste à : - effectuer une analyse et un traitement desdites données pour calculer des informations statistiq ues relatives au déroulement de l'activité sportive et/ou à l'évolution et aux déplacements des personnes et de l'objet mobile ; et
- construire une représentation virtuelle de ces informations destinées à être insérée ;
- l'étape d'acquisition en temps réel de la position instantanée de chaq ue personne évoluant sur le terrain consiste à acquérir la position de ces personnes dans un repère à au moins deux dimensions correspondant aux dimensions du terrain d'évolution ;
- l'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à acq uérir la position de cet objet dans un repère à trois dimensions dont deux correspondant aux dimensions du terrain d'évolution ; - q ue l'étape d'acq uisition en temps réel de la position instantanée de l'objet mobile consiste à filmer l'objet mobile au moyen de deux caméras appartenant audit réseau de caméras;
le procédé comporte une étape additionnelle consistant fabriquer une séquence d'images vidéo virtuelles à partir des éléments virtuels constru its de manière à permettre la diffusion en différé de cette séq uence d'images vidéo virtuelles en association avec la diffusion de ladite séquence filmée.
L'invention propose aussi une installation pour la mise en oeuvre du procédé selon l'invention , caractérisée en ce qu'elle comporte : - un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe lié au terrain , de ses mouvements , de sa mise au point optique et d'un signal d'horloge; - une unité informatiq ue d'acq uisition en temps réel de la position instantanée de chaque personne évoluant sur le terrain et de l'objet ;
- une unité informatique pour produire cycliquement une matrice de données numériq ues représentatives de la position de chaque personne et de l'objet mobile dans led it repère et mémoriser les matrices;
- une unité informatique pour construire au moins un élément visuel virtuel d'information et/ou de commentaire en fonction desdites données ; - des moyens pour synchroniser le réseau de caméras et les unités informatiq ues; et
- des moyens pour fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui va suivre pour la compréhension de laquelle on pourra se reporter aux dessins annexés dans lesquels les figures 1 à 7 sont des schémas
illustrant des exemples d'éléments virtuels insérés en application du procédé selon l'invention .
La description qui va suivre, faite à titre d'exemple non limitatif, est relative à la retransmission télévisée d'une rencontre de football.
Une telle rencontre se déroule su r un terrain de jeu , en plein air ou dans une enceinte fermée, sur lequel évoluent deux équipes de onze joueurs chacune, un arbitre de terrain et deux arbitres assistants appelés juges de touche, soit vingt cinq personnes physiques en mouvement, et un ballon mobile qui constitue l'objet mobile au sens de l'invention.
Les vingt-cinq acteurs personnes physiques évoluent globalement dans deux dimensions, c'est à dire dans le plan du terrain qui est défini, dans un repère cartésien orthonormé par deux axes horizontaux perpendiculaires X et Y, correspondant par exemple à une ligne latérale délimitant le terrain , dite ligne de touche, et à une ligne transversale dite ligne de but. Les évolutions réduites en hauteur des joueurs peuvent être nég ligées dans le cas du football ou par exemple du rugby, mais être importantes et prises en compte dans le cadre du procédé selon l'invention pour d'autres sports tels que le basket-ball ou le volley-ball .
Au contraire, le ballon évolue en permanence en trois dimensions sur le terrain , c'est à dire q ue la connaissance de sa position nécessite de connaître ses coordonnées [x,y,z] dans un repère à trois dimensions q ui est constitué d u repère X, Y dans lequel peuvent être déterminées les positions des joueurs et des arbitres, complété par un axe vertical concourant Z dont l'origine correspond par exemple au sol. On peut ainsi définir u n repère géométriq ue fixe par rapport au terrai n .
La réalisation d'une séquence filmée de l'action sportive fait traditionnellement appel à plusieurs caméras vidéo qui sont généralement implantées autour d u terrain, en altitude et/ou au niveau du sol , les caméras pouvant être fixes ou mobiles et étant de plus à focale variable.
Cet agencement connu permet au réalisateur de choisir parmi plusieurs images disponibles simultanément celle qui est diffusée instantanément, notamment en fonction du déroulement d u jeu . Le procédé selon l'invention propose d'utiliser un réseau de caméras vidéo qui sont d'un type particulier mais qui sont les caméras qui permettent la capture classiq ue des images vidéo réelles utilisées pour la réalisation classiq ue de la séquence filmée, c'est à dire qu'il n'est en aucune manière fait appel à un réseau particulier et supplémentaire de caméras pour l'acquisition en temps réel de la position instantanée des acteurs sur le terrain et du ballon.
Les caméras utilisées sont particulières au sens de l'invention car chacune d'entre elle comporte un système générateur de données représentatives de sa position dans l'espace du terrain, c'est à dire par rapport au repère mentionné précédemment, des mouvements de la caméra, et de sa mise au point, c'est à dire d'e la distance focale de son système optique. Grâce à l'utilisation de telles caméras dites "motion control", et après une étape d'initialisation de chaque caméra dans le repère, il est possible d'utiliser chaque image de chaque caméra pour en analyser le contenu en vue d'acquérir en temps réel, à partir de l'ensemble des images fournies simultanément par les caméras du réseau , la position instantanée x,y de chaq ue acteur et d u ballon x,y,z. A titre de
complément, chaque caméra peut être munie de moyens télémétries.
Chaque caméra peut être de type analogiq ue, les images étant ensuite numérisées, ou être des caméras numériques.
La notion de simultanéité en vue de l'analyse des images nécessite bien entendu que les caméras du réseau soient synchronisées, c'est à dire que chacune d'entre elles génère un sig nal d'horloge. On est ainsi en mesure de connaître à chaq ue instant la position dans l'image d'une caméra de chaq ue acteur et/ou du ballon et d'associer à cette position un triplet, ou un doublet de coordonnées x, y, z.
Grâce à l'agencement des caméras en réseau et coordonnées, une unité informatique faisant partie de l'installation pour la mise en oeuvre d u procédé selon l'invention permet de produire cycliq uement une matrice de données numériques mathématiques qui sont représentatives de la position de chaque acteur et du ballon . Cette méthode de capture des coordonnées spatiales est particulièrement avantageuse car elle utilise les mêmes caméras que celles utilisées pour la réalisation des images réelles et elle ne nécessite pas ' d'implanter des émetteurs radiofréq uence sur les acteurs et sur le ballon , émetteurs q ui ne sont pas admis dans les règlements sur l'équipement des joueurs et qui imposent de plus de disposer sur chaque terrain d'un réseau de récepteurs radiofréq uence.
Du fait du cycle vingt-quatre images par seconde utilisé en vidéo, il peut être produit une nouvelle matrice vingt-quatre fois par seconde.
Les moyens d'analyse des images vidéo des caméras du réseau sont de type(s) connus(s) tels que par exemple ceux commercialisés par la Société HYMATOM .
Selon la technique la plus courante, on numérise les images et on les analyse ensuite pixel par pixel, analyse qui, outre la détermination des coordonnées recherchées, est ensuite utilisée lors de la phase d'insertion des éléments virtuels.
Selon un autre procédé, et si l'on connaît parfaitement les paramètres optiques de conception et de mise au point des caméras utilisées, on réalise une analyse photogrammétrique de chaq ue image, sans passer par une étape de numérisation , c'est-à-dire en mettant en oeuvre les principes de la stéréophotographie. Dans ce cas, il n'est pas nécessaire de disposer d'un g rand nombre de caméras croisées, une ou deux caméras pouvant permettre de reconstituer les coordonnées trid imensionnelles de tous les points caractéristiques de chaque image vidéo, notamment en utilisant le signal vidéo de base pour la retransmission dit signal "broadcast". Pou r faciliter l'acq u isition de la position d u mobile constitué par le ballon , il peut par exemple être fait appel à deux caméras croisées affectées à la poursuite du ballon et de son environnement immédiat, cette capture étant man uelle ou automatisée. Les moyens d'analyse d'images pour la détermination des coordonnées des acteurs peuvent par exemple comporter un calculateur d'analyse d'images en temps réel pour chaque joueur, l'ensemble des calculateurs étant géré par un mod ule de centralisation qui gère notamment le passage d'un joueur d'une caméra à l'autre, qui gère les conflits tels que les occlusions et les collisions, automatiquement ou avec l'aide d'un assistant personne physique.
Le traitement par calcul en temps réel nécessite que l'unité informatique soit synchronisée avec le réseau de caméras elles-mêmes synchronisées.
A partir desdites matrices de données il est possible de construire au moins un élément virtuel d'information ou de commentaire au moyen d'une unité informatique de prod uction d'éléments visuels, elle aussi synch ronisée.
Cet élément virtuel et visuel de commentaire, notamment en trois dimensions, est destiné à être inséré dans les images vidéo réelles filmées de manière à permettre la diffusion en temps réel ou en d ifféré d'une séquence filmée comportant l'élément de commentaire inséré.
L'insertion de l'élément virtuel en vue de la fabrication des images vidéo "augmentées" destinées à être diffusées est effectuée par des moyens informatiques connus comportant au moins un calculateur exploitant un programme d'insertion en temps réel.
On donnera maintenant des exemples des éléments virtuels destinés à être insérés en vue de constituer un commentaire visuel de l'action sportive.
A partir des données spatio-temporelles préalablement déterminées, il est par exemple possible de calculer les trajectoires du ballon et des joueurs, de construire une représentation virtuelle de ces trajectoires et de les insérer dans les images comme cela est schématisé à la figure 1 su r laquelle on a représenté la trajectoire globale du ballon B au sol et en l'air, d'un but à l'autre.
La séquence d'images comportant l'insertion de trajectoire du ballon est diffusée en léger différé. Elle peut aussi être ag rémentée de représentations virtuelles en trois dimensions telles que des "mu rs" M q ui représentent par exemple le niveau auquel se situe le premier attaquant ou le
dernier défenseu r, ces éléments virtuels étant liés au joueur correspondant, c'est à dire q ue leur insertion en temps réel est "dynamique" en ce q u'à chaque instant de la séquence commentée par les éléments virtuels, ces derniers sont recalculés et insérés.
A la fig ure 2 , on a représenté l'insertion d'une représentation en volume d'un "cône" virtuel de l'espace de tir dont dispose un joueur au moment de sa frappe en d irection du but. Cette représentation pourrait être complété de données calculées telles que la distance du joueur par rapport au but, la distance et le temps de course d u joueur avant la frappe, etc.
Les figures 3,4 et 5 montrent d'autre angles de prises de vues agrémentées d'un cône virtuel de tir avec par exemple l'ajout de la trajectoire du ballon.
La représentation illustrée à la fig ure 6 montre l'utilisation d'un mur virtuel pour l'illustration et le commentaire de la règle du hors-jeu , le mur M étant "accroché" au dern ier défenseur et se déplaçant avec ce dernier. L'ensemble des données obtenues à partir de la capture en temps réel et l'analyse des images filmées permet l'insertion de nombreux autres éléments de commentaires.
On peut par exemple insérer le nom de chaq ue joueur à côté de son image (voir figure 7) . On peut à tout instant associer à chaque joueur des données statistiques relatives à son activité pendant la rencontre (distances parcourues, vitesse moyenne ou maximale, nombre de touches de bal les, temps de possession du ballon , etc.). Ce type d'analyse statistique peut être réalisée, et ses résultats insérés globalement, pour chaque équipe.
En cas d'images générales du terrain prises de haut sensiblement à la verticale du terrain , il est possible d'insérer le schéma théorique tactique de chaque équipe (placement des joueurs et modes de déplacement), ou d'insérer le schéma de jeu réel résultant d'une analyse statistique préalable des données mémorisées au cours d'une période de jeu immédiatement précédente (action de jeu, mi-temps, etc.).
D'autres statistiques telles q ue le nombre et la précision des tirs au but peuvent aussi faire l'objet de commentaires visuels virtuels par insertion dans des images représentant le but de densités "d'impacts" dans et autour du but, ag rémentées de la chronologie des tirs au but, ag rémentées de la chronologie des tirs au but.
On peut aussi matérialiser virtuellement, en deux ou trois dimensions l'espace dans lequel le ballon a le plus souvent circulé.
Le procédé selon l'invention permet aussi la réalisation de séquences purement virtuelles du type de celles produites dans les jeux vidéo ou l'insertion d'un élément virtuel permettant par exemple de simuler un déplacement hypothétique d'un joueur par rapport à une action réelle filmée et d'inventer ainsi un scénario alternatif de la réalité.
Un tel scénario permet aussi l'explication de règles de jeu complexes telles q ue le hors-jeu . La création de séquences de jeu virtuelles permet aussi de faire "entrer" la caméra virtuelle sur le terrain et de rediffuser une action réelle préalable d'un autre point de vue , par exemple d u point de vue d'u n joueur ou d u ballon ou de l'arbitre.
Claims
1 . Procédé de production d'une séquence filmée d'une activité sportive comportant un terrain d'évolution su r lequel évolue au moins une personne physiq ue, notamment u n joueur
(J) ou un concurrent, et un objet mobile, notamment un ballon
(B), caractérisé en ce qu'il consiste à :
- filmer en temps réel une séquence de déroulement de l'activité sportive au moyen d'un réseau de caméras dont chacune est éq uipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe (X, Y, Z) lié au terrain , de ses mouvements, de sa mise au point optique et d'un signal d'horloge;
- acquérir en temps réel la position instantanée de chaque personne (x, y) évoluant sur le terrain et de l'objet mobile (x, y, z) par analyse, au moyen d'une unité informatique, des images vidéo filmées par ledit réseau de caméras;
- produire cycliquement une matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile dans ledit repère et mémoriser les matrices successives dans une unité informatique de traitement;
- construire au moins un élément visuel virtuel (M , C) d'information et/ou de commentaire au moyen d'une unité informatique de production d'éléments visuels en fonction desdites données ;
- synchroniser le réseau de caméras et les unités informatiques; et
- fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit en l'insérant dans l'image vidéo filmée de manière à permettre la diffusion , en temps réel ou en différé, d'une séq uence filmée de l'activité
sportive comportant ledit élément visuel virtuel d'information et/ou de commentaire.
2. Procédé de production selon la revend ication 1 , caractérisé en ce que l'étape de construction de l'élément virtuel consiste à :
- effectuer une analyse et un traitement desdites données pour calculer des informations représentatives de l'évolution dans le temps d'une personne ou de l'objet mobile (vitesse-accélération-trajectoire-mobilité-etc. ) ; et - construire une représentation virtuelle de ces informations destinée à être insérée.
3. Procédé de production selon la revendication 1 , caractérisé en ce que l'étape de construction de l'élément virtuel consiste à : - effectuer une analyse et un traitement desdites données pour calculer des positions relatives des personnes et/ou de l'objet mobile par rapport au terrain d'évolution ; et
- construire un objet visuel virtuel "fixe" associé auxd ites positions relatives (cône de tir-position d'u n mur- angle de vue) et destiné à être inséré.
4. Procédé de prod uction selon la revendication 1 , caractérisé en ce que l'étape de construction de l'élément virtuel consiste à :
- effectuer une analyse et un traitement desd ites données pour déterminer l'évolution dans le temps d'au moins une personne et/ou de l'objet mobile ; et
- associer un élément virtuel de structure connue à lad ite personne ou à l'élément mobile pour construire u n objet virtuel à insérer mobile lors du déroulement de la séquence.
5. Procédé de production selon la revendication 1 , caractérisé en ce que l'étape de construction de l'élément virtuel consiste à :
- effectuer une analyse et u n traitement desdites données pour calculer des informations statistiques relatives au déroulement de l'activité sportive et/ou à l'évolution et aux déplacements des personnes et de l'objet mobile ; et -• construire une représentation virtuelle de ces informations destinées à être insérée.
6. Procédé de production selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape d'acq uisition en temps réel de la position instantanée de chaq ue personne évoluant sur le terrain consiste à acq uérir la position de ces personnes dans u n repère à au moins deux dimensions (X, Y) correspondant aux d imensions d u terrain d'évolution .
7. Procédé de production selon l'une q uelconq ue des revendications précédentes, caractérisé en ce que l'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à acq uérir la position de cet objet dans un repère à trois d imensions (X, Y, Z) dont deux correspondant aux dimensions d u terrain d'évolution .
8. Procédé de production selon la revendication précédente, caractérisé en ce que l'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à filmer l'objet mobile au moyen de deux caméras appartenant audit réseau de caméras.
9. Procédé de production selon l'une quelconque des revend ications précédentes, caractérisé en ce q u'il comporte une étape additionnelle consistant fabriq uer une séq uence d'images vidéo virtuelles à partir des éléments virtuels construits de manière à permettre la diffusion en d ifféré de cette séq uence d'images vidéo virtuelles en association avec la diffusion de ladite séq uence filmée .
10. I nstallation pour la mise en oeuvre du procédé selon l'une q uelconque des revendications précédentes, caractérisée en ce q u'elle comporte :
- un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe lié au terrain , de ses mouvements , de sa mise au point optiq ue et d'un signal d'horloge;
- une unité informatique d'acq uisition en temps réel de la position instantanée de chaq ue personne évoluant sur le terrain et de l'objet ;
- une u nité informatique pou r produ ire cycliquement u ne matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile dans ledit repère et mémoriser les matrices;
- une unité informatiq ue pour construire au moins un élément visuel virtuel d'information et/ou de commentaire en fonction desdites données ;
- des moyens pour synchroniser le réseau de caméras et les unités informatiques; et
- des moyens pour fabriq uer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP98902059A EP0923765A1 (fr) | 1997-01-14 | 1998-01-13 | Procede et installation de production d'une sequence filmee d'une activite sportive agrementee d'insertions en temps reel d'elements virtuels |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR97/00296 | 1997-01-14 | ||
| FR9700296A FR2758429B1 (fr) | 1997-01-14 | 1997-01-14 | Procede et installation de production d'une sequence filmee d'une activite sportive agrementee d'insertions en temps reel d'elements virtuels |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO1998032100A1 true WO1998032100A1 (fr) | 1998-07-23 |
Family
ID=9502574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/FR1998/000043 Ceased WO1998032100A1 (fr) | 1997-01-14 | 1998-01-13 | Procede et installation de production d'une sequence filmee d'une activite sportive agrementee d'insertions en temps reel d'elements virtuels |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0923765A1 (fr) |
| FR (1) | FR2758429B1 (fr) |
| WO (1) | WO1998032100A1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102843523A (zh) * | 2011-03-29 | 2012-12-26 | 索尼公司 | 方法、装置和手持机 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2854527A1 (fr) * | 2003-10-14 | 2004-11-05 | Thomson Licensing Sa | Dispositif,systeme et methode d'affichage graphique |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5363297A (en) * | 1992-06-05 | 1994-11-08 | Larson Noble G | Automated camera-based tracking system for sports contests |
| WO1995008816A1 (fr) * | 1993-09-20 | 1995-03-30 | Jean Gabriel Daver Gil | Dispositif d'acquisition en temps reel de donnees relatives a des personnes en mouvement |
-
1997
- 1997-01-14 FR FR9700296A patent/FR2758429B1/fr not_active Expired - Fee Related
-
1998
- 1998-01-13 EP EP98902059A patent/EP0923765A1/fr not_active Withdrawn
- 1998-01-13 WO PCT/FR1998/000043 patent/WO1998032100A1/fr not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5363297A (en) * | 1992-06-05 | 1994-11-08 | Larson Noble G | Automated camera-based tracking system for sports contests |
| WO1995008816A1 (fr) * | 1993-09-20 | 1995-03-30 | Jean Gabriel Daver Gil | Dispositif d'acquisition en temps reel de donnees relatives a des personnes en mouvement |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102843523A (zh) * | 2011-03-29 | 2012-12-26 | 索尼公司 | 方法、装置和手持机 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2758429A1 (fr) | 1998-07-17 |
| FR2758429B1 (fr) | 1999-04-09 |
| EP0923765A1 (fr) | 1999-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10758807B2 (en) | Smart court system | |
| US11283983B2 (en) | System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network | |
| CN105264876B (zh) | 低成本电视制作的方法及系统 | |
| JP6580045B2 (ja) | 映像制作物を作るための方法及びシステム | |
| US6072504A (en) | Method and apparatus for tracking, storing, and synthesizing an animated version of object motion | |
| Stensland et al. | Bagadus: An integrated real-time system for soccer analytics | |
| US20150297949A1 (en) | Automatic sports broadcasting system | |
| JP2017513385A (ja) | 自動的にテレビ番組を制作する方法及びシステム | |
| US8456526B2 (en) | Video effect using movement within an image | |
| CN1425171A (zh) | 以时空同步整合视频序列的方法及系统 | |
| EP3278268A1 (fr) | Système d'analyse automatisée d'un match de sport | |
| CN105939481A (zh) | 一种交互式三维虚拟现实视频节目录播和直播方法 | |
| CN106296686A (zh) | 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法 | |
| Pers et al. | A low-cost real-time tracker of live sport events | |
| US20240185394A1 (en) | Massively pre-rendered virtual billboard system for high speed, high quality digital advertising insertion in live media broadcasts | |
| KR101164894B1 (ko) | 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체 | |
| EP1289282B1 (fr) | Procédé et système de production automatique de séquences vidéo | |
| EP0923765A1 (fr) | Procede et installation de production d'une sequence filmee d'une activite sportive agrementee d'insertions en temps reel d'elements virtuels | |
| JP2025521947A (ja) | ビデオストリームの自動整列 | |
| Tang et al. | Optimizing synchronization of tennis professional league live broadcast based on wireless network planning | |
| Benítez et al. | Video technology for refereeing in other sports: tennis and Rugby | |
| Benítez et al. | 8 Video Technology for Refereeing in Other Sports | |
| Ma | International Sports Competition Live Streaming System Under Computer Big Data Technology | |
| Retfalvi et al. | Using Metahumans in Large-Scale Sports Production | |
| Gallagher | Men in tights: Sport and representation in the 2000 Olympics telecasts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AK | Designated states |
Kind code of ref document: A1 Designated state(s): BR CA CN JP US |
|
| AL | Designated countries for regional patents |
Kind code of ref document: A1 Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
| WWE | Wipo information: entry into national phase |
Ref document number: 1998902059 Country of ref document: EP |
|
| WWP | Wipo information: published in national office |
Ref document number: 1998902059 Country of ref document: EP |
|
| NENP | Non-entry into the national phase |
Ref country code: CA |
|
| WWW | Wipo information: withdrawn in national office |
Ref document number: 1998902059 Country of ref document: EP |