[go: up one dir, main page]

WO2004098176A1 - Procede de transmission de donnees representant la position dans l'espace d'une camera video et systeme de mise en oeuvre du procede - Google Patents

Procede de transmission de donnees representant la position dans l'espace d'une camera video et systeme de mise en oeuvre du procede Download PDF

Info

Publication number
WO2004098176A1
WO2004098176A1 PCT/FR2004/000982 FR2004000982W WO2004098176A1 WO 2004098176 A1 WO2004098176 A1 WO 2004098176A1 FR 2004000982 W FR2004000982 W FR 2004000982W WO 2004098176 A1 WO2004098176 A1 WO 2004098176A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
subsystem
data
images
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2004/000982
Other languages
English (en)
Inventor
Laurent Alhadef
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yodea
Original Assignee
Yodea
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yodea filed Critical Yodea
Priority to US10/553,885 priority Critical patent/US8009198B2/en
Priority to EP04742559A priority patent/EP1623567A1/fr
Publication of WO2004098176A1 publication Critical patent/WO2004098176A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0018—Transmission from mobile station to base station
    • G01S5/0027—Transmission from mobile station to base station of actual mobile position, i.e. position determined on mobile
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the invention relates to a method for transmitting data representing the position in space of a moving video camera, more particularly to a method for transmitting these coordinates in real time.
  • the invention also relates to a system for implementing the method.
  • coordinates should be understood in a very general sense.
  • the coordinates of the image plane are: The Inclination of this plane in space, given by the azimuth, elevation and rolling angles, as well as the position of the center of the image.
  • This center can be given by three coordinate values, arbitrarily named x, y, and z, of an orthonormal trihedron of axes X, Y and Z
  • - first field of application the characterization of the images of a video stream when the position of their plane in space
  • - second field of application the visualization in real time of an overview of the framing of a video camera in a virtual setting.
  • the sets of a film are also, in whole or in part, composed of computer generated images.
  • the three-dimensional decoration is modeled beforehand.
  • the virtual image of the framing is rendered by three-dimensional rendering software in real time.
  • the invention aims to overcome the drawbacks of the systems and methods of the known art, some of which have just been mentioned.
  • the object of the invention is to set a method for transmitting position coordinates in space of a moving video camera in real time.
  • the object of the invention is to set a system for implementing this method.
  • the whole system is in the form of a lightweight system designed to be attached to a video camera.
  • the system according to the invention essentially comprises two main subsystems:
  • the first subsystem is intended to be made integral with a video camera. It advantageously consists of a rigid shell in which an inertial unit and its electronics are housed.
  • the second subsystem which can advantageously be carried in the wallet by an operator, is intended to process the information of the first subsystem and supplies the entire system with energy. He understands :
  • a battery or any equivalent member, preferably for powering the entire system
  • a light electronic console connected to the output of the inertial unit which records the position data of the video camera in space at a determined frequency, typically 100 Hz.
  • the data recorded in the electronic console are indexed with respect to time.
  • the data can be transmitted directly by cable or by wave to an additional data processing unit equipped with navigation software in a 3D model, so as to be processed there in real or near real time.
  • this additional processing unit can be incorporated in a backpack, or a similar member, carried by the operator.
  • additional organs can be added to one and / or the other of the two subsystems. Thanks to the method and system according to the invention, the precision of the measurements is independent of the image quality. In addition, the position coordinates are transmitted in real time.
  • the main object of the invention is therefore a method of transmitting the position coordinates of a camera for taking a sequence of video images moving in space along a trajectory determined with respect to a frame of reference. determined, characterized in that it comprises at least the following steps:
  • a preliminary step consisting in subjecting said camera to a first subsystem comprising an inertial unit delivering data signals representative of the coordinates and of the instantaneous inclination of said camera relative to said reference frame ;
  • the invention also relates to the application of this method to the characterization of the images of a video stream when the position of their plane in space.
  • the invention also relates to the application of this method to the real-time display of an overview of the framing of a video camera in a virtual setting.
  • FIG. 1A schematically illustrates an example of a data transmission and processing system representing the position in space of a recording device views of a sequence of video images, according to a first embodiment of the invention
  • Figures 1 B to 1 D schematically illustrate an example of a data transmission and processing system representing the position in space of a camera for capturing a sequence of video images, according to a second embodiment of the invention
  • - Figure 2 schematically illustrates an operating mode allowing the acquisition of three-dimensional coordinates of the plane of an image, relative to an orthonormal reference trihedron linked to a scene
  • FIG. 1A schematically illustrates an example of a data transmission and processing system representing the position in space of a recording device views of a sequence of video images, according to a first embodiment of the invention
  • Figures 1 B to 1 D schematically illustrate an example of a data transmission and processing system representing the position in space of a camera for capturing a sequence of video images, according to a second embodiment of the invention
  • - Figure 2 schematically illustrates an operating mode allowing the
  • FIGS. 1A to 3 is a block diagram describing the main steps of the method according to two embodiments of the method of the invention. We will first describe an example of a system for transmitting position coordinates in space in real time from a moving video camera according to two embodiments of the invention with reference to FIGS. 1A to 3.
  • FIG 1A there is shown a system 1, which can be described as "minimalist”.
  • This system 1 includes a video camera.
  • the method according to the invention makes it possible to decorrelate the quality of the images from the precision of the measurements supplied by the system. In other words, high measurement accuracy can be obtained even if the images are of poor quality.
  • the system is therefore not sensitive to shooting conditions such as low light, blurring, etc.
  • the system for real-time transmission of position coordinates in space of the moving video camera 10 comprises, as indicated two main subsystems:
  • the first subsystem, 11, comprises an inertial unit and its electronics (not explicitly shown). It advantageously consists of a rigid shell 110 in which the inertial unit and its electronics are housed. This shell is intended to be subjected to the video camera 10 by any suitable fixing device, definitive or unlockable (links, screws, etc.), symbolized by the reference 1 11.
  • the second subsystem is a storage device 12, can advantageously be carried in the bag by an operator (not shown in FIG. 1A). This storage member 12 is intended to process the information supplied by the first subsystem 11. preferably, it supplies energy to the entire system 1. More specifically, the second subsystem 12 comprises:
  • a light electronic console connected to the output of the inertial unit which records the position data in the space of the video camera 10 (via the frame 11 which is subject to it), at a typical frequency of around 100 Hz.
  • FIG. 1B illustrates an example of a system for transmitting in real time the position coordinates in space of a moving video camera according to a second embodiment, which can be described as "complete". This system is now referenced the.
  • the video camera and the first subsystem can be of a type identical to those shown in FIG. 1A. However, the video camera and the first subsystem are now referenced 10 ′ and 11 ′, because they can be supplemented, one and / or the other, in certain variant embodiments, by various members which will be described below. after.
  • the first subsystem 11 ' is, as previously subject to the video camera 10' by any appropriate means, symbolized by the reference link 111 '.
  • a fundamental difference between the first and second embodiments consists in that the data generated by the first subsystem 11 ′ are transmitted to a program data processing system recorded under the general reference 20.
  • the latter is advantageously arranged in a backpack,
  • FIG. 1C schematically illustrates a possible configuration of the data processing system 20, in the form for example of a microcomputer 4 disposed in the backpack 200 and communicating with the first subsystem 1 'via links 112' of similar type if not identical to those of Figure 1A.
  • the microcomputer 4 comprises a set of organs and circuits arbitrarily grouped in a chassis 40.
  • the main organs and circuits of this microcomputer 4 are as follows: a battery for supplying electrical energy 400, for example 12 volts
  • the power supply provides a set of voltages and / or currents of outputs of appropriate amplitudes, intended for under the general reference VS ;
  • a digital data processing unit with recorded program 402 proper comprising various conventional organs necessary for its proper functioning (not shown) such as, microprocessor, main memory, etc., and in particular a video card, advantageously of the 3D type, a mass memory 403, for example consisting of two magnetic disks of 80 GB each; a display unit 404 controlled by the aforementioned 3D video card; - keyboard 405 and pointing 406 data entry devices: mouse, ball, etc., for entering comments, data, synchronization instructions or processing orders; electronic circuits 407 for processing the signals generated by the first subsystem 11 '(FIG. 1B), interfaces with the digital data processing unit 402 by an appropriate electronic circuit board (serial port for example); and
  • connection 409 is also provided, making it possible to make a cable connection 112 '(FIG. 1B) with the first subsystem 11'.
  • the cable 112 ' can carry signals of several categories: electronic by wired links 1120' (serial bus for example or other), power supply signals 1121 'and optical signals by fiber optic links 1122 ', for example from fiber optic gyros contained in the first subsystem 11'.
  • a similar connection (not shown) is provided in the subsystem 11 '.
  • radio links for example according to the aforementioned "bluethooth" protocol
  • direct optical links signals modulating an infrared carrier for example
  • an external "Pocket Electronic Assistant” (“ADP") can be provided (FIG. 1B), known as Anglo-Saxon abbreviation of "PDA” (for "Personal Digital Assistant”).
  • PDA Personal Digital Assistant
  • This "PDA” is connected to the microcomputer 4 by a cable 210 passing through, for example, by the connector 409.
  • the circuits 421 supply via the links 1121 ', via the connectors 409, the entire system l', that is to say the first subsystem 11 ', and possibly the video camera 10'.
  • the first and second subsystems, 11 ′ and 2 can be completed and / or modified, respectively.
  • the following organs, arranged in the video camera 10 ′, the first subsystem 11 ′ and / or the second subsystem 2 can be used:
  • a gyrometer made up of three orthogonal coils of single-mode optical fiber, for example of diameter 80 mm each comprising
  • GPS Global Positioning System
  • GALILLEO Global Positioning System
  • the device 22 communicates with appropriate processing circuits, not shown in FIG. 1C, contained in the chassis 40 of the microcomputer 4;
  • auxiliary camera 100 made integral with the video camera 10'.
  • the second subsystem 2 can also be supplemented by a microphone 23 picking up comments from the operator OP and / or synchronization sound signals, this to facilitate and secure the editing of the various sequences of video images taken.
  • an initialization terminal 3 can be implemented, as shown diagrammatically in FIG. 1 D.
  • the video camera 10 ′ is originally placed on a support 30 which serves as the point of origin for the motion and location sensors.
  • the video camera 10 ′ can in particular be provided : - push buttons;
  • a display screen advantageously of the "LCD” type (for "Liquid Crystal Display” or “Liquid Crystal Screen”, for example with a resolution of 400 ⁇ 300 pixels).
  • the operator OP can also be provided with virtual glasses which can replace the screen of the video camera 10 ′.
  • the first subsystem, 1 1 or 11 ′ respectively is constituted a module comprising at least devices based on inertial position and instantaneous speed sensors (gyrometers and accelerometers).
  • the first subsystem, 11 or 11 ' is attached to a video camera, 10 or 10'.
  • the system according to the invention makes it possible in particular to carry out what has previously been called "motion control".
  • the invention covers, as will be shown two main series of applications: the characterization of the images of a video stream when the position of their plane in space and the visualization in real time of an overview of the framing of a video camera in a virtual setting. These operations assume that a certain number of parameters linked to the taking of photographs can be determined at all times, in particular the coordinates of the video camera, 10 or 10 ′, relative to a reference frame, and the focal length used.
  • FIG. 2 schematically illustrates the operating mode allowing the acquisition of the coordinates in three dimensions, x n , y ⁇ , and z n , of the plane Pû'une image /, with respect to a reference orthonormal trihedron, XYZ, linked to a SC scene.
  • the first subsystem 11 ' being subject to the video camera 10', it follows the movements of the latter, at the same speed of movement and also follows its inclination (characterized by elevation angles, ⁇ réelleazimuth , ⁇ admirand of rolling y.
  • the devices for measuring the devices based on position and instantaneous speed sensors of inertial nature present in the second subsystem 11 ′ can therefore generate, during the above-mentioned displacement of the position data ( coordinates), instantaneous speed and inclination.
  • the transmission of this data is carried out via the link 112 ′, typically at a frequency of 100 Hz.
  • These data are recorded in the data processing system 2 for deferred processing and / or processed in real or near real time, preferably followed by a recording of the results of the treatment for later use.
  • Other parameters can also be acq uis, for example the focal length used for taking pictures.
  • an initialization of the measuring devices present in the first subsystem 11 ′ can be carried out by placing the video camera 10 'on the support 30 of the initialization terminal, at a predetermined location on the scene SC, for example of coordinates x r , y, and
  • Step 1 (block 51): This is a preliminary step and system configuration.
  • the first subsystem 11 '(position module) is assembled with the video camera 10'.
  • the first subsystem 11 ' is secured to the video camera 10' by a screw provided for this purpose or by any other member 111 '.
  • the first subsystem 11 ' is fixed via the thread generally provided for the base of the camera 10'.
  • a configuration description is integrated into the second subsystem 2 in the form of a text-type system configuration file.
  • This file information relating to the hardware and software used is provided. Certain parameters can be reconfigured at this stage. Subsequently, as data are acquired, models for predicting the behavior of inertial sensors can be refined by algorithmic data processing methods.
  • Step 2 (block 52): Initialization of the system.
  • Step 3 (block 53): processing of inertial data
  • This step makes it possible to process the location acquisition data in real time and to establish the kinematics of the video camera 10 '(including its tilt).
  • the position of the video camera 10 ′ is determined by a location system of the inertial central type essentially based on the use of gyros and accelerometers arranged in the first subsystem 11 ′.
  • a terminal 3 which serves as a reference point.
  • the deviation of the measurements from the reference point is noted. This difference is distributed over the various previous location measurements in order to compensate for the measurement error.
  • Other location and distance sensors can also be used, such as those listed above: GPS, magnetometers, inclinometers, odometer inputs. These sensors make it possible to obtain redundancies and to improve the measurements. The estimate of the device position sensors drift can also be transmitted to the user.
  • the inclination of the video camera 10 ' (elevation angles, ⁇ foundedof azimuth, ⁇ concerned and of rolling ⁇ ,), and consequently the inclination in space of the plane P e image /, is given mainly by a trihedron of three gyros placed along three distinct non-coplanar axes arranged in the first subsystem 11 '.
  • the electronics associated with the three gyrometric sensors provide increments of rotation ⁇ ⁇ y and ⁇ , following the three axes. From these increments, the angular positions 6, ⁇ y , ⁇ are calculated by a change of reference by means of the arithmetic known as of the quatemions.
  • the instantaneous position (coordinates x beginnery, and z reinforce) of the image sensor of the video camera 10 ′ and consequently the position of the center C e the image / is provided mainly by the trihedron of the three accelerometers.
  • the distances traveled along the three axes are calculated by successive integrations using kinematics calculations using the acceleration data emitted by the trihedron of the three accelerometers.
  • the accelerometers and gyros cooperate to calculate location data for the video camera 10 ′, typically at the frequency of the above 100 Hertz.
  • the kinematics of the video camera 10 ′ is calculated continuously by means of known digital integration algorithms (for example of the “Kutta range predictor-corrector” and “Adam predictor-corrector”) to interpolate intermediate points.
  • the accelerometers are measured for a period greater than 84 minutes. This initialization time makes it possible to know the characteristics of the "Schuler” period for each accelerometer. From these characteristics, using synchronization by an electronic clock, the value of the period is decremented at any time from the results given by the accelerometers. To compensate for the errors due to the laws of "Schuler” and “Coriolis” one uses a predictive modeling based on filters of a known type known as of Kalman.
  • Measurements on gyros and accelerometers are carried out under different conditions. These measurements are entered in a specific software whose function is to odumbleer the behavior of the gyrometers. This software is implemented in the second subsystem 2. The errors are compensated in real time by taking account of the model.
  • the system is capable of interfacing with additional positioning systems:
  • accelerometers are precise especially in a determined range of measurements (acceleration and frequency). It is therefore desirable to absorb variations in trajectories / which exceed this predilection range. This procedure optimizes the quality of the measurements provided by the accelerometers. Another advantage is to smooth the curve of the path followed by the video camera 10 ′ and thus eliminate noise which parasites the measurements.
  • Step 4 data acquisition.
  • This step consists in acquiring the necessary information. All of this information is time stamped.
  • This information comes mainly from:
  • Step 5 improvement of the measurements of localization of the shots by image processing.
  • the location of the position of the video camera 10 ′ by image processing essentially serves to corroborate and compensate for drift in the measurement of gyrometers and accelerometers.
  • Redundant data are managed by the aforementioned “gradient descent” or “quadratic programming” algorithms which give the almost certain value of the parameters sought despite the measurement errors. These algorithms also make it possible to eliminate the outliers and to reconstruct the missing values as indicated above.
  • the "tracking" is a software image processing method, well known in itself that automatically follow one or more points m pictures ⁇ category me a subject in a sequence where the shooting succeed . It is known that this process is currently the subject of studies and industrial achievements, nevertheless its reliability is often called into question in difficult cases, in particular when the remarkable points are not sufficiently different from the neighboring points. This process is made much easier and more reliable, when the specific provisions of the process of the invention are implemented, by the fact that the characteristics of the image are already known with a certain precision (coordinates of the plane picture). By the physical means of locations already defined. The software performs its "search” only in a well-defined image region.
  • This "tracking" method allows assistance in locating images. It allows the automatic processing of a large number of reference points. It is easily understood that the more reference points are available, the more it becomes possible to refine the position measurements of the location of the images.
  • a laser rangefinder (not shown) is added to the video camera 10 ′ and / or to the first subsystem 11 ′ which glows and is secured. separating it from a particular point of an object to model. This point whose distance is now known is automatically taken as a remarkable point. It is then followed by "tracking".
  • the analysis of the curves over time of the positions of the reference points makes it possible to know precisely the kinematics of the reference points relative to the camera 10 'video. If the modeling relates to an immobile space. It becomes very easy to know the kinematics of the video camera 10 itself. It is possible in this way to correct the measurements provided by the gyros and the accelerometers of the first subsystem 11 ′. It is also possible, and again, to use optical targets as reference points.
  • a robust solution for obtaining reference points on images is to install optical targets around the subject to be modeled. These targets are equipped with emitting diodes generating signals. Their positions on the images are automatically recognized.
  • Step 6 (block 56): Data synchronization.
  • the inertial unit located in the first subsystem 11 ′ transmits data at the frequency of a few hundred Hertz.
  • the difficulty is to synchronize the position data of the video camera 10 'transmitted by the system with the filmed images, the aim being that the images are characterized by the position of the video camera 10' at the time when they were filmed.
  • some video cameras can transmit data digitally and in real time concerning the synchronization of sound, the position of the focal length (which constitutes a very important parameter, if not essential), the type of film, the measurements of lights, etc., data which is also useful to synchronize with respect to position data.
  • Solution 1 The synchronization of image / position data is done according to the traditional method of image / sound synchronization used in the film industry. We film a "clap”. We then "hold” the image of the film where the flap is closed with the moment when in the soundtrack we hear the noise of the flap.
  • the second subsystem 2 is provided with a microphone 23 (FIG. 1B).
  • the position data stream is synchronized with the sound (simultaneous recording). It only remains to find in the soundtrack the sound emitted by the flap so that there is synchronization of images / position data flow.
  • Solution 2 The video camera 10 ′ is provided with circuits generating an output signal which indicates the moment when the operator OP begins to record a new sequence of images. This signal is picked up by the processing unit 4 of the second subsystem 2 and the recording of the position data stream is executed immediately.
  • Solution 3 We use a small additional video camera 100 ', light and of low definition, subject to the main video camera 10' or to the first subsystem 1 l ': in this case, recording images / data flow position is simultaneous.
  • the direction of the lens of the video camera 100 ' is the same as that of the main video camera 10'. Therefore, the small video camera 100 'films the same scenes with the same positions. It is enough to superimpose the two image streams to obtain the synchronization of the images of the main video camera 10 'with the data stream
  • Step 7 (block 7): Data storage
  • the images taken by the video camera 10 ′ are characterized by the six position coordinates but also by the following main parameters:
  • time stamp precise time when images were taken
  • - kinematics acceleration, speed and trajectory
  • focal length of the 10 'video camera type of focal length used or zoom position if necessary;
  • Step 8 (block 58): further processing of the characterized images.
  • the operator OP can leverage the database of the characterized images to modify them a posteriori.
  • the process of the invention is susceptible of various applications and in particular the following:
  • Application 2 Films shot on cameras carried on the shoulder can undergo sudden variations in trajectory as well as shocks or vibrations. Knowing the image positions can be used to smooth the image sequence, in particular using known image interpolation software. Again the method of the invention achieves this goal.
  • Application 3 To give slow motion effects without having jerky effects, special effects use software to create "virtual" images between two actually filmed images. Knowing the trajectory of the focal plane, as the method according to the invention allows, allows rapid and reliable image interpolation.
  • Application 4 A traditional film specialization consists in superimposing images.
  • a classic example is to film a person, then film them again in another part of the scene, and finally to superimpose the two images. The person filmed then seems to have split. This effect, relatively easy to perform when the planes are fixed, is made much more difficult when the planes are in motion. It is then necessary to synchronize the two sequences of images whose image planes are located in the same places, which again allows the method according to the invention.
  • the method according to the invention also allows navigation in a three-dimensional universe in real time.
  • Step 9 the steps of this second mode of the process of the invention are similar, if not identical, to those of the first mode which has just been described, at least until the fourth step included. We then move on to what is arbitrarily referenced as "Step 9" on the block diagram of FIG. 3, since this step actually takes place after the fourth step, and which will be explained below.
  • Step 9 (block 59): Obtaining a pointer in three-dimensional space for navigation in a virtual universe.
  • the position data of the video camera 10 ′, the images taken, as well as possibly the focal length used are communicated in real time to the second subsystem 2, more precisely to the processing device 4, by an appropriate link 112 ′: wired cable , optical link or wave.
  • the register program data processing device is provided with three-dimensional restitution software, operating in real time. It can be, for example, the commercial software "Director” distributed by the company MACROMEDIA or “3DS max” distributed by the company “DISCRET” (all these names being registered trademarks).
  • this second embodiment of the method can find application in the following field:
  • the film sets are increasingly, in whole or in part, composed of synthetic images.
  • the virtual image of the framing can then be restored by three-dimensional rendering software in real time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

L'invention concerne procédé et un système (1') de transmission de données acquises en temps réel représentant la position dans l'espace d'une caméra vidéo (10'), en cordonnées et en inclinaison, par rapport à un référentiel, lorsque la caméra (10') se déplace le long d'une trajectoire. Les données acquises, une fois traitées permettent de déterminer la position et l'inclinaison des plans des images prises. Le système (1') comprend deux sous-ensembles principaux : un module constitué d'une centrale inertielle (11') assujetti à la caméra (10') et un dispositif de traitement de données à programme enregistré (2) communiquant avec la centrale inertielle (11') par l'intermédiaire d'une liaison (112'), filaire ou non. Applications à la mise en correspondance des images prises avec des images de synthèses et à la navigation dans un univers virtuel.

Description

PROCEDE DE TRANSMISSION DE DONNEES REPRESENTANT LA POSITION DANS LΕSPACE D'UNE CAMERA VIDEO ET SYSTEME DE MISE EN OEUVRE DU
PROCEDE
L'invention concerne un procédé de transmission de données représentant la position dans l'espace d'une caméra vidéo en mouvement, plus particulièrement un procédé de transmission en temps réel de ces coordonnées.
Elle permet de ce fait de connaître les coordonnées des plans images d'un film vidéo.
Un tel procédé est généralement connu sous l'appellation anglo-saxonne de " motion control".
L'invention concerne également un système pour la mise en œuvre du procédé. Dans le cadre de l'invention, le terme "coordonnées" doit être entendu dans un sens très général. Dans leur sens général, les coordonnées du plan image sont : l'Inclinaison de ce plan dans l'espace, donnée par les angles d'azimut, d'élévation et de roulement, ainsi que la position du centre de l'image. Ce centre peut être donnée par trois valeurs de coordonnées, dénommés arbitrairement x, y, et z, d'un trièdre orthonormé d'axes X, Y et Z
Elle trouve une application particulièrement intéressante, bien que non exhaustive, dans deux domaines principaux :
- premier domaine d'application : la caractérisation des images d'un flux vidéo quand à la position de leur plan dans l'espace ; et - deuxième domaine d'application : la visualisation en temps réel d'un aperçu du cadrage d'une caméra vidéo dans un décor virtuel.
Premier domaine d'application :
Dans l'industrie des effets spéciaux de film, il est souvent nécessaire d'incruster des images d'autres provenances (autre film, maquettes, images de synthèses, ...) dans des images filmées avec une caméra en mouvement. En connaissant avec précision les coordonnées de chaque plan d'image et la focale utilisée, il devient aisé de faire correspondre pour incrustation d'autres plans d'images dont on connaît aussi les coordonnées. Les coordonnées du plan image sont, comme il a été rappelé, l'Inclinaison du plan dans l'espace (angles d'azimut, d'élévation et de roulement), ainsi que la position du centre de l'image (coordonnées x, y, z). ceci est particulièrement pratique pour l'incrustation d'images de synthèses dans un film.
Deuxième domaine d'application :
Les décors d'un film sont de plus, en tout ou partie, composés d'images de synthèse. Or, il devient difficile dans ces conditions de choisir exactement le cadrage d'une caméra vidéo surtout lorsqu'elle est en mouvement, il est alors nécessaire de visualiser en temps réel un aperçu du cadrage de la caméra dans un décor virtuel tridimensionnel. Le décor tridimensionnel est modélisé au préalable. Lorsque les positions de la caméra et la focale sont connues en temps réel, l'image virtuelle du cadrage est restituée par un logiciel de rendu tridimensionnel en temps réel.
Dans l'art connu, il existe un certain nombre de procédés et de systèmes visant à répondre à des besoins de ce type, procédés et systèmes qui peuvent se répartir selon deux catégories principales.
Il existe tout d'abord des procédés associés à des systèmes munis de caméras vidéo positionnées sur des robots ou des bras articulés. Avec ce type de système, il est certes possible de parvenir à une bonne précision. Par contre, il présente habituellement des inconvénients relativement nombreux, que l'on peut résumer ainsi : appareil lourd et peu transportable, faible rayon d'action, coût élevé, système réservé à des spécialistes, car de mise en œuvre complexe.
Il existe aussi des procédés et systèmes de traitement d'images mettant en oeuvre un suivi de points dits "remarquables". Ces solutions recourent à un logiciel spécialisé. Une fois le film numérisé, des points remarquables sont sélectionnés sur une image particulière du film. Ces mêmes points remarquables sont ensuite repérés sur chaque image grâce à une méthode logicielle dite de "tracking de points" (c'est-à- dire de "suivi de points"). Grâce à un algorithme de traitement d'image, le logiciel est capable de déterminer la position de chaque plan focal de chaque image. L'avantage principal de ce procédé est que les prises de vue sont faciles et rapides. A titre d'exemple, on peut citer les logiciels "3D equalizer" de la société "Techimage" et "MatchMover" de la société "Réalvitz" (marque enregistrée).
Les inconvénients de ce procédé sont toutefois nombreux :
- traitement d'image long et coûteux : le traitement de séquences de moins d'une minute peut prendre des semaines ;
- nécessite de nombreuses Interventions manuelles ;
- définitions médiocres.
- nécessité pour les images d'être contrastées : à titre d'exemple, le procédé est pratiquement impossible sur des séquences avec du brouillard, de la pluie ou avec une faible luminosité ;
- nécessité pour les images d'être nettes, un effet de flou perturbant la qualité des mesures : à titre d'exemple, lorsque qu'il y a une grande ouverture du diaphragme de l'objectif qui diminue la profondeur de champ ;
- en présence d'erreurs engendrées par l'optique, ces d'erreurs perturbent la qualité des mesures (aberration chromatique, aberration sphérique, coma, astigmatisme, courbure de champ, distorsion, etc.) ;
- les systèmes de compressions d'image nuisent aussi à la qualité des mesures ;
- le traitement du calcul de position d'image étant différé, il est impossible d'appliquer cette technique à la visualisation de décor en temps réel ; et - nécessité d'utiliser des cibles optiques lorsque l'image n'offre que peu de contraste : on peut citer à titre d'exemple un film sur fond bleu.
L'invention vise à pallier les inconvénients des systèmes et procédés de l'art connu, et dont certains viennent d'être rappelés.
L'invention se fixe comme but un procédé transmission en temps réel des coordonnées de position dans l'espace d'une caméra vidéo en mouvement
L'invention se fixe comme but un système de mise en œuvre de ce procédé. Le système dans sa globalité se présente sous la forme d'un système léger conçu pour être assujetti à une caméra vidéo.
Plus précisément, il se présente sous la forme d'un système léger, mobile et autonome permettant, si la focale est connue, le contrôle de la position de la caméra vidéo, ce qui permet de faciliter l'incrustation d'images sur des images filmées. Il peut servir de pointeur pour permettre une visualisation, selon l'axe de la caméra, d'un décor virtuel tridimensionnel.
Le système selon l'invention comprend essentiellement deux sous systèmes principaux :
Le premier sous-système est destiné à être rendu solidaire d'une caméra vidéo. Il est constitué avantageusement d'une coque rigide dans laquelle sont logé une centrale inertielle et son électronique.
Le deuxième sous-système, pouvant être porté avantageusement en besace par un opérateur, est destiné à traiter les informations du premier sous-système et alimente en énergie le système en entier. Il comprend :
- une batterie, ou tout organe équivalent, préférentiellement pour alimentation électrique du système en son entier ; et - une console électronique légère reliée à la sortie de la centrale inertielle qui enregistre les données de position de la caméra vidéo dans l'espace à une fréquence déterminée, typiquement 100 Hz.
Les données enregistrées dans la console électronique sont indexées par rapport au temps.
Les données peuvent êtres transmises directement par câble ou par onde à une unité de traitement informatique de données supplémentaire munie d'un logiciel de navigation dans un modèle 3D, de manière à y être traité en temps réel ou quasi-réel. Dans une variante préférentielle de réalisation, cette unité de traitement supplémentaire peut être incorporée dans un sac à dos, ou un organe similaire, porté par l'opérateur.
Pour améliorer la qualité et la précision des mesures et/ou la facilité de traitement, des organes supplémentaires peuvent être adjoints à l'un et/ou l'autre des deux sous-systèmes. Grâce au procédé et au système selon l'invention, la précision des mesures est indépendante de la qualité de l'image. En outre, la transmission des coordonnées de position est effectuée en temps réel.
L'invention a donc pour objet principal un procédé de transmission des coordonnées de position d'un appareil de prise de vues d'une séquence d'images vidéo se déplaçant dans l'espace le long d'une trajectoire déterminée par rapport à un référentiel déterminé, caractérisé en ce que en ce qu'il comprend au moins les étapes suivantes :
- une étape préliminaire consistant en l'assujettissement dudit appareil de prise de vues à un premier sous-système comprenant une centrale inertielle délivrant des signaux de données représentatives des coordonnées et de l'inclinaison instantané dudit appareil de prise de vues par rapport au dit référentiel ;
- une première étape d'acquisition en temps réel desdits signaux de données lors d'un déplacement dudit appareil de prise de vues le long de ladite trajectoire et de leur transmission à un deuxième sous-système comprenant des moyens de traitement de ces données à programme enregistré ; et
- une deuxième étape de traitement desdites données en temps réel et/ou différé, de manière à déterminer lesdites coordonnées de position.
L'invention a encore pour objet l'application de ce procédé à la caractérisation des images d'un flux vidéo quand à la position de leur plan dans l'espace. L'invention a encore pour objet l'application de ce procédé à la visualisation en temps réel d'un aperçu du cadrage d'une caméra vidéo dans un décor virtuel.
L'invention a enfin pour objet un système transmission en temps réel des coordonnées de position dans l'espace d'une caméra vidéo en mouvement pour la mise en oeuvre du procédé. L'invention va maintenant être décrite de façon plus détaillée en se référant aux dessins annexés, parmi lesquels : la figure 1A illustre schématiquement un exemple de système de transmission et de traitement de données représentant la position dans l'espace d'un appareil de prise de vues d'une séquence d'images vidéo, selon un premier mode de réalisation de l'invention ; les figures 1 B à 1 D illustrent schématiquement un exemple de système de transmission et de traitement de données représentant la position dans l'espace d'un appareil de prise de vues d'une séquence d'images vidéo, selon un deuxième mode de réalisation de l'invention ; - la figure 2 illustre schématiquement un mode opératoire permettant l'acquisition de coordonnées en trois dimensions du plan d'une image, par rapport à un trièdre orthonormé de référence lié à une scène ; et la figure 3 est un bloc diagramme décrivant les principales étapes du procédé selon deux modes de réalisation du procédé de l'invention On va tout d'abord décrire un exemple de système transmission en temps réel des coordonnées de position dans l'espace d'une caméra vidéo en mouvement selon deux modes de réalisation de l'invention par référence aux figures 1A à 3.
Sur ces figures, les éléments identiques portent les mêmes références et ne seront re-décrits qu'en tant que de besoin.
Sur la figure 1A, on a représenté un système 1 , que l'on peut qualifier de "minimaliste". Ce système 1 comprend une caméra vidéo. En effet, le procédé selon l'invention, comme il le sera montré, permet de décorreller la qualité des images de la précision des mesures fournies par le système. En d'autres termes, une grande précision de mesure peut être obtenue même si les images sont de faible qualité. Le système n'est donc pas sensible à des conditions de prise de vues telles que faible lumière, flou, etc.
Selon l'invention, le système de transmission en temps réel des coordonnées de position dans l'espace de la caméra vidéo 10 en mouvement comprend, comme il a été indiqué deux sous-systèmes principaux :
Le premier sous-système, 11 , comprend une centrale inertielle et son électronique (non explicitement représentés). Il est constitué avantageusement d'une coque rigide 110 dans laquelle sont logées la centrale inertielle et son électronique. Cette coque est destinée à être assujettie à la caméra vidéo 10 par tout organe approprié de fixation, définitif ou déverrouillable (liens, vis, etc.), symbolisé par la référence 1 11. Le deuxième sous-système est un organe de mémorisation 12, pouvant être porté avantageusement en besace par un opérateur (non représenté sur la figure 1A). cet organe de mémorisation 12 est destiné à traiter les informations fournies par le premier sous-système 11. de façon préférentielle, il alimente en énergie le système 1 en entier. De façon plus précise, le deuxième sous-système 12 comprend :
- une batterie d'alimentation électrique, ou tout organe équivalent (non représenté) ; et
- une console électronique légère reliée à la sortie de la centrale inertielle qui enregistre les données de position dans l'espace de la caméra vidéo 10 (via le bâti 11 qui lui est assujetti), à une fréquence typique d'environ 100 Hz.
Les données sont transmises au deuxième sous-système 12 via une liaison 112, filaire ou non (onde électromagnétique, etc.). Il est à noter que cette liaison 112 peut être bidirectionnelle, et dans le cas d'une liaison de type filaire, série ou parallèle. La figure 1 B illustre un exemple de système transmission en temps réel des coordonnées de position dans l'espace d'une caméra vidéo en mouvement selon un deuxième mode de réalisation, que l'on pourra qualifier de "complet". Ce système est désormais référencé l'.
La caméra vidéo et le premier sous-système peuvent être d'un type identique à ceux représentés sur la figure 1A. Cependant la caméra vidéo et le premier sous- système sont désormais référencés 10' et 11', car ils peuvent être complétés, l'un et/ou l'autre, dans certaines variantes de réalisation, par divers organes qui vont être décrits ci-après. Le premier sous-système 11' est, comme précédemment assujetti à la caméra vidéo 10' par tout moyen approprié, symbolisé par le lien de référence 111'.
Une différence fondamentale entre les premier et deuxième modes de réalisation consiste en ce que les données générées par le premier sous-système 11' sont transmises à un système de traitement de données à programme enregistré sous la référence générale 20. Ce dernier est disposé avantageusement dans un sac à dos,
200, ou tout organe similaire, porté par l'opérateur OP. La figure 1C illustre schématiquement une configuration possible du système de traitement de données 20, sous la forme par exemple d'un microordinateur 4 disposé dans le sac à dos 200 et communiquant avec le premier sous-système 1 l' par des liaisons 112' de type similaires sinon identiques à celles de la figure 1A. Le microordinateur 4 comprend un ensemble d'organes et de circuits regroupés arbitrairement dans un châssis 40. Les principaux organes et circuits de ce microordinateur 4 sont les suivants : une batterie d'alimentation en énergie électrique 400, par exemple de 12 volts
10 AH au lithium, et une alimentation à découpage associée 401 , de manière à éviter l'utilisation de transformateurs lourds : l'alimentation fournit un jeu de tensions et/ou courants de sorties d'amplitudes appropriés, destinés à sous la référence générale VS ; une unité de traitement de données numériques à programme enregistré 402 proprement dite, comprenant divers organes classiques nécessaires à son bon fonctionnement (non représentés) tels que, microprocesseur, mémoire centrale, etc., et notamment une carte vidéo, avantageusement de type 3D, une mémoire de masse 403, par exemple constitués de deux disques magnétiques de 80 GO chacun ; une unité de visualisation 404 commandée par la carte vidéo 3D précitée ; - des dispositifs d'entrée de données de type clavier 405 et de pointage 406 : souris, boule etc., pour saisir des commentaires, données, instructions de synchronisation ou ordres de traitement ; des circuits électroniques 407 de traitement des signaux générés par le premier sous-système 11' (figure 1 B), interfaces avec l'unité de traitement de données numériques 402 par une carte de circuits électroniques appropriés (port série par exemple) ; et
- des ports d'entrée-sortie pour la gestion de différents protocoles et des circuits électroniques d'interfaces vers des dispositifs extérieurs : "IEEE 1394" ou "firewire", "USB", "VGA", vidéo, son, "bluetooth", "ethernet", "wireless", "802.11", etc., regroupés sous une référence unique 408.
On prévoit également une connectique appropriée 409 permettant de réaliser une connexion par câble 112' (figure 1 B) avec le premier sous-système 11'. A priori, le câble 112' peut véhiculer des signaux de plusieurs catégories: électroniques par des liaisons filaires 1120' (bus série par exemple ou autre), des signaux d'alimentation électrique 1121' et des signaux optiques par des liaisons à fibres optiques 1122', par exemple en provenance de gyromètres à fibre optique contenus dans le premier sous- système 11 '. Une connectique semblable (non représentée) est prévue dans le sous- système 11 '. On peut naturellement prévoir aussi d'autres types de liaisons : liaisons radio (par exemple selon le protocole "bluethooth" précité) et/ou optiques directes (signaux modulant une porteuse infrarouge par exemple), entre le sous-système 11' et des éléments du microordinateur 4.
En lieu et place des dispositifs d'entrée de données 405 et/ou 406, ou en complément de ceux-ci, on peut prévoir un "Assistant Électronique de Poche" ("ADP") externe (figure 1 B), connu sous l'abréviation anglo-saxonne de "PDA" (pour "Personal Digital Assistant"). Ce "PDA" est relié au microordinateur 4 par un câble 210 transitant, par exemple, par la connectique 409.
De façon préférentielle, les circuits 421 alimentent par les liaisons 1121', via la connectique 409, l'ensemble du système l', c'est-à-dire le premier sous-système 11', et éventuellement la caméra vidéo 10'. Pour améliorer les mesures effectuées et/ou obtenir une meilleure facilité de traitement on peut compléter et/ou modifier les premier et deuxième sous-systèmes, 11 ' et 2, respectivement. De façon à améliorer la détermination de la localisation de la caméra vidéo 10', on peut faire appel aux organes suivants, disposés dans la caméra vidéo 10', le premier sous-système 11' et/ou le deuxième sous-système 2 :
- mettre en œuvre un gyromètre constitué à base de trois bobines orthogonales de fibre optique monomode, par exemple de diamètre 80 mm comportant chacune
1000 mètres de fibre optique ;
- mettre en œuvre en complément un magnétomètre tri flux rotatif pour préciser les paramètres de localisation ;
- mettre en œuvre deux inclinomètres orthogonaux par rapport au le plan principal de l'appareil, c'est-à-dire de la caméra vidéo 10' ;
- mettre en œuvre un dispositif de localisation satellitaire 22, de type connu sous l'abréviation anglo-saxonne "GPS" ("pour "Global Positionning System" ou "Système de Positionnement Mondial") ou, dans un futur proche du type duit "GALILLEO" qui permettra une localisation plus précise) pour de données caractérisant des variations de localisation et corriger les composantes inertielles (le dispositif 22 communique avec des circuits de traitement appropriés, non représenté sur la figure 1C, contenus dans le châssis 40 du microordinateur 4 ;
- mettre en œuvre un dispositif de localisation électronique (par champ électromagnétique ou électrostatique) pour procurer des variations de localisation et corriger les composants inertiels,
- mettre en œuvre un magnétomètre, à un ou plusieurs flux, statique ou dynamique (par exemple rotatif pour éliminer des composantes parasites) pour procurer des variations de localisation essentiellement par rapport au champ magnétique terrestre et corriger les composantes inertielles ; - mettre en œuvre un odomètre pour procurer des variations de localisation et corriger les composantes inertielles ;
- mettre en œuvre un système électronique donnant à l'opérateur et au système une estimation de la dérive des dispositifs de localisations en temps réel ;
- mettre en œuvre un trièdre de trois émetteurs à ultrasons pour générer des informations sur la localisation de la caméra vidéo 10' ; et/ou
- mettre en œuvre un capteur de température pour améliorer les précisions des données de la centrale inertielle.
Pour obtenir une bonne synchronisation des données entre les séquences d'images vidéo prises par la caméra vidéo 10', on peut mettre en œuvre un compteur de temps de précision à quartz pour permettre une bonne synchronisation des données.
On peut également utiliser une petite caméra (auxiliaire) embarquée 100' rendue solidaire de la caméra vidéo 10'. Le flux d'images obtenu par celle-ci, même de faible qualité, synchronisé avec les mesures de localisation de la caméra vidéo 10', permet de synchroniser facilement le flux d'images de meilleure qualité de la caméra vidéo principale 10' avec les mesures de localisation de celle-ci.
On peut également compléter le deuxième sous-système 2 par un microphone 23 captant des commentaires de l'opérateur OP et/ou des tops sonores de synchronisation, ce pour faciliter et sécuriser le montage des différentes séquences d'images vidéo prises.
On peut enfin mettre en œuvre une borne d'initialisation 3, comme illustré schématiquement par la figure 1 D. La caméra vidéo 10' est placée originellement sur un support 30 qui sert de point d'origine pour les capteurs de mouvement et de localisation de la caméra vidéo 10' placés dans le premier sous-système 11'. II est tout à fait possible de mettre en œuvre une caméra vidéo de conception plus élaborée que celle suggérée jusqu'à présent, notamment en ce qui concerne des organes dits "d'Interface homme machine": la caméra vidéo 10' peut notamment être pourvue : - de boutons poussoir ;
- de deux mollettes (permettant de régler la vitesse d'acquisition d'images et l'acquisition de points remarquables) ; et/ou
- d'un écran de visualisation, avantageusement de type "LCD" (pour "Liquid Crystal Display" ou "Écran à Cristaux liquides", par exemple de résolution 400x300 pixels).
On peut également munir l'opérateur OP de lunettes virtuelles qui peuvent remplacer l'écran de la caméra vidéo 10'.
Dans les deux modes de réalisation qui viennent d'être décrits (figure 1A, d'une part, et figures 1 B à 1 D, d'autre part), le premier sous-système, 1 1 ou 11' respectivement, est constitué d'un module comprenant au moins des dispositifs à base de capteurs de position et de vitesse instantanée à caractère inertiels (gyrometres et accéléromètres).
Le premier sous-système, 11 ou 11', est assujetti à une caméra vidéo, 10 ou 10'. Le système selon l'invention permet notamment de réaliser ce qui a été appelé précédemment du "motion control". L'invention couvre, comme il va l'être montré deux grandes séries d'application : la caractérisation des images d'un flux vidéo quand à la position de leur plan dans l'espace et la visualisation en temps réel d'un aperçu du cadrage d'une caméra vidéo dans un décor virtuel. Ces opérations supposent que l'on puisse déterminer à chaque instant un certain nombre de paramètres liés à la prise de vues, notamment les coordonnées de la caméra vidéo, 10 ou 10', par rapport à un référentiel, et la focale utilisée.
La figure 2 illustre schématiquement le mode opératoire permettant l'acquisition des coordonnées en trois dimensions, xn, yπ,et zn, du plan Pû'une image /, par rapport à un trièdre orthonormé de référence, XYZ, lié à une scène SC.
On se reporte de nouveau au deuxième mode de réalisation représenté sur les figures 1 B à 1 D, étant entendu que ce qui va être explicité s'applique également au premier mode de réalisation (figure 1A). On suppose que l'axe Δ, de la caméra vidéolO' coupe le plan P de l'image / en son centre C. La caméra vidéo 10' suit une trajectoire quelconque /, la faisant passer par exemple d'un point p-i de coordonnées initiales AÏ , /I et | à un point pn de coordonnées finales x„, yn et z„, en passant par un point intermédiaire p, de coordonnées instantanées x„ y, et z,. les vitesse de déplacement et l'accélération instantanée de la caméra vidéo 10' peuvent être quelconques et variables le long du trajet /. En chaque point, on peut définir, outre les cordonnées instantanées, xh y, et zh par rapport aux axes du trièdre de référence XYZ, trois séries de valeurs instantanées d'inclinaison, caractérisées par des angles, dits d'élévation, α„ d'azimut, β„ et de roulement y, de l'axe Δ, par rapport à ce même trièdre de référence XYZ.
Le premier sous-système 11' étant assujetti a la caméra vidéo 10', il suit les mouvements de celle-ci, à la même vitesse de déplacement et suit également son inclinaison (caractérisée par des angles d'élévation, α„ d'azimut, β„ et de roulement y . Les dispositifs de mesure des dispositifs à base de capteurs de position et de vitesse instantanée à caractère inertiel présents dans le deuxième sous-système 11' peuvent donc générer tout au long du déplacement précité des données de positon (coordonnées), de vitesse instantanée et d'inclinaison. La transmission de ces données est effectuée via la liaison 112', typiquement à une fréquence de 100 Hz. Ces données sont enregistrées dans le système de traitement de données 2 pour un traitement différé et/ou traités en temps réel ou quasi-réel, suivi préférentiellement d'un enregistrement des résultats du traitement pour une utilisation ultérieure. D'autres paramètres peuvent également être acquis, par exemple la focale utilisée pour la prise de vues.
Comme il a déjà été indiqué, une initialisation des appareils de mesure présent dans le premier sous-système 11' peut être réalisé en plaçant la caméra vidéo 10' sur le support 30 de la borne d'initialisation, en un endroit prédéterminé de la scène SC, par exemple de coordonnées xr, y, et |. Dans ce cas, on peut obtenir des mesures absolues. Dans un le contraire, c'est-à-dire sans initialisation, les données générées représenteront des mesures relatives. On va maintenant décrire les principales étapes du procédé selon un premier mode de réalisation de l'invention, par référence au bloc-diagramme 5 de la figure 3. On se référera également, en tant que de besoin, au deuxième mode de réalisation et aux références utilisées sur les figures 1B à 2.
Étape 1 (bloc 51) : Il s'agit d'une étape préliminaire et de configuration du système.
On réalise tout d'abord l'assemblage du premier sous-système 11' (module position) avec la caméra vidéo 10'. Le premier sous-système 11' est solidarisé à la caméra vidéo 10' par une vis prévue à cet effet ou par tout autre organe 111'. De manière préférentielle, le premier sous-système 11' est fixé via le pas de vis prévu généralement pour le pied de la caméra 10'.
Un descriptif de configuration est intégré dans le deuxième sous-système 2 sous la forme d'un fichier de configuration système de type texte. Dans ce fichier, sont fournies les informations relatives au matériel et aux logiciels utilisés. Certains paramètres peuvent être reconfigurés à cette étape. Ultérieurement, au fur et à mesure des acquisitions de données, des modèles de prédictions du comportement des capteurs inertiels pourront être affinés par des procédés de traitement algorithmique de données.
Étape 2 (bloc 52) : Initialisation du système.
Avant de commencer à filmer, il est souhaitable d'initialiser la centrale inertielle présente dans le premier sous-système 11'. L'endroit où se trouve la caméra vidéo 10' lors de cette initialisation devient alors le point l'origine à partir duquel sont calculés les déplacements de celle-ci. Les mesures de positions sont des mesures relatives à ce point d'origine.
En tant que de besoin, si la mesure de la position de la caméra vidéo 10' en coordonnées absolues s'avère nécessaire (pour une meilleure facilité d'incrustation d'image de synthèse ou de superpositions de plans successifs, par exemple), il suffit de connaître les coordonnées du point d'initialisation. Pour connaître la position de ce point dans le référentiel terrestre il est facile et relativement rapide d'utiliser un "GPS" différentiel 22, ou toutes techniques appropriées, notamment celles connues des géomètres.
Étape 3 (bloc 53) : traitement des données inertielles
Cette étape permet de traiter en temps réel les données d'acquisition de localisation et d'établir la cinématique de la caméra vidéo 10' (y compris son inclinaison). La position de la caméra vidéo 10' est déterminée par un système de localisation de type centrale inertielle essentiellement basé sur l'usage de gyrometres et d'accéléromètres disposés dans le premier sous-système 11'.
Ces principes sont connus en soi et explicités notamment dans :
- l'article de Britting K.R., intitulé : "Inertial Navigation System Analysis", Wiley- Interscience New York (1971) ; et
- l'article de Broxmeyer O, intitulé : "Inertial Navigation Systems", McGraw Hill (1964).
Au bout d'un laps de temps déterminé, il est le plus souvent nécessaire d'effectuer un recalage sur une borne 3 (figure 1 D) qui sert de point de référence. L'écart des mesures par rapport au point de référence est relevé. Cet écart est réparti sur les différentes mesures de localisation antérieures afin de pratiquer une compensation de l'erreur de mesure. On peut également utiliser d'autres capteurs de localisation et de distance, tels que ceux qui ont été énumérés précédemment : GPS, magnétomètres, inclinomètres, entrées odomètres. Ces capteurs permettent d'obtenir des redondances et d'améliorer les mesures. L'estimation de la dérive des capteurs de position de l'appareil peut aussi être transmise à l'utilisateur.
Ces mesures sont également corrigées par traitement d'image.
En soi, ces traitements sont également bien connus et explicités notamment dans : - l'article de El-Sheimy N. Shwarz, K.P intitulé : "Integrating Differential GPS with an inertial navigation System (INS) and CCD Caméras for a Mobile GIS Data Collection System. Proc", "The canadian Conférence on GIS", Ottawa, Canada, 6-10 juin 1994, pp.241-248 ;
- l'article de Abdulah Q., intitulé : "Evaluation of GPS-lnertial Navigation System for Airborne Photogrammetry", "ASPRS/MAPPS Softcopy Conférence",
Arlington, Virginia, 27-30 juillet 1997 ; et
- l'article de Skaloud J., Cramer M., Schwarz K. P., intitulé : "Exterior Orientation By Direct Measurement of Caméra Position and Attitude", "XVII. ISPRS Congress", Vienna, Austria, 9-19 juillet 1996, Int. Archives of Photogrammetry and Remote Sensing, vol 31 , part b3, pp125-130, 1996 ; et
L'inclinaison de la caméra vidéo 10' (angles d'élévation, α„ d'azimut, β„ et de roulement γ,), et par conséquent l'inclinaison dans l'espace du plan P e l'image /, est donnée principalement par un trièdre de trois gyrometres placés selon trois axes distincts non coplanaires disposés dans le premier sous-système 11'. L'électronique associée aux trois capteurs gyrométriques fournit des incréments de rotations Δθ Δθy et Δθ , suivants les trois axes. A partir de ces incréments, les positions angulaires 6 , θy, θ sont calculées par un changement de repère au moyen de l'arithmétique dite des quatemions.
La position instantanée (coordonnées x„ y, et z„) du capteur d'images de la caméra vidéo 10' et par conséquent la position du centre C e l'image / est fournie principalement par le trièdre des trois accéléromètres.
Les distances parcourues selon les trois axes (x„ y, et z„) sont calculées par intégrations successives à l'aide de calculs de cinématique en utilisant les données d'accélération émises par le trièdre des trois accéléromètres. Les accéléromètres et les gyrometres coopèrent pour calculer des données de localisation de la caméra vidéo 10', typiquement à la fréquence de 100 Hertz précitée.
La cinématique de caméra vidéo 10' est calculée en continue au moyen d'algorithmes d'intégration numérique connus (par exemple du type "prédicteur- correcteur de Range Kutta" et "prédicteur-correcteur d'Adam") pour interpoler des points intermédiaires.
Des facteurs liés à la terre dans les mesures de position doivent également être intégrés dans les calculs.
Il est en effet nécessaire de prendre en compte deux facteurs dans les calculs de la cinématique dans un repère Euclidien. Ces deux facteurs sont, d'une part, la rotondité de la terre et, d'autre part, la vitesse de rotation de celle-ci.
Afin de compenser les erreurs dues à la rotondité de la terre, on utilise une correction par les gyrometres pour tenir compte de la courbure terrestre lors des translations. Afin de compenser la dérive due à l'accélération de la terre : Il est nécessaire d'intégrer la latitude et la vitesse pour que l'appareil décrémente automatiquement les valeurs ajoutées par l'accélération de Coriolis. On intègre la latitude et la vitesse automatiquement à l'aide d'un "GPS". Il est également utile, sinon nécessaire, de tenir compte de corrections d'erreurs et de dérives liées au caractère inertiel de l'appareillage mis en oeuvre.
Il est connu que les valeurs issues de gyrometres dérivent, notamment en temps, en température et suivant le champ magnétique. Il est nécessaire d'effectuer un calibrage statique et dynamique des gyrometres
Il est connu que les valeurs issues des accéléromètres dérivent notamment selon une oscillation d'environ 84 minutes. Cette dérive est connue sous le nom de loi de "Schuler". Les accéléromètres dérivent également à cause de l'accélération dite de "Coriolis" (effet de "Foucault") qui dépend de la latitude et de la vitesse du mobile. Dans un mode de réalisation préférentiel, pour corriger les erreurs et de dérives liées au caractère inertiel, on met en œuvre une triple série de moyens de compensation :
- des premiers moyens permettant de compenser les dérives spécifiques des gyrometres ; - des seconds moyens permettant de compenser les dérives spécifiques des accéléromètres ; et
- des troisièmes moyens permettant de compenser les dérives de la centrale inertielle.
Ces trois types de correction vont être explicités ci-dessous. Des gyrometres de très haute précision collaborant avec des capteurs gravitationnels sont à même de déterminer l'axe de rotation de la terre et donc de déterminer la direction du Nord géographique et la direction du centre de gravité terrestre. Par ce biais on recale automatiquement les capteurs de type inertiel.
Afin de compenser la dérive de "Schuler", les accéléromètres sont mesurés pendant une période supérieure à 84 minutes. Ce temps d'initialisation permet de connaître les caractéristiques de la période de "Schuler" pour chaque accéléromètre. À partir de ces caractéristiques, à l'aide d'une synchronisation par une horloge électronique, on décrémente la valeur de la période à tout instant des résultats donnés par les accéléromètres. Pour compenser les erreurs dues aux lois de "Schuler" et de "Coriolis" on utilise une modélisation prédictive basée sur des filtres d'un type connu dit de Kalman.
Au bout d'un laps de temps déterminé, on effectue un recalage sur une borne
3 (figure 1 D) qui sert de point de référence. L'écart des mesures par rapport au point de référence est relevé. Cet écart est réparti sur les différentes mesures antérieures afin de pratiquer une compensation de l'erreur de mesure.
Des mesures sur les gyrometres et les accéléromètres sont effectuées dans différentes conditions. Ces mesures sont entrées dans un logiciel spécifique dont la fonction est de odéliser le comportement des gyrometres. Ce logiciel est implémenté dans le deuxième sous-système 2. Les erreurs sont compensées en temps réel en tenant compte du modèle.
Les acquisitions menées avec des capteurs annexes (mesures du flux magnétique terrestre, mesure "GPS", mesures fournies par des inclinomètres) permettent de corréler en temps réel ou différé les informations de trajectoire / (figure 2). Dans un mode de réalisation préférée, le système l' est capable de s'interfacer avec des systèmes de positionnement annexes :
- Adjonction des informations provenant d'odomètres, si la caméra vidéo 10' est utilisé sur un véhicule qui en est équipé.
- Adjonction d'un laser rotatif. On installe alors trois bornes semblables à la borne 3 (figure 1 D) autour de la zone à modéliser. Le laser les identifie plusieurs fois par seconde. Il détermine ainsi sa position. La mesure est précise sur des zones de plusieurs dizaines de mètres. Cela permet de corriger les mesures de la centrale inertielle. - Adjonction d'un système de localisation par trièdre générant un champ électromagnétique ou électrostatique.
Il peut être également nécessaire de gérer correctement des redondances d'erreurs et/ou des redondances d'informations Toutes les méthodes visant à apporter des informations supplémentaires pour aider à la localisation des images peuvent se combiner. En effet, les redondances d'informations sont fondamentales pour multiplier les informations et permettre ainsi les corrélations.
Pour la gestion des redondances, on peut faire appel à des algorithmes connus du type "descente du gradient" ou de "programmation quadratique" (tels que ceux proposés par Karmakar, More et Toraldo, ou les modèles de Markhov, etc.) qui donnent une valeur quasi-certaine des paramètres recherchés malgré des erreurs de mesures. Ces algorithmes permettent en outre d'éliminer des valeurs aberrantes et de reconstituer des valeurs manquantes. Ces méthodes sont bien connues en soi et explicitées notamment dans le livre : "Numerical Recipes in C++: The Art of Scientific Computing", Saul A. Teukolsky, Brian P. Flannert et William T. Vetterling (15 janvier 2002).
En fin, un autre problème à résoudre est celui du tremblement de la caméra vidéo 10'. Ce problème accroît la difficulté de mesure de localisation lorsque la caméra vidéo 10' est tenue en main par l'opérateur OP (figure 1 B). En effet, ce mode opératoire engendre du bruit dans les mesures. Des études ont démontré que ce tremblement portait en générale sur une fréquence de 10 Hz environ.
Il est donc utile de prévoir un dispositif d'amortissement de variations brusques et fréquentes de la trajectoire /(figure 2) ainsi que des chocs
Il est connu que les accéléromètres sont précis surtout dans une gamme de mesures déterminée (accélération et fréquence). Il est souhaitable dès lors d'amortir les variations de trajectoires / qui dépassent cette gamme de prédilection. Ce mode opératoire permet d'optimiser la qualité des mesures fournies par les accéléromètres. Un autre avantage est de lisser la courbe de la trajectoire suivie par la caméra vidéo 10' et d'éliminer ainsi du bruit qui parasite les mesures.
Un moyen d'obtenir cet effet est de fixer la caméra vidéo 10' et le boîtier du premier sous-système 11', contenant les gyrometres et les accéléromètres, à l'aide d'amortisseurs (non représentés sur la figure 1B). Étape 4 (bloc 54) : acquisition des données.
Cette étape consiste à acquérir les informations nécessaires. Toutes ces informations sont horodatées.
Ces informations proviennent principalement de :
- l'acquisition d'un flux de données généré par la centrale inertielle ; et - l'acquisition dans un registre temporaire des incréments de rotations Δθ , Δθy et
Δθz, suivants les trois axes des trois gyrometres et les incréments de translation Axh Ay, et Az, suivants les trois axes des trois accéléromètres à une fréquence de 100 Hertz, comme il a été indiqué précédemment ; et
- l'acquisition de la focale utilisée. Optionnellement, d'autres informations peuvent être acquises et parmi celles-ci :
- acquisition de données à une fréquence de 10 Hz en provenance de deux inclinomètres ;
- acquisition des données de position absolue d'un GPS à une fréquence de 5 Hertz ι - acquisition de données de télémétrie laser une fréquence de 1000 Hertz ;
- acquisition des données de température internes à une fréquence de 1 Hertz ;
- acquisition asynchrone de séquences sonores ; - acquisition des données magnétométriques horodatées générées par des magnétomètres tri-flux, en synchronisation avec les images prises par la caméra vidéo 10' ;
- acquisition de données générées par des émetteurs d'ultrasons pour des mesures de position.;
- acquisition de données représentant des paramètres optiques : valeur de la focale, vitesse de scrutation, ouverture du diaphragme et distance de mise au point de la caméra vidéo 10', ces acquisitions étant synchronisées avec la prise d'images ; et - acquisition des commandes entrées par l'opérateur
Étape 5 (bloc 55) : amélioration des mesures de localisation de la prise de vues par traitement d'image.
La localisation de la position de la caméra vidéo 10' par traitement d'images sert essentiellement à corroborer et à compenser des dérives de mesures des gyrometres et des accéléromètres.
On gère des données redondantes par les algorithmes précités de "descente du gradient" ou de "programmation quadratique" qui donnent la valeur quasi-certaine des paramètres recherchés malgré les erreurs de mesures. Ces algorithmes permettent en outre d'éliminer les valeurs aberrantes et de reconstituer les valeurs manquantes comme il a été indiqué précédemment.
Dan un mode de réalisation préféré, on utilise également des points remarquables et on met en œuvre la technique dite de "tracking" ou "poursuite".
En effet, la précision de la localisation des prises de vue peut être affinée par la sélection de "points repères" sur les images. On appelle points repères, des points remarquables d'un sujet à modéliser que l'on identifie sur un maximum de prises de vue. L'analyse de ces points remarquables permet de donner des indications sur la position des prises de vues.
On utilise un procédé dit de "tracking" pour retrouver ces points remarquables dans une succession d'images, car les images sont prises à partir d'une vidéo ou d'une séquence où les prises de vues se succèdent. Le "tracking" est une méthode logicielle de traitement d'image, bien connue en soi, qui permet de suivre automatiquement un ou plusieurs points images de mΛme catégorie d'un sujet lors d'une séquence où les prises de vues se succèdent. Il est connu que ce procédé fait actuellement l'objet d'études et de réalisations industrielles, néanmoins sa fiabilité est souvent mise en cause dans les cas difficiles, notamment quand les points remarquables ne sont pas suffisamment différents des points voisins. Ce procédé est rendu nettement plus facile et plus fiable, lorsqu'on met en œuvre les dispositions spécifiques au procédé de l'invention, par le fait que l'on connaît déjà avec une certaine précision les caractéristiques de l'image (coordonnées du plan image...). Par les moyens physiques de localisations déjà définis. Le logiciel n'effectue sa "recherche" que dans une région de l'image bien définie.
Pour effectuer ces opérations, de nombreux logiciels sont connus. Cette méthode de "tracking" permet l'aide à la localisation des images. Elle permet le traitement automatique d'un grand nombre de points de référence. On comprend aisément que plus on dispose de points de repères plus il devient possible d'affiner les mesures de positions de la localisation des images.
De façon pratique, afin de permettre une analyse affinée de la trajectoire, on adjoint à la caméra vidéo 10' et/ou au premier sous-système 11' qui luit est assujetti, un télémètre laser (non représenté) pour mesurer la distance la/le séparant d'un point particulier d'un objet à modéliser. Ce point dont on connaît désormais la distance est pris automatiquement comme point remarquable. Il est alors suivi par "tracking". L'analyse des courbes dans le temps des positions des points de référence permet de connaître précisément la cinématique des points de référence par rapport à la caméra vidéo 10'. Si la modélisation porte sur un espace immobile. Il devient très aisé de connaître la cinématique de la caméra vidéo 10 elle-même. Il est possible par ce biais de corriger les mesures fournies par les gyrometres et les accéléromètres du premier sous-système 11'. On peut également, et de nouveau, utiliser des cibles optiques comme points de référence.
Une solution robuste pour obtenir des points de références sur les images est d'installer des cibles optiques autour du sujet à modéliser. Ces cibles sont équipées de diodes émettrices générant des signaux. Leurs positions sur les images sont automatiquement reconnues.
Étape 6 (bloc 56) : Synchronisation des données.
La centrale inertielle disposée dans le premier sous-système 11' transmet des données à la fréquence de quelques centaines d'Hertz. La difficulté est de synchroniser les données de position de la caméra vidéo 10' transmises par le système avec les images filmées, le but étant que les images soient caractérisés par la position de la caméra vidéo 10' au moment où elles ont été filmées.
Il est à noter que certaines caméras vidéo peuvent transmettre de manière numérique et en temps réel des données concernant la synchronisation du son, la position de la focale (ce qui constitue un paramètre très important, sinon essentiel), le type de pellicule, les mesures de lumières, etc., données qu'il est aussi utile de synchroniser par rapport aux données de positions.
Plusieurs solutions de synchronisation peuvent être adoptées dans le cadre de l'invention et parmi celles-ci les trois ci-après :
Solution 1 : La synchronisation des données images/positions se fait selon la méthode traditionnelle de synchronisation des images/son utilisée dans l'industrie cinématographique. On filme un "clap". On "cale" ensuite l'image du film où le clap est fermé avec le moment où dans la bande son on entend le bruit du clap.
Le deuxième sous-système 2 est muni d'un microphone 23 (figure 1 B). On synchronise le flux de données de position avec le son (enregistrement en simultané). II ne reste plus qu'à retrouver dans la bande sonore le son émit par le clap pour qu'il y ait synchronisation images/flux de données position.
Solution 2 : La caméra vidéo 10' est munie de circuits générant un signal de sortie qui indique le moment où l'opérateur OP commence à enregistrer une nouvelle séquence d'images. Ce signal est capté par l'unité de traitement 4 du deuxième sous- système 2 et l'enregistrement du flux de données de position s'exécute immédiatement.
Solution 3 : On utilise une petite caméra vidéo supplémentaire 100', légère et de faible définition, assujettie à la caméra vidéo principale 10' ou au premier sous- système 1 l' : dans ce cas, l'enregistrement images/ flux des données position est simultané. La direction de l'objectif de la caméra vidéo 100' est le même que celui de la caméra vidéo principale 10'. De ce fait, la petite caméra vidéo100' filme les mêmes scènes avec les mêmes positions. Il suffit de superposer les deux flux images pour obtenir la synchronisation des images de la caméra vidéo principale 10' avec le flux de données Étape 7 (bloc 7) : Stockage des données
Les images prises par la caméra vidéo 10' sont caractérisées par les six coordonnées de position mais aussi par les principaux paramètres suivants :
- configuration physique du système l' ;
- horodatage : heure précise de la prise de vues des images, - cinématique : accélération, vitesse et trajectoire ;
- focale de la caméra vidéo 10' : type de focale utilisée ou position du zoom le cas échéant ;
- position du réglage de la distance de mise au point ; - vitesse de la prise de vues et donc temps d'exposition de chaque image ;
- ouverture de diaphragme lors de la prise de vues ;
- luminosité ambiante lors de la prise de vues régnant dans en une ou plusieurs zones ; - température ambiante ;
- estimation de l'erreur des mesures des accéléromètres et des accéléromètres ;
- fichiers sonores ; et
- fichiers vidéo
Ces données sont intégrées dans une base de données enregistrées dans la mémoire de masse (disque dur 403) du dispositif de traitement de données 4 d u deuxième sous-système 2.
Étape 8 (bloc 58) : traitement ultérieur des images caractérisées.
L'opérateur OP peut a loisir exploiter la base de donnée des images caractérisés pour modifier celles-ci a posteriori. Comme il a été indiqué le procédé de l'invention est susceptible d'applications variées et notamment les suivantes :
Application 1 : Dans l'industrie des effets spéciaux de film, le besoin se fait souvent sentir d'incruster des images de synthèse dans des images filmées avec une caméra en mouvement. En connaissant avec précision les coordonnées de chaque plan d'image et la focale employée, il devient aisé de faire correspondre les plans d'images de synthèse aux plans d'images du film, ce que permet précisément le procédé selon l'invention. Les coordonnées du plan P d'une image / (figure 2) sont, comme il a été précédemment indiqué :
- Inclinaison du plan P dans l'espace : angles d'élévation, α„ d'azimut, β„ et de roulement γ,) ; et
- position du centre Cde l'image /de coordonnées : x„ y, et z,.
Application 2 : Les films tournés sur des caméras portés à l'épaule peuvent subir de brusques variations de trajectoire ainsi que des chocs ou des vibrations. Connaître les positions d'image peut servir à lisser la séquence d'image, notamment grâce a des logiciels connus d'interpolation d'image. Là encore le procédé de l'invention permet d'atteindre ce but.
Application 3 : Pour donner des effets de ralenti sans pour autant avoir des effets saccadés, les effets spéciaux utilisent des logiciels pour créer des images "virtuelles" entre deux images réellement filmées. Connaître la trajectoire du plan focal, comme le permet le procédé selon l'invention, permet une interpolation d'images rapide et fiable.
Application 4 : Un trucage traditionnel du cinéma consiste à effectuer une superposition d'images. Un exemple classique est de filmer une personne, puis de la filmer de nouveau dans un autre endroit de la scène, et enfin de superposer les deux images. La personne filmée semble alors s'être dédoublée. Cet effet, relativement facile à effectuer lorsque les plans sont fixes, est rendu beaucoup plus difficile lorsque les plans sont en mouvement. Il est nécessaire alors de synchroniser les deux séquences d'images dont les plans images sont situées aux mêmes endroits, ce que permet là encore le procédé selon l'invention. Dans un deuxième mode de réalisation, le procédé selon l'invention permet également une navigation dans un univers tridimensionnelle en temps réel.
Les étapes de ce deuxième mode du procédé de l'invention sont similaires, sinon identiques, à celles du premier mode qui vient d'être décrit, du moins jusque à la quatrième étape comprise. On passe ensuite à ce qui est référencé arbitrairement "Étape 9" sur le bloc-diagramme de la figure 3, puisque cette étape se déroule en réalité après la quatrième étape, et qui va être explicitée ci-après.
Cependant l'important ici est d'obtenir des données de positions en temps réel. Les données de positions sont fournies à la fréquence de 100 Hz. Étape 9 (bloc 59) : Obtention d'un pointeur dans un espace tridimensionnel pour une navigation dans un univers virtuel.
Les données de positions de la caméra vidéo 10', les images prises, ainsi qu'éventuellement la focale utilisée sont communiquées en temps réel au deuxième sous-système2, plus précisément au dispositif de traitement 4, par une liaison approprié 112' : câble filaire , liaison optique ou onde.
Le dispositif de traitement de données à programme en registre est muni d'un d'un logiciel de restitution en trois dimensions, fonctionnant en temps réel. Il peut s'agir par exemple, du logiciel du commerce "Director" distribué par la société MACROMEDIA ou "3DS max" distribué par la société "DISCRET" (toutes ces appellations étant des marques déposées).
A titre non exhaustif, ce deuxième mode de réalisation du procédé peut trouver application dans le domaine suivant :
Les décors de film sont de plus en plus, en tout ou partie, composés d'images de synthèse. Or, il devient difficile, dans ces conditions, de choisir exactement le cadrage de la caméra vidéo 10', surtout lorsqu'elle est en mouvement. Il devient nécessaire de visualiser en temps réel un aperçu du cadrage de la caméra vidéo 10' dans un décor virtuel. On suppose que ce décor tridimensionnel est déjà modélisé. Lorsque les positions de la caméra vidéo 10' et sa focale sont connues en temps réel, l'image virtuelle du cadrage peut alors être restituée par un logiciel de rendu tridimensionnel en temps réel.
A la lecture de ce qui précède, on constate aisément que l'invention atteint bien les buts qu'elle s'est fixés.
Il doit être clair cependant que l'invention n'est pas limitée aux seuls exemples de réalisations explicitement décrits, notamment en relation avec les figures 1A à 3.
De même, le choix des composants ou dispositifs précis procède d'un choix technologique, à la portée de l'Homme de Métier, et ceux-ci n'ont été précisés que pour mieux décrire les caractéristiques techniques du dispositif selon l'invention. L'invention n'est pas limitée non plus aux seules applications explicitement décrites.

Claims

REVENDICATIONS
1 . Procédé de transmission des coordonnées de position d'un appareil de prise de vues d'une séquence d'images vidéo se déplaçant dans l'espace le long d'une trajectoire déterminée par rapport à un référentiel déterminé, caractérisé en ce que en ce qu'il comprend au moins les étapes suivantes :
- une étape préliminaire consistant en l'assujettissement dudit appareil de prise de vues (10, 10') à un premier sous-système (11 , 11') comprenant une centrale inertielle délivrant des signaux de données représentatives des coordonnées et de l'inclinaison instantané dudit appareil de prise de vues par rapport au dit référentiel ;
- une première étape d'acquisition en temps réel desdits signaux de données lors d'un déplacement dudit appareil de prise de vues (10, 10') le long de ladite trajectoire (t) et de leur transmission à un deuxième sous-système (12, 2) comprenant des moyens de traitement (4) de ces données à programme enregistré ; et
- une deuxième étape de traitement desdites données en temps réel et/ou différé, de manière à déterminer lesdites coordonnées de position.
2. Procédé selon la revendication 1 , caractérisé en ce que ledit référentiel est un trièdre orthonormé {XYZ), en ce que lesdites données de coordonnées représentent la position dudit appareil de prise de vues (10, 10') le long de ladite trajectoire (t) par rapport aux axes dudit trièdre de référence {XYZ) et les données d'inclinaison représentent des angles d'azimut, d'élévation et de roulement d'un axe de prise de vues dudit appareil de prise de vues (10, 10'), ledit axe passant par le centre (C) du plan (P) desdites images {/).
3. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une première étape préliminaire supplémentaire consistant en la configuration (51) dudit deuxième sous-système (12, 2) conformément à un descriptif des caractéristiques des composants constituant lesdits premier (11 , 11') et deuxième (12, 2) sous-système, que des caractéristiques dudit appareil de prise de vues (10, 10'), et de logiciels implémentés dans ledit deuxième sous-système
(12, 2) et une deuxième étape préliminaire supplémentaire consistant en l'initialisation de ladite centrale inertielle (52) par rapport à un point d'origine formant référence.
4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend une première étape supplémentaire de synchronisation (56) desdits signaux de données représentatives des coordonnées et de l'inclinaison instantané dudit appareil de prise de vues (10, 10') par rapport au dit référentiel {XYZ), une deuxième étape supplémentaire d'application de corrections d'erreurs (53) présentées par lesdits signaux de données représentatives délivrés par ladite centrale inertielle, une troisième étape supplémentaire d'amélioration de la qualité desdites données acquises (55), en appliquant un procédé de traitement d'image dans ledit moyens de traitement de ces données à programme enregistré (4) et une quatrième étape supplémentaire de stockage desdites données acquises (57) dans des moyens de stockage de masse (403) compris dans ledit moyens de traitement de ces données à programme enregistré (4).
5. Application du procédé selon l'une quelconque des revendications précédentes pour la mise en correspondance de plans (P) d'images (/) prises par ledit appareil de prise de vues (10, 10') et de plans d'images d'autres provenances dont les coordonnées sont connues, par l'acquisition de données représentant la focale utilisée pour ledit appareil de prises de vue (10, 10') et l'acquisition en temps réel de signaux de données représentatives des coordonnées et de l'inclinaison instantané dudit appareil de prise de vues (10, 10') par rapport au dit référentiel {XYZ), pour déterminer les coordonnées correspondantes des plans (P) desdites images {/) de ladite séquence vidéo, lesdites coordonnées de plan (P) d'image {t) étant : l'inclinaison dudit plan (P) dans l'espace par rapport au dit référentiel {XYZ), représentée par des angles d'élévation, d'azimut et de roulement ; et - la position du centre { dudit plan (P) d'image (/)par rapport à ce dit référentiel {XYZ).
6. Application du procédé selon l'une quelconque des revendications précédentes pour la navigation dans un univers en trois dimensions (59) constitué par un décor virtuel tridimensionnel préexistant, ledit procédé comprenant des étapes supplémentaires d'acquisition et de transmission en temps réel au dit deuxième sous-système (12, 2) desdits signaux de données représentatives des coordonnées et de l'inclinaison instantanée dudit appareil de prise de vues (10, 10') par rapport au dit référentiel {XYZ), de la focale utilisée et des images prises par ledit appareil de prise de vues (10, 10'), et de traitement des signaux et images par un logiciel restitution en trois dimension, de manière visualiser en temps réel un aperçu du cadrage dudit appareil de prise de vues dans ledit décor virtuel tridimensionnel préexistant.
7. Système de transmission et de traitement de données représentant la position dans l'espace d'un appareil de prise de vues d'une séquence d'images vidéo se déplaçant dans l'espace le long d'une trajectoire déterminée par rapport à un référentiel déterminé pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce qu'il comprend un premier sous-système (11 , 11') assujetti au dit appareil de prise de vues (10, 10'), en ce que ledit premier sous-système (1 1 , 11') comprend une centrale inertielle délivrant lesdits délivrant des signaux de données représentatives des coordonnées et de l'inclinaison instantané dudit appareil de prise de vues par rapport au dit référentiel {XYZ), en ce que ledit système (1 , l') comprend en outre un deuxième sous-système (12, 2) muni de moyens de traitement de données à programme enregistré (4) et des moyens d'alimentation en énergie électrique (400-401) de tout ou partie dudit système (1 , l'), et en ce qu'il est prévu des moyens de liaison (112, 112') véhiculant lesdits signaux du premier (11 , 11') au deuxième sous-système (12, 2).
8. Système selon la revendication 7, caractérisé en ce que ledit appareil de prise de vues (10, 10') est une caméra vidéo.
9. Système selon l'une des revendications 7 ou 8, caractérisé en ce que ladite centrale inertielle comprend au moins un gyromètre et un accéléromètre à trois axes distincts non coplanaires.
10. Système selon l'une quelconque des revendications 7 à 9, caractérisé en ce qu'il comprend en outre, de manière à améliorer la détermination desdites coordonnées de position dudit appareil de prise de vues (10, 10'), la synchronisation entre lesdites données acquises et les images prises {/), et/ou opérer des corrections sur lesdites données acquises, au moins l'un des organes suivants, disposés dans l'appareil de prise de vues (10, 10'), le premier sous-système (11 , 11') ou le deuxième sous-système (12, 2) : - un magnétomètre tri flux rotatif ;
- deux inclinomètres orthogonaux entre eux ;
- un dispositif de localisation satellitaire (22) de type dit "GPS" ;
- un dispositif de localisation électronique par champ électromagnétique ou électrostatique ;
- un magnétomètre, à un ou plusieurs flux, statique ou dynamique ;
- un odomètre ;
- un capteur de température ;
- un compteur de temps de précision à quartz ; - une caméra vidéo auxiliaire assujettie au dit premier sous-système ; et/ou
- un microphone (23).
PCT/FR2004/000982 2003-04-24 2004-04-22 Procede de transmission de donnees representant la position dans l'espace d'une camera video et systeme de mise en oeuvre du procede Ceased WO2004098176A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/553,885 US8009198B2 (en) 2003-04-24 2004-04-22 System for the tracking and motion control of a professional video camera permitting the combination of both real and vitual images
EP04742559A EP1623567A1 (fr) 2003-04-24 2004-04-22 Procede de transmission de donnees representant la position dans l espace d une camera video et systeme de mise en oeuvre du procede

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR03/05068 2003-04-24
FR0305068A FR2854301B1 (fr) 2003-04-24 2003-04-24 Procede de transmission de donnees representant la position dans l'espace d'une camera video et systeme de mise en oeuvre du procede

Publications (1)

Publication Number Publication Date
WO2004098176A1 true WO2004098176A1 (fr) 2004-11-11

Family

ID=33104382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2004/000982 Ceased WO2004098176A1 (fr) 2003-04-24 2004-04-22 Procede de transmission de donnees representant la position dans l'espace d'une camera video et systeme de mise en oeuvre du procede

Country Status (4)

Country Link
US (1) US8009198B2 (fr)
EP (1) EP1623567A1 (fr)
FR (1) FR2854301B1 (fr)
WO (1) WO2004098176A1 (fr)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2813401T3 (es) 2003-01-16 2021-03-23 Viva Healthcare Packaging Ltd Métodos para formar artículos que tienen resistencia al agrietamiento por tensión ambiental
US8273826B2 (en) 2006-03-15 2012-09-25 Dow Global Technologies Llc Impact modification of thermoplastics with ethylene/α-olefin interpolymers
CA2613998C (fr) * 2005-06-08 2016-01-05 Thomson Licensing Procede, appareil et systeme d'insertion d'une image/video de remplacement
WO2007136745A2 (fr) 2006-05-19 2007-11-29 University Of Hawaii Système de suivi de mouvement pour imagerie adaptative en temps réel et spectroscopie
US8595632B2 (en) * 2008-02-21 2013-11-26 International Business Machines Corporation Method to monitor user trajectories within a virtual universe
US9267862B1 (en) * 2009-02-18 2016-02-23 Sensr Monitoring Technologies Llc Sensor and monitoring system for structural monitoring
US8391563B2 (en) * 2010-05-25 2013-03-05 Sony Corporation Using computer video camera to detect earthquake
US9041796B2 (en) * 2010-08-01 2015-05-26 Francis Ruben Malka Method, tool, and device for determining the coordinates of points on a surface by means of an accelerometer and a camera
WO2013032933A2 (fr) 2011-08-26 2013-03-07 Kinecticor, Inc. Procédés, systèmes et dispositifs pour correction de mouvements intra-balayage
KR20130084720A (ko) * 2012-01-18 2013-07-26 삼성전기주식회사 영상 처리 장치 및 방법
US8953024B2 (en) 2012-02-21 2015-02-10 Intellectual Ventures Fund 83 Llc 3D scene model from collection of images
US20130215239A1 (en) * 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
EP2950714A4 (fr) 2013-02-01 2017-08-16 Kineticor, Inc. Système de poursuite de mouvement pour la compensation de mouvement adaptatif en temps réel en imagerie biomédicale
WO2015148391A1 (fr) 2014-03-24 2015-10-01 Thomas Michael Ernst Systèmes, procédés et dispositifs pour supprimer une correction de mouvement prospective à partir de balayages d'imagerie médicale
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
EP3380007A4 (fr) 2015-11-23 2019-09-04 Kineticor, Inc. Systèmes, dispositifs, et procédés de surveillance et de compensation d'un mouvement d'un patient durant un balayage d'imagerie médicale
GB2550854B (en) 2016-05-25 2019-06-26 Ge Aviat Systems Ltd Aircraft time synchronization system
JP6657475B2 (ja) * 2016-08-25 2020-03-04 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
WO2018131813A1 (fr) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Procédé et appareil de génération de métadonnées pour des images 3d
CN106959460B (zh) * 2017-05-16 2024-05-28 广州市度量行电子设备有限公司 一种高精度定位的gis采集器的目标点计算方法
FR3142588B1 (fr) * 2022-11-24 2025-01-10 Idemia Identity & Security France Dispositif et procédé de traitement d’image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0608945A1 (fr) * 1993-01-27 1994-08-03 Societe Anonyme D'etudes Et Realisations Nucleaires S.O.D.E.R.N. Viseur d'étoile à matrice de DTC, procédé de détecton, et application au recalage d'un engin spatial
FR2730837A1 (fr) * 1995-02-22 1996-08-23 Sciamma Dominique Systeme d'insertion en temps reel ou differe de panneaux publicitaires ou informationnels virtuels dans des emissions televisees
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
EP1168830A1 (fr) * 2000-06-30 2002-01-02 Wells & Verne Investments Ltd Système de prise de vues supporté par ordinateur

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
US5913078A (en) * 1994-11-01 1999-06-15 Konica Corporation Camera utilizing a satellite positioning system
US6282362B1 (en) * 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
FR2836215B1 (fr) * 2002-02-21 2004-11-05 Yodea Systeme et procede de modelisation et de restitution tridimensionnelle d'un objet
JP2004297478A (ja) * 2003-03-27 2004-10-21 Fuji Photo Film Co Ltd デジタルカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0608945A1 (fr) * 1993-01-27 1994-08-03 Societe Anonyme D'etudes Et Realisations Nucleaires S.O.D.E.R.N. Viseur d'étoile à matrice de DTC, procédé de détecton, et application au recalage d'un engin spatial
FR2730837A1 (fr) * 1995-02-22 1996-08-23 Sciamma Dominique Systeme d'insertion en temps reel ou differe de panneaux publicitaires ou informationnels virtuels dans des emissions televisees
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
EP1168830A1 (fr) * 2000-06-30 2002-01-02 Wells & Verne Investments Ltd Système de prise de vues supporté par ordinateur

Also Published As

Publication number Publication date
FR2854301A1 (fr) 2004-10-29
FR2854301B1 (fr) 2005-10-28
US20060221187A1 (en) 2006-10-05
EP1623567A1 (fr) 2006-02-08
US8009198B2 (en) 2011-08-30

Similar Documents

Publication Publication Date Title
EP1623567A1 (fr) Procede de transmission de donnees representant la position dans l espace d une camera video et systeme de mise en oeuvre du procede
FR2836215A1 (fr) Systeme et procede de modelisation et de restitution tridimensionnelle d'un objet
EP3658921B1 (fr) Procédé de calibration d'un magnetometre
EP1984696B1 (fr) Dispositif de capture de mouvement et procede associe
EP3278301B1 (fr) Procede de determination d'une direction d'un objet a partir d'une image de l'objet
EP1407214B1 (fr) Dispositif, et procede associe, apte a determiner la direction d'une cible
FR2628859A1 (fr) Capteur stellaire
FR2849223A1 (fr) Systeme de mesure et de stabilisation pour vehicules et objets volants
FR2980005A1 (fr) Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
FR3015072A1 (fr) Procede de determination de l'orientation d'un repere capteur lie a un terminal mobile muni d'un ensemble capteur, porte par un utilisateur et comprenant au moins un capteur de mouvement lie en mouvement
EP3060881A1 (fr) Procede de localisation en interieur et exterieur et dispositif portatif mettant en oeuvre un tel procede.
EP1168831B1 (fr) Procédé de calibration de caméra
EP0502771A1 (fr) Procédé et système d'harmonisation autonome d'équipements à bord d'un véhicule, utilisant des moyens de mesure des champs de gravité et magnétique terrestres
CA3100115C (fr) Procede d'harmonisation de deux unites de mesure inertielle l'une avec l'autre et systeme de navigation mettant en oeuvre ce procede
WO2004083767A2 (fr) Dispositif de visee ou de pointage
US11580713B2 (en) Motion compensation for a SPAD array camera
EP0502770B1 (fr) Procédé et système d'harmonisation autonome d'équipements à bord d'un véhicule, utilisant des moyens de mesure du champ de gravité terrestre
EP3211370A1 (fr) Procede de filtrage des signaux issus d'un ensemble capteur comprenant au moins un capteur de mesure d'un champ physique vectoriel sensiblement constant dans le temps et l'espace dans un repere de reference
EP3655725A1 (fr) Procédé d'estimation du mouvement d'un objet évoluant dans un environnement et un champ magnétique
EP4625022A1 (fr) Dispositif et procédé d'assistance à la localisation d'objets célestes
Kaarre HARDWARE FOR MOBILE POSITIONING
FR3064389A1 (fr) Dispositif de modelisation et de representation, et procede correspondant
WO2023083879A1 (fr) Procede de navigation hybride inertielle/stellaire a indicateur de performance d'harmonisation
FR3129232A1 (fr) Interface de navigation en environnement virtuel
FR3157574A1 (fr) Procédé de commande d'un dispositif optronique embarqué et dispositif optronique embarqué correspondant

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004742559

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006221187

Country of ref document: US

Ref document number: 10553885

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2004742559

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10553885

Country of ref document: US