[go: up one dir, main page]

EP3994890A1 - Method and device for coding a digital hologram sequence - Google Patents

Method and device for coding a digital hologram sequence

Info

Publication number
EP3994890A1
EP3994890A1 EP20733836.9A EP20733836A EP3994890A1 EP 3994890 A1 EP3994890 A1 EP 3994890A1 EP 20733836 A EP20733836 A EP 20733836A EP 3994890 A1 EP3994890 A1 EP 3994890A1
Authority
EP
European Patent Office
Prior art keywords
scene
digital hologram
wavelets
hologram
multiplet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20733836.9A
Other languages
German (de)
French (fr)
Inventor
Patrick Gioia
Antonin GILLES
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fondation B Com
Original Assignee
Fondation B Com
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fondation B Com filed Critical Fondation B Com
Publication of EP3994890A1 publication Critical patent/EP3994890A1/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0841Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/547Motion estimation performed in a transform domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/02Computing or processing means, e.g. digital signal processor [DSP]

Definitions

  • the present invention relates to the technical field of digital holography.
  • It relates in particular to a method and a device for encoding a sequence of digital holograms.
  • Each wavelet is defined by several characteristic parameters of the wavelet concerned.
  • the digital hologram is then represented by a set of coefficients associated respectively with the different wavelets.
  • the digital hologram can thus be easily reconstructed by summing the different wavelets, each time weighted by the associated coefficient.
  • the present invention proposes a method for encoding a sequence comprising at least a first digital hologram representing a first scene and a second digital hologram representing a second scene, the first digital hologram and the second digital hologram being represented by means of a set of wavelets each defined by a multiplet of coordinates in a multidimensional space,
  • the first hologram being represented by a set of first coefficients respectively associated with at least some of the wavelets of said set of wavelets and the second hologram being represented by a set of second coefficients respectively associated with at least some of the wavelets of said set of wavelets,
  • the coding method comprising the following steps: - for each of a plurality of second coefficients, determination of a residue by the difference between the second coefficient concerned, associated with a first wavelet defined by a given byte, and the first coefficient associated with a second wavelet defined by a byte having for image the multiplet given by transformation in multidimensional space;
  • the transformation is determined by analyzing the variation between the first scene represented by the first digital hologram and the second scene represented by the second digital hologram.
  • the transformation makes it possible to assign at least some of the first coefficients to wavelets other than those to which these first coefficients are assigned in the first hologram.
  • This transformation thus makes it possible to construct (at least in part) a predicted hologram, which can be subtracted from the second hologram (coefficient by coefficient) in order to obtain residues of lesser value, the coding of which is more efficient.
  • the transformation is determined by analyzing the variation between the first scene represented by the first digital hologram and the second scene represented by the second digital hologram, the predicted hologram will best approximate the second hologram.
  • This variation can correspond in practice to the movement of an object between the first scene and the second scene.
  • Another transformation is thus used for other second coefficients, which makes it possible to refine the prediction of the second hologram using the first hologram.
  • This other transformation is for example determined by analyzing another variation between the first scene and the second scene.
  • This other variation may correspond in practice to the movement of another object (different from the aforementioned object) between the first scene and the second scene.
  • the coding method can also comprise the following steps:
  • the above-mentioned transformation can be determined in practice as a function of a movement, between the first scene and the second scene, of a set of connected points (a set of points called "connected component" in the following description).
  • the transformation can be determined for example on the basis of three-dimensional representations of the first scene and of the second scene.
  • the coding method can comprise the following steps:
  • the step of constructing the first depth map may include the following steps: - reconstruction, by means of the first digital hologram (or, as the case may be, by means of the second digital hologram), of the light field at a plurality of points;
  • the coordinates of said multidimensional space can respectively represent a parameter representative of a first spatial coordinate in the plane of the hologram, a parameter representative of a second spatial coordinate in the plane of the hologram, a parameter of spatial frequency expansion and an orientation parameter.
  • the invention also proposes a device for encoding a sequence comprising at least a first digital hologram representing a first scene and a second digital hologram representing a second scene, the first digital hologram and the second digital hologram being represented by means of a set of wavelets each defined by a multiplet of coordinates in a multidimensional space, the encoding device comprising:
  • the determining unit is adapted to determine the transformation by variation analysis between the first scene represented by the first digital hologram and the second scene represented by the second digital hologram.
  • the determination unit and the coding unit can for example be implemented in practice by means of a processor of the coding device, this processor being programmed (for example by means of computer program instructions stored in a memory of the coding device) to implement respectively the steps of determining the residues and the step of coding the residues.
  • the invention further provides, independently, a method of distributing coefficients respectively associated with wavelets into a plurality of sets of coefficients, the coefficients associated with the wavelets representing a digital hologram intended to reproduce a scene comprising a plurality of parts. , the method comprising the following steps implemented for each of a plurality of said coefficients:
  • the line can be determined using the coordinates of that byte.
  • these coordinates include a first spatial coordinate in the plane of the hologram, a second spatial coordinate in the plane of the hologram, a spatial frequency dilation parameter and an orientation parameter
  • the orientation of the line corresponding to the light ray represented by the wavelet is determined as a function of the expansion parameter and the orientation parameter and / or the position of the straight line corresponding to the light ray represented by a roundelette is determined as a function of these first and second spatial coordinates.
  • the invention finally proposes, again independently, a method of constructing a depth map relating to a scene represented by a digital hologram, the depth being defined according to a given direction in space (here the three-dimensional space containing the scene), the method comprising the following steps:
  • FIG. 1 represents a coding device according to an exemplary implementation of the invention
  • FIG. 2 represents the steps of a coding method in accordance with the teachings of the invention
  • FIG. 3 shows the relative positioning of a digital hologram and the scene that this digital hologram represents
  • FIG. 4 schematically illustrates the calculation of the residues during coding
  • FIG. 5 shows steps in a method of constructing a depth map from a digital hologram.
  • the encoding device 1 of FIG. 1 comprises a processor 2 and a storage device 4 (such as a hard disk or a memory).
  • the encoding device 1 can also include a communication circuit 6 allowing the processor 2 to exchange data with an external electronic device (not shown).
  • the storage device 4 stores at least two digital holograms H 1 ,, H 2 (each represented by a set of coefficients as explained below) forming part of a sequence of digital holograms (this sequence being intended to reproduce the evolution in the time of a given three-dimensional scene).
  • the storage device 4 furthermore stores a three-dimensional representation Si; S2 of the three-dimensional scene represented by each of the digital holograms H 1 , H 2 .
  • a three-dimensional representation Si S2 of the three-dimensional scene represented by each of the digital holograms H 1 , H 2 .
  • no three-dimensional representation of the scene could be present within the coding device 1. This is particularly the case when the digital holograms H 1 , H 2 are received by the coding device 1 via the encoding circuit. communication 6.
  • the digital holograms H 1 , H 2 can indeed in practice be constructed (prior to the coding method described below) within the coding device 1 on the basis of the three-dimensional representations Si, S2 (for example as described in 'article "View-dependent compression of digital hologram based on matching pursuit" already mentioned), or be received from an external electronic device.
  • the storage device 4 also stores computer program instructions designed to implement a method as described below with reference to FIG. 2 when these instructions are executed by the processor 2.
  • the digital holograms H 1 ,, H 2 are represented here respectively by two sets of real coefficients c 1 (k, s, X), C 2 (k, s, X), each coefficient c 1 (k, s, X) , C2 (k, s, X) being associated with a Gabor-Morlet wavelet Y k, s, X defined by the parameters k, s, X, where
  • - s is a parameter (integer) which defines the expansion of the spatial frequencies (s varying between 1 and a);
  • - X is a couple of integers which respectively define the two-dimensional spatial coordinates in the plane of the digital hologram (i.e. the plane (O, x, y) in figure 3), with X ⁇ [0 , N x [x [0, N y [.
  • N, a, N x and N y are fixed for the representation considered.
  • each Gabor-Morlet wavelet Y k, s, X is defined by a multiplet of coordinates k, s, X in a multidimensional space (here in 4 dimensions).
  • first coefficients the coefficients c 1 (k, s, X) representing the digital hologram Hi and “second coefficients” the coefficients c 2 (k, s, X) representing the digital hologram H 2 .
  • the digital holograms H 1 , H 2 could therefore be reconstructed as follows:
  • H 1 S k, s, X C 1 (k, s, X).
  • H 2 S k, s, X C 2 (k, s, X). Y k, s, X
  • D x and D y and D s denote discretization steps respectively of the first spatial component in the plane of the hologram, of the second spatial component in the plane of the hologram and the expansion of spatial frequencies, for A ⁇ R 2 ,
  • This method aims at a differential coding of the digital hologram H 2 on the basis of the digital hologram H 1 .
  • the digital hologram H 1 is used as the reference digital hologram.
  • This method begins here with a step E2 of segmentation of the coefficients into sets of coefficients E, respectively associated with parts P, of the scene (which amounts to grouping the wavelets Y k, s, X into groups of wavelets respectively associated with these parts P, of the scene).
  • Each part P of the scene is formed by a set of points from the same region that may have a similar movement.
  • a part P, of the scene is referred to below as a “connected component”. In practice, this is, for example, an object in the scene.
  • the connected components P are for example identified on the basis of the three-dimensional representation Si of the scene (three-dimensional representation corresponding to the digital hologram H 1 ).
  • the connected components P can be reconstructed from a digital hologram (here H 1 ), for example by means of a depth map, as described below.
  • step E2 for each coefficient c 1 (k, s, X) of the digital hologram H 1 , it is determined which part P, (or connected component) of the scene is crossed by a straight line D (representing a light ray associated with a patch Y k, s, X ) passing through the point of coordinates X (in the plane of the digital hologram) and oriented according to the directing vector V k, s of coordinates:
  • each set E comprising coefficients c 1 (k, s, X) associated with wavelets Y k, s, X which model light rays having an intersection with the part P, associated with the set E, concerned.
  • each set E corresponds to a group of wavelets Y k, s, x which model light rays having an intersection with the part P associated with the set E, concerned.
  • the segmentation step E2 could be omitted.
  • a single set E, of coefficients in this case the set E 1 ) is processed.
  • the method of FIG. 2 continues with a step E4 at which a rigid transformation F is determined, for each connected component (or part) P, of the scene.
  • This rigid transformation F is for example determined by analyzing the movement of the connected component P, between the scene represented by the hologram H 1 and the scene represented by the hologram H 2.
  • This motion analysis is for example performed by comparing the three-dimensional representation Si (scene represented by the digital hologram H 1 ), and the three-dimensional representation S2 (scene represented by the digital hologram H 2 ).
  • Si scene represented by the digital hologram H 1
  • S2 scene represented by the digital hologram H 2
  • this motion analysis could be performed by comparing a first depth map derived (as explained below) from the digital hologram H 1 and a second depth map derived (as explained below) from l digital hologram H 2.
  • Such depth maps make it possible to come back to the above-mentioned three-dimensional case.
  • the method of FIG. 2 then comprises a step E6 of determining, for each set E i of coefficients, a linear transformation T, of the space-frequency domain on the basis of the rigid transformation determined in step E4 for the component connected P, associated with the set E i concerned.
  • the linear transformation T i is defined as follows (on the basis of the corresponding rigid transformation F i ):
  • the method of FIG. 2 then comprises in step E8 the construction of a predicted digital hologram H p as a function of the digital hologram H 1 and by means of the linear transformations Ti determined in step E6.
  • This transformation G is thus the transformation which corresponds, in the multidimensional space of the definition coordinates of the wavelets, to the rigid transformation F, of the connected component P ,.
  • This linear transformation G is valid for the coefficients of the set E, associated with this connected component P ,.
  • H p S k, s, X C 1 (k, S, X).
  • Y Gi (k, s, X)
  • the method of FIG. 2 then comprises a step E10 for determining a set of residues by difference between the digital hologram H 2 (hologram to be encoded) and the digital hologram H p predicted on the basis of the digital hologram Hi (digital reference hologram).
  • Each residue is therefore determined by the difference between a coefficient c 2 (k ', s', X '), associated (in the digital hologram H 2 ) with a roundet Y k', s ', X' defined by the multiplet (k ', s', X'), and a coefficient c 1 (k, s, X), associated in the digital hologram H 1 ,, to a wavelet Y k, s, X defined by a multiplet (k, s, X) having for image the multiplet (k ', s', X') by the transformation G, associated with the set E, comprising the coefficient c 1 (k, s, X).
  • the method of FIG. 2 finally comprises a step E12 for coding the residues
  • the differential coding of the digital hologram H 2 is carried out with reference to a single digital hologram H 1 ,.
  • the value of the bidirectionally predicted coefficients may be equal to the average of the coefficients predicted from said two digital holograms.
  • FIG. 5 represents steps of a method of constructing a depth map from a digital hologram H (this method can be applied to the hologram Hi and / or to the hologram H 2 as already indicated) .
  • M x and M y the desired horizontal and vertical resolutions for the depth map
  • M z the number of levels of the depth map.
  • the method of FIG. 5 begins with a step E20 at which a variable d is initialized to the value 0.
  • F and F -1 are the forward and reverse Fourier transforms, respectively, and f x and f y are the frequency coordinates of the hologram in the Fourier domain.
  • the method then comprises a step E24 of segmenting the reconstructed field U into M x .M y segments (rectangular), each segment having a horizontal resolution K x and a vertical resolution K y .
  • the method then comprises a step E26 of calculating a sharpness metric v for each of the segments obtained in step E24. If we refer to each segment by a horizontal index i and a vertical index j, we calculate the value v [i, j, d] of the sharpness metric for each segment of indices i, j, here by means of the normalized variance : where is the average intensity of the field on the segment concerned:
  • Another sharpness metric could be used, for example one of the metrics mentioned in the article "Comparative analysis of autofocus functions in digital in-line phase-shifting holograph ⁇ ', by ESR Fonseca, PT Fiadeiro, M. Pereira , and A. Pinheiro in Appl. Opt., AO, vol. 55, no. 27, pp. 7663-7674, Sep. 2016.
  • the method then comprises a step E28 of incrementing the variable d and a step E30 of testing the equality between the current value of the variable d and the number Mz of levels of the depth map.
  • step E30 the method loops to step E22 for processing the depth level Z d corresponding to the (new) current value of the variable d.
  • the method can then construct in step E32 the depth map D by choosing, for each element of the map (here identified by the indices i, j), the depth (denoted here D [i, j]) for which the sharpness metric is maximum (among the different segments aligned along the Oz axis, all here with indices i, j, and associated respectively with the different depths for d varying from 0 to M z -1).
  • the depth map D thus obtained can be used as already mentioned to determine the connected components (or parts) P of the scene, for example by means of a partitioning algorithm (or “clustering algorithm”).
  • a k-means algorithm can be used for this, for example as described in the article "Some methods for classification and analysis of multivariate observations", by MacQueen, J. in Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Statistics, 281 --297, University of California Press, Berkeley, Calif. , 1967.
  • the partitioning algorithm makes it possible to group together the connected segments (here of indices i, j) having close depth values (here D [i, j]), the groups thus produced forming the connected components P i .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

The present invention concerns a method and a device for coding a sequence comprising at least a first digital hologram (H1) representing a first scene and a second digital hologram (H2) representing a second scene, the first digital hologram (H1) and the second digital hologram (H2) being represented by means of a set of wavelets each defined by a multiplet of coordinates in a multidimensional space. The first hologram (H1) is represented by a set of first coefficients (c1(k,s,X)) respectively associated with at least some of the wavelets of the set of wavelets, and the second hologram (H2) is represented by a set of second coefficients (C2(k',s',X')) respectively associated with at least some of the wavelets of the set of wavelets. The coding method comprises the following steps: - for each of a plurality of seconds coefficients (C2(k',s',X')), determining a remainder (lk',s',X') by a difference between the second coefficient concerned (C2(k',s',X')), associated with a first wavelet defined by a given multiplet ((k',s',X')), and the first coefficient (c1(k,s,X)) associated with a second wavelet defined by a multiplet ((k,s,X)) having as its image the multiplet ((k',s',X')) given by transform (Gi) in the multidimensional space; - coding the determined remainders (lk',s',X'). The transform (Gi) is determined by analysis of variation between the first scene represented by the first digital hologram (H1) and the second scene represented by the second digital hologram (H2).

Description

Procédé et dispositif de codage d’une séquence d’hologrammes numériques Method and device for encoding a sequence of digital holograms
Domaine technique de l'invention Technical field of the invention
La présente invention concerne le domaine technique de l’holographie numérique. The present invention relates to the technical field of digital holography.
Elle concerne en particulier un procédé et un dispositif de codage d’une séquence d’hologrammes numériques. It relates in particular to a method and a device for encoding a sequence of digital holograms.
Etat de la technique State of the art
Il a déjà été proposé, par exemple dans l’article "View-dependent compression of digital hologram based on matching pursuit', de Anas El Rhammad, Patrick Gioia, Antonin Gilles, Marco Cagnazzo et Béatrice Pesquet-Popescu in Optics, Photonics, and Digital Technologies for Imaging Applications V. International Society for Optics and Photonics, 2018, vol. 10679, p.106790L, de représenter un hologramme numérique au moyen d’un ensemble d’ondelettes (par exemple des ondelettes de Gabor). It has already been proposed, for example in the article "View-dependent compression of digital hologram based on matching pursuit", by Anas El Rhammad, Patrick Gioia, Antonin Gilles, Marco Cagnazzo and Béatrice Pesquet-Popescu in Optics, Photonics, and Digital Technologies for Imaging Applications V. International Society for Optics and Photonics, 2018, vol. 10679, p.106790L, to represent a digital hologram using a set of wavelets (e.g. Gabor wavelets).
Chaque ondelette est définie par plusieurs paramètres caractéristiques de l’ondelette concernée. L’hologramme numérique est alors représenté par un ensemble de coefficients associés respectivement aux différentes ondelettes. Each wavelet is defined by several characteristic parameters of the wavelet concerned. The digital hologram is then represented by a set of coefficients associated respectively with the different wavelets.
L’hologramme numérique peut ainsi être facilement reconstruit par sommation des différentes ondelettes, pondérées à chaque fois par le coefficient associé. The digital hologram can thus be easily reconstructed by summing the different wavelets, each time weighted by the associated coefficient.
Présentation de l'invention Presentation of the invention
Dans ce contexte, la présente invention propose un procédé de codage d’une séquence comprenant au moins un premier hologramme numérique représentant une première scène et un second hologramme numérique représentant une seconde scène, le premier hologramme numérique et le second hologramme numérique étant représentés au moyen d’un ensemble d’ondelettes définies chacune par un multiplet de coordonnées dans un espace pluridimensionnel, In this context, the present invention proposes a method for encoding a sequence comprising at least a first digital hologram representing a first scene and a second digital hologram representing a second scene, the first digital hologram and the second digital hologram being represented by means of a set of wavelets each defined by a multiplet of coordinates in a multidimensional space,
le premier hologramme étant représenté par un ensemble de premiers coefficients respectivement associés à certaines au moins des ondelettes dudit ensemble d’ondelettes et le second hologramme étant représenté par un ensemble de seconds coefficients respectivement associés à certaines au moins des ondelettes dudit ensemble d’ondelettes, the first hologram being represented by a set of first coefficients respectively associated with at least some of the wavelets of said set of wavelets and the second hologram being represented by a set of second coefficients respectively associated with at least some of the wavelets of said set of wavelets,
le procédé de codage comprenant les étapes suivantes : - pour chacun d’une pluralité de seconds coefficients, détermination d’un résidu par différence entre le second coefficient concerné, associé à une première ondelette définie par un multiplet donné, et le premier coefficient associé à une seconde ondelette définie par un multiplet ayant pour image le multiplet donné par transformation dans l’espace pluridimensionnel ; the coding method comprising the following steps: - for each of a plurality of second coefficients, determination of a residue by the difference between the second coefficient concerned, associated with a first wavelet defined by a given byte, and the first coefficient associated with a second wavelet defined by a byte having for image the multiplet given by transformation in multidimensional space;
- codage des résidus déterminés, - coding of the determined residues,
dans lequel la transformation est déterminée par analyse de variation entre la première scène représentée par le premier hologramme numérique et la seconde scène représentée par le second hologramme numérique. wherein the transformation is determined by analyzing the variation between the first scene represented by the first digital hologram and the second scene represented by the second digital hologram.
La transformation permet d’affecter certains au moins des premiers coefficients à des ondelettes autres que celles auxquelles ces premiers coefficients sont affectés dans le premier hologramme. The transformation makes it possible to assign at least some of the first coefficients to wavelets other than those to which these first coefficients are assigned in the first hologram.
Cette transformation permet ainsi de construire (en partie au moins) un hologramme prédit, que l’on peut soustraire du second hologramme (coefficient par coefficient) afin d’obtenir des résidus de moindre valeur, dont le codage est plus efficace. This transformation thus makes it possible to construct (at least in part) a predicted hologram, which can be subtracted from the second hologram (coefficient by coefficient) in order to obtain residues of lesser value, the coding of which is more efficient.
Par ailleurs, du fait que la transformation est déterminée par analyse de variation entre la première scène représentée par le premier hologramme numérique et la seconde scène représentée par le second hologramme numérique, l’hologramme prédit s’approchera au mieux du second hologramme. Cette variation peut correspondre en pratique au mouvement d’un objet entre la première scène et la seconde scène. On the other hand, because the transformation is determined by analyzing the variation between the first scene represented by the first digital hologram and the second scene represented by the second digital hologram, the predicted hologram will best approximate the second hologram. This variation can correspond in practice to the movement of an object between the first scene and the second scene.
On peut prévoir en outre, pour au moins un second coefficient hors de ladite pluralité de seconds coefficients, une étape de détermination d’un résidu par différence entre ce second coefficient, associé à une troisième ondelette définie par un autre multiplet donné, et le premier coefficient associé à une quatrième ondelette définie par un autre multiplet ayant pour image l’autre multiplet donné par une autre transformation dans l’espace pluridimensionnel. It is also possible to provide, for at least one second coefficient outside of said plurality of second coefficients, a step of determining a residue by difference between this second coefficient, associated with a third wavelet defined by another given multiplet, and the first coefficient associated with a fourth wavelet defined by another multiplet having for image the other multiplet given by another transformation in multidimensional space.
On utilise ainsi une autre transformation pour d’autres seconds coefficients, ce qui permet d’affiner la prédiction du second hologramme au moyen du premier hologramme. Another transformation is thus used for other second coefficients, which makes it possible to refine the prediction of the second hologram using the first hologram.
Cette autre transformation est par exemple déterminée par analyse d’une autre variation entre la première scène et la seconde scène. Cette autre variation peut correspondre en pratique au mouvement d’un autre objet (différent de l’objet susmentionné) entre la première scène et la seconde scène. This other transformation is for example determined by analyzing another variation between the first scene and the second scene. This other variation may correspond in practice to the movement of another object (different from the aforementioned object) between the first scene and the second scene.
Le procédé de codage peut comprendre par ailleurs les étapes suivantes : The coding method can also comprise the following steps:
- répartition d’une partie au moins des ondelettes en différents groupes d’ondelettes respectivement associés à différentes parties de la première scène ou de la seconde scène ; - distribution of at least part of the wavelets into different groups of wavelets respectively associated with different parts of the first scene or of the second scene;
- détermination d’une transformation de l’espace pluridimensionnel pour chaque groupe d’ondelettes ; - determination of a transformation of the multidimensional space for each group of wavelets;
- pour chacun des seconds coefficients d’un groupe d’ondelettes donné, détermination d’un résidu par différence entre le second coefficient concerné, associé à une cinquième ondelette définie par un multiplet donné, et le premier coefficient associé à une sixième ondelette définie par un multiplet ayant pour image ce multiplet donné par la transformation associée au groupe d’ondelettes donné. - for each of the second coefficients of a given group of wavelets, determination of a residue by the difference between the second coefficient concerned, associated with a fifth wavelet defined by a given multiplet, and the first coefficient associated with a sixth wavelet defined by a multiplet having as an image this multiplet given by the transformation associated with the given wavelet group.
La transformation susmentionnée peut être déterminée en pratique en fonction d’un mouvement, entre la première scène et la seconde scène, d’un ensemble de points connexes (ensemble de points dénommé " composante connexe " dans la description qui suit). The above-mentioned transformation can be determined in practice as a function of a movement, between the first scene and the second scene, of a set of connected points (a set of points called "connected component" in the following description).
La transformation peut être déterminée par exemple sur la base de représentations tridimensionnelles de la première scène et de la seconde scène. The transformation can be determined for example on the basis of three-dimensional representations of the first scene and of the second scene.
Selon une autre possibilité de réalisation, le procédé de codage peut comprendre les étapes suivantes : According to another possible embodiment, the coding method can comprise the following steps:
- construction d’une première carte de profondeur au moyen du premier hologramme numérique ; - construction of a first depth map using the first digital hologram;
- construction d’une seconde carte de profondeur au moyen du second hologramme numérique ; - construction of a second depth map using the second digital hologram;
- détermination de la transformation sur la base de la première carte de profondeur et de la seconde carte de profondeur. - determination of the transformation on the basis of the first depth map and the second depth map.
Selon une possibilité de réalisation, la profondeur étant définie selon une direction donnée (ici une direction donnée de l’espace tridimensionnel contenant la scène représentée par le premier hologramme numérique), l’étape de construction de la première carte de profondeur (et/ou l’étape de construction de la seconde carte de profondeur) peut comprendre les étapes suivantes : - reconstruction, au moyen du premier hologramme numérique (ou, selon le cas, au moyen du second hologramme numérique), du champ lumineux en une pluralité de points ; According to one possible embodiment, the depth being defined in a given direction (here a given direction of the three-dimensional space containing the scene represented by the first digital hologram), the step of constructing the first depth map (and / or the construction step of the second depth map) may include the following steps: - reconstruction, by means of the first digital hologram (or, as the case may be, by means of the second digital hologram), of the light field at a plurality of points;
- pour chacune d’une pluralité de profondeurs, segmentation des points associés à la profondeur concernée en une pluralité de segments, et détermination de valeurs d’une métrique de netteté respectivement associées auxdits segments sur la base du champ lumineux reconstruit sur le segment concerné ; - for each of a plurality of depths, segmenting the points associated with the relevant depth into a plurality of segments, and determining values of a sharpness metric respectively associated with said segments on the basis of the light field reconstructed on the relevant segment;
- pour chaque élément de la première (ou seconde, selon le cas) carte de profondeur, détermination de la profondeur pour laquelle la métrique de netteté est maximum parmi un ensemble de segments alignés selon ladite direction donnée et respectivement associés aux différentes profondeurs de la pluralité de profondeurs (la profondeur ainsi déterminée pouvant alors être associée à l’élément concerné de la première carte de profondeur, ou de la seconde carte de profondeur selon le cas). - for each element of the first (or second, as the case may be) depth map, determination of the depth for which the sharpness metric is maximum among a set of segments aligned in said given direction and respectively associated with the different depths of the plurality depths (the depth thus determined can then be associated with the element concerned of the first depth map, or of the second depth map as the case may be).
Comme décrit dans la suite, les coordonnées dudit espace pluridimensionnel peuvent respectivement représenter un paramètre représentatif d’une première coordonnée spatiale dans le plan de l’hologramme, un paramètre représentatif d’une seconde coordonnée spatiale dans le plan de l’hologramme, un paramètre de dilatation des fréquences spatiales et un paramètre d’orientation. As described below, the coordinates of said multidimensional space can respectively represent a parameter representative of a first spatial coordinate in the plane of the hologram, a parameter representative of a second spatial coordinate in the plane of the hologram, a parameter of spatial frequency expansion and an orientation parameter.
L’invention propose également un dispositif de codage d’une séquence comprenant au moins un premier hologramme numérique représentant une première scène et un second hologramme numérique représentant une seconde scène, le premier hologramme numérique et le second hologramme numérique étant représentés au moyen d’un ensemble d’ondelettes définies chacune par un multiplet de coordonnées dans un espace pluridimensionnel, le dispositif de codage comprenant : The invention also proposes a device for encoding a sequence comprising at least a first digital hologram representing a first scene and a second digital hologram representing a second scene, the first digital hologram and the second digital hologram being represented by means of a set of wavelets each defined by a multiplet of coordinates in a multidimensional space, the encoding device comprising:
- une unité de mémorisation d’un ensemble de premiers coefficients, respectivement associés à certaines au moins des ondelettes dudit ensemble d’ondelettes, et d’un ensemble de seconds coefficients, respectivement associés à certaines au moins des ondelettes dudit ensemble d’ondelettes, l’ensemble de premiers coefficients représentant le premier hologramme numérique et l’ensemble de seconds coefficients représentant le second hologramme numérique ; a unit for storing a set of first coefficients, respectively associated with at least some of the wavelets of said set of wavelets, and of a set of second coefficients, respectively associated with at least some of the wavelets of said set of wavelets, the set of first coefficients representing the first digital hologram and the set of second coefficients representing the second digital hologram;
- une unité de détermination, pour chacun d’une pluralité de seconds coefficients, d’un résidu par différence entre le second coefficient concerné, associé à une première ondelette définie par un multiplet donné, et le premier coefficient associé à une seconde ondelette définie par un multiplet ayant pour image le multiplet donné par transformation dans l’espace pluridimensionnel ; a unit for determining, for each of a plurality of second coefficients, a residue by difference between the second coefficient concerned, associated with a first wavelet defined by a given multiplet, and the first coefficient associated with a second wavelet defined by a multiplet having for image the multiplet given by transformation in multidimensional space;
- une unité de codage des résidus déterminés, - a coding unit for the determined residues,
dans lequel l’unité de détermination est conçue pour déterminer la transformation par analyse de variation entre la première scène représentée par le premier hologramme numérique et la seconde scène représentée par le second hologramme numérique. wherein the determining unit is adapted to determine the transformation by variation analysis between the first scene represented by the first digital hologram and the second scene represented by the second digital hologram.
L’unité de détermination et l’unité de codage peuvent par exemple être mises en oeuvre en pratique au moyen d’un processeur du dispositif de codage, ce processeur étant programmé (par exemple au moyen d’instructions de programme d’ordinateur mémorisées dans une mémoire du dispositif de codage) pour mettre en oeuvre respectivement les étapes de détermination des résidus et l’étape de codage des résidus. The determination unit and the coding unit can for example be implemented in practice by means of a processor of the coding device, this processor being programmed (for example by means of computer program instructions stored in a memory of the coding device) to implement respectively the steps of determining the residues and the step of coding the residues.
L’invention propose en outre, de manière indépendante, un procédé de répartition de coefficients respectivement associés à des ondelettes en une pluralité d’ensembles de coefficients, les coefficients associés aux ondelettes représentant un hologramme numérique destiné à reproduire une scène comprenant une pluralité de parties, le procédé comprenant les étapes suivantes mises en oeuvre pour chacun d’une pluralité desdits coefficients : The invention further provides, independently, a method of distributing coefficients respectively associated with wavelets into a plurality of sets of coefficients, the coefficients associated with the wavelets representing a digital hologram intended to reproduce a scene comprising a plurality of parts. , the method comprising the following steps implemented for each of a plurality of said coefficients:
- détermination d’une droite correspondant au rayon lumineux représenté par l’ondelette associée au coefficient concerné ; - determination of a line corresponding to the light ray represented by the wavelet associated with the coefficient concerned;
- affectation du coefficient concerné à un ensemble associé à la partie de scène traversée par la droite déterminée. - assignment of the coefficient concerned to a set associated with the part of the scene crossed by the determined straight line.
Lorsque chaque ondelette est définie par un multiplet de coordonnées dans un espace pluridimensionnel, la droite peut être déterminée en utilisant les coordonnées de ce multiplet. When each wavelet is defined by a coordinate byte in multidimensional space, the line can be determined using the coordinates of that byte.
Par exemple, lorsque ces coordonnées (définissant l’ondelette) comprennent une première coordonnée spatiale dans le plan de l’hologramme, une seconde coordonnée spatiale dans le plan de l’hologramme, un paramètre de dilatation des fréquences spatiales et un paramètre d’orientation, l’orientation de la droite correspondant au rayon lumineux représenté par l’ondelette est déterminée en fonction du paramètre de dilatation et du paramètre d’orientation et/ou la position de la droite correspondant au rayon lumineux représenté par rondelette est déterminée en fonction de ces première et seconde coordonnées spatiales. For example, when these coordinates (defining the wavelet) include a first spatial coordinate in the plane of the hologram, a second spatial coordinate in the plane of the hologram, a spatial frequency dilation parameter and an orientation parameter , the orientation of the line corresponding to the light ray represented by the wavelet is determined as a function of the expansion parameter and the orientation parameter and / or the position of the straight line corresponding to the light ray represented by a roundelette is determined as a function of these first and second spatial coordinates.
L’invention propose enfin, là encore de manière indépendante, un procédé de construction d’une carte de profondeur relative à une scène représentée par un hologramme numérique, la profondeur étant définie selon une direction donnée de l’espace (ici l’espace tridimensionnel contenant la scène), le procédé comprenant les étapes suivantes : The invention finally proposes, again independently, a method of constructing a depth map relating to a scene represented by a digital hologram, the depth being defined according to a given direction in space (here the three-dimensional space containing the scene), the method comprising the following steps:
- reconstruction, au moyen de l’hologramme numérique, du champ lumineux en une pluralité de points de l’espace ; - reconstruction, using the digital hologram, of the light field at a plurality of points in space;
- pour chacune d’une pluralité de profondeurs, segmentation des points associés à la profondeur concernée en une pluralité de segments, et détermination de valeurs d’une métrique de netteté respectivement associées auxdits segments sur la base du champ lumineux reconstruit sur le segment concerné (c’est-à-dire sur la base des valeurs du champ lumineux reconstruit relatives aux points du segment concerné) ; - for each of a plurality of depths, segmentation of the points associated with the depth concerned into a plurality of segments, and determination of values of a sharpness metric respectively associated with said segments on the basis of the light field reconstructed on the segment concerned ( that is to say on the basis of the values of the reconstructed light field relating to the points of the segment concerned);
- pour chaque élément de la carte de profondeur, détermination de la profondeur pour laquelle la métrique de netteté est maximum parmi un ensemble de segments alignés selon ladite direction donnée et respectivement associés aux différentes profondeurs de la pluralité de profondeurs, et association de la profondeur ainsi déterminée à cet élément. - for each element of the depth map, determination of the depth for which the sharpness metric is maximum among a set of segments aligned in said given direction and respectively associated with the different depths of the plurality of depths, and association of the depth as well determined to this element.
Lorsque l’hologramme numérique est représenté par des coefficients respectivement associés à des ondelettes, la reconstruction du champ lumineux est réalisée au moyen de ces coefficients. When the digital hologram is represented by coefficients respectively associated with wavelets, the reconstruction of the light field is carried out by means of these coefficients.
Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres. Of course, the different characteristics, variants and embodiments of the invention can be associated with each other in various combinations insofar as they are not incompatible or mutually exclusive.
Description détaillée de l'invention Detailed description of the invention
De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l'invention et où : In addition, various other characteristics of the invention emerge from the appended description given with reference to the drawings which illustrate non-limiting embodiments of the invention and in which:
- la figure 1 représente un dispositif de codage selon un exemple de mise en oeuvre de l’invention ; - la figure 2 représente des étapes d’un procédé de codage conforme aux enseignements de l’invention ; FIG. 1 represents a coding device according to an exemplary implementation of the invention; FIG. 2 represents the steps of a coding method in accordance with the teachings of the invention;
- la figure 3 représente le positionnement relatif d’un hologramme numérique et de la scène que cet hologramme numérique représente ; - Figure 3 shows the relative positioning of a digital hologram and the scene that this digital hologram represents;
- la figure 4 illustre schématiquement le calcul des résidus lors du codage ; et FIG. 4 schematically illustrates the calculation of the residues during coding; and
- la figure 5 représente des étapes d’un procédé de construction d’une carte de profondeur à partir d’un hologramme numérique. - Figure 5 shows steps in a method of constructing a depth map from a digital hologram.
Le dispositif de codage 1 de la figure 1 comprend un processeur 2 et un dispositif de mémorisation 4 (tel qu’un disque dur ou une mémoire). Le dispositif de codage 1 peut également comprendre un circuit de communication 6 permettant au processeur 2 d’échanger des données avec un dispositif électronique externe (non représenté). The encoding device 1 of FIG. 1 comprises a processor 2 and a storage device 4 (such as a hard disk or a memory). The encoding device 1 can also include a communication circuit 6 allowing the processor 2 to exchange data with an external electronic device (not shown).
Le dispositif de mémorisation 4 mémorise au moins deux hologrammes numériques H1,, H2 (représentés chacun par un ensemble de coefficients comme expliqué plus loin) faisant partie d’une séquence d’hologrammes numériques (cette séquence étant destinée à reproduire l’évolution dans le temps d’une scène tridimensionnelle donnée). The storage device 4 stores at least two digital holograms H 1 ,, H 2 (each represented by a set of coefficients as explained below) forming part of a sequence of digital holograms (this sequence being intended to reproduce the evolution in the time of a given three-dimensional scene).
Dans l’exemple décrit ici, le dispositif de mémorisation 4 mémorise en outre une représentation tridimensionnelle Si ; S2 de la scène tridimensionnelle représentée par chacun des hologrammes numériques H1, H2. En variante toutefois, aucune représentation tridimensionnelle de la scène pourrait n’être présente au sein du dispositif de codage 1. C’est notamment le cas lorsque les hologrammes numériques H1, H2 sont reçus par le dispositif de codage 1 via le circuit de communication 6. In the example described here, the storage device 4 furthermore stores a three-dimensional representation Si; S2 of the three-dimensional scene represented by each of the digital holograms H 1 , H 2 . As a variant, however, no three-dimensional representation of the scene could be present within the coding device 1. This is particularly the case when the digital holograms H 1 , H 2 are received by the coding device 1 via the encoding circuit. communication 6.
Les hologrammes numériques H1, H2 peuvent en effet en pratique être construits (au préalable du procédé de codage décrit ci-dessous) au sein du dispositif de codage 1 sur la base des représentations tridimensionnelles Si, S2 (par exemple comme décrit dans l’article "View-dependent compression of digital hologram based on matching pursuit' déjà mentionné), ou être reçus en provenance d’un dispositif électronique extérieur. The digital holograms H 1 , H 2 can indeed in practice be constructed (prior to the coding method described below) within the coding device 1 on the basis of the three-dimensional representations Si, S2 (for example as described in 'article "View-dependent compression of digital hologram based on matching pursuit" already mentioned), or be received from an external electronic device.
Le dispositif de mémorisation 4 mémorise également des instructions de programme d’ordinateur conçues pour mettre en oeuvre un procédé tel que décrit ci- dessous en référence à la figure 2 lorsque ces instructions sont exécutées par le processeur 2. On se place pour la suite de la description dans un contexte tel que celui représenté à la figure 3 : en utilisant un repère (O, x, y, z), les hologrammes numériques H1, H2 sont définis dans le plan d’équation z=0. The storage device 4 also stores computer program instructions designed to implement a method as described below with reference to FIG. 2 when these instructions are executed by the processor 2. For the remainder of the description, we take a context such as that shown in FIG. 3: using a reference (O, x, y, z), the digital holograms H 1 , H 2 are defined in the plane of equation z = 0.
Les hologrammes numériques H1,, H2 sont ici représentés respectivement par deux ensembles de coefficients réels c1(k,s,X), C2(k,s,X), chaque coefficient c1(k,s,X), C2(k,s,X) étant associé à une ondelette de Gabor-Morlet Yk,s,X définie par les paramètres k, s, X, où The digital holograms H 1 ,, H 2 are represented here respectively by two sets of real coefficients c 1 (k, s, X), C 2 (k, s, X), each coefficient c 1 (k, s, X) , C2 (k, s, X) being associated with a Gabor-Morlet wavelet Y k, s, X defined by the parameters k, s, X, where
- k est un paramètre (entier) qui définit l’orientation qk de l’ondelette, avec qk = 2pk/N (k variant entre 0 et N-1 ) ; - k is a parameter (integer) which defines the orientation q k of the wavelet, with q k = 2pk / N (k varying between 0 and N-1);
- s est un paramètre (entier) qui définit la dilatation des fréquences spatiales (s variant entre 1 et a) ; - s is a parameter (integer) which defines the expansion of the spatial frequencies (s varying between 1 and a);
- X est un couple d’entiers qui définissent respectivement les coordonnées spatiales bidimensionnelles dans le plan de l’hologramme numérique (c’est-à-dire le plan (O, x, y) en figure 3), avec X ϵ [0,Nx[x[0,Ny[. - X is a couple of integers which respectively define the two-dimensional spatial coordinates in the plane of the digital hologram (i.e. the plane (O, x, y) in figure 3), with X ϵ [0 , N x [x [0, N y [.
Les valeurs N, a, Nx et Ny sont fixes pour la représentation considérée. The values N, a, N x and N y are fixed for the representation considered.
Autrement dit, chaque ondelette de Gabor-Morlet Yk,s,X est définie par un multiplet de coordonnées k, s, X dans un espace pluridimensionnel (ici à 4 dimensions). In other words, each Gabor-Morlet wavelet Y k, s, X is defined by a multiplet of coordinates k, s, X in a multidimensional space (here in 4 dimensions).
On dénomme dans la suite " premiers coefficients " les coefficients c1(k,s,X) représentant l’hologramme numérique Hi et " seconds coefficients " les coefficients c2(k,s,X) représentant l’hologramme numérique H2. Hereinafter referred to as “first coefficients” the coefficients c 1 (k, s, X) representing the digital hologram Hi and “second coefficients” the coefficients c 2 (k, s, X) representing the digital hologram H 2 .
On notera respectivement Xx et Xy la première et deuxième composante de X.We will denote respectively X x and X y the first and second component of X.
Les hologrammes numériques H1, H2 pourraient donc être reconstruits comme suit : The digital holograms H 1 , H 2 could therefore be reconstructed as follows:
H1 = Sk,s,X C1(k,s,X). Yk,s,X H 1 = S k, s, X C 1 (k, s, X). Y k, s, X
H2 = Sk,s,X C2(k,s,X). Yk,s,X H 2 = S k, s, X C 2 (k, s, X). Y k, s, X
(la sommation s’effectuant pour tous les entiers k compris entre 0 et N-1 , pour tous les entiers s compris entre 1 et a et pour tous les couples X d’entiers compris dans [0, Nx[x[0, Ny[), (the summation being performed for all the integers k included between 0 and N-1, for all the integers s between 1 and a and for all the pairs X of integers included in [0, N x [x [0, N y [),
avec Yk,s,X la fonction définie parYk,s,X (Y) = 1/s .F(Rk -1[(Y-hx)/(s. Ds)]) pour Y ϵwith Y k, s, X the function defined by Y k, s, X (Y) = 1 / s .F (R k -1 [(Y-hx) / (s. D s )]) for Y ϵ
R2, R 2 ,
où hx = (Xx.Dx, Xy. Dy), Dx et Dy et Ds désignent des pas de discrétisation respectivement de la première composante spatiale dans le plan de l’hologramme, de la seconde composante spatiale dans le plan de l’hologramme et de la dilatation des fréquences spatiales, pour A ϵ R2,where hx = (X x .D x , X y . D y ), D x and D y and D s denote discretization steps respectively of the first spatial component in the plane of the hologram, of the second spatial component in the plane of the hologram and the expansion of spatial frequencies, for A ϵ R 2 ,
où |A| et Ax désignent respectivement la norme (ou module) de A et sa première composante, exp est la fonction exponentielle (exp(r) = er), f un paramètre (prédéfini pour la représentation concernée) et where | A | and A x denote respectively the norm (or modulus) of A and its first component, exp is the exponential function (exp (r) = e r ), f a parameter (predefined for the representation concerned) and
On décrit à présent en référence à la figure 2 un exemple de procédé de codage conforme à l’invention. Ce procédé vise un codage différentiel de l’hologramme numérique H2 sur la base de l’hologramme numérique H1. Dans ce codage différentiel, l’hologramme numérique H1 est utilisé comme hologramme numérique de référence. With reference to FIG. 2, an example of a coding method in accordance with the invention is now described. This method aims at a differential coding of the digital hologram H 2 on the basis of the digital hologram H 1 . In this differential coding, the digital hologram H 1 is used as the reference digital hologram.
Ce procédé débute ici par une étape E2 de segmentation des coefficients en ensembles de coefficients E, respectivement associés à des parties P, de la scène (ce qui revient à regrouper les ondelettes Yk,s,X en groupes d’ondelettes respectivement associés à ces parties P, de la scène). This method begins here with a step E2 of segmentation of the coefficients into sets of coefficients E, respectively associated with parts P, of the scene (which amounts to grouping the wavelets Y k, s, X into groups of wavelets respectively associated with these parts P, of the scene).
Chaque partie P, de la scène est formée par un ensemble de points d’une même région susceptibles d’avoir un mouvement semblable. On dénomme dans la suite " composante connexe " une telle partie P, de la scène. En pratique, il s’agit par exemple d’un objet de la scène. Each part P of the scene is formed by a set of points from the same region that may have a similar movement. Such a part P, of the scene is referred to below as a “connected component”. In practice, this is, for example, an object in the scene.
Dans l’exemple décrit ici, les composantes connexes P, sont par exemple identifiées sur la base de la représentation tridimensionnelle Si de la scène (représentation tridimensionnelle correspondant à l’hologramme numérique H1). In the example described here, the connected components P, are for example identified on the basis of the three-dimensional representation Si of the scene (three-dimensional representation corresponding to the digital hologram H 1 ).
En variante, les composantes connexes P, peuvent être reconstruites à partir d’un hologramme numérique (ici H1), , par exemple au moyen d’une carte de profondeur, comme décrit plus loin. As a variant, the connected components P, can be reconstructed from a digital hologram (here H 1 ), for example by means of a depth map, as described below.
Dans l’étape E2, pour chaque coefficient c1(k,s,X) de l’hologramme numérique H1,, on détermine quelle partie P, (ou composante connexe) de la scène est traversée par une droite D (représentant un rayon lumineux associé à rondelette Yk,s,X) passant par le point de coordonnées X (dans le plan de l’hologramme numérique) et orientée selon le vecteur directeur Vk,s de coordonnées : In step E2, for each coefficient c 1 (k, s, X) of the digital hologram H 1 ,, it is determined which part P, (or connected component) of the scene is crossed by a straight line D (representing a light ray associated with a patch Y k, s, X ) passing through the point of coordinates X (in the plane of the digital hologram) and oriented according to the directing vector V k, s of coordinates:
(cos[qk].sin[fs], sin[qk].sin[fs], cos[fs]), avec fs = arcsin(lf/(s.DS)) (où l est la longueur d’onde de référence de l’hologramme numérique). (cos [q k ] .sin [f s ], sin [q k ] .sin [f s ], cos [f s ]), with f s = arcsin (lf / (sD S) ) (where l is the reference wavelength of the digital hologram).
Le coefficient c1(k,s,X) est alors placé dans l’ensemble E associé à la partie P, traversée par cette droite D. The coefficient c 1 (k, s, X) is then placed in the set E associated with the part P, crossed by this line D.
On construit ainsi une pluralité d’ensembles Ei, chaque ensemble E, comprenant des coefficients c1(k,s,X) associés à des ondelettes Yk,s,X qui modélisent des rayons lumineux ayant une intersection avec la partie P, associée à l’ensemble E, concerné. Autrement dit, chaque ensemble E, correspond à un groupe d’ondelettes Yk,s,x qui modélisent des rayons lumineux ayant une intersection avec la partie P associée à l’ensemble E, concerné. We thus construct a plurality of sets E i , each set E, comprising coefficients c 1 (k, s, X) associated with wavelets Y k, s, X which model light rays having an intersection with the part P, associated with the set E, concerned. In other words, each set E, corresponds to a group of wavelets Y k, s, x which model light rays having an intersection with the part P associated with the set E, concerned.
Dans certaines modes de réalisation (par exemple lorsque la scène contient un seul objet, soit une seule composante connexe P1), l’étape de segmentation E2 pourrait être omise. On considère dans ce cas dans la suite qu’un seul ensemble E, de coefficients (en l’occurrence l’ensemble E1) est traité. In certain embodiments (for example when the scene contains a single object, ie a single connected component P 1 ), the segmentation step E2 could be omitted. In this case, it is considered in the following that a single set E, of coefficients (in this case the set E 1 ) is processed.
Le procédé de la figure 2 se poursuit par une étape E4 à laquelle est déterminée une transformation rigide F, pour chaque composante connexe (ou partie) P, de la scène. The method of FIG. 2 continues with a step E4 at which a rigid transformation F is determined, for each connected component (or part) P, of the scene.
Cette transformation rigide F, est par exemple déterminée en analysant le mouvement de la composante connexe P, entre la scène représentée par l’hologramme H1 et la scène représentée par l’hologramme H2. This rigid transformation F is for example determined by analyzing the movement of the connected component P, between the scene represented by the hologram H 1 and the scene represented by the hologram H 2.
Cette analyse de mouvement est par exemple réalisée par comparaison de la représentation tridimensionnelle Si (scène représentée par l’hologramme numérique H1), et de la représentation tridimensionnelle S2 (scène représentée par l’hologramme numérique H2). On se référera par exemple à ce sujet à l’article "A Hierarchical Method for 3D Rigid Motion Estimation", de Srinark T., Kambhamettu C., Stone M. in Computer Vision - ACCV 2006. ACCV 2006 Lecture Notes in Computer Science, vol 3852. Springer, Berlin, Heidelberg. This motion analysis is for example performed by comparing the three-dimensional representation Si (scene represented by the digital hologram H 1 ), and the three-dimensional representation S2 (scene represented by the digital hologram H 2 ). We refer for example on this subject to the article "A Hierarchical Method for 3D Rigid Motion Estimation", by Srinark T., Kambhamettu C., Stone M. in Computer Vision - ACCV 2006. ACCV 2006 Lecture Notes in Computer Science, flight 3852. Springer, Berlin, Heidelberg.
En variante, cette analyse de mouvement pourrait être réalisée par comparaison d’une première carte de profondeur dérivée (comme expliqué plus bas) de l’hologramme numérique H1 et d’une seconde carte de profondeur dérivée (comme expliqué plus bas) de l’hologramme numérique H2. De telles cartes de profondeur permettent de se ramener au cas tridimensionnel précité. Pour chaque composante connexe P,, on décompose classiquement la transformation rigide F, en une translation ti = (tix, tiy, tiz) et une rotation ri qui peut s’écrire (en utilisant les angles d’Euler) sous forme matricielle au moyen des trois matrices suivantes : As a variant, this motion analysis could be performed by comparing a first depth map derived (as explained below) from the digital hologram H 1 and a second depth map derived (as explained below) from l digital hologram H 2. Such depth maps make it possible to come back to the above-mentioned three-dimensional case. For each connected component P ,, we classically decompose the rigid transformation F, into a translation t i = (t i x, t i y, t i z) and a rotation r i which can be written (using the angles d 'Euler) in matrix form using the following three matrices:
Le procédé de la figure 2 comprend alors une étape E6 de détermination, pour chaque ensemble Ei de coefficients, d’une transformation linéaire T, du domaine espace-fréquence sur la base de la transformation rigide déterminée à l’étape E4 pour la composante connexe P, associée à l’ensemble Ei concerné. The method of FIG. 2 then comprises a step E6 of determining, for each set E i of coefficients, a linear transformation T, of the space-frequency domain on the basis of the rigid transformation determined in step E4 for the component connected P, associated with the set E i concerned.
Dans l’exemple décrit ici, la transformation linéaire Ti est définie comme suit (sur la base de la transformation rigide Fi correspondante) : In the example described here, the linear transformation T i is defined as follows (on the basis of the corresponding rigid transformation F i ):
où l est la longueur d’onde de référence déjà mentionnée et l2 la matrice identité à 2 lignes et 2 colonnes. where l is the already mentioned reference wavelength and l 2 the identity matrix with 2 rows and 2 columns.
Le procédé de la figure 2 comprend alors à l’étape E8 la construction d’un hologramme numérique prédit Hp en fonction de l’hologramme numérique H1 et au moyen des transformations linéaires Ti déterminées à l’étape E6. The method of FIG. 2 then comprises in step E8 the construction of a predicted digital hologram H p as a function of the digital hologram H 1 and by means of the linear transformations Ti determined in step E6.
Pour ce faire, pour chaque coefficient c1(k,s,X) associé à une ondelette Yk,s,X définie par le multiplet (k,s,X) au sein de l’hologramme numérique H1, on détermine à quelle ondelette Yk,s,X s’applique ce coefficient c1(k,s,X) au sein de l’hologramme prédit Hp au moyen de la transformation Ti associée à l’ensemble Ei contenant ce coefficient c1(k,s,X) : To do this, for each coefficient c 1 (k, s, X) associated with a wavelet Y k, s, X defined by the multiplet (k, s, X) within the digital hologram H 1 , we determine at which wavelet Y k, s, X applies this coefficient c 1 (k, s, X) within the predicted hologram H p by means of the transformation T i associated with the set E i containing this coefficient c 1 (k, s, X):
en posant x1 = f.[cos(qk)]/(s.Ds), x2 = f.[sin(qk)]/ (s.Ds) et h=( hx, hy)=(Xx.Dx, Xy.Dy on calcule by setting x1 = f. [cos (q k )] / (sD s ), x2 = f. [sin (q k )] / (sD s ) and h = (h x , h y ) = (X x . D x , X y. D y we calculate
et, en posant q‘ = atan2( x1, x2), on a alors : and, by setting q ‘= atan2 (x1, x2), we then have:
k’ = ent(Nq'/p ), où ent est la fonction " partie entière", s’ = ent(f/[SQRT(x' +x' 2 2).Ds)]) et X’ = (ent(h'x/Dx), ent(h'/Dx) , k '= ent (Nq' / p), where ent is the function "integer part", s '= ent (f / [SQRT (x' + x ' 2 2 ) .Ds)]) and X' = (ent (h'x / Dx), ent (h '/ Dx),
avec h’=( h’x, h’y). with h '= (h' x , h'y).
Autrement dit, pour chaque ensemble E, de coefficients, on définit (comme il vient d’être indiqué), à l’aide de la transformation Ti associée à cet ensemble E,, une transformation G, dans l’espace pluridimensionnel (ici à 4 dimensions) telle qu’un coefficient c1(k,s,X) faisant partie de l’ensemble E, et appliqué à rondelette Yk,s,X dans l’hologramme numérique H1 est appliqué à l'ondelette YGi(k,s,X) dans l’hologramme numérique prédit Hp, comme schématiquement représenté en figure 4. (On a donc : (k’,s’,X’) = Gi(k,s,X).) In other words, for each set E, of coefficients, one defines (as it has just been indicated), using the transformation T i associated with this set E ,, a transformation G, in the multidimensional space (here 4-dimensional) such that a coefficient c 1 (k, s, X) being part of the set E, and applied to a small Y k, s, X in the digital hologram H 1 is applied to the Y wavelet Gi (k, s, X) in the digital hologram predicts H p , as schematically represented in figure 4. (We therefore have: (k ', s', X') = G i (k, s, X). )
Cette transformation G, est ainsi la transformation qui correspond, dans l’espace pluridimensionnel des coordonnées de définition des ondelettes, à la transformation rigide F, de la composante connexe P,. Cette transformation linéaire G, est valable pour les coefficients de l’ensemble E, associé à cette composante connexe P,. This transformation G, is thus the transformation which corresponds, in the multidimensional space of the definition coordinates of the wavelets, to the rigid transformation F, of the connected component P ,. This linear transformation G, is valid for the coefficients of the set E, associated with this connected component P ,.
L’hologramme numérique prédit Hp peut donc s’écrire The predicted digital hologram H p can therefore be written
Hp = Sk,s,X C1 (k, S,X). YGi(k,s,X) H p = S k, s, X C 1 (k, S, X). Y Gi (k, s, X)
Dans cette sommation, on ne tiendra pas compte des coefficients c1(k,s,X) pour lesquels l’image Gi(k,s,X) est en dehors du domaine des valeurs utilisées dans la représentation concerné, c’est-à-dire ici en dehors de la partie suivante de l’espace pluridimensionnel : [0,N-1 ]x[1 ,a]x[0,Nx[x[0,Ny[. Ces coefficients correspondent en effet à des rayons qui sortent du cadre de l’hologramme numérique. In this summation, we will not take into account the coefficients c 1 (k, s, X) for which the image G i (k, s, X) is outside the domain of values used in the representation concerned, it is ie here outside the following part of the multidimensional space: [0, N-1] x [1, a] x [0, N x [x [0, N y [. These coefficients correspond in fact to rays which go beyond the framework of the digital hologram.
Le procédé de la figure 2 comprend ensuite une étape E10 de détermination d’un ensemble de résidus par différence entre l’hologramme numérique H2 (hologramme numérique à coder) et l’hologramme numérique Hp prédit sur la base de l’hologramme numérique Hi (hologramme numérique de référence). The method of FIG. 2 then comprises a step E10 for determining a set of residues by difference between the digital hologram H 2 (hologram to be encoded) and the digital hologram H p predicted on the basis of the digital hologram Hi (digital reference hologram).
Précisément, pour chaque coefficient C2(k’,s’,X’) de l’hologramme numérique H2 (ce coefficient étant relatif à une ondelette Yk',s',X ' définie par le multiplet (k’,s’,X’)), on détermine un résidu l k',s',' par différence entre ce coefficient C2(k’,s’,X’) et le coefficient relatif à la même ondelette Yk',s',X ' dans l’hologramme numérique prédit Hp, soit c1(k,s,X), comme illustré en figure 4, avec (k’,s’,X’) = Gi(k,s,X) comme déjà indiqué. On a ainsi : Precisely, for each coefficient C 2 (k ', s', X') of the digital hologram H 2 (this coefficient being relative to a wavelet Y k ', s', X' defined by the multiplet (k ', s ', X')), we determine a residue l k ', s', ' by the difference between this coefficient C2 (k', s ', X') and the coefficient relating to the same wavelet Y k ', s', X ' in the digital hologram predicts H p , or c 1 (k, s, X), as shown in figure 4, with (k', s ', X') = Gi (k, s, X) as already indicated. We thus have:
l k',s',' = c2(k’,s’,X’) - C1(k,s,X). l k ', s', ' = c 2 (k', s ', X') - C 1 (k, s, X).
Chaque résidu est donc déterminé par différence entre un coefficient c2(k’,s’,X’), associé (dans l’hologramme numérique H2) à rondelette Yk',s',X ' définie par le multiplet (k’,s’,X’), et un coefficient c1(k,s,X), associé dans l’hologramme numérique H1,, à une ondelette Yk,s,X définie par un multiplet (k,s,X) ayant pour image le multiplet (k’,s’,X’) par la transformation G, associée à l’ensemble E, comprenant le coefficient c1(k,s,X). Each residue is therefore determined by the difference between a coefficient c 2 (k ', s', X '), associated (in the digital hologram H 2 ) with a roundet Y k', s ', X' defined by the multiplet (k ', s', X'), and a coefficient c 1 (k, s, X), associated in the digital hologram H 1 ,, to a wavelet Y k, s, X defined by a multiplet (k, s, X) having for image the multiplet (k ', s', X') by the transformation G, associated with the set E, comprising the coefficient c 1 (k, s, X).
Le procédé de la figure 2 comprend enfin une étape E12 de codage des résidus The method of FIG. 2 finally comprises a step E12 for coding the residues
Ik’,s’,X’· Ik ’, s’, X ’·
On procède par exemple comme suit pour ce faire : For example, we proceed as follows to do this:
- ordonnancement des résidus l k',s',' s'elon un ordre prédéterminé des multiplets- ordering of the residues l k ', s', ' according to a predetermined order of the bytes
(k’,s’,X’) ; (k ’, s’, X ’);
- codage entropique des résidus ordonnés à l’aide d’un procédé de type codage de Huffman ou codage arithmétique. - entropy coding of ordered residues using a method such as Huffman coding or arithmetic coding.
Dans l’exemple qui vient d’être décrit, le codage différentiel de l’hologramme numérique H2 est réalisé en référence à un seul hologramme numérique H1,. En variante, on pourrait prévoir de coder l’hologramme numérique H2 en référence à deux hologrammes numériques situées respectivement avant et après l’hologramme numérique H2 dans la séquence d’hologrammes numériques. In the example which has just been described, the differential coding of the digital hologram H 2 is carried out with reference to a single digital hologram H 1 ,. As a variant, provision could be made to encode the digital hologram H 2 with reference to two digital holograms located respectively before and after the digital hologram H 2 in the sequence of digital holograms.
Dans ce cas, la valeur des coefficients prédits de façon bidirectionnelle peut être égale à la moyenne des coefficients prédits à partir desdits deux hologrammes numériques. In this case, the value of the bidirectionally predicted coefficients may be equal to the average of the coefficients predicted from said two digital holograms.
Par exemple, si on note H3 un hologramme numérique postérieur à l’hologramme numérique H2 dans la séquence d’hologramme numériques et c3 les coefficients de cet hologramme numérique H3, le résidu sera défini par : For example, if we denote by H 3 a digital hologram subsequent to the digital hologram H 2 in the digital hologram sequence and c 3 the coefficients of this digital hologram H 3 , the residue will be defined by:
lk-,s',x· = c2(k’,s’,X’) - (c1(k,s,X) + c3(k”,s”,X”))/2, où comme précédemment (k’,s’,X’) = Gi(k,s,X) et où (k’,s’,X’) = G’i(k”,s”,X”), avec G'i une transformation définie de manière analogue à la transformation G,, mais cette fois sur la base d’une transformation rigide F’, déterminée en fonction de l’évolution d’une composante connexe P, de la scène représentée par l’hologramme numérique H3 à la scène représentée par l’hologramme numérique H2. l k-, s ' , x = c 2 (k', s ', X') - (c 1 (k, s, X) + c 3 (k ”, s”, X ”)) / 2, where as before (k ', s', X ') = Gi (k, s, X) and where (k', s ', X') = G'i (k ”, s”, X ”), with G'i a transformation defined analogously to the transformation G ,, but this time on the basis of a rigid transformation F ', determined as a function of the evolution of a connected component P, of the scene represented by the digital hologram H 3 to the scene represented by digital hologram H 2 .
La figure 5 représente des étapes d’un procédé de construction d’une carte de profondeur à partir d’un hologramme numérique H (ce procédé pouvant être appliqué à l’hologramme Hi et/ou à l’hologramme H2 comme déjà indiqué). FIG. 5 represents steps of a method of constructing a depth map from a digital hologram H (this method can be applied to the hologram Hi and / or to the hologram H 2 as already indicated) .
La profondeur s’entend ici selon la direction (Oz). Depth here is understood in direction (Oz).
On note Mx et My les résolutions horizontale et verticale souhaitées pour la carte de profondeur, et Mz le nombre de niveaux de la carte de profondeur. We denote by M x and M y the desired horizontal and vertical resolutions for the depth map, and M z the number of levels of the depth map.
On note enfin zmin et zmax les valeurs minimales et maximales de la coordonnée en z dans la scène (ces valeurs étant prédéfinies). Finally, we denote z min and z max the minimum and maximum values of the z coordinate in the scene (these values being predefined).
Le procédé de la figure 5 commence par une étape E20 à laquelle une variable d est initialisée à la valeur 0. The method of FIG. 5 begins with a step E20 at which a variable d is initialized to the value 0.
Le procédé comprend alors une étape E22 de reconstruction du champ lumineux U à la profondeur Zd = d.(zmax - zmin)/Mz + zmin, par exemple en utilisant la propagation du spectre angulaire : The method then comprises a step E22 for reconstructing the light field U at the depth Z d = d. (Z max - z min ) / M z + z min , for example using the propagation of the angular spectrum:
U = F-1{F(H).exp(2TTizd.SQRT[l-2-fx 2-fy 2])}, U = F -1 {F (H) .exp (2TTiz d .SQRT [l- 2 -f x 2 -f y 2 ])},
où SORT est la fonction racine carrée, F et F-1 sont les transformées de Fourier directe et inverse, respectivement, et fx et fy sont les coordonnées fréquentielles de l’hologramme dans le domaine de Fourier. where SORT is the square root function, F and F -1 are the forward and reverse Fourier transforms, respectively, and f x and f y are the frequency coordinates of the hologram in the Fourier domain.
Le procédé comprend ensuite une étape E24 de segmentation du champ reconstruit U en Mx.My segments (rectangulaires), chaque segment ayant une résolution horizontale Kx et une résolution verticale Ky. (Le champ reconstruit grâce à l’hologramme H à une résolution horizontale Nx et une résolution verticale Ny comme déjà indiqué et on a donc : MX.KX = Nx et My.Ky = Ny.) The method then comprises a step E24 of segmenting the reconstructed field U into M x .M y segments (rectangular), each segment having a horizontal resolution K x and a vertical resolution K y . (The field reconstructed using the hologram H at a horizontal resolution N x and a vertical resolution N y as already indicated and we therefore have: M X .K X = N x and M y .K y = N y .)
Le procédé comprend alors une étape E26 de calcul d’une métrique de netteté v pour chacun des segments obtenus à l’étape E24. Si on référence chaque segment par un indice horizontal i et un indice vertical j, on calcule la valeur v[i,j,d] de la métrique de netteté pour chaque segment d’indices i, j, ici au moyen de la variance normalisée : où est l’intensité moyenne du champ sur le segment concerné : The method then comprises a step E26 of calculating a sharpness metric v for each of the segments obtained in step E24. If we refer to each segment by a horizontal index i and a vertical index j, we calculate the value v [i, j, d] of the sharpness metric for each segment of indices i, j, here by means of the normalized variance : where is the average intensity of the field on the segment concerned:
On pourra utiliser en variante une autre métrique de netteté, par exemple l’une des métriques mentionnées dans l’article " Comparative analysis of autofocus functions in digital in-line phase-shifting holographÿ', de E. S. R. Fonseca, P. T. Fiadeiro, M. Pereira, and A. Pinheiro in Appl. Opt., AO, vol. 55, no. 27, pp. 7663-7674, Sep. 2016. As a variant, another sharpness metric could be used, for example one of the metrics mentioned in the article "Comparative analysis of autofocus functions in digital in-line phase-shifting holographÿ ', by ESR Fonseca, PT Fiadeiro, M. Pereira , and A. Pinheiro in Appl. Opt., AO, vol. 55, no. 27, pp. 7663-7674, Sep. 2016.
(Un tel calcul de métrique de netteté est réalisé pour tous les segments, soit pour tout i compris entre 0 et Mx-1 et pour tout j compris entre 0 et My-1.) (Such a calculation of a sharpness metric is carried out for all the segments, that is to say for all i included between 0 and M x -1 and for all j included between 0 and M y -1.)
Le traitement relatif à la profondeur Zd associée à la variable d courante est alors terminé. The processing relating to the depth Z d associated with the current variable d is then terminated.
Le procédé comprend alors une étape E28 d’incrémentation de la variable d et une étape E30 de test de l’égalité entre la valeur courante de la variable d et le nombre Mz de niveaux de la carte de profondeur. The method then comprises a step E28 of incrementing the variable d and a step E30 of testing the equality between the current value of the variable d and the number Mz of levels of the depth map.
En cas d’égalité (flèche P), tous les niveaux ont été traités et le procédé se poursuit à l’étape E32 décrite plus bas. In the event of a tie (arrow P), all the levels have been processed and the process continues at step E32 described below.
En l’absence d’égalité à l’étape E30 (flèche N), le procédé boucle à l’étape E22 pour traitement du niveau de profondeur Zd correspondant à la (nouvelle) valeur courante de la variable d. In the absence of equality in step E30 (arrow N), the method loops to step E22 for processing the depth level Z d corresponding to the (new) current value of the variable d.
Le procédé peut alors construire à l’étape E32 la carte de profondeur D en choisissant, pour chaque élément de la carte (ici repéré par les indices i,j), la profondeur (notée ici D[i,j]) pour laquelle la métrique de netteté est maximale (parmi les différents segments alignés selon l’axe Oz, tous ici d’indices i,j, et associés respectivement aux différentes profondeurs pour d variant de 0 à Mz-1 ). Avec les notations déjà utilisées, on a : The method can then construct in step E32 the depth map D by choosing, for each element of the map (here identified by the indices i, j), the depth (denoted here D [i, j]) for which the sharpness metric is maximum (among the different segments aligned along the Oz axis, all here with indices i, j, and associated respectively with the different depths for d varying from 0 to M z -1). With the notations already used, we have:
D[i,j] = argmaxd v[i,j,d]. D [i, j] = argmax d v [i, j, d].
On obtient ainsi une valeur de profondeur D[i,j] pour tous les éléments de la carte de profondeur D, c’est-à-dire ici pour tout i compris entre 0 et Mx-1 et pour tout j compris entre 0 et My-1 . We thus obtain a depth value D [i, j] for all the elements of the depth D map, i.e. here for all i between 0 and M x -1 and for all j between 0 and M y -1.
La carte de profondeur D ainsi obtenue peut être utilisée comme déjà mentionné pour déterminer les composantes connexes (ou parties) P, de la scène, par exemple au moyen d’un algorithme de partitionnement (ou " clustering algorithm"). On peut utiliser pour ce faire un algorithme de k-moyennes, par exemple tel que décrit dans l’article "Some methods for classification and analysis of multivariate observations", de MacQueen, J. in Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1 : Statistics, 281 --297, University of California Press, Berkeley, Calif. , 1967. The depth map D thus obtained can be used as already mentioned to determine the connected components (or parts) P of the scene, for example by means of a partitioning algorithm (or “clustering algorithm”). A k-means algorithm can be used for this, for example as described in the article "Some methods for classification and analysis of multivariate observations", by MacQueen, J. in Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Statistics, 281 --297, University of California Press, Berkeley, Calif. , 1967.
Dans ce cas, l’algorithme de partitionnement permet de regrouper les segments (ici d’indices i,j) connexes ayant des valeurs de profondeur (ici D[i,j]) proches, les groupes ainsi produits formant les composantes connexes Pi. In this case, the partitioning algorithm makes it possible to group together the connected segments (here of indices i, j) having close depth values (here D [i, j]), the groups thus produced forming the connected components P i .

Claims

Revendications Claims
1. Procédé de codage d’une séquence comprenant au moins un premier hologramme numérique (H1), représentant une première scène et un second hologramme numérique (H2) représentant une seconde scène, le premier hologramme numérique (H1), et le second hologramme numérique (H2) étant représentés au moyen d’un ensemble d’ondelettes définies chacune par un multiplet de coordonnées dans un espace pluridimensionnel, 1. Method for coding a sequence comprising at least a first digital hologram (H 1 ), representing a first scene and a second digital hologram (H 2 ) representing a second scene, the first digital hologram (H 1 ), and the second digital hologram (H 2 ) being represented by means of a set of wavelets each defined by a multiplet of coordinates in a multidimensional space,
le premier hologramme (H1), étant représenté par un ensemble de premiers coefficients (c1(k,s,X)) respectivement associés à certaines au moins des ondelettes dudit ensemble d’ondelettes et le second hologramme (H2) étant représenté par un ensemble de seconds coefficients (C2(k’,s’,X’)) respectivement associés à certaines au moins des ondelettes dudit ensemble d’ondelettes, the first hologram (H 1 ), being represented by a set of first coefficients (c 1 (k, s, X)) respectively associated with at least some of the wavelets of said set of wavelets and the second hologram (H 2 ) being represented by a set of second coefficients (C2 (k ', s', X')) respectively associated with at least some of the wavelets of said set of wavelets,
le procédé de codage comprenant les étapes suivantes : the coding method comprising the following steps:
- pour chacun d’une pluralité de seconds coefficients (C2(k’,s’,X’)), détermination (E10) d’un résidu (l k',s',') par différence entre le second coefficient concerné (C2(k’,s’,X’)), associé à une première ondelette définie par un multiplet donné ((k’,s’,X’)), et le premier coefficient (c1(k,s,X)) associé à une seconde ondelette définie par un multiplet ((k,s,X)) ayant pour image le multiplet donné ((k’,s’,X’)) par transformation (G,) dans l’espace pluridimensionnel ; - for each of a plurality of second coefficients (C 2 (k ', s', X ')), determination (E10) of a residue (l k', s ',' ) by difference between the second coefficient concerned (C2 (k ', s', X ')), associated with a first wavelet defined by a given multiplet ((k', s ', X')), and the first coefficient (c 1 (k, s, X )) associated with a second wavelet defined by a multiplet ((k, s, X)) having for image the given multiplet ((k ', s', X')) by transformation (G,) in multidimensional space;
- codage (E12) des résidus déterminés (l k',s','), - coding (E12) of the determined residues (l k ', s',' ),
dans lequel la transformation (Gi) est déterminée par analyse de variation entre la première scène représentée par le premier hologramme numérique (H1), et la seconde scène représentée par le second hologramme numérique (H2). in which the transformation (G i ) is determined by analysis of the variation between the first scene represented by the first digital hologram (H 1 ), and the second scene represented by the second digital hologram (H 2 ).
2. Procédé selon la revendication 1 , dans lequel ladite variation correspond au mouvement d’un objet entre la première scène et la seconde scène. 2. The method of claim 1, wherein said variation corresponds to the movement of an object between the first scene and the second scene.
3. Procédé selon la revendication 1 ou 2, comprenant, pour au moins un second coefficient hors de ladite pluralité de seconds coefficients, une étape de détermination d’un résidu par différence entre ce second coefficient, associé à une troisième ondelette définie par un autre multiplet donné, et le premier coefficient associé à une quatrième ondelette définie par un autre multiplet ayant pour image l’autre multiplet donné par une autre transformation dans l’espace pluridimensionnel. 3. Method according to claim 1 or 2, comprising, for at least one second coefficient outside of said plurality of second coefficients, a step of determining a residue by difference between this second coefficient, associated with a third wavelet defined by another. given multiplet, and the first coefficient associated with a fourth wavelet defined by another multiplet having for image the other multiplet given by another transformation in multidimensional space.
4. Procédé selon la revendication 3, dans lequel l’autre transformation est déterminée par analyse d’une autre variation entre la première scène et la seconde scène. 4. The method of claim 3, wherein the other transformation is determined by analyzing another variation between the first scene and the second scene.
5. Procédé selon la revendication 3 ou 4, comprenant les étapes suivantes :5. Method according to claim 3 or 4, comprising the following steps:
- répartition d’une partie au moins des ondelettes en différents groupes d’ondelettes respectivement associés à différentes parties (P,) de la première scène ou de la seconde scène ; - distribution of at least part of the wavelets into different groups of wavelets respectively associated with different parts (P,) of the first scene or of the second scene;
- détermination d’une transformation (G,) de l’espace pluridimensionnel pour chaque groupe d’ondelettes ; - determination of a transformation (G,) of the multidimensional space for each group of wavelets;
- pour chacun des seconds coefficients d’un groupe d’ondelettes donné, détermination d’un résidu par différence entre le second coefficient concerné, associé à une cinquième ondelette définie par un multiplet donné, et le premier coefficient associé à une sixième ondelette définie par un multiplet ayant pour image ce multiplet donné par la transformation associée au groupe d’ondelettes donné. - for each of the second coefficients of a given group of wavelets, determination of a residue by the difference between the second coefficient concerned, associated with a fifth wavelet defined by a given multiplet, and the first coefficient associated with a sixth wavelet defined by a multiplet having as an image this multiplet given by the transformation associated with the given wavelet group.
6. Procédé selon l’une des revendications 1 à 5, dans lequel la transformation (Gi) est déterminée en fonction d’un mouvement, entre la première scène et la seconde scène, d’un ensemble de points connexes (Pi). 6. Method according to one of claims 1 to 5, wherein the transformation (G i ) is determined as a function of a movement, between the first scene and the second scene, of a set of connected points (P i ). .
7. Procédé selon l’une des revendications 1 à 6, dans lequel la transformation est déterminée sur la base de représentations tridimensionnelles de la première scène et de la seconde scène. 7. Method according to one of claims 1 to 6, wherein the transformation is determined on the basis of three-dimensional representations of the first scene and the second scene.
8. Procédé selon l’une des revendications 1 à 6, comprenant les étapes suivantes : 8. Method according to one of claims 1 to 6, comprising the following steps:
- construction d’une première carte de profondeur au moyen du premier hologramme numérique (H1), ; - construction of a first depth map using the first digital hologram (H 1 ),;
- construction d’une seconde carte de profondeur au moyen du second hologramme numérique (H2) ; - construction of a second depth map using the second digital hologram (H 2 );
- détermination de la transformation sur la base de la première carte de profondeur et de la seconde carte de profondeur. - determination of the transformation on the basis of the first depth map and the second depth map.
9. Procédé selon la revendication 8, dans lequel, la profondeur étant définie selon une direction donnée (Oz), l’étape de construction de la première carte de profondeur comprend les étapes suivantes : 9. The method of claim 8, wherein, the depth being defined in a given direction (Oz), the step of constructing the first depth map comprises the following steps:
- reconstruction (E22), au moyen du premier hologramme numérique (H1), , du champ lumineux en une pluralité de points ; - reconstruction (E22), by means of the first digital hologram (H 1 ), of the light field at a plurality of points;
- pour chacune d’une pluralité de profondeurs, segmentation (E24) des points associés à la profondeur concernée en une pluralité de segments, et détermination de valeurs d’une métrique de netteté respectivement associées auxdits segments sur la base du champ lumineux reconstruit sur le segment concerné ; - pour chaque élément de la première carte de profondeur, détermination (CONSTR) de la profondeur pour laquelle la métrique de netteté est maximum parmi un ensemble de segments alignés selon ladite direction donnée et respectivement associés aux différentes profondeurs de la pluralité de profondeurs. - for each of a plurality of depths, segmentation (E24) of the points associated with the depth concerned into a plurality of segments, and determination of values of a sharpness metric respectively associated with said segments on the basis of the light field reconstructed on the affected segment; - For each element of the first depth map, determination (CONSTR) of the depth for which the sharpness metric is maximum among a set of segments aligned in said given direction and respectively associated with the different depths of the plurality of depths.
10. Procédé selon l’une des revendications 1 à 9, dans lequel les coordonnées dudit espace pluridimensionnel représentent respectivement un paramètre représentatif d’une première coordonnée spatiale dans le plan de l’hologramme, un paramètre représentatif d’une seconde coordonnée spatiale dans le plan de l’hologramme, un paramètre (s) de dilatation des fréquences spatiales et un paramètre d’orientation (k). 10. Method according to one of claims 1 to 9, wherein the coordinates of said multidimensional space respectively represent a parameter representative of a first spatial coordinate in the plane of the hologram, a parameter representative of a second spatial coordinate in the hologram plane, a spatial frequency expansion parameter (s) and an orientation parameter (k).
1 1 . Dispositif de codage (1 ) d’une séquence comprenant au moins un premier hologramme numérique (H1), représentant une première scène et un second hologramme numérique (H2) représentant une seconde scène, le premier hologramme numérique (H1), et le second hologramme numérique (H2) étant représentés au moyen d’un ensemble d’ondelettes définies chacune par un multiplet de coordonnées dans un espace pluridimensionnel, le dispositif de codage comprenant : 1 1. Coding device (1) of a sequence comprising at least a first digital hologram (H 1 ), representing a first scene and a second digital hologram (H 2 ) representing a second scene, the first digital hologram (H 1 ), and the second digital hologram (H 2 ) being represented by means of a set of wavelets each defined by a byte of coordinates in a multidimensional space, the encoding device comprising:
- une unité de mémorisation (4) d’un ensemble de premiers coefficients (c1(k,s,X)), respectivement associés à certaines au moins des ondelettes dudit ensemble d’ondelettes, et d’un ensemble de seconds coefficients (C2(k’,s’,X’)), respectivement associés à certaines au moins des ondelettes dudit ensemble d’ondelettes, l’ensemble de premiers coefficients (c1(k,s,X)) représentant le premier hologramme numérique (H1), et l’ensemble de seconds coefficients (C2(k’,s’,X’)) représentant le second hologramme numérique (H2) ; - a storage unit (4) of a set of first coefficients (c 1 (k, s, X)), respectively associated with at least some of the wavelets of said set of wavelets, and of a set of second coefficients ( C 2 (k ', s', X')), respectively associated with at least some of the wavelets of said set of wavelets, the set of first coefficients (c 1 (k, s, X)) representing the first digital hologram (H 1 ), and the set of second coefficients (C 2 (k ', s', X')) representing the second digital hologram (H 2 );
- une unité de détermination (2), pour chacun d’une pluralité de seconds coefficients (C2(k’,s’,X’)), d’un résidu (l k',s,') par différence entre le second coefficient concerné (C2(k’,s’,X’)), associé à une première ondelette définie par un multiplet donné ((k’,s’,X’)), et le premier coefficient (c1(k,s,X)) associé à une seconde ondelette définie par un multiplet ((k,s,X)) ayant pour image le multiplet donné ((k’,s’,X’)) par transformation (G,) dans l’espace pluridimensionnel ; - a determination unit (2), for each of a plurality of second coefficients (C 2 (k ', s', X')), of a residue (l k ', s,' ) by difference between the second concerned coefficient (C 2 (k ', s', X ')), associated with a first wavelet defined by a given multiplet ((k', s ', X')), and the first coefficient (c 1 (k , s, X)) associated with a second wavelet defined by a multiplet ((k, s, X)) having for image the multiplet given ((k ', s', X')) by transformation (G,) in l multidimensional space;
- une unité de codage (2) des résidus déterminés (l k',s,'), - a coding unit (2) of the determined residues (l k ', s,' ),
dans lequel l’unité de détermination (2) est conçue pour déterminer la transformation (G,) par analyse de variation entre la première scène représentée par le premier hologramme numérique (H1), et la seconde scène représentée par le second hologramme numérique (H2). wherein the determining unit (2) is adapted to determine the transformation (G,) by analysis of variation between the first scene represented by the first digital hologram (H 1 ), and the second scene represented by the second digital hologram ( H 2 ).
12. Dispositif selon la revendication 11 , dans lequel ladite variation correspond au mouvement d’un objet entre la première scène et la seconde scène. 12. Device according to claim 11, wherein said variation corresponds to the movement of an object between the first scene and the second scene.
EP20733836.9A 2019-07-05 2020-06-24 Method and device for coding a digital hologram sequence Pending EP3994890A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1907555A FR3098367B1 (en) 2019-07-05 2019-07-05 Method and device for encoding a sequence of digital holograms
PCT/EP2020/067744 WO2021004797A1 (en) 2019-07-05 2020-06-24 Method and device for coding a digital hologram sequence

Publications (1)

Publication Number Publication Date
EP3994890A1 true EP3994890A1 (en) 2022-05-11

Family

ID=68138500

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20733836.9A Pending EP3994890A1 (en) 2019-07-05 2020-06-24 Method and device for coding a digital hologram sequence

Country Status (4)

Country Link
US (1) US12132933B2 (en)
EP (1) EP3994890A1 (en)
FR (1) FR3098367B1 (en)
WO (1) WO2021004797A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3118211B1 (en) * 2020-12-23 2025-01-03 Fond B Com Method and device for transmitting data representative of a digital hologram, method and device for constructing a digital hologram and system for transmitting and constructing a digital hologram
WO2023187126A1 (en) 2022-03-31 2023-10-05 Fondation B-Com Method and device for decoding a digital hologram, method and device for encoding a digital hologram, and associated computer program
FR3134199B1 (en) 2022-03-31 2024-03-08 Fond B Com Method for applying a transformation to a digital hologram, digital holography device and associated computer program
FR3141582B1 (en) 2022-10-26 2025-02-28 Fond B Com Method and device for encoding a set of coefficients, method and device for decoding a set of coefficients, associated data stream and computer program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK0921449T3 (en) * 1997-11-20 2001-08-06 Europ Economic Community Computer controlled holographic method and device
EP1008919A1 (en) * 1998-12-09 2000-06-14 Communauté Européenne (CE) Computer assisted holographic method and apparatus for reproducing three-dimensional images
WO2002051157A2 (en) * 2000-12-19 2002-06-27 Pulsent Corporation Adaptive transforms
US6888891B2 (en) * 2002-01-09 2005-05-03 Octa Technology, Inc. Wavelet domain half-pixel motion compensation
US6927886B2 (en) * 2002-08-02 2005-08-09 Massachusetts Institute Of Technology Reconfigurable image surface holograms
US7532772B2 (en) * 2004-07-20 2009-05-12 Duke University Coding for compressive imaging
KR100586026B1 (en) * 2005-03-25 2006-06-02 한국전자통신연구원 Digital hologram encoding and / or decoding device and method thereof
WO2008081459A2 (en) * 2007-01-03 2008-07-10 Numeri Ltd. A method and a system for wavelet based processing
FR2986874A1 (en) * 2012-02-15 2013-08-16 France Telecom HOLOGRAPHIC PATTERN ENCODING METHOD, CORRESPONDING ENCODING DEVICE AND COMPUTER PROGRAM
FR3015743A1 (en) * 2013-12-23 2015-06-26 Orange METHOD OF PROCESSING A SEQUENCE OF HOLOGRAPHIC IMAGES, DEVICES, SIGNALS, DEVICES AND COMPUTER PROGRAM THEREFOR
FR3041440A1 (en) * 2015-09-17 2017-03-24 Orange METHOD FOR PROCESSING A HOLOGRAPHIC IMAGE
EP3522539A1 (en) * 2018-02-01 2019-08-07 Vrije Universiteit Brussel Method and apparatus for compensating motion for a holographic video stream

Also Published As

Publication number Publication date
FR3098367B1 (en) 2023-01-27
US20220272380A1 (en) 2022-08-25
FR3098367A1 (en) 2021-01-08
US12132933B2 (en) 2024-10-29
WO2021004797A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
EP3994890A1 (en) Method and device for coding a digital hologram sequence
US20230196520A1 (en) Inverse kernel-based defocus deblurring method and apparatus
WO2015097358A2 (en) Method for processing a sequence of holographic images, and associated computer program, devices, signals and devices.
EP2815281A1 (en) Method for encoding a holographic pattern, and corresponding encoding device and computer program
WO2000008604A1 (en) Selective mesh refinement
Denoyelle Theoretical and numerical analysis of super-resolution without grid
EP0825556B1 (en) Block transform coder for arbitrarily shaped image segments
WO2017046478A1 (en) Method for processing a holographic image
WO2006040270A2 (en) Method for locally decoding a bit stream of wavelet coefficients
EP4207077A1 (en) Correction of artefacts in tomographic reconstructions by neural networks
FR3140696A1 (en) Method and calculation unit for estimating a depth map from a digital hologram, method for coding a video sequence, computer program
BE1021546B1 (en) METHOD AND SYSTEM FOR STORING WAVEFORM DATA.
FR3141582A1 (en) Method and device for coding a set of coefficients, method and device for decoding a set of coefficients, associated data stream and computer program
EP3814850B1 (en) Method for generating a digital hologram, associated device, holographic display system and computer program
FR3134198A1 (en) Method and device for decoding a digital hologram, method and device for coding a digital hologram and associated computer program
EP4078959B1 (en) Method for encoding a digital image in order to compress same
CN112581362A (en) Image processing method and device for adjusting image details
WO2021259875A1 (en) Method and device for reconstructing a digital hologram, method for displaying a digital hologram and associated system
FR3141785A1 (en) Method and device for estimating a depth map associated with a digital hologram representing a scene and associated computer program
Corda et al. Investigation of coding standards performances on optically acquired and synthetic holograms
WO2023187126A1 (en) Method and device for decoding a digital hologram, method and device for encoding a digital hologram, and associated computer program
FR3156214A1 (en) Method for generating a digital hologram, associated electronic device and system
Tu Quality prediction and visual enhancement of user-generated content
FR2667472A1 (en) REAL-TIME BINARY SEGMENTATION DEVICE OF DIGITAL IMAGES.
FR3142026A1 (en) Detecting objects in an image

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211229

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231026