[go: up one dir, main page]

WO2025190693A1 - Filtrage sélectif d'objets virtuels au sein de scènes tridimensionnelles numériques - Google Patents

Filtrage sélectif d'objets virtuels au sein de scènes tridimensionnelles numériques

Info

Publication number
WO2025190693A1
WO2025190693A1 PCT/EP2025/055532 EP2025055532W WO2025190693A1 WO 2025190693 A1 WO2025190693 A1 WO 2025190693A1 EP 2025055532 W EP2025055532 W EP 2025055532W WO 2025190693 A1 WO2025190693 A1 WO 2025190693A1
Authority
WO
WIPO (PCT)
Prior art keywords
observer
filter
scene
distance
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2025/055532
Other languages
English (en)
Inventor
Renaud Cazoulat
Christophe Daguet
Stephane Denis
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of WO2025190693A1 publication Critical patent/WO2025190693A1/fr
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Definitions

  • the present invention relates to the generation of a three-dimensional scene for an observer, with a view to production on a screen or via a virtual or augmented reality device. It relates more particularly to the modification of a three-dimensional scene for its generation, in which a filter is applied to at least one object in the scene.
  • Some applications allow you to insert modeled people into these three-dimensional scenes. These modeled people are realistic representations of real people.
  • a projection of the scene is therefore calculated as it happens, in real time or near real time, in order to adapt the appearance of the scene to the observer's movements.
  • These movements can be the result of real movements of a user and observer who, for example, has put on an augmented reality headset, or of manipulation of a steering device (such as a joystick for example) for a user/observer facing a computer screen.
  • a steering device such as a joystick for example
  • the observer can therefore approach the modeled person as closely as he wishes, and position himself at any angle in relation to it.
  • This situation can pose different types of problems.
  • the hyper-realistic virtual representation of existing people can pose a problem of "virtual" intimacy. Indeed, in real life, a person consciously or unconsciously has a social distance and will be uncomfortable if approached below this distance. Among other reasons, the intimacy of the body can be cited, which can notably depend on the clothing worn by the modeled person. Since this is a realistic representation, the problem naturally transposes to the virtual world, and the absence of a brake preventing an observer from getting as close as he or she wishes to the representation can therefore pose a problem.
  • the real person associated with the modeled person may not be informed that they are being observed in an unwanted way, i.e. too closely (for example, because they are not connected to the application managing the three-dimensional scene). In real life, they could react by moving away in order to keep their distance, but in such a situation, they cannot react.
  • Formbidden zone mechanisms have been proposed, such as the "guardian” zone of Oculus Quest headsets. Such a zone can be materialized by superimposing the three-dimensional scene viewed by the observer. However, such a mechanism is configured by the user/observer themselves and nothing is provided to physically prevent them from crossing these boundaries.
  • augmented reality environment for example, in which the modeled person corresponds to a specific location in the physical world, it is impossible to constrain the free movement of the observer using a headset or smartphone. The latter can cross these boundaries as if they did not exist.
  • Another problem is defects in the modeled object (whether it is a person or another object).
  • the principle of reconstructing a three-dimensional model of an object is based on taking multiple shots of the object. To do this, a set of cameras can be placed all around the object to be reconstructed. The images from all the cameras at the same time point then allow the reconstruction of a 3D representation, or model.
  • the shots from multiple cameras are not necessarily 360°.
  • the cameras may only be able to film over 180°, if the object is in front of a wall for example, or if the number of cameras available is not sufficient (at least thirty cameras are needed to cover 360°).
  • the capture of the real object is not complete, which can result in visual artifacts in the reconstructed model, more or less significant depending on the geometric complexity of the object.
  • these artifacts can appear and harm the quality of the rendering of the scene, due to the freedom of the observer to move around the objects and as close as he wishes.
  • the resolution of the modeled object cannot be higher than the resolution of the source images from the cameras used to build the model.
  • the resolution of the reconstructed three-dimensional model is therefore optimal when it is displayed with a point of view (of the observer) equivalent to that of the cameras used to take the source images, that is to say when the relative position of the observer corresponds to that of one of the cameras used to build the model.
  • the observer can move freely within the three-dimensional scene, to be displayed at a size corresponding to the relative position between the object and the observer, the object may need to be enlarged (zoomed) by a significant factor. These enlargements can cause visual artifacts to appear that impact the quality of the three-dimensional representation.
  • the invention aims to avoid improving the situation compared to the proposals of the state of the art, and in particular, but not exclusively, to respond to the problems previously mentioned linked to excessive proximity and/or an inadequate observation angle(s).
  • the present invention can be implemented by a method of modifying a captured scene (10) with a view to restitution on an interface, comprising steps of
  • Another aspect of the invention relates to a computer program capable of being implemented on a web server, the program comprising code instructions which, when executed by a processor, carry out the steps of the method as previously defined.
  • Another aspect of the invention relates to a data medium on which at least one series of program code instructions has been stored for the execution of a method as previously defined.
  • These objects can be called “virtual objects” since they are three-dimensional models that exist only in the three-dimensional scene.
  • they can be modeled people, associated with real people.
  • the object (modeled person) can adopt an appearance that is as realistic and faithful as possible to the associated real person.
  • the proposed method aims to modify a previously existing three-dimensional scene before its rendering, or generation, for an observer. Since a three-dimensional scene must be periodically generated in order to account for the movements of the observer and/or the different objects present, this modification method must preferably be implemented at each iteration, that is to say before each generation.
  • the generation of the three-dimensional scene itself is not within the scope of the proposed method, and is part of the techniques accessible to those skilled in the art.
  • different tools or platforms exist commercially and the proposed method can be applied to these existing proposals in order to improve them.
  • this scene is a scene captured for restitution on an interface.
  • Step S7 consists of the generation (or rendering) of the three-dimensional scene for the observer. It can be considered as external and independent of the proposed method, and can be in accordance with the state of the art.
  • This generation can target various types of human-machine interface.
  • it can be a display on a computer screen (including portable devices such as a smartphone), digital tablets, etc.). It can also be a representation for a virtual or augmented reality headset.
  • the proposed method comprises modifying the rendering of the 3D model as a function of the relative position and/or orientation of the object with respect to the observer, with a view to rendering (or generating) the three-dimensional scene comprising the object for observation.
  • a preliminary step S1 consists of determining this relative position and/or orientation. They can be directly deduced from the three-dimensional scene 10 which includes the data of the different objects (fixed or mobile) making up the scene, as well as the parameters of the observer. This information is necessarily available to enable the generation of the three-dimensional scene 10 for the observer (step S7).
  • the arrows indicate the orientations of the observer and the object.
  • the observer has an orientation (or "observation direction") which corresponds to his gaze in the physical world and which is used to enable the generation of the three-dimensional scene 10.
  • this orientation, or observation direction creates a dichotomy between a visible part of the scene (located in front of him, i.e. in an area generally pointed by the arrow) and an invisible part (located behind him, i.e. opposite the visible part in relation to the observer).
  • the relative positions and orientations of an object 11 with respect to an observer can be expressed in different ways, as known to those skilled in the art. For example, it can be a 6-tuple comprising 3 components for a relative position and 3 components for a solid angle. This expression depends on the data representation mode used by the three-dimensional scene 10 and the software application used.
  • the described method may be based on parameters derived from this data.
  • a distance d between the object 11 and the observer 20 is illustrated, as well as an angle ⁇ between their respective orientations.
  • a step S2 the object 11 is extracted from the three-dimensional scene 10.
  • a preliminary criterion can be set up before extraction, so that only a part of the objects are extracted and processed (application of a filter, etc.).
  • This criterion may be based on the position and/or relative orientation of the object 11 with respect to the observer.
  • the object may be selected when at least one parameter derived from the position and/or relative orientation(s) is within a value range.
  • Pre-selection of the object for processing implies that it is not processed (filter applied) if it is not selected. This method makes sense when a filter can only be applied in certain situations; in which case, it is interesting not to extract the object if no filter will be applied, in order to avoid unnecessary digital processing (steps S2, S3, etc.).
  • the object is systematically extracted in step S2, without a prior selection step.
  • This embodiment may make sense in the case where a processing (filter) is systematically applied to the object.
  • the object is identified in the scene 10, when the distance between the object 11 and the observer 20 is less than a given distance and/or during a given relative orientation of the object (with respect to this observer).
  • the object 11 is projected, in a step S3, onto a two-dimensional surface according to the relative position and orientation, in order to obtain a two-dimensional image
  • This projection step S3 can be conventional in itself, that is to say that it can correspond to the projection classically carried out in a generation phase S7 of an object of a three-dimensional scene. It consists of determining an appearance of a three-dimensional object from the point of view of an observer (who observes it according to a two-dimensional representation, typically on a screen).
  • This projection S3 therefore depends on the position and orientation (viewing angle) of the observer 20 and the position and orientation of the object.
  • a digital filter is applied to the previously identified object.
  • the digital filter is applied to the two-dimensional image obtained by the projection of the object.
  • several filters can be applied, in combination or in succession.
  • One of the advantages of the proposed method is that it can use the numerous digital filters available for 2D imaging and apply them, indirectly, to an object in a three-dimensional scene.
  • Another, even more important advantage is that it makes processing on the fly possible, due to the reduction in computational cost brought about by this method.
  • This model is a good compromise between rendering quality and performance for powerful computers with large computing and memory capacities. However, it cannot be applied to devices such as mobile phones or standalone augmented or virtual reality headsets.
  • the static 3D display of an image whose point of view can be modified with the mouse or finger can be satisfied with a refresh rate of a few images per second.
  • rendering In a simulated, augmented, or fully virtual reality context, rendering must be continuous to reflect even the slightest movements of the user/observer. Maintaining a high refresh rate (or "frame rate”), for example between 30 and 60 images per second, is crucial to ensure a good user experience.
  • a realistic 3D model once decompressed for display, can correspond to a large volume of data, typically over 10 MB.
  • This large mass of data makes any real-time processing difficult, if not impossible, especially since the very nature of 3D filters does not facilitate, or even makes it totally impossible, to implement classic filters such as a simple blur.
  • a new object is generated and then, in a step S6, inserted into the three-dimensional scene in place of the original object 11.
  • step S7 The three-dimensional scene 10 is thus modified, before generation for an interface associated with the observer, in step S7. All of steps S1-S6 are designed to allow ongoing processing that does not substantially delay this generation step, so that there is no perceptible impact for the user and observer.
  • Step S5 comprises generating an object whose texture comprises the two-dimensional image resulting from the application of the digital filter(s).
  • this new object can be a rectangle oriented towards the observer.
  • the texture is calculated from the projection of the original object according to the relative positions and orientations, so that the appearance of this textured object corresponds to that which the original object would have from the point of view of the observer, but with, in addition, the application of one or more digital filters.
  • This (or these) applied filter(s) may correspond to different use cases and choices made by the developer of the virtual or augmented reality application. It may also vary according to different parameters, in nature or intensity.
  • the digital filter is configured according to a parameter resulting from the relative position and/or orientation of the object 11 with respect to the observer 20.
  • This parameter can be a distance d, or an angle ⁇ .
  • the distance d can be the distance between the object 11 and the observer, and the angle can be the angle between their respective orientations, that is, between an observation direction and a main direction, marking the front face, of the object 11.
  • Other parameters can also be determined from the relative position and orientation. Combinations of parameters can also be used for filter configuration.
  • the intensity of the filter, p depends on the distance d, so that the closer the observer is to the object (d decreases), the stronger the filter is in order to impact the appearance of the object for the observer.
  • the dotted line illustrates a first embodiment, in which simple thresholding is implemented. If the distance d is greater than a threshold d 1 , then no filter is implemented (value of the filter intensity p zero). If the distance is less than the threshold d 1 , then a value p m is used as the filter intensity.
  • the distance d 1 forms a privacy or “forbidden” zone 12 around an object 11 which is here a realistic representation of a real person.
  • the digital filter is applied in order to modify the appearance of the object (for example to make it unrecognizable).
  • the solid line illustrates a second embodiment, proposing a progressive approach.
  • the filter is configured continuously, that is to say that the intensity (or any other configuration parameter) of the digital filter evolves continuously, for example linearly, between the two extrema, here 0 and p m .
  • This angle can be the angle between the observation direction and the main direction (front face) of the object 11.
  • an angle ⁇ 0 corresponds to the situation of the observer facing the main face of the object.
  • an angle ⁇ 180° corresponds to an observer facing the rear face of the object.
  • the intensity of the filter, p depends on the angle ⁇ , so that the further the observer moves away from angle 0, the stronger the filter is in order to impact the appearance of the object for the observer.
  • the dotted line illustrates a first embodiment, in which a simple thresholding is implemented. If the angle ⁇ is less than a threshold ⁇ d1 or greater than an angle ⁇ g1 then no filter is implemented (value of the intensity of the filter p zero).
  • the thresholds ⁇ d1 and ⁇ g1 can have the same absolute value (in the case where the object is symmetrical, for example), but are of different signs since correspond to the two possible directions of rotation of the observer around the object.
  • the solid line illustrates a second embodiment, proposing a progressive approach.
  • a value p m is used as the filter intensity.
  • the filter is configured continuously, that is to say that the intensity (or any other configuration parameter) of the digital filter evolves continuously, for example linearly, between the two extrema, here 0 and p m .
  • the values of the thresholds and intensity levels of the filters depend on the application cases, as do the parameter (distance, angle, etc.) and the nature of the filter itself (or filters, because several filters can be applied).
  • the filter can depend on the distance and be intended to play on a level of details perceptible by the observer.
  • the risk is, in fact, that an observer gets too close to observe a person at a level of detail that the person does not want.
  • a filter that affects the level of detail such as a blurring filter, when the observer gets too close, this risk can be mitigated.
  • blurring can be triggered when the distance falls below a given threshold, and it can also be progressive as the observer gets closer, up to a maximum level. At this maximum level, the object may no longer be recognizable.
  • the filter can depend on the angle and be designed to play on a level of details perceptible by the observer. This situation can appear, as seen previously, in the case of an insufficient number of cameras, or their poor positioning, during the construction of the 3D model by taking shots of the real object (in particular of a real person).
  • the object can appear unchanged when observed from an angle that does not reveal any defect resulting (in particular) from the reconstruction of the model, while a filter can be applied to impact its appearance when observed from an angle that would reveal a reconstruction defect.
  • This filter can be intended to mask the defect, for example, by adjusting the level of detail perceptible to the observer (for example, by applying a blur filter).
  • object resolution management is linked to the resolution of digital images acquired by a set of cameras.
  • the filter can then depend on the distance and be designed to affect a level of detail perceptible to the observer.
  • the filter can mask resolution defects when the observer is too close, in a more harmonious way.
  • disharmonious or confusing artifacts in the clarity of the three-dimensional scene can be replaced by filtering on objects that are too close, so that their appearance is clearer and in line with the resolution of the 3D model.
  • the same object can be subject to a first filter aimed at guaranteeing virtual privacy, a second filter aimed at managing an incompleteness of the model, a third filter aimed at managing the resolution of the model, etc.
  • These filters can be configured by at least one parameter, such as an intensity, in a manner known per se.
  • the configuration can depend on one parameter or possibly several.
  • Figure A illustrates an example of an object on which no filter is applied.
  • Figures B and C correspond to a “pixelation” type filter, with medium intensity for figure B and strong intensity for figure C.
  • Figures D and E correspond to a “Gaussian blur” type filter, with an average intensity for figure D and a strong intensity on figure E.
  • Two intensity levels are shown for illustrative purposes only. In a real case, more levels can be implemented, including a continuity of levels as seen previously for certain embodiments of the method.
  • the application in charge of the three-dimensional scene can provide that each individual can manage the behavior of the filters for their 3D model themselves.
  • they can set the distance at which they do not want to be recognizable, or sufficiently blurred so that no details are perceptible (for example, the threshold d 1 in the examples previously described).
  • the object is subject to filtering treatment regardless of its position and/or orientation.
  • a black & white rendering filter can be systematically applied but with an increasing intensity value depending on the distance between the object and the observer.
  • a method for modifying a three-dimensional scene 10 for its generation for an observer 20 comprising steps of

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Procédé de modification d'une scène (10) captée en vue d'une restitution sur une interface, comportant des étapes de : identification (S2) d'un objet (11) de ladite scène (10), lorsque la distance entre ledit objet (11) et ledit observateur (20) est inférieure à une distance donnée et/ou lors d'une orientation relative donnée de l'objet; application (S4) d'un filtre numérique sur l'objet identifié; insertion (S6) dans ladite scène restituée de l'objet issu du filtrage à la place dudit objet identifié.

Description

Filtrage sélectif d’objets virtuels au sein de scènes tridimensionnelles numériques
La présente invention est relative à la génération d’une scène tridimensionnelle pour un observateur, en vue d’une production sur un écran ou via un dispositif de réalité virtuelle ou augmentée. Elle concerne plus particulièrement la modification d’une scène tridimensionnelle pour sa génération, dans laquelle un filtre est appliqué à au moins un objet de la scène.
De nombreuses applications utilisent des scènes tridimensionnelles dans lesquels un observateur est placé, et peut éventuellement se déplacer, et peut observer différents objets qui constitue cette scène, en respectant des caractéristiques de distance et d’orientation tout comme dans le monde physique.
Certaines applications permettent d’insérer dans ces scènes tridimensionnelles des personnes modélisées. Ces personnes modélisées sont des représentations réalistes de personnes physiques.
Selon les applications, l’observateur peut se déplacer librement dans la scène tridimensionnelle. Une projection de celle-ci est donc calculée au fil de l’eau, en temps-réel ou quasi-temps-réel, afin d’adapter l’apparence de la scène aux déplacements de l’observateur.
Ces déplacements peuvent être le fait de déplacements réels d’un utilisateur et observateur qui, par exemple, a revêtu un casque de réalité augmenté, ou bien de manipulation d’un dispositif de direction (comme un joystick par exemple) pour un utilisateur/observateur face à un écran d’ordinateur. Bien évidemment, d’autres cas d’usage sont en outre envisageables.
L’observateur peut donc s’approcher de la personne modélisée aussi près qu’il le souhaite, et se positionner selon tout angle par rapport à elle.
Cette situation peut poser différents types de problèmes.
Tout d’abord, dans une telle situation, la représentation virtuelle hyper réaliste de personnes existantes peut poser un problème d’intimité « virtuelle ». En effet, dans la vie réelle, une personne possède consciemment ou inconsciemment une distance sociale et sera mal à l’aise si l’on s’approche en dessous de cette distance. Parmi d’autres raisons, l’intimité du corps peut être citée, qui peut notamment dépendre de la tenue vestimentaire portée par la personne modélisée. S’agissant d’une représentation réaliste, la problématique se transpose naturellement au monde virtuel, et l’absence de frein empêchant un observateur de se rapprocher autant qu’il le souhaite de la représentation peut donc poser un problème.
En outre, dans une scène tridimensionnelle, selon la logique de l’application, la personne réelle associée à la personne modélisée peut ne pas être informée qu’elle est observée de façon non souhaitée, c’est-à-dire de trop prêt (par exemple car elle n’est pas connectée à l’application gérant la scène tridimensionnelle). Dans la vie réelle, elle pourrait réagir en s’éloignant de sorte à garder ses distances, mais dans une telle situation, elle ne peut pas réagir.
Des mécanismes de « zones interdites » ont été proposés, comme par exemple la zone « guardian » des casques de la marque Oculus Quest. Une telle zone peut être matérialisée en surimpression de la scène tridimensionnelle visualisée par l’observateur. Toutefois, un tel mécanisme est paramétré par l’utilisateur/observateur lui-même et rien n’est prévu pour physiquement l’empêcher de franchir ces limites.
En outre, dans un environnement de réalité augmentée, par exemple, dans lequel la personne modélisée correspond à un emplacement déterminé dans le monde physique, il est impossible de contraindre le libre déplacement de l’observateur qui utilise un casque ou un smartphone. Celui-ci peut franchir ces limites comme si elles n’existaient pas.
Ces propositions ne répondent donc pas à la problématique précédemment évoquée.
Par ailleurs, un autre problème concerne des défauts de l’objet modélisé (qu’il s’agisse d’une personne ou d’un autre objet).
Parmi ces défauts, on peut citer les défauts de reconstruction.
Le principe de reconstruction d’un modèle tridimensionnel d’un objet, par exemple d’une personne réelle, se base sur une prise de vue multiple de l’objet. Pour ce faire, on peut disposer un ensemble de caméras tout autour de l’objet que l’on veut reconstruire. Les images de toutes les caméras au même instant temporel permettent alors la reconstruction d’une représentation, ou modèle, 3D.
Les prises de vue des multiples caméras ne se font pas forcément à 360°. Pour des raisons techniques, il se peut que les caméras ne puissent filmer que sur 180°, si l’objet est devant un mur par exemple, ou si le nombre de caméras disponibles n’est pas suffisant (il faut au moins une trentaine de caméras pour couvrir 360°). Dans un tel cas, la capture de l’objet réel n’est pas complète, ce qui peut se traduire par des artefacts visuels dans le modèle reconstruit plus ou moins important en fonction de la complexité géométrique de l’objet. Aussi, lors d’une navigation dans une scène tridimensionnelle, ces artéfacts peuvent apparaitre et nuire à la qualité du rendu de la scène, du fait de la liberté de l’observateur de se déplacer autour des objets et aussi près qu’il le souhaite.
D’autres défauts concernent les défauts de résolution.
La résolution de l’objet modélisé ne peut pas etre supérieure à la résolution des images sources, issues des caméras utilisées pour la construction du modèle. La résolution du modèle tridimensionnel reconstruit est donc optimale lorsqu’il est affiché avec un point de vue (de l’observateur) équivalent à celui des caméras ayant servi à la prise des image sources, c’est-à-dire quand la position relative de l’observateur correspond à celle d’une des caméras ayant servi à la construction du modèle.
Toutefois, du fait que l’observateur peut se déplacer librement dans la scène tridimensionnelle, pour être affiché à une taille correspondant à la position relative entre l’objet et l’observateur, l’objet peut devoir être agrandi (zoomé) d’un facteur important. Ces agrandissements peuvent faire apparaître des artéfacts visuels impactant la qualité de la représentation tridimensionnelle.
Il existe donc un besoin d’améliorer les propositions actuelles de l’état de la technique.
L’invention vise à éviter à améliorer la situation par rapport aux propositions de l’état de la technique, et en particulier, mais non exclusivement, à répondre aux problèmes précédemment évoqués liés à un rapprochement excessif et/ou un angle d’observation inadéquat(s).
À ces fins, selon un premier aspect, la présente invention peut être mise en œuvre par un procédé de modification d’une scène (10) captée en vue d’une restitution sur une interface, comportant des étapes de
identification (S2) d’un objet (11) de ladite scène (10) lorsque la distance entre ledit objet (11) et ledit observateur (20) est inférieure à une distance donnée et/ou lors d’une orientation relative donnée de l’objet
application (S4) d’un filtre numérique sur l’objet identifié ;
insertion (S6), dans ladite scène restituée, de l’objet issu du filtrage à la place dudit objet identifié.
Ainsi, les différents problèmes décrits précédemment, notamment, se trouvent résolut par une gestion d’un filtrage de l’apparence de l’objet en fonction de la position et/ou de l’orientation relatives de l’objet par rapport à l’observateur. On peut ainsi gérer la problématique de l’intimité « virtuelle » et des artéfacts visuels provoqués par les défauts (parfois inévitables) des modèles tridimensionnels.
En outre, comme il sera vu plus loin, l’application d’un filtre numérique sur une image bidirectionnelle issue d’une projection de l’objet, puis la génération d’un nouvel objet texturé à partir de cette image et prenant la place de l’objet original permet de s’affranchir de calculs tridimensionnels coûteux et d’ainsi offrir un mécanisme compatible avec les contraintes de rendu temps-réel de la navigation d’un utilisateur dans une scène tridimensionnelle.
Suivant des modes de réalisation préférés, l’invention comprend une ou plusieurs des caractéristiques suivantes qui peuvent être utilisées séparément ou en combinaison partielle entre elles ou en combinaison totale entre elles
  • ledit filtre numérique est configuré en fonction d’un paramètre issu de ladite position, notamment distance, et/ou de ladite orientation relatives.
  • ledit au moins un filtre numérique est configuré en fonction dudit au moins un paramètre de façon continue dans une plage de valeurs déterminée. Cela permet d’avoir un rendu progressif par exemple.
  • ledit au moins un paramètre comprend une distance entre ledit objet et ledit observateur, et/ou un angle issu de ladite position et de ladite orientation relatives, formé par une direction principale dudit objet et une direction d’observation dudit observateur.
  • ledit au moins un filtre numérique comprend un filtre jouant sur un niveau de détails dudit objet perceptibles par ledit observateur, tel un floutage. Ainsi, l’objet peut être plus ou moins reconnaissable, ce qui peut être très intéressant dans le cas d’un modèle associé à une personne réelle.
  • ledit au moins un filtre numérique comprend un filtre jouant sur la colorimétrie dudit objet. Cela peut par exemple permettre d’ajouter des effets artistiques ou de mise en avant de l’objet au sein d’une scène tridimensionnelle.
  • ledit objet est une personne modélisée d’une personne réelle, ledit filtre visant à préserver l’intimité de ladite personne réelle
  • le procédé comprend en outre des étapes de
projection (S3) dudit objet sur une surface bidimensionnelle, selon une position et une orientation relatives dudit objet par rapport audit observateur, de sorte à obtenir une image bidimensionnelle,
génération (S5) d’un nouvel objet dont la texture comprend ladite image bidimensionnelle
et ledit filtre est appliqué sur ladite imagine bidimensionnelle.
  • ladite scène est tridimensionnelle.
Un autre aspect de l’invention concerne un programme d’ordinateur apte à être mis en œuvre sur un serveur web, le programme comprenant des instructions de code qui, lorsqu’il est exécuté par un processeur, réalise les étapes du procédé tel que précédemment défini.
Un autre aspect de l’invention concerne un support de données sur lequel a été mémorisé au moins une série d’instructions de code de programme pour l’exécution d’un procédé tel que précédemment défini.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit d’un mode de réalisation préféré de l'invention, donnée à titre d'exemple et en référence aux dessins annexés.
  • La illustre un organigramme illustratif d’un procédé selon un mode de réalisation de l’invention.
  • La représente un exemple illustratif de position et d’orientation relatives d’un objet par rapport à un observateur.
  • La illustre deux exemples de configuration d’un filtre en fonction d’un paramètre de distance, selon des modes de réalisation du procédé décrit.
  • La représente deux exemples de configuration d’un filtre en fonction d’un paramètre d’angle, selon des modes de réalisation du procédé décrit.
  • La illustre un exemple d’une zone d’intimité ou « interdite » rendue possible par une mise en œuvre du procédé.
  • La illustre des applications de deux exemples de filtres sur un objet selon différentes intensités, selon des modes de réalisation du procédé décrit.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
Dans la description qui va suivre, on s’intéresse, pour la clarté de l’exposé, à un unique objet au sein d’une scène tridimensionnelle. Il est toutefois clair qu’une pluralité ou la totalité des objets présents dans une scène tridimensionnelle peuvent être traités ainsi qu’il va décrit. Chaque objet peut être traité, ou non, indépendamment les uns des autres. De la même façon, une même scène peut être générée pour différents observateurs. La description ci-dessous n’est pas limitative des différents cas d’usage et, en particulier, des aspects qui viennent d’être évoqués.
Ces objets peuvent appelées « objets virtuels » dans la mesure où il s’agit de modèles tridimensionnels n’ayant une existence que dans la scène tridimensionnelle. Il peut s’agir en particulier de personnes modélisés, associées à des personnes réelles. En un tel cas, l’objet (personne modélisée) peut adopter une apparence aussi réaliste et fidèle que possible à la personne réelle associée.
Un tel rendu réaliste peut être atteint par différentes techniques de l’état de la technique. Parmi celles utilisées et accessibles à l’homme du métier, on peut citer la méthode de reconstruction 3D exposée dans l’article « 3D Gaussian Splatting for Real-Time Radiance Field Rendering » de Bernhard Kerbl et al, in ACM Trans. Graph, 2018.
Le procédé proposé vise à modifier une scène tridimensionnelle préalablement existante avant son rendu, ou génération, pour un observateur. Dans la mesure où une scène tridimensionnelle doit être périodiquement générée afin de rendre compte des déplacements de l’observateur et/ou des différents objets présents, ce procédé de modification doit préférentiellement être mis en œuvre à chaque itération, c’est-à-dire avant chaque génération.
La génération de la scène tridimensionnelle elle-même n’entre pas dans le cadre du procédé proposé, et fait partie des techniques accessibles à la personne du métier. En particulier, différents outils, ou plateformes existent de façon commerciale et le procédé proposé peut s’appliquer à ces propositions existantes afin de les améliorer.
Sur la , une scène tridimensionnelle 10 est ainsi modifiée par les différentes étapes S1-S6 du procédé proposé. Plus généralement, cette scène est une scène captée en vue d’une restitution sur une interface.
L’étape S7 consiste en la génération (ou rendu) de la scène tridimensionnelle pour l’observateur. Elle peut être considérée comme extérieure et indépendante du procédé proposé, et peut être conforme à l’état de la technique.
Cette génération peut viser divers types d’interface humain-machine. En particulier, il peut s’agir d’un affichage sur un écran d’un ordinateur (comprenant des dispositifs portables tels qu’un téléphone mobile de type « smartphone »), des tablettes numériques, etc.). Il peut également s’agir d’une représentation pour casque de réalité virtuelle ou augmentée.
Le procédé proposé comprend la modification du rendu du modèle 3D en fonction de la position et/ou de l’orientation relatives de l’objet par rapport à l’observateur, en vu du rendu (ou génération) de la scène tridimensionnelle comprenant l’objet pour l’observation.
Une étape préliminaire S1 consiste à déterminer cette position et/ou cette orientation relatives. Elles peuvent être directement déduites de la scène tridimensionnelle 10 qui comprend les données des différents objets (fixes ou mobiles) composant la scène, ainsi que des paramètres de l’observateur. Ces informations sont nécessairement disponibles pour permettre la génération de la scène tridimensionnelle 10 pour l’observateur (étape S7).
La représente un exemple illustratif de position et orientation relatives d’un objet 11 par rapport à un observateur 20.
Sur cette figure, les flèches indiquent les orientations de l’observateur et de l’objet. L’observateur a une orientation (ou « direction d’observation ») qui correspond à son regard dans le monde physique et qui est utilisée pour permettre la génération de la scène tridimensionnelle 10. En particulier, cette orientation, ou direction d’observation, créé une dichotomie entre une partie visible de la scène (située devant lui, c’est-à-dire dans une zone globalement pointée par la flèche) et une partie invisible (située derrière lui, c’est-à-dire à l’opposé de la partie visible par rapport à l’observateur).
Les positions et orientations relatives d’un objet 11 par rapport à un observateur peuvent s’exprimer de différentes façons, ainsi que connu de la personne du métier. Il peut par exemple s’agir d’un 6-tuples comportant 3 composantes pour une position relative et 3 composantes pour un angle solide. Cette expression dépend du mode de représentation des données utilisés par la scène tridimensionnelle 10 et l’application logicielle utilisée.
Selon des modes de réalisation, le procédé décrit peut se baser sur des paramètres issus de ces données.
A titre d’exemples, sur la , sont illustrés une distance d entre l’objet 11 et l’observateur 20, ainsi qu’un angle α entre leurs orientations respectives.
Ces paramètres peuvent être suffisant pour exprimer différents comportements qui peuvent être mis en œuvre dans le cadre du procédé proposé, mais on comprend qu’évidement d’autres paramètres peuvent être définis en fonction d’un comportement souhaité.
Dans une étape S2, l’objet 11 est extrait de la scène tridimensionnelle 10.
Un critère préalable peut être mis en place avant l’extraction, de sorte qu’une partie des objets seulement sont extraits et font l’objet du traitement (application d’un filtre…).
Ce critère peut être basé sur la position et/ou l’orientation relative de l’objet 11 par rapport à l’observateur. En particulier, l’objet peut être sélectionné lorsque au moins un paramètre issu de la position et/ou de l’orientation relative(s) est dans une plage de valeur.
La sélection préalable de l’objet pour traitement sous entends que celui-ci ne fait pas l’objet d’un traitement (application d’un filtre) s’il n’est pas sélectionné. Ce mode de réalisation prend sens lorsqu’on ne peut appliquer un filtre que dans certaines situations ; auquel cas, il est intéressant de ne pas extraire l’objet si aucun filtre ne sera appliqué, afin d’éviter des traitements numériques (étapes S2, S3…) inutiles.
Selon un autre mode de réalisation, l’objet est systématiquement extrait à l’étape S2, sans étape de sélection préalable. Ce mode de réalisation peut faire sens dans le cas où un traitement (filtre) est systématiquement appliqué à l’objet.
En particulier, selon un mode de réalisation, l’objet est identifié dans la scène 10, lorsque la distance entre l’objet 11 et l’observateur 20 est inférieure à une distance donnée et/ou lors d’une orientation relative donnée de l’objet (par rapport à cet observateur).
Après son extraction, ou identification, à l’étape S2, selon un mode de réalisation, l’objet 11 est projeté, dans une étape S3, sur une surface bidimensionnelle selon la position et l’orientation relatives, afin d’obtenir une image bidimensionnelle
Cette étape de projection S3 peut être conventionnelle en soi, c’est-à-dire qu’elle peut correspondre à la projection classiquement effectuée dans une phase de génération S7 d’un objet d’une scène tridimensionnelle. Elle consiste à déterminer une apparence d’un objet tridimensionnelle du point de vue d’un observateur (qui l’observe selon une représentation bidimensionnelle, typiquement sur un écran).
Cette projection S3 dépend donc de la position et de l’orientation (angle de vue) de l’observateur 20 et de la position et de l’orientation de l’objet.
Dans une étape S4, un filtre numérique est appliqué à l’objet précédemment identifié. En particulier, selon un mode de réalisation, le filtre numérique est appliqué sur l’image bidimensionnelle obtenue par la projection de l’objet. Bien évidemment, plusieurs filtres peuvent être appliqués, en combinaison ou en succession.
Ces filtres peuvent être des filtres classiques de traitement d’images numériques.
Un des avantages du procédé proposé est d’ainsi pouvoir utiliser les nombreux filtres numériques disponibles pour l’imagerie 2D et de les appliquer, indirectement, à un objet d’une scène tridimensionnelle.
Un autre avantage, encore plus important, est de rendre possible un traitement au fil de l’eau, du fait de la réduction du coût computationnel apporté par cette façon de faire.
En effet, des filtres 3D ont été proposés dans la littérature scientifique.
Ce modèle est un bon compromis qualité/performance de rendu pour des ordinateurs puissants et disposants de grandes capacités de calcul et de mémoire. Toutefois, il ne peut s’appliquer à des dispositifs de type téléphone mobile ou casque de réalité augmentée ou virtuelle autonomes.
En effet, l’affichage statique 3D d’une image dont le point de vue est modifiable avec la souris ou le doigt peut se contenter une vitesse de rafraîchissement de quelques images par secondes.
Dans un contexte de réalité simulée, augmentée ou totalement virtuelle, le rendu doit se faire en continu afin de refléter les mouvements, même minimes, de l’utilisateur/observateur. Conserver un taux de rafraichissement (ou « frame rate » en anglais) élevé, par exemple entre 30 et 60 images par secondes, est crucial pour garantir une bonne expérience pour l’utilisateur.
De plus, un modèle 3D réaliste, une fois décompressé pour être affiché, peut correspondre à un important volume de données, typiquement au-delà de 10 Mo. Cette masse importante de données rend difficile, voire impossible, tout traitement temps-réel, d’autant que la nature même des filtres 3D ne facilite pas, voire rend totalement impossible, l’implémentation des filtres classiques comme un simple flou.
Ce problème de performance est évidement d’autant plus crucial avec une vidéo volumétrique, qui va changer les données à afficher 30 fois par secondes, par exemple, démultipliant ainsi la masse des données à transmettre et pouvant conduire à une saturation des ressources de l’ordinateur (smartphone, tablette numérique, casque de réalité virtuelle…), et notamment du bus mémoire reliant la mémoire centrale, le processeur CPU et le processeur graphique GPU.
Ce problème du coût computationnel excessif et incompatible avec le requis de temps réel sur un ordinateur aux capacités limités est résolu par la transformation de l’objet en deux dimensions pour réduire la complexité computationnelle.
Une fois le filtre numérique appliqué, dans une étape S5, un nouvel objet est généré puis, dans une étape S6, inséré dans la scène tridimensionnelle à la place de l’objet 11 d’origine.
Le terme « à la place » signifie qu’il remplace cet objet d’origine qui est donc supprimé de la scène. Le nouvel objet est positionné à la même position que l’objet d’origine et selon la même orientation.
La scène tridimensionnelle 10 est ainsi modifiée, avant génération pour une interface associée à l’observateur, en étape S7. L’ensemble des étapes S1-S6 est prévu pour permettre un traitement au fil de l’eau ne retardant pas substantiellement cette étape de génération, de sorte qu’il n’y ait pas d’impact perceptible pour l’utilisateur et observateur.
L’étape S5 comprend la génération d’un objet dont la texture comprend l’image bidimensionnelle résultant de l’application du ou des filtres numériques.
Plus précisément, selon un mode de réalisation, ce nouvel objet peut être un rectangle orienté vers l’observateur. La texture est calculée à partir de la projection de l’objet original en fonction des positions et orientations relatives, de sorte que l’apparence de cette objet texturé correspond à celle qu’aurait l’objet original du point de vue de l’observateur, mais avec, en sus, l’application d’un ou plusieurs filtres numériques.
Ce (ou ces) filtre appliqué peut correspondre à différents cas d’usage et à des choix du développeur de l’application de réalité virtuelle ou augmenté. Il peut également varier selon différents paramètres, en nature ou en intensité.
Selon un mode de réalisation, le filtre numérique est configuré en fonction d’un paramètre issu de la position et/ou de l’orientation relatives de l’objet 11 par rapport à l’observateur 20.
Ce paramètre peut être une distance d, ou un angle α. La distance d peut être la distance entre l’objet 11 et l’observateur, et l’angle peut être l’angle entre leurs orientations respectives, c’est-à-dire entre une direction d’observation et une direction principale, marquant la face avant, de l’objet 11. D’autres paramètres peuvent être également déterminés à partir des position et orientation relatives. Des combinaisons de paramètres peuvent aussi être utilisés pour la configuration des filtres.
La illustre deux exemples de configuration d’un filtre en fonction d’un paramètre de distance d.
On voit sur ces exemples, que l’intensité du filtre, p, dépend de la distance d, de sorte que plus l’observateur est proche de l’objet (d diminue), plus le filtre est fort afin d’impacter l’apparence de l’objet pour l’observateur.
Cette dépendance peut être mise en œuvre de différentes façons.
La ligne en traits pointillés illustre un premier mode de réalisation, dans lequel un seuillage simple est mise en œuvre. Si la distance d est supérieure à un seuil d1, alors aucun filtre n’est mis en place (valeur de l’intensité du filtre p nulle). Si la distance est inférieure au seuil d1, alors une valeur pm est utilisée comme intensité du filtre.
La illustre un exemple d’une telle situation. La distance d1 forme une zone d’intimité ou « interdite » 12 autour d’un objet 11 qui est ici une représentation réaliste d’une personne réelle. Lorsqu’un observateur s’approche trop près de l’objet 11, et entre dans cette zone 12 (c’est-à-dire d<d1), alors le filtre numérique est appliqué afin de modifier l’apparence de l’objet (par exemple de le rendre méconnaissable).
La ligne en traits pleins illustre un deuxième mode de réalisation, proposant une approche progressive.
Si la distance d est supérieure à un seuil d2, alors aucun filtre n’est mis en place (valeur de l’intensité du filtre p nulle). Si la distance est inférieure à un seuil d1, alors une valeur pm est utilisée comme intensité du filtre. Dans une plage de valeurs [d1 ; d2], le filtre est configuré de façon continue, c’est-à-dire que l’intensité (ou tout autre paramètre de configuration) du filtre numérique évolue de façon continue, par exemple linéairement, entre les deux extrema, ici 0 et pm.
Ainsi, en s’approchant de l’objet 11, l’observateur verra l’apparence de celui-ci d plus en plus impacté jusqu’à un impact maximum lorsqu’il entre dans sa proximité immédiate (d<d1).
Par exemple, on peut fixer les valeurs d1=0,5 m et d2=1,5 m.
La illustre deux exemples de configuration d’un filtre en fonction d’un paramètre d’angle α. Cet angle peut être l’angle entre la direction d’observation et la direction principale (face avant) de l’objet 11. Dans l’exemple, on considère qu’un angle α =0 correspond à la situation de l’observateur faisant face à la face principale de l’objet. Ainsi, un angle α=180° correspond à un observateur faisant face à la face arrière de l’objet.
On voit sur ces exemples, que l’intensité du filtre, p, dépend de l’angle α, de sorte que plus l’observateur s’éloigne de l’angle 0, plus le filtre est fort afin d’impacter l’apparence de l’objet pour l’observateur.
Cette dépendance peut être mise en œuvre de différentes façons.
La ligne en traits pointillés illustre un premier mode de réalisation, dans lequel un seuillage simple est mise en œuvre. Si l’angle α est inférieur à un seuil αd1 ou supérieur à un angle αg1 alors aucun filtre n’est mis en place (valeur de l’intensité du filtre p nulle). Les seuils αd1 et αg1 peuvent avoir la même valeur absolue (dans le cas où l’objet est symétrique, par exemple), mais sont de signes différents puisque correspond aux deux sens de rotation possible de l’observateur autour de l’objet.
Si l’angle α est inférieure au seuil αg1, ou supérieur au seuil αd1, alors une valeur pm est utilisée comme intensité du filtre. Ce cas correspond à la situation où l’angle α est trop éloigné de l’angle α =0 correspondant à une observation de face.
La ligne en traits pleins illustre un deuxième mode de réalisation, proposant une approche progressive.
Si l’angle α est supérieure à un seuil αg2, et si l’angle α est inférieur à un seuil αd2, alors aucun filtre n’est mis en place (valeur de l’intensité du filtre p nulle).
Si l’angle α est supérieure à un seuil αd1, ou bien si l’angle α est inférieur à un seuil αg1, alors une valeur pm est utilisée comme intensité du filtre.
Dans une plage de valeurs [αg1 ; αg2] et dans une plage de valeurs [αd2 ; αd1], le filtre est configuré de façon continue, c’est-à-dire que l’intensité (ou tout autre paramètre de configuration) du filtre numérique évolue de façon continue, par exemple linéairement, entre les deux extrema, ici 0 et pm.
Les valeurs des seuils et des niveaux d’intensité des filtres dépendent des cas d’application, de même que le paramètre (distance, angle…) et la nature du filtre lui-même (ou des filtres, car plusieurs filtres peuvent appliqués).
Dans un cas d’application à la gestion de l’intimité virtuelle d’une personne modélisée correspondant à une personne réelle, le filtre peut dépendre de la distance et être prévu pour jouer sur un niveau de détails perceptibles par l’observateur.
Le risque est, en effet, qu’un observateur s’approche de trop pour observer une personne à un niveau de détail non souhaitée par cette personne. En appliquant un filtre jouant sur le niveau de détail, tel que par exemple un filtre de floutage, lorsque l’observateur se rapproche trop, on peut ainsi pallier ce risque.
Comme vu précédemment, le floutage peut être déclenché lorsque la distance devient inférieure à un seuil donné, et il peut en outre être progressif à mesure que l’observateur se rapproche encore, jusqu’à un niveau maximum. A ce niveau maximum, l’objet peut ne plus être reconnaissable.
Ainsi, on peut préserver l’intimité des personnes réelles ayant un modèle (i.e. une personne modélisée) représenté dans une scène tridimensionnelle, notamment par le jeu sur un niveau de détails perceptibles par l’observateur (ce niveau de détails étant déterminés par un filtre qui dépend d’une distance entre le modèle et l’observateur).
Dans le cas d’un objet imparfait, par exemple du fait d’une reconstruction incomplète sur certaines orientations, notamment sur une face arrière, le filtre peut dépendre de l’angle et être prévu pour jouer sur un niveau de détails perceptibles par l’observateur. Cette situation peut apparaître, comme il a été vu précédemment, dans le cas d’un nombre insuffisant de caméras, ou d’un mauvais positionnement de celles-ci, lors de la construction du modèle 3D par prises de vue de l’objet réel (en particulier d’une personne réelle).
Ainsi, l’objet peut apparaître sans modification lorsqu’il est observé selon un angle ne faisant pas apparaitre de défaut issu (notamment) de la reconstruction du modèle, tandis qu’un filtre peut être appliqué visant à impacter son apparence lorsqu’il est observé selon un angle qui ferait apparaître un défaut de reconstruction. Ce filtre peut justement être destiné à masquer le défaut, en jouant, par exemple, sur un niveau de détails perceptibles par l’observateur (par exemple en appliquant un filtre de flou).
Un autre cas d’application est la gestion de la résolution de l’objet. Comme expliqué précédemment, la modélisation d’un objet est liée à la résolution des images numériques acquises par un ensemble de caméras.
Le filtre peut alors dépendre de la distance et être prévu pour jouer sur un niveau de détails perceptibles par l’observateur. Ainsi, le filtre peut masquer les défauts de résolution lorsque l’observateur est trop proche, de façon plus harmonieuse. Notamment, les artéfacts disharmonieux ou pouvant porter à confusion dans la clarté de la scène tridimensionnelle peuvent être remplacé par des filtrages sur les objets trop proches, de sorte que leur apparence soit plus claire et en rapport avec la résolution du modèle 3D.
Ces différents cas d’application peuvent être gérés par une même application. Ainsi, un même objet peut faire l’objet d’un premier filtre visant à garantir l’intimité virtuelle, d’un deuxième filtre visant à gérer une incomplétude du modèle, un troisième filtre visant à gérer la résolution du modèle, etc.
Les filtres peuvent de toute nature, comme précédemment évoqué. A titre d’exemples, on peut citer :
  • un flou gaussien (ou « gaussian blur » en anglais),
  • un effet de cristallisation,
  • un effet de pixélisation,
  • un rendu à base de points noirs ou blancs (ou « dotscreen »)
  • un rendu de type impression (ou « halftone »)
  • un effet jouant sur la saturation, le contraste et/ou l’intensité,
  • un effet jouant sur l’exposition,
  • un effet jouant sur la vibrance des couleurs,
  • une réduction du bruit,
  • une amélioration de la netteté
  • un effet photo noir et blanc,
  • une recolorisation en sépia,
  • une recolorisation avec une couleur de base,
etc.
Ces filtres peuvent être configurés par au moins un paramètre, tel une intensité, de façon connue en soi. Dans le cadre du procédé proposé, la configuration peut dépendre d’un paramètre ou éventuellement de plusieurs.
La illustre l’application de deux exemples de filtres sur un objet selon différentes intensités.
Dans la , la figure A illustre un exemple d’objet sur lequel aucun filtre n’est appliqué.
Les figures B et C correspondent à un filtre de type « pixélisation », avec une intensité moyenne pour la figure B et une intensité forte sur la figure C.
Les figures D et E correspondent à un filtre de type « flou gaussien », avec une intensité moyenne pour la figure D et une intensité forte sur la figure E.
Deux niveaux d’intensité sont représentés uniquement à des fins illustratives. Dans un cas réel, davantage de niveaux peuvent être mis en place, y compris une continuité de niveaux comme on a vu précédemment pour certains modes de réalisation du procédé.
Ces deux filtres permettent de jouer sur un niveau de détails perceptibles de l’objet. De façon éventuellement progressive, il est impossible de masquer certains détails ou aspects de l’apparence de l’objet, voire de rendre celui-ci non-reconnaissable. Dans le cas d’une personne physique, on peut par exemple la flouter davantage en fonction du rapprochement de l’observateur afin qu’à distance trop proche elle devienne non-reconnaissable.
Comme avantage supplémentaire, il devient impossible pour un observateur malveillant de capturer une image précise et reconnaissable d’une personne modélisée de trop près.
Il peut être prévu par l’application en charge de la scène tridimensionnelle que chaque personne physique puisse gérer elle-même le comportement des filtres pour son modèle 3D. Notamment, elle peut fixer la distance à laquelle elle ne souhaite pas pouvoir être reconnaissable, ou suffisamment floutée pour qu’aucun détail ne soit perceptible (par exemple le seuil d1 dans les exemples précédemment décrits).
Il peut être prévu que ces éléments fournis par les personnes physiques souhaitant apparaître dans une scène tridimensionnelle sous une forme modélisée forment un élément d’un contrat de droit à l’image établi entre elles et le gestionnaire de la scène. Le procédé décrit permet donc l’établissement de nouvelles conventions et d’une façon plus fine de gérer son image dans les mondes virtuels.
D’autres cas d’usage sont encore possibles. On peut citer, à titre d’exemples et de façon non limitative :
  • L'amélioration de la qualité : en chaînant des filtres de rehaussement des couleurs, de modification du contraste, de l'exposition ou de la netteté, il est possible d'améliorer la qualité du rendu, pour pallier des mauvaises conditions de captation des images servant à la reconstruction,
  • Effets artistiques : recolorisation, noir et blanc, sépia sont des exemples de filtres pouvant être utilisés dans un but artistique,
  • Effets de signalisation : Il est possible par exemple de faire le rendu en monochrome lorsque le modèle est éloigné, puis de le coloriser au fur et à mesure que l'utilisateur s'approche, attirant ainsi son attention,
On peut voir que dans certains cas d’usage, l’objet fait l’objet d’un traitement de filtrage quel que soit sa position et/ou son orientation.
Seul le filtre lui-même pourra être configuré différemment en fonction de ces éléments. Ainsi, dans le cas de la signalisation, un filtre de rendu en noir & blanc peut être systématiquement appliqué mais avec une valeur d’intensité croissante en fonction de la distance entre l’objet et l’observateur.
Dans le cas d’un filtre artistique, celui-ci peut même ne pas dépendre ni de la position ni de l’orientation de l’objet par rapport à l’observateur.
D’autres avantages du procédé décrit et des nombreux modes de réalisation comprennent, entre autres, des avantages pouvant de différents ordres :
  • efficacité : appliquer des filtres de manière conditionnelle et d'intensité arbitraire à une structure de données qui ne s'y prête ni par la masse de donnée à traiter, ni par le type de données ;
  • performance : l'application d'un filtre sur une texture est une opération très efficace et peu gourmande en GPU, contrairement à l’application d’un filtre sur une structure 3D directement;
  • efficience : la masse de donnée réduite d’une texture par rapport à une frame 3D permet de filtrer des vidéos volumétriques en temps réel,
  • simplicité : l'utilisation d'un nouvel objet, par exemple rectangulaire (appelé « billboard ») permet une intégration naturelle dans un environnement 3D de type réalité augmenté.
  • Flexibilité : ce système ne se cantonne pas au masquage et peut servir dans le cadre de nombreux autres usages.
Selon une combinaison des modes de réalisation précédemment décrit, il est proposé un procédé de modification d’une scène tridimensionnelle 10 pour sa génération pour un observateur 20, comportant des étapes de
- extraction S2 d’un objet 11 de ladite scène tridimensionnelle 10, préalablement sélectionné en fonction d’une distance entre ledit objet et ledit observateur, et/ou de ladite orientation relative
- projection S3 ledit objet sur une surface bidimensionnelle, selon une position et une orientation relatives dudit objet par rapport audit observateur, de sorte à obtenir une image bidimensionnelle,
- application (S4) d’au moins un filtre numérique sur ladite image bidimensionnelle ;
- génération (S5) d’un nouvel objet dont la texture comprend ladite image bidimensionnelle, et insertion (S6) dudit nouvel objet dans ladite scène tridimensionnelle à la place dudit objet
Bien entendu, la présente invention n'est pas limitée aux exemples et au mode de réalisation décrits et représentés. Elle est notamment susceptible de nombreuses variantes accessibles à l'homme de l'art, donc certaines ont été décrites précédemment ou simplement évoquées.

Claims (11)

  1. Procédé de modification d’une scène (10) captée en vue d’une restitution sur une interface, comportant des étapes de
    • identification (S2) d’un objet (11) de ladite scène (10) lorsque la distance entre ledit objet (11) et ledit observateur (20) est inférieure à une distance donnée et/ou lors d’une orientation relative donnée de l’objet
    • application (S4) d’un filtre numérique sur l’objet identifié ;
    • insertion (S6), dans ladite scène restituée, de l’objet issu du filtrage à la place dudit objet identifié.
  2. Procédé selon l’une des revendications précédentes, dans lequel ledit filtre numérique est configuré en fonction d’un paramètre issu de ladite distance et/ou de ladite orientation relatives.
  3. Procédé selon la revendication précédente, dans lequel ledit au moins un filtre numérique est configuré en fonction dudit au moins un paramètre de façon continue dans une plage de valeurs déterminée.
  4. Procédé selon l’une des revendications 3 ou 4, dans lequel ledit au moins un paramètre comprend une distance (d) entre ledit objet et ledit observateur, et/ou un angle issu de ladite position et de ladite orientation relatives, formé par une direction principale dudit objet (11) et une direction d’observation dudit observateur (20).
  5. Procédé selon l’une des revendications précédentes, dans lequel ledit au moins un filtre numérique comprend un filtre jouant sur un niveau de détails dudit objet perceptibles par ledit observateur (20), tel un floutage.
  6. Procédé selon l’une des revendications précédentes, dans lequel ledit au moins un filtre numérique comprend un filtre jouant sur la colorimétrie dudit objet (11).
  7. Procédé selon l’une des revendications précédentes, dans lequel ledit objet est une personne modélisée d’une personne réelle, ledit filtre visant à préserver l’intimité de ladite personne réelle.
  8. Procédé selon l’une des revendications précédentes, comportant en outre des étapes de
    projection (S3) dudit objet sur une surface bidimensionnelle, selon une position et une orientation relatives dudit objet par rapport audit observateur, de sorte à obtenir une image bidimensionnelle,
    génération (S5) d’un nouvel objet dont la texture comprend ladite image bidimensionnelle
    et dans lequel ledit filtre est appliqué sur ladite imagine bidimensionnelle.
  9. Procédé selon l’une des revendications précédentes, dans lequel ladite scène est tridimensionnelle.
  10. Programme d’ordinateur apte à être mis en œuvre sur un terminal de lecture de flux multimédia, le programme comprenant des instructions de code qui, lorsqu’il est exécuté par un processeur, réalise les étapes du procédé définie dans les revendications 1 à 8.
  11. Support de données lisible par ordinateur sur lequel a été mémorisé au moins une série d’instructions de code de programme pour l’exécution d’un procédé selon l’une des revendications 1 à 8.
PCT/EP2025/055532 2024-03-15 2025-02-28 Filtrage sélectif d'objets virtuels au sein de scènes tridimensionnelles numériques Pending WO2025190693A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2402598A FR3160256A1 (fr) 2024-03-15 2024-03-15 Filtrage sélectif d’objets virtuels au sein de scènes tridimensionnelles numériques
FRFR2402598 2024-03-15

Publications (1)

Publication Number Publication Date
WO2025190693A1 true WO2025190693A1 (fr) 2025-09-18

Family

ID=91335072

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2025/055532 Pending WO2025190693A1 (fr) 2024-03-15 2025-02-28 Filtrage sélectif d'objets virtuels au sein de scènes tridimensionnelles numériques

Country Status (2)

Country Link
FR (1) FR3160256A1 (fr)
WO (1) WO2025190693A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230334170A1 (en) * 2022-04-14 2023-10-19 Piamond Corp. Method and system for providing privacy in virtual space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230334170A1 (en) * 2022-04-14 2023-10-19 Piamond Corp. Method and system for providing privacy in virtual space

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MISIAK MARTIN MARTIN MISIAK@TH-KOELN DE ET AL: "Impostor-based Rendering Acceleration for Virtual, Augmented, and Mixed Reality", PROCEEDINGS OF THE 27TH ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, ACM, NEW YORK, NY, USA, 8 December 2021 (2021-12-08), pages 1 - 10, XP058787391, ISBN: 978-1-4503-9092-7, DOI: 10.1145/3489849.3489865 *
NASSANI ALAEDDIN ET AL: "Filtering Mechanisms of Shared Social Surrounding Environments in AR", 2019 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY ADJUNCT (ISMAR-ADJUNCT), IEEE, 10 October 2019 (2019-10-10), pages 17 - 19, XP033688495, DOI: 10.1109/ISMAR-ADJUNCT.2019.00019 *
OLANO M ET AL: "SGI OpenGL Shader Level-of-Detail White Paper", SGI, TECHNICAL REPORT 2002, 1 January 2002 (2002-01-01), pages 1 - 22, XP055877192, Retrieved from the Internet <URL:https://www.csee.umbc.edu/~olano/papers/slod.pdf> [retrieved on 20220110] *
WANG CHENG YAO CW776@CORNELL EDU ET AL: "Shared Realities: Avatar Identification and Privacy Concerns in Reconstructed Experiences", PROCEEDINGS OF THE ACM ON HUMAN-COMPUTER INTERACTION, ACMPUB27, NEW YORK, NY, USA, vol. 5, no. CSCW2, 18 October 2021 (2021-10-18), pages 1 - 25, XP058665502, DOI: 10.1145/3476078 *

Also Published As

Publication number Publication date
FR3160256A1 (fr) 2025-09-19

Similar Documents

Publication Publication Date Title
JP7645917B2 (ja) ダイナミックデプス画像を撮影して編集するための手法
Hou et al. Context-aware image matting for simultaneous foreground and alpha estimation
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
EP2455916B1 (fr) Interface homme-machine basée sur le suivi non-rigide
CN107507155B (zh) 视频分割结果边缘优化实时处理方法、装置及计算设备
CN112652046B (zh) 游戏画面的生成方法、装置、设备及存储介质
US9734551B1 (en) Providing depth-of-field renderings
WO2011124830A1 (fr) Une methode de detourage en temps reel d&#39;une entite reelle enregistree dans une sequence video
EP1292921A1 (fr) Raffinement d&#39;un maillage triangulaire en trois dimensions
FR2857133A1 (fr) Procede de generation de flou
CN109584358A (zh) 一种三维人脸重建方法及装置、设备和存储介质
CN107547803B (zh) 视频分割结果边缘优化处理方法、装置及计算设备
Magdics et al. Post-processing NPR effects for video games
Zheng et al. Constrained predictive filters for single image bokeh rendering
CN106447756B (zh) 用于生成用户定制的计算机生成动画的方法和系统
EP3249935A1 (fr) Barre de navigation dans une pluralité de contenu videos
AU2018271418B2 (en) Creating selective virtual long-exposure images
CN116126182A (zh) 特效处理方法、装置、电子设备及存储介质
CN114581594B (zh) 次表面散射效果的渲染方法及装置、设备、介质
WO2025190693A1 (fr) Filtrage sélectif d&#39;objets virtuels au sein de scènes tridimensionnelles numériques
WO2014170482A1 (fr) Procede de generation d&#39;un flux video de sortie a partir d&#39;un flux video large champ
Usha et al. Next-Generation Image Enhancement and Restoration With Artificial Intelligence
EP3758386A1 (fr) Procédés d&#39;enrichissement d&#39;un contenu multimédia et de restitution d&#39;un contenu multimédia enrichi, dispositifs et programmes d&#39;ordinateurs correspondants
CN115698870A (zh) 信息处理装置、信息处理方法、程序和全息图显示系统
Yan et al. Interactive background blurring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25708782

Country of ref document: EP

Kind code of ref document: A1