[go: up one dir, main page]

WO2018007628A1 - Méthode et système de reconstruction d'une représentation tridimensionnelle - Google Patents

Méthode et système de reconstruction d'une représentation tridimensionnelle Download PDF

Info

Publication number
WO2018007628A1
WO2018007628A1 PCT/EP2017/067164 EP2017067164W WO2018007628A1 WO 2018007628 A1 WO2018007628 A1 WO 2018007628A1 EP 2017067164 W EP2017067164 W EP 2017067164W WO 2018007628 A1 WO2018007628 A1 WO 2018007628A1
Authority
WO
WIPO (PCT)
Prior art keywords
points
data
representative
successive
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2017/067164
Other languages
English (en)
Inventor
Houman Borouchaki
Yannick FOLLIARD
Cao Vu BUI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Levels3d
Universite de Technologie de Troyes
Original Assignee
Levels3d
Universite de Technologie de Troyes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Levels3d, Universite de Technologie de Troyes filed Critical Levels3d
Priority to DE112017003426.4T priority Critical patent/DE112017003426T5/de
Publication of WO2018007628A1 publication Critical patent/WO2018007628A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present application relates to the field of three-dimensional image reconstruction methods, implemented by computer.
  • the demand relates to the program products and associated systems.
  • the well-known infra-red sensors may be mentioned, but other technologies can be used to obtain similar data which generally represent the distance separating the sensor from the captured target.
  • Data of this type derived from the acquisition of images and three-dimensional information, which constitute the "three-dimensional capture" can advantageously be associated with data relating to the position of the sensors in space during capture , to provide a reference to the three-dimensional data and thus make it possible to replace them in space.
  • These data make it possible, for example, to produce (generate in the computer memory means) representations (or reconstructions) of entities such as spaces or environments, as well as objects that can be reproduced, for example with three-dimensional printers.
  • the accuracy of the reconstruction is a critical point and depends on the position of the optical sensor (generally a camera), but especially on the positions of this sensor at each successive capture as well as the quality of the image obtained by the camera.
  • this reconstruction generally requires more and more efficient computer systems for the processing of more and more complex data in order to perform calculations making it possible to characterize different points within several images, so as to be able to reconstitute the three-dimensional representation. of the captured entity.
  • An object of the invention is to propose a method that simplifies the calculations and makes it possible to limit, on the one hand, the computation times required for their execution and, on the other hand, the inaccuracy of the three-dimensional representation obtained.
  • the invention proposes a method for reconstructing at least one three-dimensional representation of at least one physical entity examined, on the basis of acquisitions corresponding to n successive captures of a plurality. data, preferably synchronized with each other, over time, and comprising: data representative of n views of the entity, composed of a plurality of pixels captured using at least a first acquisition device, an optical sensor, n being a non-integer no ,
  • the method being implemented by a three-dimensional representation reconstruction system in which the successive catches obtained through said acquisitions supply data whose combination is representative of scatterplots, the method being characterized in that
  • Each of the point clouds is referenced in space with respect to a respective usual reference point
  • At least one vector is calculated to define a registration to be applied to each of the successive usual references with respect to the preceding reference;
  • At least one descriptor implements at least one pair point detection, of resemblance, respectively belonging to two successive views and having a similarity determined between the values of at least one of their representative data, to serve reference to registration;
  • each iteration allows the data representative of a given view and / or the cloud to be readjusted. points corresponding to the previous ones and that, on the other hand, the successive iterations allow the registration of the data with respect to the usual reference point defined for the first point cloud and used as a global reference point for the reconstruction of said three-dimensional representation,
  • the couples serving as reference for said registration are selected by at least one of the following steps:
  • this image registration comprising at least one selection of said couples using at least one filter based on the representative values the difference between the two points of a pair in terms of translation and / or rotation;
  • the method comprises, for each of the successive catches, at least one transposing these data into a usual common three-dimensional coordinate system, aligning the respective bases of each of these data, relative to each other, to obtain data representative of n point clouds which are referenced with respect to n successive usual three-dimensional markers defined in common to each of the successive captures, to allow said registration of cloud points to obtain said reconstruction.
  • the method implements said selection of said pairs using at least one filter based on the values representative of the difference between the two points of a pair in terms of translation, thanks to a search of a maximum number of pairs between which the translation is defined by a vector of a value less than a determined translation threshold, for example parameterizable.
  • the image registration includes
  • said selection being based on a deviation, expressed by a triplet of angles of rotation, between the vectors representative of pairs of reference points with respect to the vectors representative of their associated pairs.
  • the deviation corresponds to a functional and said selection corresponds to a minimization of this functional by successive iterations of individual rotations, of a determined angular value, for example parameterizable.
  • the parameterizable value is defined by a user or designer preparing the implementation of said method in said system.
  • the descriptor responsible for said detection of pairs of points corresponds to a Harris detector determining the similarity between the average values of the colors in their respective neighborhoods.
  • the selection step based on the values representative of the difference between the two points of a pair in terms of translation uses a translation threshold of the order of 10%.
  • the selection step based on the values representative of the difference between the two points of a torque in terms of rotation is based on an angular threshold of the order of one degree.
  • Another object of the invention relates to a computer program comprising code portions representative of instructions for implementing the method according to one of claims 1 to 1 1 when said program is executed by processing means of data.
  • Another subject of the invention concerns a system for reconstructing a three-dimensional image comprising data processing means executing instructions stored in storage means for implementing the method according to one of the described embodiments. in this application.
  • Another object of the invention relates to a reconstruction system according to the preceding claim, characterized in that it comprises the acquisition devices providing data representative of the successive captures.
  • FIG. 1 represents a data acquisition device capturing an entity, to allow the reconstruction of a three-dimensional representation according to some embodiments
  • FIG. 2A represents an example of a point cloud, resulting from a data acquisition, by an acquisition system according to some embodiments
  • FIG. 2B represents an example of a set of reference sites, selected by a translation filter of a reconstruction system of a three-dimensional representation according to some embodiments;
  • FIG. 3A shows an example of a set of reference sites, selected by a rotation filter of a reconstruction system of a three-dimensional representation according to certain embodiments
  • FIG. 3B shows an example of a set of recalibrated points. geometrically of a reconstruction system of a three-dimensional representation according to some embodiments
  • FIG. 4 represents certain embodiments of a method for reconstructing a three-dimensional representation, implemented within two possible embodiments of a reconstruction system of a three-dimensional representation.
  • the present application relates to a method and a system for reconstructing a three-dimensional image.
  • This type of method is generally implemented by computer means and the system (1, 1 ') for reconstructing a three-dimensional representation enabling it to be implemented comprises these computer means, in which data processing means (14) execute instructions contained in storage means (13) (contained in the system or accessed by the latter) so that the processed data are transformed and result in the result that the method advantageously allows to obtain.
  • data processing means (14) execute instructions contained in storage means (13) (contained in the system or accessed by the latter) so that the processed data are transformed and result in the result that the method advantageously allows to obtain.
  • FIG. 4 represents certain embodiments of a method for reconstructing a three-dimensional representation, implemented within two possible embodiments of a system (1, 1 ') for reconstructing a three-dimensional representation. Note that the present application sometimes refers to the method by the term process, without particular distinction or limiting implication. In Figure 4 are shown possible steps in the method, but some steps may sometimes be omitted, such as one of the selections (551, 552) during image registration (55).
  • the method makes it possible to reconstruct three-dimensional images of entities (E) or elements, for example in order to produce prints with three-dimensional printers or to study the depths of the reconstituted element.
  • This type of method is generally implemented using a system (1, 1 ') for reconstructing a three-dimensional representation, which may in fact integrate the data acquisition device (s) or not (s) for reconstructing, as shown in Fig. 4 showing a system (1) having a plurality of acquisition devices (10, 11, 12) which are advantageously combined to provide the data enabling the execution of the method by data processing means (14) of the system (1, 1 '), for example by means of instructions stored in storage means (13) and executable by these processing means (14).
  • acquisition device is sometimes meant a device for recording images, in particular, the three-dimensional image to be reconstructed.
  • the first acquisition device (10) is an optical data acquisition device, such as than a video or photo camera.
  • the second acquisition device (1 1) is able to measure depth data.
  • a problem in the field relates to determining a correspondence between the data acquired between one capture and the next, within a three-dimensional capture system, particularly if the physical position of the capture devices varies between these two captures.
  • the present application therefore aims to limit or eliminate the inaccuracies of this estimated correspondence and / or limit the resources required to obtain a result of this type. This gives data that are referenced with respect to a global determinable reference point from a succession of usual references whose correspondence is to be established.
  • this displacement may comprise at least one translation of the origin of the usual successive marks (if the optical sensor is moved) and / or a rotation of the axes defining the bases of these successive marks (if the orientation of the sensor is changed optical).
  • This displacement of the first and second sensors (10, 1 1) during the acquisition of the successive captures can advantageously be measured using at least one position-monitoring device (12) (based on various technologies which are sometimes associated with each other) among which the gyrometer is a non-limiting example but relevant in that it is inexpensive, widespread and that it allows to collect three-dimensional data generally satisfactory for the uses that are made. In particular, it is generally sought to establish a relationship between data, for example optical or GPS or other, collected during successive acquisitions.
  • the inaccuracy of the gyrometers or even most three-dimensional coordinate acquisition devices of various kinds) too often limits the quality of the three-dimensional representation that can be obtained by the methods. known in the prior art or involves excessive costs to remedy it.
  • the present application describes an invention which furthermore offers a particular advantage which fits in this precise context, by correcting the data relating to the estimated three-dimensional positions (by the three-dimensional coordinate acquisition devices) of the pixels or points within successive views or images collected during the acquisition of these two types of data which it is useful to improve the treatment.
  • various embodiments of the present application propose to limit the error potentially introduced by the positioning device (spatial coordinates acquisition) during the estimation of the displacement of the optical capture system and / or depth.
  • the proposed correction may be adjustable and / or selectable within the proposed options. to a user (defining whether at least one of these corrections must be used and / or what will be the value imposed to determine how this correction is to be applied, for example via a user interaction interface (15) whose skilled person knows the variants that it is useless to detail here).
  • a user interaction interface 15
  • various embodiments of the present application relate to at least one problem relating to the correspondence between the bases and origins corresponding to the various sensors that allowed the acquisition of data, with respect to each other.
  • This type of problem and solution usually implies that the bases and origins are recalibrated relative to each other (preferably when the relations between these sensors are identified in terms position and measured physical values).
  • this method proposes to transpose, in a global frame, each of the successive references with respect to each other, then correcting this transposition by at least one translation of the origin of the usual successive references, some by relative to the others and / or at least one rotation of the bases of these usual references successive to each other.
  • the method can be performed on the basis of data obtained with an image acquisition camera (10) and a camera (1 1) called depth embedded on a system (1) acquisition or reconstruction which can simply be an electronic tablet equipped with these devices.
  • a position data capture device for example such as a gyrometer and / or a GPS or any other type of device detecting the movement of acquisition devices, although the method is precisely about the need to reset views when moving sensors from one view to another.
  • Various embodiments of the present application also have the particularity of being all the more advantageous when the successive displacements measured during the catches are imprecise.
  • the shots are triggered by a program controlling the optical sensor (10), referred to as the camera without inducing limitation, and the depth sensor (1 1), preferably synchronously.
  • a program controlling the optical sensor (10) referred to as the camera without inducing limitation
  • the depth sensor (1 1) preferably synchronously.
  • various embodiments use computer modules (so-called software development kits) capable of triggering various shots and / or acquisitions (51) at a given frequency and resolution.
  • the program according to various embodiments is preferably configured to drive the camera in this manner.
  • the proposed method is based on data acquired by these types of acquisition devices, but is not limited to this acquisition since it relates preferably only three-dimensional reconstruction although it may include acquisition steps as shown.
  • Figure 1 for example, showing a mode of implementation of an acquisition system (1) capturing data representative of an entity (E), while FIG. 4 shows two examples of systems (1, 1 ') which are distinguished by the fact that the one on the left is a system (1) of reconstruction and acquisition whereas the right one is only a reconstruction system (1 ') devoid of devices (10, 1 1, 12) allowing the acquisition (51) of the data used for the reconstruction .
  • Various embodiments relate to a method, an executable program or a system for reconstructing at least one three-dimensional representation (RE) of at least one examined physical entity (E), based on acquisitions (51) corresponding to n successive captures of a plurality of data, preferably synchronized with each other, over time, and comprising:
  • PP data representative of at least one distance, called depth, measured using at least a second acquisition device, called a depth sensor (1 1), between at least a portion of the pixels at the n views (VE) and at least one of said acquisition devices,
  • PS position data representative of successive positions of the acquisition system (1), at each of the n successive captures acquired with the aid of at least a third acquisition device, called a position sensor (12);
  • such a method is implemented by a system (1, 1 ') of three-dimensional representation reconstruction (RE) in which said n successive captures obtained by said acquisitions (51) provide data (VE, PP). , PS) whose combination is representative of clouds (NP) of points.
  • the method makes it possible to use acquired information to generate depth data (PP) of the captured views (VE). In this case, depths of certain points of the acquired image are determined so as to produce a corresponding depth table, related to the captured values of the pixels of the image (color or black and white) of the image. entity.
  • computer modules make it possible to create depth tables for each view.
  • these computer modules synchronize each view and the depth table with an image of a color sensor on the tablet.
  • the method can also benefit from location data relating to the positioning of the acquisition device during the acquisition. This step makes it possible to determine at which position, in particular which inclination, the acquisition device was when it realized the acquisition of the data of the pixels and / or depth.
  • different orientations of the tablet are recovered via base change matrices, relative to the rotation, at a frequency greater than the acquisition frequency.
  • the method further comprises generating data representative of point clouds (NP) corresponding to positions of the points of each view in space, combined from the acquired views, the depth data and the data points. positioning data.
  • NP point clouds
  • the method uses the fact that
  • Each cloud (NP) of points is referenced in space with respect to a respective usual reference (RN);
  • At least one vector is calculated to define a registration (53) to be applied to each of the successive usual references (RN) with respect to the preceding reference;
  • At least one descriptor implements at least one detection (54) of pairs (CP) of points, called resemblance points, respectively belonging to two successive views and having a determined similarity between the values of at least one of their representative data (VE, PP, PS), to serve as a reference for the resetting (53);
  • said resetting (53) is applied incrementally to the n successive captures, so that each iteration allows the data representative of a given view (VE) and / or the point cloud to be readjusted. (NP) corresponding to the previous ones.
  • the successive iterations allow the resetting (53) of the data with respect to the usual reference defined for the first point cloud (NP) and used as a global reference (RG), in particular for the reconstruction (57) of said three-dimensional representation. (RE).
  • the pairs (CP) serving as reference for said resetting (53) are selected by at least one of the following steps:
  • this resetting (55) of images comprising at least one selection (551, 552) of said pairs ( CP) using at least one filter based on the values (SRFT, SRFR) representative of the difference between the two points of a pair (CP) in terms of translation and / or rotation.
  • this geometric registration is preferably based on the identification, for a point present within a cloud of points (NP) corresponding to a given capture, of at least three points that are closest to it in the cloud. of points (NP) of the previous view recaled in the global coordinate system (RG), so that this geometric registration (56) uses as reference these three points, referred to as reference sites, within the point cloud (NP) obtained during the previous capture. These three reference sites thus define a triangle for which the projection of the point to be reset corresponds to the lowest distance.
  • the invention can either use a registration based on the "image" data representative of a captured view (VE), or use a registration based on the "spatial" data representative of the coordinates of the cloud points (NP), the two types of recalibrations.
  • the invention uses both types of recalculations successively. Indeed, it is better to combine the two readjustments for better results.
  • the geometric registration (56) applied after the image registration (55) then makes it possible to provide an unequaled accuracy. Nevertheless, according to the applications, the user will be able to choose a parameter setting defining the use of the registration or the readjustments to be used.
  • the method includes, for each of the successive captures, at least one transposition (52) of these data (VE, PP, PS) in a common three-dimensional common reference, aligning the respective bases of each of these data (VE, PP, PS), relative to each other, to obtain data representative of n point clouds (NP) which are referenced with respect to n three-dimensional landmarks successive customary means defined in common with each of the successive captures, in order to allow said resetting (53) of the point clouds (NP) to obtain said reconstruction (57).
  • at least one transposition (52) of these data (VE, PP, PS) in a common three-dimensional common reference aligning the respective bases of each of these data (VE, PP, PS), relative to each other, to obtain data representative of n point clouds (NP) which are referenced with respect to n three-dimensional landmarks successive customary means defined in common with each of the successive captures, in order to allow said resetting (53) of the point clouds (NP) to obtain said reconstruction (57).
  • the data of an image with its depth table makes it possible to define a grid of 3D points in a so-called "view" reference associated with the camera.
  • This marker has the position of the camera as origin and its base is composed by a view axis (Z axis) specific to each view.
  • the axis perpendicular to the camera and the other axes (X, Y), are aligned with the tablet.
  • tablet is used in this application to refer to the acquisition system (which can also form the reconstruction system if it includes the executable instructions for the implementation of the method), but this term used should not be interpreted as limiting the types of possible systems.
  • the coordinates of the points of the grid are calculated according to the angle of opening of the camera which covers the whole image.
  • these coordinates are expressed in the base of the tablet whose Z axis is in the opposite direction of the Z axis of the base of view and the axes (X, Y) are inverted in the opposite.
  • the second base change provides the same basis for all acquisitions.
  • each acquisition is associated a usual reference (local) whose origin is the position of the camera and the base, the usual base defined via the two basic changes applied to the initial base of view.
  • the points obtained are not at the same place in the space if the image is reconstituted at this stage by means of the separate views. This results in a reconstructed image that is not very faithful to the original image, and thus a biased study of the depths of the image or an unrealistic reproduction in three-dimensional printing.
  • At least one type of correction is applied among two types of correction of the data representative of the successive views that can be applied to them to further improve the reconstruction, thanks to at least one selection (551, 552) of the representative data. reliable values for resetting (53) a view with respect to the previous one.
  • the method implements said selection (551) of said pairs (CP) using at least one filter based on the values (SRFT) representative of the difference between the two points of a pair (CP) in terms of translation, by searching for a maximum number of pairs (CP) between which the translation is defined by a vector of a value less than a determined threshold, for example parameterizable.
  • SRFT values representative of the difference between the two points of a pair (CP) in terms of translation
  • the image registration (55) comprises at least one selection (552) of said pairs (CP) using at least one filter based on the values (SRFR) representative of the difference between the two points of a torque (CP) in terms of rotation, using at least one selection of a pair of reference points (P r , Q r ) having the largest number of couples, defined as their associated pairs (P ,, Q), with which their registration vectors differ by an angle less than an angular threshold of a determined value, for example parameterizable.
  • said selection (552) is based on a deviation (F), expressed by a triplet of rotation angles ( ⁇ , ⁇ , ⁇ ), between the vectors representative of pairs of reference points (P r , Q r ) with respect to the representative vectors of their associated pairs (Pi, Qi).
  • the deflection (F) corresponds to a functional and said selection (552) corresponds to a minimization of this functional by successive iterations of individual rotations, of a determined angular value, for example parameterizable.
  • the variables or parameterizable values described in the present application may be defined by a user or designer preparing the implementation of said method in said system (1, 1 ') and the examples provided are not limiting.
  • the selection (551) based on the values (SRFT) representative of the difference between the two points of a torque (CP) in terms of translation uses a threshold of 10%.
  • the selection step (552) based on the values (SRFR) representative of the difference between the two points of a torque (CP) in terms of rotation is based on an angular threshold. on the order of one degree.
  • the descriptor responsible for said detection (54) of the pairs of points (CP) corresponds to a Harris detector determining the similarity between the average values of the colors in their respective neighborhoods.
  • This detector known in itself, makes it possible to determine with sufficient precision to which image point of a previous view corresponds an image point of a following view. The determination of the vector is then made on the basis of the image points thus identified.
  • the geometric registration (56) is applied to points present within a point cloud (NP) obtained during a given capture, using as a reference, for resetting, the data relating to determined spatial coordinates of a plurality of points within the point cloud (NP) obtained during the previous capture.
  • the geometrical registration (56) defines said plurality points of the previous capture as reference sites for this registration relative to the spatial coordinates of the points to be reset with respect to at least three reference sites defining a triangle for which the distance corresponding to the projection of the point to be reset is the lowest by virtue of the identification, for a point present within a point cloud (NP) corresponding to a given capture, of the three points which are closest to it in the scattered point cloud (NP) of the previous view in the global coordinate system (RG). It is thus understood that the geometric registration (56) uses a triangulation (562) of the data to improve the accuracy of the registration with respect to a triangle of points of the previous capture, instead of being limited to a single point.
  • This triangulation provides a much better accuracy than the known methods of the prior art, for example such as ICP type methods ("Iterative Closest Point" according to Anglo-Saxon terminology).
  • ICP type methods Iterative Closest Point
  • the points of the previous view are defined as reference sites with respect to which it is desired to carry out the geometric registration.
  • This registration for a given point of a view to be recalibrated, is based on the search of the three reference sites whose spatial position is closest to that of the given point. These three reference sites thus form a triangle on which the shortest projection of the given point is sought.
  • the application of the two filters makes it possible to further improve the accuracy of the reconstruction.
  • the geometric registration (56) takes advantage of a data classification step (561) using an accelerator grid (GA) to accelerate the triangulation step.
  • a data classification step 561) using an accelerator grid (GA) to accelerate the triangulation step.
  • This type of accelerating gate (GA) is known in the field and used in the present application, moreover, to accelerate the classification of points as reference sites, in particular by filtering the reference sites between them by the use of a threshold distance, for example a parameterizable value. The search for reference sites closest to a given point is thus accelerated.
  • the invention also relates to a program comprising code portions representative of instructions for implementing the method described in the present application, when said program is executed by data processing means (14).
  • the invention relates to a system (1, 1 ') for reconstructing a three-dimensional image comprising data processing means (14) executing instructions stored in storage means (13) for setting implementation of the method described in this application.
  • the reconstruction system (1) comprises the acquisition devices (10, 11, 12) providing the data representative of the successive captures.
  • the various described embodiments are intended to improve the taking into account of the depth data during a three-dimensional reconstruction and / or to correct the errors due to the movements of the sensors during the acquisitions, or even to correct the inaccuracies of sensors themselves. .
  • the first registration is based on the mapping of pixels between two images. This mapping is translated in terms of corresponding 3D points that discreetly cover the 3D environment.
  • this view is usually the one that contains the maximum of points (pixels) of similarity.
  • Image-based registration includes two successive phases.
  • the first is a conventional method of determining pairs of similarity points between these two images that are defined by a mapping of the points of interest in the two views. These points are for example detected via a Harris detector which makes it possible to identify the singularities of an image.
  • the matching of these points between the two images is done from their average value of colors in their neighborhood.
  • pairs of points of similarity retained may possibly contain erroneous similarities.
  • a second phase of registration is proposed by using the 3D points associated with pairs of points of similarity.
  • a first filter is applied.
  • the first filter is based on lengths, consists of identifying a maximum of pairs (p, q) having a corresponding vector of almost identical standard.
  • p, q we count the number of pairs (p ', q') (corresponding 3D points P 'and Q') associated such that:
  • this expression is written as:
  • ⁇ represents a percentage (for example 10%).
  • the couple with a maximum number of partners is retained with its partners.
  • a second filter is applied.
  • the second filter is based on angles, consists in identifying (among the couples retained) a maximum of pairs (p, q) having a corresponding vector of direction almost identical. Similarly, for each couple (p, q), we count the number of pairs (p ', q') (corresponding 3D points P 'and Q') associated such that P 7 ⁇ 3 ⁇ 4 PQ.
  • (.,.) represents the dot product and ⁇ is an angular threshold (for example 1 degree).
  • the angle filter is a minimized functional with three corresponding vector rotation angles. This aspect makes it possible to counterbalance possible inaccuracies of the gyrometer sensor.
  • the usual base of the current view is slightly inclined relative to the base of the global reference.
  • ⁇ , ⁇ and y are respectively angles of rotation around the X, Y and Z coordinate axes in the usual reference frame of the current view.
  • This functional allows to quantify the deviation of the P & I vectors relative to the reference vector ⁇ p r ⁇ Q r for a triplet of angles of rotation ( ⁇ , ⁇ , ⁇ ) given that acts on the coordinates of the point Pret of points Pi .
  • Each iteration of the functional minimization scheme ⁇ ( ⁇ , ⁇ , ⁇ ) optionally comprises three successive rotations ⁇ , ⁇ and ⁇ around the X, Y, and Z axes of the local coordinate system of the current view. Each rotation is also determined iteratively by small steps of rotation as the functional ⁇ ( ⁇ , ⁇ , ⁇ ) decreases.
  • the first image-based registration is defined by a translation of the usual local coordinate system of the current vector view equal to the average of the PQ vectors corresponding to the pairs (p, q) of resemblance points retained.
  • the first registration is completed by a second registration, called “geometric type registration", to better cover the environment.
  • geometric registration allows a continuous exploration of the environment.
  • the method consists in calculating the distance of the current points with the cloud from the reference sites in the overlapping zones, and defining the translation sought from these distances. For example, given a 3D point of a current view, the three closest reference sites are determined. If these sites form a triangle, we calculate the projection of the 3D point on the support plane of this triangle.
  • the point can be correlated with the reference cloud, understood as one of a recovery zone, via a local translation bringing the point back to its projection.
  • the algorithm of the program according to a variant of the invention then consists, for a given view, in iteratively applying this correlation method as long as the corresponding global translation vector is significant.
  • the 3D points of the current view are repositioned and the correlation is preferably re-examined.
  • the final translation is applied to all 3D points of the current view and this view is inserted into the reference sites.
  • an accelerator grid is set up to quickly identify the three sites closest to a given point. Similarly, this same grid, or another, is used for the insertion of a view into the reference sites. In addition, via this grid or another, the reference sites can be filtered between them via an imposed threshold distance.
  • a recalibrated point cloud NPR
  • various method and / or system embodiments described in the present application make it possible to generate a representation (RE) (in digital form) of the entity (E), in the form of data that can be used for numerous physical or virtual applications such as as three-dimensional printing or virtual reality, augmented reality or even the study of various characteristics or parameters, for example for the study of concrete physical values such as the mechanical resistance of the examined entity, of which a representation less It would not be possible to guarantee satisfactory reliability.
  • RE representation
  • E in digital form
  • E in the form of data that can be used for numerous physical or virtual applications such as as three-dimensional printing or virtual reality, augmented reality or even the study of various characteristics or parameters, for example for the study of concrete physical values such as the mechanical resistance of the examined entity, of which a representation less It would not be possible to guarantee satisfactory reliability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Abstract

La présente invention concerne une méthode, un programme d'ordinateur et un système pour la reconstruction d'une image tridimensionnelle. Des vues de l'image sont acquises et traitées au moyen d'au moins un vecteur de recalage, déterminé en fonction de données représentatives de pixels d'une vue, par rapport aux pixels correspondants de la vue précédente et/ou de données représentatives de coordonnées tridimensionnelles de points déterminés dans une vue par rapport à la vue précédente.

Description

Méthode et système de reconstruction d'une représentation
tridimensionnelle
DOMAINE TECHNIQUE DE L'INVENTION
La présente demande concerne le domaine des méthodes de reconstruction d'une image tridimensionnelle, implémentées par ordinateur. En outre, la demande concerne les produit-programme et systèmes associés.
ARRIERE-PLAN TECHNOLOGIQUE DE L'INVENTION
Il est connu dans la technique de réaliser une reconstruction d'images tridimensionnelles à partir d'une caméra vidéo ou photo et de réaliser des traitements informatiques des images acquises pour reconstituer une "représentation" tridimensionnelle, telle qu'une scène ou un objet par exemple, notamment pour l'étudier et/ou l'utiliser dans un environnement de réalité virtuelle ou de réalité augmentée.
Il est connu également divers dispositifs ou systèmes d'acquisition de données tridimensionnelles, qui utilisent en général deux capteurs dont au moins un est un capteur optique (ou optoélectronique, mais on ne fera pas la distinction ici entre ces deux termes). En effet, pour améliorer la précision des reconstructions, il est souvent proposé d'utiliser plusieurs caméras et d'en intégrer les données dans un calculateur. Ce type de solutions aboutit à des temps de calculs importants et réduit la durée de vie du matériel utilisé pour leur mise en œuvre. Ainsi, même si deux capteurs optiques sont parfois utilisés pour réaliser une capture stéréoscopique, de nombreux autres dispositifs utilisent plutôt un second capteur d'un type différent pour fournir les données tridimensionnelles, souvent appelées "données de profondeur". On citera, comme exemple de second type de capteur, les capteurs infra- rouges bien connus, mais d'autres technologies peuvent être utilisées pour obtenir des données similaires qui représentent globalement la distance séparant le capteur de la cible capturée. Les données de ce type, issues de l'acquisition d'images et d'informations tridimensionnelles, qui constituent la "capture tridimensionnelle", peuvent avantageusement être associées à des données relatives à la position des capteurs dans l'espace au cours de la capture, pour fournir un repère aux données tridimensionnelles et ainsi permettre de les replacer dans l'espace. Ces données permettent par exemple de réaliser (générer dans les moyens de mémorisation informatiques) des représentations (ou reconstitutions) d'entités telles que des espaces ou environnements, ainsi que des objets qui pourront notamment être reproduits, par exemple avec des imprimantes tridimensionnelles .
Dans cette optique, la précision de la reconstruction est un point critique et dépend de la position du capteur optique (généralement une caméra), mais surtout des positions de ce capteur à chacune des captures successives ainsi que de la qualité de l'image obtenue par la caméra. De plus, cette reconstruction requiert généralement des systèmes informatiques de plus en plus performants pour le traitement de données de plus en plus complexes afin d'effectuer des calculs permettant de caractériser différents points au sein de plusieurs images, de sorte à pouvoir reconstituer la représentation tridimensionnelle de l'entité capturée.
DESCRIPTION GENERALE DE L'INVENTION
Un objectif de l'invention est de proposer une méthode simplifiant les calculs et permettant de limiter, d'une part, les temps de calculs requis pour leur exécution et, d'autre part, l'imprécision de la représentation tridimensionnelle obtenue.
C'est pour atteindre ce type d'objectif que l'invention propose une Méthode de reconstruction d'au moins une représentation tridimensionnelle d'au moins une entité physique examinée, sur la base d'acquisitions correspondant à n captures successives d'une pluralité de données, de préférence synchronisées entre elles, dans le temps, et comprenant : - des données représentatives de n vues de l'entité, composées d'une plural ité de pixels capturés à l'aide d'au moins un prem ier d ispositif d'acqu isition , d it capteur optique, n étant un entier non-nul ,
- des données représentatives d'au moins une d istance, d ite profondeur, mesurées à l'aide d'au moins un second d ispositif d'acqu isition , d it capteur de profondeur, entre au moins une partie des pixels au sein des n vues et au moins un desd its d ispositifs d'acqu isition ,
- des données représentatives de positions successives du système d'acqu isition , à chacune des n captures successives, acqu ises à l'aide d'au moins un troisième d ispositif d'acqu isition , d it capteur de position ;
la méthode étant mise en œuvre par un système de reconstruction de représentation tridimensionnelle dans lequel lesd ites n captures successives obtenues grâces auxd ites acqu isitions fourn issent des données dont la combinaison est représentative de nuages de points, la méthode étant caractérisée en ce que
• chacun des nuages de points est référencé dans l'espace par rapport à un repère usuel respectif;
• au moins un vecteur est calculé pour défin ir un recalage à appl iquer sur chacun des repères usuels successifs par rapport au repère précédent;
• au moins un descripteur met en œuvre au moins une détection de couples de points, d its de ressemblance, appartenant respectivement à deux vues successives et présentant une simil itude déterm inée entre les valeurs d'au moins une de leurs données représentatives, pour servir de référence au recalage ;
• led it recalage est appl iqué de man ière incrémentale sur les n captures successives, de sorte que, d'une part, chaque itération permette de recaler les données représentatives d'une vue donnée et/ou du nuage de points correspondant par rapport aux précédents et que, d'autre part, les itérations successives permettent le recalage des données par rapport au repère usuel défini pour le premier nuage de points et utilisé comme un repère global pour la reconstruction de ladite représentation tridimensionnelle,
• les couples servant de référence pour ledit recalage sont sélectionnés grâce à au moins l'une des étapes suivantes :
- recalage d'images, basé sur les données représentatives des pixels capturés lors de l'acquisition des vues successives, ce recalage d'images comprenant au moins une sélection desdits couples à l'aide d'au moins un filtre basé sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de translation et/ou de rotation;
- recalage géométrique basé sur les données représentatives des coordonnées des points au sein des nuages de points. et/ou
- recalage géométrique basé sur les données représentatives des coordonnées des points au sein des nuages de points successifs, grâce à l'identification, pour un point présent au sein d'un nuage de points correspondant à une capture donnée, d'au moins trois points qui en sont les plus proches dans le nuage de points de la vue précédente recalée dans le repère global, de manière à ce que ce recalage géométrique utilise comme référence ces trois points, dits sites de référence, au sein du nuage de points obtenu lors de la capture précédente, ces trois sites de référence définissant ainsi un triangle pour lequel la projection du point à recaler correspond à la distance la plus faible.
Selon une autre particularité, lorsque les données obtenues par les divers dispositifs distincts du système d'acquisition ont été définies en référence à au moins deux repères tridimensionnels distincts, la méthode comporte, pour à chacune des captures successives, au moins une transposition de ces données dans un repère tridimensionnel usuel commun, en alignant les bases respectives de chacune de ces données, les unes par rapport aux autres, pour obtenir des données représentatives de n nuages de points qui sont référencés par rapport à n repères tridimensionnels usuels successifs définis de manière commune à chacune des captures successives, afin de permettre ledit recalage des nuages de points pour obtenir ladite reconstruction.
Selon une autre particularité, la méthode met en œuvre ladite sélection desdits couples à l'aide d'au moins un filtre basé sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de translation, grâce à une recherche d'un nombre maximum de couples entre lesquels la translation est définie par un vecteur d'une valeur inférieure à un seuil de translation déterminé, par exemple paramétrable.
Selon une autre particularité, le recalage d'images comprend
- au moins une sélection desdits couples à l'aide d'au moins un filtre basé sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de rotation, à l'aide d'au moins une sélection d'un couple de points de référence ayant le plus grand nombre de couples, définis comme leurs couples associés, avec lesquels leurs vecteurs de recalage différent d'un angle inférieur à un seuil angulaire d'une valeur déterminée, par exemple paramétrable,
ladite sélection reposant sur une déviation, exprimée par un triplet d'angles de rotation, entre les vecteurs représentatifs de couples de points de référence par rapport aux vecteurs représentatifs de leurs couples associés.
Selon une autre particularité, la déviation correspond à une fonctionnelle et ladite sélection correspond à une minimisation de cette fonctionnelle par des itérations successives de rotations individuelles, d'une valeur angulaire déterminée, par exemple paramétrable.
Selon une autre particularité, la valeur paramétrable est définie par un utilisateur ou concepteur préparant la mise en œuvre de ladite méthode dans ledit système. Selon une autre particularité, le descripteur responsable de ladite détection des couples de points correspond à un détecteur de Harris déterminant la similitude entre les valeurs moyennes des couleurs dans leurs voisinages respectifs.
Selon une autre particularité, l'étape de sélection basée sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de translation utilise un seuil de translation de l'ordre de 10%.
Selon une autre particularité, l'étape de sélection basée sur les valeurs représentatives de la différence entre les deux points d'un couple en termes de rotation repose sur un seuil angulaire de l'ordre d'un degré.
Un autre objet de l'invention concerne un programme d'ordinateur comprenant des portions de code représentatives d'instructions pour la mise en œuvre de la méthode selon l'une des revendications 1 à 1 1 lorsque ledit programme est exécuté par des moyens de traitement de données.
Un autre objet de l'invention concerne un Système de reconstruction d'une image tridimensionnelle comprenant des moyens de traitement de données exécutant des instructions stockées dans des moyens de mémorisation pour la mise en œuvre de la méthode selon l'un des modes de réalisations décrits dans la présente demande.
Un autre objet de l'invention concerne un Système de reconstruction selon la revendication précédente, caractérisé en ce qu'il comporte les dispositifs d'acquisition fournissant les données représentatives des captures successives.
DESCRIPTION DES FIGURES ILLUSTRATIVES
D'autres particularités et avantages de divers modes de réalisation de la présente demande sont détaillés dans la description ci-après, faite en référence aux dessins annexés, dans lesquels :
- La Figure 1 représente un dispositif d'acquisition de données capturant une entité, pour permettre la reconstruction d'une représentation tridimensionnelle selon certains modes de réalisation; - La Figure 2A représente un exemple d'un nuage de points, issu d'une acquisition de données, par un système d'acquisition selon certains modes de réalisation, et la Figure 2B représente un exemple d'un ensemble de sites de référence, sélectionnés par un filtre de translation d'un système de reconstruction d'une représentation tridimensionnelle selon certains modes de réalisation;
- La Figure 3A montre exemple d'un ensemble de sites de référence, sélectionnés par un filtre de rotation d'un système de reconstruction d'une représentation tridimensionnelle selon certains modes de réalisation et la Figure 3B montre exemple d'un ensemble de points recalés géométriquement d'un système de reconstruction d'une représentation tridimensionnelle selon certains modes de réalisation;
- La Figure 4 représente certains modes de réalisation d'un procédé de reconstruction d'une représentation tridimensionnelle, mis en œuvre au sein de deux modes de réalisation possibles de système de reconstruction d'une représentation tridimensionnelle.
DESCRIPTION DES MODES DE REALISATION PREFERES DE
L'INVENTION
La présente demande concerne une méthode et un système de reconstruction d'une image tridimensionnelle. Ce type de méthode est généralement implémenté par des moyens informatiques et le système (1 , 1 ') de reconstruction d'une représentation tridimensionnelle permettant sa mise en œuvre comporte ces moyens informatiques, au sein desquels des moyens de traitement de données (14) exécutent des instructions contenues dans des moyens de mémorisation (13) (contenus dans le système ou accessibles par ce dernier) de sorte que les données traitées soient transformées et aboutissent au résultat que la méthode permet avantageusement d'obtenir. Ainsi, la présente demande ne détaille pas les moyens informatiques puisqu'ils peuvent varier en fonction des besoins. De plus, comme représenté par exemple sur la figure 4, le système (1 ,1 ') de reconstruction d'une représentation tridimensionnelle traite des données acquises par une pluralité de dispositifs d'acquisition (10, 1 1 , 12) et peut soit être un système (1 ) intégrant ces dispositifs d'acquisition soit un système (1 ') utilisant seulement les données acquises (VE, PP, PS) et les instructions à exécuter pour que la méthode soit reproduite. Ainsi, la figure 4 représente certains modes de réalisation d'un procédé de reconstruction d'une représentation tridimensionnelle, mis en œuvre au sein de deux modes de réalisation possibles de système (1 , 1 ') de reconstruction d'une représentation tridimensionnelle. On notera que la présente demande désigne parfois la méthode par le terme procédé, sans distinction particulière ni implication limitative. Dans la figure 4 sont représentées des étapes possibles dans le procédé, mais certaines étapes peuvent parfois être omises, comme par exemple l'une des sélections (551 , 552) au cours du recalage d'images (55).
La méthode permet de reconstituer des images tridimensionnelles d'entités (E) ou éléments, par exemple en vue de réaliser des impressions avec des imprimantes tridimensionnelles ou d'étudier les profondeurs de l'élément reconstitué.
Ce type de méthode est généralement mise en œuvre à l'aide d'un système (1 , 1 ') de reconstruction d'une représentation tridimensionnelle, qui peut en fait intégrer ou non le ou les dispositif(s) d'acquisition de données servant à la reconstruction, comme représenté sur la figure 4 montrant un système (1 ) comportant une pluralité de dispositifs d'acquisition (10, 1 1 , 12) dont il est fait avantage de leur combinaison pour fournir les données permettant l'exécution de la méthode par des moyens de traitement (14) de données du système (1 , 1 '), par exemple grâce à des instructions stockées dans des moyens de mémorisation (13) et exécutables par ces moyens de traitement (14). Par « dispositif d'acquisition », on désigne parfois un dispositif permettant d'enregistrer des images, en particulier, l'image tridimensionnelle à reconstituer. Par exemple, le premier dispositif d'acquisition (10) est un dispositif d'acquisition de données optiques, tel qu'une caméra vidéo ou photo. Le second dispositif d'acquisition (1 1 ) est apte à mesurer des données de profondeur.
Un problème dans le domaine concerne la détermination d'une correspondance entre les données acquises entre une capture et la suivante, au sein d'un système de capture tridimensionnelle, en particulier si la position physique des dispositifs de capture varie entre ces deux captures. La présente demande vise donc à limiter, voire éliminer, les imprécisions de cette correspondance estimée et/ou limiter les ressources nécessaires pour obtenir un résultat de ce type. On obtient ainsi des données qui sont référencées par rapport à un repère global déterminable à partir d'une succession de repères usuels dont on il faut établir la correspondance qui les relie.
Cette correspondance est particulièrement problématique dans le cas fréquent d'un déplacement des repères usuels successifs les uns par rapport aux autres, c'est-à-dire un déplacement des capteurs par rapport à l'entité capturée. De plus, ce déplacement peut comporter au moins une translation de l'origine des repères usuels successifs (si on déplace le capteur optique) et/ou une rotation des axes définissant les bases de ces repères successifs (si on change l'orientation du capteur optique).
Ce déplacement des premier et deuxième capteurs (10, 1 1 ) au cours de l'acquisition des captures successives peut avantageusement être mesuré à l'aide d'au moins un dispositif (12) de suivi de position (basés sur des technologies diverses qui sont parfois associées les unes aux autres) parmi lesquels le gyromètre est un exemple non limitatif mais pertinent par le fait qu'il est peu coûteux, répandu et qu'il permet de recueillir des données tridimensionnelles généralement satisfaisantes pour les utilisations que l'on en fait. En particulier, on cherche généralement à établir une relation entre des données, par exemple optiques ou GPS ou autre, recueillies au cours d'acquisitions successives. Cependant, l'imprécision des gyromètres (ou même de la plupart des dispositifs d'acquisition de coordonnées tridimensionnelles de diverses sortes) limite trop souvent la qualité de la représentation tridimensionnelle qui pourra être obtenue par les méthodes connues dans l'art antérieur ou implique des coûts trop importants pour y remédier.
Ainsi, la présente demande décrit une invention qui offre en outre un avantage particulier qui s'inscrit dans ce contexte précis, en corrigeant les données relatives aux positions tridimensionnelles estimées (par les dispositifs d'acquisition de coordonnées tridimensionnelle) des pixels ou points au sein des vues ou images successives recueillies au cours de l'acquisition de ces deux types de données dont il s'avère utile d'améliorer le traitement.
Pour cela, divers modes de réalisation de la présente demande proposent de limiter l'erreur potentiellement introduite par le dispositif de positionnement (d'acquisition de coordonnées dans l'espace) pendant l'estimation du déplacement du système de capture optique et/ou de profondeur.
Dans certains modes de réalisation, comme le déplacement des capteurs d'une capture à l'autre peut concerner une translation et/ou une rotation du système d'acquisition, la correction proposée pourra être modulable et/ou sélectionnable au sein d'options proposées à un utilisateur (définissant si au moins une de ces corrections doit être utilisée et/ou quelle sera la valeur imposée pour déterminer comment cette correction doit être appliquée, par exemple via une interface d'interaction avec l'utilisateur (15) dont l'homme de métier connaît les variantes qu'il est inutile de détailler ici). Ainsi, il peut être tiré avantage de proposer une souplesse de paramétrage alors que la translation et la rotation peuvent résulter de divers facteurs perturbateurs mais avoir leurs effets ou conséquences indépendants.
De plus, de manière avantageuse, divers modes réalisation de la présente demande concernent au moins un problème relatif à la correspondance entre les bases et origines correspondant aux divers capteurs qui ont permis l'acquisition de données, les uns par rapport aux autres. Ce type de problème et solution implique généralement que les bases et origines soient recalées les unes par rapport aux autres (de préférence lorsque les relations entre ces capteurs sont identifiées en termes de position et de valeurs physiques mesurées). Dans certains modes de réalisation, cette méthode propose de transposer, dans un repère global, chacun des repères successifs les uns par rapport aux autres, puis en corrigeant cette transposition grâce à au moins une translation de l'origine des repères usuels successifs les uns par rapport aux autres et/ou au moins une rotation des bases de ces repères usuels successifs les uns par rapport aux autres. Par exemple, la méthode peut être réalisée sur la base de données obtenues avec une caméra (10) d'acquisition d'images et une caméra (1 1 ) dite de profondeur embarquées sur un système (1 ) d'acquisition ou de reconstruction qui peut être simplement une tablette électronique équipée de ces dispositifs. De plus, un dispositif de capture des données de position, par exemple tel qu'un gyromètre et/ou un GPS ou tout autre type de dispositif détectant le déplacement de dispositifs d'acquisitions, bien que la méthode porte justement sur la nécessité de recaler les vues lors de déplacement des capteur d'une vue à l'autre. Divers modes de réalisation de la présente demande présentent d'ailleurs la particularité d'être d'autant plus avantageux lorsque les déplacements successifs mesurés au cours des captures sont imprécis.
De préférence, les prises de vue sont déclenchées via un programme pilotant le capteur optique (10), désigné par le terme de caméra sans induire de limitation, et le capteur de profondeur (1 1 ), de préférence manière synchrone. Pour piloter la caméra, divers modes de réalisation utilisent des modules informatiques (dits SDK, pour l'anglais "software development kit") capables de déclencher les prises de vues et/ou acquisitions (51 ) diverses à une fréquence et une résolution données. Ainsi, le programme selon divers modes de réalisation est de préférence configuré pour piloter la caméra de cette manière.
La méthode proposée se base sur des données acquises par ces types de dispositifs d'acquisition, mais n'est pas limitée à cette acquisition puisqu'elle concerne de préférence seulement la reconstruction tridimensionnelle bien qu'elle puisse comporter des étapes d'acquisition comme représenté sur la figure 1 par exemple, montrant un mode de réalisation d'un système (1 ) d'acquisition capturant des données représentatives d'une entité (E), alors que la figure 4 montrent deux exemples de systèmes (1 , 1 ') qui se distinguent par le fait que celui de gauche est un système (1 ) de reconstruction et d'acquisition alors que celui de droite est seulement un système (1 ') de reconstruction dépourvu des dispositifs (10, 1 1 , 12) permettant l'acquisition (51 ) des données utilisées pour la reconstruction.
Divers modes de réalisation concernent une méthode, un programme exécutable ou un système pour la reconstruction d'au moins une représentation tridimensionnelle (RE) d'au moins une entité (E) physique examinée, sur la base d'acquisitions (51 ) correspondant à n captures successives d'une pluralité de données, de préférence synchronisées entre elles, dans le temps, et comprenant :
- des données (VE) représentatives de n vues de l'entité (E), composées d'une pluralité de pixels capturés à l'aide d'au moins un premier dispositif d'acquisition, dit capteur optique (10), n étant un entier non-nul,
- des données (PP) représentatives d'au moins une distance, dite profondeur, mesurées à l'aide d'au moins un second dispositif d'acquisition, dit capteur de profondeur (1 1 ), entre au moins une partie des pixels au sein des n vues (VE) et au moins un desdits dispositifs d'acquisition,
- des données (PS) représentatives de positions successives du système (1 ) d'acquisition, à chacune des n captures successives, acquises à l'aide d'au moins un troisième dispositif d'acquisition, dit capteur de position (12);
Dans divers modes de réalisation, une telle méthode est mise en œuvre par un système (1 , 1 ') de reconstruction de représentation tridimensionnelle (RE) dans lequel lesdites n captures successives obtenues grâces auxdites acquisitions (51 ) fournissent des données (VE, PP, PS) dont la combinaison est représentative de nuages (NP) de points. Dans divers modes de réalisation, la méthode permet d'utiliser des informations acquises pour générer des données de profondeur (PP) des vues capturées (VE). Dans ce cas, on détermine des profondeurs de certains points de l'image acquise, de sorte à réaliser une table de profondeurs correspondante, mise en relation avec les valeurs capturées des pixels de l'image (couleur ou noir et blanc) de l'entité.
Par exemple, les modules informatiques permettent de réaliser des tables des profondeurs pour chaque vue. En parallèle, ces modules informatiques permettent de synchroniser chaque vue et la table des profondeurs avec une image d'un capteur couleur de la tablette.
La méthode peut tirer également avantage de données de localisation relatives aux positionnements du dispositif d'acquisition pendant l'acquisition. Cette étape permet de déterminer à quelle position, en particulier quelle inclinaison, le dispositif d'acquisition était lorsqu'il a réalisé l'acquisition des données des pixels et/ou de profondeur.
Par exemple, différentes orientations de la tablette sont récupérées via des matrices de changement de base, relatives à la rotation, à une fréquence plus importante que la fréquence d'acquisition.
Dans divers modes de réalisation, la méthode comprend en outre une génération de données représentatives de nuages de points (NP) correspondant à des positions des points de chaque vue dans l'espace, combinées à partir des vues acquises, des données de profondeur et des données de positionnements. Dans cette étape les positions d'au moins certains points capturés au cours des acquisitions sont répertoriées afin de pouvoir réaliser la reconstruction tridimensionnelle.
Dans divers modes de réalisation, la méthode utilise le fait que
• chacun des nuages (NP) de points est référencé dans l'espace par rapport à un repère (RN) usuel respectif;
• au moins un vecteur est calculé pour définir un recalage (53) à appliquer sur chacun des repères (RN) usuels successifs par rapport au repère précédent; • au moins un descripteur met en œuvre au moins une détection (54) de couples (CP) de points, dits de ressemblance, appartenant respectivement à deux vues successives et présentant une similitude déterminée entre les valeurs d'au moins une de leurs données représentatives (VE, PP, PS), pour servir de référence au recalage (53);
Ainsi, dans divers modes de réalisation, ledit recalage (53) est appliqué de manière incrémentale sur les n captures successives, de sorte que chaque itération permette de recaler les données représentatives d'une vue (VE) donnée et/ou du nuage de points (NP) correspondant par rapport aux précédents. De plus, les itérations successives permettent le recalage (53) des données par rapport au repère usuel défini pour le premier nuage de points (NP) et utilisé comme un repère global (RG), notamment pour la reconstruction (57) de ladite représentation tridimensionnelle (RE).
De plus, dans divers modes de réalisation, les couples (CP) servant de référence pour ledit recalage (53) sont sélectionnés grâce à au moins l'une des étapes suivantes :
- recalage (55) d'images, basé sur les données représentatives des pixels capturés lors de l'acquisition des vues (VE) successives, ce recalage (55) d'images comprenant au moins une sélection (551 , 552) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFT, SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation et/ou de rotation.
et/ou
- recalage géométrique (56) basé sur les données représentatives des coordonnées des points au sein des nuages de points (NP). En particulier, ce recalage géométrique repose de préférence sur l'identification, pour un point présent au sein d'un nuage de points (NP) correspondant à une capture donnée, d'au moins trois points qui en sont les plus proches dans le nuage de points (NP) de la vue précédente recalée dans le repère global (RG), de manière à ce que ce recalage géométrique (56) utilise comme référence ces trois points, dits sites de référence, au sein du nuage de points (NP) obtenu lors de la capture précédente. Ces trois sites de référence définissent donc ainsi un triangle pour lequel la projection du point à recaler correspond à la distance la plus faible.
On comprend donc, comme mentionné plus haut, que l'invention peut soit utiliser un recalage basé sur les données "images" représentatives d'une vue (VE) capturée, soit utiliser un recalage basé sur les données "spatiales" représentatives des coordonnées des points du nuage (NP), soit les deux types de recalages. De préférence, l'invention utilise les deux types de recalages successivement. En effet, il est préférable de combiner les deux recalages pour obtenir de meilleurs résultats. De plus, il est préférable de démarrer par le recalage (55) d'images, puis de procéder au recalage (56) géométrique ensuite. En effet, les vues successives sont généralement capturées à une fréquence fournissant les informations nécessaires pour déterminer les translations et les rotations qui ont eu lieu entre les images successives. Le recalage géométrique (56) appliqué après le recalage images (55) permet alors de fournir une précision inégalée. Néanmoins, selon les applications, l'utilisateur pourra choisir un paramétrage définissant l'utilisation du recalage ou des recalages à utiliser.
D'autre part, dans divers modes de réalisation, lorsque les données (VE, PP, PS) obtenues par les divers dispositifs (10, 1 1 , 12) distincts du système (1 ) d'acquisition ont été définies en référence à au moins deux repères tridimensionnels distincts, la méthode comporte, pour à chacune des captures successives, au moins une transposition (52) de ces données (VE, PP, PS) dans un repère tridimensionnel usuel commun, en alignant les bases respectives de chacune de ces données (VE, PP, PS), les unes par rapport aux autres, pour obtenir des données représentatives de n nuages de points (NP) qui sont référencés par rapport à n repères tridimensionnels usuels successifs définis de manière commune à chacune des captures successives, afin de permettre ledit recalage (53) des nuages de points (NP) pour obtenir ladite reconstruction (57).
Par exemple, la donnée d'une image avec sa table de profondeurs permet de définir une grille de points 3D dans un repère dit « de vue » associé à la caméra. Ce repère a la position de la caméra comme origine et sa base est composée par un axe de vue (axe Z) spécifique à chaque vue. L'axe perpendiculaire à la caméra et les autres axes (X, Y), sont alignés avec la tablette. Le terme tablette est utilisé dans la présente demande pour désigner le système d'acquisition (qui peut aussi former le système reconstruction s'il intègre les instructions exécutable pour la mise en œuvre de la méthode), mais ce terme utilisé ne doit pas être interprété comme limitant les types de systèmes possibles.
Dans ce repère, les coordonnées des points de la grille sont calculées en fonction de l'angle d'ouverture de la caméra qui couvre toute l'image.
En considérant un premier changement de base, ces coordonnées sont exprimées dans la base de la tablette dont l'axe Z est dans le sens opposé de l'axe Z de la base de vue et les axes (X, Y) sont intervertis dans le sens opposé.
En particulier, pour chaque acquisition ou image, on peut identifier l'orientation correspondante de la tablette en considérant la plus proche, en termes de pas de temps, parmi les dernières orientations retenues via un capteur gyromètre.
En annulant l'effet de cette orientation via un deuxième changement de base, on trouve les coordonnées des points dans une base dite usuelle ou universelle où l'axe Z est l'axe vertical. Les autres axes (X, Y) de la base usuelle sont définis par défaut et pourront être imposés par l'utilisateur (par exemple en considérant l'axe Y comme l'axe dirigé vers le nord).
Le deuxième changement de base permet l'obtention de la même base pour toutes les acquisitions. Ainsi, à chaque acquisition est associé un repère usuel (local) dont l'origine est la position de la caméra et la base, la base usuelle définie via les deux changements de base appliqués à la base initiale de vue.
Du fait notamment de la variation de positionnement du dispositif d'acquisition entre les acquisitions, les points obtenus ne sont pas au même endroit dans l'espace si l'image est reconstituée à ce stade au moyen des vues séparées. Cela aboutit à une image reconstituée peu fidèle à l'image originale, et par là une étude biaisée des profondeurs de l'image ou une reproduction peu fidèle en impression tridimensionnelle.
Il est donc requis de réaliser au moins un recalage des points d'image afin d'obtenir une image reconstituée plus fidèle à la réalité. Selon divers modes de réalisation, au moins un type de correction est appliqué parmi deux types de correction des données représentatives des vues successives qui peuvent leur être appliquées pour améliorer davantage la reconstruction, grâce à au moins une sélection (551 , 552) des données représentatives de valeurs fiables pour le recalage (53) d'une vue par rapport à la précédente.
Selon divers modes de réalisation, la méthode met en œuvre ladite sélection (551 ) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFT) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation, grâce à une recherche d'un nombre maximum de couples (CP) entre lesquels la translation est définie par un vecteur d'une valeur inférieure à un seuil déterminé, par exemple paramétrable.
Dans certains modes de réalisation, le recalage (55) d'images comprend au moins une sélection (552) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de rotation, à l'aide d'au moins une sélection d'un couple de points de référence (Pr, Qr) ayant le plus grand nombre de couples, définis comme leurs couples associés (P,, Q,), avec lesquels leurs vecteurs de recalage différent d'un angle inférieur à un seuil angulaire d'une valeur déterminée, par exemple paramétrable. Dans ce type de modes de réalisation, ladite sélection (552) repose sur une déviation (F), exprimée par un triplet d'angles de rotation (α, β, γ), entre les vecteurs représentatifs de couples de points de référence (Pr,Qr) par rapport aux vecteurs représentatifs de leurs couples associés (Pi,Qi).
Dans certains de ces modes de réalisation, la déviation (F) correspond à une fonctionnelle et ladite sélection (552) correspond à une minimisation de cette fonctionnelle par des itérations successives de rotations individuelles, d'une valeur angulaire déterminée, par exemple paramétrable.
D'une manière générale, les variables ou valeurs paramétrables décrites dans la présente demande peuvent être définies par un utilisateur ou concepteur préparant la mise en œuvre de ladite méthode dans ledit système (1 , 1 ') et les exemples fournis ne sont pas limitatifs. Par exemple, dans certains modes de réalisation, la sélection (551 ) basée sur les valeurs (SRFT) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation utilise un seuil de 10%. D'autre part, dans certains modes de réalisation, l'étape de sélection (552) basée sur les valeurs (SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de rotation repose sur un seuil angulaire de l'ordre d'un degré.
Selon divers modes de réalisation, le descripteur responsable de ladite détection (54) des couples de points (CP) correspond à un détecteur de Harris déterminant la similitude entre les valeurs moyennes des couleurs dans leurs voisinages respectifs. Ce détecteur, connu en lui-même, permet de déterminer avec une précision suffisante à quel point d'image d'une vue précédente correspond un point d'image d'une vue suivante. La détermination du vecteur est ensuite faite sur la base des points d'image ainsi identifiés.
Dans certains modes de réalisation, comme mentionné plus haut, le recalage géométrique (56) est appliqué à des points présents au sein d'un nuage de points (NP) obtenu au cours d'une capture déterminée, en utilisant comme référence, pour ce recalage, les données relatives à des coordonnées spatiales déterminées d'une pluralité de points au sein du nuage de points (NP) obtenu lors de la capture précédente. Dans certains de ces modes de réalisation, le recalage (56) géométrique définit ladite pluralité de points de la capture précédente comme des sites de référence pour ce recalage relatif aux coordonnées spatiales des points à recaler par rapport à au moins trois sites de référence définissant un triangle pour lequel la distance correspondant à la projection du point à recaler est la plus faible, grâce à l'identification, pour un point présent au sein d'un nuage de points (NP) correspondant à une capture donnée, des trois points qui en sont les plus proches dans le nuage de points (NP) de la vue précédentes recalée dans le repère global (RG). On comprend ainsi que le recalage (56) géométrique utilise une triangulation (562) des données pour améliorer la précision du recalage par rapport à un triangle de points de la capture précédente, au lieu de se limiter à un seul point. Cette triangulation fournit une précision nettement supérieure aux méthodes connues de l'art antérieure, par exemple telles que les méthodes de type ICP ("Itérative Closest Point" selon la terminologie anglo-saxonne). En d'autres termes, pour une vue donnée, les points de la vue précédente sont définis comme des sites de référence par rapport auxquels on souhaite effectuer le recalage géométrique. Ce recalage, pour un point donné d'une vue à recaler, est basé sur la recherche des trois sites de référence dont la position spatiale est la plus proche de celle du point donné. Ces trois sites de référence forment donc un triangle sur lequel on recherche la projection la plus courte du point donné. L'application des deux filtres permet d'améliorer davantage la précision de la reconstruction. Dans certains de ces modes de réalisation, le recalage géométrique (56) tire avantage d'une étape de classement (561 ) des données à l'aide d'une grille accélératrice (GA), afin d'accélérer l'étape de triangulation. Ce type de grille accélératrice (GA) est connue dans le domaine et utilisée dans la présente demande, en outre, pour accélérer le classement des points comme sites de référence, notamment en filtrant les sites de référence entre eux par l'utilisation d'une distance seuil, par exemple d'une valeur paramétrable. La recherche des sites de référence les plus proches d'un point donné est ainsi accélérée. L'invention porte également sur un programme comprenant des portions de code représentatives d'instructions pour la mise en œuvre de la méthode décrite dans la présente demande, lorsque ledit programme est exécuté par des moyens de traitement de données (14). D'autre part, l'invention porte sur un système (1 , 1 ') de reconstruction d'une image tridimensionnelle comprenant des moyens de traitement de données (14) exécutant des instructions stockées dans des moyens de mémorisation (13) pour la mise en œuvre de la méthode décrite dans la présente demande. Dans certains modes de réalisation, le système (1 ) de reconstruction comporte les dispositifs d'acquisition (10, 1 1 , 12) fournissant les données représentatives des captures successives.
Les divers modes de réalisations décrits visent à améliorer la prise en compte des données de profondeur lors d'une reconstruction tridimensionelle et/ou à corriger les erreurs dues aux mouvements des capteurs au cours des acquisitions, voire à corriger les imprécisions de capteurs eux-même.
Exemple
1 °) Recalaqe basé images
Le premier recalage, dit « recalage basé images », est basé sur la mise en correspondance de pixels entre deux images. Cette mise en correspondance est traduite en termes de points 3D correspondants couvrant de manière discrète l'environnement 3D.
Dans la première étape dite de « recalage basé images », pour une vue donnée, seule la vue qui la précède est considérée et le recalage est effectué par rapport à cette dernière. En effet, cette vue est généralement celle qui contient le maximum de points (pixels) de ressemblance.
Le recalage basé images comprend deux phases successives. La première est une méthode classique de détermination de couples de points de ressemblance entre ces deux images qui sont définis par une mise en correspondance des points d'intérêt dans les deux vues. Ces points sont par exemple détectés via un détecteur de Harris qui permet d'identifier les singularités d'une image.
La mise en correspondance de ces points entre les deux images se fait à partir de leur valeur moyenne de couleurs dans leur voisinage.
Les couples de points de ressemblance retenus peuvent éventuellement contenir des ressemblances erronées. Pour éliminer ces faux couples de ressemblance on propose une deuxième phase de recalage en utilisant les points 3D associés aux couples de points de ressemblance.
A chaque couple de points ou pixels de ressemblance (p, q) (où p appartient à la vue courante et q à la vue qui la précède), est associé un couple de points 3D (P,Q) où P (respectivement Q) est le point 3D (avec les coordonnées exprimées dans le repère usuel) correspondant au pixel p (respectivement q).
Si le couple de points de ressemblance (p,q) est valide, alors la translation cherchée est égale à (comme les points 3D sont tous exprimés dans la base usuelle).
Dans un premier temps, un premier filtre est appliqué. Le premier filtre est basé sur les longueurs, consiste à identifier un maximum de couples (p,q) ayant un vecteur correspondant de norme quasi identique. Ainsi pour chaque couple (p,q), on compte le nombre de couples (p',q') (de points 3D correspondants P' et Q') associés tels que : En pratique, cette expression s'écrit comme :
||ρρ||(ΐ - ε)≤ ||ρ7ρ7||≤ ||ρρ||(ΐ + ε)
où ε représente un pourcentage (par exemple 10%).
Le couple ayant un nombre maximal d'associés est retenu avec ses associés.
Dans un deuxième temps, un deuxième filtre est appliqué. Le deuxième filtre est basé sur les angles, consiste à identifier (parmi les couples retenus) un maximum de couples (p,q) ayant un vecteur correspondant de direction quasi identique. De même, pour chaque couple (p,q), on compte le nombre de couples (p',q') (de points 3D correspondants P' et Q') associés tels que P7^ ¾ PQ .
En pratique, cela s'exprime comme :
PQ, PRQ')≤ e
où (.,.) représente le produit scalaire et Θ est un seuil angulaire (par exemple 1 degré).
Le couple ayant un nombre maximal d'associés, couple appelé couple de référence, est retenu avec ses associés. Ainsi les couples (p,q) retenus ont quasiment les mêmes vecteurs ^correspondants. Rappelons que ces derniers vecteurs sont sensés représenter la translation cherchée.
Selon une variante, le filtre des angles est une fonctionnelle minimisée de trois angles de rotation de vecteurs correspondants. Cet aspect permet de contrebalancer d'éventuelles imprécisions du capteur de gyromètre.
Ainsi, la base usuelle de la vue courante est légèrement inclinée par rapport à la base du repère global. Nous proposons une méthode de correction si le nombre de couples de points de ressemblance retenus ci- dessus est suffisamment important. Si le couple (pr, qr) de points 3D correspondant (Pr et Qr), est le couple de référence, désignons par (p,, q,) les couples associés pour des points 3D correspondant P, et Q,.
On considère la fonctionnelle :
Figure imgf000024_0001
où α, β et y sont respectivement des angles de rotation autour des axes de coordonnées X, Y et Z dans le repère usuel de la vue courante.
Cette fonctionnelle permet de quantifier la déviation des vecteurs P&I par rapport au vecteur de référence ~pr ~Qr pour un triplet d'angles de rotation (α,β,γ) donné qui agit sur les coordonnées du point Pr êt des points Pi.
Dans le cas idéal où la base usuelle de la vue courante est alignée avec la base du repère usuel, cette fonctionnelle est quasiment nulle.
Ainsi, pour corriger l'imprécision du gyromètre, on propose de minimiser cette fonctionnelle en appliquant de manière itérative des petites rotations élémentaires autour des axes X, Y et Z dans le repère usuel local de la vue courante afin d'aligner la base usuelle locale avec la base du repère global, ce qui a pour effet le redressement du repère local par rapport au repère global.
Chaque itération du schéma de minimisation de la fonctionnelle Ρ(α,β,γ) comprend éventuellement trois rotations successives α, β et γ autour des axes X, Y, et Z du repère local de la vue courante. Chaque rotation est aussi déterminée de manière itérative par des petits pas de rotation tant que la fonctionnelle Ρ(α,β,γ) diminue.
Les rotations possibles (minimisant la fonctionnelle), examinées dans les deux sens direct et indirect, sont cumulées. A l'issue d'une itération du schéma de minimisation, si aucune rotation n'est possible, le schéma a convergé et le cumul des rotations trouvées représente la correction à apporter à la base usuelle afin de l'aligner sur la base usuelle globale.
Le premier recalage basé images est défini par une translation du repère usuel local de la vue courante de vecteur égal à la moyenne des vecteurs PQ correspondants aux couples (p,q) de points de ressemblance retenus.
2°) Recalaqe de type géométrique
Le premier recalage est complété par un deuxième recalage, dit « recalage de type géométrique », pour mieux couvrir l'environnement. En effet, le recalage géométrique permet une exploration continue de l'environnement.
Dans cette deuxième étape de recalage de type géométrique, pour une vue donnée, les points 3D correspondants (points courants) sont recalés par rapport à l'ensemble des points 3D des vues précédentes.
Ces derniers points, appelés sites de référence, sont plongés dans le repère global.
La méthode consiste à calculer la distance des points courants avec le nuage des sites de références dans les zones de recouvrement, et définir la translation cherchée à partir de ces distances. Par exemple, étant donné un point 3D d'une vue courante, on détermine les trois sites de référence les plus proches. Si ces sites forment un triangle, on calcule la projection du point 3D sur le plan support de ce triangle.
Si cette projection tombe à l'intérieur du triangle on considère que le point peut être corrélé avec le nuage de référence, entendu comme une d'une zone de recouvrement, via une translation locale ramenant le point sur sa projection.
En considérant la moyenne de ces vecteurs locaux de translation, on obtient un vecteur global de translation représentant le meilleur compromis de corrélation de la vue courante avec les sites de référence.
De manière générale, l'algorithme du programme selon une variante de l'invention consiste alors, pour une vue donnée, à appliquer de manière itérative ce procédé de corrélation tant que le vecteur global de translation correspondant est significatif.
En effet, à chaque application de ce procédé de corrélation, les points 3D de la vue courante sont repositionnés et la corrélation est de préférence réexaminée. La translation finale est appliquée à tous les points 3D de la vue courante et cette vue est insérée dans les sites de référence.
Pour une question d'efficacité, une grille accélératrice est mise en place pour identifier de manière rapide les trois sites les plus proches d'un point donné. De même, cette même grille, ou une autre, est utilisée pour l'insertion d'une vue dans les sites de référence. En outre, via cette grille ou une autre, les sites de référence peuvent être filtrés entre eux via une distance seuil imposée.
On comprend donc que divers modes de réalisation décrits dans la présente demande atteignent au moins une parties des buts visés, à partir de données acquises (VE, PP, PS) sur une entité (E) et en les transformant pour les rendre plus réalistes via l'utilisation de données spécifiques (SRFT, SRFR, etc.) en limitant les imprécisions ou erreurs de ces données par rapport aux valeurs physiques réelles que présente l'entité (E) examinée (reconstruite). Ainsi, une fois obtenu un nuage de point recalé (NPR), divers modes de réalisation de procédé et/ou de système décrits dans la présente demande permettent de générer une représentation (RE) (sous forme numérique) de l'entité (E), sous la forme de données utilisables pour de nombreuses applications physiques ou virtuelles telle que l'impression tridimensionnelle ou la réalité virtuelle, la réalité augmentée ou même l'étude de caractéristiques ou paramètres divers, par exemple en vue de l'étude de valeurs physiques concrètes telles que la résistance mécanique de l'entité examinée dont une représentation moins précise ne permettrait pas de garantir une fiabilité satisfaisante.
II doit être évident pour les personnes versées dans l'art que la présente invention permet des modes de réalisation sous de nombreuses autres formes spécifiques sans l'éloigner du domaine d'application de l'invention comme revendiqué. Par conséquent, les présents modes de réalisation doivent être considérés à titre d'illustration, mais peuvent être modifiés dans le domaine défini par la portée des revendications jointes, et l'invention ne doit pas être limitée aux détails donnés ci-dessus.

Claims

REVENDICATIONS
1 . Méthode de reconstruction d'au moins une représentation tridimensionnelle (RE) d'au moins une entité (E) physique examinée, sur la base d'acquisitions (51 ) correspondant à n captures successives d'une pluralité de données, de préférence synchronisées entre elles, dans le temps, et comprenant :
- des données (VE) représentatives de n vues de l'entité (E), composées d'une pluralité de pixels capturés à l'aide d'au moins un premier dispositif d'acquisition, dit capteur optique (10), n étant un entier non-nul,
- des données (PP) représentatives d'au moins une distance, dite profondeur, mesurées à l'aide d'au moins un second dispositif d'acquisition, dit capteur de profondeur (1 1 ), entre au moins une partie des pixels au sein des n vues (VE) et au moins un desdits dispositifs d'acquisition,
- des données (PS) représentatives de positions successives du système (1 ) d'acquisition, à chacune des n captures successives, acquises à l'aide d'au moins un troisième dispositif d'acquisition, dit capteur de position (12);
la méthode étant mise en œuvre par un système (1 , 1 ') de reconstruction de représentation tridimensionnelle (RE) dans lequel lesdites n captures successives obtenues grâces auxdites acquisitions (51 ) fournissent des données (VE, PP, PS) dont la combinaison est représentative de nuages (NP) de points,
la méthode étant caractérisée en ce que :
• chacun des nuages (NP) de points est référencé dans l'espace par rapport à un repère (RN) usuel respectif;
• au moins un vecteur est calculé pour définir un recalage (53) à appliquer sur chacun des repères (RN) usuels successifs par rapport au repère précédent; • au moins un descripteur met en œuvre au moins une détection (54) de couples (CP) de points, dits de ressemblance, appartenant respectivement à deux vues successives et présentant une similitude déterminée entre les valeurs d'au moins une de leurs données représentatives (VE, PP, PS), pour servir de référence au recalage (53);
ledit recalage (53) est appliqué de manière incrémentale sur les n captures successives, de sorte que, d'une part, chaque itération permette de recaler les données représentatives d'une vue (VE) donnée et/ou du nuage de points (NP) correspondant par rapport aux précédents et que, d'autre part, les itérations successives permettent le recalage (53) des données par rapport au repère usuel défini pour le premier nuage de points (NP) et utilisé comme un repère global (RG) pour la reconstruction (57) de ladite représentation tridimensionnelle (RE), les couples (CP) servant de référence pour ledit recalage (53) sont sélectionnés grâce à un recalage géométrique (56) basé sur les données représentatives des coordonnées des points au sein des nuages de points (NP) successifs, grâce à l'identification, pour un point présent au sein d'un nuage de points (NP) correspondant à une capture donnée, d'au moins trois points qui en sont les plus proches dans le nuage de points (NP) de la vue précédente recalée dans le repère global (RG), de manière à ce que ce recalage géométrique (56) utilise comme référence ces trois points, dits sites de référence, au sein du nuage de points (NP) obtenu lors de la capture précédente, ces trois sites de référence définissant ainsi un triangle pour lequel la projection du point à recaler correspond à la distance la plus faible.
2. Méthode selon la revendication précédente, caractérisée en ce que le recalage (56) géométrique est remplacé ou précédé par un recalage (55) d'images, basé sur les données représentatives des pixels capturés lors de l'acquisition des vues (VE) successives, ce recalage (55) d'images comprenant au moins une sélection (551 , 552) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFT, SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation et/ou de rotation.
3. Méthode selon la revendication précédente, caractérisée en ce que, lorsque les données (VE, PP, PS) obtenues par les divers dispositifs (10, 1 1 , 12) distincts du système (1 ) d'acquisition ont été définies en référence à au moins deux repères tridimensionnels distincts, la méthode comporte, pour à chacune des captures successives, au moins une transposition (52) de ces données (VE, PP, PS) dans un repère tridimensionnel usuel commun, en alignant les bases respectives de chacune de ces données (VE, PP, PS), les unes par rapport aux autres, pour obtenir des données représentatives de n nuages de points (NP) qui sont référencés par rapport à n repères tridimensionnels usuels successifs définis de manière commune à chacune des captures successives, afin de permettre ledit recalage (53) des nuages de points (NP) pour obtenir ladite reconstruction (57).
4. Méthode selon l'une des revendications précédentes, caractérisée en ce qu'elle met en œuvre ladite sélection (551 ) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFT) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation, grâce à une recherche d'un nombre maximum de couples (CP) entre lesquels la translation est définie par un vecteur d'une valeur inférieure à un seuil déterminé, par exemple paramétrable.
5. Méthode selon l'une des revendications précédentes, caractérisée en ce que le recalage (55) d'images comprend :
au moins une sélection (552) desdits couples (CP) à l'aide d'au moins un filtre basé sur les valeurs (SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de rotation, à l'aide d'au moins une sélection d'un couple de points de référence
(Pr, Qr) ayant le plus grand nombre de couples, définis comme leurs couples associés (Pi, Qi), avec lesquels leurs vecteurs de recalage différent d'un angle inférieur à un seuil angulaire d'une valeur déterminée, par exemple paramétrable,
ladite sélection (552) reposant sur une déviation (F), exprimée par un triplet d'angles de rotation (α, β, γ), entre les vecteurs représentatifs de couples de points de référence (Pr,Qr) par rapport aux vecteurs représentatifs de leurs couples associés (Pi,Qi).
6. Méthode selon la revendication précédente, caractérisée en ce que la déviation (F) correspond à une fonctionnelle et ladite sélection (552) correspond à une minimisation de cette fonctionnelle par des itérations successives de rotations individuelles, d'une valeur angulaire déterminée, par exemple paramétrable.
7. Méthode selon l'une des revendications 3 à 6, dans laquelle la valeur paramétrable est définie par un utilisateur ou concepteur préparant la mise en œuvre de ladite méthode dans ledit système (1 ,1 ').
8. Méthode selon l'une des revendications précédentes, caractérisée en ce que le descripteur responsable de ladite détection (54) des couples de points (CP) correspond à un détecteur de Harris déterminant la similitude entre les valeurs moyennes des couleurs dans leurs voisinages respectifs
9. Méthode selon l'une des revendications précédentes, dans laquelle l'étape de sélection (551 ) basée sur les valeurs (SRFT) représentatives de la différence entre les deux points d'un couple (CP) en termes de translation utilise un seuil de translation de l'ordre de 10%.
10. Méthode selon l'une des revendications précédentes, dans laquelle l'étape de sélection (552) basée sur les valeurs (SRFR) représentatives de la différence entre les deux points d'un couple (CP) en termes de rotation repose sur un seuil angulaire de l'ordre d'un degré.
1 1 . Programme d'ordinateur comprenant des portions de code représentatives d'instructions pour la mise en œuvre de la méthode selon l'une des revendications 1 à 10 lorsque ledit programme est exécuté par des moyens de traitement de données (14).
12. Système (1 , 1 ') de reconstruction d'une image tridimensionnelle comprenant des moyens de traitement de données (14) exécutant des instructions stockées dans des moyens de mémorisation (13) pour la mise en oeuvre de la méthode selon l'une des revendications 1 à 10.
13. Système (1 ) de reconstruction selon la revendication précédente, caractérisé en ce qu'il comporte les dispositifs d'acquisition (10, 1 1 , 12) fournissant les données représentatives des captures successives.
PCT/EP2017/067164 2016-07-07 2017-07-07 Méthode et système de reconstruction d'une représentation tridimensionnelle Ceased WO2018007628A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112017003426.4T DE112017003426T5 (de) 2016-07-07 2017-07-07 Verfahren und System zum Rekonstruieren einer dreidimensionalen Darstellung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1656559 2016-07-07
FR1656559A FR3053817B1 (fr) 2016-07-07 2016-07-07 Methode et systeme de reconstruction d'une representation tridimensionnelle

Publications (1)

Publication Number Publication Date
WO2018007628A1 true WO2018007628A1 (fr) 2018-01-11

Family

ID=56990595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/067164 Ceased WO2018007628A1 (fr) 2016-07-07 2017-07-07 Méthode et système de reconstruction d'une représentation tridimensionnelle

Country Status (3)

Country Link
DE (1) DE112017003426T5 (fr)
FR (1) FR3053817B1 (fr)
WO (1) WO2018007628A1 (fr)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110341192A (zh) * 2019-07-12 2019-10-18 东北大学 一种基于vr的导板3d打印模型建立方法
CN111238477A (zh) * 2019-03-25 2020-06-05 武汉珈鹰智能科技有限公司 一种烟囱内无人机的定位方法及装置
CN112215942A (zh) * 2020-09-14 2021-01-12 中国科学院计算技术研究所 一种冷冻电镜局部断层三维图像重构方法及系统
CN113366540A (zh) * 2019-01-30 2021-09-07 皇家飞利浦有限公司 场景的图像表示
CN115170436A (zh) * 2022-08-02 2022-10-11 北京工商大学 一种基于l0范数最小化的点云颜色去噪方法
CN117496073A (zh) * 2023-12-29 2024-02-02 山东省国土测绘院 一种多时相实景三维模型的构建方法及系统
CN119879772A (zh) * 2025-03-27 2025-04-25 先临三维科技股份有限公司 一种三维检测方法、装置、设备、介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3025918A1 (fr) * 2014-09-11 2016-03-18 Snapkin Procede et systeme de modelisation automatisee d'une piece
US20160110878A1 (en) * 2014-10-15 2016-04-21 Caterpillar Inc. Motion estimation in real-time visual odometry system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3025918A1 (fr) * 2014-09-11 2016-03-18 Snapkin Procede et systeme de modelisation automatisee d'une piece
US20160110878A1 (en) * 2014-10-15 2016-04-21 Caterpillar Inc. Motion estimation in real-time visual odometry system

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
EMMANUEL PEREZ BONNAL: "3D Mapping of indoor environments using RGB-D Kinect camera for robotic mobile application", 1 July 2011 (2011-07-01), XP055351499, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.841.8375&rep=rep1&type=pdf> [retrieved on 20170303] *
JACKY CHOW ET AL: "IMU and Multiple RGB-D Camera Fusion for Assisting Indoor Stop-and-Go 3D Terrestrial Laser Scanning", ROBOTICS, vol. 3, no. 3, 11 July 2014 (2014-07-11), pages 247 - 280, XP055351526, DOI: 10.3390/robotics3030247 *
P. HENRY ET AL: "RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments", THE INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH, vol. 31, no. 5, 10 February 2012 (2012-02-10), pages 647 - 663, XP055120449, ISSN: 0278-3649, DOI: 10.1177/0278364911434148 *
QUAN SHI ET AL: "Automated data processing for a rapid 3D surface inspection system", 2008 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION. THE HALF-DAY WORKSHOP ON: TOWARDS AUTONOMOUS AGRICULTURE OF TOMORROW, IEEE - PISCATAWAY, NJ, USA, PISCATAWAY, NJ, USA, 19 May 2008 (2008-05-19), pages 3939 - 3944, XP031340760, ISBN: 978-1-4244-1646-2 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113366540A (zh) * 2019-01-30 2021-09-07 皇家飞利浦有限公司 场景的图像表示
CN111238477A (zh) * 2019-03-25 2020-06-05 武汉珈鹰智能科技有限公司 一种烟囱内无人机的定位方法及装置
CN110341192A (zh) * 2019-07-12 2019-10-18 东北大学 一种基于vr的导板3d打印模型建立方法
WO2021007935A1 (fr) * 2019-07-12 2021-01-21 东北大学 Procédé basé sur la rv à plaque de guidage de construction d'un modèle d'impression 3d
CN112215942A (zh) * 2020-09-14 2021-01-12 中国科学院计算技术研究所 一种冷冻电镜局部断层三维图像重构方法及系统
CN112215942B (zh) * 2020-09-14 2024-01-12 中国科学院计算技术研究所 一种冷冻电镜局部断层三维图像重构方法及系统
CN115170436A (zh) * 2022-08-02 2022-10-11 北京工商大学 一种基于l0范数最小化的点云颜色去噪方法
CN117496073A (zh) * 2023-12-29 2024-02-02 山东省国土测绘院 一种多时相实景三维模型的构建方法及系统
CN117496073B (zh) * 2023-12-29 2024-03-26 山东省国土测绘院 一种多时相实景三维模型的构建方法及系统
CN119879772A (zh) * 2025-03-27 2025-04-25 先临三维科技股份有限公司 一种三维检测方法、装置、设备、介质及程序产品

Also Published As

Publication number Publication date
DE112017003426T5 (de) 2019-03-28
FR3053817A1 (fr) 2018-01-12
FR3053817B1 (fr) 2021-11-19

Similar Documents

Publication Publication Date Title
WO2018007628A1 (fr) Méthode et système de reconstruction d&#39;une représentation tridimensionnelle
EP2715662B1 (fr) Procede de localisation d&#39;une camera et de reconstruction 3d dans un environnement partiellement connu
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
CN102714696B (zh) 图像处理装置、图像处理方法及摄影装置
EP2549434B1 (fr) Procédé de modélisation de bâtiments à partir d&#39;une image géoréférencée
US20200320727A1 (en) Method and apparatus for generating a three-dimensional model
US9025862B2 (en) Range image pixel matching method
US10785463B2 (en) Super-resolution in structured light imaging
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
US20160094830A1 (en) System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns
TW200841704A (en) Arrangement and method for the recording and display of images of a scene and/or an object
JP2018515825A (ja) Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
EP2923330A2 (fr) Procede de reconstruction 3d et de mosaïquage 3d panoramique d&#39;une scene
WO2014061372A1 (fr) Dispositif de traitement d&#39;image, procédé de traitement d&#39;image et programme de traitement d&#39;image
FR3009635A1 (fr) Procede de recherche d&#39;une image similaire dans une banque d&#39;images a partir d&#39;une image de reference
FR3011368A1 (fr) Procede et dispositif pour le renforcement de la forme des bords pour l&#39;amelioration visuelle du rendu base sur des images de profondeur d&#39;un flux video en trois dimensions
FR3055421A1 (fr) Detection coherente multivisee de changements
KR101943046B1 (ko) 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법
EP1168831B1 (fr) Procédé de calibration de caméra
WO2017077217A1 (fr) Calibration 3d d&#39;un systeme de mapping video
KR100922273B1 (ko) 영상 시퀀스로부터 선택된 중요 영상을 이용한 3차원모델의 재구성 방법
KR20230012755A (ko) 2차원 배열 구조의 다중 시점 영상을 이용한 카메라 자세 추정 장치 및 이를 이용한 방법
KR101905142B1 (ko) 고리형 필터를 이용한 깊이 추정 방법 및 장치
EP3018625B1 (fr) Procédé de calibration d&#39;un système de visée

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17746397

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17746397

Country of ref document: EP

Kind code of ref document: A1