[go: up one dir, main page]

WO2013015549A2 - 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법 - Google Patents

평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법 Download PDF

Info

Publication number
WO2013015549A2
WO2013015549A2 PCT/KR2012/005645 KR2012005645W WO2013015549A2 WO 2013015549 A2 WO2013015549 A2 WO 2013015549A2 KR 2012005645 W KR2012005645 W KR 2012005645W WO 2013015549 A2 WO2013015549 A2 WO 2013015549A2
Authority
WO
WIPO (PCT)
Prior art keywords
plane information
camera
information
plane
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2012/005645
Other languages
English (en)
French (fr)
Other versions
WO2013015549A3 (ko
Inventor
이선민
김도균
이영범
이태현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US13/823,593 priority Critical patent/US9405359B2/en
Priority to CN201280001645.6A priority patent/CN103181157B/zh
Priority to JP2014522736A priority patent/JP6242334B2/ja
Priority to EP12818138.5A priority patent/EP2739036B1/en
Publication of WO2013015549A2 publication Critical patent/WO2013015549A2/ko
Publication of WO2013015549A3 publication Critical patent/WO2013015549A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a technique for estimating the pose of a camera using three-dimensional information included in an image.
  • Augmented reality is a technology that overlaps a graphic object or additional information on a real image taken by a camera.
  • it is important to accurately know the pose of the camera, that is, its position and orientation.
  • To determine the position or orientation of the camera use a prepared marker or place a predefined reference object (ex. 2D (dimension) plane object or 3D model) in real space so that Use a method of determining the relative position of the camera.
  • FIG. 1 is a view showing an example of a marker according to the prior art.
  • 110 is a marker prepared in advance and may have an artificial form such as a Quick Response (QR) code.
  • QR Quick Response
  • 120 illustrates an example of using a two-dimensional or three-dimensional reference object that exists naturally in an actual image as a marker.
  • a picture frame placed on a monitor, keyboard, or desk included in an actual image may be used as a reference object.
  • a two-dimensional or three-dimensional object when used as a marker, it may be classified as a marker-less, meaning that it uses a natural reference object that exists in real space.
  • This is a method of using a marker because it needs to be prepared in advance, such as storing it as a marker in a database.
  • a point feature for using a reference object as a marker may be stored in a database.
  • markerless camera tracking and registration without reference objects is required to immediately utilize augmented reality technology at the desired place and time without prior preparation.
  • Camera tracking and matching in the conventional augmented reality technology mainly used a point feature utilizing intensity information in a color image regardless of whether a marker is used or not.
  • the lighting conditions must be constant, and there is a constraint that the texture must be rich in order to find distinctive point characteristics.
  • PTAM Parallel Tracking and Mapping
  • a method of estimating the camera pose based on the reference is used.
  • at least five corresponding point features should be extracted. If the texture is not rich, the point features are not extracted. The system may not work properly.
  • the markerless augmented reality system is a plane extractor for extracting a plurality of plane information included in the image by using the 3D information of the image generated from the camera, the corresponding relationship between the extracted plurality of plane information
  • a correspondence estimator for estimating, and a camera pose estimator for estimating a pose of the camera by using the estimated correspondence is a plane extractor for extracting a plurality of plane information included in the image by using the 3D information of the image generated from the camera, the corresponding relationship between the extracted plurality of plane information
  • a correspondence estimator for estimating, and a camera pose estimator for estimating a pose of the camera by using the estimated correspondence is a plane extractor for extracting a plurality of plane information included in the image by using the 3D information of the image generated from the camera, the corresponding relationship between the extracted plurality of plane information
  • a correspondence estimator for estimating, and a camera pose estimator for estimating a pose of the camera by using the estimated correspondence is a plane extractor for extracting a plurality of plane information
  • the plane extractor selects a first point from the three-dimensional information, selects a second point and a third point located within a threshold value from the first point, and selects the selected first point, the second point, and the third point. You can create a planar model using points.
  • the plane extractor may extract a plurality of plane information included in the image using the plane model.
  • the correspondence relationship estimator may estimate a correspondence relationship between the plurality of pieces of plane information by using a normal vector constituting each plane information or a distance between the plane information from the camera.
  • the plane extractor may extract a plurality of plane information included in a plurality of frames constituting the image.
  • the correspondence relation estimator may select any one frame among the plurality of frames as a reference frame and estimate a correspondence relationship between the plurality of plane information using the target plane information included in the selected reference frame.
  • the correspondence relation estimator may select the target plane information in consideration of any one of the number of points included in the plane information, the direction of the normal vector between the plane information, or the distance from the camera to the plane information.
  • the correspondence relation estimator may estimate a correspondence relationship between the plurality of pieces of plane information in consideration of the direction of the normal vector between the target plane information and the plane information included in each frame or the distance from the camera to the plane information.
  • the correspondence relation estimator may store the selected target plane information in a plane information database and store plane information different from the target plane information among the plurality of plane information in the plane information database.
  • the camera position estimating unit may estimate rotation information or movement information of the camera using the correspondence relationship, and estimate the pose of the camera using the estimated rotation information or movement information.
  • the camera pose estimator generates a rotation matrix by using a normal vector between plane information of each frame included in the image, generates a movement matrix by using the rotation matrix and the distance from the camera to the plane information, and the rotation A transformation matrix may be generated using the matrix and the moving matrix.
  • the camera pose estimator may estimate the pose of the camera using the transformation matrix.
  • Markerless augmented reality system is a plane extraction unit for extracting a plurality of plane information included in the image using the three-dimensional information of the image generated from the camera, and using the extracted plurality of plane information
  • An augmented reality unit for matching the image and the virtual object.
  • the plane extractor selects a first point from the three-dimensional information, selects a second point and a third point located within a threshold value from the first point, and includes the first point, the second point, and the third point.
  • the markerless augmented reality system may further include a camera pose estimator for estimating a pose of the camera by using a corresponding relationship between the extracted plurality of plane information.
  • the augmented reality unit may match the image and the virtual object by using the estimated pose of the camera.
  • the markerless augmented reality system selects the target plane information in consideration of any one of the number of points included in the extracted plane information, the direction of the normal vector between plane information, or the distance from the camera to the plane information
  • the apparatus may further include a correspondence relationship estimator configured to estimate a correspondence relationship between the plurality of pieces of plane information in consideration of the direction of a normal vector between the plane information included in each frame and the plane information included in each frame or the distance from the camera to the plane information.
  • the markerless augmented reality method may include extracting a plurality of plane information included in the image using 3D information of the image, and using the corresponding relationship between the extracted plurality of plane information. Estimating the pose of the generated camera.
  • the conventional camera motion estimation technique using a color camera can be used even in an environment in which it does not operate normally.
  • FIG. 1 is a view showing an example of a marker according to the prior art.
  • FIG. 2 is a block diagram illustrating a configuration of a markerless augmented reality system according to an embodiment of the present invention.
  • 3 is a diagram illustrating an example of selecting a point from three-dimensional information.
  • FIG. 5 is a diagram illustrating an example of extracting plane information from an image.
  • FIG. 6 is a block diagram illustrating a configuration of a markerless augmented reality system according to another embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of estimating a pose of a camera using a planar feature.
  • FIG. 8 illustrates an example of registering an image and a virtual object.
  • FIG. 9 is a flowchart illustrating a sequence of a method for operating a markerless augmented reality according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a markerless augmented reality system according to an embodiment of the present invention.
  • the markerless augmented reality system 200 may include a 3D information acquirer 210, a plane extractor 220, a correspondence estimator 230, and a camera pose estimator 240. Can be.
  • the markerless augmented reality system 200 estimates the camera pose by using the planar characteristics extracted from the image, so that the markerless augmented reality system does not require preparation such as storing a reference object in a database in advance, and it is possible to construct an augmented reality system without markers Do.
  • the 3D information acquisition unit 210 may obtain a depth image from the depth camera, and obtain depth information from the obtained depth image as 3D information.
  • the 3D information acquirer 210 may obtain 3D information using color images obtained from a plurality of color cameras. Since the color image acquired by the color camera is a 2D image, the 3D information acquisition unit 210 may acquire 3D information using color images obtained from a plurality of color cameras such as a stereo color camera or a multi color camera. Can be.
  • both the depth image and the color image are collectively referred to as 'image'.
  • the plane extractor 220 estimates a plane existing in the image by using the 3D information.
  • the plane extractor 220 may estimate the plane model more quickly in consideration of spatial coherency that points constituting the plane exist in adjacent spaces.
  • the plane extractor 220 may arbitrarily select a first point P1 from the 3D information, and select a second point P2 and a third point P3 located within a threshold from the first point. That is, the plane extractor 220 constructs a tree (kd-tree) with respect to the points in the 3D space to extract points located within a threshold value from the first point, and thresholds based on the first point P1. Among the points within the value, the second point P2 and the third point P3 may be selected.
  • 3 is a diagram illustrating an example of selecting a point from three-dimensional information.
  • the plane model is extracted because the probability that the three points exist on the same plane is relatively smaller than when selecting three points in an adjacent area. It takes a long time. Therefore, the plane extractor 220 selects the first point, and then, based on the first point, the plane extractor 220 selects the second point and the third point included in the adjacent area (circle) within the threshold. Compared to the Random Sample Consensus method, plane information can be extracted more quickly.
  • the plane extractor 220 may generate a plane model using the selected first point, the second point, and the third point.
  • (A, B, C) is a normal vector indicating the direction of the plane
  • D is the distance from the camera to the plane containing the first point to the third point.
  • Equation 2 The above determinant can be expanded once again as in Equation 2.
  • the plane extractor 220 may obtain a plane equation as shown in Equation 3 using the calculated A, B, C, and D.
  • D corresponds to a distance from the origin to the plane.
  • D is the distance from the origin to the plane when the plane from which three points are extracted is projected on the coordinate system, it can be said to be equal to the distance from the camera to the plane in real space.
  • the plane extractor 220 may extract a plurality of plane information included in the image by using the plane model.
  • the plurality of plane information may be represented by a plane set as shown in Equation 4.
  • S i is a set of planes extracted from the i-th camera, i is a camera index, j is a plane number, and n is the total number of planes extracted.
  • S 1 is a plurality of plane information extracted from the first camera
  • S 2 is a plurality of plane information extracted from the second camera
  • S i means a plurality of plane information extracted from the i-th camera.
  • the correspondence relationship estimator 230 uses a normal vector constituting the plane information and a plurality of plane information using the distance between the camera and the plane. The correspondence relationship between the two can be estimated.
  • each plane information may be represented by (ai, bi, ci, di) which is a coefficient of the plane equation.
  • the number of plane information is not limited to three, but may include three or more planes.
  • the plane extractor 220 may extract a plurality of plane information included in a plurality of frames constituting the image.
  • the correspondence relationship estimator 230 may select one frame among the plurality of frames as a reference frame. For example, when the first frame is selected as the reference frame, the correspondence estimator 230 selects target plane information for actual tracking from the extracted plurality of plane information if the extracted current frame is the first frame. Can be stored in an information database.
  • the correspondence relationship estimator 230 may estimate a correspondence relationship between the plurality of plane information by using the target plane information included in the selected reference frame.
  • the correspondence estimator 230 may select the target plane information in consideration of any one of the number of points included in the plane information, the direction of the normal vector between the plane information, or the distance from the camera to the plane information. Can be. For example, the correspondence estimator 230 considers the case where the number of points included in the plane information is large, when the direction difference between the normal vectors between the plane information is large, or when the distance from the camera to the plane information is far from the target. Planar information can be selected.
  • the correspondence relationship estimator 230 considers the plane information in consideration of the direction of the normal vector between the object plane information stored in the plane information database and the currently extracted plane information and the distance from the camera to the plane information from the frame after the reference frame is determined. The correspondence relationship between the two can be estimated.
  • the correspondence relationship estimator 230 may store, in the plane information database, plane information different from the target plane information among the plurality of plane information. That is, the correspondence estimator 230 may store the new plane information in the plane information database when new plane information not present in the plane information database (not visible in the first camera field of view) is detected in the current frame. Therefore, the correspondence relationship estimator 230 enables camera tracking and virtual object registration even in an area not visible in the first frame by estimating a correspondence between the target plane information and the plurality of plane information.
  • FIG. 5 is a diagram illustrating an example of extracting plane information from an image.
  • the plane extractor 220 may extract various pieces of plane information 520 through 560 with respect to the image 510 according to a change in camera motion.
  • the image 510 may be a depth image generated by the depth camera.
  • the camera pose estimator 240 may estimate the pose of the camera through estimating a correspondence relationship between the extracted pieces of plane information.
  • the correspondence relationship estimator 230 may select '520' as the target plane information on the image 510.
  • the correspondence relationship estimator 230 may select target plane information and store the same in the plane information database.
  • the 520 includes, as the object plane information, a top ( ⁇ ), a bottom ( ⁇ ), a bottom (+), a left side ( ⁇ ), a right side ( ⁇ ), a box (x), and the like based on the desk.
  • the correspondence relationship estimator 230 may estimate the correspondence between the pieces of plane information 520 through 560 by comparing the target plane information included in 520 with the pieces of plane information 530 through 560. For example, when comparing 520 and 530, it can be seen that 520 includes desk left plane ( ⁇ ) information, but 530 does not include desk left plane information.
  • the correspondence estimation unit 230 may newly store the new plane information in the plane information database.
  • the camera pose estimator 240 estimates the pose of the camera by using the estimated correspondence relationship.
  • the camera pose estimator 240 estimates the rotation information or the movement information of the camera using the correspondence relationship, and estimates the pose of the camera using the estimated rotation information or the movement information.
  • Rotation information or movement information can be estimated by using how the coplanar information has changed compared to the previous frame.
  • the camera pose estimator 240 may generate a rotation matrix R using a normal vector between plane information for each frame included in the image.
  • Variables a 1 to c 3 denoted by subscripts are plane numbers, and variables 1 (a 1 to c 1 ) or i (a i to c i ) denoted by superscripts indicate camera indices.
  • R 11 to R 33 mean a rotation matrix.
  • Equation 6 may be obtained by converting Equation 5 into a linear system.
  • the camera pose estimation unit 240 may generate a rotation matrix through Equation 6.
  • the rotation matrix should have an orthonormal characteristic, and the rotation matrix obtained by Equation 6 may not satisfy the normal orthogonal characteristic. Therefore, the camera pose estimator 240 performs a Singular Value Decomposition (SVD) to obtain an optimal rotation matrix reflecting the normal orthogonal characteristics as shown in Equation 7.
  • Singular Value Decomposition Singular Value Decomposition
  • R is a rotation matrix that reflects a normal orthogonal characteristic.
  • the camera pose estimation unit 240 may estimate rotation information of the camera using the rotation matrix.
  • the camera pose estimation unit 240 may generate the movement matrix T using the rotation matrix and the distance from the camera to the plane information.
  • R is a rotation matrix and T is a movement matrix.
  • Equation 8 may be expressed as Equation 9.
  • the camera pose estimation unit 240 may estimate the movement information of the camera using the movement matrix.
  • the corresponding planar information is three pieces, and even if there are three or more pieces of planar information, the camera pose estimation unit 240 uses the overdetermined solution in the linear system or the rotation information or the like. Estimation of movement information is possible.
  • the camera pose estimation unit 240 may obtain a transformation matrix (RT) reflecting the current camera motion based on the first camera using the rotation matrix R (3x3) and the movement matrix T (3x1).
  • RT transformation matrix
  • the camera pose estimation unit 240 may estimate the pose of the camera by using the transformation matrix.
  • the camera pose estimator 240 may filter an outlier when there is an outlier in the estimated pose of the camera. For example, the camera pose estimator 240 removes an outlier from the estimated pose of the camera by using a technique such as an extended Kalman filter or a particle filter, thereby alleviating jitter. You can.
  • a technique such as an extended Kalman filter or a particle filter
  • FIG. 6 is a block diagram illustrating a configuration of a markerless augmented reality system according to another embodiment of the present invention.
  • the markerless augmented reality system 600 may include a plane extractor 610, a correspondence relationship estimator 620, a camera pose estimator 630, and an augmented reality 640. .
  • the plane extractor 610 extracts a plurality of plane information included in the image by using 3D information of the image generated from the camera. For example, the plane extractor 610 may select a first point from the 3D information, and select a second point and a third point located within a threshold from the first point. The plane extractor 610 may extract a plurality of plane information using the first point, the second point, and the third point. For example, the plane extractor 610 may generate a plane model using the first point, the second point, and the third point, and may extract a plurality of plane information using the generated plane model.
  • the augmented reality unit 640 matches the image and the virtual object using the extracted plurality of plane information.
  • the camera pose estimator 630 may estimate the pose of the camera by using a corresponding relationship between the extracted plurality of plane information.
  • the posture estimation of the camera means estimating the rotation information or the movement information of the camera.
  • the correspondence relationship may be obtained through the correspondence estimation unit 630.
  • the correspondence relationship estimator 630 may select the target plane information in consideration of any one of the number of points included in the extracted plane information, the direction of a normal vector between plane information, or the distance from the camera to the plane information. .
  • the correspondence relationship estimator 630 estimates a correspondence relationship between the plurality of pieces of plane information in consideration of the direction of the normal vector between the target plane information and the plane information included in each frame, or the distance from the camera to the plane information. Can be.
  • FIG. 7 is a diagram illustrating an example of estimating a pose of a camera using a planar feature.
  • the correspondence relationship estimator 630 may include the plane information extracted from the camera 1. To ) And the plane information extracted from camera i ( To ) Can be estimated. For example, when the camera motion is small, it means that a normal vector spacing difference between adjacent frames is small. Accordingly, the correspondence relationship estimator 630 may estimate a correspondence relationship between a plurality of pieces of plane information by using a normal vector constituting plane information and a distance between the camera and the plane.
  • the correspondence relationship estimator 630 may select one frame among a plurality of frames constituting the image as a reference frame. For example, when the reference frame is selected as the first frame, the correspondence estimation unit 630 selects target plane information for actual tracking from the extracted plurality of plane information if the extracted current frame is the first frame. Can be stored in a database. The correspondence relationship estimator 630 may estimate a correspondence relationship between the plurality of plane information using the target plane information included in the selected reference frame.
  • the augmented reality unit 640 may match the image and the virtual object by using the estimated pose of the camera.
  • FIG. 8 illustrates an example of registering an image and a virtual object.
  • the depth images 810 to 830 may be captured while the camera rotates from the left to the right with respect to the same object.
  • 810 is a depth image photographed by rotating the camera (depth camera) to the right
  • 820 is a depth image photographed by the camera in front of the object
  • 830 is a depth image photographed by rotating the camera to the left.
  • 810a is a color image taken by rotating the camera (color camera) to the right
  • 820a is a color image taken by the camera in front of the object
  • 830a is a depth image taken by rotating the camera to the left.
  • the augmented reality unit 640 may generate images 810b to 830b that match the virtual object (camera) to the color images 810a to 830a.
  • 810b is an image in which the virtual object (camera) is matched with the color image 810a
  • 820b is an image in which the virtual object is matched with the color image 820a
  • 830b is an image in which the virtual object is matched with the color image 830a.
  • the depth images 810 to 830 and the color images 810a to 830a may be interpreted as having the same viewpoint.
  • the augmented reality unit 640 matches the virtual object (camera) to the color images 810a to 830a.
  • Images 810b to 830b may be generated.
  • the augmented reality unit 640 uses the estimated pose of the camera to determine the depth images 810 to 830.
  • Color images 810a to 830a may be calibrated to have the same viewpoint. That is, the augmented reality unit 640 matches the viewpoints of the depth images 810 to 830 with the color images 810a to 830a, and then matches the virtual object (camera) to the color images 810a to 830a.
  • Images 810b to 830b may be generated.
  • the markerless augmented reality system 600 may construct an augmented reality system without a marker by estimating a camera pose using planar characteristics without preparing a reference object in a database in advance.
  • FIG. 9 is a flowchart illustrating a sequence of a method for operating a markerless augmented reality according to an embodiment of the present invention.
  • the method of operating the markerless augmented reality shown in FIG. 9 may be implemented by the markerless augmented reality system 200 shown in FIG. 2 or the markerless augmented reality system 600 shown in FIG. 6.
  • the markerless augmented reality system may acquire 3D information from an image.
  • the markerless augmented reality system may obtain depth information as 3D information from a depth image obtained from a depth camera.
  • the markerless augmented reality system may obtain 3D information using color images acquired from a plurality of color cameras.
  • both the depth image and the color image are collectively referred to as 'image'.
  • the markerless augmented reality system may extract a plurality of plane information included in the image using the 3D information. For example, the markerless augmented reality system may select a first point from the three-dimensional information, and select a second point and a third point located within a threshold from the first point. The markerless augmented reality system may extract a plurality of plane information using the first point, the second point, and the third point.
  • the markerless augmented reality system may select a reference frame from a plurality of frames constituting the image. For example, the markerless augmented reality system may select a first frame as a reference frame among a plurality of frames.
  • the markerless augmented reality system may select object plane information included in the selected reference frame.
  • the markerless augmented reality system may determine the target plane information by considering one of the number of points included in the extracted plane information, the direction of a normal vector between plane information, or the distance from the camera to the plane information. You can choose.
  • the markerless augmented reality system may estimate a corresponding relationship between the plurality of pieces of plane information by using the target plane information.
  • the markerless augmented reality system may correspond to a corresponding relationship between the plurality of pieces of plane information in consideration of a direction of a normal vector between the plane information of the object and plane information included in each frame, or a distance from the camera to the plane information. Can be estimated.
  • the markerless augmented reality system may estimate the pose of the camera using the correspondence relationship.
  • the markerless augmented reality system generates a rotation matrix using a normal vector between plane information of each frame included in the image, and estimates rotation information by using the generated rotation matrix, thereby calculating the estimated rotation.
  • the attitude of the camera can be estimated using the information.
  • the markerless augmented reality system generates a movement matrix using the rotation matrix and the distance from the camera to the plane information, and estimates the movement information by using the generated movement matrix, thereby estimating the estimated movement information.
  • the posture of the camera can be estimated using.
  • the markerless augmented reality system may filter outliers in the estimated pose of the camera. For example, the markerless augmented reality system may mitigate jitter by removing anomalies from the estimated camera pose using an extended Kalman filter or a particle filter.
  • the markerless augmented reality system may update the pose of the camera from which the outlier is removed.
  • the markerless augmented reality system may register an image and a virtual object using the updated posture.
  • Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하고, 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 카메라의 자세를 추정하는 마커리스 증강 현실 시스템 및 그 동작 방법에 관한 것이다.

Description

평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
영상에 포함된 3차원 정보를 이용하여 카메라의 자세를 추정하는 기술에 관한 것이다.
증강 현실은 카메라로 촬영한 실제 영상에 그래픽스 객체나 부가 정보를 오버랩하여 보여 주는 기술이다. 정확한 증강 현실을 구현하기 위해서는 카메라의 자세(pose) 즉, 위치와 방향을 정확하게 파악하는 것이 중요이다. 카메라의 위치나 방향을 파악하기 위해서는 사전에 준비된 마커(marker)를 이용하거나, 사전에 정의된 참조 객체(ex. 2D(dimension) 평면 객체나 3D 모델)를 실제 공간에 배치하여 기준 카메라 위치 대비 현재 카메라의 상대적인 위치를 알아내는 방식을 사용한다.
도 1은 종래기술에 따른 마커의 일례를 도시한 도면이다.
도 1을 참고하면, 110은 사전에 준비된 마커로서, QR(Quick Response) 코드와 같은 인위적인(artificial) 형태일 수 있다. 120은 실제 영상에 자연스럽게 존재하는 2차원 또는 3차원의 참조 객체를 마커로서 사용하는 일례를 나타낸다. 도면에서는 실제 영상에 포함된 모니터, 키보드, 책상위에 놓여진 액자를 참조 객체로서 사용할 수 있다.
120에 도시한 바와 같이, 2차원 또는 3차원의 객체를 마커로서 사용하는 경우, 실제 공간에 존재하는 자연스러운 참조 객체를 사용한다는 의미로 마커리스(Marker-less)로 분류하기도 하지만, 실제로는 참조 객체를 마커로서 데이터베이스에 저장하는 등의 사전 준비가 필요하기 때문에 마커를 이용하는 방식에 해당된다. 120에서는 참조 객체를 마커로서 사용하기 위한 점(+) 특징을 데이터베이스에 저장할 수 있다.
따라서, 사전 준비 없이 원하는 장소와 시간에 증강 현실 기술을 즉시 활용하기 위해서는 참조 객체 없는 마커리스 카메라 트래킹 및 정합이 필요하다.
종래의 증강 현실 기술에서의 카메라 트래킹 및 정합은 마커 사용 여부와 관계 없이 컬러 영상에서의 인텐시티(intensity) 정보를 활용한 점 특징(point feature)을 주로 이용하였다. 이때, 컬러 영상의 인텐시티를 활용하기 위해서는 조명 조건이 일정해야 하며, 특이한(distinctive) 점 특성을 찾아내기 위해 텍스처가 풍부해야 한다는 제약이 있다.
마커리스 증강 현실 기술의 대표적인 예인 PTAM(Parallel Tracking and Mapping)은 컬러 영상으로부터 점 특성을 찾아내고, 프레임 별로 점 특성 간 대응 관계를 이용하여 3차원 공간에 대한 맵(map)을 생성하고, 이 맵을 기준으로 카메라 자세를 추정하는 방식을 이용한다. 특히, 초기에 맵을 생성하기 위하여 5 점 알고리즘(five point algorithm)을 이용하기 때문에, 최소 5개 이상의 대응되는 점 특징이 추출되어야 하는데, 텍스처가 풍부하지 않은 경우에는 점 특징이 추출되지 않아 증강 현실 시스템이 정상 동작하지 않는 경우가 발생할 수 있다.
일실시예에 따른 마커리스 증강 현실 시스템은 카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 평면 추출부, 상기 추출된 다수의 평면 정보 간의 대응 관계를 추정하는 대응 관계 추정부, 및 상기 추정된 대응 관계를 이용하여 상기 카메라의 자세(pose)를 추정하는 카메라 자세 추정부를 포함한다.
상기 평면 추출부는 상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택하고, 선택된 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 평면 모델을 생성할 수 있다.
상기 평면 추출부는 상기 평면 모델을 이용하여 상기 영상 내에 포함된 다수의 평면 정보를 추출할 수 있다.
상기 대응 관계 추정부는 각 평면 정보를 구성하는 법선 벡터, 또는 상기 카메라로부터 상기 각 평면 정보 간의 거리를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
상기 평면 추출부는 상기 영상을 구성하는 다수의 프레임들에 포함된 다수의 평면 정보를 추출할 수 있다. 상기 대응 관계 추정부는 상기 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정하고, 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
상기 대응 관계 추정부는 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 상기 대상 평면 정보를 선택할 수 있다.
상기 대응 관계 추정부는 상기 대상 평면 정보와 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
상기 대응 관계 추정부는 상기 선택된 대상 평면 정보를 평면 정보 데이터베이스에 저장하고, 상기 다수의 평면 정보 중에서 상기 대상 평면 정보와 상이한 평면 정보를 상기 평면 정보 데이터베이스에 저장할 수 있다.
상기 카메라 자세 추정부는 상기 대응 관계를 이용하여 상기 카메라의 회전 정보 또는 이동 정보를 추정하고, 추정된 상기 회전 정보 또는 상기 이동 정보를 이용하여 상기 카메라의 자세를 추정할 수 있다.
상기 카메라 자세 추정부는 상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬을 생성하고, 상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬을 생성하며, 상기 회전 행렬 및 상기 이동 행렬을 이용하여 변환 행렬을 생성할 수 있다.
상기 카메라 자세 추정부는 상기 변환 행렬을 이용하여 상기 카메라의 자세를 추정할 수 있다.
다른 실시예에 따른 마커리스 증강 현실 시스템은 카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 평면 추출부, 및 상기 추출된 다수의 평면 정보를 이용하여 상기 영상과 가상 객체를 정합하는 증강 현실부를 포함한다.
상기 평면 추출부는 상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택하고, 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출할 수 있다.
상기 마커리스 증강 현실 시스템은 상기 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 상기 카메라의 자세를 추정하는 카메라 자세 추정부를 더 포함할 수 있다. 상기 증강 현실부는 상기 추정된 카메라의 자세를 이용하여 상기 영상과 가상 객체를 정합할 수 있다.
상기 마커리스 증강 현실 시스템은 상기 추출된 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 대상 평면 정보를 선택하고, 상기 대상 평면 정보와, 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는 대응 관계 추정부를 더 포함할 수 있다.
일실시예에 따른 마커리스 증강 현실 방법은 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 단계, 및 상기 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 상기 영상을 생성한 카메라의 자세를 추정하는 단계를 포함한다.
사전에 참조 객체를 데이터베이스에 저장하는 등의 준비 없이 원하는 장소와 시간에 증강 현실 기술을 즉시 활용할 수 있다.
참조 객체가 없는 마커리스 카메라 트래킹 및 정합이 가능하다.
깊이 카메라로부터 획득한 영상의 3차원 정보를 이용함으로써, 마커가 없는 증강 현실 시스템이 구축 가능하다.
영상으로부터 추출된 평면 특성을 이용하여 카메라 모션을 추정함으로써, 컬러 카메라를 이용하는 종래의 카메라 모션 추정 기술이 정상적으로 동작하지 않는 환경에서도 이용할 수 있다.
카메라 모션 추정의 적용 시, 환경 상 제약 조건을 완화함으로써, 카메라 모션 추정 기술의 활용 범위를 넓힐 수 있다.
3차원 공간 상의 점들을 평면으로 만들어 사용함으로써, 개별적인 점의 3차원 좌표값에 잡음이 있는 경우에도 자동적으로 특이한 값을 제거하여 고정밀 정합이 가능하다.
도 1은 종래기술에 따른 마커의 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 마커리스 증강 현실 시스템의 구성을 도시한 블록도이다.
도 3은 3차원 정보로부터 점을 선택하는 일례를 도시한 도면이다.
도 4는 평면 방정식의 계수가 나타내는 기하학적 의미를 도시한 도면이다.
도 5는 영상으로부터 평면 정보를 추출하는 일례를 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 마커리스 증강 현실 시스템의 구성을 도시한 블록도이다.
도 7은 평면 특징을 이용하여 카메라의 자세를 추정하는 일례를 도시한 도면이다.
도 8은 영상과 가상 객체를 정합하는 일례를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 마커리스 증강 현실 동작 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 2는 본 발명의 일실시예에 따른 마커리스 증강 현실 시스템의 구성을 도시한 블록도이다.
도 2를 참고하여, 마커리스 증강 현실 시스템(200)은 3차원 정보 획득부(210), 평면 추출부(220), 대응 관계 추정부(230), 및 카메라 자세 추정부(240)를 포함할 수 있다.
마커리스 증강 현실 시스템(200)은 영상으로부터 추출된 평면 특성을 이용하여 카메라 자세를 추정함으로써, 사전에 참조 객체를 데이터베이스에 저장하는 등의 준비작업이 필요없고, 마커가 없는 증강 현실 시스템 구축이 가능하다.
영상으로부터 평면 특성을 얻기 위해서는 먼저 영상으로부터 3차원 정보를 획득해야 한다.
이를 위해, 3차원 정보 획득부(210)는 깊이 카메라로부터 깊이 영상을 획득하고, 획득한 깊이 영상으로부터 깊이 정보를 3차원 정보로서 획득할 수 있다. 또는, 3차원 정보 획득부(210)는 다수의 컬러 카메라로부터 획득한 컬러 영상들을 이용하여 3차원 정보를 획득할 수도 있다. 컬러 카메라에서 획득한 컬러 영상은 2차원 영상이기 때문에, 3차원 정보 획득부(210)는 스테레오 컬러 카메라 또는 멀티 컬러 카메라 등과 같은 다수의 컬러 카메라로부터 획득한 컬러 영상들을 이용하여 3차원 정보를 획득할 수 있다.
이하에서는 깊이 영상과 컬러 영상을 모두 '영상'으로 통칭한다.
평면 추출부(220)는 상기 3차원 정보를 이용하여 영상에 존재하는 평면을 추정한다. 실시예로, 평면 추출부(220)는 평면을 구성하는 점들이 인접 공간 내에 존재한다는 공간 일관성(Spatial Coherency)을 고려하여 보다 빠르게 평면 모델을 추정할 수 있다. 평면 추출부(220)는 상기 3차원 정보로부터 임의로 제1 점(P1)을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점(P2) 및 제3 점(P3)을 선택할 수 있다. 즉, 평면 추출부(220)는 제1 점으로부터 임계값 이내에 위치한 점들을 추출하기 위하여, 3차원 공간 상의 점들에 대하여 트리(kd-tree)를 구축하고, 제1 점(P1)을 기준으로 임계값 내에 있는 점들 중에서, 제2 점(P2) 및 제3 점(P3)을 선택할 수 있다.
도 3은 3차원 정보로부터 점을 선택하는 일례를 도시한 도면이다.
도 3을 참조하면, 제1 내지 제3 점들을 각각 랜덤하게 선택할 경우, 세 개의 점들이 동일 평면상에 존재할 확률이 인접 지역에서 세 개의 점들을 선택할 때보다 상대적으로 적어지기 때문에, 평면 모델을 추출하는데 시간이 오래 걸린다. 따라서, 평면 추출부(220)는 제1 점을 선택한 후, 제1 점을 기준으로 임계값 이내인 인접 영역(원)에 포함된 제2 점, 제3 점들을 선택하는 방식을 이용하면 기존 RANSAC(Random Sample Consensus) 방식에 비하여 보다 빠르게 평면 정보를 추출할 수 있다.
평면 추출부(220)는 상기 선택된 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 평면 모델을 생성할 수 있다.
상기 제1 점 내지 상기 제3 점인 P1, P2, P3가 (x1, y1, z1) (x2, y2, z2) (x3, y3, z3)로 정해지면 다음과 같은 행렬식에 의하여 평면 방정식의 계수(coefficient)인 A, B, C를 구할 수 있다.
Figure PCTKR2012005645-appb-I000001
여기서, (A, B, C)는 평면의 방향을 나타내는 법선 벡터이고, D는 상기 카메라로부터 상기 제1 점 내지 상기 제3 점이 포함된 평면까지의 거리이다.
위의 행렬식은 수학식 2와 같이 다시 한 번 전개할 수 있다.
[규칙 제91조에 의한 정정 07.08.2012]　
Figure WO-DOC-FIGURE-55
평면 추출부(220)는 상기 계산된 A, B, C, D를 이용하여 수학식 3과 같은 평면 방정식을 구할 수 있다.
[규칙 제91조에 의한 정정 07.08.2012]　
Figure WO-DOC-FIGURE-57
도 4는 평면 방정식의 계수가 나타내는 기하학적 의미를 도시한 도면이다.
도 4를 참고하면, (A, B, C)는 평면 정보의 방향을 나타내는 법선 벡터이며, D는 원점으로부터 상기 평면까지의 거리에 해당된다. 예컨대, D는 3개의 점들을 추출한 평면을 좌표계에 투영했을 때의 원점으로부터 상기 평면까지의 거리이기 때문에, 실제 공간 상에서는 상기 카메라로부터 상기 평면까지의 거리와 동일하다고 할 수 있다.
평면 추출부(220)는 상기 평면 모델을 이용하여 상기 영상 내에 포함된 다수의 평면 정보를 추출할 수 있다. 다수의 평면 정보는 수학식 4와 같이 평면 집합으로 표현될 수 있다.
Figure PCTKR2012005645-appb-I000004
Si는 i번째 카메라에서 추출된 평면 집합, i는 카메라 인덱스, j는 평면 번호, n은 추출된 전체 평면의 개수이다.
예컨대, S1은 첫 번째 카메라에서 추출된 다수의 평면 정보이고, S2는 두 번째 카메라에서 추출된 다수의 평면 정보이며, Si는 i번째 카메라에서 추출된 다수의 평면 정보를 의미한다.
상기 카메라 모션이 작은 경우에는 인접 프레임 간의 법선 벡터 간격차가 적음을 의미한다. 따라서, 평면 추출부(230)에서 영상에 포함된 프레임별 각 평면 정보를 추출하면, 대응 관계 추정부(230)는 평면 정보를 구성하는 법선 벡터와 카메라와 평면 간의 거리를 이용하여 다수의 평면 정보간 대응 관계를 추정할 수 있다.
각 평면 정보가 나타내는 평면 특성은 평면 방정식의 계수인 (ai, bi, ci, di)로 나타낼 수 있다. 이 때, 평면 정보의 개수는 3개로만 제한되지 않으며 3개 이상의 평면을 포함할 수 있다.
실시예로, 평면 추출부(220)는 상기 영상을 구성하는 다수의 프레임들에 포함된 다수의 평면 정보를 추출할 수 있다. 대응 관계 추정부(230)는 상기 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정할 수 있다. 예컨대, 상기 기준 프레임으로 첫 번째 프레임이 선정된 경우, 대응 관계 추정부(230)는 추출된 현재 프레임이 첫 번째 프레임이라면, 추출된 다수의 평면 정보 중 실제 추적하기 위한 대상 평면 정보를 선택하여 평면 정보 데이터베이스에 저장할 수 있다. 대응 관계 추정부(230)는 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
실시예로, 대응 관계 추정부(230)는 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 상기 대상 평면 정보를 선택할 수 있다. 예컨대, 대응 관계 추정부(230)는 평면 정보에 포함된 점의 수가 많은 경우, 평면 정보간의 법선 벡터간 방향차이가 큰 경우, 또는 상기 카메라로부터 평면 정보까지의 거리가 먼 경우를 고려하여 상기 대상 평면 정보를 선택할 수 있다.
대응 관계 추정부(230)는 상기 기준 프레임이 정해진 이후의 프레임부터는 평면 정보 데이터베이스에 저장된 대상 평면 정보와 현재 추출된 평면 정보간의 법선 벡터의 방향, 상기 카메라로부터 평면 정보까지의 거리를 고려하여 평면 정보간 대응 관계를 추정할 수 있다. 대응 관계 추정부(230)는 상기 다수의 평면 정보 중에서 상기 대상 평면 정보와 상이한 평면 정보를 상기 평면 정보 데이터베이스에 저장할 수 있다. 즉, 대응 관계 추정부(230)는 평면 정보 데이터베이스에 존재하지 않는(첫 번째 카메라 시야에서는 보이지 않는) 새로운 평면 정보가 현재 프레임에서 검출된 경우, 새로운 평면 정보를 평면 정보 데이터베이스에 저장할 수 있다. 따라서, 대응 관계 추정부(230)는 대상 평면 정보와 다수의 평면 정보 간의 대응 관계 추정을 통해 첫 번째 프레임에서 보이지 않던 영역에서도 카메라 추적 및 가상 객체 정합이 가능하도록 한다.
도 5는 영상으로부터 평면 정보를 추출하는 일례를 도시한 도면이다.
도 5를 참고하면, 평면 추출부(220)는 영상(510)에 대하여, 카메라 모션 변화에 따라 다양한 다수의 평면 정보(520 내지 560)를 추출할 수 있다. 여기서, 영상(510)은 깊이 카메라에서 생성한 깊이 영상일 수 있다. 카메라가 이동하면서 깊이 영상(510)에 포함된 객체(책상, 책상 위 박스(네모 모양))를 촬영하였다면, 카메라의 시점에 따라 각각 다른 영상들이 촬영된다. 따라서, 카메라 자세 추정부(240)는 상기 추출된 다수의 평면 정보 간의 대응 관계를 추정을 통해 카메라의 자세를 추정할 수 있다.
예컨대, 대응 관계 추정부(230)는 영상(510)에 대한 대상 평면 정보로서'520'을 선택할 수 있다. 대응 관계 추정부(230)는 대상 평면 정보를 선택하여 평면 정보 데이터베이스에 저장할 수 있다. 520은 책상을 기준으로 책상을 기준으로 위(ㆍ), 아래(ㆍ), 바닥(＋), 왼쪽 옆(▼), 오른쪽 옆(○), 박스(x) 등을 대상 평면 정보로서 포함하고 있다. 대응 관계 추정부(230)는 520에 포함된 대상 평면 정보를 다수의 평면 정보(530 내지 560)와 비교함으로써, 다수의 평면 정보(520 내지 560) 간의 대응 관계를 추정할 수 있다. 예컨대, 520과 530을 비교하면, 520에는 책상 왼쪽 평면(▼) 정보가 포함되어 있지만, 530에는 책상 왼쪽 평면 정보가 포함되어 있지 않은 것을 알 수 있다. 또한, 520과 560을 비교하면, 책상 오른쪽 평면(○) 정보가 포함되어 있지만, 530에는 책상 오른쪽 평면 정보가 포함되어 있지 않은 것을 알 수 있다. 만약, 대응 관계 추정부(230)는 상기 대상 평면 정보와 동일하지 않는 새로운 평면 정보가 검출된 경우, 새로운 평면 정보를 평면 정보 데이터베이스에 새롭게 저장할 수 있다.
카메라 자세 추정부(240)는 상기 추정된 대응 관계를 이용하여 상기 카메라의 자세(pose)를 추정한다. 카메라 자세 추정부(240)는 상기 대응 관계를 이용하여 상기 카메라의 회전 정보 또는 이동 정보를 추정하고, 추정된 상기 회전 정보 또는 상기 이동 정보를 이용하여 상기 카메라의 자세를 추정할 수 있다.
카메라의 회전 정보 또는 이동 정보를 추정하기 위해서는 최소 3개의 평면 대응 쌍이 필요하다. 동일 평면 정보가 이전 프레임 대비하여 어떻게 변했는지를 이용하면 회전 정보 또는 이동 정보 추정이 가능하다.
회전 정보를 추정하기 위해서, 카메라 자세 추정부(240)는 상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬(R)을 생성할 수 있다.
Figure PCTKR2012005645-appb-I000005
아래 첨자로 표시된 변수(a1, 내지 c3)는 평면 번호이고, 위 첨자로 표시된 변수(1(a1 내지 c1)또는 i(ai 내지 ci))는 카메라 인덱스를 의미한다. 또한, R11 내지 R33은 회전 행렬을 의미한다.
수학식 5를 선형 시스템으로 변환하여 수학식 6을 얻을 수 있다.
Figure PCTKR2012005645-appb-I000006
카메라 자세 추정부(240)는 수학식 6을 통해 회전 행렬을 생성할 수 있다. 일반적으로 회전 행렬은 정규 직교(Orthonormal)한 특성을 갖어야 하는데, 수학식 6에 의해 구해진 회전 행렬은 정규 직교한 특성을 만족하지 못할 수 있다. 따라서, 카메라 자세 추정부(240)는 SVD(Singular Value Decomposition)를 수행하여 정규 직교한 특성을 반영한 최적의 회전 행렬을 수학식 7과 같이 구할 수 있다.
[규칙 제91조에 의한 정정 07.08.2012]　
Figure WO-DOC-FIGURE-80
R은 정규 직교한 특성을 반영한 회전 행렬이다.
카메라 자세 추정부(240)는 상기 회전 행렬을 이용하여 상기 카메라의 회전 정보를 추정할 수 있다.
이동 정보를 추정하기 위해서, 카메라 자세 추정부(240)는 상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬(T)을 생성할 수 있다.
Figure PCTKR2012005645-appb-I000008
Figure PCTKR2012005645-appb-I000009
는 카메라로부터 평면 정보까지의 거리, i는 카메라 인덱스, j는 평면 번호를 의미한다. R은 회전 행렬, T는 이동 행렬을 의미한다.
수학식 8은 수학식 9와 같이 표현될 수 있다.
[규칙 제91조에 의한 정정 07.08.2012]　
Figure WO-DOC-FIGURE-87
카메라 자세 추정부(240)는 상기 이동 행렬을 이용하여 상기 카메라의 이동 정보를 추정할 수 있다.
위에 제시한 실시예는 대응되는 평면 정보가 3개인 경우이며, 3개 이상인 경우에도 카메라 자세 추정부(240)는 선형 시스템(linear system)에서의 중복결정 방법(overdetermined solution)을 이용하여 회전 정보 또는 이동 정보의 추정이 가능하다.
카메라 자세 추정부(240)는 상기 회전 행렬 R(3x3)과 상기 이동 행렬 T(3x1)을 이용하여 첫 번째 카메라를 기준으로 현재 카메라 모션을 반영한 변환 행렬(RT)을 구할 수 있다.
Figure PCTKR2012005645-appb-I000011
카메라 자세 추정부(240)는 상기 변환 행렬을 이용하여 상기 카메라의 자세를 추정할 수 있다.
카메라 자세 추정부(240)는 상기 추정된 카메라의 자세에 이상치(outlier)가 있는 경우, 이상치를 필터링할 수 있다. 예컨대, 카메라 자세 추정부(240)는 확장형 칼만 필터(Extended Kalman Filter) 또는 파티클 필터(Particle Filter)와 같은 기법을 이용하여 상기 추정된 카메라의 자세에서 이상치를 제거함으로써,　지터(Jitter) 현상을 완화시킬 수 있다.
도 6은 본 발명의 다른 실시예에 따른 마커리스 증강 현실 시스템의 구성을 도시한 블록도이다.
도 6을 참고하면, 마커리스 증강 현실 시스템(600)은 평면 추출부(610), 대응 관계 추정부(620), 카메라 자세 추정부(630), 및 증강 현실부(640)를 포함할 수 있다.
평면 추출부(610)는 카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출한다. 예컨대, 평면 추출부(610)는 상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택할 수 있다. 평면 추출부(610)는 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출할 수 있다. 예컨대, 평면 추출부(610)는 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 평면 모델을 생성하고, 생성된 평면 모델을 이용하여 다수의 평면 정보를 추출할 수 있다.
증강 현실부(640)는 상기 추출된 다수의 평면 정보를 이용하여 상기 영상과 가상 객체를 정합한다.
이를 위해, 카메라 자세 추정부(630)는 상기 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 상기 카메라의 자세를 추정할 수 있다. 상기 카메라의 자세 추정은 상기 카메라의 회전 정보 또는 이동 정보를 추정하는 것을 의미한다. 또한, 상기 대응 관계는 대응 관계 추정부(630)를 통해 구할 수 있다.
대응 관계 추정부(630)는 상기 추출된 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 대상 평면 정보를 선택할 수 있다. 대응 관계 추정부(630)는 상기 대상 평면 정보와, 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
도 7은 평면 특징을 이용하여 카메라의 자세를 추정하는 일례를 도시한 도면이다.
도 7을 참고하면, 대응 관계 추정부(630)는 카메라 1에서 추출된 평면 정보(
Figure PCTKR2012005645-appb-I000012
내지 )와 카메라 i에서 추출된 평면 정보(
Figure PCTKR2012005645-appb-I000014
내지
Figure PCTKR2012005645-appb-I000015
)의 대응 관계를 추정할 수 있다. 예컨대, 상기 카메라 모션이 작은 경우에는 인접 프레임 간의 법선 벡터 간격차가 적음을 의미한다. 따라서, 대응 관계 추정부(630)는 평면 정보를 구성하는 법선 벡터와 카메라와 평면 간의 거리를 이용하여 다수의 평면 정보간 대응 관계를 추정할 수 있다.
대응 관계 추정부(630)는 상기 영상을 구성하는 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정할 수 있다. 예컨대, 상기 기준 프레임을 첫 번째 프레임으로 선정한 경우, 대응 관계 추정부(630)는 추출된 현재 프레임이 첫 번째 프레임이라면, 추출된 다수의 평면 정보 중 실제 추적하기 위한 대상 평면 정보를 선택하여 평면 정보 데이터베이스에 저장할 수 있다. 대응 관계 추정부(630)는 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
증강 현실부(640)는 상기 추정된 카메라의 자세를 이용하여 상기 영상과 가상 객체를 정합할 수 있다.
도 8은 영상과 가상 객체를 정합하는 일례를 도시한 도면이다.
도 8을 참조하면, 동일한 객체에 대하여 카메라가 왼쪽에서 오른쪽으로 회전하면서 깊이 영상들(810 내지 830)을 촬영할 수 있다. 예컨대, 810은 카메라(깊이 카메라)를 오른쪽으로 회전하여 촬영한 깊이 영상이고, 820은 상기 카메라가 객체 정면에서 촬영한 깊이 영상이며, 830은 상기 카메라를 왼쪽으로 회전하여 촬영한 깊이 영상이다. 또한, 810a는 카메라(컬러 카메라)를 오른쪽으로 회전하여 촬영한 컬러 영상이고, 820a은 상기 카메라가 객체 정면에서 촬영한 컬러 영상이며, 830a은 상기 카메라를 왼쪽으로 회전하여 촬영한 깊이 영상이다.
증강 현실부(640)는 컬러 영상들(810a 내지 830a)에 가상 객체(카메라)를 정합한 영상(810b 내지 830b)을 생성할 수 있다. 810b는 컬러 영상(810a)에 가상 객체(카메라)를 정합한 영상이고, 820b는 컬러 영상(820a)에 가상 객체를 정합한 영상이며, 830b는 컬러 영상(830a)에 가상 객체를 정합한 영상이다.
여기서, 깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)은 동일한 시점을 갖는 것으로 해석될 수 있다. 예컨대, 증강 현실부(640)는 깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)이 동일한 시점을 갖는 경우, 컬러 영상들(810a 내지 830a)에 가상 객체(카메라)를 정합한 영상(810b 내지 830b)을 생성할 수 있다.
깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)이 서로 다른 시점을 갖는 경우, 증강 현실부(640)는 상기 추정된 카메라의 자세를 이용하여 깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)이 동일한 시점을 갖도록 교정(calibration)할 수 있다. 즉, 증강 현실부(640)는 깊이 영상들(810 내지 830)과 컬러 영상들(810a 내지 830a)의 시점을 일치시킨 후, 컬러 영상들(810a 내지 830a)에 가상 객체(카메라)를 정합한 영상(810b 내지 830b)을 생성할 수 있다.
따라서, 마커리스 증강 현실 시스템(600)은 사전에 참조 객체를 데이터베이스에 저장하는 등의 준비 없이 평면 특성을 이용하여 카메라 자세를 추정함으로써, 마커가 없는 증강 현실 시스템을 구축할 수 있다.
도 9는 본 발명의 일실시예에 따른 마커리스 증강 현실 동작 방법의 순서를 도시한 흐름도이다. 도 9에 도시한 마커리스 증강 현실 동작 방법은 도 2에 도시한 마커리스 증강 현실 시스템(200) 또는 도 6에 도시한 마커리스 증강 현실 시스템(600)에 의해 구현될 수 있다.
도 9를 참조하면, 단계 901에서, 마커리스 증강 현실 시스템은 영상으로부터 3차원 정보를 획득할 수 있다. 예컨대, 상기 마커리스 증강 현실 시스템은 깊이 카메라로부터 획득한 깊이 영상으로부터 깊이 정보를 3차원 정보로서 획득할 수 있다. 또는, 상기 마커리스 증강 현실 시스템은 다수의 컬러 카메라로부터 획득한 컬러 영상들을 이용하여 3차원 정보를 획득할 수도 있다.
이하에서는 깊이 영상과 컬러 영상을 모두 '영상'으로 통칭한다.
단계 902에서, 상기 마커리스 증강 현실 시스템은 상기 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출할 수 있다. 예컨대, 상기 마커리스 증강 현실 시스템은 상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택할 수 있다. 상기 마커리스 증강 현실 시스템은 상기 제1 점, 상기 제2 점, 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출할 수 있다.
단계 903에서, 상기 마커리스 증강 현실 시스템은 상기 영상을 구성하는 다수의 프레임들 중에서 기준 프레임을 선정할 수 있다. 예를 들어, 상기 마커리스 증강 현실 시스템은 다수의 프레임들 중에서 첫 번째 프레임을 기준 프레임으로 선정할 수 있다.
단계 904에서, 상기 마커리스 증강 현실 시스템은 상기 선정된 기준 프레임에 포함된 대상 평면 정보를 선택할 수 있다. 실시예로, 상기 마커리스 증강 현실 시스템은 상기 추출된 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 대상 평면 정보를 선택할 수 있다.
단계 905에서, 상기 마커리스 증강 현실 시스템은 상기 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다. 실시예로, 상기 마커리스 증강 현실 시스템은 상기 대상 평면 정보와, 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정할 수 있다.
단계 906에서, 상기 마커리스 증강 현실 시스템은 상기 대응 관계를 이용하여 상기 카메라의 자세를 추정할 수 있다. 실시예로, 상기 마커리스 증강 현실 시스템은 상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬을 생성하고, 상기 생성된 회전 행렬을 이용하여 회전 정보를 추정함으로써, 상기 추정된 회전 정보를 이용하여 상기 카메라의 자세를 추정할 수 있다. 또는, 상기 마커리스 증강 현실 시스템은 상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬을 생성하고, 상기 생성된 이동 행렬을 이용하여 이동 정보를 추정함으로써, 상기 추정된 이동 정보를 이용하여 상기 카메라의 자세를 추정할 수 있다.
단계 907에서, 상기 마커리스 증강 현실 시스템은 상기 추정된 카메라의 자세에서 이상치를 필터링할 수 있다. 예컨대, 상기 마커리스 증강 현실 시스템은 확장형 칼만 필터 또는 파티클 필터를 이용하여 상기 추정된 카메라의 자세에서 이상치를 제거함으로써,　지터 현상을 완화시킬 수 있다.
단계 908에서, 상기 마커리스 증강 현실 시스템은 상기 이상치가 제거된 카메라의 자세를 업데이트할 수 있다.
단계 909에서, 상기 마커리스 증강 현실 시스템은 상기 업데이트된 자세를 이용하여 영상과 가상 객체를 정합할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (23)

  1. 카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 평면 추출부;
    상기 추출된 다수의 평면 정보 간의 대응 관계를 추정하는 대응 관계 추정부; 및
    상기 추정된 대응 관계를 이용하여 상기 카메라의 자세(pose)를 추정하는 카메라 자세 추정부
    를 포함하는, 마커리스 증강 현실 시스템.
  2. 제1항에 있어서,
    상기 평면 추출부는,
    상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택하고, 선택된 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 평면 모델을 생성하는, 마커리스 증강 현실 시스템.
  3. 제2항에 있어서,
    상기 평면 추출부는,
    상기 평면 모델을 이용하여 상기 영상 내에 포함된 다수의 평면 정보를 추출하는, 마커리스 증강 현실 시스템.
  4. 제1항에 있어서,
    상기 대응 관계 추정부는,
    각 평면 정보를 구성하는 법선 벡터, 또는 상기 카메라로부터 상기 각 평면 정보 간의 거리를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는, 마커리스 증강 현실 시스템.
  5. 제1항에 있어서,
    상기 평면 추출부는,
    상기 영상을 구성하는 다수의 프레임들에 포함된 다수의 평면 정보를 추출하고,
    상기 대응 관계 추정부는,
    상기 다수의 프레임들 중에서 어느 하나의 프레임을 기준 프레임으로 선정하고, 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는, 마커리스 증강 현실 시스템.
  6. 제5항에 있어서,
    상기 대응 관계 추정부는,
    평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 상기 대상 평면 정보를 선택하는, 마커리스 증강 현실 시스템.
  7. 제5항에 있어서,
    상기 대응 관계 추정부는,
    상기 대상 평면 정보와 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는, 마커리스 증강 현실 시스템.
  8. 제5항에 있어서,
    상기 대응 관계 추정부는,
    상기 선택된 대상 평면 정보를 평면 정보 데이터베이스에 저장하고, 상기 다수의 평면 정보 중에서 상기 대상 평면 정보와 상이한 평면 정보를 상기 평면 정보 데이터베이스에 저장하는, 마커리스 증강 현실 시스템.
  9. 제1항에 있어서,
    상기 카메라 자세 추정부는,
    상기 대응 관계를 이용하여 상기 카메라의 회전 정보 또는 이동 정보를 추정하고, 추정된 상기 회전 정보 또는 상기 이동 정보를 이용하여 상기 카메라의 자세를 추정하는, 마커리스 증강 현실 시스템.
  10. 제1항에 있어서,
    상기 카메라 자세 추정부는,
    상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬을 생성하고, 상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬을 생성하며, 상기 회전 행렬 및 상기 이동 행렬을 이용하여 변환 행렬을 생성하는, 마커리스 증강 현실 시스템.
  11. 제10항에 있어서,
    상기 카메라 자세 추정부는,
    상기 변환 행렬을 이용하여 상기 카메라의 자세를 추정하는, 마커리스 증강 현실 시스템.
  12. 카메라로부터 생성된 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 평면 추출부; 및
    상기 추출된 다수의 평면 정보를 이용하여 상기 영상과 가상 객체를 정합하는 증강 현실부
    를 포함하는, 마커리스 증강 현실 시스템.
  13. 제12항에 있어서,
    상기 평면 추출부는,
    상기 3차원 정보로부터 제1 점을 선택하고, 상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택하고, 상기 제1 점, 상기 제2 점 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출하는, 마커리스 증강 현실 시스템.
  14. 제12항에 있어서,
    상기 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 상기 카메라의 자세를 추정하는 카메라 자세 추정부
    를 더 포함하고,
    상기 증강 현실부는,
    상기 추정된 카메라의 자세를 이용하여 상기 영상과 가상 객체를 정합하는, 마커리스 증강 현실 시스템.
  15. 제12항에 있어서,
    상기 추출된 평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 대상 평면 정보를 선택하고, 상기 대상 평면 정보와, 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는 대응 관계 추정부
    를 더 포함하는, 마커리스 증강 현실 시스템.
  16. 영상의 3차원 정보를 이용하여 상기 영상에 포함된 다수의 평면 정보를 추출하는 단계; 및
    상기 추출된 다수의 평면 정보 간의 대응 관계를 이용하여 상기 영상을 생성한 카메라의 자세를 추정하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
  17. 제16항에 있어서,
    상기 추정된 카메라의 자세를 이용하여 상기 영상과 가상 객체를 정합하는 단계
    를 더 포함하는, 마커리스 증강 현실 동작 방법.
  18. 제16항에 있어서,
    상기 다수의 평면 정보를 추출하는 단계는,
    상기 3차원 정보로부터 제1 점을 선택하는 단계;
    상기 제1 점으로부터 임계값 이내에 위치한 제2 점 및 제3 점을 선택하는 단계; 및
    상기 제1 점, 상기 제2 점, 및 상기 제3 점을 이용하여 다수의 평면 정보를 추출하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
  19. 제16항에 있어서,
    각 평면 정보를 구성하는 법선 벡터, 또는 상기 카메라로부터 상기 각 평면 정보 간의 거리를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는 단계
    를 더 포함하는, 마커리스 증강 현실 동작 방법.
  20. 제19항에 있어서,
    상기 다수의 평면 정보 간의 대응 관계를 추정하는 단계는,
    상기 영상을 구성하는 다수의 프레임들 중에서 기준 프레임을 선정하는 단계; 및
    상기 선정된 기준 프레임에 포함된 대상 평면 정보를 이용하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
  21. 제19항에 있어서,
    상기 다수의 평면 정보 간의 대응 관계를 추정하는 단계는,
    평면 정보에 포함된 점의 수, 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리 중 어느 하나를 고려하여 대상 평면 정보를 선택하는 단계; 및
    상기 대상 평면 정보와 각 프레임에 포함된 평면 정보간의 법선 벡터의 방향, 또는 상기 카메라로부터 평면 정보까지의 거리를 고려하여 상기 다수의 평면 정보 간의 대응 관계를 추정하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
  22. 제16항에 있어서,
    상기 카메라의 자세를 추정하는 단계는,
    상기 영상에 포함된 프레임별 평면 정보 간의 법선 벡터를 이용하여 회전 행렬을 생성하는 단계;
    상기 생성된 회전 행렬을 이용하여 회전 정보를 추정하는 단계; 및
    상기 추정된 회전 정보를 이용하여 상기 카메라의 자세를 추정하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
  23. 제22항에 있어서,
    상기 카메라의 자세를 추정하는 단계는,
    상기 회전 행렬과 상기 카메라로부터 상기 평면 정보까지의 거리를 이용하여 이동 행렬을 생성하는 단계;
    상기 생성된 이동 행렬을 이용하여 이동 정보를 추정하는 단계; 및
    상기 추정된 이동 정보를 이용하여 상기 카메라의 자세를 추정하는 단계
    를 포함하는, 마커리스 증강 현실 동작 방법.
PCT/KR2012/005645 2011-07-28 2012-07-16 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법 Ceased WO2013015549A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/823,593 US9405359B2 (en) 2011-07-28 2012-07-16 Plane-characteristic-based markerless augmented reality system and method for operating same
CN201280001645.6A CN103181157B (zh) 2011-07-28 2012-07-16 基于平面特性的无标记增强现实系统及其操作方法
JP2014522736A JP6242334B2 (ja) 2011-07-28 2012-07-16 平面特性基盤マーカーレス拡張現実システムおよびその動作方法
EP12818138.5A EP2739036B1 (en) 2011-07-28 2012-07-16 Plane-characteristic-based markerless augmented reality system and method for operating same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161512480P 2011-07-28 2011-07-28
US61/512,480 2011-07-28
KR10-2012-0075387 2012-07-11
KR1020120075387A KR101971948B1 (ko) 2011-07-28 2012-07-11 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법

Publications (2)

Publication Number Publication Date
WO2013015549A2 true WO2013015549A2 (ko) 2013-01-31
WO2013015549A3 WO2013015549A3 (ko) 2013-03-21

Family

ID=47894605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005645 Ceased WO2013015549A2 (ko) 2011-07-28 2012-07-16 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법

Country Status (6)

Country Link
US (1) US9405359B2 (ko)
EP (1) EP2739036B1 (ko)
JP (1) JP6242334B2 (ko)
KR (1) KR101971948B1 (ko)
CN (1) CN103181157B (ko)
WO (1) WO2013015549A2 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418480B2 (en) * 2012-10-02 2016-08-16 Augmented Reailty Lab LLC Systems and methods for 3D pose estimation
BR112015007446A2 (pt) * 2012-10-05 2017-07-04 Abb Technology Ag aparelho que contém um gás de isolamento dielétrico que compreende um composto de flúor orgânico
JP6318542B2 (ja) * 2013-10-24 2018-05-09 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
CN104360729B (zh) * 2014-08-05 2017-10-10 北京农业智能装备技术研究中心 基于Kinect和Unity3D的多交互方法与装置
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
JP2016058043A (ja) * 2014-09-12 2016-04-21 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
KR102309451B1 (ko) * 2015-02-13 2021-10-07 주식회사 엘지유플러스 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법
KR101692335B1 (ko) * 2015-02-25 2017-01-03 이은미 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
JP6503906B2 (ja) * 2015-06-10 2019-04-24 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20170024715A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 객체 검출장치 및 그 객체 검출방법
CN105224084B (zh) 2015-09-30 2018-04-24 深圳多新哆技术有限责任公司 确定虚拟物件在虚拟空间中位置的方法及装置
KR102434406B1 (ko) * 2016-01-05 2022-08-22 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
CN105701828B (zh) * 2016-01-14 2019-09-20 广州视睿电子科技有限公司 一种图像处理方法和装置
CN107665505B (zh) * 2016-07-29 2021-04-06 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
US20180211404A1 (en) * 2017-01-23 2018-07-26 Hong Kong Applied Science And Technology Research Institute Co., Ltd. 3d marker model construction and real-time tracking using monocular camera
US10089750B2 (en) * 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
CN110313021B (zh) 2017-03-06 2023-07-25 连株式会社 增强现实提供方法、装置以及计算机可读记录介质
WO2018169110A1 (ko) * 2017-03-17 2018-09-20 주식회사 언리얼파크 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
JP2018155709A (ja) * 2017-03-21 2018-10-04 キヤノン株式会社 位置姿勢推定装置および位置姿勢推定方法、運転支援装置
US10453273B2 (en) 2017-04-25 2019-10-22 Microsoft Technology Licensing, Llc Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
US10762713B2 (en) * 2017-09-18 2020-09-01 Shoppar Inc. Method for developing augmented reality experiences in low computer power systems and devices
KR101974073B1 (ko) * 2017-12-19 2019-04-30 (주)이공감 혼합현실을 위한 바닥면 재구성 방법
CN108596105B (zh) * 2018-04-26 2023-02-03 李辰 增强现实书画系统
EP3863277A4 (en) * 2018-11-23 2022-05-04 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
KR20200061279A (ko) * 2018-11-23 2020-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114765667B (zh) * 2021-01-13 2025-09-09 安霸国际有限合伙企业 用于多视图拼接的固定图案校准

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4188632B2 (ja) * 2002-07-16 2008-11-26 独立行政法人科学技術振興機構 距離画像の統合方法及び距離画像統合装置
CN100416336C (zh) * 2003-06-12 2008-09-03 美国西门子医疗解决公司 校准真实和虚拟视图
JP2005056059A (ja) 2003-08-01 2005-03-03 Canon Inc 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法
JP5013961B2 (ja) * 2007-05-21 2012-08-29 キヤノン株式会社 位置姿勢計測装置及びその制御方法
JP4956375B2 (ja) 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
JP2009196860A (ja) 2008-02-22 2009-09-03 Taiheiyo Cement Corp 鉛成分、カリウム成分及び塩素成分を含有するダストの処理方法
KR101002785B1 (ko) 2009-02-06 2010-12-21 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
KR101010904B1 (ko) 2009-02-26 2011-01-25 인천대학교 산학협력단 마커를 사용하지 않는 증강공간 제공 장치
KR101080073B1 (ko) * 2009-02-27 2011-11-04 숭실대학교산학협력단 다수의 가상 평면 정보를 이용한 3차원 물체의 기하 정보 추출 방법
JP2011008687A (ja) 2009-06-29 2011-01-13 Sharp Corp 画像処理装置
KR101013751B1 (ko) * 2009-07-09 2011-02-14 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR101633359B1 (ko) 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
JP2014526099A (ja) 2014-10-02
CN103181157A (zh) 2013-06-26
WO2013015549A3 (ko) 2013-03-21
EP2739036A4 (en) 2015-03-18
CN103181157B (zh) 2017-09-01
EP2739036A2 (en) 2014-06-04
JP6242334B2 (ja) 2017-12-06
US9405359B2 (en) 2016-08-02
EP2739036B1 (en) 2018-05-23
KR101971948B1 (ko) 2019-04-24
US20130265392A1 (en) 2013-10-10
KR20130014358A (ko) 2013-02-07

Similar Documents

Publication Publication Date Title
WO2013015549A2 (ko) 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
JP5013961B2 (ja) 位置姿勢計測装置及びその制御方法
CN108028871B (zh) 移动设备上的无标记的多用户多对象增强现实
JP4297197B2 (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
JP2014112055A (ja) カメラ姿勢の推定方法およびカメラ姿勢の推定システム
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
WO2016053067A1 (en) 3-dimensional model generation using edges
EP3114647A2 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
JP2019057248A (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
CN110869978A (zh) 信息处理装置和信息处理方法
JP2021060868A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4906683B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
CN114549650A (zh) 相机标定方法、装置、电子设备及可读存储介质
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
JP4446114B2 (ja) 画像撮影装置
JP2002218449A (ja) 移動物体追跡装置
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP3221384B2 (ja) 三次元座標計測装置
WO2021256642A1 (ko) 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템
WO2018169110A1 (ko) 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12818138

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13823593

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014522736

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012818138

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE