[go: up one dir, main page]

WO2015005577A1 - 카메라 포즈 추정 장치 및 방법 - Google Patents

카메라 포즈 추정 장치 및 방법 Download PDF

Info

Publication number
WO2015005577A1
WO2015005577A1 PCT/KR2014/004355 KR2014004355W WO2015005577A1 WO 2015005577 A1 WO2015005577 A1 WO 2015005577A1 KR 2014004355 W KR2014004355 W KR 2014004355W WO 2015005577 A1 WO2015005577 A1 WO 2015005577A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
image
input
depth
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/004355
Other languages
English (en)
French (fr)
Inventor
이선민
이형욱
이영범
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US14/903,982 priority Critical patent/US9875545B2/en
Publication of WO2015005577A1 publication Critical patent/WO2015005577A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • Pose estimation of camera is to determine translation and rotation information of a dynamically changing camera viewpoint as a reference.
  • Such camera pose estimation is increasing in applications such as mixed reality, augmented reality, robot navigating, and 3-Dimensional Scene Reconstruction.
  • An estimator that estimates an initial pose of a camera associated with the first image and an improvement unit configured to provide an improved pose by improving the initial pose by using a second image that is different from the first image among the input depth image and the input color image.
  • the estimator may match the at least one first point and the at least one second point by using an iterative closet point (ICP) technique.
  • ICP iterative closet point
  • the first image may correspond to the input depth image
  • the second image may correspond to the input color image
  • the estimator may select the at least one first point belonging to the first frame and the at least one second point belonging to the second frame from a point cloud included in the input depth image.
  • the estimator may select at least one point of the point cloud whose depth deviation is equal to or less than a threshold deviation from the first frame and the second frame.
  • the improvement unit may improve the initial pose in consideration of the color image in a first area included in a first radius around the at least one first point.
  • the first radius may be set larger as the depth value of the at least one first point is larger.
  • a determination unit for determining a pose estimation mode of the camera associated with the input depth image and the input color image by analyzing at least one characteristic of the input depth image and the input color image; When the determined mode corresponds to a pose estimation using both the input depth image and the input color image, at least one first point belonging to a first frame and a different product from the first frame with respect to the input depth image; An estimator for matching at least one second point belonging to two frames and estimating an initial pose between the first frame and the second frame; And an improvement unit for matching the color information around the at least one first point with the color information around the at least one second point by using the input color image to improve the initial pose to provide an improved pose.
  • a camera pose estimating apparatus comprising.
  • the mode when the depth feature point extracted from the depth value of the input depth image is greater than or equal to a first threshold and the color feature point extracted from the color value of the input color image is greater than or equal to a second threshold, the mode may be used. It may be determined that it corresponds to a pose estimation using both the input depth image and the input color image.
  • the improvement unit may improve the initial pose in consideration of the color image in a first area included in a first radius around the at least one first point.
  • the first radius may be set larger as the depth value of the at least one first point is larger.
  • the estimator of the camera pose estimating apparatus may include at least one first point included in the first frame and at least one second point included in the second frame with respect to the input depth image. Estimating an initial pose of a camera associated with the input depth image by first-matching by using a) method; And determining, by the refiner, the first radius of the first region including the first point for second matching with the ICP technique using an input color image associated with the input depth image. And a second match is to use color feature matching in the first region.
  • the first radius may be set larger as the depth value of the at least one first point is larger.
  • the camera pose estimation method may further include determining, by the determiner of the apparatus, the depth feature information extracted from the input depth image and the color feature information extracted from the input color image.
  • the method may further include determining a mode.
  • the at least one first point and the at least one second point may correspond to a point at which a reliability considering a depth distribution is greater than or equal to a threshold.
  • FIG. 1 is a block diagram illustrating an apparatus for estimating a camera pose, according to an exemplary embodiment.
  • FIG. 2 illustrates a virtual scene exemplarily configured to explain a method of estimating a camera pose, according to an exemplary embodiment.
  • FIG. 3 illustrates a color image and a depth image input from a camera and a plurality of frames according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating an initial pose estimation process, according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating a pose refining process according to an exemplary embodiment.
  • FIG. 6 is a graph for explaining a process of adaptively setting a radius of a first region in which color value matching is performed to improve pose.
  • FIG. 7 is a flowchart illustrating a camera pose estimation method, according to an exemplary embodiment.
  • FIG. 8 is a block diagram illustrating an apparatus for estimating camera poses, according to another exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a camera pose estimation method, according to an exemplary embodiment.
  • FIG. 10 illustrates example scenes for describing a process of determining a camera pose estimation mode, according to an embodiment.
  • FIG. 1 is a block diagram illustrating a camera pose estimating apparatus 100 according to an exemplary embodiment.
  • the apparatus 100 for estimating the camera pose may improve the initial pose by using the color image and the estimator 110 estimating the initial pose of the camera by performing point cloud matching between frames using the depth image. (Refining) may include an improvement unit 120.
  • the estimation unit 110 estimates using the color information and the improvement unit 120 improves the initial information by using the depth information, other embodiments may be included below. Should be interpreted as
  • the estimator 110 performs pose estimation between frames on at least one first point included in an input depth image by using an iterative closet point (ICP) algorithm.
  • ICP iterative closet point
  • the mean and variation in each pixel of the depth image is referenced so that only pixels with a small deviation below a certain level can be sampled.
  • a portion of the 3D point cloud corresponding to the sampled pixels may be at least one first point used for pose estimation.
  • pixels such as a dark color, a small color intensity, and / or a small infrared reception intensity used to determine a depth image are used for pose estimation. You can also increase accuracy by excluding points.
  • the refiner 120 improves the initial camera pose estimated by the estimator 110.
  • a first area having a first radius is set around each of at least one first point used for initial pose estimation, and the Points within one region may be determined as the final point to be used for matching.
  • the first radius may be set adaptively here, for example, the larger the first point is from the camera point of view (the larger the depth value). In this embodiment, it is considered that an error may increase when a depth value is large.
  • the refiner 120 improves the precision of the initial pose estimation result of the camera using the color image.
  • FIG. 2 illustrates a virtual scene exemplarily configured to explain a method of estimating a camera pose, according to an exemplary embodiment.
  • the camera viewpoint 210 corresponds to the i-th frame, which is the first frame
  • the camera viewpoint 220 corresponds to a second frame different from the first frame, such as an i + 1 th frame.
  • Camera pose estimation may correspond to determining this transformation matrix M.
  • Only the color image may be used for the camera pose, only the depth image may be used, or both the color image and the depth image may be used according to the color texture information and the depth feature included in the object 201 and the scene. This selection will be described later with reference to FIGS. 8 to 10. 3 to 7 will be described in detail the case where both the color image and the depth image is used.
  • FIG. 3 illustrates a color image and a depth image input from a camera and a plurality of frames according to an exemplary embodiment.
  • the color image 311 and the depth image 312 input in the i-th frame may be matched with each other. Alternatively, it may be obtained by a sensor of a type capable of both color sensing and depth sensing from the time of photographing.
  • the color image 321 and the depth image 322 input in the i + 1th frame may also match each other.
  • camera pose estimation between the i th frame and the i + 1 th frame may be performed by extracting and matching color features of the color image 311 and the color image 312.
  • geometrical features of the depth image 312 and the depth image 322 are extracted and matched with each other to estimate the camera pose between the i th frame and the i + 1 th frame.
  • both the color images 311 and 321 and the depth images 312 and 322 may be used to estimate the camera pose.
  • the estimator 110 of FIG. 1 may estimate an initial camera pose by performing an ICP algorithm using the depth images 312 and 322.
  • the initial pose may not be satisfactory in accuracy due to noise characteristics of the depth image.
  • the refiner 120 improves the initial pose by using the color images 311 and 321.
  • matching of color information is performed on a predetermined radius around at least one first point used for initial pose estimation in a 3D point cloud, thereby resulting in a more precise matching result, and thus an improved camera. Poses may be provided.
  • the camera pose estimation accuracy may be increased by using both the advantages of the color image and the advantages of the depth image.
  • a flexible process may be performed by adaptively selecting one of a color image and a depth image, or using both of them in some cases.
  • FIG. 4 is a diagram illustrating an initial pose estimation process, according to an exemplary embodiment.
  • a camera initial pose P1 may be estimated according to a match between at least one first point (left) selected in the i th frame of the point cloud and at least one second point (right) selected in the i + 1 th frame. Can be.
  • the pose improvement process described below is performed in one embodiment.
  • FIG. 5 is a diagram illustrating a pose refining process according to an exemplary embodiment.
  • the first point in the depth image 511 of the i th frame and the second point in the depth image 521 of the i + 1 th frame are initially determined to match each other.
  • the refiner 120 performs additional matching with reference to color information of an area of the radius r around the first point and an area of the radius r around the second point.
  • the color information may be used from the color image 512 of the i th frame and the color image 522 of the i + 1 th frame, respectively.
  • the set radius r may be adaptively set differently according to the depth value of the first point and / or the second point. This process is described with reference to FIG.
  • FIG. 6 is a graph for explaining a process of adaptively setting a radius of a first region in which color value matching is performed to improve pose.
  • the radius r described with reference to FIG. 5 may be set to consider more candidate points for matching.
  • FIG. 7 is a flowchart illustrating a camera pose estimation method, according to an exemplary embodiment.
  • the camera pose is estimated according to a 2-Pass Iterative Closet Point (ICP).
  • the 2-Pass is a first pass 710 for estimating an initial pose of a camera using geometric matching of a point cloud 701 obtained from a depth image, and the initial image using a color image 702.
  • a second pass 720 may be included that refines the pose to determine a more precise camera pose.
  • this flowchart of FIG. 7 may be understood as a pipeline algorithm for continuous and / or parallel camera pose estimation.
  • ICP is known as an algorithm for aligning a 3D point cloud obtained from different viewpoints. Such ICPs were originally intended for the processing of fully overlapping computer generated data, but may also be useful for other variations, such as correlation analysis of partially overlapping depth data.
  • this ICP proceeds in two passes, using a point cloud in the first pass 710 to estimate the initial camera pose quickly and roughly.
  • the process of estimating the camera pose by matching at least one first point included in the input depth image in each frame in the first pass 710 may be easily understood by a conventional ICP algorithm.
  • the ICP algorithm includes a selection step 711 of selecting first points to be used for matching, a matching step 712 of matching a 3D point cloud between frames, and a weighting step of assigning a weight associated with the matching ( Weighting 713, and a Rejection 714 for removing the outliers from the match, and a Minimizing or Error minimizing process 715 that results in minimizing the matching error.
  • the weighting may be given according to the depth of the first point. For example, the greater the depth value (the farther from the camera viewpoint), the smaller the weight can be. If the depth value is large, the noise characteristics may be poor.
  • the matching step 712 to the minimizing step 715 may be recursively repeated several times depending on whether the 3D point clouds converge with each other.
  • the color image 702 may not be used during the primary pass 710.
  • the model point cloud Q ⁇ Qi
  • N may be the number of points of the point cloud used for matching.
  • R may be a rotation matrix of 3 ⁇ 3
  • T may be a translation vector of 3 ⁇ 1.
  • the result of shifting Q by this transformation matrix M should be exactly the same as P and the color information should be the same, but the depth error in the process of upscaling the resolution of the depth image, Due to depth error, noise, etc., it may not be a perfect match in practice.
  • the refiner 120 performs a second pass 720 that refines the transformation matrix M obtained in the first pass 710 to calculate the final camera pose with high precision.
  • the color image 710 is used in the second pass 720, and more specifically, color information of a region having a predetermined radius around the point Qi or Pj included in the point cloud Q and / or P is used.
  • the matching step 721, the weighting step 722, the removing step 723, and the minimizing step 724 are performed in the primary pass. Similar to 710 is performed according to the ICP algorithm.
  • the second pass 720 not only Pj that minimizes the Euclidean distance, but also neighboring points included in a predetermined region ⁇ around Pj are considered candidates matching Qi, so that color matching is good.
  • the candidate point is determined as the point that finally matches Qi.
  • the radius r of the predetermined region ⁇ may be adaptively set.
  • the influence of depth error or noise will be large. Therefore, neighboring points having a larger radius are considered as candidates and used for matching. Details are as described with reference to FIG. 6.
  • FIG. 8 is a block diagram illustrating an apparatus for estimating camera poses, according to another exemplary embodiment.
  • the determining unit 810 of the camera pose estimating apparatus 800 determines whether to use only a color image, only a depth image, or both a color image and a depth image for camera estimation. Such a decision may be expressed as an estimation mode decision.
  • the determination unit 810 calculates 3D coordinates from the depth image, extracts a geometric feature, and color features or visual features from the color image. ).
  • algorithms such as NARF (Normal Aligned Radial Feature), 3D Harris Corner, and 3D SID (3-Dimensional Scale-Invariant feature transform) may be used in the 3D point cloud in the geometric feature extraction process.
  • a process of extracting color features may use methods such as Harris Corner, Scale-Invariant feature transform (SIFT), Speeded up robust features (SURF), and Fast Corner (FAST).
  • the input depth image is determined to have high reliability to be used for camera pose estimation.
  • the extracted color feature is above a predetermined level (which may be a level according to different criteria from the geometric feature), it is determined that the reliability is high enough that the input color image may be used for camera pose estimation.
  • a planar region is defined using a random SAmple Consensus (RANSAC) algorithm, and information about 2D features existing in the planar region may be referred to and determined.
  • RANSAC random SAmple Consensus
  • PTAM parallel tracking and mapping
  • the determination unit 810 determines a color-only mode when only a color image is high in reliability and a depth-only mode when only a depth image is high in reliability. If both have high reliability, the color image and the depth image use mode are determined.
  • the estimator 820 may proceed with the first pass 710 described with reference to FIG. 7 using the depth image, and the refiner 830 may estimate the initial camera pose.
  • a second pass 720 may be performed on to determine a refined final camera pose.
  • the operations of the estimator 820 and the refiner 830 are as described above with reference to FIGS. 1 to 7.
  • the operation of the determination unit 810 will be further described with reference to FIGS. 9 to 10.
  • FIG. 9 is a flowchart illustrating a camera pose estimation method, according to an exemplary embodiment.
  • a color image and a depth image are received by the camera pose estimating apparatus.
  • the color image and the depth image may be matched with each other in resolution or viewpoint.
  • step 920 geometric features are extracted by calculating 3D coordinates from the depth image, and color features are extracted from the color image.
  • the determination unit 810 of FIG. 8 determines the estimation mode as described above.
  • the input depth image is determined to have high reliability to be used for camera pose estimation.
  • the extracted color feature is greater than or equal to a predetermined level, it is determined that the reliability is high enough that the input color image can be used for camera pose estimation.
  • the determination unit 810 of FIG. 8 determines the color-only mode when only the color image is high in reliability, and uses the depth image only when the depth image is high in reliability. only mode), and when both are reliable, color and depth mode use modes are determined.
  • the estimator 820 and the enhancer 830 estimate the camera pose as described above using FIGS. 1 to 7.
  • FIG. 10 is presented to illustrate the geometric and color features referenced for determining the estimation mode.
  • FIG. 10 illustrates example scenes for describing a process of determining a camera pose estimation mode, according to an embodiment.
  • Exemplary scene 1010 corresponds to a scene whose simple geometric pattern is not high in complexity.
  • the feature to be matched is a certain level or more, so that the color image is highly reliable, but the geometric feature may not be extracted to a degree that can be matched.
  • the determination unit 810 of FIG. 8 may determine the camera pose estimation mode in a color-only mode for the scene 1010.
  • Another example scene 1020 is that the geometric pattern is relatively complex, but the color tone may be so simple that color features may not be extracted beyond a certain level.
  • the determiner 820 may determine the camera pose estimation mode in a depth-only mode.
  • Another example scene 1030 is rich in color texture and high geometric complexity, so that the determiner 810 may determine a camera pose estimation mode in a color image and a depth image use mode.
  • camera pose estimation may be performed by considering depth information and color information, according to the embodiments described with reference to FIGS. 1 to 7.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

카메라 포즈 추정 장치가 제공된다. 상기 장치는 입력 깊이 영상 및 입력 칼라 영상 중 어느 하나를 이용하여 초기 카메라 포즈를 추정하고, 다른 하나를 이용하여 상기 초기 카메라 포즈를 개선한다. 상기 입력 깊이 영상을 이용하여 초기 카메라 포즈가 추정되는 경우, 매칭 대상이 되는 적어도 하나의 제1 포인트의 깊이 값의 분포에 따라 상기 개선을 위해 칼라 정보가 매칭되는 제1 영역의 반경은 적응적으로 설정될 수 있다.

Description

카메라 포즈 추정 장치 및 방법
카메라 포즈 추정에 연관되며, 보다 특정하게는 입력 깊이 영상 및/또는 입력 칼라 영상을 이용하여 카메라의 포즈를 추정하는 장치 및 방법에 연관된다.
카메라 포즈 추정(Pose estimation of camera)은 기준이 되는 동적으로 변하는 카메라 시점의 이동(Translation) 및 회전(Rotation) 정보를 결정하는 것이다. 이러한 카메라 포즈 추정은, 혼합현실(Mixed reality), 증강현실(Augmented Reality), 로봇 내비게이팅(Robot navigating), 3D 장면 재구성(3-Dimensional Scene Reconstruction) 등 활용 분야가 증가하고 있다.
종래에는 주로 칼라 영상의 매칭을 이용하여 카메라 포즈를 추정하였으나, 칼라 영상 내에 텍스처(Texture) 정보가 풍부하지 못한 경우 특징 추출(Feature extracting)이 어렵고, 유사한 패턴이 반복되는 신(Scene)에서는 오류가 발생할 수 있었다.
한편, 최근 보급되고 있는 깊이 카메라(Depth camera)에 의해 획득되는 깊이 영상(Depth image)를 이용한 카메라 추정도 연구되고 있으나, 깊이 센싱 과정의 노이즈로 인한 오류 가능성이 존재한다.
일측에 따르면, 입력 깊이 영상 및 입력 칼라 영상 중 어느 하나인 제1 영상에 대해, 제1 프레임에 속하는 적어도 하나의 제1 포인트와 상기 제1 프레임과 상이한 제2 프레임에 속하는 적어도 하나의 제2 포인트를 매칭하여, 상기 제1 영상에 연관되는 카메라의 초기 포즈를 추정(Estimate)하는 추정부; 및 상기 입력 깊이 영상 및 상기 입력 칼라 영상 중 상기 제1 영상과 다른 하나인 제2 영상을 이용하여, 상기 초기 포즈를 개선하여(Refine) 개선된 포즈를 제공하는 개선부를 포함하는 카메라 포즈 추정 장치가 제공된다.
일실시예에 따르면, 상기 추정부는, ICP(Iterative Closet Point) 기법을 이용하여 상기 적어도 하나의 제1 포인트와 상기 적어도 하나의 제2 포인트를 매칭할 수 있다.
일실시예에 따르면, 상기 제1 영상은 상기 입력 깊이 영상에 대응하고, 상기 제2 영상은 상기 입력 칼라 영상에 대응할 수 있다.
이 경우, 상기 추정부는, 상기 입력 깊이 영상에 포함되는 포인트 클라우드 중 상기 제1 프레임에 속하는 상기 적어도 하나의 제1 포인트 및 상기 제2 프레임에 속하는 상기 적어도 하나의 제2 포인트를 선택할 수 있다.
또한, 상기 추정부는, 상기 포인트 클라우드 중 깊이 편차가 임계 편차 이하인 적어도 하나의 포인트를 상기 제1 프레임 및 상기 제2 프레임에서 선택할 수 있다.
일실시예에 따르면, 상기 개선부는, 상기 적어도 하나의 제1 포인트의 주변의 제1 반경 내에 포함되는 제1 영역 내에서 상기 칼라 영상을 고려하여 상기 초기 포즈를 개선할 수 있다.
이 경우, 상기 제1 반경은 상기 적어도 하나의 제1 포인트의 깊이 값이 클수록 더 크게 설정될 수 있다.
다른 일측에 따르면, 입력 깊이 영상 및 입력 칼라 영상 중 적어도 하나의 특성을 분석 하여, 상기 입력 깊이 영상 및 상기 입력 칼라 영상에 연관되는 카메라의 포즈 추정 모드를 결정하는 결정부; 상기 결정되는 모드가 상기 입력 깊이 영상 및 상기 입력 칼라 영상을 모두 이용하는 포즈 추정에 대응하는 경우, 상기 입력 깊이 영상에 대해, 제1 프레임에 속하는 적어도 하나의 제1 포인트와 상기 제1 프레임과 상이한 제2 프레임에 속하는 적어도 하나의 제2 포인트를 매칭하여, 상기 제1 프레임과 상기 제2 프레임 간의 초기 포즈를 추정하는 추정부; 및 상기 입력 칼라 영상을 이용하여, 상기 적어도 하나의 제1 포인트 주변의 칼라 정보와 상기 적어도 하나의 제2 포인트 주변의 칼라 정보를 매칭하여, 상기 초기 포즈를 개선하여 개선된 포즈를 제공하는 개선부를 포함하는 카메라 포즈 추정 장치가 제공된다.
일실시예에 따르면, 상기 결정부는, 상기 입력 깊이 영상의 깊이 값으로부터 추출되는 깊이 특징점이 제1 임계치 이상이고 상기 입력 칼라 영상의 칼라 값으로부터 추출되는 칼라 특징점이 제2 임계치 이상인 경우, 상기 모드는 상기 입력 깊이 영상 및 상기 입력 칼라 영상을 모두 이용하는 포즈 추정에 대응하는 것으로 결정할 수 있다.
한편, 상기 개선부는, 상기 적어도 하나의 제1 포인트의 주변의 제1 반경 내에 포함되는 제1 영역 내에서 상기 칼라 영상을 고려하여 상기 초기 포즈를 개선할 수 있다.
이 경우, 상기 제1 반경은 상기 적어도 하나의 제1 포인트의 깊이 값이 클수록 더 크게 설정될 수 있다.
또 다른 일측에 따르면, 카메라 포즈 추정 장치의 추정부가, 입력 깊이 영상에 대해 제1 프레임에 포함되는 적어도 하나의 제1 포인트와 제2 프레임에 포함되는 적어도 하나의 제2 포인트를 ICP(Iterative Closet Point) 기법으로 1차 매칭하여 상기 입력 깊이 영상에 연관되는 카메라의 초기 포즈를 추정하는 단계; 및 상기 장치의 개선부가, 상기 입력 깊이 영상에 연관되는 입력 칼라 영상을 이용하여 상기 ICP 기법으로 2차 매칭하기 위해, 상기 제1 포인트를 포함하는 제1 영역의 제1 반경을 결정하는 단계 - 상기 2차 매칭은 상기 제1 영역 내의 칼라 특징 매칭을 이용하는 것임 - 를 포함하는 카메라 포즈 추정 방법이 제공된다.
일실시예에 따르면, 상기 제1 반경은 상기 적어도 하나의 제1 포인트의 깊이 값이 클수록 더 크게 설정될 수 있다.
일실시예에 따르면, 상기 카메라 포즈 추정 방법은, 상기 장치의 결정부가, 상기 입력 깊이 영상으로부터 추출되는 깊이 특징 정보 및 상기 입력 칼라 영상으로부터 추출되는 칼라 특징 정보를 이용하여, 상기 카메라 포즈 추정을 위한 모드를 결정하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 적어도 하나의 제1 포인트 및 상기 적어도 하나의 제2 포인트는 깊이 분포를 고려한 신뢰도가 임계치 이상인 포인트에 대응할 수 있다.
도 1은 일실시예에 따른 카메라 포즈 추정 장치를 도시한 블록도이다.
도 2는 일실시예에 따른 카메라 포즈 추정 방법을 설명하기 위해 예시적으로 구성된 가상의 장면(Scene)을 도시한다.
도 3은 일실시예에 따라 카메라, 복수 개의 프레임에서 입력되는 칼라 영상과 깊이 영상을 도시한다.
도 4는 일실시예에 따른 초기 포즈 추정 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 포즈 개선(Refining) 과정을 도시하기 위한 도면이다.
도 6은 포즈 개선을 위해 칼라 값 매칭을 수행하는 제1 영역의 반경을 적응적으로 설정하는 과정을 설명하기 위한 그래프이다.
도 7은 일실시예에 따른 카메라 포즈 추정 방법을 도시하는 흐름도이다.
도 8은 다른 일실시예에 따른 카메라 포즈 추정 장치를 도시하는 블록도이다.
도 9는 일실시예에 따른 카메라 포즈 추정 방법을 도시하는 흐름도이다.
도 10은 일실시예에 따라 카메라 포즈 추정 모드를 결정하는 과정을 설명하기 위한 예시적 장면들을 도시한다.
이하에서, 일부 실시예들를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 카메라 포즈 추정 장치(100)를 도시한 블록도이다.
일실시예에 따르면, 카메라 포즈 추정 장치(100)은 깊이 영상을 이용하여 프레임 간의 포인트 클라우드 매칭을 수행하여 카메라의 초기 포즈를 추정하는 추정부(110) 및 칼라 영상을 이용하여 상기 초기 포즈를 개선(Refining)하는 개선부(120)를 포함할 수 있다. 다만, 추정부(110)가 칼라 정보를 이용하여 추정을 수행하고, 개선부(120)가 깊이 정보를 이용하여 초기 정보를 개선하는 다른 실시예도 가능하므로, 이하에서는 별다른 언급이 없더라도 이러한 실시예도 포함되는 것으로 해석되어야 한다.
일실시예에 따르면, 상기 추정부(110)는, ICP(Iterative Closet Point) 알고리즘을 이용하여 입력 깊이 영상에 포함되는 적어도 하나의 제1 포인트에 대해 프레임 간의 포즈 추정을 수행한다.
이 경우, 추정이 수행되기 전의 일정 개수의 프레임들 동안, 깊이 영상의 각 픽셀에서의 평균 및 편차(mean and variation)이 참조되어, 편차가 일정 수준 이하로 작은 픽셀들만이 샘플링 될 수 있으며, 이 샘플링된 픽셀들에 대응하는 3D 포인트 클라우드의 일부가 포즈 추정에 이용되는 적어도 하나의 제1 포인트일 수 있다.
또한, 일부 실시예에서는 칼라 영상을 참조하여, 칼라가 어두운 색이거나, 칼라 인텐시티(Intensity)가 작거나, 및/또는 깊이 영상 결정에 이용된 적외선 수신 인텐시티가 작은 등의 픽셀은 포즈 추정에 이용되는 포인트에서 제외하여 정확성을 높일 수도 있다.
개선부(120)는 추정부(110)에 의해 추정된 카메라 초기 포즈를 개선한다.
이 경우, 깊이 영상의 기하 정보에 노이즈가 있을 수 있는 점을 고려하여, 초기 포즈 추정에 이용된 적어도 하나의 제1 포인트들 각각의 주변에 제1 반경을 갖는 제1 영역을 설정하고, 상기 제1 영역 내의 포인트들을 매칭에 이용할 최종 포인트로 결정할 수 있다.
일실시예에 따르면, 여기서 상기 제1 반경은 적응적으로(adaptively) 설정될 수 있으며, 예시적으로 제1 포인트가 카메라 시점으로부터 멀리 떨어져 있을수록 (깊이 값이 클수록) 더 크게 설정될 수 있다. 본 실시예에서는 깊이 값이 큰 경우에 오차가 증가할 수 있음을 고려하였다.
개선부(120)는 칼라 영상을 이용하여 카메라의 초기 포즈 추정 결과의 정밀도를 향상 시킨다.
추정부(110)의 초기 포즈 추정 과정 및 개선부(120)의 포즈 개선 과정은 도 2 내지 도 7을 참조하여 상세히 후술한다.
도 2는 일실시예에 따른 카메라 포즈 추정 방법을 설명하기 위해 예시적으로 구성된 가상의 장면(Scene)을 도시한다.
도시된 장면에서 카메라 시점(210)은 제1 프레임인 i번째 프레임에 대응하고, 카메라 시점(220)은 제1 프레임과 상이한 제2 프레임, 이를테면 i+1번째 프레임에 대응한다.
이 카메라 시점들(210, 220) 사이의 변환(202)은 변환 행렬 M = [R | T]로 표현될 수 있다. 카메라 포즈 추정은 이러한 변환 행렬 M을 결정하는 것에 대응될 수 있다.
오브젝트(201) 및 장면에 포함되는 칼라 텍스처 정보, 깊이 특징 등에 따라 카메라 포즈에 칼라 영상만 이용될 수도 있고, 깊이 영상만 이용될 수도 있으며, 또는 칼라 영상과 깊이 영상이 모두 이용될 수도 있다. 이러한 선택은 도 8 내지 도 10을 참조하여 후술한다. 도 3 내지 도 7에서는 칼라 영상과 깊이 영상이 모두 이용되는 경우에 대해 상세히 설명한다.
도 3은 일실시예에 따라 카메라, 복수 개의 프레임에서 입력되는 칼라 영상과 깊이 영상을 도시한다.
i번째 프레임에서 입력되는 칼라 영상(311) 및 깊이 영상(312)는 서로 매칭되어 있을 수 있다. 또는, 촬영 당시부터 칼라 센싱과 깊이 센싱이 모두 가능한 형태의 센서에 의해 획득된 것일 수도 있다.
i+1번째 프레임에서 입력되는 칼라 영상(321) 및 깊이 영상(322)도 서로 매칭되어 있을 수 있다.
칼라 영상만을 이용하는 경우, 칼라 영상(311)과 칼라 영상(312)의 칼라 특징이 추출되고 서로 매칭됨으로써 i번째 프레임과 i+1번째 프레임 간의 카메라 포즈 추정이 수행될 수 있다.
그리고, 깊이 영상만을 이용하는 경우, 깊이 영상(312)과 깊이 영상(322)의 기하학적 특징이 추출되고, 서로 매칭됨으로써 i번째 프레임과 i+1번째 프레임 간의 카메라 포즈 추정이 수행될 수 있다.
일실시예에 따르면, 칼라 영상들(311, 321)과 깊이 영상들(312, 322)이 모두 카메라 포즈 추정에 이용될 수 있다.
일실시예에 따르면, 도 1의 추정부(110)는 깊이 영상들(312, 322)을 이용하여 ICP 알고리즘을 수행함으로써 카메라 초기 포즈를 추정할 수 있다. 이 경우, 깊이 영상의 노이즈 특성 등으로 인해, 상기 초기 포즈는 정밀도가 만족할 만 하지 않을 수도 있다.
따라서, 개선부(120)는 칼라 영상들(311, 321)을 이용하여, 상기 초기 포즈를 개선한다. 일실시예에 따르면, 3D 포인트 클라우드 중 초기 포즈 추정에 이용된 적어도 하나의 제1 포인트 주변의 일정 반경에 대해 칼라 정보의 매칭이 수행됨으로써, 보다 정밀한 매칭 결과가 도출될 수 있고, 따라서 개선된 카메라 포즈가 제공될 수 있다.
이러한 실시예들에 따라, 칼라 영상의 장점과 깊이 영상의 장점을 모두 이용하여 카메라 포즈 추정의 정확도가 높아질 수 있다. 또한, 장면의 특징에 따라, 칼라 영상, 깊이 영상 중 어느 하나를 적응적으로 선택하여 이용하거나, 경우에 따라서 모두 이용하는 등 유연한(flexible) 처리가 가능하다.
포즈 추정 과정 및 개선 과정은 도 4 내지 도 7을 참조하여 상세히 설명한다.
도 4는 일실시예에 따른 초기 포즈 추정 과정을 설명하기 위한 도면이다.
깊이 영상을 이용한 초기 포즈 추정 과정이 도시된다. 포인트 클라우드 중 i번째 프레임에서 선택되는 적어도 하나의 제1 포인트들(왼쪽)과 i+1번째 프레임에서 선택되는 적어도 하나의 제 2 포인트들(오른쪽) 사이의 매칭에 따라 카메라 초기 포즈 P1이 추정될 수 있다.
그러나, 상술한 바와 같이, 깊이 영상은 노이즈 특성이 열악하고, 깊이 접힘(depth folding) 등의 여러 원인에 의한 깊이 값 오류가 존재할 수 있으므로, 일실시예에서는 후술하는 포즈 개선 과정이 수행된다.
도 5는 일실시예에 따른 포즈 개선(Refining) 과정을 도시하기 위한 도면이다.
i번째 프레임의 깊이 영상(511) 내의 제1 포인트와 i+1번째 프레임의 깊이 영상(521) 내의 제2 포인트는 처음에 서로 매칭되는 것으로 결정되었다.
이 경우, 개선부(120)는 상기 제1 포인트 주변의 반경 r 만큼의 영역과 상기 제2 포인트 주변의 반경 r 만큼의 영역의 칼라 정보를 참조하여 추가적 매칭을 수행한다. 이 경우, 칼라 정보는 각각 i번째 프레임의 칼라 영상(512) 및 i+1번째 프레임의 칼라 영상(522)로부터 이용될 수 있다.
일실시예에 따르면, 이 경우, 설정되는 반경 r은 제1 포인트 및/또는 제2 포인트의 깊이 값에 따라 적응적으로 다르게 설정될 수 있다. 이 과정이 도 6을 참조하여 설명된다.
도 6은 포즈 개선을 위해 칼라 값 매칭을 수행하는 제1 영역의 반경을 적응적으로 설정하는 과정을 설명하기 위한 그래프이다.
렌더링 되는 카메라 시점의 가상 평면(plane)과 포즈 추정에 이용되는 포인트 사이의 거리(X축)가 증가할수록, 깊이 표준 편차(Y축)도 증가하는 것을 볼 수 있다. 따라서, 일실시예에 따르면, 노이즈 특성이 열악한 상황인 깊이 값이 큰 상황에서는 도 5를 통해 설명한 반경 r을 크게 설정하여 보다 많은 매칭 후보들(candidate points for matching)을 고려할 수 있다.
실시예들에 따른 카메라 포즈 추정 과정을 도 7의 흐름도를 참조하여 설명한다.
도 7은 일실시예에 따른 카메라 포즈 추정 방법을 도시하는 흐름도이다.
일실시예에 따르면, 2-Pass ICP(Iterative Closet Point)에 따라 카메라 포즈가 추정된다. 상기 2-Pass는 깊이 영상으로부터 획득되는 포인트 클라우드(Point Cloud)(701)의 기하학적 매칭을 이용하여 카메라의 초기 포즈를 추정하는 첫 번째 패스(710), 및 칼라 영상(702)을 이용하여 상기 초기 포즈를 개선(Refining)하여 보다 정밀한 카메라 포즈를 결정하는 두 번째 패스(720)을 포함할 수 있다.
예시적으로, 그러나 한정적이지 않게, 이러한 도 7의 흐름도는 연속적인 및/또는 병렬적인 카메라 포즈 추정을 위한 파이프라인 알고리즘(Pipeline algorithm)으로 이해될 수 있다.
ICP는 서로 다른 시점들로부터 획득되는 3D 포인트 클라우드를 정렬(align)하기 위한 알고리즘으로 알려져 있다. 이러한 ICP는 원래 완전히 오버랩 되는 컴퓨터 생성 데이터의 처리를 위한 것이지만, 부분적으로 오버랩되는 깊이 데이터의 상관관계 분석 등 다른 변형에도 유용할 수 있다.
일실시예에 따르면, 이러한 ICP를 2 개의 패스로 진행하여, 첫 번째 패스(710)에서는 포인트 클라우드를 이용하여, 빠르고 개략적으로(rapidly and roughly) 초기 카메라 포즈를 추정한다. 이 1차 패스(710)에서 입력 깊이 영상에 포함되는 적어도 하나의 제1 포인트를 프레임 별로 매칭하여 카메라 포즈를 추정하는 과정은 통상의 ICP 알고리즘에 의해 쉽게 이해될 수 있다.
ICP 알고리즘은, 매칭에 사용할 제1 포인트들을 선택하는 선택 단계(Selection)(711), 3D 포인트 클라우드를 프레임 간에 매칭하는 매칭 단계(Matching)(712), 매칭에 연관되는 가중치를 부여하는 가중 단계(Weighting)(713), 및 매칭에서 아웃라이어를 제거하는 제거 단계(Rejection)(714) 및 매칭 에러를 최소화 하는 결과를 도출하는 최소화 단계(Minimizing or Error minimizing)(715) 과정으로 이루어 질 수 있다. 일실시예에 따르면, 위 가중치 부여는 제1 포인트의 깊이에 따라 부여될 수 있다. 이를테면, 깊이 값이 클수록(카메라 시점에서 멀수록) 가중치는 작게 부여될 수 있다. 깊이 값이 크면 노이즈 특성이 열악할 수 있기 때문이다.
여기서, 3D 포인트 클라우드가 서로 수렴하는가의 여부(whether matching result is converged)에 따라 상기 매칭 단계(712) 내지 최소화 단계(715)는 여러 번 회귀적으로 반복될 수 있다(can be repeated iteratively). 이 실시예에서는 1차 패스(710) 동안 칼라 영상(702)은 이용되지 않을 수 있다.
한편, 매칭 단계(712)에서는 모델 포인트 클라우드 Q = {Qi | i = 1, 2, 3, ... , n}와 타켓 포인트 클라우드 P = {Pj | j = 1, 2, 3, ... , n} 사이의 유클리디언 거리가 에러 메트릭(error metric)으로 고려될 수 있다. 여기서 n은 매칭에 이용되는 포인트 클라우드의 포인트 수일 수 있다. 그리고, 본 명세서 전반에 걸쳐서 언급되는 적어도 하나의 제1 포인트는 상기 모델 포인트 클라우드 Q에 대응하고, 적어도 하나의 제2 포인트는 상기 타켓 포인트 클라우드 P에 대응하는 것으로 이해될 수 있다.
따라서, 유클리디언 거리를 최소화 하는 매칭 결과를 제1 패스(710)의 결과로 도출하면, 카메라 시점들 사이의 변환 행렬(transformation matrix) M = [R | T]이 계산될 수 있다.
예시적으로, R은 3x3의 회전 행렬(rotation matrix)이고, T는 3x1의 이동 벡터(translation vector)일 수 있다.
이론적으로는, 이 변환 행렬 M에 의해 Q를 이동한 결과가 P와 완전히 일치하고, 칼라 정보도 동일해야 하지만, 깊이 영상의 해상도를 업스케일 하는 과정에서의 깊이 오차, 깊이 영상 촬영 과정에서 발생하는 깊이 오차, 노이즈 등으로 인하여, 실제로는 완전한 일치가 되지 않을 수 있다.
일실시예에 따르면, 개선부(120)는 이러한 1차 패스(710)에서 구한 변환 행렬 M을 개선(refine)하는 2차 패스(720)를 수행하여, 최종 카메라 포즈를 높은 정밀도로 계산한다. 이 2차 패스(720)에서 칼라 영상(710)이 이용되며, 보다 구체적으로는 포인트 클라우드 Q 및/또는 P에 포함되는 포인트 Qi 또는 Pj 주변 일정 반경의 영역의 칼라 정보가 이용된다. 2차 패스(720)의 경우, 매칭 정보에 칼라 특징(color feature)이 이용된다는 것 외에는 매칭 단계(721), 가중 단계(722), 제거 단계(723) 및 최소화 단계(724)는 1차 패스(710)와 유사하게 ICP 알고리즘에 따라 수행된다.
한편, 2차 패스(720)에서는 유클리디언 거리를 최소화 하는 Pj 뿐만 아니라, Pj 주변의 일정 영역 Ω 에 포함되는 여러 이웃 포인트들이 Qi에 매칭되는 후보들(candidates)로 고려되어, 칼라 매칭이 잘 되는 후보 포인트가 상기 Qi에 최종 매칭되는 포인트로 결정된다.
일실시예에 따르면, 도 6을 참조하여 상술한 바와 같이, 이 과정에서 일정 영역 Ω의 반경 r은 적응적으로(adaptively) 설정될 수 있다. 시점으로부터 멀리 떨어져 있는 포인트(깊이 값이 큰 포인트)에서는 깊이 오차(depth error)나 노이즈의 영향이 클 것이므로, 보다 큰 반경의 이웃 포인트들을 후보로 고려하여 매칭에 이용하는 것이다. 상세한 내용은 도 6을 참조하여 설명한 바와 같다.
도 8은 다른 일실시예에 따른 카메라 포즈 추정 장치를 도시하는 블록도이다.
일실시예에 따른 카메라 포즈 추정 장치(800)의 결정부(810)는 카메라 추정에 칼라 영상만 이용할 것인지, 깊이 영상만 이용할 것인지, 또는 칼라 영상과 깊이 영상을 모두 이용할 것인지의 여부를 결정한다. 이러한 결정을 추정 모드(Estimation mode) 결정으로 표현할 수 있다.
깊이 영상과 상기 깊이 영상에 매칭되는 칼라 영상이 입력되면, 결정부(810)는 깊이 영상으로부터 3D 좌표를 계산하여 기하학적 특징(Geometric feature)을 추출하고, 칼라 영상으로부터 칼라 특징(Color feature or Visual feature)을 추출한다.
실시예들에 따르면, 기하학적 특징 추출과정에서 3D 포인트 클라우드에 NARF(Normal Aligned Radial Feature), 3D Harris Corner, 3D SIFT(3-Dimensional Scale-Invariant feature transform) 등의 알고리즘이 이용될 수 있다. 그리고, 칼라 특징을 추출하는 과정에는 Harris Corner, SIFT(Scale-Invariant feature transform), SURF(Speeded up robust features), FAST(Fast Corner) 등의 방식을 이용할 수 있다.
이 경우, 추출된 기하학적 특징이 미리 지정된 일정 수준 이상이면 상기 입력 깊이 영상은 카메라 포즈 추정에 이용될 수 있는 정도로 신뢰도가 높은 것으로 판단된다. 또한, 추출된 칼라 특징이 미리 지정된 일정 수준(상기 기하학적 특징과는 서로 다른 기준에 따른 수준일 수 있음) 이상이면 입력 칼라 영상이 카메라 포즈 추정에 이용될 수 있는 정도로 신뢰도가 높은 것으로 판단된다. 이 과정에서는 RANSAC (RANdom SAmple Consensus) 알고리즘을 이용하여 평면 영역이 정의되고, 평면 영역에 존재하는 2D 특징에 대한 정보가 참고되어 판단될 수 있다. 또한, PTAM (Parallel Tracking and Mapping)이 활용되는 실시예도 가능하다.
결정부(810)는 칼라 영상만이 신뢰도가 높은 경우에는 칼라 영상만 이용하는 모드(Color-only mode)로 결정하고, 깊이 영상만이 신뢰도가 높은 경우에는 깊이 영상만 이용하는 모드(Depth-only mode)로 결정하며, 둘 다 신뢰도가 높은 경우에는 칼라 영상 및 깊이 영상 사용 모드(Color and depth mode)로 결정한다.
칼라 영상 및 깊이 영상 사용 모드로 결정되는 경우, 추정부(820)는 깊이 영상을 이용하여 도 7에서 설명한 1차 패스(710)를 진행할 수 있고, 개선부(830)는 이렇게 추정된 카메라 초기 포즈에 대해 2차 패스(720)를 진행하여 개선된(Refined) 최종 카메라 포즈를 결정할 수 있다.
추정부(820) 및 개선부(830)의 동작은 도 1 내지 도 7을 참조하여 상술한 바와 같다. 또한, 결정부(810)의 동작은 도 9 내지 도 10을 참조하여 더 설명한다.
도 9는 일실시예에 따른 카메라 포즈 추정 방법을 도시하는 흐름도이다.
단계(910)에서 카메라 포즈 추정 장치에 칼라 영상 및 깊이 영상이 수신된다. 상기 칼라 영상 및 깊이 영상은, 해상도나 시점이 서로 매칭되어 있는 것일 수 있다.
그러면, 단계(920)에서 깊이 영상으로부터 3D 좌표를 계산하여 기하학적 특징이 추출되고, 칼라 영상으로부터 칼라 특징이 추출된다.
그리고 단계(930)에서 도 8의 결정부(810)는 상기한 바와 같이 추정 모드를 결정한다.
여기서, 추출된 기하학적 특징이 미리 지정된 일정 수준 이상이면 상기 입력 깊이 영상은 카메라 포즈 추정에 이용될 수 있는 정도로 신뢰도가 높은 것으로 판단된다. 또한, 추출된 칼라 특징이 미리 지정된 일정 수준 이상이면 입력 칼라 영상이 카메라 포즈 추정에 이용될 수 있는 정도로 신뢰도가 높은 것으로 판단된다.
도 8의 결정부(810)는 칼라 영상만이 신뢰도가 높은 경우에는 칼라 영상만 이용하는 모드(Color-only mode)로 결정하고, 깊이 영상만이 신뢰도가 높은 경우에는 깊이 영상만 이용하는 모드(Depth-only mode)로 결정하며, 둘 다 신뢰도가 높은 경우에는 칼라 영상 및 깊이 영상 사용 모드(Color and depth mode)로 결정한다.
그리고 단계(940)에서는 추정부(820) 및 개선부(830)가 도 1 내지 도 7을 이용하여 상술한 바와 같이 카메라 포즈를 추정한다.
추정 모드 결정을 위해 참조 되는 기하학적 특징과 칼라 특징을 설명하기 위해 도 10이 제시된다.
도 10은 일실시예에 따라 카메라 포즈 추정 모드를 결정하는 과정을 설명하기 위한 예시적 장면들을 도시한다.
예시적 장면(1010)은 기하학적 패턴이 단순하여 복잡도가 높지 않은 장면에 대응한다. 이러한 장면(1010)으로부터 칼라 특징을 추출하는 경우에는 매칭 대상이 되는 특징이 일정 수준 이상이 되어 칼라 영상은 신뢰도가 높으나, 기하학적 특징은 매칭이 될 수 있는 정도로 추출되지 못할 수 있다. 따라서, 도 8의 결정부(810)는 이러한 장면(1010)에 대해서는 칼라 영상만 이용하는 모드(Color-only mode)로 카메라 포즈 추정 모드를 결정할 수 있다.
다른 예시적 장면(1020)은 기하학적 패턴은 비교적 복잡하나, 칼라 톤이 단순하여 칼라 특징이 일정 수준 이상으로 추출되지 못할 수 있다. 이러한 장면(1020)에서는 카메라 포즈 추정을 위해 칼라 특징이 이용되기 부적절하기 때문에, 결정부(820)는 깊이 영상만 이용하는 모드(Depth-only mode)로 카메라 포즈 추정 모드를 결정할 수 있다.
또 다른 예시적 장면(1030)은 칼라 텍스처도 풍부하고, 기하학적 복잡도도 높아, 결정부(810)가 칼라 영상 및 깊이 영상 사용 모드(Color and depth mode)로 카메라 포즈 추정 모드를 결정할 수 있다. 이러한 장면(1030)에서는 도 1 내지 도 7을 참조하여 설명한 실시예들에 의해, 깊이 정보 및 칼라 정보가 함께 고려되어 카메라 포즈 추정이 수행될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 입력 깊이 영상 및 입력 칼라 영상 중 어느 하나인 제1 영상에 대해, 제1 프레임에 속하는 적어도 하나의 제1 포인트와 상기 제1 프레임과 상이한 제2 프레임에 속하는 적어도 하나의 제2 포인트를 매칭하여, 상기 제1 영상에 연관되는 카메라의 초기 포즈를 추정하는 추정부; 및
    상기 입력 깊이 영상 및 상기 입력 칼라 영상 중 상기 제1 영상과 다른 하나인 제2 영상을 이용하여, 상기 초기 포즈를 개선하여 개선된 포즈를 제공하는 개선부
    를 포함하는 카메라 포즈 추정 장치.
  2. 제1항에 있어서,
    상기 추정부는, ICP(Iterative Closet Point) 기법을 이용하여 상기 적어도 하나의 제1 포인트와 상기 적어도 하나의 제2 포인트를 매칭하는 카메라 포즈 추정 장치.
  3. 제1항에 있어서,
    상기 제1 영상은 상기 입력 깊이 영상에 대응하고, 상기 제2 영상은 상기 입력 칼라 영상에 대응하는 카메라 포즈 추정 장치.
  4. 제3항에 있어서,
    상기 추정부는, 상기 입력 깊이 영상에 포함되는 포인트 클라우드 중 상기 제1 프레임에 속하는 상기 적어도 하나의 제1 포인트 및 상기 제2 프레임에 속하는 상기 적어도 하나의 제2 포인트를 선택하는 카메라 포즈 추정 장치.
  5. 제4항에 있어서,
    상기 추정부는, 상기 포인트 클라우드 중 깊이 편차가 임계 편차 이하인 적어도 하나의 포인트를 상기 제1 프레임 및 상기 제2 프레임에서 선택하는 카메라 포즈 추정 장치.
  6. 제3항에 있어서,
    상기 개선부는, 상기 적어도 하나의 제1 포인트의 주변의 제1 반경 내에 포함되는 제1 영역 내에서 상기 칼라 영상을 고려하여 상기 초기 포즈를 개선하는 카메라 포즈 추정 장치.
  7. 제6항에 있어서,
    상기 제1 반경은 상기 적어도 하나의 제1 포인트의 깊이 값이 클수록 더 크게 설정되는 카메라 포즈 추정 장치.
  8. 입력 깊이 영상 및 입력 칼라 영상 중 적어도 하나의 특성을 분석 하여, 상기 입력 깊이 영상 및 상기 입력 칼라 영상에 연관되는 카메라의 포즈 추정 모드를 결정하는 결정부;
    상기 결정되는 모드가 상기 입력 깊이 영상 및 상기 입력 칼라 영상을 모두 이용하는 포즈 추정에 대응하는 경우, 상기 입력 깊이 영상에 대해, 제1 프레임에 속하는 적어도 하나의 제1 포인트와 상기 제1 프레임과 상이한 제2 프레임에 속하는 적어도 하나의 제2 포인트를 매칭하여, 상기 제1 프레임과 상기 제2 프레임 간의 초기 포즈를 추정하는 추정부; 및
    상기 입력 칼라 영상을 이용하여, 상기 적어도 하나의 제1 포인트 주변의 칼라 정보와 상기 적어도 하나의 제2 포인트 주변의 칼라 정보를 매칭하여, 상기 초기 포즈를 개선하여 개선된 포즈를 제공하는 개선부
    를 포함하는 카메라 포즈 추정 장치.
  9. 제8항에 있어서,
    상기 결정부는, 상기 입력 깊이 영상의 깊이 값으로부터 추출되는 깊이 특징점이 제1 임계치 이상이고 상기 입력 칼라 영상의 칼라 값으로부터 추출되는 칼라 특징점이 제2 임계치 이상인 경우, 상기 모드는 상기 입력 깊이 영상 및 상기 입력 칼라 영상을 모두 이용하는 포즈 추정에 대응하는 것으로 결정하는 카메라 포즈 추정 장치.
  10. 제8항에 있어서,
    상기 개선부는, 상기 적어도 하나의 제1 포인트의 주변의 제1 반경 내에 포함되는 제1 영역 내에서 상기 칼라 영상을 고려하여 상기 초기 포즈를 개선하는 카메라 포즈 추정 장치.
  11. 제10항에 있어서,
    상기 제1 반경은 상기 적어도 하나의 제1 포인트의 깊이 값이 클수록 더 크게 설정되는 카메라 포즈 추정 장치.
  12. 카메라 포즈 추정 장치의 추정부가, 입력 깊이 영상에 대해 제1 프레임에 포함되는 적어도 하나의 제1 포인트와 제2 프레임에 포함되는 적어도 하나의 제2 포인트를 ICP(Iterative Closet Point) 기법으로 1차 매칭하여 상기 입력 깊이 영상에 연관되는 카메라의 초기 포즈를 추정하는 단계; 및
    상기 장치의 개선부가, 상기 입력 깊이 영상에 연관되는 입력 칼라 영상을 이용하여 상기 ICP 기법으로 2차 매칭하기 위해, 상기 제1 포인트를 포함하는 제1 영역의 제1 반경을 결정하는 단계 - 상기 2차 매칭은 상기 제1 영역 내의 칼라 특징 매칭을 이용하는 것임 -
    를 포함하는 카메라 포즈 추정 방법.
  13. 제12항에 있어서,
    상기 제1 반경은 상기 적어도 하나의 제1 포인트의 깊이 값이 클수록 더 크게 설정되는 카메라 포즈 추정 방법.
  14. 제12항에 있어서,
    상기 장치의 결정부가, 상기 입력 깊이 영상으로부터 추출되는 깊이 특징 정보 및 상기 입력 칼라 영상으로부터 추출되는 칼라 특징 정보를 이용하여, 상기 카메라 포즈 추정을 위한 모드를 결정하는 단계
    를 더 포함하는 카메라 포즈 추정 방법.
  15. 제12항에 있어서,
    상기 적어도 하나의 제1 포인트 및 상기 적어도 하나의 제2 포인트는 깊이 분포를 고려한 신뢰도가 임계치 이상인 포인트에 대응하는 카메라 포즈 추정 방법.
  16. 제12항 내지 제15항 중 어느 한 항의 카메라 포즈 추정 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
PCT/KR2014/004355 2013-07-09 2014-05-15 카메라 포즈 추정 장치 및 방법 Ceased WO2015005577A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/903,982 US9875545B2 (en) 2013-07-09 2014-05-15 Camera pose estimation apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0080598 2013-07-09
KR1020130080598A KR102137264B1 (ko) 2013-07-09 2013-07-09 카메라 포즈 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2015005577A1 true WO2015005577A1 (ko) 2015-01-15

Family

ID=52280217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/004355 Ceased WO2015005577A1 (ko) 2013-07-09 2014-05-15 카메라 포즈 추정 장치 및 방법

Country Status (3)

Country Link
US (1) US9875545B2 (ko)
KR (1) KR102137264B1 (ko)
WO (1) WO2015005577A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579794A (zh) * 2017-09-28 2019-04-05 财团法人成大研究发展基金会 适用于迭代最近点法以选择关键图框的系统与方法
CN109903326A (zh) * 2019-02-28 2019-06-18 北京百度网讯科技有限公司 用于确定工程机械设备的旋转角度的方法和装置
CN111179324A (zh) * 2019-12-30 2020-05-19 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN112752028A (zh) * 2021-01-06 2021-05-04 南方科技大学 移动平台的位姿确定方法、装置、设备和存储介质
CN114862951A (zh) * 2022-04-24 2022-08-05 湖南大学 一种将旋转和平移相解耦的6d位姿估计方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928598B2 (en) * 2014-10-31 2018-03-27 Canon Kabushiki Kaisha Depth measurement apparatus, imaging apparatus and depth measurement method that calculate depth information of a target pixel using a color plane of which a correlation value is at most a threshold
US10616552B2 (en) * 2016-03-25 2020-04-07 Intel Corporation Multi-modal real-time camera localization and environment mapping
KR20180111242A (ko) * 2017-03-31 2018-10-11 삼성전자주식회사 채색 가능한 콘텐트를 제공하는 전자 장치 및 그 방법
CN107123142B (zh) * 2017-05-09 2020-05-01 北京京东尚科信息技术有限公司 位姿估计方法和装置
US10467756B2 (en) 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image
AU2017225023A1 (en) * 2017-09-05 2019-03-21 Canon Kabushiki Kaisha System and method for determining a camera pose
KR102472767B1 (ko) * 2017-09-14 2022-12-01 삼성전자주식회사 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN109559271B (zh) * 2017-09-26 2023-02-28 富士通株式会社 对深度图像进行优化的方法和装置
US10628949B2 (en) * 2017-12-18 2020-04-21 Samsung Electronics Co., Ltd. Image processing with iterative closest point (ICP) technique
US10984583B2 (en) * 2018-03-28 2021-04-20 Apple Inc. Reconstructing views of real world 3D scenes
WO2020251151A1 (ko) * 2019-06-14 2020-12-17 고려대학교 산학협력단 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
KR102871418B1 (ko) * 2019-09-26 2025-10-15 삼성전자주식회사 자세 추정 방법 및 장치
US11636618B2 (en) * 2019-11-14 2023-04-25 Samsung Electronics Co., Ltd. Device and method with simultaneous implementation of localization and mapping
EP3848899B1 (en) * 2020-01-09 2023-01-25 Stryker European Operations Limited Technique of determining a pose of a surgical registration device
KR102298098B1 (ko) 2020-05-29 2021-09-03 이화여자대학교 산학협력단 Rgb-d 카메라의 트래킹을 통한 3d 모델의 생성 방법 및 장치
CN114332214B (zh) * 2020-09-29 2024-12-06 北京三星通信技术研究有限公司 物体姿态估计方法、装置、电子设备及存储介质
US12148182B2 (en) * 2020-09-29 2024-11-19 Samsung Electronics Co., Ltd. Method, apparatus, electronic device and storage medium for estimating object pose
KR20230012755A (ko) 2021-07-16 2023-01-26 한국전자통신연구원 2차원 배열 구조의 다중 시점 영상을 이용한 카메라 자세 추정 장치 및 이를 이용한 방법
DE102021133709A1 (de) * 2021-12-17 2023-06-22 Rooom Ag Matte zur Durchführung eines Photogrammetrieverfahrens, Verwendung der Matte und zugehöriges Verfahren
US11887338B2 (en) * 2022-06-16 2024-01-30 Motional Ad Llc Maintaining calibration of an IBIS camera
WO2025105877A1 (ko) * 2023-11-16 2025-05-22 박찬오 라이다를 이용한 카메라 트래킹 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080152191A1 (en) * 2006-12-21 2008-06-26 Honda Motor Co., Ltd. Human Pose Estimation and Tracking Using Label Assignment
US20110286661A1 (en) * 2010-05-20 2011-11-24 Samsung Electronics Co., Ltd. Method and apparatus for temporally interpolating three-dimensional depth image
US20120195471A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Moving Object Segmentation Using Depth Images
WO2013029675A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7187809B2 (en) * 2004-06-10 2007-03-06 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
US20090180668A1 (en) 2007-04-11 2009-07-16 Irobot Corporation System and method for cooperative remote vehicle behavior
KR101054736B1 (ko) 2010-05-04 2011-08-05 성균관대학교산학협력단 3차원 물체 인식 및 자세 추정 방법
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9639748B2 (en) * 2013-05-20 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for detecting persons using 1D depths and 2D texture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080152191A1 (en) * 2006-12-21 2008-06-26 Honda Motor Co., Ltd. Human Pose Estimation and Tracking Using Label Assignment
US20110286661A1 (en) * 2010-05-20 2011-11-24 Samsung Electronics Co., Ltd. Method and apparatus for temporally interpolating three-dimensional depth image
US20120195471A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Moving Object Segmentation Using Depth Images
WO2013029675A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IVAN DRYANOVSKI ET AL.: "Real-time pose estimation with RGB-D camera", MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS (MFI), IEEE, 13 September 2012 (2012-09-13) - 15 September 2012 (2012-09-15), HAMBURG, pages 13 - 20, XP032470281, Retrieved from the Internet <URL:http://ieeexplore.ieee.org/stamp/stamp.jsp?=p=&arnumber=6343046> DOI: doi:10.1109/MFI.2012.6343046 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579794A (zh) * 2017-09-28 2019-04-05 财团法人成大研究发展基金会 适用于迭代最近点法以选择关键图框的系统与方法
CN109579794B (zh) * 2017-09-28 2021-03-23 财团法人成大研究发展基金会 适用于迭代最近点法以选择关键图框的系统与方法
CN109903326A (zh) * 2019-02-28 2019-06-18 北京百度网讯科技有限公司 用于确定工程机械设备的旋转角度的方法和装置
US11182928B2 (en) 2019-02-28 2021-11-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining rotation angle of engineering mechanical device
CN111179324A (zh) * 2019-12-30 2020-05-19 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN111179324B (zh) * 2019-12-30 2023-05-05 同济大学 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN112752028A (zh) * 2021-01-06 2021-05-04 南方科技大学 移动平台的位姿确定方法、装置、设备和存储介质
CN112752028B (zh) * 2021-01-06 2022-11-11 南方科技大学 移动平台的位姿确定方法、装置、设备和存储介质
CN114862951A (zh) * 2022-04-24 2022-08-05 湖南大学 一种将旋转和平移相解耦的6d位姿估计方法

Also Published As

Publication number Publication date
KR20150006958A (ko) 2015-01-20
US9875545B2 (en) 2018-01-23
KR102137264B1 (ko) 2020-07-24
US20160171703A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
CN104685513B (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
WO2022050473A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
KR102697687B1 (ko) 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2022203464A2 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
CN113763466A (zh) 一种回环检测方法、装置、电子设备和存储介质
WO2021025364A1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN109961501A (zh) 用于建立三维立体模型的方法和装置
JPWO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
JP2017130042A (ja) 映像処理装置、映像処理方法、及びプログラム
Żak et al. Local image features matching for real-time seabed tracking applications
JP2014102805A (ja) 情報処理装置、情報処理方法及びプログラム
WO2018021657A1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
CN113793349B (zh) 目标检测方法及装置、计算机可读存储介质、电子设备
WO2013032785A1 (en) Line tracking with automatic model initialization by graph matching and cycle detection
WO2016190698A1 (ko) 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
CN115210758B (zh) 运动模糊稳健的图像特征匹配
CN116091577B (zh) 双目深度估计方法及装置、计算机可读介质和电子设备
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2020171257A1 (ko) 영상 처리 방법 및 그 장치
US20240386591A1 (en) Method and device for simultaneous localization and mapping initialization
WO2016006901A1 (ko) 이미지로부터 깊이 정보를 추출하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14822675

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14903982

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14822675

Country of ref document: EP

Kind code of ref document: A1