[go: up one dir, main page]

KR102453561B1 - 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법 - Google Patents

가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법 Download PDF

Info

Publication number
KR102453561B1
KR102453561B1 KR1020220084205A KR20220084205A KR102453561B1 KR 102453561 B1 KR102453561 B1 KR 102453561B1 KR 1020220084205 A KR1020220084205 A KR 1020220084205A KR 20220084205 A KR20220084205 A KR 20220084205A KR 102453561 B1 KR102453561 B1 KR 102453561B1
Authority
KR
South Korea
Prior art keywords
camera devices
positioning information
stereo camera
information
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220084205A
Other languages
English (en)
Inventor
손승오
안창현
김준범
Original Assignee
이엑스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이엑스 주식회사 filed Critical 이엑스 주식회사
Priority to KR1020220084205A priority Critical patent/KR102453561B1/ko
Priority to KR1020220127534A priority patent/KR102549811B1/ko
Application granted granted Critical
Publication of KR102453561B1 publication Critical patent/KR102453561B1/ko
Priority to KR1020230077824A priority patent/KR102666600B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H04N5/2254—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법을 제공하기 위한 컴퓨팅 장치가 개시된다. 본 컴퓨팅 장치는 하나 이상의 코어를 포함하는 프로세서 및 프로세서에 의해 실행 가능한 인스트럭션들을 저장하는 메모리를 포함할 수 있다. 본 장치가 제공됨으로써, 가상 스튜디오의 추적 카메라 시스템이 저렴하면서도 효과적으로 설치될 수 있다.

Description

가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법{METHOD FOR OPERATING MULTI-TRACKING CAMERA SYSTEM BASED ON MULTI-SENSOR IN VIRTUAL STUDIO}
본 개시는 가상 스튜디오에 배치된 복합 센서 기반 다중 추적 카메라 시스템 및 그의 동작 방법에 관한 것이다.
가상 스튜디오, 가상 프로덕션 기반의 확장 현실 콘텐츠 제작에 있어 가상 공간 내 가상 카메라의 위치와 현실 공간의 위치 정합을 위해 카메라 추적 시스템은 필수적이다.
기존의 카메라 추적 시스템은 가상 스튜디오 내부의 공간에 있어서 카메라에 부착된 특수한 추적장치를 통해 가상 스튜디오 공간에 부착된 마커의 위치를 탐지하여 카메라의 위치를 추산해내는 기술 또는 가상 스튜디오 내부에 추적용 광학 카메라를 설치하고 별도의 촬영용 카메라에 추적용 카메라가 감지할 수 있는 특수한 마커를 설치하여 가상 스튜디오 공간 내부에서의 마커의 위치를 통해 카메라의 위치를 산출해 낼 수 있는 기술 등을 적용하였다.
외부의 마커를 카메라에 부착된 추적장치를 통해 광학적으로 검출하는 방식은 가상 스튜디오 공간의 크기에 따라 인식이 가능한 다수의 마커를 천정 또는 바닥에 부착하여 이를 통해 카메라를 추적하는 방식으로 추적장치가 검출 가능한 크기의 다수의 마커를 부착하고 이를 보정하는 초기 설치에 상당한 시간이 소요되며, 설치와 보정작업에 있어서 숙련된 인력의 수행여부에 따라 카메라 추적의 정밀도에 오차 발생 가능성이 상존한다.
또한, 가상 스튜디오에 다수의 추적용 광학 카메라를 설치하고 특수 마커를 통해 포지션을 추적하는 방식은 추적용 광학 카메라를 가상 스튜디오의 크기에 비례하여 설치되어야 하므로 많은 비용이 들며, 진동에 취약한 추적용 광학 카메라의 특성에 의해 추적장치 부착 구조물 설치와 진동 방지를 위한 구조물 설치가 필수적이다. 이러한 이유로 상기의 방식은 설치에 많은 비용과 시간을 필요로 한다.
아울러, 가상 스튜디오의 구조 변경이나 확장 등으로 이전 설치를 하는 경우 초기 설치와 동일한 방법으로 재설치하는 과정이 필요하며, 이에 따른 변경 비용은 초기 설치 비용에 육박한다. 또한 보정과 안정화에 초기 설치와 동일한 시간을 필요로 하여 이동식의 추적 시스템에 적용하기 어려운 단점이 있다.
이에, 보다 저렴하면서도 효과적으로 종래 기술의 한계점을 극복하는 방법이 필요하다.
한국 등록특허 제10-2121287호 (등록일 : 2020.06.04)
본 개시에 개시된 실시예는 비교적 저렴한 추적 카메라를 적용하여 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템을 제공하는데 그 목적이 있다.
또한, 본 개시에 개시된 실시예는 공간의 구조 변경이 발생되더라도 저렴하면서도 적응적으로 가상 공간 및 현실 공간 사이의 위치를 정합하는 방법을 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시의 일 측면에 따른 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법은 복수의 스테레오 카메라 장치를 이용하여 상기 가상 스튜디오 내 배치된 원점을 중심으로 상기 가상 스튜디오가 촬영되는 경우, 상기 복수의 스테레오 카메라 장치로부터 촬영 이미지를 수신하는 단계; 상기 수신된 촬영 이미지에 기초하여,　상기 원점에 기초한　3D　공간을 생성하는 단계; 상기　생성된 3D　공간에서 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 추정하는 단계; 복수의 스테레오 카메라 장치로부터 정보 수신을 위한 타이밍을 동기화하는 단계; 및 상기 복수의 스테레오 카메라 장치로부터 수신되는 정보에 기초하여,　상기　3D　공간 상의 복수의 카메라 장치에 대한 포지셔닝 정보를 업데이트하는 단계를 포함할 수 있다.
여기서, 상기 3D 공간을 생성하는 단계는, 상기 원점에 위치한 마커를 인식하는 단계; 및 상기 인식된 마커에 기반하여 상기 원점 중심의 3D 좌표 공간을 생성하는 단계를 포함할 수 있다.
상기 포지셔닝 정보를 추정하는 단계는, 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 연산하는 단계; 상기 연산된 공간 정보 및 회전각을 3각 측량에 기초하여 교차 검증하는 단계; 및 상기 교차 검증된 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 출력하는 단계를 포함할 수 있다.
상기 타이밍을 동기화하는 단계는, 상기 복수의 스테레오 카메라 장치의 신호 발생 타이밍을 서로 동기화하여, 영상 합성 시 데이터의 프레임 싱크 오류를 방지하는 단계를 포함할 수 있다.
상기　포지셔닝 정보를 업데이트하는 단계는, 관성 측정 센서에 의해 수집된 관성 측정값을 상기 복수의 카메라 장치로부터 수신하는 단계; 및 6 자유도(6 degrees of freedom, 6 DOF)에 기반하여 상기 복수의 카메라 장치의 포지셔닝 정보를 제1 추정하는 단계를 포함할 수 있다.
상기 포지셔닝 정보를 업데이트하는 단계는, 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 산출하는 단계; 및 SLAM(simultaneous localization and mapping) 기반으로 상기 복수의 카메라 장치의 포지셔닝 정보를 제2 추정하는 단계를 포함할 수 있다.
또한, 상기 동작 방법은, 상기 제1 추정 및 제2 추정된 복수의 카메라 장치의 포지셔닝 정보에 대한 보정을 수행하는 단계를 더 포함할 수 있다.
또한, 상기 동작 방법은, 상기 보정을 수행하는 단계 이후에, 보정된 복수의 카메라 장치의 포지셔닝 정보에 대한 Raw 데이터를 생성하는 단계; 상기 생성된 Raw 데이터에 필터 캘리브레이션을 수행하는 단계; 상기 필터 캘리브레이션이 적용된 포지셔닝 정보를 산출하는 단계; 및 상기 산출된 포지셔닝 정보에 기반하여 영상 합성을 수행하는 단계를 더 포함할 수 있다.
또한, 본 개시의 일 측면에 따른 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램가 제공될 수 있는데, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법을 수행하기 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은, 복수의 스테레오 카메라 장치를 이용하여 상기 가상 스튜디오 내 배치된 원점을 중심으로 상기 가상 스튜디오가 촬영되는 경우, 상기 복수의 스테레오 카메라 장치로부터 촬영 이미지를 수신하는 동작; 상기 수신된 촬영 이미지에 기초하여,　상기 원점에 기초한　3D　공간을 생성하는 동작; 상기　생성된 3D　공간에서 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 추정하는 동작; 복수의 스테레오 카메라 장치로부터 정보 수신을 위한 타이밍을 동기화하는 동작; 및 상기 복수의 스테레오 카메라 장치로부터 수신되는 정보에 기초하여,　상기　3D　공간 상의 복수의 카메라 장치에 대한 포지셔닝 정보를 업데이트하는 동작을 포함할 수 있다.
또한, 본 개시의 일 측면에 따른 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법을 제공하기 위한 컴퓨팅 장치는 하나 이상의 코어를 포함하는 프로세서; 및 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하는 메모리를 포함할 수 있다.
상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는, 복수의 스테레오 카메라 장치를 이용하여 상기 가상 스튜디오 내 배치된 원점을 중심으로 상기 가상 스튜디오가 촬영되는 경우, 상기 복수의 스테레오 카메라 장치로부터 촬영 이미지를 수신하고, 상기 수신된 촬영 이미지에 기초하여,　상기 원점에 기초한　3D　공간을 생성하며, 상기　생성된 3D　공간에서 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 추정하며, 복수의 스테레오 카메라 장치로부터 정보 수신을 위한 타이밍을 동기화하고, 상기 복수의 스테레오 카메라 장치로부터 수신되는 정보에 기초하여,　상기　3D　공간 상의 복수의 카메라 장치에 대한 포지셔닝 정보를 업데이트하도록 구성될 수 있다.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 비교적 저렴하게 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템이 제공될 수 있으며, 공간의 구조 변경이 발생되더라도 저렴하면서도 적응적으로 가상 공간 및 현실 공간 사이의 위치가 정합되는 방법이 제공되는 효과를 제공한다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템을 개략적으로 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템을 구성하는 컴퓨팅 장치 및 카메라 장치의 구성을 나타내는 상대 블록도,
도 3은 본 발명의 일 실시 예에 따른 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법을 나타내는 대표적인 시퀀스도이며,
도 4는 본 발명의 일 실시 예에 따른 가상 스튜디오에 배치된 복수의 카메라 장치를 이용하여 가상 스튜디오를 3차원 좌표에 표현하기 위한 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 3D 좌표 공간을 생성하는 방법을 나타내는 시퀀스도,
도 6은 본 발명의 일 실시 예에 따른 복수의 카메라 장치의 3D 공간 좌표 및 회전각을 결정하는 방법을 나타내는 시퀀스도, 그리고,
도 7은 본 발명의 일 실시 예에 따른 복수의 카메라 장치의 포지셔닝 정보를 업데이트하는 방법을 나타내는 시퀀스도이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우 뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시 예들에 대해 설명한다.
도 1은 본 발명의 일 실시 예에 따른 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템(1, 이하 “시스템”이라 칭하기로 함)을 개략적으로 설명하기 위한 도면이다.
시스템(1)은 복수의 카메라 장치(C), 컴퓨팅 장치(100) 및 이미지 합성 장치(200) 등을 포함할 수 있다.
복수의 카메라 장치(C) 각각(C1~CN)은 복수의 렌즈를 탑재한 스테레오 카메라(stereoscopic camera), 관성 측정 센서(가령, IMU 센서) 및 깊이 측정 센서 등을 이용하여 수집한 데이터를 컴퓨팅 장치(100)로 제공할 수 있다.
복수의 카메라 장치(C) 각각은 가상 스튜디오에서 피사체를 촬영하는 하나 이상의 광학 카메라 및 이에 부착되어 카메라의 자세와 위치를 추적하는 추적 모듈을 포함할 수 있다. 복수의 카메라 장치(C)는 촬영용 고정 장치, 촬영용 크레인, 레일 등에 설치될 수 있으나, 실시 예가 이에 한정되는 것은 아니다.
컴퓨팅 장치(100)는 복수의 카메라 장치(C)로부터 각종 데이터(촬영 이미지 데이터, 관성 측정 데이터, 깊이 측정 데이터 등)를 수신하여 컴퓨터 연산을 수행할 수 있는 장치이며, 복수의 카메라 장치(C)에 의해 가상 스튜디오가 촬영되면, 여러 방향에서 촬영된 이미지에 기초하여 가상 스튜디오를 3 차원(3D) 공간을 생성할 수 있다.
컴퓨팅 장치(100)는 복수의 카메라 장치(C)로부터 동일 주기로 데이터를 수획득하기 위해, OSC(open spherical camera) 프로토콜을 포함할 수 있으며, 복수의 카메라 장치(C) 각각(C1~CN)이 검색된 후, 네트워크를 통해 데이터를 송수신(GET 요청, POST 요청 등)할 수 있다.
컴퓨팅 장치(100)는 가상 스튜디오의 기준점이 되는 원점 중심으로 3D 공간을 생성할 수 있으며, 복수의 카메라 장치(C)로부터 촬영 이미지를 수신하는 경우, 원점 중심의 촬영 이미지를 수신하고, 수신된 촬영 이미지를 3차원 상에서 재조합하여, 3D 공간을 생성할 수 있다.
컴퓨팅 장치(100)는 복수의 카메라 장치(C)로부터 수집되는 촬영 이미지, 관성 측정값, 깊이 측정값 등에 기초하여, 3D 공간 상의 복수의 카메라 장치(C)에 에 대한 공간 정보 및 회전각 등의 정보(포지셔닝 정보)를 업데이트할 수 있다.
컴퓨팅 장치(100)는 영상 합성 장치(200)로 촬영 이미지를 전송할 수 있으며, 영상 합성 장치(200)는 수신된 촬영 이미지를 합성할 수 있다. 영상 합성 장치(200)는 컴퓨팅 장치(100)의 출력 인터페이스를 통해 전달된 6 DOF 3D 보정 데이터를 수신하여 배경 또는 3D 어셋과 하나 이상의 카메라 장치로부터 수신된 영상 신호를 합성할 수 있다. 구현 예에 따라서는 컴퓨팅 장치(100) 및 영상 합성 장치(200)가 동일한 장치일 수 있다.
본 명세서에서 '본 개시에 따른 컴퓨팅 장치(100)'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 컴퓨팅 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 상기 시스템(1)을 구성하는 컴퓨팅 장치(100) 및 카메라 장치(C1, 300)의 구성을 나타내는 상대 블록도이다.
우선, 카메라 장치(C1, 300)는 통신부(310), 스테레오 카메라(320), 관성 측정 센서(330, IMU) 및 깊이 측정 센서(340) 등을 포함할 수 있다.
도 2에 도시된 구성요소들은 본 개시에 따른 카메라 장치(300)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 카메라 장치(300)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
통신부(310)는 외부 장치(가령, 컴퓨팅 장치(100))와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
스테레오 카메라(320)는 입력부의 일종으로, 입체 영상을 생성하기 위해 카메라를 복수로 포함할 수 있다.
스테레오 카메라(320)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 본 개시의 컴퓨팅 장치(100의 화면)에 표시되거나 메모리에 저장될 수 있다.
관성 측정 센서(330, IMU, inertial Measurement Unit)는 가속도계와 회전 속도계, 때로는　자력계의 조합을 사용하여 특정한 힘, 각도 비율 및 때로는 자기장을 측정하고 보고하는 센서일 수 있다.
깊이 측정 센서(340)는 이미지에서 대상의 깊이를 측정하여 입체적 이미지를 생성하는데 사용될 수 있으며, 적외선 기반으로 구현될 수 있으나, 실시 예가 이에 한정되는 것은 아니다.
다음으로, 컴퓨팅 장치(100)는 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법을 제공하기 위한 장치로서, 통신부(110), 입력부(120), 디스플레이(130), 메모리(150) 및 하나 이상의 코어를 포함하는 프로세서(190)를 포함할 수 있다.
도 2에 도시된 구성요소들은 본 개시에 따른 컴퓨팅 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 컴퓨팅 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
통신부(110)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 적어도 하나의 카메라, 적어도 하나의 마이크로폰 및 사용자 입력부 중 적어도 하나를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
마이크로폰은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 본 장치에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부를 통해 정보가 입력되면, 제어부는 입력된 정보에 대응되도록 본 장치의 동작을 제어할 수 있다. 이러한, 사용자 입력부는 하드웨어식 물리 키(예를 들어, 본 장치의 전면, 후면 및 측면 중 적어도 하나에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 소프트웨어식 터치 키를 포함할 수 있다. 일 예로서, 터치 키는, 소프트웨어적인 처리를 통해 터치스크린 타입의 디스플레이부 상에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
디스플레이(130)는 본 장치에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이(130)는 본 장치(100)에서 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
메모리(150)는 본 장치의 다양한 기능을 지원하는 데이터와, 프로세서(190)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
프로세서(190)는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(미도시)를 포함할 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
또한, 프로세서(190)는 이하의 도 3 내지 도 7에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
이미지 합성 장치(200)는 컴퓨팅 장치(100)와 별도로 구현되거나, 여러 방향에서 촬영된 가상 스튜디오의 공간 이미지를 서로 정합하여, 3차원 상의 공간(좌표)에 매핑할 수 있다.
도 2에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 2에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도 3은 본 발명의 일 실시 예에 따른 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템(1)의 동작 방법을 나타내는 시퀀스도이며, 컴퓨팅 장치(100)의 프로세서(190)에 의해 인스트럭션(instrictions)이 실행될 수 있다. 도 4는 본 발명의 일 실시 예에 따른 가상 스튜디오에 배치된 복수의 카메라 장치(C1~C3)를 이용하여 가상 스튜디오를 3D 좌표에 표현하기 위한 방법을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시 예에 따른 3D 좌표 공간을 생성하는 방법을 나타내는 도면이며, 도 6은 본 발명의 일 실시 예에 따른 복수의 카메라 장치의 3D 공간 좌표 및 회전각을 결정하는 방법을 나타내는 시퀀스도이고, 도 7은 본 발명의 일 실시 예에 따른 복수의 카메라 장치의 포지셔닝 정보를 업데이트하는 방법을 나타내는 시퀀스도이다. 도 3을 설명하면서 필요한 부분에서 도 4 내지 도 7을 함께 참조하기로 한다.
우선, 프로세서(190)는 복수의 스테레오 카메라 장치를 이용하여 가상 스튜디오 내 배치된 원점을 중심으로 가상 스튜디오가 촬영되는 경우, 복수의 스테레오 카메라 장치로부터 촬영 이미지를 수신할 수 있다(S310).
여기서, 원점에는 마커(가령, 태그)가 배치되어 복수의 카메라 장치의 촬영 및 원점 인식에 도움이 될 수 있다. 마커는 QR 코드, AprilTag 등의 다양한 마커 표시가 활용될 수 있으나, 실시 예가 이에 한정되는 것은 아니다.
도 4를 참고하면, 가상 스튜디오를 촬영 가능한 복수의 카메라 장치(C1~C3) 각각은 자체적인 촬영 범위(C1C~C3C)를 가질 수 있으며, 가상 스튜디오의 원점에 배치된 마커(MK)를 중심으로 촬영할 수 있다.
복수의 카메라 장치(C1~C3)는 관성 측정 센서를 이용하여, 각 장치의 회전각 정보, 깊이 측정값 등을 통신부를 통해 컴퓨팅 장치(100)에 제공할 수 있다.
상기 S310 단계 이후에, 프로세서(190)는 수신된 촬영 이미지에 기초하여,　상기 원점에 기초한　3D　공간을 생성할 수 있다(S320).
도 5를 참고하면, 프로세서(190)는 원점에 위치한 태그를 인식하고(S321), 인식된 마커에 기반하여 원점 중심의 3D 좌표 공간을 생성할 수 있다(S323).
이때, 프로세서(190)는 복수의 카메라 장치(C1~C3)의 포지셔닝 정보를 이미지 영상과 함께 수신할 수 있다. 포지셔닝 정보는 공간 정보 및 회전각, 깊이 측정값 등을 포함할 수 있으나, 실시 예가 이에 한정되는 것은 아니다.
상기 S320 단게 이후에, 프로세서(190)는 생성된 3D　공간에서 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 추정할 수 있다(S330).
도 6을 참고하면, 프로세서(190)는 복수의 카메라 장치 각각의 3D 좌표 및 회전각을 연산할 수 있다(S331).
그 다음으로, 프로세서(190)는 3각 측량에 기초하여, 복수의 카메라 장치의 3D 좌표 좌표 및 회전각을 교차 검증할 수 있다(S333).
그 후에, 프로세서(190)는 검증을 마친 후 복수의 카메라 장치의 3D 공간 좌표 및 회전각을 반환(결정)할 수 있다(S335).
다만, S330 단계에서, 프로세서(190)는 최초 원점을 기준으로 가상 스튜디오를 3D 공간 상에 표현한 것이며, 최초 시점 이후에는 카메라 장치의 포지셔닝 정보의 차이, 환경의 변화 등에 기초하여, 실시간으로 가상 스튜디오에 대응하는 3D 공간 좌표를 업데이트할 수 있다.
이를 위해, 프로세서(190)는 복수의 스테레오 카메라 장치로부터 정보 수신을 위한 타이밍을 동기화할 수 있다(S340).
프로세서(190)는 OSC(open spherical camera) API 에 기반하여, 복수의 카메라 장치의 정보 획득 시간을 동기화할 수 있으며, 이를 위해, OSC 서버 및 OSC 클라이언트 등을 이용할 수 있다.
이와 같이, 프로세서(190)는 복수의 스테레오 카메라 장치의 신호 발생 타이밍을 서로 동기화하여, 영상 합성 시 데이터의 프레임 싱크 오류를 방지할 수 있다.
S340 단계 이후, 프로세서(190)는 복수의 스테레오 카메라 장치로부터 수신되는 정보에 기초하여,　상기　3D　공간 상의 복수의 카메라 장치에 대한 포지셔닝 정보를 업데이트할 수 있다(S350).
도 7을 참고하면, 프로세서(190)는 관성 측정 센서에 의해 수집된 관성 측정값을 상기 복수의 카메라 장치로부터 수신하고(S351), 6 자유도(6 degrees of freedom, 6DOF)에 기반하여 복수의 카메라 장치의 포지셔닝 정보를 제1 추정할 수 있다(S352). 여기서, 6 DOF는 항공기의 여섯 개의 운동방향을 뜻하며, 세 개의 축(XYZ) 방향 및 각 축에서의 회전 방향(롤, 피치, 요 등)을 모두 반영할 수 있다.
프로세서(190)는 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 산출하고(S353), SLAM 기반으로 상기 복수의 카메라 장치의 포지셔닝 정보를 제2 추정할 수 있다(S354).
그 다음으로, 프로세서(190)는 제1 추정 및 제2 추정된 복수의 카메라 장치의 포지셔닝 정보에 대한 보정을 수행할 수 있다(S355).
프로세서(190)는 Sensor Fusion 알고리즘을 수행하여, 3D 공간 상의 좌표 데이터 및 회전각을 도출할 수 있다. 이때, Visual-inertial odometry 방법을 통해 최적화가 수행될 수 있는데, 센서 중 광이나 자기장 등 외부 환경에 따른 데이터 오류나 특정 센서의 고장 등에 기인한 기계적 오류가 보완될 수 있다.
선택적 실시 예로, 프로세서(190)는 제1 추정 및 제2 추정된 복수의 카메라 장치의 포지셔닝 정보 간의 차이가 소정 범위를 초과하여 발생된 경우, 추정된 포지셔닝 정보를 신뢰하지 않고, 6 DOF 및 SLAM 기반한 포지셔닝 정보를 다시 추정할 수 있다.
선택적 실시 예로, 프로세서(190)는 제1 추정 및 제2 추정된 복수의 카메라 장치의 포지셔닝 정보 중에서 특정 카메라 장치의 포지셔닝 정보에 있어서만 추정값이 다를 경우, 특정 카메라 장치에 대해서만 포지셔닝 정보를 재추정할 수 있다. 만약, 재추정한 값에 있어서도 소정 범위를 초과하는 차이가 있는 경우, 관리자의 단말로 해당 정보를 메시지로 제공할 수 있다.
프로세서(190)는 보정된 복수의 카메라 장치의 포지셔닝 정보에 대한 Raw 데이터를 생성하고(S356), 생성된 Raw 데이터에 필터 캘리브레이션을 수행하며(S357), 필터 캘리브레이션이 적용된 포지셔닝 정보를 산출할 수 있다(S358).
프로세서(190)는 Linear Kalman Filter Calibration 알고리즘을 실행하여 Jitter 현상이 방지될 수 있다. 이때, 외부 환경에 따라 사전 측정된 특정한 보정 계수가 적용될 수 있어서, 다양한 스튜디오 환경에 적합한 필터링과 보정값이 알고리즘에 적용될 수 있다.
프로세서(190)는 자체적으로 산출된 포지셔닝 정보에 기반하여 영상 합성을 수행할 수 있다. 다만, 실시 예에 따라서는 프로세서(190)가 통신부(110)를 통해 산출된 포지셔닝 정보, 촬영 이미지를 영상 합성 장치로 전송하고, 해당 영상 합성 장치에 의해 영상 합성이 수행될 수도 있다(S410).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100 : 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법을 제공하기 위한 컴퓨팅 장치

Claims (10)

  1. 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법으로서,
    복수의 스테레오 카메라 장치를 이용하여 상기 가상 스튜디오 내 배치된 원점을 중심으로 상기 가상 스튜디오가 촬영되는 경우, 상기 복수의 스테레오 카메라 장치로부터 촬영 이미지를 수신하는 단계;
    상기 수신된 촬영 이미지에 기초하여,　상기 원점에 기초한　3D　공간을 생성하는 단계;
    상기　생성된 3D　공간에서 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 추정하는 단계;
    복수의 스테레오 카메라 장치로부터 정보 수신을 위한 타이밍을 동기화하는 단계; 및
    상기 복수의 스테레오 카메라 장치로부터 수신되는 정보에 기초하여,　상기　3D　공간 상의 복수의 카메라 장치에 대한 포지셔닝 정보를 업데이트하는 단계를 포함하고,
    상기 3D 공간을 생성하는 단계는,
    상기 원점에 위치한 마커를 인식하는 단계; 및
    상기 인식된 마커에 기반하여 상기 원점 중심의 3D 좌표 공간을 생성하는 단계를 포함하며,
    상기 포지셔닝 정보를 추정하는 단계는,
    상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 연산하는 단계;
    상기 연산된 공간 정보 및 회전각을 3각 측량에 기초하여 교차 검증하는 단계; 및
    상기 교차 검증된 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 출력하는 단계를 포함하고,
    상기 타이밍을 동기화하는 단계는,
    상기 복수의 스테레오 카메라 장치의 신호 발생 타이밍을 서로 동기화하여, 영상 합성 시 데이터의 프레임 싱크 오류를 방지하는 단계를 포함하며,
    상기 포지셔닝 정보를 업데이트하는 단계는,
    관성 측정 센서에 의해 수집된 관성 측정값을 상기 복수의 카메라 장치로부터 수신하는 단계; 및
    6 자유도(6 degrees of freedom, 6 DOF)에 기반하여 상기 복수의 카메라 장치의 포지셔닝 정보를 제1 추정하는 단계를 포함하고,
    상기 포지셔닝 정보를 업데이트하는 단계는,
    상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 산출하는 단계; 및
    SLAM(simultaneous localization and mapping) 기반으로 상기 복수의 카메라 장치의 포지셔닝 정보를 제2 추정하는 단계를 포함하며,
    상기 제1 추정 및 제2 추정된 복수의 카메라 장치의 포지셔닝 정보에 대한 보정을 수행하는 단계를 포함하는, 동작 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 보정을 수행하는 단계 이후에,
    보정된 복수의 카메라 장치의 포지셔닝 정보에 대한 Raw 데이터를 생성하는 단계;
    상기 생성된 Raw 데이터에 필터 캘리브레이션을 수행하는 단계;
    상기 필터 캘리브레이션이 적용된 포지셔닝 정보를 산출하는 단계; 및
    상기 산출된 포지셔닝 정보에 기반하여 영상 합성을 수행하는 단계를 더 포함하는, 동작 방법.
  9. 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법을 수행하기 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은:
    복수의 스테레오 카메라 장치를 이용하여 상기 가상 스튜디오 내 배치된 원점을 중심으로 상기 가상 스튜디오가 촬영되는 경우, 상기 복수의 스테레오 카메라 장치로부터 촬영 이미지를 수신하는 동작;
    상기 수신된 촬영 이미지에 기초하여,　상기 원점에 기초한　3D　공간을 생성하는 동작;
    상기　생성된 3D　공간에서 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 추정하는 동작;
    복수의 스테레오 카메라 장치로부터 정보 수신을 위한 타이밍을 동기화하는 동작; 및
    상기 복수의 스테레오 카메라 장치로부터 수신되는 정보에 기초하여,　상기　3D　공간 상의 복수의 카메라 장치에 대한 포지셔닝 정보를 업데이트하는 동작을 포함하고,
    상기 3D 공간을 생성하는 동작은,
    상기 원점에 위치한 마커를 인식하는 동작; 및
    상기 인식된 마커에 기반하여 상기 원점 중심의 3D 좌표 공간을 생성하는 동작을 포함하며,
    상기 포지셔닝 정보를 추정하는 동작은,
    상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 연산하는 동작;
    상기 연산된 공간 정보 및 회전각을 3각 측량에 기초하여 교차 검증하는 동작; 및
    상기 교차 검증된 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 출력하는 동작을 포함하고,
    상기 타이밍을 동기화하는 동작은,
    상기 복수의 스테레오 카메라 장치의 신호 발생 타이밍을 서로 동기화하여, 영상 합성 시 데이터의 프레임 싱크 오류를 방지하는 동작을 포함하며,
    상기 포지셔닝 정보를 업데이트하는 동작은,
    관성 측정 센서에 의해 수집된 관성 측정값을 상기 복수의 카메라 장치로부터 수신하는 동작; 및
    6 자유도(6 degrees of freedom, 6 DOF)에 기반하여 상기 복수의 카메라 장치의 포지셔닝 정보를 제1 추정하는 동작를 포함하고,
    상기 포지셔닝 정보를 업데이트하는 동작은,
    상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 산출하는 동작; 및
    SLAM(simultaneous localization and mapping) 기반으로 상기 복수의 카메라 장치의 포지셔닝 정보를 제2 추정하는 동작을 포함하며,
    상기 제1 추정 및 제2 추정된 복수의 카메라 장치의 포지셔닝 정보에 대한 보정을 수행하는 동작을 포함하는, 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  10. 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법을 제공하기 위한 컴퓨팅 장치로서,
    하나 이상의 코어를 포함하는 프로세서; 및 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하는 메모리를 포함하며,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는, 복수의 스테레오 카메라 장치를 이용하여 상기 가상 스튜디오 내 배치된 원점을 중심으로 상기 가상 스튜디오가 촬영되는 경우, 상기 복수의 스테레오 카메라 장치로부터 촬영 이미지를 수신하고, 상기 수신된 촬영 이미지에 기초하여,　상기 원점에 기초한　3D　공간을 생성하며, 상기　생성된 3D　공간에서 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 추정하며, 복수의 스테레오 카메라 장치로부터 정보 수신을 위한 타이밍을 동기화하고, 상기 복수의 스테레오 카메라 장치로부터 수신되는 정보에 기초하여,　상기　3D　공간 상의 복수의 카메라 장치에 대한 포지셔닝 정보를 업데이트하도록 구성되며,
    상기 프로세서는,
    상기 원점에 위치한 마커를 인식하고, 상기 인식된 마커에 기반하여 상기 원점 중심의 3D 좌표 공간을 생성하도록 구성되며,
    상기 프로세서는,
    상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 연산하고, 상기 연산된 공간 정보 및 회전각을 3각 측량에 기초하여 교차 검증하며, 상기 교차 검증된 상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 출력하도록 구성되고,
    상기 프로세서는,
    상기 복수의 스테레오 카메라 장치의 신호 발생 타이밍을 서로 동기화하여, 영상 합성 시 데이터의 프레임 싱크 오류를 방지하며, 관성 측정 센서에 의해 수집된 관성 측정값을 상기 복수의 카메라 장치로부터 수신하고, 6 자유도(6 degrees of freedom, 6 DOF)에 기반하여 상기 복수의 카메라 장치의 포지셔닝 정보를 제1 추정하도록 구성되며,
    상기 프로세서는,
    상기 복수의 스테레오 카메라 장치의 공간 정보 및 회전각을 포함하는 포지셔닝 정보를 산출하고, SLAM(simultaneous localization and mapping) 기반으로 상기 복수의 카메라 장치의 포지셔닝 정보를 제2 추정하도록 구성되며,
    상기 프로세서는,
    상기 제1 추정 및 제2 추정된 복수의 카메라 장치의 포지셔닝 정보에 대한 보정을 수행하도록 구성되는, 컴퓨팅 장치.
KR1020220084205A 2022-07-08 2022-07-08 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법 Active KR102453561B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220084205A KR102453561B1 (ko) 2022-07-08 2022-07-08 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법
KR1020220127534A KR102549811B1 (ko) 2022-07-08 2022-10-06 복수의 스테레오 카메라 장치를 활용한 포지셔닝 정보에 대한 보정 방법, 컴퓨터 프로그램
KR1020230077824A KR102666600B1 (ko) 2022-07-08 2023-06-19 6 dof와 slam 기반의 복수의 스테레오 카메라 장치의 포지셔닝 정보 추정 방법, 장치 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220084205A KR102453561B1 (ko) 2022-07-08 2022-07-08 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220127534A Division KR102549811B1 (ko) 2022-07-08 2022-10-06 복수의 스테레오 카메라 장치를 활용한 포지셔닝 정보에 대한 보정 방법, 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR102453561B1 true KR102453561B1 (ko) 2022-10-14

Family

ID=83600100

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220084205A Active KR102453561B1 (ko) 2022-07-08 2022-07-08 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법
KR1020220127534A Active KR102549811B1 (ko) 2022-07-08 2022-10-06 복수의 스테레오 카메라 장치를 활용한 포지셔닝 정보에 대한 보정 방법, 컴퓨터 프로그램
KR1020230077824A Active KR102666600B1 (ko) 2022-07-08 2023-06-19 6 dof와 slam 기반의 복수의 스테레오 카메라 장치의 포지셔닝 정보 추정 방법, 장치 및 프로그램

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220127534A Active KR102549811B1 (ko) 2022-07-08 2022-10-06 복수의 스테레오 카메라 장치를 활용한 포지셔닝 정보에 대한 보정 방법, 컴퓨터 프로그램
KR1020230077824A Active KR102666600B1 (ko) 2022-07-08 2023-06-19 6 dof와 slam 기반의 복수의 스테레오 카메라 장치의 포지셔닝 정보 추정 방법, 장치 및 프로그램

Country Status (1)

Country Link
KR (3) KR102453561B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025089461A1 (ko) * 2023-10-27 2025-05-01 한국전자기술연구원 볼류메트릭 기반의 버츄얼 프로덕션 시스템 및 이를 이용한 가상의 영상 제공을 위한 방법
KR102879967B1 (ko) * 2023-11-10 2025-10-31 국방과학연구소 다중 대역 영상 생성 시스템 및 방법
US12470687B2 (en) 2023-12-28 2025-11-11 Samsung Electronics Co., Ltd. System and method for correcting a mapping drift in an electronic device
WO2025143718A1 (en) * 2023-12-28 2025-07-03 Samsung Electronics Co., Ltd. System and method for correcting a mapping drift in an electronic device
KR102733935B1 (ko) * 2024-04-11 2024-11-25 한화시스템 주식회사 회전기구 결합형 카메라의 외부 파라미터 캘리브레이션 기반 가상 이미지 생성 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014011529A (ja) * 2012-06-28 2014-01-20 Casio Comput Co Ltd 撮像装置、撮像システム、撮像方法及びプログラム
KR20150013709A (ko) * 2012-05-09 2015-02-05 엔씨에이엠 테크놀로지스 리미티드 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
KR102121287B1 (ko) 2013-07-17 2020-06-10 엘지이노텍 주식회사 카메라 시스템 및 카메라 시스템의 제어 방법
KR20220010304A (ko) * 2020-07-17 2022-01-25 (주)코어센스 교차 공분산을 이용한 3차원 좌표 추정 방법
KR20220092053A (ko) * 2020-12-24 2022-07-01 (주)코어센스 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150013709A (ko) * 2012-05-09 2015-02-05 엔씨에이엠 테크놀로지스 리미티드 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
JP2014011529A (ja) * 2012-06-28 2014-01-20 Casio Comput Co Ltd 撮像装置、撮像システム、撮像方法及びプログラム
KR102121287B1 (ko) 2013-07-17 2020-06-10 엘지이노텍 주식회사 카메라 시스템 및 카메라 시스템의 제어 방법
KR20220010304A (ko) * 2020-07-17 2022-01-25 (주)코어센스 교차 공분산을 이용한 3차원 좌표 추정 방법
KR20220092053A (ko) * 2020-12-24 2022-07-01 (주)코어센스 교차 공분산 3d 좌표 추정을 통한 가상공간 이동플랫폼 구축 방법

Also Published As

Publication number Publication date
KR102549811B1 (ko) 2023-06-30
KR20240007591A (ko) 2024-01-16
KR102666600B1 (ko) 2024-05-16

Similar Documents

Publication Publication Date Title
KR102453561B1 (ko) 가상 스튜디오의 복합 센서 기반 다중 추적 카메라 시스템의 동작 방법
EP3752983B1 (en) Methods and apparatus for venue based augmented reality
TWI782332B (zh) 一種擴增實境資料呈現方法、設備及儲存媒體
US9030408B2 (en) Multiple sensor gesture recognition
CN110140099B (zh) 用于跟踪控制器的系统和方法
US11585917B1 (en) Systems and methods for generating three-dimensional maps of an indoor space
CN112785715B (zh) 虚拟物体显示方法以及电子设备
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
WO2019223468A1 (zh) 相机姿态追踪方法、装置、设备及系统
US20180088675A1 (en) Coordinate system for gesture control
KR20210121182A (ko) 증강 현실 시스템
KR102779568B1 (ko) 증강 현실 디바이스의 추적
CN110047104A (zh) 对象检测和跟踪方法、头戴式显示装置和存储介质
CN112530024A (zh) 用于虚拟场景的数据处理方法以及设备
CN108876854A (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
KR20230079152A (ko) 롤링-셔터 카메라를 위한 포즈 추적
KR20250129049A (ko) 머신 판독가능 광학 라벨을 사용한 디바이스 페어링
WO2020024909A1 (zh) 定位跟踪方法、终端设备及计算机可读取存储介质
KR20250160502A (ko) 동적 굽힘 추정을 위한 타이트한 imu-카메라 결합
CN119487554A (zh) 针对增强现实设备的平滑对象校正
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
CN112907652B (zh) 相机姿态获取方法、视频处理方法、显示设备和存储介质
Afif et al. Orientation control for indoor virtual landmarks based on hybrid-based markerless augmented reality
KR102736100B1 (ko) 움직이는 객체들의 레이턴시를 최소화하기 위한 늦은 워핑
KR102218843B1 (ko) 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4