KR20170134513A

KR20170134513A - 오브젝트를 표시하는 방법

Info

Publication number: KR20170134513A
Application number: KR1020177030400A
Authority: KR
Inventors: 비탈리 비탈리예비치 에이버리야노브; 안드레이 발레리예비치 코미사로브
Original assignee: 리미티드 라이어빌러티 컴퍼니 “라보라토리 24”
Priority date: 2015-03-25
Filing date: 2016-02-25
Publication date: 2017-12-06
Anticipated expiration: 2036-02-25
Also published as: CN107484428A; KR102120046B1; RU2586566C1; US20180012394A1; EP3276578A1; WO2016153388A1; EP3276578A4; CN107484428B

Abstract

본 발명은 이미지 데이터를 처리 및 생성하고 3차원(three-dimensional(3D)) 이미지를 시각화하기 위한 기술들에 관한 것이다. 기술적 결과는 오브젝트의 사진 이미지 또는 비디오 이미지의 실제 텍스처를 시각적 이미지상에 도시하는 것을 가능하게 한다. 청구된 방법에 따르면, 3D 모델이 생성되고, 오브젝트의 사진 이미지들 또는 비디오 이미지들이 생산되고, 3D 모델이 시각화되고, 참조 패턴과 함께 3D 모델 및 또한 3D 모델의 다각형들에 대응하는 텍스처링 부분들의 좌표들이 묘화 장치(depiction device)의 메모리에 저장되고, 오브젝트의 사진 이미지 또는 비디오 이미지의 적어도 하나의 프레임이 생산되고, 프레임 내의 오브젝트가 참조 패턴에 기초하여 식별되고, 하나보다 많은 프레임이 존재하면, 선택은 이미지 품질의 관점으로부터 프레임들로부터 이루어지고, 사진 이미지 좌표들을 전용 좌표들로 변환시키는 매트릭스가 생성되고, 3D 모델의 요소들이 좌표 변환 매트릭스 및 데이터 보간을 사용하여 이미지 감지 영역의 텍스처를 생성함으로써 사진 이미지의 대응하는 요소들의 컬러들로 컬러화되고, 3D 모델의 텍스처들을 그 이후에 지정한다.

Description

오브젝트를 표시하는 방법

본 발명은 이미지 데이터의 처리 및 생성, 이미지 및 그것의 텍스처의 분석, 그것의 텍스처 표시를 포함하는 3D(three-dimensional) 이미지의 렌더링에 관한 것이다.

기술적 본질에 관해 가장 근접한 것은 실시간 스케일로 텍스처를 생성하는 방법이며, 다음 단계들을 포함한다: 관찰자의 위치를 획득하는 단계; 시야를 계산하는 단계; 시각화를 위해 필요한 해상도를 결정하는 단계; 주제 오브젝트들의 위치의 맵을 획득하는 단계; 주제와 관련된 오브젝트의 파라미터들을 획득하는 단계; 주제와 관련된 오브젝트 마스크를 형성하는 단계; 주제와 관련된 오브젝트로부터 사진 데이터를 수신하는 단계; 주제와 관련된 오브젝트의 주제와 관련된 텍스처를 준비하는 단계; 마스크에 의해 주제와 관련된 오브젝트를 텍스처링하는 단계; 텍스처화된 주제와 관련된 오브젝트를 텍스처 맵 상에 배치하는 단계; 3D 오브젝트들의 이미지들의 위치의 맵을 획득하는 단계; 3D 오브젝트 파라미터들을 획득하는 단계; 오브젝트들의 유형을 결정하는 단계; 3D 오브젝트 모델을 형성하는 단계; 3D 오브젝트의 텍스처를 획득하는 단계; 3D 오브젝트를 텍스처링하는 단계; 3D 오브젝트를 렌더링하는 단계; 3D 오브젝트의 이미지들의 마스크를 형성하는 단계; 3D 오브젝트의 도트-요소 이미지 또는 니모닉 이미지를 형성하는 단계; 3D 오브젝트의 도트-요소 이미지 또는 니모닉 이미지 마스크를 형성하는 단계; 3D 오브젝트 이미지를 텍스처 맵 상에 배치하는 단계, 및 시각화하는 단계(RU 2295772 C1, cl. G06T 11/60 참조).

공지된 방법은 지형의 지형 이미지들의 시각화를 위해 구현될 수 있고 그들의 이미지들의 텍스처를 구성하기 위해 주제와 관련된 오브젝트들의 파라미터들의 데이터를 사용한다.

공지된 방법의 단점은 각각의 특정 오브젝트에 대해 미리 정의된 조건부 텍스처들의 제한된 설정이다. 공지된 방법은 출력 이미지의 오브젝트의 표면의 실제 픽처에 대한 전송을 제공하지 못한다.

본원에서 획득되는 기술적인 결과는 사진 또는 비디오 이미지의 실제 텍스처를 갖는 출력 이미지를 표시하는 능력을 제공하여, 오브젝트들의 참조 텍스처들의 데이터베이스를 저장할 필요를 제거함으로써 구현을 단순화하고, 2D 오브젝트 상에서 보이지 않는 3D 모델 영역들의 텍스처링을 가능하게 한다.

지시된 결과는 옵션 1에 따라 오브젝트를 표시하는 방법에 의해 달성되며, 다음 단계들을 포함한다: 3D 모델을 형성하는 단계, 오브젝트의 사진 또는 비디오 이미지를 획득하는 단계, 3D 모델을 시각화하는 단계, 3D 모델의 다각형들에 대응하는 텍스처화된 섹션들의 좌표들 및 참조 이미지와 함께 3D 모델을 디스플레이 장치의 메모리에 저장하는 단계; 참조 이미지에 기초하여 오브젝트의 적어도 하나의 이미지 또는 이미지 비디오 프레임을 수신하는 단계, 참조 이미지에 기초하여 프레임 상의 오브젝트를 인식하는 단계로서, 하나보다 많은 프레임이 있으며, 선택은 이미지 품질에 기초하여 이루어지는 단계, 사진 이미지의 좌표들을 그 자신의 좌표들로 변환하도록 적응되는 변환 매트릭스를 형성하는 단계, 스캔중인 이미지의 영역의 텍스처를 형성하고, 좌표 변환 매트릭스를 추가로 사용하고 데이터를 보간한 다음에 이어지는 대응하는 다각형들이 텍스처링 단계에서 결정되는 좌표들에 따라 대응하는 텍스처 영역들에 의해 커버되며, 오브젝트의 사진 이미지상에 존재하지 않는 3D 모델의 적어도 일부 부분들이 미리 결정된 순서에 따라 텍스처화되도록 3D 모델의 텍스처를 설정함으로써 대응하는 사진 요소들의 컬러들로 3D 모델의 요소들을 페인팅하는 단계를 포함하며, 오브젝트는 2차원이거나 2차원 이미지로서 인식되고, 3D 모델은 이러한 2차원 이미지의 적어도 일부에 대해 형성되며, 3D 모델은 증강 현실 도구들 및/또는 컴퓨터 비전 알고리즘들을 사용하여 비디오 스트림에 걸쳐 시각화된다.

또한 : - 다각형들에 의해 표현되는 3D 모델을 형성하는 단계;

- 사진 이미지 좌표들을 그 자신, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들(Decart coordinates)로 변환하는 좌표 변환 매트릭스를 형성하는 단계;

- 여기서, 오브젝트의 이미지상에 존재하지 않는 3D 모델의 섹션들은 이미지 상세들의 후면의 부분들이며;

- 여기서, 미리 결정된 순서에 따라 3D 모델을 텍스처링하는 단계는 모델의 후면의 영역들이 전면의 대응하는 섹션들과 동일한 텍스처 상의 좌표들을 갖도록 텍스처 좌표들을 생성하는 단계를 포함하며;

- 여기서, 오브젝트의 이미지상에 존재하지 않는 3차원 모델의 섹션들은 이미지의 가시적인 부분들의 데이터의 외삽에 기초하여 텍스처화되며;

- 여기서, 3D 모델은 애니메이션되며;

- 여기서, 2차원 이미지로서 인식되는 오브젝트는 굴곡된 평면상에서 실행되는 그래픽 이미지이다.

기술적인 결과는 출력 이미지상에 오브젝트의 사진 또는 비디오 이미지의 실제 텍스처를 표시하는 능력을 제공하고, 어린이들을 위한 드로잉(drawing) 프로그램들에서 훈련 능력을 제공하고, 오브젝트들의 참조 텍스처 데이터베이스를 저장할 필요를 제거함으로써 구현을 단순화하고, 2D 오브젝트 상에서 보이지 않는 3D 모델들의 텍스처링을 가능하게 하고, 또한 미숙련 사용자가 3D 모델들을 페인팅하기 위한 일반적인 기술들을 적용하는 가능성을 제공함으로써 텍스처링 프로세스의 사용을 단순화하는 것이다.

상기 결과는 옵션 2에 따라 오브젝트를 표시함으로써 달성되며, 다음 단계들을 포함한다: 3D 모델을 형성하는 단계, 오브젝트의 사진 또는 비디오 이미지를 획득하는 단계, 3D 모델의 범위들에 대응하는 텍스처링의 섹션들의 좌표들 및 참조 이미지와과 함께 3D 모델을 표시 장치의 메모리에 저장하는 단계, 오브젝트의 적어도 하나의 이미지 또는 비디오 이미지 프레임을 획득하는 단계로서, 오브젝트는 참조 이미지에 기초하여 프레임 상에서 인식되며, 하나보다 많은 프레임이 있는 경우, 선택은 이미지 품질에 기초하여 이루어지는 단계, 사진 이미지 좌표들을 자신의 이미지의 좌표들의 변한을 위해 사용되도록 적응되는 좌표 변환 매트릭스를 형성하는 단계, 좌표 변환 매트릭스를 사용하여 미리 결정된 사진 이미지 포인트들에서의 컬러 스캐닝에 기초하여 3D 모델 재료들의 컬러들을 결정함으로써 대응하는 사진 요소들의 컬러들로 3D 모델의 요소들을 페인팅하는 단계, 및 그 다음에, 컬러들을 대응하는 3D 모델 재료들에 할당하는 단계로서, 오브젝트의 사진 이미지로부터 누락된 3D 모델 부분들 중 적어도 일부가 미리 결정된 순서에 따라 텍스처화되는 단계. 오브젝트는 2차원이거나 2차원 이미지로서 인식되고, 3D 모델은 이러한 2차원 이미지의 적어도 일부에 대해 형성되며, 3D 모델은 증강 현실 도구들 및/또는 컴퓨터 비전 알고리즘들을 사용하여 비디오 프레임들의 시퀀스에 걸쳐 렌더링된다.

또한: - 다각형들에 의해 표현되는 3D 모델을 형성하는 단계;

- 사진-이미지의 좌표들을 그 자신, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환하기 위한 변환 매트릭스를 형성하는 단계;

- 여기서, 오브젝트의 이미지상에 존재하지 않는 3D 모델의 섹션들은 이미지 상세들의 후면의 일부들이며;

- 여기서, 미리 결정된 순서에 따라 3D 모델을 텍스처링하는 단계는 모델의 후면의 영역들이 전면의 대응하는 섹션들과 동일한 텍스처 상의 좌표들을 갖는 방식으로 텍스처 좌표를 생성하는 단계를 의미하며;

- 여기서, 3D 모델은 애니메이션되며;

- 여기서, 2차원 이미지로 인식되는 오브젝트는 굴곡된 평면상에서 실행되는 그래픽 이미지이다.

도 1은 실시예 2에서 설명되는 PC 기반 표시 장치 및 참조 이미지 및 3D 모델을 저장하기 위한 원격 서버의 블록도를 도시한다.
도 2는 원본 오브젝트의 이미지로, 오브젝트의 참조 이미지에 대응하는 그것의 컬러링 전의 2차원 그래픽 이미지를 도시한다.
도 3은 페인트된 원본 그래픽 이미지 및 픽처의 스크린상에 시각화되는 표시 장치의 스크린상에 렌더링되는 3D 모델을 도시한다.
도 4는 표시 장치의 컴퓨팅 보조장치들의 블록도이다.

다음의 참조번호들이 도면들에 사용된다: 1 - 비디오 카메라 또는 카메라, 2 - 컴퓨터 보조장치들, 3 - 서버, 4 - 모니터, 5 - 인터넷, 6 - 초기 데이터의 입력: 3D 모델, 텍스처 좌표들, 참조 이미지, 비디오 스트림, 7 - 비디오 스트림 분석, 8 - 비디오 스트림이 참조 이미지를 포함하는 상태의 확인, 9 - 프레임 분석, 10 - 프레이밍 상태의 확인, 11 - 좌표 변환 매트릭스를 고려한 사진 이미지의 생성, 12 - 할당된 섹션들에서 텍스처 스캐닝 - 텍스처링 섹션들, 13 - 비디오 이미지 상의 오브젝트의 인식의 상태를 체크하는, 비디오 카메라에 대한 액세스 14 - 모니터에 출력, 비디오에 걸친 3D 모델의 시각화, 15 - 프로그램의 종료, 16 - 프린터, 17 - 원본 오브젝트 - 2차원 그래픽 이미지, 18 - 사용자 드로잉된 2차원 그래픽 이미지, 19 - 표시 장치(스마트폰), 20 - 모니터 표시 장치상에 시각화된 3D 모델, 21 - 시각화된 3D 모델 배경 구성요소들.

옵션 1에 따른 2차원 이미지를 포함하는 오브젝트를 표시하는 방법은 다음 동작들을 순차적으로 수행하는 단계들을 포함한다: 텍스처화된 영역들을 갖고 3D 모델 다각형들에 의해 표현되는 오브젝트의 참조 이미지를 형성하고 이를 표시 장치의 메모리에 저장하는 단계로서, 상기 다각형의 좌표들은 텍스처화된 영역들의 좌표에 대응하는 단계, 오브젝트의 적어도 하나의 이미지 프레임 또는 비디오 이미지를 수신하는 단계, 참조 이미지에 기초하여 사진 이미지상의 오브젝트를 인식하는 단계, 선명도, 상세, 신호 대 잡음비 등과 같은 이미지 품질 요구사항들을 만족시키는 프레임을 선택하는 단계, 사진 이미지의 좌표들을 시스템들이 축들에 직교하도록 배향되는 그 자신의 좌표들로 변환하는 좌표 변환 매트릭스를 생성하는 단계, 좌표 변환 매트릭스 및 데이터 보간을 사용하여 이미지 스캐닝 영역의 이미지 텍스처를 형성하고, 대응하는 다각형들이 텍스처링 단계에서 미리 형성된 좌표들에 따라 각각의 텍스처 영역들에 의해 커버되도록, 그 다음에 이어지는 3D 모델 구조를 스캐닝 영역의 획득된 이미지로 대체함으로써 대응하는 사진 요소들의 컬러들로 3D 모델 요소를 페인팅하는 단계. 그 다음, 3D 모델 시각화를 렌더링한다. 동시에, 3D 모델의 적어도 일부 부분들, 예를 들어 패턴의 후면(back side)의 부분들은 미리 결정된 순서에 따라 페인트되고, 이러한 2차원 이미지의 적어도 일부에 대해, 예를 들어 집계된 복수의 이미지들 중에서 가장 중요한 이미지에 대해 3D 모델을 형성한다.

인식 후에, 캡처된 프레임들 중에서 데이터를 스캐닝하는 관점으로부터 가장 유익한 것의 선택이 수행된다. 이와 같은 프레임들은 가장 선명한 이미지를 갖는, 가장 큰 상세를 갖는 등의 프레임일 수 있다.

3D 모델의 시각화는 증강 현실 및/또는 컴퓨터 비전 알고리즘들을 사용하여 비디오 (비디오 스트림)에 걸쳐 수행된다.

미리 결정된 순서에 따라 3D 모델을 페인팅하는 단계는 모델의 후면의 영역들이 전면의 대응하는 섹션들과 동일한 텍스처 상의 좌표들을 갖거나, 모델의 후면의 섹션들의 컬러링이 이미지의 가시적인 부분들의 데이터의 외삽에 기초하여 수행되는 방식으로 텍스처 좌표들을 생성하는 단계를 포함한다.

3D 모델은 애니메이션화 된다.

옵션 1에 따라 오브젝트를 표시하는 방법은 다음과 같다. 표시를 위한 오브젝트들은 그래픽 2차원 오브젝트들 - 드로잉들(drawings), 그래프들, 도식들(schemes), 맵 등이다. 방법은 비디오 또는 카메라 또는 다른 스캐닝 장치 및 모니터를 장착하는 표시 장치의 컴퓨팅 수단에 의해 그래픽 오브젝트의 사진 이미지를 인식하는 프로세스를 가정한다. 이와 같은 장치들은 이동 전화, 스마트폰, 태블릿, 퍼스널 컴퓨터 등일 수 있다.

2차원 오브젝트들의 원, 즉 마커들은 미리 생성되고 참조 이미지들뿐만 아니라, 다각형들에 의해 표현되는 플롯 관련 3D 모델들(3D models)과 병치한다. 모든 2차원 이미지는 표시 장치의 메모리에 저장되는, 하나의 참조 이미지 및 하나의 3D 모델과 연관된다. 참조 이미지들은 오브젝트의 인식 및 좌표 변환 매트릭스의 형성을 위해 사용된다. 페인트된 후에, 3D 모델들은 특정 배경에 걸쳐 시각화되며, 이는 오브젝트를 촬영한 후에 수신되는 비디오 카메라 또는 사진 이미지의 출력에서 형성되는 비디오 스트림, 또는 다른 배경일 수 있다.

3D 모델의 형성은 텍스처 좌표들을 생성하는 프로세스를 수반한다.

인식은 또한 표시 장치의 메모리에 저장되는, 오브젝트의 사진 이미지를 그것의 참조 이미지와 비교하고, 사진-이미지 및 참조 이미지들 중 하나의 상관 계수의 임계 값이 초과될 때 인식되는 이미지를 고려하거나 공지된 인식 알고리즘들을 사용함으로써 수행된다.

오브젝트 촬영(shooting)은 특정 범위의 각도들 및 거리들에서 수행될 수 있으므로, 사진 이미지상의 오브젝트를 인식한 후에, 축들의 직교성을 특징으로 하는 사진 이미지의 좌표들 및 자체-좌표들의 상관 매트릭스, 즉 좌표 변환의 매트릭스가 형성된다.

텍스처링되며, 대응하는 3D 모델 다각형들에 병치되는 섹션들의 좌표들은 오브젝트를 표시하는 장치의 메모리에 저장된다.

오브젝트를 인식한 후에, 이미지 스캐닝 영역의 텍스처들은 좌표 변환 매트릭스 및 데이터 보간의 값들에 기초하여 형성된다. 그 다음, 3D 텍스처 패턴은 스캔된 영역의 획득된 이미지에 할당되므로, 대응하는 범위들은 텍스처링 단계에서 이전에 형성된 좌표들에 따라 대응하는 텍스처 영역들에 의해 커버된다.

3D 모델의 텍스처링은 텍스처를 하나 이상의 3D 모델 재료들에 할당하는 것을 가정한다. 3D 모델의 재료는 그것이 할당되는 모델의 단편들(fragments)을 표시하는 방식과 관련되는 정보의 일반적으로 수용되는 규칙 집계(conventions aggregation)에 따라 인식되는 것을 포함하고, 텍스처, 컬러 등을 포함할 수 있다.

3D 모델을 텍스처링하는 프로세스는 또한 컬러를 2D 그래픽 이미지상에서 보이지 않을 수 있는 3D 모델의 부분에 전송하는 것을 수반하며, 예를 들어, 이와 같은 "보이지 않는" 부분들은 이미지 요소의 후면, 그것의 측면 뷰(view), 상단 또는 하단일 수 있다. 이와 같은 "보이지 않는" 부분들의 컬러들을 3D 모델의 다각형들에 전송하는 것은 예를 들어 양 측면 상에 3D 모델을 대칭적으로 구조화하거나, "보이지 않는" 영역들을 더 어두운 톤으로 페인팅하는 것에 기초하거나, 외삽 방법들을 사용하는 것을 포함하는 다른 알고리즘들에 기초하여 수행된다.

3D 모델 텍스처링 후에, 즉 그것의 텍스처의 좌표들을 생성한 후에, 3D 모델은 즉시 또는 사용자의 명령으로 표시 장치의 모니터 스크린에 표시된다.

출력 이미지는 애니메이션된 것을 포함하는 모델이 예를 들어 비디오 카메라로부터 수신된 비디오(비디오 스트림)인 배경에 걸쳐 드로잉되는 비디오 이미지를 포함하므로, 그것의 실제 존재의 착시(illusion)가 생성된다.

따라서, 오브젝트를 표시하는 방법은 사용자가 사진 또는 비디오 카메라에 의해 실제 공간으로부터 스캔되는 텍스처를 가상 오브젝트에 적용하는 것을 허용한다.

시각화의 프로세스에서, 사용자에게는 표시 장치의 입력 장치들을 이동하거나 비디오 카메라의 초점에서 제스처들을 이용하는 것을 포함하는, 공간에서 모델을 제어하는, 즉 회전, 이동, 확대하는 등의 기회가 주어진다.

표시 장치의 연산 수단(computational means)은 프로세서에 기초하여 이루어지고 프로세서의 운영 프로그램 및 참조 이미지들 및 3D 모델들을 포함하는 필요한 데이터를 저장하기 위한 메모리를 포함한다.

옵션 2에 따른 2차원 이미지인 오브젝트를 표시하는 방법은 다음 동작들을 순차적으로 수행하는 단계들을 포함한다: 텍스처링되는 영역들을 갖는 오브젝트의 참조 이미지 및 다각형들에 의해 표현되는 3D 모델을 형성하고 이를 장치의 메모리에 저장하는 단계로서, 상기 다각형들의 좌표들은 텍스처화되는 영역들의 좌표들에 대응하는 단계, 오브젝트의 적어도 하나의 이미지 프레임 또는 비디오 이미지를 수신하는 단계, 참조 이미지에 기초하여 상기 사진 이미지상의 오브젝트를 인식하는 단계, 선명도, 상세, 신호 대 잡음비 등과 같은 이미지 품질 요구사항들을 만족시키는 프레임을 선택하는 단계, 사진 이미지의 좌표들을 그 자체의 좌표들로 변환하기 위한 매트릭스를 형성하는 단계로서, 축들이 직교인 단계, 좌표 변환 매트릭스를 사용하여 미리 결정된 사진 이미지 포인트들에서, 컬러 스캐닝에 기초하여 3D 모델의 컬러 재료들의 컬러들을 결정함으로써 대응하는 사진 요소들의 컬러들로 3D 모델 요소들을 페인팅하는 단계, 및 그 다음, 컬러들을 대응하는 3D 모델 재료들에 할당하는 단계. 그 다음, 3D 모델 시각화를 구현하는 단계.

동시에, 3D 모델의 적어도 일부들, 예를 들어 패턴의 후면의 부분들은 미리 결정된 순서에 따라 페인트되고, 3D 모델은 이러한 2차원 이미지의 일부에 대해, 예를 들어 집계된 복수의 이미지들 중에서 가장 중요한 이미지에 대해 형성된다.

인식 후에, 캡처된 프레임들 중에서 스캐닝의 관점으로부터 가장 유익한 프레임이 선택된다. 이와 같은 프레임들은 가장 선명한 이미지, 가장 큰 상세를 갖는 등의 프레임들일 수 있다.

3D 모델들의 시각화는 증강 현실 및/또는 컴퓨터 비전 알고리즘들을 사용하여 비디오(비디오 스트림)에 걸쳐 수행된다.

미리 결정된 방식에 따른 3D 모델의 페인팅은 모델의 후면의 영역들이 전면의 대응하는 섹션들과 동일한 텍스처 상의 좌표들을 갖거나 모델의 후면의 섹션들의 컬러링이 가시적인 이미지 부분들의 데이터의 외삽에 기초하여 수행되는 방식으로 텍스처 좌표들의 생성으로서 구현된다.

애니메이션으로 구현되는 3D 모델.

옵션 2에 따라 오브젝트를 표시하는 방법은 다음과 같다.

표시하기 위한 오브젝트들은 그래픽 2차원 오브젝트들 - 드로잉들(drawings), 그래프들, 도식들(schemes), 맵 등이다. 방법은 비디오 또는 카메라 또는 다른 스캐닝 장치 및 모니터를 장착하는 디스플레이 장치의 컴퓨팅 수단에 의해 사진 이미지상의 그래픽 오브젝트를 인식하는 프로세스를 가정한다. 이와 같은 장치들은 이동 전화, 스마트폰, 태블릿, 퍼스널 컴퓨터 등일 수 있다.

2차원 이미지들의 형태인 오브젝트들의 원, 즉 마커들은 미리 생성되고 다각형들 및 참조 이미지들에 의해 표현되는 대응하는 3차원 모델들(3D models)에 병치된다. 각각의 2차원 이미지는 표시 장치의 메모리에 저장되는, 하나의 참조 이미지 및 하나의 3D 모델과 연관된다. 참조 이미지들은 오브젝트를 인식하고 좌표 변환 매트릭스를 형성하기 위해 사용된다. 페인팅 후의 3D 모델들은 특정 배경에 걸쳐 시각화되며, 이는 카메라의 출력에서 형성되는 비디오 스트림, 또는 오브젝트를 촬영한 후에 획득되는 사진 이미지, 또는 상이한 배경일 수 있다.

인식은 또한 표시 장치의 메모리에 저장되는, 오브젝트의 사진 이미지를 그것의 참조 이미지와 비교함으로써 수행되며, 여기서 사진 이미지는 사진 및 참조 이미지들 중 하나의 이미지의 사진 이미지 상관 계수의 임계 값이 초과되거나, 다른 공지된 인식 알고리즘들이 사용되는 경우 인식되도록 고려될 것이다.

오브젝트 촬영(shooting)은 특정 범위의 각도들 및 거리들에서 수행될 수 있으므로, 사진 이미지상의 오브젝트를 인식한 후에, 축들의 직교성을 특징으로 하는, 사진 이미지의 좌표들 및 자체-좌표들의 비율의 매트릭스, 즉 좌표 변환의 매트릭스가 형성된다.

이러한 오브젝트를 위한 표시 장치의 메모리에서, 텍스처링 섹션들의 좌표들은 저장되며, 이에 대응하는 3D 모델 범위들이 매핑된다.

오브젝트를 인식한 후에, 이미지 스캐닝 영역의 텍스처들은 좌표 변환 매트릭스 및 데이터 보간의 값들에 기초하여 형성된다. 그 이후, 특정 영역들의 컬러들은 사진 이미지상에서 인식되고 이들 섹션들과 3D 모델 범위들 사이의 강한 연결로 인하여, 3D 모델의 표면 컬러의 구조는 감지된 오브젝트의 컬러에 적절하게 되므로, 텍스처들의 사용 없이 모델의 섹션들에 직접 할당되는 재료들은 직접 페인트된다.

3D 모델의 텍스처링은 텍스처를 하나 이상의 3D 모델 재료들에 할당하는 것을 수반한다. 3D 모델의 재료는 그것이 할당되는 모델의 단편들(fragments)을 표시하는 방식과 관련되는 정보의 일반적으로 수용된 규칙 집계에 따라 인식되는 것을 포함하고, 텍스처, 컬러 등을 포함할 수 있다.

3D 모델을 텍스처링하는 프로세스는 컬러를 2D 그래픽 이미지상에서 보이지 않을 수 있는 3D 모델들의 부분으로 또한 전송하는 것을 수반하며, 예를 들어, 이와 같은 "보이지 않는" 부분들은 이미지 요소의 후면, 그것의 측면 뷰(view), 상단 또는 하단일 수 있다. 이와 같은 "보이지 않는" 부분들의 컬러들을 3D 모델의 범위들에 전송하는 것은 예를 들어, 양 측면 상에 3D 모델을 대칭적으로 구조화하거나, "보이지 않는" 영역들을 더 어두운 톤으로 페인팅하는 것에 기초하거나, 외삽 방법들을 사용하는 것을 포함하는 다른 알고리즘들에 기초하여 수행된다.

3D 모델 텍스처링 후에, 즉 그것의 텍스처의 좌표들을 생성한 후에, 3D 모델은 즉시 또는 사용자의 명령으로 표시 장치의 모니터 스크린상에 표시된다.

출력 이미지는 애니메이션된 것을 포함하는 모델이 배경, 예를 들어 비디오 카메라로부터 수신된 비디오(비디오 스트림)에 걸쳐 드로잉되는 비디오 이미지이므로, 그것의 실제 존재의 착시(illusion)가 생성된다.

옵션들 1 또는 2 중 어느 하나에 따른 방법을 구현하기 위한 표시 장치의 연산 수단은 프로세서 기반이고 프로세서 운영 프로그램 및 참조 이미지들 및 3D 모델들을 포함하는 필요한 데이터를 저장하기 위한 메모리를 포함한다.

프로세서 운영 프로그램의 블록도가 도 4에 도시되고 다음의 주요 요소들을 포함한다. 메모리에 저장되는 프로그램을 위한 초기 데이터는 이전에 형성된 3D 모델, 텍스처 좌표들, 오브젝트의 참조 이미지, 및 비디오 카메라의 출력에서 형성되는 비디오 스트림을 포함한다(6). 용어 "비디오 스트림"은 여기서 용어 "비디오 시리즈"와 동일한 것으로 사용된다. 프로그램은 요구되는 이미지 선명도, 프레이밍, 노출, 포커스 등의 요구사항들을 충족시키는 프레임 또는 프레임들을 선택하기 위해 비디오 스트림을 분석한다. 프레임들은 지정된 요구사항들을 충족시키는 프레임이 발견될 때까지 소팅 및 분석되고, 분석은 2개의 단계들로 순차적으로 행하여진다. 먼저, 비디오 시퀀스로부터, 표시될 오브젝트를 포함하는 프레임들을 선택하며, 그 상에서 이러한 오브젝트는 분석되고(7,8), 그 다음, 선택된 프레임 그룹으로부터 정확도 및 프레이밍에 대한 요구사항들을 충족시키는 프레임들을 선택한다(9,10).

다음으로, 좌표 변환 매트릭스가 형성되고 사진 이미지 프레임의 좌표들이 오브젝트의 정확히 전면 뷰의 데카르트 좌표들에 적용된다(11). 지정된 텍스처링 영역들의 텍스처 좌표들이 스캔된다. 재료들은 3D 모델 텍스처 좌표들에 할당된다(12). 카메라의 출력으로부터의 비디오 스트림은 프레임 내의 오브젝트의 존재를 위해 분석되고 만약 그렇다면, 모델은 카메라 출력으로부터 획득된 비디오 스트림(비디오 시퀀스)에 걸쳐 시각화된다.

오브젝트가 비디오 프레임들 상에서 인식되는 것이 중단되자마자, 프로그램은 종료된다.

대안적으로, 프로그램을 종료하는 대신에, 다음의 동작들이 수행될 수 있다: 프로그램의 시작으로 복귀하거나, 인식의 사실을 기다리기 위해 장치를 짧은 대기 모드로 전송하거나, 또는 사용자에게 오브젝트 이미지의 갭처의 손실을 통지하거나, 또는 다른 동작.

실시예 1.

오브젝트들은 개발중인 어린이들의 윤곽 컬러링 픽처들의 세트로부터의 드로잉들(drawings)을 포함하며, 이는 컬러링을 위한 드로잉 요소들을 갖는, 직사각형 형상의 표준 시트 상에 드로잉된 윤곽선들을 포함하는 단순한 그림들이다(도 2). 각각의 드로잉들은 일반적으로 시트의 중심부에 위치되는 하나 이상의 메인(main) 요소들 및 주변 상에 위치되는 마이너(minor) 배경 요소들을 포함한다.

드로잉들 각각은 미리 생성된 참조 이미지, 오브젝트의 컬러 검출 영역들의 좌표들 및 다각형들에 의해 이들 영역들에 대응하는 선택된 범위들을 갖는 애니메이션된 3D 모델과 연관된다. 3D 모델은 이미지에서 이들 요소들의 좌표들과 관련 있는, 드로잉의 메인 요소들의 체적 비전(volumetric vision)을 반영한다.

표시 장치는 비디오 카메라, 대응하는 소프트웨어를 갖는 연산 수단, 모니터 등을 장착한 스마트폰이다.

윤곽 드로잉이 사용자에 의해 컬러화된 후에, 스마트폰은 전체 픽처가 프레임에 맞도록 배치되고, 그것의 사진을 찍거나, 픽처를 비디오테이프에 녹화한다.

스마트폰은 연산 수단을 사용하여 선택된 프레임 상에서 직접 이미지를 인식하며, 즉 그것은 이미지에 대응하는 미리 생성된 3D 모델을 발견하고 수개의 프레임이 이루어저 있으면 가장 유익한 프레임을 선택하고, 또한 사진 이미지상의 이미지 요소들의 좌표들의 매트릭스를 데카르트 시스템의 그것의 자체 좌표들에 형성한다. 그 결과, 페인트된 드로잉의 컬러 인식 영역들의 좌표들은 사진 이미지상의 대응하는 섹션들의 좌표들과 일치하게 된다.

페인트된 영역들의 컬러는 사진 이미지상에서 스캔되고 필요한 분석 후에, 매칭 및 컬러 정정은 섹션들의 컬러링을 대응하는 3D 모델 다각형들에 전송하며, 즉, 획득된 컬러들은 모델 재료들에 직접 할당된다.

다음 단계는 스마트폰의 캡처링 수단에 의해 획득되는 사진 이미지 또는 비디오 시퀀스 상의 픽처의 2차 요소들에 의해 형성되는, 배경에 걸처 표시되는, 3D 모델의 시각화이다(도 3). 3D 모델은 이동 가능하게 이루어지고 도면에 도시되지 않은 추가적인 요소들을 가질 수 있다.

렌더링된 3D 모델은 사용자 액션들에 응답할 수 있는 대화식(interactive)이다.

실시예 2.

디스플레이 장치는 연결된 웹캠 및 모니터를 갖는 퍼스널 컴퓨터, 및 원격 서버를 포함한다(도 1). 모니터 또는 디스플레이는 프로젝터 또는 홀로그램 형성 장치를 포함하는, 임의의 시각화 장치일 수 있다. 오브젝트들 및 3D 모델들의 참조 이미지들은 원격 서비스상에 저장되며, 이는 그래픽 2차원 오브젝트들의 표시 동안에 액세스된다.

인식 프로세스에서의 계산들은 퍼스널 컴퓨터에 의해 수행되며, 그것의 도움으로 3D 모델의 재료들은 또한 컬러화되고 렌더링된다.

컴퓨터는 인터넷 또는 로컬 네트워크를 포함하는 다른 네트워크를 통해 서버에 연결된다.

매핑 프로세스는 다음과 같이 수행된다. 사용자는 인터넷을 통해 대응하는 웹 사이트에 액세스하며, 이는 프린팅 및 후속 컬러링을 위한 드로잉들의 주제와 관련된 세트들을 포함한다. 웹사이트는 참조 이미지들을 액세스하고 세트들로부터의 패턴들에 대응하는 이들 이미지들 및 3D 모델들을 저장하기 위한 적절한 인터페이스와 함께 제공된다.

사용자는 프린터의 도움으로 그의 측 상에 드로잉들의 선택된 세트를 프린트하고 그가 좋아하는 그림들을 컬러화한다. 사용자는 또한 상이한 방식으로, 예를 들어 뉴스레터를 통해 이미 프린트된 드로잉들을 획득할 수 있다. 또한, 웹사이트의 인터페이스에 있어서, 사용자는 프린트된 픽처의 메인 부분이 프레임에 포함되는 이와 같은 방식으로 웹캠을 지향시킨다. 프로그램의 적절한 명령들을 실행시키는 사용자의 컴퓨터는 원격 서버를 액세스하며, 이로부터 그것은 인식을 위한 드로잉들의 참조 이미지들을 수신한다. 패턴의 인식이 완료된 후에, 좌표 변환 매트릭스는 퍼스널 컴퓨터에 의해 생성되며, 상기 프로그램은 감지될 패턴의 페인트된 영역들의 컬러 및 할당될 대응하는 3D 모델 재료들의 컬러를 제공한다.

텍스처화된 3D 모델의 이미지는 웹 카메라 출력으로부터 획득되는 비디오 시퀀스의 배경에 걸쳐 모니터에 출력된다.

오브젝트를 표시하는 방법은 프로세서에 기초한 컴퓨터 기반 수단, 사진 및/또는 비디오 카메라, 모니터 또는 다른 시각화 장치, 및 또한 그들 사이의 통신 수단을 포함하는, 표준 장치들 및 구성요소들을 사용하여 구현될 수 있다.

따라서, 옵션들 1 또는 2 중 임의의 것에 따른 오브젝트를 표시하는 방법은 출력 이미지상에 오브젝트의 사진 또는 비디오 이미지의 실제 텍스처를 표시하는 능력을 제공하며, 그것은 어린이를 위한 드로잉 프로그램들에서 훈련 능력을 제공하고, 임의의 참조 오브젝트 텍스처들의 베이스를 저장할 필요를 제거함으로써 구현을 단순화하고, 2D 오브젝트 상에서 보이지 않는 3D 모델의 영역들을 텍스처링하는 능력들을 제공한다. 그것은 또한 미숙련 사용자가 3D 모델을 프린팅하기 위한 일반적인 기술들을 적용하는 능력을 제공함으로써 텍스처링 프로세스의 사용을 단순화한다.

Claims

오브젝트를 표시하는 방법으로,
3D 모델을 형성하는 단계, 오브젝트의 사진 또는 비디오 이미지를 획득하는 단계, 3D 모델을 시각화하는 단계로서, 상기 3D 모델은 참조 이미지 및 상기 3D 모델 범위들에 대응하는 텍스처링 섹션들의 좌표들와 함께 표시 장치의 메모리에 저장되고, 상기 오브젝트의 적어도 하나의 이미지 또는 비디오 이미지 프레임은 상기 참조 이미지에 기초하여 획득되고, 상기 오브젝트는 상기 프레임 상에서 인식되고, 하나보다 많은 프레임이 있는 경우, 그들은 이미지 품질의 관점에서 선택되는 것을 특징으로 하는 상기 단계, 상기 사진 이미지의 상기 좌표들을 그들 자체의 좌표들로, 즉 좌표 변환 매트릭스를 사용하여 상기 이미지 감지 영역의 상기 텍스처를 형성하고 상기 데이터를 보간함으로써, 그들 자체의 좌표들로, 즉 대응하는 픽처 요소들의 컬러들로 변환하기 위한 매트릭스를 형성하는 단계, 및 그 다음, 상기 대응하는 범위들이 상기 텍스처링 단계에서 미리 형성된 좌표들을 따라 상기 대응하는 텍스처에 의해 커버되며, 상기 오브젝트의 상기 사진상에 존재하지 않는 3D 모델의 적어도 일부 부분들이 미리 결정된 순서에 따라 텍스처화되도록, 상기 3D 모델 텍스처를 할당하는 단계를 포함하며, 오브젝트는 2차원이거나 2차원 이미지로 인식되고, 상기 3D 모델은 이러한 2차원 이미지의 적어도 일부에 대해 형성되며, 상기 3D 모델의 시각화는 증강 현실 및/또는 컴퓨터 비전 알고리즘들을 사용하여 상기 비디오에 걸쳐 수행되는 방법.
제1항에 있어서,
상기 범위들로 표현되는 3D 모델이 형성되는 것을 특징으로 하는 방법.
제1항에 있어서
상기 사진 이미지의 좌표들을 그것의 자체, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표들로 변환시키는 매트릭스가 형성되는 것을 특징으로 하는 방법.
제1항에 있어서
상기 이미지 상세들의 후면의 부분들은 상기 오브젝트의 상기 사진 이미지상에 존재하지 않는 3D 모델의 부분들인 것을 특징으로 하는 방법.
제1항에 있어서,
미리 결정된 순서에 따른 상기 3D 모델을 텍스처링 단계는 상기 모델의 후면의 영역들이 대응하는 전면 부분들과 동일한 텍스처 상의 좌표들을 갖도록 텍스처 좌표들을 생성하는 단계인 방법.
제1항에 있어서,
상기 오브젝트의 이미지에 존재하지 않는 상기 3차원 모델의 상기 부분들은 상기 이미지의 가시적인 부분들의 상기 데이터를 외삽하는 것에 기초하여 텍스처화되는 방법.
제1항에 있어서,
상기 3D 모델은 애니메이션되는 방법.
제1항에 있어서,
2차원 이미지로 인식되는 상기 오브젝트는 굴곡된 평면상에 이루어진 그래픽 이미지인 방법.
오브젝트를 표시하는 방법으로,
3D 모델을 형성하는 단계, 오브젝트의 사진 또는 비디오 이미지를 획득하는 단계, 3D 모델을 시각화하는 단계로서, 참조 이미지와 함께 3D 모델 및 상기 3D 모델의 범위에 대응하는 텍스처링 섹션들의 좌표들을 디스플레이 장치의 메모리에 저장하고, 상기 오브젝트의 적어도 하나의 이미지 또는 비디오 이미지 프레임이 획득되고, 상기 참조 이미지에 기초하여, 상기 오브젝트가 상기 프레임 상에서 인식되고, 하나보다 많은 프레임이 있으면, 그들이 이미지 품질의 관점에서 선택되는 것을 특징으로 하는 상기 단계, 상기 사진 이미지의 좌표들을 그것의 자체 좌표들로 변환시키기 위한 매트릭스를 형성하는 단계, 좌표 변환 매트릭스를 사용하여, 미리 결정된 사진 이미지 포인트들에서 감지되는 컬러에 기초하여 상기 3D 모델 재료들의 상기 컬러들을 결정함으로써 상기 대응하는 사진 요소들의 컬러들로 상기 3D 모델의 요소들을 컬러화하고, 그 다음, 컬러들을 상기 대응하는 3D 모델 재료들에 할당하는 단계를 포함하며, 상기 3D 모델의 적어도 일부 부분들, 즉 상기 오브젝트의 상기 이미지상에 존재하지 않는 상기 오브젝트들은 미리 결정된 순서에 따라 텍스처화되며, 상기 오브젝트는 2차원이거나 2차원 이미지로 인식되고, 3D 모델은 이러한 2차원 이미지의 적어도 일부에 대해 형성되며, 3D 모델은 증강 현실 수단 및/또는 컴퓨터 비전 알고리즘들을 사용하여 상기 비디오에 걸쳐 시각화되는 방법.
제9항에 있어서,
상기 범위들로 표현되는 3D 모델이 형성되는 방법.
제9항에 있어서,
상기 사진 이미지의 좌표들을 그것의 자체, 즉 축들의 직교성을 특징으로 하는 데카르트 좌표로 변환시키기 위한 매트릭스가 형성되는 것을 특징으로 하는 방법.
제9항에 있어서,
상기 이미지 상세들의 상기 후면의 부분들은 상기 오브젝트의 사진 이미지상에 존재하지 않는 상기 3D 모델의 부분들인 것을 특징으로 하는 방법.
제9항에 있어서,
미리 결정된 순서에 따른 상기 3D 모델의 텍스처링 단계는 상기 모델의 상기 후면의 영역들이 상기 대응하는 전면 부분들과 동일한 상기 텍스처 상의 좌표들을 갖도록 텍스처 좌표들을 생성하는 단계인 방법.
제9항에 있어서,
상기 오브젝트의 사진 이미지상에 존재하지 않는 상기 3차원 모델의 부분들은 상기 이미지의 가시적인 부분들의 데이터 외삽에 기초하여 텍스처화되는 방법.
제9항에 있어서,
상기 3D 모델은 애니메이션되는 방법.
제9항에 있어서,
2차원 이미지로 인식되는 상기 오브젝트는 굴곡된 평면상에서 이루어지는 그래픽 이미지인 방법.