KR102633100B1

KR102633100B1 - 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법 및 장치

Info

Publication number: KR102633100B1
Application number: KR1020210161457A
Authority: KR
Inventors: 이범렬; 박정철; 손욱호; 이용호
Original assignee: 한국전자통신연구원
Priority date: 2021-11-22
Filing date: 2021-11-22
Publication date: 2024-02-05
Anticipated expiration: 2041-11-22
Also published as: KR20230075147A; US11876865B2; US20230164223A1

Abstract

본 발명은 다자 참여 증강현실 콘텐츠의 공유 공간 생성 기술을 활용하여 증강현실 콘텐츠에서도 실제 공간 상에 제시되는 가상 공간 구성용 객체에 대하여 사용자 별로 공통 공유 공간 내에 공간 정합 형태로 제시할 수 있는 방법과 장치를 제공하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법 및 장치에 관한 것이다.

Description

다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법 및 장치{METHOD AND APPARATUS FOR MUTUAL SPACE GENERATION ON THE AUGMENTED REALITY CONTENT WITH MULTIPLE USERS' PARTICIPATION}

몇 년 전부터 가상 현실(virtual reality)과 증강 현실(augmented reality)이라는 주제가 다시 주목받았고, 지금은 구체적인 구현도 이뤄지고 있는 상황이다. 가상 현실은 완벽한 가상 세계를 구현하여 몰입감이 높고 컨트롤러로 조작하기에도 편리하지만, 현실을 전혀 반영하지 않는다.

또한, 가상현실 콘텐츠에서는 사용자들이 체험하는 가상 공유 공간은 전적으로 콘텐츠 설계자의 기획 의도에 따라 생성하여 사용자들에게 동일한 구성으로 제시된다. 사용자들의 입장에서는 이미 주어진 동일한 가상 공간에 입장하여 콘텐츠를 체험하게 된다. 가상현실 콘텐츠에서는 이미 준비된 단일 가상 공간 내에서 이루어지는 체험이므로 가상현실 콘텐츠 구동 환경에서 공유 공간 생성 시 사용자 별로 구분된 공간 구성을 고려하지 않아도 되고, 또한 사용자의 콘텐츠 구동 환경 자체가 가상 공유 공간 생성에 제약을 주지 않는다.

그러나, 증강 현실은 실제 현실에 홀로그램을 띄우는 방식으로, 가상의 물체와 현실을 함께 볼 수 있다. 현실의 물체를 이용할 수 있다는 장점이 존재하나, 오히려 몰입감이 떨어지거나 조작이 불편하다는 등의 단점이 존재한다.

또한, 증강현실(AR) 콘텐츠에서는 참여하는 사용자의 물리적인 공간 상에 가상의 공유 공간을 구성해야 하므로 사용자 별 공통 공유 공간 구성에 있어서 물리적 실제 공간과 가상 공간의 정합을 위한 별도의 기준이 필요한 제약사항이 발생하게 된다. 사용자 별로 서로 다른 물리적 공간과 가상의 공유 공간 간의 정합 이슈는 증강현실 콘텐츠에서 사용자들에게 제시하는 공유 공간 생성에 있어서 실제 공간과 가상 공간 간 객체 배치 불일치, 공유 공간 내 실제 객체와 가상 객체 간의 중첩 및 충돌 등의 문제점이 발생하게 된다.

한국공개특허 제10-2019-0035944호

본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로서, 다자 참여 증강현실 콘텐츠의 공유 공간 생성 기술을 활용하여 증강현실 콘텐츠에서도 실제 공간 상에 제시되는 가상 공간 구성용 객체에 대하여 사용자 별로 공통 공유 공간 내에 공간 정합 형태로 제시할 수 있는 방법과 장치를 제공하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법 및 장치에 관한 것이다.

본 발명의 일 측면에 따르면, 복수의 AR 글래스와 네트워크로 연결되는 공유 공간 생성 장치에 있어서, 카메라 영상을 획득하고, 제1 AR 글래스의 영상을 제시하는 AR 공간 생성 클라이언트부 및 상기 AR 공간 생성 클라이언트부와 네트워크로 연결되며, 사용자 정보 데이터, 인터랙션 품질 정량화 데이터 및 AR 공간정보 데이터를 관리하는 AR 공간 생성 엣지 컴퓨팅 서버부를 포함하며, 상기 AR 공간 생성 엣지 컴퓨팅 서버부는 상기 제1 AR 글래스가 위치한 실 공간 객체, AR 공간 객체 및 AR 공통 공유 공간 객체를 생성하고 유지하는 AR 공유 공간 처리부, 상기 제1 AR 글래스로부터 인터랙션 정보를 인식하고, AR 콘텐츠 내의 공간 객체에 대한 접근 및 상기 인터랙션 정보의 결과를 처리하는 인터랙션 처리부, 상기 제1 AR 글래스를 착용한 상기 사용자의 만족 수준을 객관적으로 평가할 수 있는 정량화 데이터를 생성하고 저장하는 인터랙션 품질 정량화 관리부 및 상기 AR 공간 생성 엣지 컴퓨팅 서버부에 포함되는 기능 처리부에 대한 계산 알고리즘의 최적화 수행을 처리하는 서버 연산 가속화 처리부를 포함한다.

일 실시예에서, 상기 AR 공간 생성 클라이언트부는 사용자 정보 및 AR 콘텐츠 데이터 정보를 처리하는 사용자 정보 관리부, 상기 AR 공간 생성 엣지 컴퓨팅 서버부에서 처리된 상기 AR 콘텐츠의 구동 결과인 3차원 AR 공간 객체 정보를 상기 AR 글래스 화면상에 제시하는 렌더링 영상 처리부 및 단일 RGB 카메라로부터 입력되는 영상 정보를 수신하여 실 공간 객체 생성 및 사용자의 인터랙션 동작을 인식하는 카메라 입력 영상 처리부를 포함한다.

일 실시예에서, 상기 AR 공유 공간 처리부는 상기 제1 AR 글래스가 위치한 실 공간에 대한 3차원 공간 정보를 실 공간 객체 형태로 생성하는 물리 공간 정보 획득부, 상기 실 공간 객체에 부가될 가상 공간 정보인 AR 공간 객체를 생성하며, 사용자의 접근 및 제어 권한 정보를 지정하는 가상 공간 생성부, 상기 실 공간 객체 및 상기 AR 공간 객체 중 어느 하나의 공간 객체를 선택하여 공간 객체의 특성 변수 값을 상기 공통 AR 공유 공간 객체로 지정하고 생성하는 공유 공간 구성부 및 상기 공통 AR 공간 객체가 상기 인터랙션 의도에 따라 상기 AR 콘텐츠 서비스에 반영되기 위한 공간 객체 처리를 하는 AR 공간 구성부를 포함한다.

일 실시예에서, 상기 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치는 상기 AR 공간 생성 엣지 컴퓨팅 서버부와 네트워크로 연결되며, 기본 서비스 데이터가 저장된 클라우드 서버를 더 포함한다.

일 실시예에서, 상기 렌더링 영상 처리부는 상기 AR 공간 객체 정보를 패스쓰루(Pass Through) 형태로 상기 AR 글래스 화면상에 제시한다.

일 실시예에서, 상기 공유 공간 생성부는 상기 공통 AR 공유 공간 객체를 복수의 AR 글래스와 공유한다.

본 발명의 다른 일 측면에 따르면, 복수의 AR 글래스와 네트워크로 연결되는 공유 공간 생성 방법에 있어서, AR 공간 생성 클라이언트부에서 수행되며, 카메라 영상을 획득하고, 제1 AR 글래스의 영상을 제시하는 AR 공간 생성 클라이언트 단계 및 AR 공간 생성 엣지 컴퓨팅 서버부에서 수행되며, 상기 AR 공간 생성 클라이언트부와 네트워크로 연결되며, 사용자 정보 데이터, 인터랙션 품질 정량화 데이터 및 AR 공간정보 데이터를 관리하는 단계를 포함하며, 상기 사용자 정보 데이터, 인터랙션 품질 정량화 데이터 및 AR 공간정보 데이터를 관리하는 단계는 AR 공유 공간 처리부에서 수행되며, 상기 제1 AR 글래스가 위치한 실 공간 객체, AR 공간 객체 및 AR 공통 공유 공간 객체를 생성하고 유지하는 AR 공유 공간 처리 단계, 인터랙션 처리부에서 수행되며, 상기 제1 AR 글래스로부터 인터랙션 정보를 인식하고, AR 콘텐츠 내의 공간 객체에 대한 접근 및 상기 인터랙션 정보의 결과를 처리하는 인터랙션 처리 단계, 인터랙션 품질 정량화 관리부에서 수행되며, 상기 제1 AR 글래스를 착용한 상기 사용자의 만족 수준을 객관적으로 평가할 수 있는 정량화 데이터를 생성하고 저장하는 인터랙션 품질 정량화 관리 단계 및 서버 연산 가속화 처리부에서 수행되며, 상기 AR 공간 생성 엣지 컴퓨팅 서버부에 포함되는 기능 처리부에 대한 계산 알고리즘의 최적화 수행을 처리하는 서버 연산 가속화 처리 단계를 포함한다.

일 실시예에서, 상기 AR 공간 생성 클라이언트 단계는 사용자 정보 관리부에서 수행되며, 사용자 정보 및 AR 콘텐츠 데이터 정보를 처리하는 사용자 정보 관리 단계, 렌더링 영상 처리부에서 수행되며, 상기 AR 공간 생성 엣지 컴퓨팅 서버부에서 처리된 상기 AR 콘텐츠의 구동 결과인 3차원 AR 공간 객체 정보를 상기 AR 글래스 화면상에 제시하는 렌더링 영상 처리 단계 및 카메라 입력 영상 처리부에서 수행되며, 단일 RGB 카메라로부터 입력되는 영상 정보를 수신하여 실 공간 객체 생성 및 사용자의 인터랙션 동작을 인식하는 카메라 입력 영상 처리 단계를 포함한다.

일 실시예에서, 상기 AR 공유 공간 처리 단계는 물리 공간 정보 획득부에서 수행되며, 상기 제1 AR 글래스가 위치한 실 공간에 대한 3차원 공간 정보를 실 공간 객체 형태로 생성하는 물리 공간 획득 단계, 가상 공간 생성부에서 수행되며, 상기 실 공간 객체에 부가될 가상 공간 정보인 AR 공간 객체를 생성하며, 사용자의 접근 및 제어 권한 정보를 지정하는 가상 공간 생성 단계, 공유 공간 구성부에서 수행되며, 상기 실 공간 객체 및 상기 AR 공간 객체 중 어느 하나의 공간 객체를 선택하여 공간 객체의 특성 변수 값을 상기 공통 AR 공유 공간 객체로 지정하고 생성하는 공유 공간 구성 단계 및 AR 공간 구성부에서 수행되며, 상기 공통 AR 공간 객체가 상기 인터랙션 의도에 따라 상기 AR 콘텐츠 서비스에 반영되기 위한 공간 객체 처리를 하는 AR 공간 구성 단계를 포함한다.

일 실시예에서, 상기 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법은 클라우드 서버에서 수행되며, 상기 AR 공간 생성 엣지 컴퓨팅 서버부와 네트워크로 연결되며, 기본 서비스 데이터가 저장되는 단계를 더 포함한다.

일 실시예에서, 상기 렌더링 영상 처리 단계는 상기 AR 공간 객체 정보를 패스쓰루(Pass Through) 형태로 상기 AR 글래스 화면상에 제시하는 단계를 포함한다.

일 실시예에서, 상기 공유 공간 생성 단계는 상기 공통 AR 공유 공간 객체를 복수의 AR 글래스와 공유하는 단계를 포함한다.

본 발명의 또 다른 일측면에 따르면, 다자 참여 증강현실 콘텐츠의 AR 공유 공간 처리 장치에 있어서, AR 글래스가 위치한 공간의 3차원 공간 정보를 실 공간 객체 형태로 생성하는 물리 공간 획득부, 가상 공간 정보인 AR 공간 객체를 생성하여 사용자 접근 및 제어 권한 정보를 지정하는 가상 공간 생성부, 상기 실 공간 객체 및 상기 AR 공간 객체 중 어느 하나를 선택하여 공통 AR 공유 공간 객체로 지정하는 공유 공간 구성부 및 사용자 인터랙션 의도에 따라 AR 콘텐츠 서비스에 반영되도록 공간 객체를 처리하는 AR 공간 구성부를 포함한다.

일 실시예에서, 상기 공유 공간 구성부는 상기 선택된 공통 AR 공유 공간 객체를 복수의 AR 글래스 화면에 공유한다.

일 실시예에서, 상기 AR 공간 구성부는 처리된 상기 공간 객체 정보는 상기 복수의 AR 글래스 각각 화면 시야에 맞게 AR 공간 변환에 반영되어 상기 복수의 AR 글래스에 제시된다.

본 발명에 따르면 경량형 AR글래스를 착용한 다수의 5G 이동 단말 사용자가 5G 모바일 엣지 컴퓨팅 환경에서 AR 공간 공유 처리부, 인터랙션 처리부, 인터랙션 품질 정량화 관리부와 서버 연산 가속화 처리부로 구성되는 사용자 AR 공유 공간 생성 장치를 제시하는 이점을 가진다.

또한, AR 글래스를 착용한 다수 사용자가 AR 콘텐츠 서비스를 체험하는 과정에서 다수 사용자가 구동하는 공통 AR 공유 공간을 생성하는 방법으로 실 공간 객체 및 AR 공간 객체의 사용자 접근 및 제어 권한을 지정하는 방식을 이용하는 이점을 가진다.

또한, AR 공유 공간 생성을 통하여 개별 사용자의 실 공간 객체와 AR 공간 객체 간 공간 배치 불일치 문제를 개선하기 위한 공간 객체의 정합 방법을 제시하는 이점을 가진다.

또한, AR 공유 공간 생성을 통하여 다수 사용자 간 공통 AR 공유 공간의 공간 객체 정합 문제를 개선할 수 있다.

또한, 사용자의 공유 공간 구성에 실 공간 객체와 AR 공유 객체를 활용하여 구성하도록 함으로써 타 사용자 간 공통 AR 공유 공간 객체의 공유 방법 및 공간 정합 방법을 단순화시키는 이점을 가진다.

도 1은 본 발명의 일 실시예에 따른 일반적인 모바일 엣지 컴퓨팅 운영 환경을 설명하기위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치(100)를 설명하기위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법을 설명하기위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 AR 공유 공간 처리부(131)를 설명하기위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 AR 공유 공간 처리부(131)의 처리 절차에 대한 구성도를 예시로 설명하기위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 AR 공유 공간 처리부(131)의 처리 방법을 설명하기위한 도면이다.

이하, 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시한다. 그러나 하기의 실시예는 본 발명을 보다 쉽게 이해하기 위하여 제공되는 것일 뿐, 실시예에 의해 본 발명의 내용이 한정되는 것은 아니다.

이하에서는, 도 1 내지 도 6을 참조하여, 본 발명 및 본 발명의 다양한 실시예에 따른 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치 및 방법에 대하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 일반적인 모바일 엣지 컴퓨팅 운영 환경을 설명하기위한 도면이다.

도 1을 살펴보면, 도 1은 전형적인 모바일 엣지 컴퓨팅 운영 환경을 나타내고 있으며, AR 공간 생성 장치를 적용한 AR 콘텐츠를 운영하는 외부 환경이다.

여기에서 모바일 엣지 컴퓨팅(Mobile Edge Computing)이란 클라우드 컴퓨팅을 네트워크 엣지로 가져와서 클라우드 컴퓨팅 기능을 확장하는 일종의 엣지 컴퓨팅을 의미한다. 또한, 모바일 엣지 컴퓨팅은 셀룰러 네트워크의 가장자리에서 IT 및 클라우드 컴퓨팅 기능을 지원하는 네트워크 아키텍처이며, 기존 클라우드 컴퓨팅은 사용자 및 장치와 멀리 떨어진 원격 서버에서 발생하지만, 모바일 엣지 컴퓨팅을 사용하면 네트워크의 기지국, 중앙 사무실 및 기타 지점에서 프로세스를 수행할 수 있다.

모바일 엣지 컴퓨팅 운영환경은 AR 글래스 및 5G 단말이 포함된 AR 공간 생성 클라이언트부(110), 5G 기지국 및 5G 전용망(120), AR 공간 생성 엣지 컴퓨팅 서버부(130) 및 클라우드 서버(140)를 포함하여 구성될 수 있다.

사용자는 경량형 AR 글래스를 착용한 상태에서 AR 콘텐츠에 접속한다. 5G 이동망(120) 환경에서 AR 글래스와 접속된 5G 단말을 통하여 엣지 컴퓨팅 서버(130)에 접속하게 된다.

엣지 컴퓨팅 서버(130)에서는 AR 콘텐츠 관리 및 데이터 처리를 담당하게 된다. 이와 같은 환경에서 사용자는 자신과 가장 가까운 5G 기지국(120)을 통하여 5G 전용망(120) 서비스에 접속하게 되고, 모바일 엣지 컴퓨팅 환경을 통하여 사용자는 초저지연 특성이 필수적인 AR 콘텐츠 서비스 기능을 체험하게 된다. 초저지연 실시간 특성이 필요치 않은 AR 콘텐츠 서비스 기능에 대해서도 클라우드 서버(140)에 탑재된 기본 서비스를 병행하여 활용할 수 있다.

여기에서, 본 발명 또한 기본적인 모바일 엣지 컴퓨팅 운영 환경을 따르고 있으며, 따라서 부호도 동일한 부호를 사용하기로 한다.

도 2는 본 발명의 일 실시예에 따른 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치(100)를 설명하기위한 도면이다.

도 2를 살펴보면, 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치(100)는 AR 공간 생성 클라이언트부(110) 및 AR 공간 생성 엣지 컴퓨팅 서버부(130)를 포함하여 구성할 수 있다.

여기에서 AR 공간 생성 클라이언트부(110)는 사용자 정보 관리부(111), 렌더링 영상 처리부(112) 및 카메라 입력 영상 처리부(113)를 포함하여 구성할 수 있다.

사용자 정보 관리부(111)를 통해 사용자 정보와 AR 콘텐츠 데이터 정보를 처리할 수 있다. 렌더링 영상 처리부(112)는 AR 글래스를 착용한 상태에서 AR 공간 생성 엣지 컴퓨팅 서버부(130)에서 처리된 AR 콘텐츠의 구동 결과인 3차원 AR 공간 객체 정보를 패스쓰루(Passthrough) 형태로 AR 글래스 화면 상에 AR 콘텐츠를 제공할 수 있다. 여기에서 패스쓰루는 AR 글래스 또는 VR 헤드셋에 연결된 카메라를 이용하여 주변 환경을 AR 글래스 또는 VR 헤드셋을 쓰고도 볼 수 있게 하는 기능을 의미할 수 있다. 이를 통해 AR 글래스를 착용하여 3차원 AR 공간 객체 정보를 AR 콘텐츠에 적용하여 AR 글래스 화면에 제공할 수 있다.

또한, 카메라 입력 영상 처리부(113)을 통해 AR 글래스에 탑재된 단일 RGB 카메라로부터 입력되는 영상 정보를 받아 AR 글래스를 착용한 사용자가 있는 주변 물리 공간에 대한 실 공간 객체 생성 및 사용자의 인터랙션 동작을 인식할 수 있다.

AR 공간 생성 엣지 컴퓨팅 서버부(130)는 사용자 정보 데이터, 인터랙션 품질 정량화 데이터 및 AR 공간 정보 데이터를 관리할 수 있으며, AR 공유 공간 처리부(131), 인터랙션 처리부(132), 인터랙션 품질 정량화 관리부(133) 및 서버 연산 가속화 처리부(134)를 포함하여 구성할 수 있다.

AR 공유 공간 처리부(131)는 제1 AR 글래스가 위치한 실 공간 객체와 AR 공간 객체 및 AR 공통 공유 공간 객체를 생성하고 유지할 수 있다.

보다 자세하게는, AR 공유 공간 처리부(131)는 물리 공간 정보 획득부(131-1), 가상 공간 생성부(131-2), 공유 공간 구성부(131-3) 및 AR 공간 구성부(131-4)를 포함하여 구성할 수 있다.

물리 공간 정보 획득부(131-1)는 제1 AR 글래스가 위치한 실 공간에 대한 3차원 공간 정보를 실 공간 객체 형태로 생성할 수 있으며, 가상 공간 생성부(131-2)는 실 공간 객체에 부가될 가상 공간 정보인 AR 공간 객체를 생성하며 사용자의 접근 및 제어 권한 정보를 저장할 수 있다.

또한, 공유 공간 구성부(131-3)는 실 공간 객체 및 AR 공간 객체 중 어느 하나의 공간 객체를 선택하여 공간 객체의 특성 변수 값을 공통 AR 공유 공간 객체로 지정하고 생성할 수 있다.

또한, AR 공간 구성부(131-4)는 공통 AR 공간 객체가 인터랙션 의도에 따라 AR 콘텐츠 서비스에 반영되기 위한 공간 객체 처리를 할 수 있다.

인터랙션 처리부(132)는 제1 AR 글래스로부터 인터랙션 정보를 인식하고, AR 콘텐츠 내의 공간 객체에 대한 접근 및 사용자 의도에 따른 인터랙션 결과를 처리할 수 있다.

또한, 인터랙션 품질 정량화 관리부(133)는 제1 AR 글래스를 착용한 사용자의 만족 수준을 객관적으로 평가할 수 있는 정량화 데이터를 생성하고 저장할 수 있다.

AR 공간 생성 엣지 컴퓨팅 서버부(130)는 기능을 처리하기 위한 기능 처리부를 포함하며, 서버 연산 가속화 처리부(134)는 AR 공간 생성 엣지 컴퓨팅 서버부(130)에 포함된 기능 처리부에 대한 계산 알고리즘의 최적화 수행을 처리할 수 있다.

또한, 도 1과 같이 본 발명인 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치는 클라우드 서버(140)와 네트워크로 연결될 수 있으며, 클라우드 서버(140)는 AR 공간 생성 엣지 컴퓨팅 서버부(130)와 네트워크로 연결되며, 기본 서비스 데이터가 저장될 수 있다.

도 3은 본 발명의 일 실시예에 따른 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법을 설명하기위한 도면이다.

도 3에 나타난 순서도는 AR 공간 생성 클라이언트부 및 AR 공간 생성 엣지 컴퓨팅 서버부를 활용한 AR 콘텐츠 서비스 구동에 대한 동작 순서도이다. AR 공간 생성 클라이언트부와 AR 공간 생성 엣지 컴퓨팅 서버부의 구동을 통하여 다수 사용자는 AR 콘텐츠 서비스를 체험할 수 있다. 여기에서 다수 사용자가 체험하는 AR 콘텐츠 서비스 구동을 위한 대표적인 서비스 기능으로는 사용자의 물리 공간에 대한 실 공간 객체 생성 기능, AR 글래스를 착용한 사용자의 모션을 인식하는 양손 제스처 인식 기능 및 인터랙션 품질 정량화 처리 기능을 포함할 수 있다. 특히 서버 연산 가속화 처리부는 사용자의 인터랙션 요구에 대한 결과의 초저지연 서비스 처리를 위한 기본 공통 기능 처리부에 속할 수 있다.

AR 글래스를 착용한 사용자의 AR 콘텐츠 서비스 구동과 함께 사용자 정보 데이터와 사용자 정보 데이터에 연결된 AR 공간 정보 데이터 구조를 초기화 한다(S201). 신규 사용자인 경우 사용자 정보 데이터를 생성한 후(S202), 사용자의 AR 글래스에 탑재된 RGB 카메라의 입력 영상으로부터(S203) 서버 연산 가속 처리기를 통해 서버 연산 가속화 처리를 하며(S204), 사용자의 물리 공간에 대한 실 공간 객체를 생성하여(S205) 해당 사용자의 실 공간 객체로 저장할 수 있다(S206).

사용자의 물리 공간 정보인 실 공간 객체는 추후 사용자의 AR 공간 객체와 함께 AR 콘텐츠 공간을 구성하는데 활용될 수 있다. 사용자의 실 공간 객체와 AR 공간 객체 중 타 사용자와 공유하고자 하는 공간 객체에 대하여 객체 특성 값 지정을 통해 공통 AR 공유 객체로 변경할 수 있다.

신규 사용자가 아닌 경우, 사용자 정보 데이터를 생성할 필요없이 AR 글래스에 탑재된 RGB 카메라를 통해 입력 영상을 처리하고(S208), 서버 연산 가속 처리기를 통해 서버 연산 가속화 처리를 하며(S209) 입력된 영상 데이터에 대한 AR 공유 공간 작업을 위할 수 있다(S210). AR 공간 정보 데이터를 업데이트 한 후(S211), 사용자의 AR 글래스 상의 공간 영상 렌더링 영상 처리를 통하여 AR 공간 영상을 제시할 수 있다(S212). 사용자의 인터랙션 동작에 대한 처리를 위해 사용자 카메라 입력 영상 처리(S214)를 서버 연산 가속화 처리 기능을 적용(S215)하여 수행한 후, 인터랙션(사용자의 양손 제스처 동작) 인식 후 해당 인터랙션 처리를 완료하여 그 처리 결과를 사용자의 AR 글래스에 제시함으로써 AR 공유 공간 정보 처리를 수행할 수 있다(S216). 사용자의 인터랙션 처리 요구에 대한 진행과 동시에 사용자 인터랙션 품질 정량화 처리(S217)를 수행하기 위해 서버 연산 가속기 처리를 구동(S218)하고 그 처리 결과에 대하여 사용자 인터랙션 품질 정량화 데이터에 저장할 수 있다(S219). 다자 참여 사용자 체험용 AR 콘텐츠 서비스에 대한 종료 요청(S220)과 함께 사용자 정보 및 AR 공간 정보의 업데이트 내용을 저장한 후 AR 콘텐츠 서비스를 종료할 수 있다(S221).

도 4는 본 발명의 일 실시예에 따른 AR 공유 공간 처리부(131)를 설명하기위한 도면이다.

도 4를 살펴보면, AR 공유 공간 처리부(131)는 물리 공간 획득부(131-1), 가상 공간 생성부(131-2), 공유 공간 구성부(131-3) 및 AR 공간 구성부(131-4)를 포함하여 구성될 수 있다.

물리 공간 획득부(131-1)는 AR 글래스가 위치한 실제 물리 공간에 대한 3차원 공간 정보를 실 공간 객체 형태로 생성할 수 있으며, 가상 공간 생성부(131-2)는 사용자의 실 공간 객체에 부가될 가상 정보인 AR 공간 객체를 생성하여 사용자의 접근 및 제어 권한 정보를 지정할 수 있다.

공유 공간 구성부(131-3)는 실 공간 객체 및 상기 AR 공간 객체 중 어느 하나의 공간 객체를 선택하여 공간 객체의 특성 변수 값을 상기 공통 AR 공유 공간 객체로 지정하고 생성할 수 있다. 다시 말하면, AR 콘텐츠 서비스를 체험하는 사용자가 실 공간 객체와 AR 공간 객체 중에서 다른 사용자들과 공유할 공통 AR 공유 공간 객체를 선택하여 공간 객체의 특성 변수 값을 공통 AR 공유 공간 객체로 지정함으로써 타 사용자와 공유하는 AR 공간 객체 생성을 처리할 수 있다. 여기에서 타 사용자와 공유하는 것은 제1 AR 글래스를 포함한 제2, 제3, … 제N 글래스인 복수의 AR 글래스와 제1 AR 글래스로부터 선택된 공통 AR 공유 공간 객체를 공유하는 것을 의미할 수 있다.

AR 공간 구성부(131-4)는 공통 AR 공간 객체가 상기 인터랙션 의도에 따라 상기 AR 콘텐츠 서비스에 반영되기 위한 공간 객체 처리를 할 수 있다. 다시 말하면, 타 사용자와 공유 중인 공통 AR 공간 객체들을 사용자의 인터랙션 의도에 따라 AR 콘텐츠 서비스에 적시에 반영될 수 있도록 공간 객체를 처리할 수 있다. 여기에서 처리된 공간 객체 정보는 각 사용자의 시야에 맞는 적절한 AR 공간 변환에 반영되어 사용자의 AR 글래스 상의 AR 공간 객체로 제시될 수 있다.

도 5는 본 발명의 일 실시예에 따른 AR 공유 공간 처리부(131)의 처리 절차에 대한 구성도를 예시로 설명하기위한 도면이다.

사용자가 위치한 장소에 대한 예시는 가장 보편적인 사용자 환경으로써 거실, 회의실 및 침실을 예시로 들었다. 다자 비대면 상황에서 사용자간 공통 AR 공유 객체를 생성한다는 것은 각 사용자별로 유지하고 있는 개별 공간 간의 공통 공간 통합을 위한 문제와 공통 공유 공간을 사용자 공간 내에 위치시키는 공간 정합 이슈를 발생하게 한다. 이러한 제약 사항을 AR 콘텐츠 서비스 체험 시 다수 사용자의 AR 공간 공유 목적에 맞는 적정 수준의 해를 찾기 위해서는 개별 사용자가 위치한(AR 글래스가 위치한) 물리공간에 대한 3차원 공간 정보를 획득하여 실 공간 객체를 생성한다(“a) 물리공간”). 그 후, 타 사용자에게 AR 콘텐츠 제작 의도에 맞는 수준으로 공통 AR 공유 공간 객체로의 변환이 필요할 수 있다. 결국 사용자의 개별 공간은 실 공간 객체와 AR 공간 객체의 공간 정합을 통한 가상 공간 객체로 이루어질 수 있다(“b) 사용자 개별 공간”). 개별 사용자의 실 공간 객체와 AR 공간 객체에 대하여 다수의 타 사용자의 공통 공유 공간으로 만들기 위해서 실 공간 객체와 AR 공간 객체 중 AR 콘텐츠의 공통 공유 공간으로 제시하고자 하는 공간 객체에 대하여 공통 AR 공유 공간 객체임을 나타내는 객체 특성 파라미터를 지정함으로써 AR 콘텐츠 서비스 체험 환경상에서 사용자 간 공통 AR 공유 공간을 생성할 수 있다(“c) 공통 공유 공간”). AR 콘텐츠 서비스를 체험하는 다수 사용자는 개별 사용자의 인터랙션 의도에 따른 양손 제스처 인식을 통하여 공통 AR 공간 객체의 대한 변환처리를 진행할 수 있다(“d) 사용자 AR 공간”). AR 콘텐츠 서비스를 체험하는 다수 사용자에 의해 진행되는 사용자 공통 AR 공유 공간 내 공간 객체의 변환은 개별 사용자의 실 공간 객체의 배치에 따라 공간 내 위치 제약을 받게 되며, 또한 AR 콘텐츠 내에서 개별 사용자의 위치(AR 글래스의 위치)와 시선 방향에 따라 AR 글래스 상에 제시되는 공간 객체 간 위치 정합이 필요하게 된다. 이러한 문제는 AR 공유 공간 처리부(131)에서 사용자의 각 공간 객체에 대한 접근 및 제어 권한의 변경을 통해 수행될 수 있다.

도 6은 본 발명의 일 실시예에 따른 AR 공유 공간 처리부(131)의 처리 방법을 설명하기위한 도면이다.

개별 사용자가 위치한 공간(AR 글래스가 위치한 공간)에 대한 물리적인 3차원 공간 정보를 스캔하여 데이터베이스화 함으로써(S401) 물리 공간에 대하여도 가상 공간 데이터를 다루는 수준으로 실 공간 객체로의 변환을 수행한다(S402). 생성된 실 공간 객체와 함께 사용자의 AR 콘텐츠 공간 체험 의도를 반영한 변환된 AR 공간 객체를 배치하게 되며, 이때 실 공간 객체와 AR 공간 객체를 AR 콘텐츠 서비스 공간 내에 배치하기 위하여 실 공간 객체와 AR 공간 객체 간 공간 정합이 수행된다. 사용자의 AR 공간 객체에서 타 사용자와 공유하고자 하는 객체에 대하여 공통 AR 공유 객체 지정을 수행하며(S403), 이 인식 결과를 반영할 수 있도록 사용자의 AR 공간 객체의 변환을 수행한다(S404). 사용자 인터랙션 입력이 있는지에 대한 판단을 한 후(S405), 인터랙션(사용자의 양손 제스처) 인식이 처리되면 다시 AR 가상 공간을 구성한다(S406). 사용자 인터랙션 입력이 종료되면 사용자 정보 및 사용자의 AR 공간 정보의 업데이트 내용을 저장한다(S407).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치
110: AR 공간 생성 클라이언트부
120: 5G 기지국 및 전용망
130: AR 공간 생성 엣지 컴퓨팅 서버부
140: 클라우드 서버

Claims

다자 비대면 상황에서 복수의 AR 글래스와 네트워크로 연결되는 공유 공간 생성 장치에 있어서,
카메라 영상을 획득하고, AR 글래스의 영상을 제시하는 AR 공간 생성 클라이언트부; 및
상기 AR 공간 생성 클라이언트부와 네트워크로 연결되며, 사용자 정보 데이터, 인터랙션 품질 정량화 데이터 및 AR 공간정보 데이터를 관리하는 AR 공간 생성 엣지 컴퓨팅 서버부;를 포함하며,
상기 AR 공간 생성 엣지 컴퓨팅 서버부는,
상기 복수의 AR 글래스가 각각 위치한 실 공간 객체, AR 공간 객체 및 AR 공통 공유 공간 객체를 생성하고 유지하는 AR 공유 공간 처리부;
상기 AR 글래스로부터 인터랙션 정보를 인식하고, AR 콘텐츠 내의 공간 객체에 대한 접근 및 상기 인터랙션 정보의 결과를 처리하는 인터랙션 처리부를 포함하고,
상기 AR 공유 공간 처리부는,
상기 복수의 AR 글래스가 위치한 실 공간에 대한 3차원 공간 정보를 실 공간 객체 형태로 생성하는 물리 공간 정보 획득부;
상기 실 공간 객체에 부가될 가상 공간 정보인 AR 공간 객체를 생성하여 사용자 개별 공간을 구성하며, 사용자의 접근 및 제어 권한 정보를 지정하는 가상 공간 생성부;
상기 실 공간 객체 및 상기 AR 공간 객체를 대상으로 다수의 타 사용자들의 공통 공유 공간으로 구성하기 위해, 각 사용자별로 유지하고 있는 상기 사용자 개별 공간 상에 공간 정합을 통해 공유하고자 하는 어느 하나의 공간 객체를 선택하여 공간 객체의 특성 변수 값을 공통 AR 공유 공간 객체로 지정하고 생성하는 공유 공간 구성부; 및
상기 사용자 개별 공간 상에 공간 정합되어 개별 사용자의 실 공간 객체의 배치에 따른 공간 내 위치 제약을 받는 공통 AR 공유 공간 객체가 상기 사용자의 인터랙션 의도에 따라 AR 콘텐츠 서비스에 반영되기 위한 공간 객체 처리를 하는 AR 공간 구성부;를 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치.
제1항에 있어서,
상기 AR 공간 생성 클라이언트부는,
사용자 정보 및 AR 콘텐츠 데이터 정보를 처리하는 사용자 정보 관리부;
상기 AR 공간 생성 엣지 컴퓨팅 서버에서 처리된 상기 AR 콘텐츠의 구동 결과인 3차원 AR 공간 객체 정보를 상기 AR 글래스의 화면상에 제시하는 렌더링 영상 처리부; 및
단일 RGB 카메라로부터 입력되는 영상 정보를 수신하여 실 공간 객체 생성 및 사용자의 인터랙션 동작을 인식하는 카메라 입력 영상 처리부;를 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치.
제1항에 있어서,
상기 AR 글래스를 착용한 상기 사용자의 만족 수준을 객관적으로 평가할 수 있는 정량화 데이터를 생성하고 저장하는 인터랙션 품질 정량화 관리부; 및
상기 AR 공간 생성 엣지 컴퓨팅 서버에 포함되는 기능 처리부에 대한 계산 알고리즘의 최적화 수행을 처리하는 서버 연산 가속화 처리부;를 더 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치.
제1항에 있어서,
상기 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치는,
상기 AR 공간 생성 엣지 컴퓨팅 서버부와 네트워크로 연결되며, 기본 서비스 데이터가 저장된 클라우드 서버;를 더 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치.
제2항에 있어서,
상기 렌더링 영상 처리부는,
상기 AR 공간 객체 정보를 패스쓰루(Pass Through) 형태로 상기 AR 글래스 화면상에 제시하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치.
제1항에 있어서,
상기 공유 공간 구성부는,
상기 공통 AR 공유 공간 객체를 상기 AR 글래스를 포함한 복수의 AR 글래스와 공유하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 장치.
다자 비대면 상황에서 복수의 AR 글래스와 네트워크로 연결되는 공유 공간 생성 방법에 있어서,
AR 공간 생성 클라이언트부에서 수행되며, 카메라 영상을 획득하고, AR 글래스의 영상을 제시하는 AR 공간 생성 클라이언트 단계; 및
AR 공간 생성 엣지 컴퓨팅 서버부에서 수행되며, 상기 AR 공간 생성 클라이언트부와 네트워크로 연결되며, 사용자 정보 데이터, 인터랙션 품질 정량화 데이터 및 AR 공간정보 데이터를 관리하는 단계;를 포함하며,
상기 사용자 정보 데이터, 인터랙션 품질 정량화 데이터 및 AR 공간정보 데이터를 관리하는 단계는,
AR 공유 공간 처리부에서 수행되며, 상기 복수의 AR 글래스가 각각 위치한 실 공간 객체, AR 공간 객체 및 AR 공통 공유 공간 객체를 생성하고 유지하는 AR 공유 공간 처리 단계;
인터랙션 처리부에서 수행되며, 상기 AR 글래스로부터 인터랙션 정보를 인식하고, AR 콘텐츠 내의 공간 객체에 대한 접근 및 인터랙션 정보의 결과를 처리하는 인터랙션 처리 단계를 포함하고,
상기 AR 공유 공간 처리 단계는,
상기 복수의 AR 글래스가 위치한 실 공간에 대한 3차원 공간 정보를 실 공간 객체 형태로 생성하는 물리 공간 정보 획득 단계;
상기 실 공간 객체에 부가될 가상 공간 정보인 AR 공간 객체를 생성하여 사용자 개별 공간을 구성하며, 사용자의 접근 및 제어 권한 정보를 지정하는 가상 공간 생성 단계;
상기 실 공간 객체 및 상기 AR 공간 객체를 대상으로 다수의 타 사용자들의 공통 공유 공간으로 구성하기 위해, 각 사용자별로 유지하고 있는 상기 사용자 개별 공간 상에 공간 정합을 통해 공유하고자 하는 어느 하나의 공간 객체를 선택하여 공간 객체의 특성 변수 값을 공통 AR 공유 공간 객체로 지정하고 생성하는 공유 공간 구성 단계; 및
상기 사용자 개별 공간 상에 공간 정합되어 개별 사용자의 실 공간 객체의 배치에 따른 공간 내 위치 제약을 받는 공통 AR 공유 공간 객체가 상기 사용자의 인터랙션 의도에 따라 AR 콘텐츠 서비스에 반영되기 위한 공간 객체 처리를 하는 AR 공간 구성 단계;를 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법.
제7항에 있어서,
상기 AR 공간 생성 클라이언트 단계는,
사용자 정보 관리부에서 수행되며, 사용자 정보 및 AR 콘텐츠 데이터 정보를 처리하는 사용자 정보 관리 단계;
렌더링 영상 처리부에서 수행되며, 상기 AR 공간 생성 엣지 컴퓨팅 서버부에서 처리된 상기 AR 콘텐츠의 구동 결과인 3차원 AR 공간 객체 정보를 상기 AR 글래스의 화면상에 제시하는 렌더링 영상 처리 단계; 및
카메라 입력 영상 처리부에서 수행되며, 단일 RGB 카메라로부터 입력되는 영상 정보를 수신하여 실 공간 객체 생성 및 사용자의 인터랙션 동작을 인식하는 카메라 입력 영상 처리 단계;를 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법.
제7항에 있어서,
인터랙션 품질 정량화 관리부에서 수행되며, 상기 AR 글래스를 착용한 상기 사용자의 만족 수준을 객관적으로 평가할 수 있는 정량화 데이터를 생성하고 저장하는 인터랙션 품질 정량화 관리 단계; 및
서버 연산 가속화 처리부에서 수행되며, 상기 AR 공간 생성 엣지 컴퓨팅 서버부에 포함되는 기능 처리부에 대한 계산 알고리즘의 최적화 수행을 처리하는 서버 연산 가속화 처리 단계를 더 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법.
제7항에 있어서,
상기 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법은,
클라우드 서버에서 수행되며, 상기 AR 공간 생성 엣지 컴퓨팅 서버부와 네트워크로 연결되며, 기본 서비스 데이터가 저장되는 단계;를 더 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법.
제8항에 있어서,
상기 렌더링 영상 처리 단계는,
상기 AR 공간 객체 정보를 패스쓰루(Pass Through) 형태로 상기 AR 글래스 화면상에 제시하는 단계;를 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법.
제7항에 있어서,
상기 공유 공간 구성 단계는,
상기 공통 AR 공유 공간 객체를 복수의 AR 글래스와 공유하는 단계;를 포함하는 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법.
복수의 AR 글래스가 각각 위치한 실 공간의 3차원 공간 정보를 실 공간 객체 형태로 생성하는 물리 공간 획득부;
상기 실 공간 객체에 부가될 가상 공간 정보인 AR 공간 객체를 생성하여 사용자 개별 공간을 구성하며, 사용자 접근 및 제어 권한 정보를 지정하는 가상 공간 생성부;
상기 실 공간 객체 및 상기 AR 공간 객체를 대상으로 다수의 타 사용자들의 공통 공유 공간으로 구성하기 위해, 각 사용자별로 유지하고 있는 상기 사용자 개별 공간 상에 공간 정합을 통해 공유하고자 하는 어느 하나의 공간 객체를 선택하여 공간 객체의 특성 변수 값을 공통 AR 공유 공간 객체로 지정하는 공유 공간 구성부; 및
상기 사용자 개별 공간 상에 공간 정합되어 개별 사용자의 실 공간 객체의 배치에 따른 공간 내 위치 제약을 받는 공통 AR 공유 공간 객체가 사용자의 인터랙션 의도에 따라 AR 콘텐츠 서비스에 반영되도록 공간 객체를 처리하는 AR 공간 구성부;를 포함하는 다자 참여 증강현실 콘텐츠의 AR 공유 공간 처리 장치.
제13항에 있어서,
상기 공유 공간 구성부는,
상기 공통 AR 공유 공간 객체를 복수의 AR 글래스 화면에 공유하는 다자 참여 증강현실 콘텐츠의 AR 공유 공간 처리 장치.
제14항에 있어서,
상기 AR 공간 구성부는,
처리된 상기 공간 객체 정보는 상기 복수의 AR 글래스 각각 화면 시야에 맞게 AR 공간 변환에 반영되어 상기 복수의 AR 글래스에 제시되는 다자 참여 증강현실 콘텐츠의 AR 공유 공간 처리 장치.