KR20190084936A

KR20190084936A - Coaching system for users participating in virtual reality contents

Info

Publication number: KR20190084936A
Application number: KR1020190083100A
Authority: KR
Inventors: 박정민; 김승재; 이중재
Original assignee: 한국과학기술연구원; 재단법인 실감교류인체감응솔루션연구단
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2019-07-17
Anticipated expiration: 2037-09-18
Also published as: KR102221193B1

Abstract

가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템은 적어도 한명 이상의 사용자가 참여하는 가상 현실 콘텐츠가 구현된 제1 가상 공간을 제공하는 제1 가상 콘텐츠 제공부; 및 상기 제1 가상 공간 및 상기 한명 이상의 사용자를 모니터링하는 제1 가상 공간 모니터링부를 포함하되, 상기 제1 가상 콘텐츠 제공부는 상기 제1 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 제1 압축 영상 데이터를 생성하는 제어부 및 상기 제1 압축 영상 데이터를 상기 제1 가상 공간 모니터링부로 송신하는 제1 통신부를 포함하고, 상기 제1 가상 공간 모니터링부는 상기 제1 압축 영상 데이터를 수신하는 제2 통신부, 상기 수신된 제1 압축 영상 데이터를 변환하여 양안 뷰 영상을 생성하는 처리부, 상기 생성된 양안 뷰 영상을 제1 코치에게 표시하는 표시부 및 상기 제1 코치의 지시를 감지하는 센싱부를 포함하고, 상기 처리부는 상기 감지된 제1 코치의 지시에 따른 지시 데이터를 생성하고, 상기 통신부는 상기 생성된 지시 데이터를 상기 제1 가상 콘텐츠 제공부로 제공한다.A coaching system for a user participating in a virtual reality content includes: a first virtual content providing unit for providing a first virtual space in which at least one user participates in a virtual reality content; And a first virtual space monitoring unit monitoring the first virtual space and the one or more users, wherein the first virtual content providing unit generates 3D rendering image data for the first virtual space, And a first communication unit for transmitting the first compressed video data to the first virtual space monitoring unit, wherein the first virtual space monitoring unit detects the first compressed video data, A processor for converting the received first compressed image data to generate a binocular view image, a display unit for displaying the generated binocular view image to a first coach, and a sensing unit for sensing an instruction of the first coach, And the processing unit generates instruction data according to an instruction of the first coach detected, Portion provides the generated instruction data portion provides the first virtual content.

Description

[0001] The present invention relates to a coaching system for users participating in virtual reality contents,

본 발명은 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템에 관한 것으로, 가상 현실 콘텐츠에 참여하고 있는 사용자와 보다 효율적으로 상호작용하여 사용자를 효과적으로 코칭할 수 있는 코칭 시스템에 관한 것이다.The present invention relates to a coaching system for a user participating in virtual reality contents, and more particularly, to a coaching system capable of effectively coaching a user by interacting with a user participating in virtual reality contents more efficiently.

가상 현실(VR: Virtual Reality)은 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황 또는 환경과 상호 작용을 하는 것처럼 만들어주는 인간과 컴퓨터 사이의 인터페이스를 말한다.Virtual Reality (VR) refers to the interface between a human and a computer that makes a particular environment or situation computerized and makes the person who uses it interact with the actual environment or environment.

또한, 헤드마운트 디스플레이(HMD: Head Mounted Display)는 머리에 착용하는 디스플레이로, 사용자의 눈에 근접한 위치에 디스플레이가 설치되어 영상을 보여주며, 헤드트래킹을 통해서 360도 전 방향으로 콘텐츠를 시청하는 것이 가능하여 사용자에게 높은 몰입도를 제공한다. 헤드마운트 디스플레이(HMD: Head Mounted Display)는 이러한 높은 몰입감으로 인하여 가상 현실 구현에 적용되고 있다.In addition, a head mounted display (HMD) is a head-mounted display that displays a video image at a position close to a user's eyes and watches content 360 degrees in all directions through head tracking It is possible to provide users with high immersion. The head mounted display (HMD) is being applied to the realization of virtual reality because of this high immersion feeling.

또한, 3D 평면 디스플레이를 통해 상술한 가상 현실 구현이 가능하며, 최근 신체의 세부적인 동작을 감지하고 이를 가상 공간상의 가상 모델로써 반영하는 인터페이스 방식에 대한 연구가 진행된 바 있다. 이러한 인터페이스는 대체로 센서 장치를 해당 신체 부위에 직접 착용하여 동작을 감지하는 방식과, RGBD와 같은 영상 센서를 통해 감지하는 방식으로 구현되며, 3D 평면 디스플레이를 통해 사용자에게 출력된다.In addition, the above-described virtual reality can be realized through the 3D flat display, and recent researches have been made on an interface method that detects the detailed motion of the body and reflects it as a virtual model in the virtual space. Such an interface is generally implemented by a method of sensing an operation by directly wearing a sensor device on a corresponding body part, or a method of sensing through an image sensor such as RGBD, and output to a user through a 3D flat display.

최근 이러한 가상 현실을 구현하는 기술의 발전과 함께 가상 현실 콘텐츠의 개발도 활발히 진행되고 있다. 현실에서 위험성이 높아 직접적으로 수행할 수 없는 분야뿐만 아니라 다양한 교육 콘텐츠가 가상 현실을 통해 개발되고 있으며, 원거리에 위치한 사용자들의 협업이 요구되는 콘텐츠 또한 가상 현실을 통해 제공되고 있다.Recently, with the development of technology for realizing such a virtual reality, development of a virtual reality content is actively proceeding. In addition to the fields that can not be directly performed due to the high risk in reality, various educational contents are being developed through virtual reality, and contents requiring collaboration of users located at a distance are also provided through virtual reality.

다만, 종래의 가상 현실 콘텐츠는 영상과 소리에 기반하여 사용자에게 일방적으로 제공되는 방식으로 사용자에게 학습에 대한 흥미나 몰입을 이끌어내는 데에 한계가 있었다. 또한, 가상 현실 콘텐츠에 참여하고 있는 사용자와 코치간의 상호 작용이 제한되어 있어 가상 현실 콘텐츠 사용자와의 실시간 코칭이 어려운 한계가 있었다.However, conventional virtual reality contents have a limitation in deriving interest or immersion for learning in a way that is unilaterally provided to a user based on images and sounds. In addition, since the interaction between the user participating in the virtual reality contents and the coach is limited, real-time coaching with the virtual reality contents user is difficult.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 가상 현실 콘텐츠에 참여하고 있는 사용자와 실시간으로 상호 작용할 수 있어 효과적인 코칭이 가능한 코칭 시스템을 제공한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and provides a coaching system that can effectively cooperate with a user participating in virtual reality contents in real time.

본 명세서의 일 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템은 적어도 한명 이상의 사용자가 참여하는 가상 현실 콘텐츠가 구현된 제1 가상 공간을 제공하는 제1 가상 콘텐츠 제공부; 및 상기 제1 가상 공간 및 상기 한 명 이상의 사용자를 모니터링하는 제1 가상 공간 모니터링부를 포함하되, 상기 제1 가상 콘텐츠 제공부는 상기 제1 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 제1 압축 영상 데이터를 생성하는 제어부 및 상기 제1 압축 영상 데이터를 상기 제1 가상 공간 모니터링부로 송신하는 제1 통신부를 포함하고, 상기 제1 가상 공간 모니터링부는 상기 제1 압축 영상 데이터를 수신하는 제2 통신부, 상기 수신된 제1 압축 영상 데이터를 변환하여 양안 뷰 영상을 생성하는 처리부, 상기 생성된 양안 뷰 영상을 제1 코치에게 표시하는 표시부 및 상기 제1 코치의 지시를 감지하는 센싱부를 포함하고, 상기 처리부는 상기 감지된 제1 코치의 지시에 따른 지시 데이터를 생성하고, 상기 통신부는 상기 생성된 지시 데이터를 상기 제1 가상 콘텐츠 제공부로 제공한다.A coaching system for a user participating in a virtual reality content according to an embodiment of the present invention includes a first virtual content providing unit for providing a first virtual space in which a virtual reality content in which at least one user participates is implemented; And a first virtual space monitoring unit monitoring the first virtual space and the one or more users, wherein the first virtual content providing unit generates 3D rendering image data for the first virtual space, And a first communication unit for transmitting the first compressed video data to the first virtual space monitoring unit, wherein the first virtual space monitoring unit is configured to monitor the first compressed video data A processor for converting the received first compressed image data to generate a binocular view image, a display unit for displaying the generated binocular view image to a first coach, and a second communication unit for receiving an instruction of the first coach And the processing unit generates instruction data according to an instruction of the first coach detected, The bride provides the generated instruction data to the first virtual content providing unit.

일 실시예에서, 상기 제1 가상 콘텐츠 제공부는 실제 손의 형상 또는 위치 등을 인식하여 입력 정보를 생성하는 입력부를 더 포함하고, 상기 제어부는 상기 입력 정보에 따라 상기 제1 가상 공간상에 가상 모델을 구현할 수 있다.In one embodiment, the first virtual content providing unit may further include an input unit for recognizing the shape or position of the actual hand to generate input information, and the control unit may include a virtual model Can be implemented.

일 실시예에서, 상기 제1 가상 공간을 외부에 출력하는 출력부를 더 포함할 수 있다.In one embodiment, the apparatus may further include an output unit for outputting the first virtual space to the outside.

일 실시예에서, 상기 입력부 및 상기 출력부는 상기 한명 이상의 사용자 각각에 대응되어 구비될 수 있다.In one embodiment, the input unit and the output unit may be provided corresponding to each of the one or more users.

일 실시예에서, 적어도 한명 이상의 사용자가 참여하는 가상 현실 콘텐츠가 구현된 제2 가상 공간을 제공하고, 상기 제2 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 생성한 제2 압축 영상 데이터를 상기 제1 가상 공간 모니터링부에 송신하는 제2 가상 콘텐츠 제공부를 더 포함하고, 상기 제1 가상 공간과 상기 제2 가상 공간은 서로 상이한 가상 현실 콘텐츠를 제공하며, 상기 제1 가상 공간 모니터링부는 상기 제2 가상 공간 및 상기 제2 가상 공간에 참여하는 사용자를 모니터링할 수 있다.In one embodiment, a second virtual space in which virtual reality contents participating in at least one user participates is provided, 3D rendering image data for the second virtual space is generated, and the 3D rendering image data is generated and generated And a second virtual content providing unit for transmitting the second compressed video data to the first virtual space monitoring unit, wherein the first virtual space and the second virtual space provide virtual reality contents different from each other, 1 virtual space monitoring unit may monitor a user participating in the second virtual space and the second virtual space.

일 실시예에서, 상기 처리부는 상기 제1 압축 영상 데이터 및 상기 제2 압축 영상 데이터를 각각 양안 뷰 영상으로 변환하여 상기 표시부로 제공하며, 상기 표시부는 상기 제1 가상 공간에 대한 화면과 상기 제2 가상 공간에 대한 화면을 일정 주기에 따라 전환하여 표시할 수 있다.In one embodiment, the processing unit converts the first compressed image data and the second compressed image data into a binocular view image and provides the same to the display unit, and the display unit displays a screen for the first virtual space, The screen for the virtual space can be switched and displayed in accordance with a predetermined period.

일 실시예에서, 상기 처리부는 상기 제1 압축 영상 데이터 및 상기 제2 압축 영상 데이터를 각각 양안 뷰 영상으로 변환하여 상기 표시부로 제공하며, 상기 표시부는 상기 제1 가상 공간에 대한 화면과 상기 제2 가상 공간에 대한 화면을 상기 제1 코치의 요청에 따라 전환하여 표시할 수 있다.In one embodiment, the processing unit converts the first compressed image data and the second compressed image data into a binocular view image and provides the same to the display unit, and the display unit displays a screen for the first virtual space, A screen for the virtual space can be switched and displayed according to the request of the first coach.

일 실시예에서, 상기 제1 가상 공간 및 상기 한명 이상의의 사용자를 모니터링하는 제2 가상 공간 모니터링부를 더 포함하고, 상기 제1 가상 콘텐츠 제공부는 상기 제1 압축 영상 데이터를 상기 제2 가상 공간 모니터링부에 더 송신하고, 상기 제2 가상 공간 모니터링부는 상기 제1 압축 영상 데이터를 변환하여 상기 제1 코치와 상이한 제2 코치에게 표시하고, 상기 제2 코치의 지시를 상기 제1 가상 콘텐츠 제공부로 제공할 수 있다.In one embodiment, the apparatus further includes a second virtual space monitoring unit monitoring the first virtual space and the one or more users, and the first virtual content providing unit may transmit the first compressed video data to the second virtual space monitoring unit And the second virtual space monitoring unit converts the first compressed video data to display a second coach different from the first coach and provides an instruction of the second coach to the first virtual content providing unit .

일 실시예에서, 적어도 한명 이상의 사용자가 참여하고, 상기 제1 가상 공간과 상이한 가상 현실 콘텐츠가 구현된 제2 가상 공간을 제공하는 제2 가상 콘텐츠 제공부 및 상기 제2 가상 공간 및 상기 제2 가상 공간에 참여하는 사용자를 모니터링하는 제2 가상 공간 모니터링부를 더 포함하고, 상기 제2 가상 콘텐츠 제공부는 상기 제2 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하고, 상기 3D 렌더링 영상 데이터를 인코딩하여 생성한 제2 압축 영상 데이터를 상기 제2 가상 공간 모니터링부에 제공하고, 상기 제2 가상 공간 모니터링부는 상기 제2 압축 영상 데이터를 변환하여 상기 제1 코치와 상이한 제2 코치에게 표시하고, 상기 제2 코치의 지시를 상기 제2 가상 콘텐츠 제공부로 제공할 수 있다.In one embodiment, a second virtual content providing unit that provides a second virtual space in which at least one user participates, in which a virtual reality content different from the first virtual space is implemented, and a second virtual content providing unit, And a second virtual space monitoring unit monitoring a user participating in the space, wherein the second virtual content providing unit generates 3D rendering image data for the second virtual space, encodes the 3D rendering image data, Wherein the second virtual space monitoring unit provides the second compressed image data to the second virtual space monitoring unit and the second virtual space monitoring unit converts the second compressed image data to display a second coach different from the first coach, To the second virtual content providing unit.

일 실시예에서, 상기 제1 가상 콘텐츠 제공부는 상기 지시 데이터를 상기 제1 가상 공간에 반영하고, 상기 지시 데이터가 반영된 상기 제1 가상 공간에 대한 압축 영상 데이터를 생성하여 상기 제1 가상 공간 모니터링부에 제공할 수 있다.In one embodiment, the first virtual content providing unit reflects the instruction data in the first virtual space, generates compressed image data for the first virtual space in which the instruction data is reflected, As shown in FIG.

일 실시예에서, 상기 제1 가상 공간 모니터링부는 헤드 마운트 디스플레이 장치일 수 있다.In one embodiment, the first virtual space monitoring unit may be a head mount display device.

본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템은 현재 구현되고 있는 가상 공간에 대한 3D 렌더링 데이터를 압축하여 가상 공간 모니터링부에 전송하는 바, 코치는 가상 공간에 대한 3D 영상 데이터를 실시간으로 모니터링할 수 있다.The coaching system for the user participating in the virtual reality contents according to the present embodiment compresses the 3D rendering data for the virtual space currently implemented and transmits the compressed 3D rendering data to the virtual space monitoring unit. Can be monitored in real time.

또한, 코치는 사용자의 시야뿐만 아니라, 다양한 각도에서 가상 공간을 바라볼 수 있는 바, 사용자의 행동과 가상공간의 상황을 자세히 관측할 수 있어 사용자에 대해 보다 적절한 코칭이 가능하다.In addition, since the coach can view the virtual space from various angles as well as the user's view, the user can observe the behavior of the user and the situation of the virtual space in detail, thereby enabling more appropriate coaching for the user.

또한, 코치의 손동작, 음성이 가상 현실 콘텐츠에 즉각적으로 반영되므로 코치는 사용자와 효과적으로 상호 작용을 수행할 수 있다.In addition, the coach's hand gesture and voice are immediately reflected in the virtual reality content, so that the coach can interact effectively with the user.

도 1은 본 발명의 일 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템의 개략적인 블록도이다.
도 2는 도 1의 가상 콘텐츠 제공부의 개략적인 구성도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 가상 공간을 구현한 예시도이다.1 is a schematic block diagram of a coaching system for a user participating in a virtual reality content according to an embodiment of the present invention.
2 is a schematic configuration diagram of the virtual content providing unit of FIG.
FIGS. 3 to 6 are views illustrating an implementation of a virtual space according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. The various embodiments of the present invention are different but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. Furthermore, the position or arrangement of individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the present invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which the claims are entitled. In the drawings, like reference numerals refer to the same or similar functions in various aspects.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.As used herein, terms used in the present specification are selected from the general terms that are currently widely used, while taking into consideration the functions, but these may vary depending on the intention or custom of the artisan or the emergence of new techniques. Also, in certain cases, there may be a term selected by the applicant at will, in which case the meaning will be described in the description part of the corresponding specification. Therefore, the terms used in the present specification should be interpreted based on the meaning of the term rather than on the name of a simple term, and on the contents throughout the specification.

도 1은 본 발명의 일 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템의 개략적인 블록도이며, 도 2는 도 1의 가상 콘텐츠 제공부의 개략적인 구성도이며, 도 3 내지 도 6은 본 발명의 일 실시예에 따른 가상 공간을 구현한 예시도이다.FIG. 1 is a schematic block diagram of a coaching system for a user participating in a virtual reality content according to an embodiment of the present invention, FIG. 2 is a schematic configuration diagram of the virtual content providing unit of FIG. 1, 6 is an exemplary view illustrating a virtual space according to an embodiment of the present invention.

도 1 내지 도 6을 참조하면, 본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10)은 가상 콘텐츠 제공부(100)및 가상 공간 모니터링부(110)를 포함한다.Referring to FIGS. 1 to 6, a coaching system 10 for a user participating in a virtual reality content according to an embodiment of the present invention includes a virtual content providing unit 100 and a virtual space monitoring unit 110.

실시예들에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10)은 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10) 및 이에 포함된 각 구성들은, 특정 형식 및 내용의 데이터를 처리, 저장 및/또는 송수신하기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "장치", 및 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.The coaching system 10 for a user participating in the virtual reality content according to embodiments may be entirely hardware, or may be partly hardware and partly software. For example, the coaching system 10 for each user participating in the virtual reality content and the respective configurations included therein may be collectively referred to as an apparatus and associated software for processing, storing and / or transmitting data of a specific type and content have. The terms "unit," "device, " and" system, "and the like are used herein to refer to a combination of hardware and software driven by that hardware. For example, the hardware may be a data processing device comprising a CPU or other processor. Also, the software driven by the hardware may refer to a running process, an object, an executable, a thread of execution, a program, and the like.

가상 콘텐츠 제공부(100)는 적어도 한명 이상의 사용자가 참여할 수 있는 가상 공간을 제공할 수 있다. 가상 공간은 사용자의 교육 또는 놀이를 위한 공간일 수 있다. 가상 콘텐츠 제공부(100)는 사용자의 신체 동작을 입력 수단으로 사용하는 NUI(Natural User Interface)를 포함할 수 있다. 즉, 가상 콘텐츠 제공부(100)는 입력된 손 형상을 가상의 모델에 대응시켜 조작에 활용할 수 있다. 구체적으로, 가상 콘텐츠 제공부(100)는 입력부(101), 제어부(102), 출력부(103), 제1 통신부(104)를 포함한다.The virtual content providing unit 100 may provide a virtual space in which at least one user can participate. The virtual space may be a space for the user's education or play. The virtual content providing unit 100 may include a NUI (Natural User Interface) that uses a user's body motion as an input means. That is, the virtual content providing unit 100 can utilize the inputted hand shape in association with the virtual model. Specifically, the virtual content providing apparatus 100 includes an input unit 101, a control unit 102, an output unit 103, and a first communication unit 104.

입력부(101)는 가상 공간상에 가상 모델을 형성하기 위한 입력 정보를 제어부(102)로 제공할 수 있다. 입력부(101)는 실제 손의 형상 또는 위치 등을 인식할 수 있는 손 인식 장치일 수 있다. 일 예로써, 이러한 입력부(101)는 립 모션(Leap Motion) 센서가 사용될 수 있다. 그밖에 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서들이 입력부(101)로서 사용될 수 있다. 입력부(101)는 가상 손의 위치, 형상, 크기, 질량, 속도, 가해지는 힘의 크기와 방향, 마찰계수, 탄성계수 등의 물리량을 입력 정보로 제공할 수 있고, 가상 손 위치의 변화, 형상의 변화, 속도의 변화 등과 같은 물리량의 변화량을 입력 정보로 제공할 수도 있다. 또한, 입력부(101)는 사용자의 목소리를 수신하여 제어부(102)로 제공할 수 있다.The input unit 101 may provide the control unit 102 with input information for forming a virtual model on the virtual space. The input unit 101 may be a hand recognition device capable of recognizing the shape or position of an actual hand. As an example, the input unit 101 may be a Leap Motion sensor. In addition, various known sensors including an image sensor such as a camera, in particular, an RGBD sensor, can be used as the input unit 101. The input unit 101 can provide physical information such as position, shape, size, mass, speed, magnitude and direction of applied force, friction coefficient, elasticity coefficient, and the like of the virtual hand as input information. Such as a change in the speed, a change in the speed, or the like, as the input information. Also, the input unit 101 may receive the voice of the user and provide the voice to the control unit 102.

제어부(102)는 가상 공간을 형성할 수 있다. 가상현실 콘텐츠에 대응되는 가상 공간은 현실 공간과는 구분되는 것으로 이해되어야 한다. 가상 공간은 하나 이상의 좌표축을 가질 수 있으며, 서로 직교하는 3개의 좌표축에 의하여 구성되는 3차원 공간일 수 있다. 또한 본 명세서의 가상 공간에 형성되는 가상 물체란, 가상 공간 내에 위치하며 렌더링된 이미지의 형태로 보여지는 물체를 의미한다. 가상 물체는 자체적인 형상과 크기를 가지며, 실제의 물리법칙이 동일하게 적용될 수 있다.The control unit 102 may form a virtual space. It should be understood that the virtual space corresponding to the virtual reality contents is distinguished from the real space. The virtual space may have one or more coordinate axes, and may be a three-dimensional space formed by three coordinate axes orthogonal to each other. In addition, the virtual object formed in the virtual space in this specification means an object located in the virtual space and viewed in the form of a rendered image. The virtual object has its own shape and size, and the actual physical laws can be applied equally.

제어부(102)는 이러한 가상 공간상에 가상 모델을 구축하고, 입력부(101)로부터 받는 입력 정보에 기초하여 가상 손을 가상 공간상에 형성할 수 있다. 또한, 제어부(102)는 사용자의 목소리를 음성 데이터로 변환할 수 있으며, 변환된 음성 데이터를 출력부(103)로 제공할 수 있다.The control unit 102 can construct a virtual model on the virtual space and form virtual hands on the virtual space based on the input information received from the input unit 101. [ Also, the control unit 102 can convert the voice of the user into voice data, and can provide the converted voice data to the output unit 103.

출력부(103)는 제어부(102)에 의해 형성된 가상 손과 가상 물체를 외부에 출력한다. 출력부(103)는 사용자로 하여금 공간감을 느낄 수 있게 하는 3차원 디스플레이 장치일 수 있으나, 이에 한정되는 것은 아니며, 몇몇 실시예에서 출력부(103)는 헤드 마운트형 디스플레이 장치일 수도 있다. 출력부(103)에서 출력되는 화면은 해당 화면을 시청하는 사용자의 시야에 적합하게 조정된 화면일 수 있다. 즉, 제어부(102)는 가상 공간에서 가상 손의 위치를 특정함으로써 실재 사용자의 손 위치 및 사용자의 위치를 특정할 수 있다. 출력부(103)는 사용자의 시각에서 가상 공간을 바라보도록 화면을 조정하여 출력할 수 있다. 또한, 출력부(103)는 음향 출력 수단을 포함하고 있으며, 제어부(102)에서 제공된 음성 데이터를 출력할 수 있다.The output unit 103 outputs virtual hands and virtual objects formed by the control unit 102 to the outside. The output unit 103 may be a three-dimensional display device that allows a user to feel space, but the present invention is not limited thereto. In some embodiments, the output unit 103 may be a head-mounted display device. The screen output from the output unit 103 may be a screen adjusted in accordance with the view of the user viewing the screen. That is, the control unit 102 can specify the position of the hand of the real user and the position of the user by specifying the position of the virtual hand in the virtual space. The output unit 103 can adjust and output the screen so as to view the virtual space from the user's viewpoint. In addition, the output unit 103 includes sound output means, and can output the sound data provided by the control unit 102. [

도 3 내지 도 6에 도시된 가상공간은 출력부(103)에서 출력되는 가상공간을 화면을 나타낸 것이다. 가상공간에는 복수의 사용자가 동시에 접속할 수 있으며, 이러한 경우 사용자 별로 입력부(101) 및 출력부(103)가 제공될 수 있다. 적어도 입력부(101) 및 출력부(103)는 복수의 사용자 각각에 대응되어 구비될 수 있다. 제어부(102)는 사용자 별로 입력부(101)를 통해 제공된 입력 정보를 바탕으로 사용자 별로 가상 손을 가상 공간에 구현할 수 있다. 또한, 출력부(103)는 사용자의 시각에서 가상 공간을 바라보도록 각 사용자를 기준으로 화면을 조정하여 출력할 수 있다.The virtual space shown in Figs. 3 to 6 is a screen showing a virtual space output from the output unit 103. Fig. A plurality of users can simultaneously access the virtual space. In this case, the input unit 101 and the output unit 103 may be provided for each user. At least the input unit 101 and the output unit 103 may be provided corresponding to a plurality of users. The control unit 102 may implement a virtual hand in a virtual space on a user-by-user basis based on input information provided through the input unit 101 for each user. In addition, the output unit 103 can adjust and output the screen based on each user so as to view the virtual space from the user's viewpoint.

가상 콘텐츠 제공부(100)의 구성들은 물리적으로 같은 공간에 위치하여 유선 연결될 수 있다. 다만, 이에 한정되는 것은 아니며, 가상 콘텐츠 제공부(100)의 구성들간의 연결은 무선 연결 또는 네트워크를 통한 연결일 수 있다. 즉, 적어도 제어부(102)는 입력부(101)와 출력부(103)와 다른 공간에 위치할 수 있으며, 입력부(101) 또는 출력부(103)는 제어부(102)와 무선 연결 또는 네트워크를 통해 연결될 수도 있다. 또한, 제1 통신부(104)는 제어부(102)에 포함되어 구성될 수도 있다. 복수의 사용자들은 서로 다른 위치에서 가상 공간에 접근하여 가상 공간에 구축된 콘텐츠에 참여할 수 있다.The configurations of the virtual content providing unit 100 may be physically located in the same space and may be wired. However, the present invention is not limited thereto, and the connection between the configurations of the virtual content providing unit 100 may be a wireless connection or a connection via a network. That is, at least the control unit 102 may be located in a different space from the input unit 101 and the output unit 103, and the input unit 101 or the output unit 103 may be connected to the control unit 102 through a wireless connection or a network It is possible. Also, the first communication unit 104 may be included in the control unit 102. A plurality of users can access the virtual space at different locations and participate in the contents constructed in the virtual space.

도 3에 도시된 바와 같이, 코치는 가상 공간 모니터링부(110)를 통해 가상 공간의 복수의 사용자와 상호 작용을 수행할 수 있다. 가상 공간 모니터링부(110)는 가상 콘텐츠 제공부(100)로부터 가상 공간에 대한 영상 및 음성 데이터를 수신받으며, 코치는 가상 공간 모니터링부(110)를 통해 가상 공간을 모니터링할 수 있다. 코치는 가상 공간의 사용자에 대한 코칭을 동작 또는 음성을 통해 수행할 수 있으며, 가상 공간 모니터링부(110)는 코치의 상기 동작 또는 음성을 인식하고, 이를 가상 콘텐츠 제공부(100)로 제공할 수 있다.As shown in FIG. 3, the coach may interact with a plurality of users of the virtual space through the virtual space monitoring unit 110. The virtual space monitoring unit 110 receives the video and audio data for the virtual space from the virtual content providing unit 100 and the coach can monitor the virtual space through the virtual space monitoring unit 110. [ The coach can perform coaching for the user in the virtual space through operation or voice and the virtual space monitoring unit 110 can recognize the operation or voice of the coach and provide it to the virtual content providing unit 100 have.

가상 콘텐츠 제공부(100)의 제어부(102)는 가상 공간 전체에 대한 영상 렌더링을 수행하여, 현재 사용자들이 체험하고 있는 가상 공간에 대한 3D 영상 데이터를 생성할 수 있다. 즉, 3D 영상 데이터는 가상 공간 및 가상 공간에 참여하고 있는 사용자들의 손 동작까지 포함될 수 있다. 제어부(102)는 가상 공간에 대한 오프스크린 3D 영상 렌더링을 수행할 수 있다. 예시적으로 제어부(102)는 Scene Graph을 통해 오프스크린 3D 영상 데이터를 생성할 수 있으나, 이에 한정되는 것은 아니다.The control unit 102 of the virtual content providing unit 100 may perform 3D rendering of the entire virtual space to generate 3D image data of the virtual space experienced by the current users. That is, the 3D image data may include hand movements of users participating in the virtual space and the virtual space. The control unit 102 may perform off-screen 3D image rendering on the virtual space. Illustratively, the control unit 102 may generate offscreen 3D image data through a scene graph, but is not limited thereto.

제어부(102)는 생성한 3D 영상 데이터를 인코딩하여 압축 영상 데이터를 생성할 수 있다. 예시적으로, 제어부(102)는 H.264 비디오 코덱형식으로 압축 영상 데이터를 생성할 수 있다. 제어부(102)는 생성된 압축 영상 데이터를 제1 통신부(104)에 제공할 수 있으며, 제1 통신부(104)는 압축 영상 데이터를 가상 공간 모니터링부(110)에 송신할 수 있다. 본 실시예에 따른 가상 콘텐츠 제공부(100)는 가상 공간의 3D 영상 데이터를 압축하여 제공하는 바, 보다 신속한 3D 영상 데이터의 전송이 가능하다.The control unit 102 can generate the compressed image data by encoding the generated 3D image data. Illustratively, the control unit 102 may generate compressed video data in the H.264 video codec format. The control unit 102 may provide the generated compressed image data to the first communication unit 104 and the first communication unit 104 may transmit the compressed image data to the virtual space monitoring unit 110. [ The virtual content providing unit 100 according to the present embodiment compresses and provides the 3D image data in the virtual space to enable faster transmission of the 3D image data.

제어부(102)는 3D 영상 데이터에 대응되는 음성 데이터를 생성할 수 있으며, 압축 음성 데이터로 압축할 수 있다. 제어부(102)는 압축 음성 데이터를 제1 통신부(104)에 제공할 수 있고, 제1 통신부(104)는 압축 음성 데이터를 가상 공간 모니터링부(110)에 압축 영상 데이터와 함께 송신할 수도 있다. 몇몇 실시예에서, 제어부(102)는 압축 영상 데이터와 압축 음성 데이터를 함께 압축하여 압축 데이터를 생성, 이를 가상 공간 모니터링부(110)에 제공할 수도 있다.The control unit 102 can generate the audio data corresponding to the 3D image data, and can compress the compressed audio data. The control unit 102 may provide the compressed voice data to the first communication unit 104 and the first communication unit 104 may transmit the compressed voice data to the virtual space monitoring unit 110 together with the compressed video data. In some embodiments, the control unit 102 may compress the compressed image data and the compressed voice data to generate compressed data, and provide the compressed data to the virtual space monitoring unit 110.

가상 콘텐츠 제공부(100)와 가상 공간 모니터링부(110)와의 데이터 송수신은 네트워크 연결을 통해 수행될 수 있다. 코치는 원격으로 사용자의 행동을 관찰할 수 있으며, 사용자에 대한 코칭을 원격지에서도 사용자에게 전달할 수 있다.Data transmission / reception between the virtual content providing unit 100 and the virtual space monitoring unit 110 can be performed through a network connection. The coach can remotely observe the user's behavior, and can coach the user remotely to the user.

가상 공간 모니터링부(110)는 가상 콘텐츠 제공부(100)에서 제공된 압축 영상 데이터를 변환하여 가상 공간을 표시하고, 가상 공간을 모니터링 한 코치의 지시를 감지하여 가상 콘텐츠 제공부(100)에 제공할 수 있다. 여기서, 가상 공간 모니터링부(110)는 헤드 마운트 디스플레이 장치(HMD)일 수 있다.The virtual space monitoring unit 110 converts the compressed image data provided by the virtual content providing unit 100 to display the virtual space, detects the instruction of the coach monitoring the virtual space, and provides the virtual space providing unit 100 with . Here, the virtual space monitoring unit 110 may be a head-mounted display device (HMD).

가상 공간 모니터링부(110)는 처리부(111), 제2 통신부(112), 표시부(113), 센싱부(114)로 구성된다. 이러한 가상 공간 모니터링부(110)은 구성들은 서로 구분되는 별개의 블록으로 도시되었으나, 이들 중 일부 또는 전부가 하나의 장치로 집적화될 수도 있다. 일 실시예에서는, 마이크로프로세서(microprocessor)와 같은 처리 수단, 가속도 센서 및 터치스크린을 갖춘 스마트폰(Smartphone)이 전술한 처리부(111), 제2 통신부(112), 표시부(113), 센싱부(114) 중 하나 이상에 해당되며, 이러한 스마트폰이 머리에 장착 가능한 다른 부재(미도시)와 결합되어 가상 공간 모니터링부(110)을 구성한다. 즉, 본 명세서에 기재된 가상 공간 모니터링부(110)는 다른 부재를 통해 헤드 마운트용으로 사용 가능한 스마트폰일 수도 있다. 또한, 가상 공간 모니터링부(110)의 구성 중 적어도 표시부(113)는 코치의 머리에 착용 가능한 형태로 구성될 수 있다. 예를 들어, 표시부(113)는 안경, 고글(goggle) 또는 헬멧(helmet) 등의 형태로 코치의 머리에 고정될 수 있다.The virtual space monitoring unit 110 includes a processing unit 111, a second communication unit 112, a display unit 113, and a sensing unit 114. Although the virtual space monitoring unit 110 is shown as a separate block that is different from each other in configuration, some or all of them may be integrated into one device. In one embodiment, a smartphone having a processing means such as a microprocessor, an acceleration sensor, and a touch screen includes a processing unit 111, a second communication unit 112, a display unit 113, a sensing unit 114, and the smart phone is combined with another member (not shown) that can be mounted on the head to constitute the virtual space monitoring unit 110. That is, the virtual space monitoring unit 110 described in the present specification may be a smart phone usable for head mounting through another member. In addition, at least the display unit 113 of the configuration of the virtual space monitoring unit 110 may be configured to be wearable on the head of the coach. For example, the display unit 113 may be fixed to the head of the coach in the form of glasses, a goggle or a helmet.

가상 공간 모니터링부(110)는 메모리부(미도시)를 더 포함할 수 있고, 제2 통신부(112)는 가상 콘텐츠 제공부(100)에서 제공된 압축 영상 데이터를 수신하여 메모리부에 임시 저장할 수 있다. 메모리부(미도시)는 가상 공간 모니터링부(110)의 동작 시 처리되는 정보들이 임시 저장되는 공간일 수 있다.The virtual space monitoring unit 110 may further include a memory unit (not shown), and the second communication unit 112 may receive the compressed video data provided by the virtual content providing unit 100 and temporarily store the compressed video data in the memory unit . The memory unit (not shown) may be a space in which information processed in the operation of the virtual space monitoring unit 110 is temporarily stored.

처리부(111)는 압축 영상 데이터를 가상 공간에 대한 오프스크린 3D 영상 데이터를 디코딩할 수 있다. 처리부(111)는 복원된 오프스크린 3D 영상 데이터를 헤드 마운트 디스플레이 장치로 표시하기 위해, 양안 뷰 영상으로 변환할 수 있다. 또한, 처리부(111)는 가상 공간내의 음성 데이터를 양안 뷰 영상과 함께 표시부(113)로 제공할 수 있다.The processing unit 111 may decode the compressed image data and the off-screen 3D image data for the virtual space. The processing unit 111 may convert the reconstructed off-screen 3D image data into a binocular view image for display by the head-mounted display device. In addition, the processing unit 111 can provide the voice data in the virtual space to the display unit 113 together with the binocular view image.

표시부(113)는 코치의 움직임에 따라 시점이 변동될 수 있는 광시야각 이미지를 표시하도록 구성될 수 있다. 예를 들어, 표시부(113)는 코치의 눈이 위치한 영역에 화면이 위치하는 액정표시장치(Liquid Crystal Display; LCD) 또는 다른 적절한 화상 표시 소자를 포함할 수 있다. 또한, 표시부(113)는 화상 표시 소자에 의해 표시되는 이미지의 초점이 코치의 눈 또는 그 부근에 맺히게 하기 위한 볼록 렌즈 등 하나 이상의 광학 소자(미도시)를 더 포함할 수도 있다. 또한, 표시부(113)는 음성 출력 수단(미도시)을 더 포함하여 할 수 있다. 또한, 실시예에 따라 표시부(113) 상에는 기본 동작을 위한 인터페이스가 표시될 수 있다.The display unit 113 can be configured to display a wide viewing angle image in which the viewpoint can be changed according to the motion of the coach. For example, the display unit 113 may include a liquid crystal display (LCD) or other suitable image display device in which the screen is positioned in the area where the eyes of the coach are located. Further, the display section 113 may further include one or more optical elements (not shown) such as a convex lens for focusing the image displayed by the image display device on or near the eyes of the coach. Further, the display unit 113 may further include an audio output means (not shown). In addition, an interface for the basic operation may be displayed on the display unit 113 according to the embodiment.

표시부(113)는 처리부(111)에서 제공된 양안 뷰 영상을 표시할 수 있다. 코치는 표시부(113)를 통해 현재 가상 공간을 모니터링할 수 있다. 코치는 헤드 마운트 디스플레이 장치(HMD)인 가상 공간 모니터링부(110)를 가상 공간 콘텐츠를 모니터링할 수 있다. 표시부(113)에서 출력되는 가상 공간의 화면은 오프 스크린 화면으로, 코치는 가상 공간의 특정 사용자의 시점이 아닌 전지적 시점에서 가상 공간을 모니터링할 수 있다. 즉, 각 사용자들이 행동을 전체적으로 용이하게 관찰할 수 있다. 또한, 코치가 헤드 마운트 디스플레이 장치(HMD)로 가상 현실을 체험하면서 사용자들을 관측하고, 사용자들과 소통할 수 있는 바, 보다 적절한 지도가 가능할 수 있다.The display unit 113 can display the binocular view image provided by the processing unit 111. [ The coach can monitor the current virtual space through the display unit 113. [ The coach can monitor the virtual space contents by the virtual space monitoring unit 110 which is the head mount display device (HMD). The screen of the virtual space output from the display unit 113 is an off-screen screen, and the coach can monitor the virtual space at the non-point of view of the specific user in the virtual space. That is, each user can easily observe the behavior as a whole. In addition, since the coach can observe and interact with the users while experiencing the virtual reality with the head-mounted display device (HMD), more appropriate guidance can be possible.

표시부(113)는 음성 출력 수단(미도시)를 통해 가상 공간의 음성 데이터를 코치에게 제공할 수도 있다. 음성 데이터는 사용자가 코치에 대한 질문 또는 가상 공간의 현장음 등을 포함할 수 있다.The display unit 113 may provide voice data in the virtual space to the coach through voice output means (not shown). The voice data may include a question about the coach or a scene sound of the virtual space.

가상 공간에 대한 화면은 일정 주기를 바탕으로 갱신될 수 있다. 가상 콘텐츠 제공부(100)는 코치의 별도의 요청이 없는 한, 이전 주기에 출력한 화면 구도로써 영상 데이터가 렌더링될 수 있다. 예시적으로 코치의 별도 요청이 없는 한, 다음 주기의 화면 구도는 이전 주기에서와 동일한 오프 스크린 구도로 영상 데이터가 렌더링될 수 있다.The screen for the virtual space can be updated based on a certain period. The virtual content providing unit 100 may render the image data with the screen composition outputted in the previous cycle, unless there is a separate request from the coach. Illustratively, unless otherwise requested by the coach, the screen composition of the next cycle may be rendered with the same off-screen composition as in the previous cycle.

센싱부(114)는 가상 공간에 대한 코치의 지시를 감지할 수 있다. 여기서, 코치의 지시는 가상 환경에 참여하고 있는 사용자에 행동에 대한 가이드, 코칭 등 일 수 있으며, 사용자의 질문에 대한 코치의 답변을 포함할 수 있다.The sensing unit 114 may sense an instruction of the coach to the virtual space. Here, the instruction of the coach may be a guide to the behavior, a coaching, etc., to the user participating in the virtual environment, and may include a coach's answer to the user's question.

센싱부(114)는 코치의 음성, 동작 등을 감지할 수 있는 수단을 포함할 수 있다. 예를 들어, 센싱부(114)는 사용자의 손 동작을 인식할 수 있는 립 모션(Leap Motion) 센서, 조도 센서(illumination sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 마이크로폰(microphone), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 또한, 실시예에 따라 센싱부(114)는 사용자의 터치를 인식할 수 있는 터치 패널을 포함할 수 있다. The sensing unit 114 may include means for sensing voice, operation, etc. of the coach. For example, the sensing unit 114 may include a Leap Motion sensor, an illumination sensor, an acceleration sensor, a magnetic sensor, a gravity sensor A G-sensor, a gyroscope sensor, a motion sensor, an RGB sensor, an infrared sensor, a finger scan sensor, an ultrasonic sensor, Such as an optical sensor, a microphone, a battery gauge, an environmental sensor (such as a barometer, a hygrometer, a thermometer, a radiation sensor, a thermal sensor, For example, an electronic nose, a healthcare sensor, a biometric sensor, etc.). In addition, according to the embodiment, the sensing unit 114 may include a touch panel capable of recognizing a user's touch.

처리부(111)는 코치의 지시를 센싱부(114)로부터 수신할 수 있으며, 이에 따른 지시 데이터를 생성할 수 있다. 처리부(111)는 지시 데이터를 제2 통신부(112)를 통해 가상 콘텐츠 제공부(100)에 제공할 수 있다. 가상 콘텐츠 제공부(100)의 입력부(101)는 지시 데이터에 대응되는 가상 공간의 변화를 입력 정보로 제어부(102)에 제공할 수 있으며, 제어부(102)는 입력 정보를 바탕으로 가상 공간을 구현할 수 있다. 또한, 제어부(102)는 지시 데이터의 요청에 따른 가상 공간의 변화된 가상 공간에 대한 3D 렌더링을 수행할 수 있으며, 이를 압축 영상 데이터로 변환하여 가상 공간 모니터링부(110)로 제공할 수 있다.The processing unit 111 can receive an instruction of the coach from the sensing unit 114 and generate instruction data accordingly. The processing unit 111 may provide the instruction data to the virtual content providing unit 100 through the second communication unit 112. [ The input unit 101 of the virtual content providing unit 100 may provide the control unit 102 with the change of the virtual space corresponding to the instruction data to the control unit 102. The control unit 102 may implement the virtual space based on the input information . In addition, the controller 102 can perform 3D rendering of the virtual space in response to the request of the instruction data for the changed virtual space, and can convert the compressed image data into compressed image data, and provide the compressed image data to the virtual space monitoring unit 110.

코치는 가상 공간내의 사용자와 상호 작용을 하기 위해 해당 사용자를 보다 자세히 관찰하기를 원할 수 있다. 코치는 특정 사용자만을 바라보기 위해 고개를 돌리거나 해당 사용자를 확대 관찰하기 위한 동작을 할 수 있다. 예시적으로, 코치는 사용자 1과의 코칭이 끝난 이후, 사용자 2와의 코칭을 수행하기 위해 시점 변경을 요청할 수도 있다. 이러한 코치의 동작 및 요청은 센싱부(114)에 의해 감지되고, 처리부(111)에 의해 대응되는 지시 데이터가 생성되어 가상 콘텐츠 제공부(100)로 제공될 수 있다. 가상 콘텐츠 제공부(100)는 상기 코치의 요청에 대응되도록 가상 공간에 대한 시점 변경 또는 화면 확대를 수행한 영상 데이터를 랜더링하여 생성할 수 있으며, 생성된 영상 데이터를 가상 공간 모니터링부(110)에 제공할 수 있다.The coach may want to observe the user more closely in order to interact with the user in the virtual space. The coach can move his head to look only at a particular user, or act to magnify the user. Illustratively, after coaching with user 1, the coach may request a point of view change to perform coaching with user 2. The operation and request of the coach are sensed by the sensing unit 114 and corresponding instruction data may be generated by the processing unit 111 and provided to the virtual content providing unit 100. [ The virtual content providing unit 100 may render and generate image data on which a viewpoint change or screen enlargement is performed on the virtual space so as to correspond to the request of the coach, .

또한, 코치는 가상 공간내의 모든 사용자에게 음성을 통한 공지를 할 수 있다. 이 경우, 코치는 센싱부(114)에 음성 지시를 감지하고, 처리부(111)에서 음성 지시는 지시 데이터로 변환되어 가상 콘텐츠 제공부(100)로 전달될 수 있다. 가상 콘텐츠 제공부(100)는 코치의 음성 데이터를 모든 사용자에게 출력부(103)를 통해 출력할 수 있다. 그리고, 코치는 특정 사용자에게 특정 음성 데이터를 전달할 수도 있다. 코치는 특정 사용자를 지목하는 손동작과 함께 음성 지시를 센싱부(114)에 전달할 수 있으며, 가상 콘텐츠 제공부(100)는 코치의 음성 데이터 및 사용자에 대한 데이터를 전달받아, 특정 사용자의 출력부(103)를 통해 상기 음성 데이터를 출력할 수도 있다.In addition, the coach can notify all users in the virtual space through voice. In this case, the coach senses the voice instruction to the sensing unit 114, and the voice instruction in the processing unit 111 is converted into the instruction data and can be transmitted to the virtual content providing unit 100. The virtual content providing unit 100 may output the voice data of the coach to all the users through the output unit 103. [ The coach may then deliver specific voice data to a particular user. The coach can transmit a voice instruction to the sensing unit 114 together with a hand operation for specifying a specific user. The virtual content providing unit 100 receives voice data of the coach and data on the user, 103 to output the voice data.

또한, 센싱부(114)는 코치의 손을 인식할 수 있으며, 처리부(111)에서 생성된 코치의 손 인식 데이터는 가상 콘텐츠 제공부(100)로 전달되어 가상 공간 상에 구현될 수도 있다.The sensing unit 114 may recognize the hand of the coach and the hand recognition data of the coach generated by the processing unit 111 may be transmitted to the virtual content providing unit 100 and implemented in the virtual space.

또한, 코치는 센싱부(114)에 포함된 터치 패널을 마우스와 같이 이용하여 표시부(113) 상에 표시되는 기본 인터페이스를 동작할 수 있다. 또한, 코치는 터치 패널 상에 글자를 기재할 수 있으며, 처리부(111)는 인식된 글자를 가상 콘텐츠 제공부(100)로 제공할 수도 있다.In addition, the coach can operate the basic interface displayed on the display unit 113 by using the touch panel included in the sensing unit 114 as a mouse. In addition, the coach may write characters on the touch panel, and the processing unit 111 may provide the recognized characters to the virtual content providing unit 100.

여기서, 도 5에 도시된 바와 같이, 본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템에 포함된 가상 공간 모니터링부(110)는 복수 개일 수 있다. 즉, 하나의 가상 공간에 대한 코치가 복수일 수 있다. 코치1은 사용자1과 매칭되고, 코치2는 사용자2와 매칭되어 모니터링 및 코칭을 수행할 수 있으나, 이에 한정되는 것은 아니며, 복수의 코치는 사용자 한명에 대한 집중적인 모니터링 및 코칭을 수행할 수도 있다.Here, as shown in FIG. 5, a plurality of virtual space monitoring units 110 included in the coaching system for users participating in the virtual reality contents according to the present embodiment may be provided. That is, there can be a plurality of coaches for one virtual space. Coach 1 may be matched with user 1 and coach 2 may be matched with user 2 to perform monitoring and coaching, but the present invention is not limited thereto, and a plurality of coaches may perform intensive monitoring and coaching for one user .

제어부(102)에서 구현되는 가상 공간은 복수의 코치 모두가 참여하고 있는 상태로, 각 코치의 지시는 한 가상 공간 상에 함께 반영되어 구현될 수 있다. 제어부(102)는 현재 가상 공간에 대한 3D 렌더링 영상 데이터를 생성하되, 각 가상 공간 모니터링부(110)에 대응되는 3D 렌더링 영상 데이터를 각각 생성하여 각 가상 공간 모니터링부(110)에 제공할 수 있다. 가상 콘텐츠 제공부(100)의 제어부(102)에서 각 가상 공간 모니터링부(110)에 제공하는 영상 데이터는 모니터링 초기에는 동일할 수 있으나, 특정 화면의 확대 및 전환을 요청하는 코치의 동작에 따라 다른 영상 데이터가 요청될 수 있다. 따라서, 제어부(102)는 각 가상 공간 모니터링부(110)의 요청에 따른 영상 데이터를 각각 생성할 수 있으며, 이를 각 가상 공간 모니터링부(110)에 제공할 수 있다.The virtual space implemented by the control unit 102 is in a state in which all of a plurality of coaches are participating, and instructions of the coaches can be reflected and implemented together in one virtual space. The control unit 102 generates 3D rendering image data for the current virtual space and generates 3D rendering image data corresponding to the respective virtual space monitoring units 110 and provides the generated 3D rendering image data to each virtual space monitoring unit 110 . The video data provided to the virtual space monitoring unit 110 by the control unit 102 of the virtual content providing unit 100 may be the same at the initial stage of monitoring. However, according to the operation of the coach requesting enlargement and conversion of a specific screen, Video data may be requested. Accordingly, the control unit 102 can generate image data according to a request of each virtual space monitoring unit 110, and can provide the image data to each virtual space monitoring unit 110.

또한, 도 6에 도시된 바와 같이, 본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10)에 포함된 가상 콘텐츠 제공부(100)는 복수 개일 수 있다. 예시적으로 가상 콘텐츠 제공부(100)는 서로 다른 콘텐츠가 구현된 제1 가상 공간과 제2 가상 공간을 제공하는 제1, 제2 가상 콘텐츠 제공부로 구성될 수 있다. 여기서, 가상 공간 모니터링부(110)는 복수의 가상 콘텐츠 제공부(100)로부터 각 가상 공간에 대응되는 압축 영상 데이터를 각각 전달받을 수 있다. 코치는 복수의 가상 공간을 각각 모니터링하면서, 실시간으로 복수의 가상 공간에 대한 압축 영상 데이터를 수신 받을 수 있다.Also, as shown in FIG. 6, a plurality of virtual content providing units 100 included in the coaching system 10 for users participating in the virtual reality contents according to the present embodiment may be provided. Illustratively, the virtual content providing unit 100 may include first and second virtual content providing units for providing a first virtual space and a second virtual space in which different contents are implemented. Here, the virtual space monitoring unit 110 may receive compressed image data corresponding to each virtual space from the plurality of virtual contents providing units 100, respectively. The coach can receive compressed image data for a plurality of virtual spaces in real time while monitoring each of the plurality of virtual spaces.

가상 공간 모니터링부(110)의 처리부(111)는 각각 전송된 압축 영상 데이터를 처리하여 표시부(113)로 전달할 수 있다. 표시부(113)는 한 가상 공간에 대한 화면과 다른 가상 공간에 대한 화면을 일정 주기를 가지고 교체하면서 표시할 수 있다. 다만, 이에 한정되는 것은 아니며, 코치에게 표시되는 화면의 전환은 코치의 요청에 따라 수행될 수도 있다.The processing unit 111 of the virtual space monitoring unit 110 may process the transmitted compressed image data and transmit the processed compressed image data to the display unit 113. The display unit 113 can display a screen for one virtual space and a screen for another virtual space while replacing the screen for a predetermined period. However, the present invention is not limited to this, and the switching of the screen displayed to the coach may be performed at the request of the coach.

예시적으로, 코치는 현재 표시되고 있는 제1 가상 공간의 사용자와 상호 작용을 수행한 뒤 화면을 전환하여 제2 가상 공간의 사용자를 모니터링하면서 제2 가상 공간의 사용자와 상호 작용을 수행할 수 있다. 한 가상 공간을 모니터링하면서 상호 작용을 하는 순간에도 다른 가상 공간에 대한 영상 데이터는 계속 수신되어 갱신된 상태일 수 있다. 코치는 하나의 가상 공간 모니터링부(110)로 복수의 가상 공간을 모니터링하면서, 필요한 경우 각 가상 공간내의 사용자와 상호 작용을 수행할 수 있다.Illustratively, the coach may interact with a user of the second virtual space while monitoring the user of the second virtual space by switching the screen after performing an interaction with a user of the first virtual space currently being displayed . The image data for the other virtual space may be continuously received and updated even at the moment of interaction while monitoring one virtual space. The coach may monitor a plurality of virtual spaces with one virtual space monitoring unit 110, and may perform an interaction with a user in each virtual space, if necessary.

또한, 본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템(10)에 포함된 가상 콘텐츠 제공부(100) 및 가상 공간 모니터링부(110)는 각각 복수 개일 수 있다. 예시적으로, 가상 콘텐츠 제공부(100)는 제1 가상 공간을 제공하는 제1 가상 콘텐츠 제공부, 상기 제1 가상 공간과 상이한 제2 가상 공간을 제공하는 제2 가상 콘텐츠 제공부를 포함할 수 있으며, 제1 코치는 제1 가상 공간 모니터링부로 상기 제1 가상 콘텐츠 제공부를 모니터링하면서 상기 제1 가상 콘텐츠 제공부의 사용자와 상호작용할 수 있고, 제2 코치는 제2 가상 공간 모니터링부로 상기 제2 가상 콘텐츠 제공부를 모니터링하면서 상기 제2 가상 콘텐츠 제공부의 사용자와 상호작용할 수 있다. In addition, the virtual content providing unit 100 and the virtual space monitoring unit 110 included in the coaching system 10 for a user participating in the virtual reality content according to the present embodiment may be plural, respectively. Illustratively, the virtual content providing apparatus 100 may include a first virtual content providing unit for providing a first virtual space, a second virtual content providing unit for providing a second virtual space different from the first virtual space, , The first coach may interact with the user of the first virtual content provider while monitoring the first virtual content provider with the first virtual space monitor, and the second coach may interact with the user of the first virtual content provider, And can interact with the user of the second virtual content provider while monitoring the content.

또한, 각 코치는 가상 공간 모니터링부(110)로 적어도 하나 이상의 가상 콘텐츠 제공부(100)를 모니터링하면서, 필요한 경우 각 가상 공간내의 사용자와 상호 작용을 수행할 수 있다.In addition, each coach may monitor at least one virtual content provider 100 with the virtual space monitoring unit 110, and may interact with a user in each virtual space, if necessary.

본 실시예에 따른 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템은 현재 구현되고 있는 가상 공간에 대한 3D 렌더링 데이터를 가상 공간 모니터링부(110)에 압축 전송하는 바, 영상 처리가 효율적으로 가능하여 코치는 가상 공간에 대한 3D 영상 데이터를 실시간으로 모니터링할 수 있다.The coaching system for the user participating in the virtual reality contents according to the present embodiment compresses and transmits the 3D rendering data on the virtual space currently being implemented to the virtual space monitoring unit 110, The coach can monitor the 3D image data of the virtual space in real time.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 정해져야 할 것이다.While the invention has been shown and described with reference to certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. However, it should be understood that such modifications are within the technical scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10: 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템
100: 가상 콘텐츠 제공부
110: 가상 공간 모니터링부10: Coaching system for users participating in virtual reality content
100: Offering virtual contents
110: virtual space monitoring unit

Claims

A first virtual content providing unit including a control unit for providing a first virtual space in which a virtual reality content in which at least one user participates is implemented; And
And a first virtual space monitoring unit monitoring the first virtual space and the one or more users,
The control unit of the first virtual content providing unit generates 3D image data by performing image rendering on the entire first virtual space provided at present, and generates first compressed image data by encoding the 3D image data,
Wherein the first virtual content providing unit further comprises a first communication unit for transmitting the first compressed video data to the first virtual space monitoring unit,
The first virtual space monitoring unit may include a second communication unit for receiving the first compressed video data, a processor for converting the received first compressed video data to generate a binocular view video, And a sensing unit for sensing an instruction of the first coach, wherein the processing unit generates instruction data in accordance with an instruction of the first coach, and the communication unit transmits the generated instruction data to the first virtual A coaching system for a user participating in a virtual reality content provided to a content providing unit.

The method according to claim 1,
The first virtual content providing apparatus may further include an input unit for recognizing a shape or position of an actual hand to generate input information,
Wherein the control unit is participating in a virtual reality content that implements a virtual model on the first virtual space according to the input information.

3. The method of claim 2,
And an output unit for outputting the first virtual space to the outside.

The method of claim 3,
Wherein the input unit and the output unit are participating in virtual reality contents corresponding to each of the one or more users.

The method according to claim 1,
A second virtual space in which at least one user participates is provided with a second virtual space in which virtual reality contents are implemented, 3D rendering image data for the second virtual space is generated, and a second compressed image generated by encoding the 3D rendering image data And a second virtual content providing unit for transmitting data to the first virtual space monitoring unit,
Wherein the first virtual space and the second virtual space provide different virtual reality contents,
Wherein the first virtual space monitoring unit is participating in a virtual reality content monitoring a user participating in the second virtual space and the second virtual space.

6. The method of claim 5,
Wherein the processing unit converts the first compressed image data and the second compressed image data into a binocular view image and provides the same to the display unit,
Wherein the display unit is participating in a virtual reality content that displays a screen for the first virtual space and a screen for the second virtual space at a predetermined period.

6. The method of claim 5,
Wherein the processing unit converts the first compressed image data and the second compressed image data into a binocular view image and provides the same to the display unit,
Wherein the display unit is participating in a virtual reality content in which a screen for the first virtual space and a screen for the second virtual space are switched according to a request of the first coach and displayed.

The method according to claim 1,
And a second virtual space monitoring unit monitoring the first virtual space and the one or more users,
Wherein the first virtual content providing unit further transmits the first compressed video data to the second virtual space monitoring unit,
The second virtual space monitoring unit may convert the first compressed video data to display a second coach different from the first coach and may display an instruction of the second coach to participate in the virtual reality content providing the first virtual content providing unit Coaching system for users who are doing.

The method according to claim 1,
A second virtual content providing unit for providing a second virtual space in which at least one user participates and a virtual reality content different from the first virtual space is implemented, and a second virtual content providing unit for providing the second virtual space, And a second virtual space monitoring unit for monitoring the second virtual space,
Wherein the second virtual content providing unit generates 3D rendering image data for the second virtual space, provides the second compressed image data generated by encoding the 3D rendering image data to the second virtual space monitoring unit,
The second virtual space monitoring unit may convert the second compressed video data and display the second compressed video data to a second coach different from the first coach and participate in a virtual reality content providing an instruction of the second coach to the second virtual content providing unit Coaching system for users who are doing.

The method according to claim 1,
Wherein the first virtual content providing unit reflects the instruction data in the first virtual space, generates compressed image data for the first virtual space in which the instruction data is reflected, and provides the compressed image data to the first virtual space monitoring unit Coaching system for users participating in content.

The method according to claim 1,
Wherein the first virtual space monitoring unit is a head-mounted display device.

A control unit for providing a virtual space in which virtual reality contents in which at least one user participates are implemented;
An input unit for generating input information for forming a virtual model on the virtual space;
An output unit for outputting the first virtual space to the outside; And
And a communication unit for transmitting and receiving the virtual space monitoring device,
The control unit generates 3D image data by performing image rendering on the entire virtual space currently provided, generates compressed image data by encoding the 3D image data,
And the compressed video data is provided to the virtual space monitoring apparatus via the communication unit.

There is provided a communication unit for receiving compressed video data from a virtual content providing apparatus that provides a virtual space in which at least one user participates in a virtual reality content, the compressed video data performing image rendering for the entire currently provided virtual space A communication unit that encodes and compresses the generated 3D image data;
A processor for converting the received compressed image data to generate a binocular view image;
A display unit for displaying the generated binocular view image to a coach;
And a sensing unit for sensing an instruction of the coach,
Wherein the processing unit generates instruction data according to an instruction of the sensed coach, and the communication unit provides the generated instruction data to the virtual content providing apparatus.