KR20250063648A

KR20250063648A - Method and system for enhancing physical abilities in extended reality using physical characteristics

Info

Publication number: KR20250063648A
Application number: KR1020230149435A
Authority: KR
Inventors: 김태홍; 도준형; 김중일; 서정우; 장경미; 정영재
Original assignee: 한국 한의학 연구원
Priority date: 2023-11-01
Filing date: 2023-11-01
Publication date: 2025-05-08

Abstract

본 발명은, 사용자의 신체 능력을 측정하고, 신체 능력을 기반으로 사용자의 신체 특성 정보를 생성하며, 확장 현실 콘텐츠를 실행하고, 사용자의 신체를 이용한 사용자 입력을 수신하여 확장 현실 콘텐츠를 제어하고, 신체 특성 정보를 기반으로 확장 현실 콘텐츠에 사용자의 신체 능력을 증강하여, 사용자 입력에 따른 사용자의 신체와 관련된 출력을 조정하는, 신체 능력 증강 방법을 제공한다.The present invention provides a method for enhancing physical abilities, which comprises: measuring a user's physical abilities, generating the user's body characteristic information based on the physical abilities, executing extended reality content, receiving user input using the user's body to control the extended reality content, augmenting the user's physical abilities in the extended reality content based on the body characteristic information, and adjusting an output related to the user's body according to the user input.

Description

METHOD AND SYSTEM FOR ENHANCING PHYSICAL ABILITIES IN EXTENDED REALITY USING PHYSICAL CHARACTERISTICS

본 발명은 신체 특성을 이용한 확장 현실에서의 신체 능력 증강 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for enhancing physical abilities in extended reality using body characteristics.

최근, 가상 현실(VR, Virtual Reality), 증강 현실(AR, Augmented Reality) 및 혼합 현실(MR, Mixed Reality)을 포괄하는 확장 현실에 대한 관심이 증대되고 있으며, 이에 따라, 다양한 목적을 갖는 확장 현실 콘텐츠들이 개발되고 있다.Recently, interest in extended reality, which includes virtual reality (VR), augmented reality (AR), and mixed reality (MR), has been increasing, and accordingly, extended reality contents with various purposes are being developed.

특히, 이러한 확장 현실 콘텐츠들은 사용자의 움직임을 측정하여 확장 현실 공간에 재현하기 위한 복수의 센서들과, 확장 현실 공간에서의 상호작용에 따라 다양한 종류의 자극을 제공하도록 구성되기도 한다.In particular, these extended reality contents are configured with multiple sensors to measure the user's movements and reproduce them in the extended reality space, and to provide various types of stimuli according to the interaction in the extended reality space.

예를 들어, 확장 현실 콘텐츠는 카메라를 이용하여 사용자의 전신 또는, 신체 일부를 실시간으로 인식하고, 인식된 사용자의 동작을 확장 현실 콘텐츠에 구현한다. 또한, 다른 방식으로, 확장 현실 콘텐츠는 핸드-헬드(Hand-Held) 컨트롤러를 통해 사용자의 손의 움직임을 인식하고, 인식된 사용자의 동작을 확장 현실 콘텐츠에 구현하기도 한다.For example, extended reality content recognizes the user's entire body or a part of the body in real time using a camera, and implements the recognized user's actions into the extended reality content. In addition, in another way, extended reality content recognizes the user's hand movements through a hand-held controller, and implements the recognized user's actions into the extended reality content.

이에 따라, 확장 현실 콘텐츠는 실제 공간에서의 사용자의 동작에 대응되는 움직임을 확장 현실 공간에 구현하고, 확장 현실 공간에서 구현된 움직임에 따라 미리 정해진 상호작용을 실행하게 된다.Accordingly, the extended reality content implements movements corresponding to the user's movements in the real space in the extended reality space, and executes predetermined interactions according to the movements implemented in the extended reality space.

본 발명은 사용자의 신체 능력을 측정하고, 확장 현실 공간에 상기 측정된 사용자의 신체 능력을 증강하는 신체 능력 증강 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for enhancing physical abilities of a user by measuring the user's physical abilities and enhancing the user's measured physical abilities in an extended reality space.

위에서 살펴본 과제를 해결하기 위하여, 본 발명에 따른 신체 능력 증강 방법은, 사용자의 신체 능력을 측정하는 단계; 상기 측정된 신체 능력을 기반으로 상기 사용자의 신체 특성 정보를 생성하는 단계; 확장 현실 콘텐츠를 실행하고, 상기 사용자의 신체를 이용한 사용자 입력을 수신하여 상기 확장 현실 콘텐츠를 제어하는 단계; 및 상기 신체 특성 정보를 기반으로 상기 확장 현실 콘텐츠에 상기 사용자의 신체 능력을 증강하여, 상기 사용자 입력에 따른 상기 사용자의 신체와 관련된 출력을 조정하는 단계를 포함할 수 있다.In order to solve the problem discussed above, a method for enhancing physical abilities according to the present invention may include: a step of measuring a user's physical ability; a step of generating body characteristic information of the user based on the measured body ability; a step of executing extended reality content and receiving a user input using the user's body to control the extended reality content; and a step of enhancing the user's body ability in the extended reality content based on the body characteristic information and adjusting an output related to the user's body according to the user input.

또한, 본 발명에 따른 신체 능력 증강 시스템은, 확장 현실 콘텐츠와 관련된 정보가 저장되는 저장부; 및 사용자의 신체 능력을 측정하고, 상기 측정된 신체 능력을 기반으로 상기 사용자의 신체 특성 정보를 생성하며, 확장 현실 콘텐츠를 실행하고, 상기 사용자의 신체를 이용한 사용자 입력을 수신하여 상기 확장 현실 콘텐츠를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 신체 특성 정보를 기반으로 상기 확장 현실 콘텐츠에 상기 사용자의 신체 능력을 증강하여, 상기 사용자 입력에 따른 상기 사용자의 신체와 관련된 출력을 조정할 수 있다.In addition, a physical ability augmentation system according to the present invention includes a storage unit for storing information related to extended reality content; and a control unit for measuring a physical ability of a user, generating body characteristic information of the user based on the measured physical ability, executing extended reality content, and receiving user input using the user's body to control the extended reality content, wherein the control unit can augment the physical ability of the user with the extended reality content based on the body characteristic information, and adjust an output related to the user's body according to the user input.

또한, 본 발명에 따른 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램은, 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서, 상기 프로그램은, 사용자의 신체 능력을 측정하는 단계; 상기 측정된 신체 능력을 기반으로 상기 사용자의 신체 특성 정보를 생성하는 단계; 확장 현실 콘텐츠를 실행하고, 상기 사용자의 신체를 이용한 사용자 입력을 수신하여 상기 확장 현실 콘텐츠를 제어하는 단계; 및 상기 신체 특성 정보를 기반으로 상기 확장 현실 콘텐츠에 상기 사용자의 신체 능력을 증강하여, 상기 사용자 입력에 따른 상기 사용자의 신체와 관련된 출력을 조정하는 단계를 수행하도록 하는 명령어들을 포함할 수 있다.In addition, a program stored in a computer-readable recording medium according to the present invention is a program stored in a computer-readable recording medium, which is executed by one or more processors in an electronic device, and which includes commands to perform the steps of: measuring a physical ability of a user; generating body characteristic information of the user based on the measured physical ability; executing an extended reality content and receiving a user input using the user's body to control the extended reality content; and augmenting the user's body ability in the extended reality content based on the body characteristic information and adjusting an output related to the user's body according to the user input.

본 발명의 다양한 실시예에 따르면, 신체 능력 증강 방법 및 시스템은 사용자의 신체 능력을 측정하고, 측정된 신체 능력을 확장 현실 공간에 증강시킴으로써, 사용자의 신체 능력에 맞춰 확장 현실 콘텐츠를 개인화하고, 이를 통해, 사용자가 확장 현실 콘텐츠에 대한 별도의 조정 없이도 신체 능력에 맞춰 설정이 변경된 확장 현실 콘텐츠를 즐길 수 있도록 구현될 수 있다.According to various embodiments of the present invention, a method and system for augmenting physical abilities can be implemented to measure a user's physical abilities, augment the measured physical abilities in an extended reality space, thereby personalizing extended reality content according to the user's physical abilities, and thereby allowing the user to enjoy extended reality content with settings changed according to the user's physical abilities without separate adjustment of the extended reality content.

따라서, 신체 능력 증강 방법 및 시스템은 신체 능력이 저하된 사용자도 확장 현실 콘텐츠를 용이하게 즐길 수 있도록 구현될 수 있다.Therefore, a method and system for augmenting physical abilities can be implemented so that even users with reduced physical abilities can easily enjoy extended reality content.

또한, 본 발명의 다양한 실시예에 따르면, 신체 능력 증강 방법 및 시스템은 사용자의 신체 능력에 근거하여 확장 현실 콘텐츠와 관련된 상호작용에 대한 설정을 조정함으로써, 서로 다른 신체 능력을 가진 사용자들이 확장 현실 콘텐츠를 유사한 수준으로 즐길 수 있도록 구현될 수 있다.In addition, according to various embodiments of the present invention, the method and system for augmenting physical abilities can be implemented so that users with different physical abilities can enjoy extended reality content at a similar level by adjusting settings for interactions related to extended reality content based on the physical abilities of the users.

도 1 및 도 2는 본 발명에 따른 신체 능력 증강 시스템을 도시한다.
도 3은 본 발명에 따른 신체 능력 증강 방법의 순서도이다.
도 4 내지 도 7은 신체 능력을 측정하는 일 실시예를 도시한다.
도 8 내지 도 10은 신체 특성 정보에 근거하여 설정 정보를 조정하는 일 실시예를 도시한다.Figures 1 and 2 illustrate a physical ability enhancement system according to the present invention.
Figure 3 is a flow chart of a method for enhancing physical abilities according to the present invention.
Figures 4 to 7 illustrate an embodiment of measuring physical ability.
Figures 8 to 10 illustrate an embodiment of adjusting setting information based on body characteristic information.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments disclosed in this specification will be described in detail with reference to the attached drawings. Regardless of the drawing symbols, identical or similar components will be given the same reference numerals and redundant descriptions thereof will be omitted. The suffixes "module" and "part" used for components in the following description are assigned or used interchangeably only for the convenience of writing the specification, and do not have distinct meanings or roles in themselves. In addition, when describing embodiments disclosed in this specification, if it is determined that a specific description of a related known technology may obscure the gist of the embodiments disclosed in this specification, the detailed description thereof will be omitted. In addition, the attached drawings are only intended to facilitate easy understanding of the embodiments disclosed in this specification, and the technical ideas disclosed in this specification are not limited by the attached drawings, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and technical scope of the present invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms. The terms are used only to distinguish one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When it is said that a component is "connected" or "connected" to another component, it should be understood that it may be directly connected or connected to that other component, but that there may be other components in between. On the other hand, when it is said that a component is "directly connected" or "directly connected" to another component, it should be understood that there are no other components in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, it should be understood that terms such as “comprises” or “have” are intended to specify the presence of a feature, number, step, operation, component, part or combination thereof described in the specification, but do not exclude in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts or combinations thereof.

도 1 및 도 2는 본 발명에 따른 신체 능력 증강 시스템을 도시한다.Figures 1 and 2 illustrate a physical ability enhancement system according to the present invention.

도 1을 참조하면, 본 발명에 따른 신체 능력 증강 시스템(100)은 사용자 단말을 통해 실행되는 확장 현실 콘텐츠(5)에 사용자의 신체 능력을 증강할 수 있다.Referring to FIG. 1, the physical ability enhancement system (100) according to the present invention can enhance the physical ability of a user through extended reality content (5) executed through a user terminal.

여기에서, 확장 현실 콘텐츠(5)는 가상 현실(VR, Virtual Reality), 증강 현실(AR, Augmented Reality), 혼합 현실(MR, Mixed Reality) 및 확장 현실(XR, eXtended Reality) 등의 가상 공간에서 구현되어 제공되는 것일 수 있다.Here, the extended reality content (5) may be implemented and provided in a virtual space such as virtual reality (VR), augmented reality (AR), mixed reality (MR), and extended reality (XR).

예를 들어, 확장 현실 콘텐츠(5)는 가상 공간에 가상 객체가 구현되어, 가상 객체에 대한 사용자 입력에 따라 미리 정해진 상호작용을 제공하는 콘텐츠일 수 있고, 또는, 외부에서 측정되는 일련의 정보에 대하여 미리 정해진 알고리즘에 따라 산출된 정보를 사용자에게 제공하는 콘텐츠일 수도 있다.For example, extended reality content (5) may be content in which a virtual object is implemented in a virtual space and provides a predetermined interaction according to user input for the virtual object, or may be content that provides the user with information calculated according to a predetermined algorithm for a series of information measured externally.

다른 예를 들면, 확장 현실 콘텐츠(5)는 게임 콘텐츠, 교육용 콘텐츠, 건강 관리 콘텐츠 등 다양한 콘텐츠가 참조될 수 있다. 이와 같이, 확장 현실 콘텐츠(5)는 사용자 단말을 통해 제공될 수 있는 다양한 콘텐츠들이 참조될 수 있다.For another example, the extended reality content (5) may refer to various contents such as game content, educational content, and health management content. In this way, the extended reality content (5) may refer to various contents that may be provided through a user terminal.

이를 위해, 사용자 단말은 태블릿, 개인 컴퓨터, 스마트폰 및 웨어러블 장비 등이 참조될 수 있다. 이에 따라, 사용자 단말은 입력 장치 및 출력 장치를 포함하거나, 또는, 입력 장치 및 출력 장치와 무선 또는 유선 네트워크를 통해 연결될 수 있으며, 이를 통해, 입력 장치를 통해 사용자 입력을 수신하고, 출력 장치를 통해 확장 현실 콘텐츠와 관련된 정보를 표시할 수 있다.For this purpose, the user terminal may refer to a tablet, a personal computer, a smartphone, a wearable device, etc. Accordingly, the user terminal may include an input device and an output device, or may be connected to the input device and the output device via a wireless or wired network, thereby receiving user input via the input device and displaying information related to the extended reality content via the output device.

이때, 입력 장치는 사용자 입력을 수신하거나, 사용자의 동작을 인식하기 위한 것으로서, 예를 들면, 핸드 헬드(Hand-Held) 컨트롤러, 카메라, 웨어러블 장치, 복수의 압력 센서가 탑재된 플레이트 등이 참조될 수 있다.At this time, the input device is for receiving user input or recognizing user actions, and may refer to, for example, a hand-held controller, a camera, a wearable device, a plate equipped with multiple pressure sensors, etc.

또한, 출력 장치는 사용자에게 시각적, 청각적 및 촉각적 자극을 제공하기 위한 것으로서, 예를 들면, 디스플레이 장치, 스피커, 이어폰, 진동 소자가 내장된 핸드-헬드 컨트롤러, 웨어러블 장치 및 빔 프로젝터 등이 참조될 수 있다.In addition, output devices may be referenced as being for providing visual, auditory and tactile stimulation to the user, for example, display devices, speakers, earphones, hand-held controllers with built-in vibrating elements, wearable devices and beam projectors.

이와 관련하여, 확장 현실 콘텐츠(5)는 멀티모달을 기반으로 구성된 입력 장치에 의하여 사용자 입력을 수신할 수 있으며, 사용자 입력에 대응되는 출력을 제공하는 과정에서, 멀티모달을 기반으로 구성된 출력 장치를 통해 소정의 출력을 제공할 수 있다.In this regard, the extended reality content (5) can receive user input through an input device configured based on multimodality, and in the process of providing output corresponding to the user input, can provide a predetermined output through an output device configured based on multimodality.

멀티모달은 확장 현실 콘텐트에 대한 입력 방식 및 출력 방식 중 적어도 하나를 정의하는 것일 수 있다. 즉, 멀티모달은 다양한 방식의 입력 방식 및 출력 방식 중 적어도 하나가 참조되며, 실시예에 따라, 멀티모달은 마우스, 터치 패드 등이 이용되는 위치 입력 방식, 마이크 등이 이용되는 음성 입력 방식, 키보드 등이 이용되는 문자 입력 방식, 스피커 등이 이용되는 음성 출력 방식, 햅틱 장치 등이 이용되는 촉각 출력 방식, 모니터, TV 등이 이용되는 시각 출력 방식이 참조될 수 있다.Multimodal may define at least one of the input method and the output method for the extended reality content. That is, multimodal refers to at least one of various input methods and output methods, and according to an embodiment, multimodal may refer to a positional input method using a mouse, a touch pad, etc., a voice input method using a microphone, etc., a character input method using a keyboard, etc., a voice output method using a speaker, etc., a tactile output method using a haptic device, etc., and a visual output method using a monitor, a TV, etc.

한편, 신체 능력 증강 시스템(100)은 태블릿, 개인 컴퓨터, 스마트폰 및 웨어러블 장비 등의 사용자 단말을 통해 제공되도록 구현될 수 있으며, 예를 들어, 신체 능력 증강 시스템(100)은 애플리케이션(Application) 또는 소프트웨어(Software)의 형태로 제공되거나, 웹 페이지 상에서 제공될 수 있다.Meanwhile, the physical ability enhancement system (100) may be implemented to be provided through user terminals such as tablets, personal computers, smartphones, and wearable devices, and for example, the physical ability enhancement system (100) may be provided in the form of an application or software, or may be provided on a web page.

신체 능력은 사용자의 신체와 관련된 능력을 의미할 수 있으며, 예를 들어, 신체 능력은 사용자의 청각(1), 시각(2), 촉각(3), 동작(4)의 가동 범위(또는, 유연성), 신체 부위의 크기 등을 포함할 수 있다.Physical abilities may refer to abilities related to the user's body, for example, physical abilities may include the user's hearing (1), vision (2), touch (3), range of motion (or flexibility) of movement (4), size of body parts, etc.

즉, 신체 능력은, 사용자의 청각(1)과 관련하여, 가청 주파수 범위, 인지 가능한 최소 소리 강도 및 청각에 대한 반응 속도 등을 포함하고, 사용자의 시각(2)과 관련하여, 색약 여부, 동체 시력 및 시각에 대한 반응 속도 등을 포함할 수 있다.That is, physical abilities may include, with respect to the user's hearing (1), audible frequency range, minimum perceptible sound intensity, and reaction speed to hearing, and with respect to the user's vision (2), color blindness, dynamic vision, and reaction speed to vision, etc.

또한, 신체 능력은, 사용자의 촉각(3)과 관련하여, 인지 가능한 최소 촉각 강도, 인지 가능한 촉각 위치 및 촉각에 대한 반응 속도 등을 포함하고, 사용자의 동작(4)과 관련하여, 사용자의 체형, 신체의 가동 범위 및 보폭 등을 포함할 수 있다.In addition, physical abilities may include, with respect to the user's sense of touch (3), the minimum perceptible tactile intensity, the perceptible tactile location, and the speed of response to touch, and with respect to the user's movement (4), the user's body shape, range of motion of the body, and stride, etc.

이와 관련하여, 본 발명에 따른 신체 능력 증강 시스템(100)은 신체 능력 측정 프로그램(101)에 따른 신체 능력 측정 프로세스를 실행함으로써, 사용자의 신체 능력에 대응되는 신체 특성 정보(103)를 생성할 수 있다.In this regard, the physical ability enhancement system (100) according to the present invention can generate physical characteristic information (103) corresponding to the user's physical ability by executing a physical ability measurement process according to a physical ability measurement program (101).

여기에서, 신체 특성 정보는 신체 능력 측정 프로세스를 통해 측정된 사용자의 신체 능력에 대응되도록 생성될 수 있다. 따라서, 신체 특성 정보는 청각 정보, 시각 정보, 촉각 정보 및 동작 정보를 포함할 수 있다.Here, the body characteristic information can be generated to correspond to the user's physical ability measured through the physical ability measurement process. Accordingly, the body characteristic information can include auditory information, visual information, tactile information, and motion information.

예를 들어, 청각 정보는 신체 능력 측정 프로세스에 따라 측정된 가청 주파수, 인지 가능한 최소 음성 크기, 주파수별 반응 속도 및 음성 크기별 반응 속도 등과 관련된 정보가 포함될 수 있고, 시각 정보는 신체 능력 측정 프로세스에 따라 측정된 색맹 여부, 인지 영역, 시각 반응 속도, 색상별 반응 속도, 동체 시력 및 적정 해상도 등과 관련된 정보가 포함될 수 있다.For example, auditory information may include information related to audible frequency, minimum perceptible voice loudness, frequency-specific reaction speed, and voice loudness-specific reaction speed measured according to a physical ability measurement process, and visual information may include information related to color blindness, cognitive domain, visual reaction speed, color-specific reaction speed, dynamic visual acuity, and optimal resolution measured according to a physical ability measurement process.

또한, 촉각 정보는 신체 능력 측정 프로세스에 따라 측정된 최소 진동 강도, 진동 크기별 반응 속도 및 인지 부위 등과 관련된 정보가 포함될 수 있고, 동작 정보는 신체 능력 측정 프로세스에 따라 측정된 신체 부위별 가동 범위, 신체 부위별 크기, 최대 입력 강도, 최소 입력 강도, 보폭 및 반응 속도 등과 관련된 정보가 포함될 수 있다.In addition, the tactile information may include information related to the minimum vibration intensity, reaction speed by vibration size, and recognition area measured according to the physical ability measurement process, and the motion information may include information related to the range of motion by body part, size by body part, maximum input intensity, minimum input intensity, stride, and reaction speed measured according to the physical ability measurement process.

이를 위해, 신체 능력 측정 프로세스는 사용자의 신체 능력을 측정하여 신체 특성 정보를 생성하도록 구현될 수 있다. 즉, 신체 능력 증강 시스템(100)은 신체 능력 측정 프로세스를 실행함으로써, 사용자 단말을 통해 사용자의 신체 능력을 측정할 수 있도록 미리 정해진 신호를 출력하고, 사용자 입력에 근거하여 신체 특성 정보를 생성할 수 있다.To this end, the physical ability measurement process can be implemented to measure the user's physical ability and generate body characteristic information. That is, the physical ability enhancement system (100) can output a predetermined signal so as to measure the user's physical ability through the user terminal by executing the physical ability measurement process, and generate body characteristic information based on the user input.

예를 들어, 신체 능력 증강 시스템(100)은 신체 능력 측정 프로세스를 실행하여 사용자 단말에 연결된 출력 장치를 통해 음성 신호를 출력하고, 음성 신호에 대응되는 사용자 입력에 따라 청각 정보를 생성할 수 있다.For example, the physical ability enhancement system (100) can execute a physical ability measurement process to output a voice signal through an output device connected to a user terminal and generate auditory information according to a user input corresponding to the voice signal.

이때, 신체 능력 증강 시스템(100)은 서로 다른 대역을 갖는 복수의 주파수의 음성 신호를 출력하고 사용자 입력을 수신함으로써, 가청 주파수와 관련된 정보를 생성하고, 복수의 음성 크기를 음성 신호를 출력하고 사용자 입력을 수신함으로써, 인지 가능한 최소 음성 크기와 관련된 정보를 생성할 수 있다.At this time, the physical ability enhancement system (100) can generate information related to audible frequencies by outputting voice signals of multiple frequencies having different bands and receiving user input, and can generate information related to the minimum recognizable voice size by outputting voice signals of multiple voice sizes and receiving user input.

다른 예를 들면, 신체 능력 증강 시스템(100)은 신체 능력 측정 프로세스를 실행하여 사용자 단말에 연결된 출력 장치를 통해 디스플레이 신호를 출력하고, 디스플레이 신호에 대응되는 사용자 입력에 따라 시각 정보를 생성할 수 있다.As another example, the physical ability enhancement system (100) may execute a physical ability measurement process to output a display signal through an output device connected to a user terminal, and generate visual information according to a user input corresponding to the display signal.

이때, 신체 능력 증강 시스템(100)은 서로 다른 색상이 적용된 복수의 가상 객체들을 표시하는 디스플레이 신호를 출력하고 복수의 가상 객체들 중 어느 하나에 대한 사용자 입력을 수신함으로써, 색맹 여부 및 적정 해상도와 관련된 정보를 생성하고, 서로 다른 속도로 변화하는 복수의 가상 객체들을 표시하는 디스플레이 신호를 출력하고 복수의 가상 객체들 중 어느 하나에 대한 사용자 입력을 수신함으로써, 동체 시력과 관련된 정보를 생성할 수 있다.At this time, the physical ability enhancement system (100) can generate information related to color blindness and appropriate resolution by outputting a display signal that displays a plurality of virtual objects with different colors applied and receiving a user input for any one of the plurality of virtual objects, and can generate information related to dynamic vision by outputting a display signal that displays a plurality of virtual objects that change at different speeds and receiving a user input for any one of the plurality of virtual objects.

또 다른 예를 들면, 신체 능력 증강 시스템(100)은 신체 능력 측정 프로세스를 실행하여 사용자 단말에 연결된 출력 장치를 통해 진동 신호를 출력하고, 진동 신호에 대응되는 사용자 입력에 따라 촉각 정보를 생성할 수 있다.As another example, the physical ability enhancement system (100) can execute a physical ability measurement process to output a vibration signal through an output device connected to a user terminal, and generate tactile information according to a user input corresponding to the vibration signal.

이때, 신체 능력 증강 시스템(100)은 서로 다른 크기의 진동 신호를 출력하고 사용자 입력을 수신함으로써, 최소 진동 강도와 관련된 정보를 생성하고, 출력 장치에 대하여 서로 다른 위치에 탑재된 진동 소자를 진동시키기 위한 진동 신호를 출력하고, 사용자 입력을 수신함으로써, 인지 부위와 관련된 정보를 생성할 수 있다.At this time, the physical ability enhancement system (100) can generate information related to the minimum vibration intensity by outputting vibration signals of different sizes and receiving user input, and can generate information related to the cognitive region by outputting vibration signals for vibrating vibration elements mounted at different locations with respect to the output device and receiving user input.

다른 예를 들면, 신체 능력 증강 시스템(100)은 신체 능력 측정 프로세스를 실행하여 사용자 단말에 연결된 출력 장치를 통해 음성 신호 또는, 디스플레이 신호를 출력하고, 음성 신호 또는, 디스플레이 신호에 대응되는 사용자의 동작을 인식하여 동작 정보를 생성할 수 있다.As another example, the physical ability enhancement system (100) may execute a physical ability measurement process to output a voice signal or a display signal through an output device connected to a user terminal, and recognize a user's motion corresponding to the voice signal or the display signal to generate motion information.

이때, 신체 능력 증강 시스템(100)은 사용자에게 특정 동작을 요구하는 음성 신호 또는, 디스플레이 신호를 출력하고 사용자의 동작을 인식하여 신체 부위별 가동 범위, 신체 부위별 크기, 최대 입력 강도, 최소 입력 강도 및 반응 속도 등과 관련된 정보를 생성할 수 있다.At this time, the physical ability enhancement system (100) can output a voice signal or a display signal requesting a specific action from the user and recognize the user's action to generate information related to the range of motion for each body part, size for each body part, maximum input intensity, minimum input intensity, and reaction speed.

나아가, 본 발명에 따른 신체 능력 증강 시스템(100)은 신체 특성 정보를 기반으로 확장 현실 콘텐츠에 사용자의 신체 능력을 증강하여, 사용자 입력에 따른 사용자의 신체와 관련된 출력을 조정할 수 있다.Furthermore, the physical ability enhancement system (100) according to the present invention can enhance the physical ability of the user in extended reality content based on body characteristic information, and adjust the output related to the user's body according to the user's input.

이를 위해, 신체 능력 증강 시스템(100)은 신체 특성 정보에 근거하여 사용자 단말에 연결된 입력 장치 및 출력 장치 중 적어도 하나에 대한 설정 정보를 조정할 수 있다.To this end, the physical ability enhancement system (100) can adjust setting information for at least one of the input device and output device connected to the user terminal based on the physical characteristic information.

예를 들어, 설정 정보는 사용자의 동작에 따른 입력 장치의 감도, 카메라를 통해 인식되는 사용자의 동작 범위, 출력 장치를 통해 출력되는 진동 및 음성의 강도, 디스플레이 색상 값, 디스플레이 해상도 및 출력 장치를 통해 출력되는 진동의 위치 등과 관련된 정보를 포함할 수 있다.For example, the configuration information may include information related to the sensitivity of an input device according to a user's motion, the range of the user's motion recognized through a camera, the intensity of vibration and voice output through an output device, display color values, display resolution, and the location of vibration output through an output device.

상기와 같은 구성들을 통해, 본 발명에 따른 신체 능력 증강 시스템(100)은 사용자의 신체 능력을 확장 현실 콘텐츠에 증강시킴으로써, 사용자에게 보다 현실적인 확장 현실 콘텐츠를 제공할 수 있다.Through the above configurations, the physical ability enhancement system (100) according to the present invention can provide more realistic extended reality content to the user by enhancing the user's physical ability with extended reality content.

이를 위해, 도 2를 참조하면, 본 발명에 따른 신체 능력 증강 시스템(100)은 입력부(110), 출력부(130), 저장부(120) 및 제어부(140)를 포함할 수 있다.To this end, referring to FIG. 2, the physical ability enhancement system (100) according to the present invention may include an input unit (110), an output unit (130), a storage unit (120), and a control unit (140).

입력부(110)는 입력 장치(6)와 연결되어, 사용자 입력을 수신할 수 있다. 예를 들어, 입력부(110)는 핸드 헬드 컨트롤러로부터 사용자 입력을 수신할 수 있고, 카메라로부터 사용자의 동작이 촬영된 영상 정보를 수신하며, 웨어러블 장치로부터 사용자의 동작과 관련하여 측정된 센싱 정보를 수신하고, 압력 센서가 탑재된 플레이트로부터 사용자의 위치 및 동작과 관련하여 측정된 센싱 정보를 수신할 수 있다.The input unit (110) is connected to the input device (6) and can receive user input. For example, the input unit (110) can receive user input from a handheld controller, receive image information of the user's movement captured from a camera, receive sensing information measured in relation to the user's movement from a wearable device, and receive sensing information measured in relation to the user's position and movement from a plate equipped with a pressure sensor.

출력부(130)는 출력 장치(8)와 연결되어, 사용자에게 시각적, 청각적 및 촉각적 자극을 제공하도록 생성된 신호를 출력할 수 있다. 예를 들어, 출력부(130)는 디스플레이 장치를 통해 디스플레이 신호를 출력하고, 스피커 및 이어폰을 통해 음성 신호를 출력하며, 핸드-헬드 컨트롤러 및 웨어러블 장치를 통해 진동 신호를 출력할 수 있다.The output unit (130) is connected to the output device (8) and can output a signal generated to provide visual, auditory, and tactile stimulation to the user. For example, the output unit (130) can output a display signal through a display device, output a voice signal through a speaker and earphones, and output a vibration signal through a hand-held controller and a wearable device.

저장부(120)는 본 발명에 따른 신체 능력 증강 시스템(100)의 동작에 필요한 정보 및 명령어들이 저장될 수 있다. 예를 들어, 저장부(120)는 신체 능력 측정 프로그램(101)이 저장되고, 신체 능력 측정 프로그램에 따른 신체 능력 측정 프로세스를 통해 측정된 신체 특성 정보(103)가 저장될 수 있다. 다른 예를 들면, 저장부(120)는 확장 현실 콘텐츠(5)와 관련된 정보 및, 입력 장치 및 출력 장치에 대한 설정 정보가 저장될 수 있다.The storage unit (120) can store information and commands necessary for the operation of the physical ability enhancement system (100) according to the present invention. For example, the storage unit (120) can store a physical ability measurement program (101) and can store physical characteristic information (103) measured through a physical ability measurement process according to the physical ability measurement program. As another example, the storage unit (120) can store information related to extended reality content (5) and setting information for input devices and output devices.

제어부(140)는 본 발명에 따른 신체 능력 증강 시스템(100)의 전반적인 동작을 수행할 수 있다. 예를 들어, 제어부(140)는 신체 능력 측정 프로그램(101)을 실행하여 사용자에 대한 신체 특성 정보(103)를 생성할 수 있다.The control unit (140) can perform the overall operation of the physical ability enhancement system (100) according to the present invention. For example, the control unit (140) can execute a physical ability measurement program (101) to generate physical characteristic information (103) about the user.

또한, 제어부(140)는 확장 현실 콘텐츠를 실행시키고, 사용자 입력에 근거하여 확장 현실 콘텐츠를 제어하며, 신체 특성 정보(103)에 근거하여 확장 현실 콘텐츠(또는, 입력 장치 및 출력 장치)와 관련된 설정 정보를 조정할 수 있다.In addition, the control unit (140) can execute extended reality content, control extended reality content based on user input, and adjust setting information related to extended reality content (or input device and output device) based on body characteristic information (103).

이상에서 살펴본 신체 능력 증강 시스템(100)의 구성에 근거하여, 아래에서는 신체 능력 측정 방법에 대해 보다 구체적으로 설명하도록 한다.Based on the configuration of the physical ability enhancement system (100) discussed above, the physical ability measurement method will be described in more detail below.

도 3은 본 발명에 따른 신체 능력 증강 방법의 순서도이다. 도 4 내지 도 7은 신체 능력을 측정하는 일 실시예를 도시한다. 도 8 내지 도 10은 신체 특성 정보에 근거하여 설정 정보를 조정하는 일 실시예를 도시한다.Figure 3 is a flow chart of a method for enhancing physical abilities according to the present invention. Figures 4 to 7 illustrate an embodiment of measuring physical abilities. Figures 8 to 10 illustrate an embodiment of adjusting setting information based on body characteristic information.

도 3을 참조하면, 본 발명에 따른 신체 능력 증강 시스템(100)은 사용자의 신체 능력을 측정하고(S100), 측정된 신체 능력을 기반으로 사용자의 신체 특성 정보를 생성할 수 있다(S200).Referring to FIG. 3, the physical ability enhancement system (100) according to the present invention can measure the physical ability of a user (S100) and generate the user's physical characteristic information based on the measured physical ability (S200).

구체적으로, 신체 능력 증강 시스템(100)은 미리 마련된 신체 능력 측정 프로세스를 실행하고, 신체 능력 측정 프로세스에 따른 사용자 입력에 근거하여 사용자의 신체 능력에 대응되는 신체 특성 정보를 생성할 수 있다.Specifically, the physical ability enhancement system (100) can execute a pre-established physical ability measurement process and generate physical characteristic information corresponding to the user's physical ability based on user input according to the physical ability measurement process.

예를 들어, 신체 능력 증강 시스템(100)은 사용자 단말에 연결된 출력 장치에, 신체 능력 측정 프로세스에 따라 측정하고자 하는 신체 능력과 관련하여 미리 정해진 신호를 출력하고, 상기 출력된 신호에 따른 사용자 입력에 근거하여 신체 특성 정보를 생성할 수 있다.For example, the physical ability enhancement system (100) can output a predetermined signal related to a physical ability to be measured according to a physical ability measurement process to an output device connected to a user terminal, and generate physical characteristic information based on a user input according to the output signal.

다른 예를 들면, 신체 능력 증강 시스템(100)은 사용자 단말에 연결된 음성 출력 장치를 통해 미리 정해진 음성 신호를 출력하고, 음성 신호에 대응되는 사용자 입력에 근거하여 청각 정보를 생성할 수 있다.As another example, the physical ability enhancement system (100) can output a predetermined voice signal through a voice output device connected to a user terminal and generate auditory information based on a user input corresponding to the voice signal.

도 4의 (a)를 참조하면, 신체 능력 증강 시스템(100)은 서로 다른 복수의 주파수별로 미리 정해진 음성 신호를 출력하고, 음성 신호에 따른 사용자의 동작을 인식하며, 인식된 사용자의 동작이 미리 정해진 기준 동작에 대응되는 경우 해당 음성 신호에 대응되는 주파수 대역을 가청 주파수 대역으로서 청각 정보를 생성할 수 있다.Referring to (a) of FIG. 4, the physical ability enhancement system (100) outputs a predetermined voice signal for each of a plurality of different frequencies, recognizes a user's motion according to the voice signal, and if the recognized user's motion corresponds to a predetermined reference motion, generates auditory information as an audible frequency band for a frequency band corresponding to the voice signal.

이때, 신체 능력 증강 시스템(100)은 복수의 주파수별 음성 신호 중, 가장 잘 들린 주파수의 음성 신호에 대한 사용자 입력을 수신할 수도 있다. 이러한 경우에, 신체 능력 증강 시스템(100)은 사용자 입력에 대응되는 주파수 대역을 사용자의 신체 능력과 관련된 최적 주파수 대역으로서 청각 정보를 생성할 수 있다.At this time, the physical ability enhancement system (100) may receive a user input for a voice signal of the most audible frequency among multiple frequency-specific voice signals. In this case, the physical ability enhancement system (100) may generate auditory information as an optimal frequency band related to the user's physical ability for a frequency band corresponding to the user input.

또한, 도 4의 (b)를 참조하면, 신체 능력 증강 시스템(100)은 서로 다른 복수의 크기별로 미리 정해진 음성 신호를 출력하고, 음성 신호에 따른 사용자의 동작을 인식하며, 인식된 사용자의 동작이 미리 정해진 기준 동작에 대응되는 경우 해당 음성 신호에 대응되는 크기의 음량을 최소 인지 가능한 음성 강도로서 청각 정보를 생성할 수 있다.In addition, referring to (b) of FIG. 4, the physical ability enhancement system (100) can output a predetermined voice signal according to a plurality of different sizes, recognize a user's motion according to the voice signal, and, if the recognized user's motion corresponds to a predetermined reference motion, generate auditory information as a minimum perceptible voice intensity with a volume corresponding to the corresponding voice signal.

이때, 신체 능력 증강 시스템(100)은 서로 다른 복수의 크기별로 미리 정해진 음성 신호를 출력하기 전, 사용자가 미리 정해진 위치에 도달했는지 여부를 판단하기 위해 사용자의 동작(또는, 발판에서의 사용자의 위치)을 인식할 수 있다.At this time, the physical ability enhancement system (100) can recognize the user's movement (or the user's position on the footrest) to determine whether the user has reached a predetermined position before outputting a predetermined voice signal of different sizes.

일 실시예에서, 신체 능력 증강 시스템(100)은 사용자가 카메라의 정면에서 정렬 동작을 수행하도록 유도하고, 카메라를 통해 사용자의 얼굴을 촬영하여 영상 정보를 생성하며, 영상 정보에서 사용자의 얼굴을 인식하여 얼굴 크기가 미리 정해진 기준 크기에 대응되는지 여부에 따라 사용자가 기준 동작을 수행했는지 여부를 판단할 수 있다.In one embodiment, the physical ability augmentation system (100) can induce a user to perform an alignment movement in front of a camera, capture the user's face through the camera to generate image information, recognize the user's face in the image information, and determine whether the user has performed the reference movement based on whether the face size corresponds to a predetermined reference size.

또 다른 일 실시예에서, 신체 능력 증강 시스템(100)은 복수의 압력 센서가 탑재된 플레이트로부터 수신되는 센싱 정보에 근거하여, 미리 정해진 값 이상의 압력이 발생한 지점에 사용자가 위치한 것으로 인식할 수 있다.In another embodiment, the physical ability augmentation system (100) can recognize that the user is located at a point where a pressure greater than a predetermined value occurs based on sensing information received from a plate equipped with a plurality of pressure sensors.

다른 일 실시예에서, 신체 능력 증강 시스템(100)은 빔 프로젝트를 통해 바닥면에 미리 정해진 패턴이 구현된 발판을 출력하고, 카메라를 통해 촬영된 영상에 근거하여 사용자가 위치하는 지점에 인접한 발판 패턴을 인식하여 사용자의 위치를 인식할 수도 있다.In another embodiment, the physical ability augmentation system (100) may output a foothold with a predetermined pattern implemented on the floor surface through a beam projector, and recognize the foothold pattern adjacent to the point where the user is located based on an image captured through a camera to recognize the user's location.

이에 따라, 신체 능력 증강 시스템(100)은 상기에서 인식된 사용자의 동작(또는, 사용자의 위치)이 미리 정해진 기준 동작(또는, 기준 위치)에 대응되는 경우에 복수의 크기별로 미리 정해진 음성 신호를 출력하고, 음성 신호에 대응되는 사용자 입력을 수신함으로써 청각 정보를 생성할 수 있다.Accordingly, the physical ability enhancement system (100) can generate auditory information by outputting a plurality of predetermined voice signals by size when the user's movement (or the user's position) recognized above corresponds to a predetermined reference movement (or reference position) and receiving a user input corresponding to the voice signal.

이때, 신체 능력 증강 시스템(100)은 음성 크기가 가장 작은 음성 신호부터 음성 크기가 가장 큰 음성 신호까지 순차적으로 음성 신호를 출력할 수 있다. 이에 따라, 신체 능력 증강 시스템(100)은 음성 신호에 대응되는 사용자 입력이 수신되는 경우, 해당 음성 신호에 대응되는 음성 크기를 인지 가능한 최소 음량으로서 특정하고, 음성 신호의 출력을 중단할 수 있다.At this time, the physical ability enhancement system (100) can sequentially output voice signals from the voice signal with the smallest voice size to the voice signal with the largest voice size. Accordingly, when a user input corresponding to a voice signal is received, the physical ability enhancement system (100) can specify the voice size corresponding to the voice signal as the minimum recognizable volume and stop outputting the voice signal.

또 다른 예를 들면, 신체 능력 증강 시스템(100)은 음성 출력 장치에서의 좌측 출력 모듈 및 우측 출력 모듈 각각에 순차적으로 음성 신호를 출력하여, 좌측 청각에 대한 최소 음량 및 우측 청각에 대한 최소 음량을 특정할 수 있다.As another example, the physical ability enhancement system (100) can sequentially output voice signals to each of the left output module and the right output module of the voice output device to specify the minimum volume for the left hearing and the minimum volume for the right hearing.

다른 예를 들면, 신체 능력 증강 시스템(100)은 사용자 단말에 연결된 디스플레이 출력 장치를 통해 미리 정해진 디스플레이 신호를 출력하고, 디스플레이 신호에 대응되는 사용자 입력에 근거하여 시각 정보를 생성할 수 있다.As another example, the physical ability enhancement system (100) can output a predetermined display signal through a display output device connected to a user terminal and generate visual information based on a user input corresponding to the display signal.

도 5의 (a)를 참조하면, 신체 능력 증강 시스템(100)은 서로 다른 복수의 색상 필터들이 각각 적용된 복수의 가상 객체들(11, 12, 13, 14)을 표시하고, 복수의 가상 객체들(11, 12, 13, 14) 중 어느 하나를 선택하는 사용자 입력에 근거하여 상기 선택된 하나의 가상 객체에 적용된 색상 필터를 사용자에 대한 최적 색상 필터로서, 시각 정보를 생성할 수 있다.Referring to (a) of FIG. 5, the physical ability enhancement system (100) displays a plurality of virtual objects (11, 12, 13, 14) to which different color filters are respectively applied, and based on a user input selecting one of the plurality of virtual objects (11, 12, 13, 14), the system can generate visual information by selecting the color filter applied to the selected virtual object as an optimal color filter for the user.

이때, 신체 능력 증강 시스템(100)은 가상 객체에 적용되는 색상 필터와 관련하여, 색약 또는, 색맹을 구분하도록 미리 정해진 색상 필터를 이용함으로써, 사용자에 대한 색약 또는, 색맹 여부를 시각 정보로서 생성할 수도 있다.At this time, the physical ability enhancement system (100) may generate visual information about whether the user has color weakness or color blindness by using a color filter that is predetermined to distinguish color weakness or color blindness in relation to the color filter applied to the virtual object.

또한 도 5의 (b)를 참조하면, 신체 능력 증강 시스템(100)은 서로 다른 크기를 갖는 복수의 가상 객체들(16, 18)을 표시하고, 복수의 가상 객체들(16, 18) 중 어느 하나를 선택하는 사용자 입력에 근거하여 상기 선택된 하나의 가상 객체의 크기를 사용자에 대한 최적 객체 크기로서, 시각 정보를 생성할 수 있다.Also, referring to (b) of FIG. 5, the physical ability augmentation system (100) can display a plurality of virtual objects (16, 18) having different sizes, and generate visual information based on a user input for selecting one of the plurality of virtual objects (16, 18) as the optimal object size for the user, based on the size of the selected virtual object.

이때, 신체 능력 증강 시스템(100)은 서로 다른 해상도를 갖는 복수의 가상 객체들을 표시하여 사용자 입력을 수신함으로써, 최적 해상도에 대한 시각 정보를 생성할 수도 있다.At this time, the physical ability enhancement system (100) may generate visual information for the optimal resolution by displaying multiple virtual objects with different resolutions and receiving user input.

또한, 신체 능력 증강 시스템(100)은 복수의 가상 객체들(17, 19) 각각을 서로 다른 속도로 회전시키고, 복수의 가상 객체들(17, 19) 중 사용자가 형태를 인식할 수 있는 하나 이상의 가상 객체를 선택하는 사용자 입력에 근거하여, 동체 시력에 대한 시각 정보를 생성할 수 있다. 이때, 동체 시력을 측정하기 위해 표시되는 복수의 가상 객체들(17, 19)은 동일한 크기를 갖도록 구현될 수 있으며, 서로 다른 크기를 갖는 가상 객체에 대하여 각각 동체 시력을 측정함으로써, 객체 크기별 동체 시력에 대한 시각 정보를 생성할 수도 있다.In addition, the physical ability augmentation system (100) can generate visual information on dynamic vision based on a user input in which each of a plurality of virtual objects (17, 19) rotates at different speeds and the user selects one or more virtual objects whose shape can be recognized among the plurality of virtual objects (17, 19). At this time, the plurality of virtual objects (17, 19) displayed to measure dynamic vision can be implemented to have the same size, and by measuring dynamic vision for virtual objects having different sizes, visual information on dynamic vision according to object size can be generated.

또한, 신체 능력 증강 시스템(100)은 사용자가 시각을 통해 보기 편한 속도로 회전하는 가상 객체를 선택하도록 유도함으로써, 확장 현실 콘텐츠와 관련된 최적 애니메이션 속도에 대한 시각 정보를 생성할 수도 있다.Additionally, the physical ability augmentation system (100) may generate visual information about the optimal animation speed related to the extended reality content by prompting the user to select a virtual object that rotates at a speed that is comfortable for the user to see visually.

또 다른 예를 들면, 신체 능력 증강 시스템(100)은 사용자 단말에 연결된 햅틱 출력 장치를 통해 미리 정해진 진동 신호를 출력하고, 진동 신호에 대응되는 사용자 입력에 근거하여 촉각 정보를 생성할 수 있다.As another example, the physical ability augmentation system (100) can output a predetermined vibration signal through a haptic output device connected to a user terminal and generate tactile information based on a user input corresponding to the vibration signal.

도 6의 (a)를 참조하면, 신체 능력 증강 시스템(100)은 햅틱 출력 장치에 따른 부위별로 미리 정해진 진동 신호를 출력하고, 진동 신호에 따른 사용자의 동작을 인식하며, 인식된 사용자의 동작이 미리 정해진 기준 동작에 대응되는 경우, 해당 진동 신호에 대응되는 부위와 관련된 촉각 정보를 생성할 수 있다.Referring to (a) of FIG. 6, the physical ability enhancement system (100) outputs a predetermined vibration signal for each part according to a haptic output device, recognizes a user's motion according to the vibration signal, and if the recognized user's motion corresponds to a predetermined reference motion, can generate tactile information related to the part corresponding to the vibration signal.

이때, 촉각 정보는 햅틱 출력 장치에 탑재된 복수의 진동 센서들 중, 진동 신호가 출력된 하나 이상의 진동 센서에 대응되는 사용자의 신체 부위와 관련된 최소 진동 강도 또는, 인지 가능 부위에 대한 정보를 포함할 수 있다. 사용자의 신체 부위는 햅틱 출력 장치에 탑재된 복수의 진동 센서들의 위치에 대응하여, 사용자의 좌측 손(21) 및 우측 손(22)을 포함할 수 있으며, 햅틱 출력 장치의 형태에 따라, 복수의 손가락들 각각이 참조될 수도 있다.At this time, the tactile information may include information about a minimum vibration intensity or a recognizable part related to a body part of the user corresponding to one or more vibration sensors from which a vibration signal is output among a plurality of vibration sensors mounted on the haptic output device. The body part of the user may include the left hand (21) and the right hand (22) of the user corresponding to the positions of the plurality of vibration sensors mounted on the haptic output device, and depending on the shape of the haptic output device, each of a plurality of fingers may be referenced.

또한, 신체 능력 증강 시스템(100)은 미리 정해진 최소 강도의 진동 신호로부터 최대 강도의 진동 신호까지, 서로 다른 강도를 갖는 복수의 진동 신호를 순차적으로 출력하고, 복수의 진동 신호에 대응되는 복수의 진동 강도 중 어느 하나를 선택하는 사용자 입력에 근거하여 사용자에 대한 최적 진동 강도를, 촉각 정보로서 생성할 수도 있다.In addition, the physical ability enhancement system (100) sequentially outputs a plurality of vibration signals having different intensities from a vibration signal of a predetermined minimum intensity to a vibration signal of a maximum intensity, and may generate an optimal vibration intensity for the user as tactile information based on a user input selecting one of a plurality of vibration intensities corresponding to the plurality of vibration signals.

또한, 도 6의 (b)를 참조하면, 신체 능력 증강 시스템(100)은 서로 다른 시간 간격의 지연 시간을 갖는 복수의 가상 객체들(24, 25)을 출력하고, 복수의 가상 객체들(24, 25) 중 어느 하나를 선택하는 사용자 입력에 근거하여 사용자에 대한 최적 지연 시간(또는, 최적 반응 시간)을, 촉각 정보로서 생성할 수 있다.In addition, referring to (b) of FIG. 6, the physical ability augmentation system (100) can output a plurality of virtual objects (24, 25) having delay times of different time intervals, and generate an optimal delay time (or optimal reaction time) for the user as tactile information based on a user input selecting one of the plurality of virtual objects (24, 25).

이때, 지연 시간은 가상 객체에 대한 사용자 입력을 수신하는 시점으로부터, 가상 객체에 대한 사용자 입력에 대응하여 진동 신호가 출력되는 시점까지의 시간 간격을 의미할 수 있다. 즉, 신체 능력 증강 시스템(100)은 디스플레이 출력 장치에 표시된 가상 객체에 대하여 사용자 입력을 수신하고, 사용자 입력에 대응되는 신호를 출력하기까지의 지연 시간을 촉각 정보로서 생성할 수 있다.At this time, the delay time may mean the time interval from the time of receiving user input for the virtual object to the time of outputting a vibration signal in response to the user input for the virtual object. That is, the physical ability enhancement system (100) may generate the delay time from receiving user input for the virtual object displayed on the display output device to outputting a signal corresponding to the user input as tactile information.

다른 예를 들면, 신체 능력 증강 시스템(100)은 사용자 단말에 연결된 디스플레이 출력 장치(또는, 음성 출력 장치)를 통해 미리 정해진 디스플레이 신호(또는, 음성 신호)를 출력하고, 디스플레이 신호(또는, 음성 신호)에 대응되는 사용자의 동작을 인식하여 동작 정보를 생성할 수 있다.As another example, the physical ability enhancement system (100) can output a predetermined display signal (or voice signal) through a display output device (or voice output device) connected to a user terminal, and recognize a user's motion corresponding to the display signal (or voice signal) to generate motion information.

도 7의 (a)를 참조하면, 신체 능력 증강 시스템(100)은 디스플레이 출력 장치를 통해 미리 정해진 기준 동작을 수행하도록 안내 메시지(예를 들면, "양팔을 좌우로 벌려주세요.")를 출력할 수 있다. 이에 따라, 신체 능력 증강 시스템(100)은 카메라를 통해 사용자를 촬영하여 영상 정보로부터 사용자의 동작을 인식하고, 인식된 동작을 분석하여 사용자의 신체 크기에 대한 동작 정보를 생성할 수 있다.Referring to (a) of FIG. 7, the physical ability enhancement system (100) can output a guidance message (e.g., “Please spread both arms left and right”) to perform a predetermined reference motion through a display output device. Accordingly, the physical ability enhancement system (100) can capture a user through a camera, recognize the user’s motion from the image information, and analyze the recognized motion to generate motion information about the user’s body size.

일 실시예에서, 신체 능력 증강 시스템(100)은 영상 정보로부터 사용자의 신체 영역을 인식하고, 신체 영역에서의 최상측 지점(또는, 정수리 지점)과, 양쪽 최외측 지점(또는, 양손끝 지점)을 인식하며, 최상측 지점으로부터 양쪽 최외측 지점의 중심점까지의 제1 거리 간격(31)을 산출하고, 최상측 지점으로부터 제1 거리 간격(31)의 2 배인 제2 거리 간격(32)만큼의 신체 영역을 상체 영역으로 지정할 수 있다. 이러한 경우에, 신체 능력 증강 시스템(100)은 사용자의 신체 영역 중 상체 영역이 아닌 영역을 하체 영역으로 지정하여 동작 정보를 생성할 수 있다.In one embodiment, the physical ability augmentation system (100) recognizes a body region of the user from image information, recognizes the uppermost point (or the crown of the head) and the outermost points on both sides (or the tips of both fingers) in the body region, calculates a first distance interval (31) from the uppermost point to the center points of the outermost points on both sides, and designates a body region corresponding to a second distance interval (32) that is twice the first distance interval (31) from the uppermost point as an upper body region. In this case, the physical ability augmentation system (100) can generate motion information by designating a region of the user's body region other than the upper body region as a lower body region.

다른 일 실시예에서, 신체 능력 증강 시스템(100)은 영상 정보로부터 사용자의 신체 영역을 인식하고, 신체 영역에서의 최상측 지점(또는, 정수리 지점)과, 양쪽 최외측 지점(또는, 양손끝 지점)을 인식하며, 최상측 지점으로부터 양쪽 최외측 지점의 중심점까지의 제1 거리 간격을 산출하고, 양쪽 최외측 지점 각각에서 제1 거리 간격만큼 이격된 지점까지의 영역을 운동 범위로서 동작 정보를 생성할 수 있다.In another embodiment, the physical ability augmentation system (100) may recognize a body region of a user from image information, recognize an uppermost point (or, the crown of the head) and outermost points on both sides (or, the tips of both fingers) in the body region, calculate a first distance interval from the uppermost point to the center points of the outermost points on both sides, and generate motion information as a range of motion from each of the outermost points on both sides to a point spaced apart by the first distance interval.

또한, 도 7의 (b)를 참조하면, 신체 능력 증강 시스템(100)은 디스플레이 출력 장치를 통해 미리 정해진 기준 동작을 수행하도록 안내 메시지(예를 들면, "팔을 머리 위로 들어주세요(34)." 또는, "다리를 최대한 높이 올려주세요(35).")를 출력할 수 있다. 이에 따라, 신체 능력 증강 시스템(100)은 카메라를 통해 사용자를 촬영하여 영상 정보로부터 사용자의 동작을 인식하고, 인식된 동작을 분석하여 사용자 신체의 가동 범위에 대한 동작 정보를 생성할 수 있다. 이때, 신체 능력 증강 시스템(100)은 핸드 헬드 컨트롤러를 통해 사용자의 동작을 인식하여 가동 범위에 대한 동작 정보를 생성할 수도 있다.In addition, referring to (b) of FIG. 7, the physical ability enhancement system (100) can output a guidance message (for example, “Raise your arms above your head (34).” or “Raise your legs as high as possible (35)”) to perform a predetermined reference motion through a display output device. Accordingly, the physical ability enhancement system (100) can capture a user through a camera, recognize the user’s motion from the image information, and analyze the recognized motion to generate motion information on the range of motion of the user’s body. At this time, the physical ability enhancement system (100) can also recognize the user’s motion through a handheld controller to generate motion information on the range of motion.

일 실시예에서, 신체 능력 증강 시스템(100)은 팔을 머리 위로 최대한 들어올리도록 표시된 안내 메시지에 대응하여 인식된 사용자의 동작에서, 사용자의 손끝 지점(또는, 최상측 지점)을 인식하고, 손끝 지점으로부터 바닥면까지의 영역을 사용자 신체의 가동 범위로서 동작 정보를 생성할 수 있다.In one embodiment, the physical ability augmentation system (100) can recognize the user's fingertip point (or the uppermost point) in the recognized user's motion in response to a guidance message displayed to raise the arm as high as possible above the head, and generate motion information as the range of motion of the user's body from the fingertip point to the floor.

다른 일 실시예에서, 신체 능력 증강 시스템(100)은 차렷 자세를 하도록 표시된 안내 메시지에 대응하여 인식된 사용자의 동작에서 사용자의 제1 손끝 지점을 인식하고, 이어서, 팔을 머리 위로 최대한 들어올리도록 표시된 안내 메시지에 대응하여 인식된 사용자의 동작에서, 사용자의 제2 손끝 지점을 인식하며, 제1 손끝 지점으로부터 제2 손끝 지점까지의 영역을 사용자 신체의 가동 범위로서 동작 정보를 생성할 수 있다.In another embodiment, the body capability augmentation system (100) may recognize a first fingertip point of the user in a recognized user's motion in response to a guidance message displayed to assume an attention posture, and then recognize a second fingertip point of the user in a recognized user's motion in response to a guidance message displayed to raise an arm as high as possible above the head, and generate motion information as a range of motion of the user's body from the first fingertip point to the second fingertip point.

또 다른 일 실시예에서, 신체 능력 증강 시스템(100)은 다리를 최대한 들어올리도록 표시된 안내 메시지에 대응하여 인식된 사용자의 동작에서 사용자의 발끝 지점을 인식하고, 발끝 지점으로부터 바닥면까지의 영역을 사용자 신체의 가동 범위로서 동작 정보를 생성할 수 있다.In another embodiment, the body ability augmentation system (100) can recognize the user's toe point in the recognized user's motion in response to a guidance message displayed to raise the leg as much as possible, and generate motion information for the area from the toe point to the floor as the range of motion of the user's body.

또한, 도 7의 (c)를 참조하면, 신체 능력 증강 시스템(100)은 디스플레이 출력 장치를 통해 미리 정해진 기준 동작을 수행하도록 안내 메시지(예를 들면, "앞으로 한 발 걸어 나오세요." 또는, "좌측 또는 우측으로 한 발 걸어 나오세요.")를 출력할 수 있다. 이에 따라, 신체 능력 증강 시스템(100)은 카메라를 통해 사용자를 촬영하여 영상 정보로부터 사용자의 동작을 인식하고, 인식된 동작을 분석하여 사용자의 보폭에 대한 동작 정보를 생성할 수 있다.In addition, referring to (c) of FIG. 7, the physical ability enhancement system (100) can output a guidance message (e.g., “Take a step forward.” or “Take a step to the left or right.”) to perform a predetermined reference motion through a display output device. Accordingly, the physical ability enhancement system (100) can capture a user through a camera, recognize the user’s motion from image information, and analyze the recognized motion to generate motion information on the user’s stride.

일 실시예에서, 신체 능력 증강 시스템(100)은 빔 프로젝터를 통해 바닥면에 미리 정해진 패턴(37)이 구현된 발판(36)과 함께, 기준 위치를 나타내는 표식(38)을 출력하고, 사용자의 발이 기준 위치를 나타내는 표식(38)에 겹쳐지도록 안내 메시지를 출력할 수 있다. 이에 따라, 신체 능력 증강 시스템(100)은 카메라를 통해 촬영된 영상 정보로부터 사용자의 발이 기준 위치를 나타내는 표식(38)에 겹쳐진 것으로 인식되는 경우, 기준 위치에서 한 발 앞으로 걷도록 안내 메시지를 출력하고, 영상 정보로부터 인식되는 사용자의 발의 위치가 기준 위치로부터 이격된 거리 간격에 따라 보폭에 대한 동작 정보를 생성할 수 있다.In one embodiment, the physical ability augmentation system (100) may output a mark (38) indicating a reference position together with a footrest (36) having a predetermined pattern (37) implemented on the floor surface through a beam projector, and output a guidance message so that the user's foot overlaps the mark (38) indicating the reference position. Accordingly, when the physical ability augmentation system (100) recognizes that the user's foot overlaps the mark (38) indicating the reference position from image information captured by the camera, the system may output a guidance message so that the user walks one step forward from the reference position, and generate motion information on stride according to the distance interval that the position of the user's foot recognized from the image information is separated from the reference position.

다른 일 실시예에서, 신체 능력 증강 시스템(100)은 빔 프로젝터를 통해 바닥면에 미리 정해진 패턴(37)이 구현된 발판(36)과 함께, 기준 위치를 나타내는 표식(38)을 출력하고, 사용자의 발이 기준 위치를 나타내는 표식(38)에 겹쳐지도록 안내 메시지를 출력할 수 있다. 이에 따라, 신체 능력 증강 시스템(100)은 카메라를 통해 촬영된 영상 정보로부터 사용자의 발이 기준 위치를 나타내는 표식(38)에 겹쳐진 것으로 인식되는 경우, 기준 위치에서 좌측 또는 우측으로 한 발 걷도록 안내 메시지를 출력하고, 영상 정보로부터 인식되는 사용자의 발의 위치가 기준 위치로부터 이격된 거리 간격에 따라 보폭에 대한 동작 정보를 생성할 수 있다.In another embodiment, the physical ability augmentation system (100) may output a mark (38) indicating a reference position together with a footrest (36) having a predetermined pattern (37) implemented on the floor surface through a beam projector, and output a guidance message so that the user's foot overlaps the mark (38) indicating the reference position. Accordingly, when the physical ability augmentation system (100) recognizes that the user's foot overlaps the mark (38) indicating the reference position from image information captured by the camera, the system may output a guidance message so that the user takes a step to the left or right from the reference position, and generate motion information on stride according to the distance interval that the position of the user's foot recognized from the image information is separated from the reference position.

상기와 같은 구성들을 통해 본 발명에 따른 신체 능력 증강 시스템(100)은 사용자의 다양한 신체 능력을 측정할 수 있다. 또한, 신체 능력 증강 시스템(100)은 상기에서 설명한 방법 외에도, 다양한 방법을 통해 사용자의 신체 능력을 측정하여 신체 특성 정보를 생성할 수 있다.Through the above configurations, the physical ability enhancement system (100) according to the present invention can measure various physical abilities of the user. In addition, the physical ability enhancement system (100) can measure the physical abilities of the user through various methods in addition to the method described above and generate physical characteristic information.

다시 도 3을 참조하면, 본 발명에 따른 신체 능력 증강 시스템(100)은 확장 현실 콘텐츠를 실행하고, 사용자의 신체를 이용한 사용자 입력을 수신하여 확장 현실 콘텐츠를 제어하며(S300), 신체 특성 정보를 기반으로 확장 현실 콘텐츠에 사용자의 신체 능력을 증강하여, 사용자 입력에 따른 사용자의 신체와 관련된 출력을 조정할 수 있다(S400).Referring again to FIG. 3, the physical ability augmentation system (100) according to the present invention executes extended reality content, receives user input using the user's body to control the extended reality content (S300), and augments the user's physical ability in the extended reality content based on body characteristic information, thereby adjusting an output related to the user's body according to the user input (S400).

구체적으로, 신체 능력 증강 시스템(100)은 사용자 단말을 통해 실행되는 확장 현실 콘텐츠에 사용자의 신체 능력이 증강되도록, 신체 특성 정보에 근거하여 사용자 단말에 연결된 입력 장치 및 출력 장치 중 적어도 하나에 대한 설정 정보를 조정할 수 있다.Specifically, the physical ability augmentation system (100) can adjust setting information for at least one of an input device and an output device connected to a user terminal based on body characteristic information so that the user's physical ability is augmented in extended reality content executed through the user terminal.

즉, 신체 능력 증강 시스템(100)은 사용자 단말에 연결된 입력 장치 및 출력 장치가 사용자의 신체 능력에 적합해지도록 입력 장치 및 출력 장치와 관련된 설정 정보를 조정할 수 있다.That is, the physical ability enhancement system (100) can adjust setting information related to the input device and the output device so that the input device and the output device connected to the user terminal are suitable for the user's physical ability.

도 8을 참조하여 예를 들면, 신체 능력 증강 시스템(100)은 신체 특성 정보(40) 중 청각 정보(41)에 근거하여 음성 설정 정보(51a)를 조정할 수 있다. 즉, 신체 능력 증강 시스템(100)은 청각 정보(41)에 근거하여 음성 출력 장치와 관련된 음성 출력 레벨, 주파수별 음성 출력 레벨(또는, 이퀄라이저(Equalizer)), 좌측 및 우측 음성 출력 레벨을 조정할 수 있다.Referring to FIG. 8, for example, the physical ability enhancement system (100) can adjust voice setting information (51a) based on auditory information (41) among the physical characteristic information (40). That is, the physical ability enhancement system (100) can adjust voice output levels related to a voice output device, voice output levels by frequency (or, equalizer), and left and right voice output levels based on the auditory information (41).

다른 예를 들어, 신체 능력 증강 시스템(100)은 신체 특성 정보(40) 중 시각 정보(42)에 근거하여 디스플레이 설정 정보(51b)를 조정할 수 있다. 즉, 신체 능력 증강 시스템(100)은 시각 정보(42)에 근거하여 디스플레이 출력 장치와 관련된 색상 필터, 해상도, 배율, 주사율을 조정할 수 있다.For another example, the physical ability enhancement system (100) can adjust display setting information (51b) based on visual information (42) among the physical characteristic information (40). That is, the physical ability enhancement system (100) can adjust color filters, resolution, magnification, and scanning rate related to the display output device based on the visual information (42).

또 다른 예를 들어, 신체 능력 증강 시스템(100)은 신체 특성 정보(40) 중 촉각 정보(43)에 근거하여 햅틱 설정 정보(51c)를 조정할 수 있다. 즉, 신체 능력 증강 시스템(100)은 촉각 정보(43)에 근거하여 햅틱 출력 장치와 관련된 진동 강도, 진동 출력 부위를 조정할 수 있다.As another example, the physical ability enhancement system (100) can adjust haptic setting information (51c) based on tactile information (43) among the physical characteristic information (40). That is, the physical ability enhancement system (100) can adjust the vibration intensity and vibration output area related to the haptic output device based on the tactile information (43).

다른 예를 들어, 신체 능력 증강 시스템(100)은 신체 특성 정보(40) 중 동작 정보(44)에 근거하여 모션 설정 정보(51d)를 조정할 수 있다. 즉, 신체 능력 증강 시스템(100)은 동작 정보(44)에 근거하여 영상 정보로부터 사용자를 인식하기 위한 영역 및 사용자 인식을 수행할 프레임 간격을 조정할 수 있다.For another example, the physical ability enhancement system (100) can adjust the motion setting information (51d) based on the motion information (44) among the body characteristic information (40). That is, the physical ability enhancement system (100) can adjust the area for recognizing the user from the image information and the frame interval for performing the user recognition based on the motion information (44).

나아가, 신체 능력 증강 시스템(100)은 확장 현실 콘텐츠에 대한 사용자 입력에 대응하여, 현실에서의 사용자의 신체 능력에 대응되는 상호작용이 출력되도록, 신체 특성 정보에 근거하여 확장 현실 콘텐츠에 포함된 가상 객체 및, 가상 객체와 관련된 상호작용에 대한 설정 정보를 조정할 수 있다.Furthermore, the physical ability augmentation system (100) can adjust setting information for virtual objects included in the extended reality content and interactions related to the virtual objects based on body characteristic information so that, in response to user input for the extended reality content, interactions corresponding to the user's physical abilities in reality are output.

예를 들어, 신체 능력 증강 시스템(100)은 청각 정보에 포함된 가청 주파수 대역별 인지 가능한 최소 음성 크기에 근거하여, 확장 현실 콘텐츠에서 제공되는 음향 효과의 주파수 대역별 음성 크기를 조정할 수 있다.For example, the physical ability augmentation system (100) can adjust the voice size for each frequency band of a sound effect provided in extended reality content based on the minimum recognizable voice size for each audible frequency band included in auditory information.

다른 예를 들면, 신체 능력 증강 시스템(100)은 동작 정보에 포함된 가동 범위에 근거하여, 확장 현실 콘텐츠에서 인식되는 사용자의 동작과 관련된 가동률을 조정할 수 있다.As another example, the physical ability augmentation system (100) can adjust the motion rate related to the user's motion recognized in the extended reality content based on the motion range included in the motion information.

즉, 도 9의 (a)를 참조하면, 신체 능력 증강 시스템(100)은 동작 정보에 따른 팔(61a)의 최고점에서의 위치가 제1 지점(62a)인 경우, 제1 지점(62a)으로부터 바닥면(63a)까지의 공간을 가동 범위(64a)로 설정할 수 있다. 이에 따라, 신체 능력 증강 시스템(100)은 가동 범위(64a)에서 인식되는 사용자의 팔(61a)의 위치에 근거하여 사용자의 팔(61a)이 위치한 지점의 가동률을 산출할 수 있다.That is, referring to (a) of FIG. 9, the physical ability enhancement system (100) can set the space from the first point (62a) to the floor surface (63a) as the movable range (64a) when the position at the highest point of the arm (61a) according to the motion information is the first point (62a). Accordingly, the physical ability enhancement system (100) can calculate the movable rate of the point where the user's arm (61a) is located based on the position of the user's arm (61a) recognized in the movable range (64a).

또한, 도 9의 (b)를 참조하면, 신체 능력 증강 시스템(100)은 동작 정보에 따른 팔(61b)의 최고점에서의 위치가 제1 지점(62b)인 경우, 제1 지점(62b)을 최대 가동률로 설정하고, 기본 자세(예를 들면, 차렷 자세)에서의 팔의 위치인 제2 지점(63b)을 최소 가동률로 설정하여 가동 범위를 설정할 수도 있다.In addition, referring to (b) of FIG. 9, the physical ability enhancement system (100) may set the first point (62b) as the maximum operating rate when the position at the highest point of the arm (61b) according to the motion information is the first point (62b), and set the second point (63b), which is the position of the arm in the basic posture (e.g., attention posture), as the minimum operating rate to set the operating range.

또 다른 예를 들면, 신체 능력 증강 시스템(100)은 동작 정보에 포함된 보폭에 근거하여, 확장 현실 콘텐츠에서 인식되는 사용자의 발의 위치에 따라 확장 현실 콘텐츠에서의 이동 방향 및 이동 속도를 조정할 수 있다.As another example, the physical ability augmentation system (100) can adjust the movement direction and movement speed in the extended reality content according to the position of the user's feet recognized in the extended reality content based on the stride included in the motion information.

도 10의 (a)를 참조하면, 신체 능력 증강 시스템(100)은 영상 정보를 통해 사용자의 발이 제1 위치(71a)에서 제2 위치(76a)로 이동하는 것이 인식되면, 사용자 발의 이동 방향에 따라 확장 현실 콘텐츠에서의 이동 방향을 결정할 수 있다. 이때, 신체 능력 증강 시스템(100)은 카메라를 통해 인식된 사용자 발의 형상에 근거하여 전방 이동(72a), 후방 이동(73a), 좌측 이동(74a) 및 우측 이동(75a)을 결정할 수 있고, 제1 위치(71a)와 제2 위치(76a) 간의 거리 간격과, 사전에 측정된 보폭에서의 거리 간격을 비교하여 확장 현실 콘텐츠에서의 이동 속도를 결정할 수 있다.Referring to (a) of FIG. 10, if the physical ability augmentation system (100) recognizes that the user's foot moves from a first position (71a) to a second position (76a) through image information, the physical ability augmentation system (100) can determine a movement direction in the extended reality content according to the movement direction of the user's foot. At this time, the physical ability augmentation system (100) can determine forward movement (72a), backward movement (73a), left movement (74a), and right movement (75a) based on the shape of the user's foot recognized through the camera, and can determine a movement speed in the extended reality content by comparing the distance between the first position (71a) and the second position (76a) with the distance in the stride measured in advance.

또한, 도 10의 (b)를 참조하면, 신체 능력 증강 시스템(100)은 카메라를 통해 인식된 사용자 발의 형상(71b, 76b)이 회전된 상태인 경우에도, 사용자 발의 형상을 분석하여 발의 앞측 방향을 전방(72b)으로 설정하고, 뒤측 방향을 후방(72b)으로 설정할 수 있다.In addition, referring to (b) of FIG. 10, the physical ability enhancement system (100) can analyze the shape of the user's foot and set the front direction of the foot to forward (72b) and the rear direction to rear (72b) even when the shape of the user's foot (71b, 76b) recognized through the camera is in a rotated state.

즉, 신체 능력 증강 시스템(100)은 카메라를 통해 인식된 사용자 발의 중심점에 근거하여 사용자가 이동 가능한 범위를 동적으로 변경할 수 있다. 이때, 신체 능력 증강 시스템(100)은 앞서 생성된 동작 정보에 따른 보폭에 근거하여 사용자의 이동과 관련된 안전 범위를 설정할 수 있다. 이러한 경우에, 신체 능력 증강 시스템(100)은 사용자 발의 중심점이 앞서 설정된 안전 범위를 벗어나는 경우 출력 장치를 통해 사용자에게 위험 상황을 알릴 수 있다.That is, the physical ability enhancement system (100) can dynamically change the range in which the user can move based on the center point of the user's foot recognized through the camera. At this time, the physical ability enhancement system (100) can set a safety range related to the user's movement based on the stride according to the previously generated motion information. In this case, the physical ability enhancement system (100) can notify the user of a dangerous situation through an output device if the center point of the user's foot goes out of the previously set safety range.

다른 예를 들면, 신체 능력 증강 시스템(100)은 동작 정보에 포함된 가동 범위 및 보폭 중 적어도 하나에 근거하여, 확장 현실 콘텐츠에 포함된 가상 객체의 위치 및, 상호작용과 관련된 위치를 조정할 수 있다.As another example, the physical ability augmentation system (100) can adjust the position of a virtual object included in the extended reality content and the position related to the interaction based on at least one of the range of motion and stride included in the motion information.

즉, 신체 능력 증강 시스템(100)은 사용자의 신체 능력(예를 들면, 팔 길이, 보폭 등)에 따라 특정 가상 객체에 대한 상호작용이 용이하도록 확장 현실 콘텐츠에 포함된 가상 객체의 위치 및, 상호작용과 관련된 위치를 조정할 수 있다.That is, the physical ability augmentation system (100) can adjust the position of a virtual object included in the extended reality content and the position related to the interaction to facilitate interaction with a specific virtual object according to the user's physical ability (e.g., arm length, stride, etc.).

나아가, 신체 능력 증강 시스템(100)은 확장 현실 콘텐츠에서 제공되는 상호작용과 관련된 의도에 근거하여, 확장 현실 콘텐츠에 포함된 가상 객체 및, 가상 객체와 관련된 상호작용에 대한 설정 정보를 조정할 수 있다.Furthermore, the physical ability augmentation system (100) can adjust setting information for virtual objects included in the extended reality content and interactions related to the virtual objects based on intentions related to interactions provided in the extended reality content.

예를 들어, 신체 능력 증강 시스템(100)은 확장 현실 콘텐츠가 사용자의 동작을 인식하여 가상 객체에 대한 상호작용이 수행되도록 구현되는 경우, 앞서 생성된 동작 정보에 따른 가동 범위 내에서 사용자의 동작이 인식되도록 설정 정보를 조정할 수 있다.For example, if the extended reality content is implemented to recognize the user's motions and perform interaction with a virtual object, the physical ability augmentation system (100) can adjust the setting information so that the user's motions are recognized within the range of motion according to the previously generated motion information.

다른 예를 들면, 신체 능력 증강 시스템(100)은 확장 현실 콘텐츠가 사용자의 운동 능력이 향상시키기 위해 특정 동작을 유도하도록 구현되는 경우, 앞서 생성된 동작 정보에 따른 가동 범위에서 미리 정해진 가동률을 초과하는 경우에만 사용자의 동작이 인식되도록 설정 정보를 조정할 수 있다.As another example, if the extended reality content is implemented to induce a specific motion to improve the user's motor skills, the physical ability augmentation system (100) may adjust the setting information so that the user's motion is recognized only when it exceeds a predetermined motion rate in the motion range according to the previously generated motion information.

또 다른 예를 들면, 신체 능력 증강 시스템(100)은 확장 현실 콘텐츠가 복수의 선택지 중 어느 하나를 선택하도록 구현되는 경우, 앞서 생성된 동작 정보에 따른 보폭에 근거하여 사용자의 발의 위치에 대응되는 선택지를 선택하도록 설정 정보를 조정할 수 있다. 즉, 신체 능력 증강 시스템(100)은 영상 정보를 통해 사용자의 발의 위치가 앞서 생성된 동작 정보에 따른 보폭과 동일한 거리 간격만큼 이동한 경우, 복수의 선택지 중에서 서로 인접한 선택지를 선택하도록 설정 정보를 조정할 수 있다.As another example, the physical ability augmentation system (100) may adjust the setting information to select an option corresponding to the position of the user's feet based on the stride according to the previously generated motion information when the extended reality content is implemented to select one of a plurality of options. That is, the physical ability augmentation system (100) may adjust the setting information to select an option adjacent to each other among the plurality of options when the position of the user's feet has moved by the same distance as the stride according to the previously generated motion information through the image information.

다른 예를 들면, 신체 능력 증강 시스템(100)은 확장 현실 콘텐츠에서 제공되는 특정 상호작용이, 사용자의 가청 주파수 대역 중 미리 정해진 비율의 주파수 대역의 음성을 제공하도록 구현되는 경우, 앞서 생성된 청각 정보에 따른 가청 주파수 대역에 근거하여 확장 현실 콘텐츠에서 제공되는 음성의 주파수 대역과 관련된 설정 정보를 조정할 수 있다.As another example, if a specific interaction provided in the extended reality content is implemented to provide a voice of a predetermined percentage of a frequency band among the user's audible frequency bands, the physical ability augmentation system (100) can adjust setting information related to the frequency band of the voice provided in the extended reality content based on the audible frequency band according to the previously generated auditory information.

또 다른 예를 들면, 신체 능력 증강 시스템(100)은 확장 현실 콘텐츠의 특정 상호작용이 사용자가 반응할 수 있는 최소 시간 간격에 대응되는 사용자 입력을 수신하도록 구현되는 경우, 앞서 생성된 시각 정보, 청각 정보, 촉각 정보 및 동작 정보 중 적어도 하나에 따른 동작 속도에 근거하여, 상기 특정 상호작용과 관련된 최소 시간 간격과 관련된 설정 정보를 조정할 수 있다.As another example, if the physical ability augmentation system (100) is implemented to receive user input corresponding to a minimum time interval at which a specific interaction of the extended reality content can be reacted to by the user, the system may adjust setting information related to the minimum time interval associated with the specific interaction based on a motion speed according to at least one of previously generated visual information, auditory information, tactile information, and motion information.

즉, 신체 능력 증강 시스템(100)은 사용자에 대하여 생성된 신체 특성 정보에 근거하여, 확장 현실 콘텐츠의 난이도와 관련된 설정 정보를 조정할 수 있다. 이때, 확장 현실 콘텐츠의 난이도와 관련된 설정 정보는 확장 현실 콘텐츠에서 제공되는 가상 객체의 형상, 속성 및, 가상 객체와 관련된 상호작용을 포함할 수 있다.That is, the physical ability augmentation system (100) can adjust setting information related to the difficulty of the extended reality content based on the physical characteristic information generated for the user. At this time, the setting information related to the difficulty of the extended reality content can include the shape, properties, and interactions related to the virtual object provided in the extended reality content.

상기와 같은 구성들을 통해, 신체 능력 증강 시스템(100)은 사용자의 신체 능력을 측정하고, 측정된 신체 능력을 확장 현실 공간에 증강시킴으로써, 사용자의 신체 능력에 맞춰 확장 현실 콘텐츠를 개인화하고, 이를 통해, 사용자가 확장 현실 콘텐츠에 대한 별도의 조정 없이도 신체 능력에 맞춰 설정이 변경된 확장 현실 콘텐츠를 즐길 수 있도록 구현될 수 있다.Through the above configurations, the physical ability augmentation system (100) can be implemented to measure the physical ability of a user and augment the measured physical ability in an extended reality space, thereby personalizing the extended reality content according to the physical ability of the user, and thereby allowing the user to enjoy the extended reality content with the settings changed according to the physical ability without separate adjustment of the extended reality content.

따라서, 신체 능력 증강 시스템(100)은 신체 능력이 저하된 사용자도 확장 현실 콘텐츠를 용이하게 즐길 수 있도록 구현될 수 있다.Therefore, the physical ability enhancement system (100) can be implemented so that even users with reduced physical abilities can easily enjoy extended reality content.

또한, 신체 능력 증강 시스템(100)은 사용자의 신체 능력에 근거하여 확장 현실 콘텐츠와 관련된 상호작용에 대한 설정을 조정함으로써, 서로 다른 신체 능력을 가진 사용자들이 확장 현실 콘텐츠를 유사한 수준으로 즐길 수 있도록 구현될 수 있다.In addition, the physical ability augmentation system (100) can be implemented so that users with different physical abilities can enjoy the extended reality content at a similar level by adjusting the settings for interaction related to the extended reality content based on the physical abilities of the user.

나아가, 위에서 살펴본 본 발명은, 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서 구현될 수 있다.Furthermore, the present invention discussed above can be implemented as a program stored in a computer-readable recording medium and executed by one or more processes in an electronic device.

따라서, 본 발명은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드 또는 명령어로서 구현하는 것이 가능하다. 즉, 본 발명에 따른 다양한 제어방법은 통합된, 또는 개별적인 프로그램의 형태로 제공될 수 있다.Accordingly, the present invention can be implemented as a computer-readable code or command on a medium in which a program is recorded. That is, various control methods according to the present invention can be provided in the form of an integrated or individual program.

한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.Meanwhile, computer-readable media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, and optical data storage devices.

나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.Furthermore, the computer-readable medium may be a server or cloud storage that includes storage and that the electronic device can access through communication. In this case, the computer can download the program according to the present invention from the server or cloud storage through wired or wireless communication.

나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.Furthermore, in the present invention, the computer described above is an electronic device equipped with a processor, i.e., a CPU (Central Processing Unit), and there is no particular limitation on its type.

한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Meanwhile, the above detailed description should not be construed as restrictive in all respects but should be considered as illustrative. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims

A step for measuring the user's physical ability;
A step of generating physical characteristic information of the user based on the measured physical ability;
A step of executing extended reality content and controlling the extended reality content by receiving user input using the user's body; and
A method for enhancing physical abilities, comprising a step of augmenting the physical abilities of the user based on the body characteristic information and adjusting an output related to the user's body according to the user input.

In the first paragraph, the step of adjusting the output related to the user's body is as follows:
A method for augmenting physical abilities, wherein settings for virtual objects included in the extended reality content and interactions related to the virtual objects are adjusted based on the body characteristic information so that, in response to user input for the extended reality content, interactions corresponding to the physical abilities of the user in reality are output.

In the first paragraph, the step of adjusting the output related to the user's body is as follows:
A method for augmenting physical abilities of the user by adjusting settings for at least one of an input device and an output device based on the physical characteristic information so as to augment the physical abilities of the user in the extended reality content.

In the third paragraph,
The step of generating physical characteristic information corresponding to the physical ability of the user is as follows:
Outputting a predetermined signal through at least one of a display output device and a voice output device connected to the user terminal, recognizing a user's motion corresponding to the signal and generating motion information,
The step of adjusting setting information for at least one of the input device and output device connected to the user terminal is:
A method for enhancing physical abilities, wherein the range of motion of the user's body according to the above motion information is adjusted to a motion rate related to the user's motion recognized in the extended reality content.

In the fourth paragraph, recognizing the user's motion and generating motion information is performed by:
A method for enhancing physical abilities, wherein the range of motion is determined by setting the first point as the maximum rate of motion when the position at the highest point of the arm according to the above motion information is the first point, and setting the second point, which is the position of the arm in a predetermined basic posture, as the minimum rate of motion.

In the third paragraph,
The step of generating physical characteristic information corresponding to the physical ability of the user is as follows:
Outputting a predetermined signal through at least one of a display output device and a voice output device connected to the user terminal, recognizing a user's motion corresponding to the signal and generating motion information,
The step of adjusting setting information for at least one of the input device and output device connected to the user terminal is:
A method for enhancing physical abilities, wherein at least one of a movement direction and a movement speed in the extended reality content is adjusted based on the user's stride according to the above motion information and the position of the user's feet recognized in the extended reality content.

In the first paragraph, the step of adjusting the output related to the user's body is as follows:
A method for augmenting physical abilities, wherein the virtual object included in the extended reality content and the settings for the interaction related to the virtual object are adjusted based on the intent related to the interaction provided in the extended reality content.

In the first paragraph, the step of generating the user's body characteristic information is,
A step of displaying a plurality of virtual objects, each having a plurality of different color filters applied to it;
A method for enhancing physical abilities, comprising the step of generating visual information by applying a color filter to the selected virtual object as an optimal color filter for the user based on a user input of selecting one of the plurality of virtual objects.

A storage unit in which information related to extended reality content is stored; and
A control unit is included that measures a user's physical ability, generates the user's physical characteristic information based on the measured physical ability, executes extended reality content, and receives user input using the user's body to control the extended reality content.
The above control unit,
A physical ability augmentation system that augments the physical ability of the user based on the above physical characteristic information and adjusts the output related to the user's body according to the user input.

A program that is executed by one or more processes on an electronic device and stored on a computer-readable recording medium.
The above program is,
A step for measuring the user's physical ability;
A step of generating physical characteristic information of the user based on the measured physical ability;
A step of executing extended reality content and controlling the extended reality content by receiving user input using the user's body; and
A program stored on a computer-readable recording medium, characterized in that it includes commands for performing a step of adjusting an output related to the user's body according to the user input by augmenting the user's physical ability in the extended reality content based on the body characteristic information.