KR20180099283A

KR20180099283A - Tactile stimulation providing method and computer readable medium

Info

Publication number: KR20180099283A
Application number: KR1020170026529A
Authority: KR
Inventors: 곽기욱; 고영훈; 최상원
Original assignee: 주식회사 비햅틱스
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2018-09-05
Anticipated expiration: 2037-02-28
Also published as: KR101926074B1

Abstract

본 발명의 한 실시예에 따른 촉각자극 제공 방법은, 사용자 입력 장치 및 촉각자극 제공 장치와 연결된 컴퓨팅 장치에 의해 수행되는 촉각자극 제공 방법으로서, 상기 사용자 입력 장치로부터 입력 신호가 발생하는 단계; 상기 입력 신호를 수신하여 시각자극 신호로 변환하는 제1 프로그램으로 상기 입력 신호가 도달하는 과정에서, 제2 프로그램이 상기 입력 신호를 인터셉트(intercept)하는 단계; 상기 제2 프로그램이 인터셉트한 상기 입력 신호를 촉각자극 신호로 변환하는 단계; 및 상기 촉각자극 신호를 상기 촉각자극 제공 장치로 제공하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of providing a tactile stimulus performed by a computing device connected to a user input device and a tactile stimulus providing device, the method comprising: generating an input signal from the user input device; Intercepting the input signal by a second program as the input signal reaches a first program that receives the input signal and converts the input signal to a visual stimulus signal; Converting the input signal intercepted by the second program into a tactile stimulation signal; And providing the tactile stimulation signal to the tactile stimulus providing apparatus.

Description

TECHNICAL FIELD [0001] The present invention relates to a tactile stimulation providing method and a computer readable recording medium,

본 발명은 촉각자극 제공 방법 및 촉각자극 제공 장치에 관한 것이다.The present invention relates to a method for providing tactile stimulation and an apparatus for providing tactile stimulation.

모바일, 콘솔, 컴퓨터, 가상현실 기기 등을 이용해 게임 및 영상과 같은 시청각 기반 컨텐츠를 즐길 때, 햅틱 피드백(이하 촉각자극)이 사용자에게 함께 전달되면 사용자는 더욱 큰 재미와 몰입도를 경험할 수 있다.When enjoying audiovisual-based contents such as games and images using a mobile, a console, a computer, a virtual reality device, etc., the user can experience greater fun and immersion when the haptic feedback is transmitted to the user.

하지만, 예를 들어, 게임 프로그램을 개발할 때부터 촉각자극 제공 기능을 게임 내부에 빌트인(built-in)하지 않는다면, 외부 프로그램을 이용하여 각각의 게임 상황에 어울리는 촉각자극을 제공하는 방법을 새로이 연구할 필요가 있다.However, for example, if a tactile stimulus providing function is not built-in from the time a game program is developed, a new method of providing a tactile stimulus suitable for each game situation using an external program will be studied There is a need.

하지만 외부 프로그램이 게임 프로그램에서 출력되는 시청각 신호만을 이용하여 촉각자극 신호를 생성한다면, 사용자는 시청각적 자극과 촉각자극 간의 간극(딜레이)을 느끼게 되고, 게임에 대한 몰입도가 저하될 수 있다.However, if an external program generates a tactile stimulation signal using only the audiovisual signal output from the game program, the user feels a delay between the audiovisual stimulus and the tactile stimulus, and the immersion into the game may be reduced.

한국 등록특허공보 제10-1084059호(2011.11.10.)Korean Patent Registration No. 10-1084059 (November 10, 2011)

해결하고자 하는 기술적 과제는, 시청각적 자극과 촉각자극 간의 간극을 최소화하면서도 정확한 촉각자극이 제공가능한 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.A technical problem to be solved is to provide a tactile stimulation providing method and a computer readable recording medium capable of providing accurate tactile stimulation while minimizing a gap between an audiovisual stimulus and a tactile stimulus.

상기 촉각자극 제공 방법은 상기 제2 프로그램이 상기 시각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 신호로 변환하는 단계에서, 상기 시각자극 신호를 참조할 수 있다.The tactile stimulus providing method may further include the step of the second program receiving the visual stimulation signal, and in the step of converting into the tactile stimulation signal, the visual stimulation signal may be referred to.

상기 제2 프로그램은 상기 시각자극 신호를 참조함에 있어서, 미리 결정된 관심 영역에 대한 부분만 참조할 수 있다.In referring to the visual stimulus signal, the second program may only refer to a portion of a predetermined region of interest.

상기 제2 프로그램은 상기 미리 결정된 관심 영역에 대한 부분만 참조함에 있어서, 상기 미리 결정된 관심 영역에서 매칭되는 그래픽 객체에 따라 상기 입력 신호를 상기 촉각자극 신호로 변환할지 여부를 결정할 수 있다.The second program can determine whether to convert the input signal to the tactile stimulus signal according to a graphic object matched in the predetermined region of interest, in referring only to the portion of the predetermined region of interest.

상기 촉각자극 제공 방법은 상기 제2 프로그램이 상기 시각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 시각자극 신호를 참조할 수 있다.The tactile stimulus providing method may further include the step of the second program receiving the visual stimulation signal, and in the providing of the visual stimulation signal to the tactile stimulus providing apparatus, the visual stimulation signal may be referred to.

상기 제2 프로그램은 상기 미리 결정된 관심 영역에 대한 부분만 참조함에 있어서, 상기 미리 결정된 관심 영역에서 매칭되는 그래픽 객체에 따라 상기 촉각자극 신호를 상기 촉각자극 제공 장치로 제공할지 여부를 결정할 수 있다.The second program may determine whether to provide the tactile stimulation signal to the tactile stimulation providing apparatus according to a graphic object matched in the predetermined region of interest in referring to only the portion for the predetermined region of interest.

상기 촉각자극 제공 방법은 상기 제2 프로그램이 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 신호로 변환하는 단계에서, 상기 청각자극 신호를 참조할 수 있다.The method of providing tactile stimulation may further comprise the step of the second program receiving an auditory stimulation signal from the first program, and in the step of converting into the tactile stimulation signal, the auditory stimulation signal may be referred to.

상기 제2 프로그램은 상기 청각자극 신호를 참조함에 있어서, 상기 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 상기 입력 신호를 상기 촉각자극 신호로 변환할지 여부를 결정할 수 있다.The second program may filter the auditory stimulation signal to determine whether to convert the input signal into the tactile stimulation signal according to a matching audible stimulation object in referring to the auditory stimulation signal.

상기 촉각자극 제공 방법은 상기 제2 프로그램이 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 청각자극 신호를 참조할 수 있다.The tactile stimulus providing method may further include the step of the second program receiving an auditory stimulation signal from the first program, and in the providing step to the tactile stimulation providing apparatus, the auditory stimulation signal may be referred to.

상기 제2 프로그램은 상기 청각자극 신호를 참조함에 있어서, 상기 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 상기 촉각자극 신호를 상기 촉각자극 제공 장치로 제공할지 여부를 결정할 수 있다.The second program may determine whether to provide the tactile stimulation signal to the tactile stimulation providing apparatus according to the auditory stimulation object matched by filtering the auditory stimulation signal in referring to the auditory stimulation signal.

본 발명의 한 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체는, 컴퓨터로 수행될 수 있는 복수의 단계를 포함하는 제2 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체로서, 상기 제2 프로그램은, 사용자 입력 장치로부터 발생한 입력 신호를 수신하여 시각자극 신호로 변환하는 제1 프로그램으로 상기 입력 신호가 도달하는 과정에서, 상기 입력 신호를 인터셉트하는 단계; 상기 인터셉트한 상기 입력 신호를 촉각자극 신호로 변환하는 단계; 및 상기 촉각자극 신호를 촉각자극 제공 장치로 제공하는 단계를 포함한다.A computer-readable recording medium according to an embodiment of the present invention is a computer-readable recording medium having recorded thereon a second program including a plurality of steps that can be performed by a computer, Intercepting the input signal in a process of receiving the input signal from the input device and converting the input signal into a visual stimulus signal; Converting the intercepted input signal into a tactile stimulation signal; And providing the tactile stimulation signal to a tactile stimulus providing apparatus.

상기 제2 프로그램은 상기 시각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 신호로 변환하는 단계에서, 상기 시각자극 신호를 참조할 수 있다.The second program may further include receiving the visual stimulus signal, and in the step of converting into the tactile stimulus signal, the visual stimulus signal may be referred to.

상기 제2 프로그램은 상기 시각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 시각자극 신호를 참조할 수 있다.The second program may further include receiving the visual stimulation signal, and in the step of providing the visual stimulation signal to the tactile stimulus providing apparatus, the visual stimulation signal may be referred to.

상기 제2 프로그램은 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 신호로 변환하는 단계에서, 상기 청각자극 신호를 참조할 수 있다.The second program may further include receiving an auditory stimulation signal from the first program, wherein in the step of converting the tactile stimulation signal, the auditory stimulation signal may be referred to.

상기 제2 프로그램은 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 청각자극 신호를 참조할 수 있다.The second program may further include receiving an auditory stimulation signal from the first program, and in the step of providing the auditory stimulation signal to the tactile stimulation providing apparatus, the second program may refer to the auditory stimulation signal.

본 발명에 따른 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체는 시청각적 자극과 촉각자극 간의 간극을 최소화하면서도 정확한 촉각자극이 제공가능하다.The tactile stimulation providing method and the computer readable recording medium according to the present invention can provide accurate tactile stimulation while minimizing the gap between audiovisual stimulation and tactile stimulation.

도 1은 본 발명의 한 실시예에 따른 촉각자극 제공 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 한 실시예에 따른 제2 프로그램에서 제1 프로그램으로부터 시각자극 신호를 수신하는 경우를 설명하기 위한 도면이다.
도 3은 입력 신호 및 시각자극 신호를 이용하여 촉각자극 신호를 생성하는 구체적인 경우를 설명하기 위한 도면이다.
도 4는 도 3으로부터 1 초가 지난 시점을 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따른 제2 프로그램에서 제1 프로그램으로부터 청각자극 신호를 수신하는 경우를 설명하기 위한 도면이다.
도 6은 본 발명의 한 실시예에 따라 청각자극 신호를 필터링하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 한 실시예에 따라 필터링된 청각자극 신호를 청각자극 객체와 대응시키는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따라 필터링된 청각자극 신호를 청각자극 객체와 대응시키는 과정을 설명하기 위한 도면이다.1 is a view for explaining a tactile stimulus providing method according to an embodiment of the present invention.
2 is a diagram for explaining a case where a visual stimulation signal is received from a first program in a second program according to an embodiment of the present invention.
3 is a diagram for explaining a specific example of generating a tactile stimulation signal using an input signal and a visual stimulation signal.
FIG. 4 is a view for explaining a point of time after 1 second from FIG. 3; FIG.
5 is a diagram for explaining a case where an auditory stimulation signal is received from a first program in a second program according to an embodiment of the present invention.
6 is a diagram for explaining a process of filtering auditory stimulation signals according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a process of mapping a filtered auditory stimulation signal to an auditory stimulation object according to an embodiment of the present invention.
FIG. 8 is a diagram for explaining a process of mapping a filtered auditory stimulation signal to an auditory stimulation object according to another embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification. Therefore, the above-mentioned reference numerals can be used in other drawings.

또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 과장되게 나타낼 수 있다.In addition, since the sizes and thicknesses of the respective components shown in the drawings are arbitrarily shown for convenience of explanation, the present invention is not necessarily limited to those shown in the drawings. In the drawings, thicknesses may be exaggerated for clarity of presentation of layers and regions.

도 1은 본 발명의 한 실시예에 따른 촉각자극 제공 방법을 설명하기 위한 도면이다.1 is a view for explaining a tactile stimulus providing method according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 한 실시예에 따른 촉각자극 제공 방법은 사용자 입력 장치(10) 및 촉각자극 제공 장치(40)와 연결된 컴퓨팅 장치(20)에 의해 수행될 수 있다. 컴퓨팅 장치(20)는 표시 장치(30)와 더 연결될 수 있다.Referring to FIG. 1, a tactile stimulus providing method according to an embodiment of the present invention may be performed by a computing device 20 connected to a user input device 10 and a tactile stimulus providing device 40. The computing device 20 may further be connected to the display device 30. [

컴퓨팅 장치(20)는 제1 프로그램 및 제2 프로그램의 구동을 위하여 적어도 하나의 프로세서 및 기록매체를 포함할 수 있다. 제2 프로그램은 컴퓨팅 장치(20)로 읽을 수 있는 기록매체에 기록될 수 있다.The computing device 20 may include at least one processor and a recording medium for driving the first program and the second program. The second program may be recorded on a recording medium readable by the computing device 20. [

기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터 또는 프로그램이 저장될 수 있는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드디스크, 외장하드디스크, SSD, USB 저장 장치, DVD, 블루레이 디스크 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 복수 장치의 조합일 수도 있으며, 네트워크로 연결된 컴퓨터 시스템에 분산되어 있을 수도 있다. 이러한 기록매체는 비일시적인 컴퓨터로 읽을 수 있는 기록매체(non-transitory computer readable medium)일 수 있다. 비일시적인 컴퓨터로 읽을 수 있는 기록매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터 또는 프로그램을 저장하는 매체가 아니라 반영구적으로 데이터 또는 프로그램을 저장하며, 컴퓨터에 의해 판독가능한 매체를 의미한다.The recording medium includes all kinds of recording devices capable of storing data or a program that can be read by a computer system. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, hard disk, external hard disk, SSD, USB storage device, DVD, . The computer-readable recording medium may be a combination of a plurality of apparatuses, or may be dispersed in a networked computer system. Such a recording medium may be a non-transitory computer readable medium. Non-transitory computer-readable medium refers to a medium that stores data or programs semi-permanently, and is readable by a computer, rather than a medium that stores data or programs for a short period of time such as a register, cache, or memory.

사용자 입력 장치(10)는 사용자의 입력에 의해 입력 신호를 발생시키는 장치일 수 있다. 사용자 입력 장치(10)는, 예를 들어, 마우스, 키보드, 컨트롤러, 게임 컨트롤러, 조이스틱, 터치 패드, 모션 컨트롤러, 헤드 마운티드 디스플레이 등이 될 수 있다. 사용자 입력 장치(10)는 사용자의 입력을 받아 컴퓨팅 장치(20)에 입력될 수 있는 입력 신호를 발생시킬 수 있다면 어떠한 장치도 가능할 수 있다. 입력 신호는 버튼을 누르는 신호 이외에도 헤드 마운티드 디스플레이나 컨트롤러의 현재 위치 등 위치 신호일 수도 있다.The user input device 10 may be a device that generates an input signal by a user's input. The user input device 10 may be, for example, a mouse, a keyboard, a controller, a game controller, a joystick, a touch pad, a motion controller, a head-mounted display, or the like. The user input device 10 may be any device capable of receiving an input from a user and generating an input signal that can be input to the computing device 20. [ The input signal may be a position signal such as the current position of the head-mounted display or the controller, in addition to the signal for pressing the button.

표시 장치(30)는 모니터, 텔레비전, 프로젝터, 터치 디스플레이, 모바일 디스플레이, 헤드 마운티드 디스플레이, 스마트 워치 등이 될 수 있다. 표시 장치(30)는 제1 프로그램에서 생성된 시각자극 신호를 표시함으로써, 사용자에게 시각자극을 제공한다.The display device 30 may be a monitor, a television, a projector, a touch display, a mobile display, a head-mounted display, a smart watch, and the like. The display device 30 displays a visual stimulus signal generated in the first program, thereby providing a visual stimulus to the user.

제1 프로그램은 영화, 애니메이션, 게임, VR 컨텐츠, AR 컨텐츠, 이북(E-book), 음악 등이 될 수 있다. 이하에서는 제1 프로그램이 게임 프로그램임을 가정하여 설명하지만, 사용자 입력 장치(10)로부터 사용자 입력을 받아 이를 시각자극 신호로 변환하거나, 청각자극 신호로 변환하는 어떠한 프로그램도 제1 프로그램이 될 수 있다.The first program may be a movie, an animation, a game, a VR content, an AR content, an e-book, music, or the like. In the following description, it is assumed that the first program is a game program. However, any program that receives a user input from the user input device 10 and converts it into a visual stimulation signal or converts it into an auditory stimulation signal may be the first program.

본 실시예에서 제1 프로그램은 내부적으로 촉각자극 제공 기능이 빌트인되지 않은 경우를 가정한다.In this embodiment, the first program assumes that the tactile stimulus providing function is not built in internally.

촉각자극 제공 장치(40)는 수신한 촉각자극 신호에 따라 사용자에게 촉각자극을 제공할 수 있다. 촉각자극 제공 장치(40)는 게임 컨트롤러, 터치 디스플레이, 마우스, 키보드, 촉각자극 제공 의자, 촉각자극 제공 팔토시 등이 될 수 있다. 예를 들어, 촉각자극 제공 장치(40)는 복수의 진동 모터와 같은 액츄에이터를 포함할 수 있고, 촉각자극 신호에 따라 복수의 진동 모터가 선택적으로 진동함으로써 사용자에게 촉각자극이 제공될 수 있다. 액츄에이터는 진동 모터뿐만 아니라, 공압식(pneumatic) 또는 유압식(hydraulic) 액츄에이터일 수도 있다.The tactile stimulation providing apparatus 40 can provide a tactile stimulation to the user according to the received tactile stimulation signal. The tactile stimulus providing device 40 may be a game controller, a touch display, a mouse, a keyboard, a chair for providing a tactile stimulus, and a wrist tactile sensation providing a tactile stimulus. For example, the tactile stimulus providing apparatus 40 may include an actuator such as a plurality of vibration motors, and a plurality of vibration motors may be selectively vibrated according to a tactile stimulation signal so that a tactile stimulus can be provided to the user. The actuator may be a pneumatic or hydraulic actuator as well as a vibration motor.

본 실시예의 제2 프로그램은 내부적으로 촉각자극 제공 기능이 없는 제1 프로그램을 보완하여 촉각자극 제공 장치(40)에 필요한 촉각자극 신호를 생성하기 위한 것으로서, 이하에서 각 단계별로 상세히 설명한다.The second program of the present embodiment is for generating a tactile stimulation signal necessary for the tactile stimulation providing apparatus 40 by supplementing a first program which is not provided with a tactile stimulus providing function internally, and will be described in detail below.

먼저, 사용자 입력 장치(10)로부터 입력 신호가 발생한다(S100). 예를 들어, 사용자 입력 장치(10)는 게임 컨트롤러일 수 있고, 사용자가 버튼을 누름으로써 총알을 발사하라는 입력 신호가 발생할 수 있다.First, an input signal is generated from the user input device 10 (S100). For example, the user input device 10 may be a game controller, and an input signal may be generated by a user pressing a button to fire a bullet.

제1 프로그램은 입력 신호를 시각자극 신호로 변환할 수 있다. 예를 들어, 제1 프로그램은 슈팅 분야의 게임 프로그램일 수 있고, 총알 발사에 대한 입력 신호를 수신하여 게임 내의 총에서 불꽃이 튀는 장면을 연출하도록 시각자극 신호를 생성할 수 있다. 즉, 총알 발사에 대한 입력 신호를 총구에서 불꽃이 튀는 장면으로 변환할 수 있다.The first program may convert the input signal into a visual stimulus signal. For example, the first program may be a game program in the field of shooting, and may receive an input signal for a bullet shot to generate a visual stimulus signal to produce a scene of sparkling in a gun in the game. That is, the input signal for the bullet firing can be converted into a scene where the bullet sparks out.

제1 프로그램은 이러한 시각자극 신호를 표시 장치(30)로 제공함으로써, 사용자는 표시 장치(30)를 통해 시각적 자극을 받을 수 있다. 예를 들어, 사용자는 게임 컨트롤러 버튼 누름에 따라 총알이 발사되는 연출을 확인할 수 있다.The first program provides such a visual stimulation signal to the display device 30 so that the user can receive visual stimulation through the display device 30. [ For example, the user can confirm the direction in which the bullet is fired by pressing the game controller button.

본 발명의 한 실시예에 따른 제2 프로그램은 제1 프로그램이 수신하고자 하는 입력 신호를 인터셉트(intercept)할 수 있다(S110). 즉, 입력 신호를 수신하여 시각자극 신호로 변환하는 제1 프로그램으로 입력 신호가 도달하는 과정에서, 제2 프로그램이 입력 신호를 인터셉트할 수 있다. 사용자 입력 장치(10)의 입력 신호는 컴퓨팅 장치(20)의 운영 체제(Operating System)를 통해서 제공될 수 있는데, 제2 프로그램은 운영 체제에 대해서 입력 신호 인터셉트 알고리즘을 통해서 입력 신호를 인터셉트할 수 있다.A second program according to an embodiment of the present invention may intercept an input signal to be received by the first program (S110). That is, the second program can intercept the input signal while the input signal reaches the first program that receives the input signal and converts it into the visual stimulus signal. The input signal of the user input device 10 may be provided through the operating system of the computing device 20 which may intercept the input signal through an input signal intercept algorithm to the operating system .

제2 프로그램은 인터셉트한 입력 신호를 촉각자극 신호로 변환하고(S120), 촉각자극 신호를 촉각자극 제공 장치(40)로 제공할 수 있다(S130). 따라서, 제2 프로그램은 시각자극 신호의 생성과 거의 동시에, 또는 시각자극 신호가 생성되기도 전에 촉각자극 신호를 생성할 수 있고, 사용자는 시각자극 신호와 촉각자극 신호 간의 간극을 거의 느끼지 않을 수 있으므로 더욱 게임에 몰입할 수 있는 장점이 있다. 실험에 의하면, 대략 20 ms 이하의 반응속도로 무선으로 촉각자극을 제공할 수 있었다.The second program may convert the intercepted input signal into a tactile stimulation signal (S120) and provide the tactile stimulation signal to the tactile stimulus providing device 40 (S130). Thus, the second program can generate a tactile stimulation signal almost simultaneously with the generation of the visual stimulation signal, or before the visual stimulation signal is generated, and the user can hardly feel the gap between the visual stimulation signal and the tactile stimulation signal, There is an advantage to be immersed in the game. Experiments have shown that tactile stimulation can be provided wirelessly at a response rate of approximately 20 ms or less.

도 2는 본 발명의 한 실시예에 따른 제2 프로그램에서 제1 프로그램으로부터 시각자극 신호를 수신하는 경우를 설명하기 위한 도면이다.2 is a diagram for explaining a case where a visual stimulation signal is received from a first program in a second program according to an embodiment of the present invention.

도 2를 참조하면, 제2 프로그램(22)은 제1 프로그램(21)으로부터 시각자극 신호를 수신할 수 있다. 제2 프로그램(22)은 입력 신호를 촉각자극 신호로 변환하는 과정에서, 이러한 시각자극 신호를 참조할 수 있다.Referring to FIG. 2, the second program 22 may receive a visual stimulus signal from the first program 21. The second program 22 can refer to such a visual stimulus signal in the process of converting the input signal into a tactile stimulus signal.

도 1에서 전술한 방법은 시각자극 신호와 촉각자극 신호의 간극을 최소화할 수 있는 방법이긴 하나, 참조할 수 있는 신호가 사용자 입력 장치(10)의 입력 신호에 한정되므로 시각자극 신호와 촉각자극 신호의 매칭에 오류가 생길 수 있다.Although the method described above with reference to FIG. 1 is a method capable of minimizing the gap between the visual stimulation signal and the tactile stimulation signal, since the reference signal is limited to the input signal of the user input device 10, An error may occur in the matching.

예를 들어, 사용자가 게임 컨트롤러의 버튼을 눌러 총알을 계속 발사하고 있다면 이에 상응하는 시각자극 신호(총구에서 연속해서 불꽃이 튐)와 촉각자극 신호(짧고 연속된 진동)를 체감하고 있을 것이다. 하지만, 총알이 모두 소모되고 사용자가 계속해서 버튼을 누르는 경우, 시각자극 신호(총구에서 불꽃이 튀지 않음)와 촉각자극 신호(짧고 연속된 진동)의 매칭에 오류가 생길 수 있고, 사용자의 게임 몰입도가 저하될 수 있다.For example, if a user presses a button on the game controller and continues to fire a bullet, it will experience a corresponding visual stimulus signal (continuous fire in the muzzle) and a tactile stimulus signal (short, continuous vibration). However, if the bullet is exhausted and the user continues to press the button, errors may occur in the matching of the visual stimulus signal (no flame spikes in the muzzle) and the tactile stimulus signal (short and continuous vibrations) The temperature may be lowered.

이러한 도 1에서의 매칭 오류는 제2 프로그램(22)이 사용자 입력 장치(10)의 입력 신호에만 의존하고 있음에 기인한다.This matching error in FIG. 1 is due to the fact that the second program 22 depends only on the input signal of the user input device 10.

따라서, 본 실시예에서는 제2 프로그램(22)이 제1 프로그램(21)으로부터 시각자극 신호를 수신하고, 이를 참조함으로써 시각자극 신호 및 촉각자극 신호 사이의 매칭 오류를 해소하고자 한다. 예를 들어, 사용자가 계속 버튼을 눌러 입력 신호가 발생하더라도 시각자극 신호를 참조하여 총알이 발사될 수 없는 경우임을 확인하였다면 촉각자극 신호를 생성하지 않을 수 있다. 또는 다른 종류의 촉각자극 신호(철컥거리는 빈 탄창의 느낌)를 생성할 수도 있다.Accordingly, in the present embodiment, the second program 22 receives the visual stimulation signal from the first program 21 and tries to solve the matching error between the visual stimulation signal and the tactile stimulation signal by referring to the visual stimulation signal. For example, if the user presses the continue button to confirm that the bullet can not be fired by referring to the visual stimulation signal even if an input signal is generated, the tactile stimulation signal may not be generated. Or other types of tactile stimulation signals (a feeling of clenched empty magazine).

다른 실시예에서, 제2 프로그램(22)은 변환된 촉각자극 신호를 촉각자극 제공 장치(40)로 제공하는 과정에서, 이러한 시각자극 신호를 참조할 수 있다. 예를 들어, 입력 신호에 따라 촉각자극 신호를 미리 생성하되, 시각자극 신호를 참조하여 현재 상황에 부적합한 촉각자극 신호라면 이를 촉각자극 제공 장치(40)에 제공하지 않을 수 있다(blocking). 물론 시각자극 신호를 참조하여 현재 상황에 적합한 촉각자극 신호라면 이를 촉각자극 제공 장치(40)에 제공할 수 있다.In another embodiment, the second program 22 may refer to such a visual stimulus signal in the process of providing the transformed tactile stimulus signal to the tactile stimulus providing apparatus 40. [ For example, a tactile stimulation signal may be generated in advance according to an input signal, and if the tactile stimulation signal is unsuitable for the current situation by referring to the visual stimulation signal, the signal may not be provided to the tactile stimulus providing apparatus 40. Of course, if the tactile stimulation signal suitable for the current situation is referenced with reference to the visual stimulation signal, the signal can be provided to the tactile stimulation providing apparatus 40. [

이와 같이 제2 프로그램(22)이 입력 신호와 시각자극 신호를 참조하여 적절한 촉각자극 신호를 생성하는 것은 다양한 실시예로 구성될 수 있다. 따라서, 본 발명의 범주는 반드시 전술한 실시예만으로 한정될 수 없으며, 당업자가 용이하게 변형하여 실시할 수 있는 실시예를 모두 포함하여야 할 것이다.As such, the second program 22 may generate the appropriate tactile stimulation signal by referring to the input signal and the visual stimulation signal may be configured in various embodiments. Therefore, the scope of the present invention should not be limited to only the above-described embodiments, and all embodiments that can be easily modified by those skilled in the art should be included.

도 3은 입력 신호 및 시각자극 신호를 이용하여 촉각자극 신호를 생성하는 구체적인 경우를 설명하기 위한 도면이고, 도 4는 도 3으로부터 1 초가 지난 시점을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining a specific example of generating a tactile stimulation signal using an input signal and a visual stimulation signal, and FIG. 4 is a view for explaining a time point when one second has elapsed from FIG.

도 2의 실시예의 경우에도 장점만이 존재하는 것은 아니다. 딥 러닝(deep learning) 기술의 발전으로 표시 장치(30)에 표시된 화면 전체를 계속해서 인식하는 것도 가능하지만, 이와 같은 방식은 많은 컴퓨팅 자원(computing resource)을 필요로 한다. 따라서, 이러한 시각자극 신호를 참조 및 분석하는 것이 병목 현상(bottle neck)을 일으켜 촉각자극 신호의 생성이 늦어짐으로써, 시각자극 신호와 딜레이가 발생할 우려가 있다.In the case of the embodiment of FIG. 2, there is no merit. It is possible to continue to recognize the entire screen displayed on the display device 30 with the development of deep learning technology, but this method requires a lot of computing resources. Therefore, referring to and analyzing such a visual stimulation signal causes a bottleneck, the generation of a tactile stimulation signal is delayed, and a visual stimulation signal and a delay may occur.

따라서, 도 3 및 4의 실시예에서는 시각자극 신호의 참조를 최소한으로 함으로써 병목 현상을 최소화시키고자 한다. 도 3 및 4의 실시예에서는, 제2 프로그램(22)이 시각자극 신호를 참조함에 있어서, 미리 결정된 관심 영역(region of interest, ROI)에 대한 부분만 참조하도록 한다. 예를 들어, 도 3을 참조하면, 제1 시점(t=0sec)의 표시 장치(30)에 표시된 화면에서 복수의 그래픽 객체(310a, 311a, 312a, 313a, 314a)가 표시된 영역이 미리 결정된 관심 영역일 수 있다. 또한, 도 4를 참조하면, 도 3과 대응하여, 제2 시점(t=1sec)의 표시 장치(30)에 표시된 화면에서 복수의 그래픽 객체(310b, 311b, 312b, 313b, 314b)가 표시된 영역이 미리 결정된 관심 영역일 수 있다.Therefore, in the embodiments of FIGS. 3 and 4, the bottleneck phenomenon is minimized by minimizing the reference of the visual stimulus signal. In the embodiment of FIGS. 3 and 4, the second program 22 refers to the visual stimulus signal and only refers to a portion of a predetermined region of interest (ROI). For example, referring to FIG. 3, a region where a plurality of graphic objects 310a, 311a, 312a, 313a, and 314a are displayed on a screen displayed on the display device 30 at a first time point (t = 0 sec) Lt; / RTI > 3, a plurality of graphic objects 310b, 311b, 312b, 313b, and 314b are displayed on the screen displayed on the display device 30 at the second time point (t = 1 sec) May be a predetermined region of interest.

한 실시예에 따르면, 미리 결정된 관심 영역에 대한 부분만 참조함에 있어서, 미리 결정된 관심 영역에서 매칭되는 그래픽 객체에 따라 입력 신호를 촉각자극 신호로 변환할지 여부를 결정할 수 있다.According to one embodiment, in referring only to a portion of a predetermined region of interest, it may be determined whether to convert the input signal to a tactile stimulation signal according to a graphic object that matches in a predetermined region of interest.

예를 들어, 도 3의 관심 영역을 참조하면, 제1 능력에 대한 그래픽 객체(311a)는 사용자가 제1 능력을 사용가능 함을 가리키고 있고, 제2 능력에 대한 그래픽 객체(312a)는 사용자가 제2 능력을 사용하기에 3초를 더 기다려야 함을 가리키고 있고, 제3 능력에 대한 그래픽 객체(313a)는 사용자가 제3 능력을 사용하기에 1초를 더 기다려야 함을 가리키고 있고, 총알 개수에 대한 그래픽 객체(314a)는 사용자가 총알 1발을 더 쏠 수 있음을 가리키고 있다. 또한 캐릭터에 대한 그래픽 객체(310a)는 캐릭터의 종류와 캐릭터가 살아있음(alive)을 가리키고 있다.For example, referring to the region of interest of FIG. 3, the graphical object 311a for the first capability indicates that the user is enabled for the first capability, and the graphical object 312a for the second capability Indicating that the user must wait three more seconds to use the second capability and the graphical object 313a for the third ability indicates that the user should wait another second to use the third capability and that the number of bullets The graphical object 314a indicates that the user can shoot one more bullet. Also, the graphic object 310a for the character indicates the type of the character and the character is alive.

따라서, 도 3의 시점에서, 제2 프로그램이 시각자극 신호를 참조하는 경우, 사용자가 제1 능력을 사용하거나 총알 1발을 쏠 수 있는 상태임을 알 수 있으므로, 사용자가 제1 능력을 사용하거나 총알 1발을 쏘는 경우, 입력 신호를 촉각자극 신호로 변환할 수 있다. 다만, 사용자가 제2 능력을 사용하거나 제3 능력을 사용하고자 컨트롤러를 조작하는 경우, 제2 프로그램은 입력 신호를 촉각자극 신호로 변환하지 않을 수 있다.Therefore, at the time of FIG. 3, when the second program refers to the visual stimulation signal, since the user can know that the first ability or the bullet can be shot, the user can use the first ability, When shooting one foot, the input signal can be converted into a tactile stimulus signal. However, if the user uses the second capability or manipulates the controller to use the third capability, the second program may not convert the input signal into a tactile stimulation signal.

도 4의 시점에서, 제2 프로그램이 시각자극 신호를 참조하는 경우, 사용자가 제1 능력 및 제3 능력을 사용할 수 있는 상태임을 알 수 있으므로, 사용자가 제1 능력을 사용하거나 제3 능력을 사용하는 경우, 입력 신호를 촉각자극 신호로 변환할 수 있다. 다만, 사용자가 제2 능력을 사용하거나 총알을 발사하고자 컨트롤러를 조작하는 경우, 제2 프로그램은 입력 신호를 촉각자극 신호로 변환하지 않을 수 있다.At the time of FIG. 4, when the second program refers to the visual stimulus signal, the user can know that the first capability and the third capability are available, so that the user can use the first capability or use the third capability The input signal can be converted into a tactile stimulation signal. However, if the user manipulates the controller to use a second capability or to fire a bullet, the second program may not convert the input signal to a tactile stimulation signal.

다른 실시예에 따르면, 미리 결정된 관심 영역에 대한 부분만 참조함에 있어서, 미리 결정된 관심 영역에서 매칭되는 그래픽 객체에 따라 촉각자극 신호를 촉각자극 제공 장치로 제공할지 여부를 결정할 수 있다. 이러한 실시예에는 입력 신호를 촉각자극 신호로 우선적으로 변환하고, 생성된 촉각자극 신호를 촉각자극 제공 장치로 전달할지 말지를 결정하는 방식이다.According to another embodiment, in referring only to a portion of a predetermined region of interest, it may be determined whether to provide a tactile stimulation signal to a tactile stimulus providing device according to a graphic object matched in a predetermined region of interest. In this embodiment, the input signal is preferentially converted into a tactile stimulation signal, and the generated tactile stimulation signal is determined to be transmitted to the tactile stimulus providing apparatus.

예를 들어, 도 3의 시점에서, 제2 프로그램이 시각자극 신호를 참조하는 경우, 사용자가 제1 능력을 사용하거나 총알 1발을 쏠 수 있는 상태임을 알 수 있으므로, 사용자가 제1 능력을 사용하거나 총알 1발을 쏘는 경우, 기생성된 촉각자극 신호를 촉각자극 제공 장치로 제공할 수 있다. 다만, 사용자가 제2 능력을 사용하거나 제3 능력을 사용하고자 컨트롤러를 조작하는 경우, 제2 프로그램은 기생성된 촉각자극 신호를 촉각자극 제공 장치로 제공하지 않을 수 있다.For example, at the time of FIG. 3, when the second program refers to the visual stimulus signal, since the user can know that the first ability is available or the bullet can be shot, Or a shot of a bullet, the pre-generated tactile stimulation signal can be provided to the tactile stimulus providing apparatus. However, when the user uses the second capability or operates the controller to use the third capability, the second program may not provide the generated tactile stimulation signal to the tactile stimulation providing apparatus.

도 4의 시점에서, 제2 프로그램이 시각자극 신호를 참조하는 경우, 사용자가 제1 능력 및 제3 능력을 사용할 수 있는 상태임을 알 수 있으므로, 사용자가 제1 능력을 사용하거나 제3 능력을 사용하는 경우, 기생성된 촉각자극 신호를 촉각자극 제공 장치로 제공할 수 있다. 다만, 사용자가 제2 능력을 사용하거나 총알을 발사하고자 컨트롤러를 조작하는 경우, 제2 프로그램은 기생성된 촉각자극 신호를 촉각자극 제공 장치로 제공하지 않을 수 있다.At the time of FIG. 4, when the second program refers to the visual stimulus signal, the user can know that the first capability and the third capability are available, so that the user can use the first capability or use the third capability , It is possible to provide a pre-generated tactile stimulation signal to the tactile stimulus providing apparatus. However, when the user manipulates the controller to use the second capability or to fire the bullet, the second program may not provide the pre-generated tactile stimulation signal to the tactile stimulus providing device.

도 3 및 4의 경우 미리 결정된 관심 영역이 고정되어 있지만, 다른 실시예에서는 관심 영역이 고정되어 있지 않을 수 있다. 예를 들어, 헤드 마운티드 디스플레이를 착용하고 즐기는 VR 게임(virtual reality game)의 경우 몰입도 향상을 위해서 총알 개수 등의 인디케이터(indicator)가 표시되어 있지 않은 경우가 많다. 이러한 경우는 컨트롤러의 위치를 제2 입력 신호로 하여, 컨트롤러의 위치 대비 특정 오프셋(offset)만큼의 영역을 관심 영역으로 미리 결정할 수 있다. 예를 들어 컨트롤러가 총기의 역할을 하는 경우, 총기의 위치를 기준으로 일정 영역이 관심 영역으로 되므로, 총기의 시각적 상태(총알 소진 여부 등)를 계속적으로 참조할 수 있다.In Figures 3 and 4, the predetermined region of interest is fixed, but in other embodiments the region of interest may not be fixed. For example, in the case of a virtual reality game in which a head-mounted display is worn and enjoyed, in many cases, an indicator such as the number of bullets is not displayed for improving immersion. In this case, the position of the controller can be determined as the second input signal, and an area corresponding to a specific offset with respect to the position of the controller can be predetermined as the region of interest. For example, if the controller acts as a firearm, the area of interest is the area of interest based on the position of the firearm, so that the visual status of the firearm (such as whether the bullet is exhausted) can be continuously referred to.

시각자극 신호의 참조 과정에서, 표시 장치(30)의 스펙, 선택된 해상도의 차이가 문제될 수 있다. 즉, 미리 학습된 그래픽 객체의 해상도와 표시 장치(30)에서 표시되는 그래픽 객체의 해상도가 서로 불일치하는 경우가 발생할 수 있다. 이를 해결하기 위해서, 제2 프로그램(22)은 예상할 수 있는 최대 해상도로 학습시킨 이후에, 사용자가 게임(21)을 즐길 때마다 현재 게임(21)의 해상도를 지속적으로 업데이트 받으면서, 현재 입력되는 게임(21)의 이미지를 미리 설정된 최대 해상도에 맞도록 스케일 업(scale up)하여 입력시킬 수 있다. 또한 다른 방법으로는, 최대 해상도뿐만 아니라, 더 낮은 다수의 해상도에 대해 제2 프로그램(22)을 미리 학습시켜놓고, 사용자의 해상도에 맞춰 가장 적합한 해상도로 학습된 알고리즘을 이용할 수도 있다.In the process of referring to the visual stimulation signal, the specification of the display device 30, the difference in the selected resolution may be a problem. That is, the resolution of the previously learned graphic object and the resolution of the graphic object displayed on the display device 30 may be inconsistent with each other. In order to solve this problem, the second program 22 continuously learns the resolution of the current game 21 every time the user enjoys the game 21 after learning at a predictable maximum resolution, The image of the game 21 can be scaled up to fit the preset maximum resolution and input. Alternatively, the second program 22 may be preliminarily learned for a plurality of lower resolutions as well as the maximum resolution, and the learned algorithm may be used with the resolution most suitable for the resolution of the user.

시각자극 신호를 참조하여 분류(visual classification)하는 것에 대해서, 탬플릿 매칭(template matching), SVM(support vector machine), MLP(multi-layer perceptron), CNN(convolutional neural network) 등의 시각적 처리(visual processing) 및 기계 학습(machine learning) 기법이 사용될 수 있다.Visual classification such as template matching, support vector machine (SVM), multi-layer perceptron (MLP), and convolutional neural network (CNN) ) And machine learning techniques can be used.

도 5는 본 발명의 한 실시예에 따른 제2 프로그램에서 제1 프로그램으로부터 청각자극 신호를 수신하는 경우를 설명하기 위한 도면이다.5 is a diagram for explaining a case where an auditory stimulation signal is received from a first program in a second program according to an embodiment of the present invention.

도 5를 참조하면, 제2 프로그램(22)이 제1 프로그램(21)으로부터 청각자극 신호를 수신할 수 있다.Referring to FIG. 5, a second program 22 may receive an auditory stimulation signal from the first program 21.

도 2 내지 4를 참조하여 전술한 바에 따르면 제2 프로그램(22)이 제1 프로그램(21)으로부터 수신한 시각자극 신호를 참조하여 입력 신호의 맹점을 보완할 수 있었지만, 본 실시예에서는 제2 프로그램(22)이 제1 프로그램(21)으로부터 수신한 청각자극 신호를 참조하여 입력 신호의 맹점을 보완할 수 있다.2 to 4, the blind spot of the input signal can be compensated by referring to the visual stimulation signal received from the first program 21 by the second program 22. However, in the present embodiment, The blind spot of the input signal can be supplemented with reference to the auditory stimulation signal received from the first program 21 by the user.

예를 들어, 시각자극 신호를 참조한다면 도 4의 그래픽 객체(314b)를 참조함으로써 총알이 소진되었음을 알 수 있다. 이때, 청각자극 신호를 참조한다면 탄창을 교체하는 효과음을 참조함으로써, 총알이 다 소진되었음을 확인할 수도 있을 것이다. 시각자극 신호 및 청각자극 신호를 상호 보완적으로 이용할 수도 있지만, 이하 실시예에서는 중복되는 설명은 생략하고, 청각자극 신호를 참조하는 방법에 대해 설명한다.For example, referring to the visual stimulus signal, it can be seen that the bullet has been exhausted by referring to the graphical object 314b of FIG. At this time, if referring to the auditory stimulus signal, it may be possible to confirm that the bullet is exhausted by referring to the effect sound to replace the magazine. Although the visual stimulation signal and the auditory stimulation signal can be complementarily used, a method of referring to the auditory stimulation signal will be described below in the following embodiments.

한 실시예에 따르면, 제2 프로그램(22)은 입력 신호를 촉각자극 신호로 변환하는 과정에서, 청각자극 신호를 참조할 수 있다. 다른 실시예에 따르면, 제2 프로그램(22)은 촉각자극 신호를 촉각자극 제공 장치로 제공하는 과정에서, 청각자극 신호를 참조할 수 있다. 각 실시예의 차이점은 도 3 및 4를 참조하여 설명한 것과 유사하므로 별도로 설명하지 않는다.According to one embodiment, the second program 22 can refer to the auditory stimulation signal in the process of converting the input signal into a tactile stimulation signal. According to another embodiment, the second program 22 may refer to the auditory stimulation signal in the course of providing the tactile stimulation signal to the tactile stimulus providing device. The differences between the embodiments are similar to those described with reference to Figs. 3 and 4, and thus are not described separately.

도 6은 본 발명의 한 실시예에 따라 청각자극 신호를 필터링하는 과정을 설명하기 위한 도면이다.6 is a diagram for explaining a process of filtering auditory stimulation signals according to an embodiment of the present invention.

한 실시예에 따르면, 제2 프로그램(22)은 청각자극 신호를 참조함에 있어서, 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 입력 신호를 촉각자극 신호로 변환할지 여부를 결정할 수 있다. 다른 실시예에 따르면, 제2 프로그램(22)은 청각자극 신호를 참조함에 있어서, 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 촉각자극 신호를 촉각자극 제공 장치로 제공할지 여부를 결정할 수 있다. 각 실시예의 차이점은 도 3 및 4를 참조하여 설명한 것과 유사하므로 별도로 설명하지 않는다. 이하에서는 각 실시예의 공통점인 청각자극 신호를 필터링하여 청각자극 객체와 매칭하는 과정에 대해 설명한다.According to one embodiment, in referring to the auditory stimulation signal, the second program 22 may filter the auditory stimulation signal to determine whether to convert the input signal to a tactile stimulation signal according to the auditory stimulation object being matched. According to another embodiment, in referring to the auditory stimulation signal, the second program 22 may filter the auditory stimulation signal to determine whether to provide a tactile stimulation signal to the tactile stimulation providing apparatus in accordance with the auditory stimulation object being matched . The differences between the embodiments are similar to those described with reference to Figs. 3 and 4, and thus are not described separately. Hereinafter, a process of filtering an auditory stimulation signal, which is a common point of each embodiment, to match with an auditory stimulation object will be described.

오디오 신호, 즉 청각자극 신호는 시각자극 신호와 비교했을 때, 데이터 처리에 걸리는 시간 및 컴퓨팅 자원 대비 획득할 수 있는 정보의 수준이 비교적 낮다. 따라서 시각자극 신호와 비교했을 때 제한적으로 사용될 필요가 있다.The audio signal, that is, the auditory stimulation signal, is relatively low in the amount of time it takes to process the data and the amount of information that can be obtained relative to the computing resources compared to the visual stimulus signal. Therefore, it needs to be used in a limited manner when compared with the visual stimulus signal.

본 실시예에서는 청각자극 객체(총소리, 비명소리 등)에 해당하는 특정 효과음을 검출해내기 위해서 입력받은 청각자극 신호(배경음 및 각종 효과음이 중첩된 소리 신호)에 최적화된 필터를 사용하고, 그 후 MFCC(mel-frequency cepstrum coefficients) 등의 처리를 통한 알고리즘이 구현될 수 있다.In this embodiment, a filter optimized for the inputted auditory stimulation signal (a sound signal in which a background sound and various sound effects are superimposed) is used to detect a specific sound effect corresponding to the auditory stimulation object (gun, scream, etc.) An algorithm based on processing such as MFCC (mel-frequency cepstrum coefficients) can be implemented.

예를 들어, 청각자극 신호에 LoG(Laplacian of Gaussian) 필터링을 하면 순간적으로 변화하는 신호만이 증폭하게 되는데 이를 이용하면 총 소리, 비명 소리 등의 효과음과 배경음을 분리할 수 있다. 그 후, MFCC를 구하고 이 결과를 MLP(multi-layer perceptron), CNN(convolutional neural network) 등의 분류(classification) 알고리즘을 이용하여 분류(매칭)할 수 있다.For example, when the laplacian of Gaussian (LoG) filtering is applied to the auditory stimulus signal, only the instantaneous changing signal is amplified. This can separate the effect sound such as total sound and scream sound from the background sound. Then, the MFCC can be obtained and the result can be classified (matched) by using a classification algorithm such as MLP (multi-layer perceptron) or CNN (convolutional neural network).

도 6을 참조하면, 짧은 구간(window) 동안의 오디오 신호를 FFT(fast fourier transform)하여 시간에 따른 주파수(frequency)의 변화로 표시한 것이 스펙트로그램(spectrogram)이다.Referring to FIG. 6, a spectrogram is a fast fourier transform (FFT) of an audio signal during a short window, and is expressed by a change in frequency with time.

이러한 스펙트로그램에서 사람의 귀가 오디오 신호를 인식하는 방식을 본떠서, 저주파 대역은 더 촘촘하게, 고주파 대역은 더 넓은 필터(filter)를 이용해 20 내지 40 개의 필터로 표현한 것이 멜-주파수 스펙트럼(mel-frequency spectrum)이다. 이러한 결과를 더 효율적으로 압축한 것이 MFCC이다. 이러한 실시예를 이용하면 높은 데이터 양을 갖는 오디오 신호를 더 낮은 양의 데이터로 압축할 수 있다.In this spectrogram, a representation of 20 to 40 filters using a wider filter in the lower frequency band and a higher frequency band in accordance with the manner in which the human ear recognizes an audio signal is called a mel-frequency spectrum )to be. It is MFCC that compresses these results more efficiently. With this embodiment, an audio signal having a high data amount can be compressed into a smaller amount of data.

도 7은 본 발명의 한 실시예에 따라 필터링된 청각자극 신호를 청각자극 객체와 대응시키는 과정을 설명하기 위한 도면이다.FIG. 7 is a diagram illustrating a process of mapping a filtered auditory stimulation signal to an auditory stimulation object according to an embodiment of the present invention.

도 7을 참조하면 MFCC와 함께 MLP를 적용한 알고리즘에 대해 도시하고 있다. MLP는 완전 연결형 레이어(fully-connected layer)로 이루어진 뉴럴 네트워크 모델(neural network model)이다. Referring to FIG. 7, there is shown an algorithm to which MLP is applied together with MFCC. The MLP is a neural network model of a fully-connected layer.

본 실시예에서는 3 개의 레이어의 MLP로 구성되었으며, 전처리된 오디오 신호의 좌, 우 채널을 모두 사용하여 1 차원 벡터로 리세이프(reshape)하여 네트워크의 입력으로 사용하였다. 출력은 미리 선정된 배경음(background) 포함 18 개의 클래스 라벨(class label)의 확률 값을 나타내는 소프트맥스 레이어(softmax layer)를 사용하였다.In this embodiment, the MLP is composed of three layers, and the left and right channels of the preprocessed audio signal are all reshaped into a one-dimensional vector and used as input to the network. The output uses a softmax layer representing the probability values of 18 class labels including a predetermined background.

본 실시예에서는, 스테레오(stereo) 오디오 신호를 각각의 L, R 채널마다 별도로 MFCC로 변환한 후에, MLP를 통해 각 클래스(class), 즉 청각자극 객체의 소리를 구별할 수 있었다.In this embodiment, after converting the stereo audio signal into MFCC for each of the L and R channels separately, it is possible to distinguish the sound of each class, i.e., the auditory stimulation object, through the MLP.

다른 실시예에서, MLP의 마지막 히든 레이어(hidden layer)에 포그라운드 컨피던스(foreground confidence)를 예측하기 위한 시그모이드 리그레션 레이어(sigmoid regression layer)를 추가한 형태로 네트워크를 구성할 수도 있다. 이때 포그라운드 컨피던스는 0에서 1 사이의 실수 값을 가질 수 있다.In another embodiment, a network may be constructed in which a sigmoid regression layer for predicting foreground confidence is added to the last hidden layer of the MLP. In this case, the foreground confidence may have a real value between 0 and 1.

도 8은 본 발명의 다른 실시예에 따라 필터링된 청각자극 신호를 청각자극 객체와 대응시키는 과정을 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining a process of mapping a filtered auditory stimulation signal to an auditory stimulation object according to another embodiment of the present invention.

도 8을 참조하면 MFCC와 함께 CNN을 적용한 알고리즘에 대해 도시하고 있다. 도 7의 경우와 유사하게 MLP와 또 다른 분류(classificaton) 알고리즘 중 하나인 CNN을 통해 청각자극 객체의 소리를 구별할 수 있다. Referring to FIG. 8, an algorithm using CNN with MFCC is shown. Similar to the case of FIG. 7, the sound of the auditory stimulation object can be distinguished through MLP and CNN, which is another classification algorithm.

CNN은 컴퓨터 비전(computer vision) 분야에서 활용되는 딥 러닝(deep learning) 기반 모델 중 하나이다. 특히 계층적인 구조로 하위 레이어에서는 로컬한(local) 특징(feature)을, 상위 레이어에서는 글로벌한(global) 특징을 추출하며, 입력 패턴의 회전, 평행이동 등에 대한 변화에 강인한 특징을 추출할 수 있는 장점을 갖고 있다.CNN is one of the deep learning-based models used in the field of computer vision. In particular, it is possible to extract a local feature from a lower layer and a global feature from an upper layer with a hierarchical structure, and extract a characteristic that is robust to changes in rotation, parallel movement, It has advantages.

본 실시예에서는 3 개의 레이어로 구성된 CNN을 오디오 신호에 대한 특징 추출기로서 활용하였다. 이때, 각 컨벌루션 레이어(convolution layer)는 시간 축으로만 컨벌루션 연산을 수행하도록 하였다.In this embodiment, CNN composed of three layers is used as a feature extractor for an audio signal. At this time, each convolution layer performs a convolution operation only on the time axis.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are illustrative and explanatory only and are intended to be illustrative of the invention and are not to be construed as limiting the scope of the invention as defined by the appended claims. It is not. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10: 사용자 입력 장치
20: 컴퓨팅 장치
30: 표시 장치
40: 촉각자극 제공 장치
21: 제1 프로그램
22: 제2 프로그램10: User input device
20: computing device
30: Display device
40: tactile stimulation providing device
21: First program
22: The second program

Claims

A tactile stimulus providing method performed by a computing device connected to a user input device and a tactile stimulation providing device,
Generating an input signal from the user input device;
Intercepting the input signal by a second program as the input signal reaches a first program that receives the input signal and converts the input signal to a visual stimulus signal;
Converting the input signal intercepted by the second program into a tactile stimulation signal; And
Providing the tactile stimulation signal to the tactile stimulus providing device
Providing a tactile stimulus.

The method according to claim 1,
Further comprising the step of the second program receiving the visual stimulus signal,
In the step of converting the tactile stimulation signal into the tactile stimulation signal,
Providing a tactile stimulus.

3. The method of claim 2,
In reference to the visual stimulus signal, a reference to a portion of a predetermined region of interest,
Providing a tactile stimulus.

The method of claim 3,
Determining whether to convert the input signal to the tactile stimulus signal according to a graphic object matched in the predetermined region of interest,
Providing a tactile stimulus.

The method according to claim 1,
Further comprising the step of the second program receiving the visual stimulus signal,
Wherein the step of providing the tactile stimulus to the tactile stimulus providing apparatus comprises:
Providing a tactile stimulus.

6. The method of claim 5,
In reference to the visual stimulus signal, a reference to a portion of a predetermined region of interest,
Providing a tactile stimulus.

The method according to claim 6,
Determining whether to provide the tactile stimulation signal to the tactile stimulus providing apparatus according to a graphic object matched in the predetermined region of interest,
Providing a tactile stimulus.

The method according to claim 1,
Wherein the second program further comprises receiving an auditory stimulation signal from the first program,
Wherein, in the step of converting the tactile stimulation signal into the tactile stimulation signal,
Providing a tactile stimulus.

9. The method of claim 8,
Determining whether to convert the input signal to the tactile stimulation signal according to the auditory stimulation object matched by filtering the auditory stimulation signal in reference to the auditory stimulation signal,
Providing a tactile stimulus.

The method according to claim 1,
Wherein the second program further comprises receiving an auditory stimulation signal from the first program,
And providing the tactile stimulus to the tactile stimulus providing device,
Providing a tactile stimulus.

11. The method of claim 10,
Wherein the tactile stimulation signal is filtered to determine whether to provide the tactile stimulation signal to the tactile stimulation providing apparatus according to a matching audible stimulation object,
Providing a tactile stimulus.

A computer-readable recording medium having recorded thereon a second program including a plurality of steps that can be performed by a computer,
Intercepting the input signal in a process of receiving the input signal generated by the user input device and converting the received input signal into a visual stimulus signal;
Converting the intercepted input signal into a tactile stimulation signal; And
And providing the tactile stimulation signal to a tactile stimulus providing device.
A computer readable recording medium.

13. The method of claim 12,
Further comprising receiving the visual stimulus signal,
In the step of converting the tactile stimulation signal into the tactile stimulation signal,
A computer readable recording medium.

14. The method of claim 13,
In reference to the visual stimulus signal, a reference to a portion of a predetermined region of interest,
A computer readable recording medium.

15. The method of claim 14,
Determining whether to convert the input signal to the tactile stimulus signal according to a graphic object matched in the predetermined region of interest,
A computer readable recording medium.

13. The method of claim 12,
Further comprising receiving the visual stimulus signal,
Wherein the step of providing the tactile stimulus to the tactile stimulus providing apparatus comprises:
A computer readable recording medium.

17. The method of claim 16,
In reference to the visual stimulus signal, a reference to a portion of a predetermined region of interest,
A computer readable recording medium.

18. The method of claim 17,
Determining whether to provide the tactile stimulation signal to the tactile stimulus providing apparatus according to a graphic object matched in the predetermined region of interest,
A computer readable recording medium.

13. The method of claim 12,
Further comprising receiving an auditory stimulation signal from the first program,
Wherein, in the step of converting the tactile stimulation signal into the tactile stimulation signal,
A computer readable recording medium.

13. The method of claim 12,
Further comprising receiving an auditory stimulation signal from the first program,
And providing the tactile stimulus to the tactile stimulus providing device,
A computer readable recording medium.