[go: up one dir, main page]

WO2013162111A1 - 모션센서를 활용한 사용자 경험 기반의 스마트tv 구동 시스템 및 그 방법 - Google Patents

모션센서를 활용한 사용자 경험 기반의 스마트tv 구동 시스템 및 그 방법 Download PDF

Info

Publication number
WO2013162111A1
WO2013162111A1 PCT/KR2012/003675 KR2012003675W WO2013162111A1 WO 2013162111 A1 WO2013162111 A1 WO 2013162111A1 KR 2012003675 W KR2012003675 W KR 2012003675W WO 2013162111 A1 WO2013162111 A1 WO 2013162111A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
smart
information
rcu
sensing signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2012/003675
Other languages
English (en)
French (fr)
Inventor
조남혁
김동오
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ENGRAM TECHNOLOGY Co Ltd
Original Assignee
ENGRAM TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ENGRAM TECHNOLOGY Co Ltd filed Critical ENGRAM TECHNOLOGY Co Ltd
Publication of WO2013162111A1 publication Critical patent/WO2013162111A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work

Definitions

  • the present invention relates to a smart TV driving system based on a user experience (UX) using a motion sensor and a method thereof, and more particularly, a UI required for an app (APP) installed to provide various services of a smart TV. It provides a user interface, and relates to a technology for driving the APP embedded in the smart TV through mouse tracking and motion recognition.
  • UX user experience
  • APP app
  • a remote controller that can be remotely operated can be used.
  • a technology for controlling a pointing on a screen to correspond to a user's motion by installing a gyro sensor on the remote controller has been developed. .
  • the motion detection unit for detecting the user's movement, the long axis direction or Pointing means having a tactile output for providing tactile feedback in the left and right directions;
  • terminal means for manipulating the pointer displayed on the screen from the movement of the user sensed by the pointing means, and outputting the corresponding tactile information to the pointing means according to the movement of the pointer and the screen change according to the manipulation of the pointer.
  • the tactile output unit is composed of one or more linear vibrators for generating a collision or vibration in at least one of up, down, left, right, front and back according to the tactile information output from the terminal means.
  • the prior patent is to support the mouse point tracking for the unidirectional two-dimensional space, and to generate a vibration in the up, down, left, right, front, back direction.
  • the prior patent merely increases the recognition rate of the user by providing tactile feedback based on mouse point tracking, and provides mouse point tracking for two-dimensional space, so that button input is inevitable for the actual driving of the display device. to be.
  • a technique for driving a display device is proposed.
  • the present invention has been made to solve the above problems, provides a UI (User Interface) required for the app (APP) installed to provide a variety of services of the smart TV, and embedded in the smart TV through mouse tracking and motion recognition
  • UI User Interface
  • APP app
  • the smart TV by providing the smart TV with an APP that recognizes the mouse point tracking and the motion of the remote control based on the sensor data received from the remote control with a built-in motion sensor, the smart TV recognizes the motion of the three-dimensional space,
  • the purpose is to drive the display apparatus to correspond to each of the corresponding motions.
  • a remote control unit (RCU) 100 for transmitting An RCU intermediary unit 200 for applying the motion sensing signal received from the RCU 100 to the smart TV 300;
  • a smart TV 300 for controlling a UI (Uer Interface) so as to correspond to a motion sensing signal received from the RCU intermediary 200 according to the pre-installed app (APP).
  • UI User Interface
  • the smart TV driving method based on a user experience using a motion sensor based on the above-described system includes: (a) transmitting a motion sensing signal generated by the RCU 100 to the RCU intermediary 200; (B) applying the motion sensing signal received by the RCU intermediary 200 to the smart TV 300; And (c) controlling the UI (Uer Interface) to correspond to the motion sensing signal applied by the smart TV 300.
  • the smart TV by providing the smart TV with an APP that recognizes the mouse point tracking and the motion of the remote control based on the sensor data received from the remote control with a built-in motion sensor, the smart TV recognizes the motion of the three-dimensional space, There is an effect of driving the display apparatus to correspond to each of the corresponding motions.
  • FIG. 1 is a block diagram showing a conventional motion-based pointing device for providing tactile feedback and a control method thereof.
  • Figure 2 is a block diagram showing a user experience based smart TV driving system using a motion sensor according to the present invention.
  • FIG. 3 is a block diagram illustrating an RCU of a smart TV driving system based on a user experience using a motion sensor according to the present invention.
  • Figure 4 is a block diagram showing the RCU mediation module of the smart TV driving system based on the user experience using the motion sensor according to the present invention.
  • Figure 5 is a block diagram showing a smart TV of the user experience based smart TV driving system using a motion sensor according to the present invention.
  • FIG. 6 is a flowchart illustrating a user experience-based smart TV driving method using a motion sensor according to the present invention.
  • step S10 of the user experience-based smart TV driving method using a motion sensor according to the present invention is a flowchart illustrating a detailed process of step S10 of the user experience-based smart TV driving method using a motion sensor according to the present invention.
  • step S20 of the user experience-based smart TV driving method using a motion sensor according to the present invention is a flowchart illustrating a detailed process of step S20 of the user experience-based smart TV driving method using a motion sensor according to the present invention.
  • step S30 of the user experience-based smart TV driving method using a motion sensor according to the present invention is a flowchart illustrating a detailed process of step S30 of the user experience-based smart TV driving method using a motion sensor according to the present invention.
  • step S30 of the user experience-based smart TV driving method using a motion sensor according to the present invention is a flowchart illustrating yet another detailed process of step S30 of the user experience-based smart TV driving method using a motion sensor according to the present invention.
  • RCU Remote control unit
  • UI User Interface
  • APP app
  • the motion sensor module 110 of the RCU 100 is composed of a geomagnetic field sensor 111, an acceleration sensor 112 and a gyro sensor 113 to detect the position and motion, and measure the amount of movement state change,
  • a motion sensing signal is generated by calculating a motion detection result including raw data of the X, Y, and Z axes, azimuth, roll, and pitch from the measured change in the motion state.
  • the wireless information transmission module 120 of the RCU 100 transmits the motion sensing signal received from the motion sensor module 110 to the RCU intermediary 200 connected through the wireless communication network.
  • the wireless communication network wirelessly transmits the information through any one of Zigbee, Bluetooth, Wi-Fi (Wireless Fidelity) or RF4CE. It is desirable to understand the network.
  • the RCU intermediary module 200 of the user experience-based smart TV driving system S using the motion sensor according to the present invention is as follows.
  • the wireless information receiving module 210 of the RCU intermediary 200 receives a motion sensing signal transmitted from any one of Bluetooth, Zigbee, Wi-Fi, or RF4CE from the RCU 100 to the access module 220. do.
  • connection module 220 of the RCU intermediary 200 applies the motion sensing signal received from the wireless information receiving module 210 to the USB HID repeater 310 of the smart TV 300 that is physically connected.
  • the motion sensing signal is converted and applied according to launcher data set to be compatible with the platform corresponding to the manufacturer information of the smart TV 300.
  • connection module 220 of the RCU mediation unit 200 is connected to the smart TV 300 and the USB HID communication method to receive the motion sensing signal received from the wireless information transmission module 120 of the RCU 100 smart TV ( 300 to the USB HID repeater 310.
  • the smart TV 300 of the user experience-based smart TV driving system S using the motion sensor according to the present invention will be described below.
  • the USB HID repeater 310 of the smart TV 300 amplifies and applies the motion sensing signal received from the connection module 220 of the RCU intermediary 200 to the sensor adapter 320, and the sensor adapter 320 is connected to the USB.
  • the motion sensor signal of the AC type applied from the HID repeater 310 is converted into the DC type.
  • the filtering module 330 of the smart TV 300 receives the motion sensing signal received from the sensor adapter 320 through a peak detector, a low pass filter, or a high pass filter. To filter.
  • the sensing information extraction module 340 of the smart TV 300 the raw (RAW) data of the X, Y, Z axis included in the motion sensing signal filtered by the filtering module 330, azimuth, roll and Information about the pitch is extracted and it is determined whether the extracted information is motion detection information or mouse tracking information.
  • the motion detection information may be any one of unidirectional or bidirectional axis motion motion detection data, unidirectional or bidirectional tilt motion motion detection data, shaking motion motion detection data, or lunge motion motion detection data. Contains a single piece of data.
  • the unidirectional or bidirectional axis motion motion detection data is generated.
  • the amount of change is the rotational tilt data
  • the unidirectional or bidirectional tilt is generated.
  • the sensing information analysis module 350 of the smart TV 300 receives the motion detection information from the sensing information extraction module 340, and analyzes the trajectory leading to the start point and the coordinates and the end point coordinates of the motion from the motion detection information. Recognizes motion in the dimensional space and generates 'user motion control information' for driving the display device to correspond to the recognized motion.
  • the 'user motion control information' includes motion vector data recognizing motion in a three-dimensional space, and the motion vector data includes unidirectional axis motion values, bidirectional axis motion values, and unidirectional tilt motion. Value, bi-directional tilt motion value, knocking motion value, and shaking motion value.
  • the axis motion value is 1) -X-axis single value (Move (s): Left), 2) + X-axis single value (Move (s), which is stopped after the motion from the center coordinate in a single direction. (Right), 3) -Y-axis single value (Move (s): Down), 4) + Y-axis single value (Move (s): Up), 5) -XY-axis single value (Move (s) LeftDown) , 6) -X + Y-axis single value (Move (s): LeftUp), 7) + XY-axis single value (Move (s) RightDown), 8) + X-axis + Y-axis single value (Move (s): RightUp), 9) -Z-axis single value (Move (s): FaceDown) and 10) + Z-axis single value (Move (s): FaceUp).
  • the bidirectional axis motion value is 11) -X-axis return value (Move (r): Left), 12) + X-axis return value (Move), which is returned from the center coordinate to the center coordinate after the motion in a single direction.
  • the unidirectional tilt motion value is 1) -X-axis roll single value (Roll (s): Left), 2) + X-axis roll, which stops after a single rotation from the center coordinates toward the user's face.
  • Single value Roll (s): Right
  • 3) -Y axis pitch Single value Pitch (s): Down
  • + Y axis pitch Single value Pitch (s): Up
  • 5) -X-axis edge single value (Edge (s): Left) and 6) + X-axis edge single value (stops after motion that rotates unidirectionally toward the user's face relative to the top edge and the bottom right corner)
  • 7) -X-axis Yaw single value Yaw (s): Left
  • 8) + X-axis Yaw single value Yaw (s) ): Right
  • the bidirectional tilt motion value is 9) -X axis roll return value (Roll (r): Left), 10) + X, where the recognition information is returned from the center coordinate to the center coordinate after the motion rotating in a single direction.
  • Axis Roll Return Value Roll (r): Right
  • 11) -Y Axis Pitch Return Value Pitch (r): Down) and 12
  • + Y Axis Pitch Return Value Pitch (r): Up)
  • Axis edge return value Edge (r): Right
  • the axis rotates back and forth from the center coordinate to the center coordinate after 15) -X axis Yaw return value (Yaw (r): Left) and 16) + X Contains any one of the axis Yaw return
  • the knocking motion value includes a Knocking (r): Touch value for performing click, select, zoom in / zoom out or scale up / scale down, and the shaking motion value includes a mode change (delete). , Shaking (r): Double value to return, or to terminate).
  • the app (APP) 360 of the smart TV 300 controls the UI (User Interface) being displayed on the screen to correspond to the 'user motion control information' received from the sensing information analysis module 350.
  • UI User Interface
  • the app 360 according to the present invention is smart based on 36 motion vector data for recognizing the movement (including stabbing and subtracting motion) of the RCU 100 in the 3D space included in the 'user motion control information'.
  • a dedicated user interface (UI) for driving a TV can be controlled.
  • the mouse tracking analysis module 370 of the smart TV 300 receives the mouse tracking information from the sensing information extraction module 340 and generates 'mouse tracking control information' that controls the display of the mouse cursor from the mouse tracking information. do.
  • the mouse tracking projection module 380 of the smart TV 300 controls the position of the mouse cursor displayed on the screen so as to correspond to the 'mouse tracking control information' received from the mouse tracking analysis module 370.
  • the motion sensing signal generated by the RCU 100 is transmitted to the RCU intermediary 200 (S10).
  • the motion sensing signal received by the RCU intermediary unit 200 is applied to the smart TV 300 (S20).
  • the smart TV 300 controls the UI (Uer Interface) to correspond to the motion sensing signal received (S30).
  • step S10 of the user experience-based smart TV driving method using the motion sensor according to the present invention will be described below.
  • the motion sensor module 110 of the RCU 100 including the geomagnetic field sensor 111, the acceleration sensor 112, and the gyro sensor 113 detects a position and an operation, and measures an amount of change in an exercise state (S11). .
  • a motion including information on raw data, azimuth, roll, and pitch of the X, Y, and Z axes from the motion state change measured by the motion sensor module 110 of the RCU 100 is included.
  • the sensing result is calculated to generate a motion sensing signal (S12).
  • the wireless information transmission module 120 of the RCU 100 transmits the motion sensing signal received from the motion sensor module 110 to the RCU intermediate unit 200 connected through the wireless communication network (S13).
  • step S20 of the user experience-based smart TV driving method using the motion sensor according to the present invention will be described below.
  • the wireless information receiving module 210 of the RCU intermediary 200 receives a motion sensing signal transmitted from the RCU 100 via any one of a wireless communication network of Bluetooth, Zigbee, Wi-Fi or RF4CE (S21). ).
  • the access module 220 of the RCU intermediary 200 is received from the wireless information receiving module 210, and the launcher (Launcher) is set to be compatible with the platform corresponding to the motion sensing signal of the manufacturer information of the smart TV 300. (S22).
  • the motion sensing signal converted by the connection module 220 of the RCU mediator 200 is applied to the USB HID repeater 310 of the smart TV 300 connected by the USB HID communication method (S23).
  • step S30 of the user experience-based smart TV driving method using a motion sensor according to the present invention will be described below.
  • the USB HID repeater 310 of the smart TV 300 amplifies and applies the motion sensing signal received from the connection module 220 of the RCU intermediary 200 to the sensor adapter 320 (S31). .
  • the sensor adapter 320 of the smart TV 300 converts an AC type motion sensor signal received from the USB HID repeater 310 into a DC type (S32).
  • the filtering module 330 of the smart TV 300 receives the motion sensing signal applied from the sensor adapter 320 through a peak detector, a low pass filter, or a high pass filter. Filter (S33).
  • the sensing information extraction module 340 of the smart TV 300 includes the RAW data, the azimuth, the roll, and the X, Y, and Z axes included in the motion sensing signal filtered by the filtering module 330.
  • Information on the pitch is extracted and it is determined whether the extracted information is motion detection information or mouse tracking information (S34).
  • the sensing information analysis module 350 of the smart TV 300 analyzes a trajectory leading from the motion detection information to the start point, the coordinates, and the end point coordinates of the motion in three dimensions. Recognizing the motion of the space, and generates the user motion control information for driving the display device to correspond to the recognized motion (S35).
  • the app (APP) 360 of the smart TV 300 controls the UI (User Interface) displayed on the screen to correspond to the 'user motion control information' received from the sensing information analysis module 350 (S36). .
  • the mouse tracking analysis module 370 of the smart TV 300 controls the display of the mouse cursor from the mouse tracking information.
  • 'Mouse tracking control information' is generated (S37).
  • the mouse tracking projection module 380 of the smart TV 300 controls the position of the mouse cursor displayed on the screen to correspond to the 'mouse tracking control information' received from the mouse tracking analysis module 370 (S38).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Description

모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템 및 그 방법
본 발명은 모션센서를 활용한 사용자 경험(User eXperience: UX) 기반의 스마트TV 구동 시스템 및 그 방법에 관한 것으로 더욱 상세하게는, 스마트TV의 다양한 서비스 제공을 위해 설치된 앱(APP)에 필요한 UI(User Interface)를 제공하고, 마우스 트래킹 및 모션인식을 통해 스마트TV에 내장된 APP을 구동시키는 기술에 관한 것이다.
일반적으로 이용되는 포인팅 장치의 경우, 원격지에서 조작할 수 있도록 하는 리모컨을 예로들 수 있는데, 최근 이러한 리모컨에 자이로센서를 탑재하여 사용자의 모션과 대응하도록 화면상에 포인팅을 제어하는 기술이 개발되고 있다.
도 1을 참조하여 대한민국공개특허 제10-2010-0126154호(촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법)를 살피면, 사용자의 움직임을 감지하는 동작 감지부와, 상기 사용자에게 장축 방향 또는 좌우 방향으로 촉각 피드백을 제공하기 위한 촉각 출력부를 구비한 포인팅 수단; 및 포인팅 수단에 의해 감지된 사용자의 움직임으로부터 화면에 표시되는 포인터를 조작하고, 포인터의 움직임 및 포인터의 조작에 따른 화면 변화에 따라 대응하는 촉각 정보를 포인팅 수단으로 출력하는 단말 수단;을 포함하며, 촉각 출력부는, 단말 수단으로부터 출력된 촉각 정보에 따라 상, 하, 좌, 우, 전, 후 중 적어도 하나의 방향으로 충돌 또는 진동을 발생시키는 하나 이상의 선형 진동기로 구성된다.
즉, 선행특허는 단방향의 2차원 공간에 대한 마우스 포인트 트래킹을 지원하며, 진동을 상, 하, 좌, 우, 전, 후 방향으로 발생시키는 구성인 것이다.
그러나, 선행특허는 단순히 마우스 포인트 트래킹에 따른 촉각 피드백을 제공하여 사용자의 인식률을 증대시키는데 그치고 있으며, 2차원 공간에 대한 마우스 포인트 트래킹을 제공하는바, 디스플레이장치의 실질적인 구동을 위해서는 버튼입력이 불가피한 구성이다.
이러한 문제점을 개선하기 위해 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템 및 그 방법은, 스마트TV 즉, 디스플레이장치가 3차원 공간의 모션을 인식하고, 해당 모션 각각에 대응하도록 디스플레이장치를 구동시키는 기술을 제안한다.
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 스마트TV의 다양한 서비스 제공을 위해 설치된 앱(APP)에 필요한 UI(User Interface)를 제공하고, 마우스 트래킹 및 모션인식을 통해 스마트TV에 내장된 APP을 구동시킴으로써, 사용자의 편의성과 직관성을 향상시키고, 국산화 기술은 통해 외화를 절감하는데 그 목적이 있다.
그리고, 본 발명에 따르면, 모션센서가 내장된 리모컨으로부터 수신되는 센서데이터를 토대로 마우스 포인트 트래킹과 리모컨의 모션을 인식하는 APP을 스마트TV에 제공함으로써, 스마트TV가 3차원 공간의 모션을 인식하고, 해당 모션 각각에 대응하도록 디스플레이장치를 구동시키는데 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템은, 지자계센서, 가속센서 및 자이로센서로 구성된 모션센서모듈이 생성한 모션 센싱신호를 RCU 중개부(200)로 전송하는 RCU(Remote Control Unit)(100); RCU(100)로부터 수신한 모션 센싱신호를 스마트TV(300)로 인가하는 RCU 중개부(200); 및 기 설치된 앱(APP) 구동에 따라 RCU 중개부(200)로부터 인가받은 모션 센싱신호와 대응하도록 UI(Uer Interface)를 제어하는 스마트TV(300);를 포함한다.
그리고, 전술한 시스템을 기반으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법은, RCU(100)가 생성한 모션 센싱신호를 RCU 중개부(200)로 전송하는 (a) 단계; RCU 중개부(200)가 수신한 모션 센싱신호를 스마트TV(300)로 인가하는 (b) 단계; 및 스마트TV(300)가 인가받은 모션 센싱신호와 대응하도록 UI(Uer Interface)를 제어하는 (c) 단계;를 포함한다.
상기와 같은 본 발명에 따르면, 스마트TV의 다양한 서비스 제공을 위해 설치된 앱(APP)에 필요한 UI(User Interface)를 제공하고, 마우스 트래킹 및 모션인식을 통해 스마트TV에 내장된 APP을 구동시킴으로써, 사용자의 편의성과 직관성을 향상시키고, 국산화 기술은 통해 외화를 절감하는 효과가 있다.
그리고, 본 발명에 따르면, 모션센서가 내장된 리모컨으로부터 수신되는 센서데이터를 토대로 마우스 포인트 트래킹과 리모컨의 모션을 인식하는 APP을 스마트TV에 제공함으로써, 스마트TV가 3차원 공간의 모션을 인식하고, 해당 모션 각각에 대응하도록 디스플레이장치를 구동시키는 효과가 있다.
도 1은 종래의 촉각 피드백을 제공하는 모션 기반 포인팅 장치 및 그 제어방법을 도시한 구성도.
도 2는 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템을 도시한 구성도.
도 3은 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템의 RCU를 도시한 구성도.
도 4는 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템의 RCU 중개모듈을 도시한 구성도.
도 5는 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템의 스마트TV를 도시한 구성도.
도 6은 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법을 도시한 순서도.
도 7은 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법의 제S10단계의 세부과정을 도시한 순서도.
도 8은 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법의 제S20단계의 세부과정을 도시한 순서도.
도 9는 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법의 제S30단계의 세부과정을 도시한 순서도.
도 10 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법의 제S30단계의 또 다른 세부과정을 도시한 순서도.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 도 2를 참조하여 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템(S)에 대해 살피면 아래와 같다.
도 2에 도시된 바와 같이 본 발명의 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템(S)은, 지자계센서, 가속센서 및 자이로센서로 구성된 모션센서모듈(110)이 생성한 모션 센싱신호를 RCU 중개부(200)로 전송하는 RCU(Remote Control Unit)(100), RCU(100)로부터 수신한 모션 센싱신호를 스마트TV(300)로 인가하는 RCU 중개부(200), 및 기 설치된 앱(APP) 구동에 따라 RCU 중개부(200)로부터 인가받은 모션 센싱신호와 대응하도록 UI(Uer Interface)를 제어하는 스마트TV(300)를 포함하여 구성된다.
이하, 도 3을 참조하여 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템(S)의 RCU(100)에 대해 살피면 아래와 같다.
구체적으로, RCU(100)의 모션센서모듈(110)은 지자계 센서(111), 가속 센서(112) 및 자이로 센서(113)로 구성되어 위치와 동작을 감지하고, 운동 상태 변화량을 측정하며, 측정된 운동 상태 변화량으로부터 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱신호를 생성한다.
그리고, RCU(100)의 무선정보 전송모듈(120)은 모션센서모듈(110)로부터 인가받은 모션 센싱신호를 무선통신망을 통해 접속되는 RCU 중개부(200)로 전송한다.
이하에서는 그 구체적인 언급을 생략하겠으나, 본 발명에 따른 무선통신망은 지그비(Zigbee), 블루투스(bluetooth), Wi-Fi(Wireless Fidelity) 또는 RF4CE 중에 어느 하나의 근거리무선망을 통해 정보를 무선으로 전송하는 망으로 이해함이 바람직하다.
이하, 도 4를 참조하여 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템(S)의 RCU 중개모듈(200)에 대해 살피면 아래와 같다.
RCU 중개부(200)의 무선정보 수신모듈(210)은 RCU(100)로부터 블루투스, 지그비, 와이파이 또는 RF4CE 중에 어느 하나의 무선통신망을 통해 전송되는 모션 센싱신호를 수신하여 접속모듈(220)로 인가한다.
그리고, RCU 중개부(200)의 접속모듈(220)은 무선정보 수신모듈(210)로부터 인가받은 모션 센싱신호를 물리적으로 접속된 스마트TV(300)의 USB HID 리피터(310)로 인가하되, 상기 모션 센싱신호를 스마트TV(300)의 제조사 정보와 대응하는 플랫폼과 호환하도록 기 설정된 런처(Launcher) 데이터에 따라 변환하여 인가한다.
또한, RCU 중개부(200)의 접속모듈(220)은 스마트TV(300)와 USB HID 통신방식으로 접속되어 RCU(100)의 무선정보 전송모듈(120)로부터 수신한 모션 센싱신호를 스마트TV(300)의 USB HID 리피터(310)로 인가한다.
또한, 도 5를 참조하여 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템(S)의 스마트TV(300)에 대해 살피면 아래와 같다.
스마트TV(300)의 USB HID 리피터(310)는 RCU 중개부(200)의 접속모듈(220)로부터 인가받은 모션 센싱신호를 증폭하여 센서 어댑터(320)로 인가하고, 센서 어댑터(320)는 USB HID 리피터(310)로부터 인가받은 교류형태의 모션 센서신호를 직류형태로 변환한다.
또한, 스마트TV(300)의 필터링 모듈(330)은 센서 어댑터(320)로부터 인가받은 모션 센싱신호를 피크 검출기(peak detector), 저역필터(Low Pass Filter) 또는 고역필터(High Pass Filter)를 통해 필터링한다.
또한, 스마트TV(300)의 센싱정보 추출모듈(340)은 필터링 모듈(330)에 의해 필터링된 모션 센싱신호에 포함된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보를 추출하고, 추출한 정보가 움직임 감지정보인지 마우스 트래킹 정보인지 여부를 판단한다.
이때, 움직임 감지정보는, 단방향 또는 양방향 축(Axis)모션 움직임 감지데이터, 단방향 또는 양방향 기울기(Tilt)모션 움직임 감지데이터, 흔들기(Shaking)모션 움직임 감지데이터 또는 찌르기(Lunge)모션 움직임 감지데이터 중에 어느 하나의 데이터를 포함한다.
구체적으로, 센싱정보 추출모듈(340)이 추출한 변화량이 축방향 움직임 데이터인 경우 단방향 또는 양방향 축(Axis)모션 움직임 감지데이터를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우 단방향 또는 양방향 기울기(Tilt)모션 움직임 감지데이터를 생성하며, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 움직임 감지데이터를 생성하고, 추출된 변화량이 전후방 움직임 데이터인 경우 찌르기(Lunge)모션 움직임 감지데이터를 생성한다.
또한, 스마트TV(300)의 센싱정보 분석모듈(350)은 센싱정보 추출모듈(340)로부터 움직임 감지정보를 인가받고, 움직임 감지정보로부터 움직임의 시작점과 좌표와 끝점 좌표로 이어지는 궤적을 분석하여 3차원 공간의 모션을 인식하고, 인식된 모션에 대응하도록 디스플레이장치를 구동시키는 '사용자모션 제어정보'를 생성한다.
이때, '사용자모션 제어정보'는 3차원 공간의 모션을 인식한 모션벡터 데이터를 포함하며, 모션벡터 데이터는 단방향 축(Axis)모션 값, 양방향 축(Axis)모션 값, 단방향 기울기(Tilt)모션 값, 양방향 기울기(Tilt)모션 값, 노킹(Knocking)모션 값 및 흔들기(Shaking)모션 값으로 구성된다.
먼저, 단방향 축(Axis)모션 값은, 중심좌표로부터 단일방향으로의 모션이후 정지되는 1) -X축 싱글값(Move(s):Left), 2) +X축 싱글값(Move(s):Right), 3) -Y축 싱글값(Move(s):Down), 4) +Y축 싱글값(Move(s):Up), 5) -X-Y축 싱글값(Move(s)LeftDown), 6) -X+Y축 싱글값(Move(s):LeftUp), 7) +X-Y축 싱글값(Move(s)RightDown), 8) +X축+Y축 싱글값(Move(s):RightUp), 9) -Z축 싱글값(Move(s):FaceDown) 및 10) +Z축 싱글값(Move(s):FaceUp) 중에 어느 하나의 값을 포함한다.
또한, 양방향 축(Axis)모션 값은, 중심좌표로부터 단일방향으로의 모션이후 중심좌표로 회기하는 11) -X축 리턴값(Move(r):Left), 12) +X축 리턴값(Move(r):Right), 13) -Y축 리턴값(Move(r):Down), 14) +Y축 리턴값(Move(r):Up), 15) -X-Y축 리턴값(Move(r)LeftDown), 16) -X+Y축 리턴값(Move(r)LeftUp), 17) +X-Y축 리턴값(Move(r)RightDown), 18 +X축+Y축 리턴값(Move(r)RightUp), 19) -Z축 리턴값(Move(r):FaceDown) 및 20) +Z축 리턴값(Move(r):FaceUp) 중에 어느 하나의 값을 포함한다.
또한, 단방향 기울기(Tilt)모션 값은, 중심좌표로부터 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 1) -X축 Roll 싱글값(Roll(s):Left), 2) +X축 Roll 싱글값(Roll(s):Right), 3) -Y축 Pitch 싱글값(Pitch(s):Down) 및 4) +Y축 Pitch 싱글값(Pitch(s):Up)과, 중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 정지하는 5) -X축 Edge 싱글값(Edge(s):Left) 및 6) +X축 Edge 싱글값(Edge(s):Right)과, 중심좌표로부터 좌우 한방향으로 회전하는 모션이후 정지하는 7) -X축 Yaw 싱글값(Yaw(s):Left) 및 8) +X축 Yaw 싱글값(Yaw(s):Right) 중에 어느 하나의 값을 포함한다.
또한, 양방향 기울기(Tilt)모션 값은, 인식정보는 중심좌표로부터 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 9) -X축 Roll 리턴값(Roll(r):Left), 10) +X축 Roll 리턴값(Roll(r):Right), 11) -Y축 Pitch 리턴값(Pitch(r):Down) 및 12) +Y축 Pitch 리턴값(Pitch(r):Up)과, 중심좌표로부터 좌측 상단의 모서리와 우측 하단의 모서리를 기준으로 사용자 얼굴을 향해 단일방향으로 회전하는 모션이후 중심좌표로 회기하는 13) -X축 Edge 리턴값(Edge(r):Left) 및 14) +X축 Edge 리턴값(Edge(r):Right)과, 중심좌표로부터 좌우 한방향으로 회전하는 모션이후 중심좌표로 회기하는 15) -X축 Yaw 리턴값(Yaw(r):Left) 및 16) +X축 Yaw 리턴값(Yaw(r):Right) 중에 어느 하나의 값을 포함한다.
그리고, 노킹(Knocking)모션 값은, 클릭, 선택, 줌인/줌아웃 또는 스케일 업/스케일 다운을 수행하도록 하는 Knocking(r):Touch 값을 포함하고, 흔들기(Shaking)모션 값은, 모드 변환(삭제, 리턴 또는 종료)을 수행하도록 하는 Shaking(r):Double 값을 포함한다.
또한, 스마트TV(300)의 앱(APP)(360)은 센싱정보 분석모듈(350)로부터 인가받은 '사용자모션 제어정보'와 대응하도록 화면에 디스플레이중인 UI(User Interface)를 제어한다.
즉, 본 발명에 따른 앱(APP)(360)은 '사용자모션 제어정보'에 포함된 3D 공간에서의 RCU(100)의 움직임(찌르고 빼기 모션 포함)을 인식하는 36개의 모션벡터 데이터를 토대로 스마트TV를 구동시키는 전용 UI(User Interface)를 제어할 수 있다.
한편, 스마트TV(300)의 마우스 트래킹 분석모듈(370)은 센싱정보 추출모듈(340)로부터 마우스 트래킹 정보를 인가받고, 마우스 트래킹 정보로부터 마우스 커서의 디스플레이를 제어하는 '마우스 트래킹 제어정보'를 생성한다.
그리고, 스마트TV(300)의 마우스 트래킹 투영모듈(380)은 마우스 트래킹 분석모듈(370)로부터 인가받은 '마우스 트래킹 제어정보'와 대응하도록 화면에 디스플레이중인 마우스 커서의 위치를 제어한다.
이하, 도 6을 참조하여 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법에 대해 살피면 아래와 같다.
먼저, RCU(100)가 생성한 모션 센싱신호를 RCU 중개부(200)로 전송한다(S10).
이어서, RCU 중개부(200)가 수신한 모션 센싱신호를 스마트TV(300)로 인가한다(S20).
그리고, 스마트TV(300)가 인가받은 모션 센싱신호와 대응하도록 UI(Uer Interface)를 제어한다(S30).
구체적으로, 도 7을 참조하여 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법의 제S10단계의 세부과정에 대해 살피면 아래와 같다.
먼저, 지자계 센서(111), 가속 센서(112) 및 자이로 센서(113)로 구성된 RCU(100)의 모션센서모듈(110)이 위치와 동작을 감지하고, 운동 상태 변화량을 측정한다(S11).
이어서, RCU(100)의 모션센서모듈(110)이 측정한 운동 상태 변화량으로부터 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱신호를 생성한다(S12).
그리고, RCU(100)의 무선정보 전송모듈(120)이 모션센서모듈(110)로부터 인가받은 모션 센싱신호를 무선통신망을 통해 접속된 RCU 중개부(200)로 전송한다(S13).
그리고, 도 8을 참조하여 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법의 제S20단계의 세부과정에 대해 살피면 아래와 같다.
제S10단계 이후, RCU 중개부(200)의 무선정보 수신모듈(210)이 RCU(100)로부터 블루투스, 지그비, 와이파이 또는 RF4CE 중에 어느 하나의 무선통신망을 통해 전송되는 모션 센싱신호를 수신한다(S21).
이어서, RCU 중개부(200)의 접속모듈(220)이 무선정보 수신모듈(210)로부터 인가받고, 모션 센싱신호를 스마트TV(300)의 제조사 정보와 대응하는 플랫폼과 호환하도록 기 설정된 런처(Launcher) 데이터에 따라 변환한다(S22).
그리고, RCU 중개부(200)의 접속모듈(220)이 변환한 모션 센싱신호를 USB HID 통신방식으로 접속된 스마트TV(300)의 USB HID 리피터(310)로 인가한다(S23).
그리고, 도 9를 참조하여 본 발명에 따른 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법의 제S30단계의 세부과정에 대해 살피면 아래와 같다.
제S20단계 이후, 스마트TV(300)의 USB HID 리피터(310)가 RCU 중개부(200)의 접속모듈(220)로부터 인가받은 모션 센싱신호를 증폭하여 센서 어댑터(320)로 인가한다(S31).
이어서, 스마트TV(300)의 센서 어댑터(320)가 USB HID 리피터(310)로부터 인가받은 교류형태의 모션 센서신호를 직류형태로 변환한다(S32).
뒤이어, 스마트TV(300)의 필터링 모듈(330)이 센서 어댑터(320)로부터 인가받은 모션 센싱신호를 피크 검출기(peak detector), 저역필터(Low Pass Filter) 또는 고역필터(High Pass Filter)를 통해 필터링한다(S33).
이어서, 스마트TV(300)의 센싱정보 추출모듈(340)이 필터링 모듈(330)에 의해 필터링된 모션 센싱신호에 포함된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보를 추출하고, 추출한 정보가 움직임 감지정보인지 마우스 트래킹 정보인지 여부를 판단한다(S34).
제S34단계의 판단결과, 추출한 정보가 움직임 감지정보인 경우, 스마트TV(300)의 센싱정보 분석모듈(350)이 움직임 감지정보로부터 움직임의 시작점과 좌표와 끝점 좌표로 이어지는 궤적을 분석하여 3차원 공간의 모션을 인식하고, 인식된 모션에 대응하도록 디스플레이장치를 구동시키는 '사용자모션 제어정보'를 생성한다(S35).
그리고, 스마트TV(300)의 앱(APP)(360)이 센싱정보 분석모듈(350)로부터 인가받은 '사용자모션 제어정보'와 대응하도록 화면에 디스플레이중인 UI(User Interface)를 제어한다(S36).
한편, 도 10에 도시된 바와 같이 제S34단계의 판단결과, 추출한 정보가 마우스 트래킹 정보인 경우, 스마트TV(300)의 마우스 트래킹 분석모듈(370)이 마우스 트래킹 정보로부터 마우스 커서의 디스플레이를 제어하는 '마우스 트래킹 제어정보'를 생성한다(S37).
그리고, 스마트TV(300)의 마우스 트래킹 투영모듈(380)이 마우스 트래킹 분석모듈(370)로부터 인가받은 '마우스 트래킹 제어정보'와 대응하도록 화면에 디스플레이중인 마우스 커서의 위치를 제어한다(S38).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

Claims (12)

  1. 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템에 있어서,
    지자계센서, 가속센서 및 자이로센서로 구성된 모션센서모듈이 생성한 모션 센싱신호를 RCU 중개부(200)로 전송하는 RCU(Remote Control Unit)(100);
    상기 RCU(100)로부터 수신한 모션 센싱신호를 스마트TV(300)로 인가하는 RCU 중개부(200); 및
    기 설치된 앱(APP) 구동에 따라 RCU 중개부(200)로부터 인가받은 모션 센싱신호와 대응하도록 UI(Uer Interface)를 제어하는 스마트TV(300);를 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템.
  2. 제 1 항에 있어서,
    상기 RCU(100)는,
    지자계 센서(111), 가속 센서(112) 및 자이로 센서(113)로 구성되어 위치와 동작을 감지하고, 운동 상태 변화량을 측정하며, 측정된 운동 상태 변화량으로부터 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱신호를 생성하는 모션센서모듈(110); 및
    상기 모션센서모듈(110)로부터 인가받은 모션 센싱신호를 무선통신망을 통해 접속되는 RCU 중개부(200)로 전송하는 무선정보 전송모듈(120);을 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템.
  3. 제 1 항에 있어서,
    상기 RCU 중개부(200)는,
    상기 RCU(100)로부터 블루투스, 지그비, 와이파이 또는 RF4CE 중에 어느 하나의 무선통신망을 통해 전송되는 모션 센싱신호를 수신하여 접속모듈(220)로 인가하는 무선정보 수신모듈(210); 및
    상기 무선정보 수신모듈(210)로부터 인가받은 모션 센싱신호를 물리적으로 접속된 스마트TV(300)의 USB HID 리피터(310)로 인가하되,
    상기 모션 센싱신호를 스마트TV(300)의 제조사 정보와 대응하는 플랫폼과 호환하도록 기 설정된 런처(Launcher) 데이터에 따라 변환하여 인가하는 접속모듈(220);을 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템.
  4. 제 3 항에 있어서,
    상기 접속모듈(220)은,
    상기 스마트TV(300)와 USB HID 통신방식으로 접속되어 상기 RCU(100)의 무선정보 전송모듈(120)로부터 수신한 모션 센싱신호를 상기 스마트TV(300)의 USB HID 리피터(310)로 인가하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템.
  5. 제 1 항에 있어서,
    상기 스마트TV(300)는,
    RCU 중개부(200)의 접속모듈(220)로부터 인가받은 모션 센싱신호를 증폭하여 센서 어댑터(320)로 인가하는 USB HID 리피터(310);
    상기 USB HID 리피터(310)로부터 인가받은 교류형태의 모션 센서신호를 직류형태로 변환하는 센서 어댑터(320);
    상기 센서 어댑터(320)로부터 인가받은 모션 센싱신호를 피크 검출기(peak detector), 저역필터(Low Pass Filter) 또는 고역필터(High Pass Filter)를 통해 필터링하는 필터링 모듈(330);
    상기 필터링 모듈(330)에 의해 필터링된 모션 센싱신호에 포함된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보를 추출하고, 추출한 정보가 움직임 감지정보인지 마우스 트래킹 정보인지 여부를 판단하는 센싱정보 추출모듈(340);
    상기 센싱정보 추출모듈(340)로부터 움직임 감지정보를 인가받고, 움직임 감지정보로부터 움직임의 시작점과 좌표와 끝점 좌표로 이어지는 궤적을 분석하여 3차원 공간의 모션을 인식하고, 인식된 모션에 대응하도록 디스플레이장치를 구동시키는 '사용자모션 제어정보'를 생성하는 센싱정보 분석모듈(350); 및
    상기 센싱정보 분석모듈(350)로부터 인가받은 '사용자모션 제어정보'와 대응하도록 화면에 디스플레이중인 UI(User Interface)를 제어하는 앱(APP)(360);을 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템.
  6. 제 5 항에 있어서,
    상기 스마트TV(300)는,
    상기 센싱정보 추출모듈(340)로부터 마우스 트래킹 정보를 인가받고, 마우스 트래킹 정보로부터 마우스 커서의 디스플레이를 제어하는 '마우스 트래킹 제어정보'를 생성하는 마우스 트래킹 분석모듈(370); 및
    상기 마우스 트래킹 분석모듈(370)로부터 인가받은 '마우스 트래킹 제어정보'와 대응하도록 화면에 디스플레이중인 마우스 커서의 위치를 제어하는 마우스 트래킹 투영모듈(380);을 더 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템.
  7. 제 5 항에 있어서,
    상기 움직임 감지정보는,
    단방향 또는 양방향 축(Axis)모션 움직임 감지데이터, 단방향 또는 양방향 기울기(Tilt)모션 움직임 감지데이터, 흔들기(Shaking)모션 움직임 감지데이터 또는 찌르기(Lunge)모션 움직임 감지데이터 중에 어느 하나의 데이터를 포함하되,
    센싱정보 추출모듈(340)이 추출한 변화량이 축방향 움직임 데이터인 경우 단방향 또는 양방향 축(Axis)모션 움직임 감지데이터를 생성하고, 추출된 변화량이 회전 기울기 데이터인 경우 단방향 또는 양방향 기울기(Tilt)모션 움직임 감지데이터를 생성하며, 추출된 변화량이 좌우로 2회 내지 3회 흔드는 움직임 데이터인 경우 흔들기(Shaking)모션 움직임 감지데이터를 생성하고, 추출된 변화량이 전후방 움직임 데이터인 경우 찌르기(Lunge)모션 움직임 감지데이터를 생성하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 시스템.
  8. 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법에 있어서,
    (a) RCU(100)가 생성한 모션 센싱신호를 RCU 중개부(200)로 전송하는 단계;
    (b) RCU 중개부(200)가 수신한 모션 센싱신호를 스마트TV(300)로 인가하는 단계; 및
    (c) 스마트TV(300)가 인가받은 모션 센싱신호와 대응하도록 UI(Uer Interface)를 제어하는 단계;를 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법.
  9. 제 8 항에 있어서,
    상기 (a) 단계는,
    (a-1) RCU(100)가 위치와 동작을 감지하고, 운동 상태 변화량을 측정하는 단계;
    (a-2) RCU(100)가 측정한 운동 상태 변화량으로부터 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보가 포함된 모션 감지 결과를 산출하여 모션 센싱신호를 생성하는 단계; 및
    (a-3) RCU(100)가 모션 센싱신호를 무선통신망을 통해 접속되는 RCU 중개부(200)로 전송하는 단계;를 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법.
  10. 제 8 항에 있어서,
    상기 (b) 단계는,
    (b-1) RCU 중개부(200)가 RCU(100)로부터 블루투스, 지그비, 와이파이 또는 RF4CE 중에 어느 하나의 무선통신망을 통해 전송되는 모션 센싱신호를 수신하는 단계;
    (b-2) RCU 중개부(200)가 모션 센싱신호를 스마트TV(300)의 제조사 정보와 대응하는 플랫폼과 호환하도록 기 설정된 런처(Launcher) 데이터에 따라 변환하는 단계; 및
    (b-3) RCU 중개부(200)가 변환한 모션 센싱신호를 USB HID 통신방식으로 접속된 스마트TV(300)로 인가하는 단계;를 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법.
  11. 제 8 항에 있어서,
    상기 (c) 단계는,
    (c-1) 스마트TV(300)가 RCU 중개부(200)의 접속모듈(220)로부터 인가받은 모션 센싱신호를 증폭하는 단계;
    (c-2) 스마트TV(300)가 증폭된 교류형태의 모션 센서신호를 직류형태로 변환하는 단계;
    (c-3) 스마트TV(300)가 직류형태로 변환된 모션 센싱신호를 피크 검출기(peak detector), 저역필터(Low Pass Filter) 또는 고역필터(High Pass Filter)를 통해 필터링하는 단계;
    (c-4) 스마트TV(300)가 필터링된 모션 센싱신호에 포함된 X, Y, Z 축의 로우(RAW) 데이터, 방위각, 롤(Roll) 및 피치(Pitch)에 대한 정보를 추출하고, 추출한 정보가 움직임 감지정보인지 마우스 트래킹 정보인지 여부를 판단하는 단계;
    (c-5) 상기 (c-4) 단계의 판단결과, 추출한 정보가 움직임 감지정보인 경우, 스마트TV(300)가 움직임 감지정보로부터 움직임의 시작점과 좌표와 끝점 좌표로 이어지는 궤적을 분석하여 3차원 공간의 모션을 인식하고, 인식된 모션에 대응하도록 디스플레이장치를 구동시키는 '사용자모션 제어정보'를 생성하는 단계; 및
    (c-6) 스마트TV(300)가 '사용자모션 제어정보'와 대응하도록 화면에 디스플레이중인 UI(User Interface)를 제어하는 단계;를 포함하는 것을 특징으로 하는 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법.
  12. 제 11 항에 있어서,
    (c-7) 상기 (c-4) 단계의 판단결과, 추출한 정보가 마우스 트래킹 정보인 경우, 스마트TV(300)가 마우스 트래킹 정보로부터 마우스 커서의 디스플레이를 제어하는 '마우스 트래킹 제어정보'를 생성하는 단계; 및
    (c-8) 스마트TV(300)가 '마우스 트래킹 제어정보'와 대응하도록 화면에 디스플레이중인 마우스 커서의 위치를 제어하는 단계;를 포함하는 것을 특징으로 하는 상기 모션센서를 활용한 사용자 경험 기반의 스마트TV 구동 방법.
PCT/KR2012/003675 2012-04-27 2012-05-10 모션센서를 활용한 사용자 경험 기반의 스마트tv 구동 시스템 및 그 방법 Ceased WO2013162111A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0044524 2012-04-27
KR1020120044524A KR101339655B1 (ko) 2012-04-27 2012-04-27 모션센서를 활용한 사용자 경험 기반의 스마트ｔｖ 구동 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2013162111A1 true WO2013162111A1 (ko) 2013-10-31

Family

ID=49483386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/003675 Ceased WO2013162111A1 (ko) 2012-04-27 2012-05-10 모션센서를 활용한 사용자 경험 기반의 스마트tv 구동 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101339655B1 (ko)
WO (1) WO2013162111A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163151A (zh) * 2015-08-11 2015-12-16 深圳Tcl数字技术有限公司 基于智能电视机识别遥控器应用的方法及装置
CN107820110A (zh) * 2017-10-31 2018-03-20 北京四达时代软件技术股份有限公司 一种飞鼠遥控的方法、客户端及服务器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190058897A (ko) 2017-11-22 2019-05-30 삼성전자주식회사 원격 제어 장치 및 이의 제어 방법
CN110780880A (zh) * 2019-10-30 2020-02-11 上海信耀电子有限公司 一种嵌入式远程客户端的实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070290998A1 (en) * 2006-06-08 2007-12-20 Samsung Electronics Co., Ltd. Input device comprising geomagnetic sensor and acceleration sensor, display device for displaying cursor corresponding to motion of input device, and cursor display method thereof
JP2008042748A (ja) * 2006-08-09 2008-02-21 Sharp Corp リモコン装置、音響映像装置および遠隔操作方法
KR101004768B1 (ko) * 2008-12-01 2011-01-04 (주)에프앤아이 동작 인식을 이용한 리모트 컨트롤러
US20110148755A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute User interface apparatus and user interfacing method based on wearable computing environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070290998A1 (en) * 2006-06-08 2007-12-20 Samsung Electronics Co., Ltd. Input device comprising geomagnetic sensor and acceleration sensor, display device for displaying cursor corresponding to motion of input device, and cursor display method thereof
JP2008042748A (ja) * 2006-08-09 2008-02-21 Sharp Corp リモコン装置、音響映像装置および遠隔操作方法
KR101004768B1 (ko) * 2008-12-01 2011-01-04 (주)에프앤아이 동작 인식을 이용한 리모트 컨트롤러
US20110148755A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute User interface apparatus and user interfacing method based on wearable computing environment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163151A (zh) * 2015-08-11 2015-12-16 深圳Tcl数字技术有限公司 基于智能电视机识别遥控器应用的方法及装置
WO2017024872A1 (zh) * 2015-08-11 2017-02-16 深圳Tcl数字技术有限公司 基于智能电视机识别遥控器应用的方法及装置
CN105163151B (zh) * 2015-08-11 2019-03-01 深圳Tcl数字技术有限公司 基于智能电视机识别遥控器应用的方法及装置
CN107820110A (zh) * 2017-10-31 2018-03-20 北京四达时代软件技术股份有限公司 一种飞鼠遥控的方法、客户端及服务器

Also Published As

Publication number Publication date
KR20130121379A (ko) 2013-11-06
KR101339655B1 (ko) 2013-12-09

Similar Documents

Publication Publication Date Title
US10948950B2 (en) Information processing device, table, display control method, program, portable terminal, and information processing system
WO2012077922A2 (en) 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
WO2014077460A1 (en) Display device and controlling method thereof
WO2014135023A1 (zh) 一种智能终端的人机交互方法及系统
WO2012074256A2 (en) Portable device and method for providing user interface mode thereof
WO2013118987A1 (en) Control method and apparatus of electronic device using control device
WO2015156539A2 (en) Computing apparatus, method for controlling computing apparatus thereof, and multi-display system
WO2014107005A1 (en) Mouse function provision method and terminal implementing the same
WO2015046837A1 (ko) 컨텐츠 공유 장치 및 방법
WO2015126197A1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
CN110139018B (zh) 摄像头控制模组、摄像头的移动控制方法及终端
CN107783674A (zh) 一种增强现实交互方法和动作感应触摸笔
WO2013162111A1 (ko) 모션센서를 활용한 사용자 경험 기반의 스마트tv 구동 시스템 및 그 방법
WO2011040710A2 (ko) 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
WO2014014240A1 (ko) 접촉식 손가락 마우스 및 이의 동작 방법
CN101583000B (zh) 简化指令集合的电视控制系统及其使用方法
WO2013133624A1 (ko) 모션 인식을 통한 인터페이스 장치 및 이의 제어방법
WO2010008148A2 (ko) 움직임을 인식하는 장치 및 방법
WO2021132947A1 (ko) 실내 측위를 제공하는 전자 장치 및 그 방법
WO2014133258A1 (en) Pen input apparatus and method for operating the same
US8432360B2 (en) Input apparatus, method and program
WO2013180317A1 (ko) 모바일 단말기의 터치 입력을 이용한 ｉｐ 카메라의 원격 제어장치
WO2014035118A1 (en) Head mounted display and method of controlling digital device using the same
WO2014054864A1 (ko) 리모콘 장치 및 전자 기기의 동작 제어 방법
WO2012077840A1 (en) Remote controller, remote controlling method and display system having the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12875594

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20/02/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 12875594

Country of ref document: EP

Kind code of ref document: A1