[go: up one dir, main page]

CN104169839A - 手势输入操作处理装置 - Google Patents

手势输入操作处理装置 Download PDF

Info

Publication number
CN104169839A
CN104169839A CN201380013621.7A CN201380013621A CN104169839A CN 104169839 A CN104169839 A CN 104169839A CN 201380013621 A CN201380013621 A CN 201380013621A CN 104169839 A CN104169839 A CN 104169839A
Authority
CN
China
Prior art keywords
input
gesture
operator
body shape
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380013621.7A
Other languages
English (en)
Inventor
大河平隆
中井润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN104169839A publication Critical patent/CN104169839A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/774—Instrument locations other than the dashboard on or in the centre console
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Position Input By Displaying (AREA)

Abstract

手势输入操作处理装置包括：触摸面板，检测操作者的接触位置；身体形状输入单元，取入有关操作者的身体形状的图像数据；控制单元，从图像数据识别基于操作者的非接触手势的输入操作，并识别操作者对触摸面板的手势输入，将来自身体形状输入单元的数据和来自触摸面板的数据相关联；以及存储单元，存储控制单元进行的关联和手势的种类。

Description

手势输入操作处理装置
技术领域
本发明涉及手势输入操作处理装置。
背景技术
近年来的汽车中，装载有在画面上与道路地图一起显示当前地点，进行从当前地点至目的地为止的路径的引导的导航装置。在导航装置中，例如在专利文献1中公开的，与图像显示单元重叠来设置触摸面板作为输入装置。此外，专利文献2中记载的装置，从照相机的拍摄图像中通过图案(pattern)匹配来获取操作者的手形状，在识别出手形状之后许可操作者的操作后，通过检测操作者的手形状或手的位置的时间变化图案即手势来解释操作者的输入。
现有技术文献
专利文献
专利文献1：日本国特开2006-285598号公报
专利文献2：日本国特开2000-6687号公报
发明内容
发明要解决的问题
车载装置的情况下，图像显示单元(显示器)被设置在从驾驶座位容易观察的位置。特别是在目前，为了减轻驾驶中的视线移动等目的，例如仪表板上的驾驶座位和副驾驶座位的中间设置显示器，有车载装置配置远离驾驶座位的倾向。因此，要操作与显示器重叠的触摸面板，需要大大地伸出手，并且将上身向斜前方倾斜。这种状况，特别在基于触摸面板的手势输入操作时使操作者的负担较大。
此外，专利文献2中记载的装置中，为了操作者进行手势输入操作，需要用照相机拍摄操作者的手，将拍摄到的手的形状或手势通过图案匹配进行检测。因此，需要预先存储手的形状或手势的数据等。此外，在手的形状或手势上出现操作者的习惯的情况下，与存储的数据不相符。这种情况下，无法识别操作者的手势。
本发明的目的在于，提供即使在操作者的手形状或动作上有操作者特有的特征或习惯，也能够可靠地识别手势输入操作的手势输入操作处理装置。
解决问题的方案
本发明的手势输入操作处理装置具有以下结构，包括：触摸面板，重叠设置在显示图像的图像显示单元上，用于检测操作者接触到的位置；身体形状输入单元，将操作者进行手势输入操作时的该操作者的身体形状作为图像数据来取入；控制单元，从所述身体形状输入单元取入的图像数据识别基于操作者的非接触手势的输入操作，并识别操作者对所述触摸面板的手势输入，将来自所述身体形状输入单元的输入数据和来自所述触摸面板的输入数据相关联；以及存储单元，存储由所述控制单元进行的来自所述身体形状输入单元的输入数据和来自所述触摸面板的输入数据的关联，并存储手势的种类。
发明的效果
根据本发明，即使在操作者的手形状或动作上有操作者特有的特征或习惯，也能够可靠地识别手势输入操作。
附图说明
图1是本发明的一实施方式的可进行手势输入操作的车载装置的框图。
图2是表示车载装置10的车内的设置例子的图。
图3是表示操作者从车辆的驾驶座位伸出手，对车载装置10的触摸面板18用5根手指进行手势输入时的状况的图。
图4是表示一例操作者对触摸面板18进行手势输入的图。
图5是表示操作者在扶手50上放置手臂的状态下，对于车载装置10的身体形状输入单元40进行非接触手势输入时的状况的图。
图6是表示一例操作者对身体形状输入单元40进行非接触手势输入的图。
图7是用于说明车载装置10被设定为来自哪里的输入状态的流程图。
图8是用于说明来自触摸面板18的输入为可能状态下的车载装置10的动作的流程图。
图9是用于说明来自身体形状输入单元40的输入为可能状态下的车载装置10的动作的流程图。
标号说明
10  车载装置
11  存储单元
12  外部输入单元
13  扬声器
17  图像显示单元
18  触摸面板
20  控制单元
22  DVD/CD驱动器
23  GPS接收机
24  车速传感器
25  陀螺仪
40  身体形状输入单元
41  来自身体形状输入单元的图像数据
50  扶手
60  操作者的手
61  从身体形状输入单元提取的操作者的手的形状
70  手指接触到触摸面板的位置
71  手势输入
80  由身体形状输入单元提取的手指的位置
81由身体形状输入单元提取的手指的位置的时间转移(time transition)
具体实施方式
以下，使用附图说明本发明的实施方式的可进行手势输入操作的车载装置。其中，在以下的说明中，作为可进行手势输入操作的车载装置，例示车载用的导航装置。以下，将该导航装置仅称为“车载装置”。
图1是本发明的一实施方式的可进行手势输入操作的车载装置的框图。本实施方式的车载装置10具备进行路径引导等的导航功能、以及进行例如在DVD(Digital Versatile Disc)等记录介质中记录的音响视频的再现的视听再现功能等。
如图1所示，车载装置10包括：存储单元11；外部输入单元12；扬声器13；图像显示单元17；触摸面板18；控制单元20；DVD/CD驱动器22；GPS接收机23；车速传感器24；陀螺仪(以下，仅称为“陀螺”)25；以及身体形状输入单元40。但是，DVD/CD驱动器22、GPS接收机23、车速传感器24、陀螺25、扬声器13及身体形状输入单元40不需要一体地设置在车载装置10的内部，也可以成为可从车载装置10电气拆装的结构。此外，图像显示单元17和触摸面板18也可以是一体构造。
图2是表示车载装置10的车内的设置例子的图。车载装置10安装在车内的中心控制台上，在操作者通过触摸面板18进行输入操作的情况下，操作者伸出手臂进行输入操作。
以下，说明车载装置10的各构成要素。
存储单元11是硬盘驱动器(HDD)、存储器卡、或安装在车载装置10内部的未图示的印刷电路板上的闪存存储器等。存储单元11可以是由单一种类的介质组成的结构，也可以是同时使用多个种类的介质的结构。
在存储单元11中，存储与图像显示单元17上显示的图标有关的数据(图标的大小、显示区域或布局)、为了控制车载装置10的动作所需要的基本程序、用于图像显示的控制的程序、用于导航功能的执行或视听再现功能的执行的应用软件的程序、导航功能要利用的地图的数据库、或电话号码等数据库等的各种数据。此外，在存储单元11中，存储从身体形状输入单元40输入的手的形状或手指的根数等数据、或关联了来自触摸面板18的输入数据和来自身体形状输入单元40的输入数据的数据。而且，在存储单元11中，与普通的存储单元同样，设置将各种程序或各种数据等展开的区域及展开图像的区域等。
外部输入单元12为了用于输入从可连接到车载装置10的外部设备输出的信号而设置。从外部设备输出的信号，例如是将DVD或CD等的介质进行再现所得的视频信号和/或声音信号，或是来自数字电视等的视频信号及声音信号。
扬声器13将车载装置10中处理后的声音输出。该声音例如是用于将车载装置10接受了对车载装置10的操作的事实传送到操作者的效果音、从外部设备输入到外部输入单元12的声音或音乐、或在DVD/CD驱动器22中再现的声音或音乐等。
图像显示单元17是显示视频或图像的普通的液晶显示器。图像显示单元17上显示的视频或图像，例如是存储单元11存储的开启画面或菜单画面、或从外部设备输入到外部输入单元12的视频或静止图像等。
图像显示单元17具有：包括偏振滤光器、液晶、玻璃基板及彩色滤光器等的液晶板；以及用于冷阴极管或LED及导光板等的液晶板的光源的背光组件；处理用于图像显示的各种信号的IC等电气元件；以及用于驱动液晶板、背光组件或电子元件的电源组件。再有，电源组件也可以与图像显示单元17独立地构成。
触摸面板18是设置在图像显示单元17的内部或表面，具有导电层的透过性的面板。对触摸面板18的输入操作，通过操作者用手或手指触摸在图像显示单元17上显示的图标等的相应位置来进行。通过对相应位置的接触操作，在触摸面板18中产生静电电容的变化，该信号被输出到控制单元20。再有，图像显示单元17上显示的相应位置是图标或地图上的任意的位置。此外，接触操作还包含将直接接触到触摸面板18的手指以规定的速度移动，或者手或手指靠近触摸面板18的行为。
控制单元20包括微处理器和用于使微处理器动作的电路。控制单元20执行存储单元11存储的控制程序，进行各种处理。此外，控制单元20将控制单元20处理所得的视频或图像显示在图像显示单元17上。此外，控制单元20基于来自触摸面板18的信号，计算操作者的手或手指接触到的位置。控制单元20将与算出的位置对应的信息和存储单元11存储的信息核对，并执行被定义为图标、菜单或开关等的功能或被定义为手势的功能。此外，控制单元20基于来自身体形状输入单元40的输入数据提取身体形状，并且将提取的数据和存储单元11存储的数据或来自触摸面板18的输入数据建立关联。再有，控制单元20包含的微处理器可以是一个，也可以对DVD再现或音响再现等的每个功能包含多个微处理器。
DVD/CD驱动器22将保存了声音源(或声音数据)和/或视频源(或视频数据)的盘进行再现。
GPS接收机23接收来自GPS卫星的信号。
车速传感器24检测装载了车载装置10的车辆的行驶速度。
陀螺25检测车辆的旋转、上下方向的变化量或加速度。
身体形状输入单元40是用于拍摄操作者进行手势输入操作时的该操作者的手或手指等的身体形状的照相机。身体形状输入单元40在操作者将手臂放置在例如图2所示的扶手50上的状态、即操作者的负担少的状态下，拍摄该操作者的手或手指。用作身体形状输入单元40的照相机，是可见光照相机、近红外照相机、红外线照相机或超声波照相机。由身体形状输入单元40拍摄的图像的数据被输入到控制单元20。
再有，只要身体形状输入单元40与车载装置10电连接，也可以作为独立体构成。作为独立体的情况下，将身体形状输入单元40设置在例如转向装置和窗口之间等、可进行将手臂放置在驾驶座位和副驾驶座位之间的扶手50上的状态以外的舒适姿势下的拍摄。
以下，说明车载装置10的输入操作。通过触摸面板18的输入操作，通过按下输入操作或手势输入操作来进行。按下输入操作是，操作者用手指触摸在图像显示单元17上显示的按钮或图标并进行拖拽的操作。进行按下输入操作时，控制单元20确定与对触摸面板18的触摸位置对应的输入操作。手势输入操作是，与图像显示单元17上显示的画面没有直接关系，操作者用多根手指触摸到触摸面板18而横向移动或转动旋转开关那样的动作的手势产生的操作。
再有，在本实施方式中，“手势”是将多根手指向上下左右等一方向移动的行为，或是将多根手指顺时针转动或逆时针转动的行为这样的简单的动作。此外，“手势输入”意味着操作者的手势进行的输入的动作本身。“手势指令”意味着用于执行由手势输入特定的功能的指令。
按下输入操作的情况下，操作者仅按下图像显示单元17上显示的按钮或图标的位置。另一方面，手势输入操作的情况下，操作者需要面向触摸面板18极大地伸出手，所以成为操作者的负担。在手势输入操作中，对触摸面板18的接触位置是不重要的，接触到触摸面板18的手指的根数和移动是重要的。
在本实施方式中，操作者对触摸面板18用多根手指触摸时，控制单元20识别用多根手指进行的特定的手势输入开始的事实。此时，控制单元20将由从身体形状输入单元40输入的数据提取出的手形状(或手指形状)和手指的根数，与通过触摸面板18输入而特定的手势输入相关联。此外，控制单元20将身体形状输入单元40提取出的多根手指的动作的数据，与存储单元11存储的用于特定的手势输入操作的手势指令相关联，并保存在存储单元11中。
图3是表示操作者从车辆的驾驶座位伸出手，用5根手指对车载装置10的触摸面板18进行手势输入时的状况的图。此外，图4是表示一例操作者对触摸面板18的手势输入的图。在图4中，用箭头表示5根手指触摸到触摸面板18的位置70、以及这5根手指产生的手势输入71。
图5是表示在操作者将手臂放置在扶手50上的状态下，对于车载装置10的身体形状输入单元40进行非接触手势输入时的状况的图。此外，图6是表示一例操作者对身体形状输入单元40的非接触手势输入的图。如图6所示，控制单元20由从身体形状输入单元40输入的图像41，检测包含5根手指的位置80的操作者的手的形状61和5根手指。此时，如果是操作者将手臂放置在扶手50上的状态，则来自身体形状输入单元40的输入数据连续一定时间地稳定。控制单元20检测操作者的手的形状61和5根手指，在该检测结果与非接触手势开始条件一致时，控制单元20检测操作者的各手指的位置的时间转移81。
使上述所示的触摸面板18的手势输入、非接触手势开始条件、对身体形状输入单元40的非接触手势输入时的时间转移81相关联。再有，如图5所示，身体形状输入单元40被设置在从指尖侧起拍摄操作者的手的位置。因此，对触摸面板18的手势输入的方向和对身体形状输入单元40的非接触手势输入的方向，上下左右进行反转。
再有，身体形状输入单元40不限于必须设置在上述说明的位置。因此，控制单元20也可以对于从身体形状输入单元40输入的数据进行视点变换处理。在进行了视点变换处理的情况下，变换为如同身体形状输入单元40位于上述说明的位置的数据，所以控制单元20容易地进行操作者的手形状或手指根数的提取，手势输入错误降低。
此外，上述说明的非接触手势开始条件，也可以设为由来自身体形状输入单元40的输入数据提取出的手形状和手指的数(单数或多数)。在将非接触手势开始条件设为从来自身体形状输入单元40的输入数据提取出的手形状和手指的数的情况下，如果手指的数相同，则能够判别手形状不同的非接触手势。因此，能够对不同的多根手指下的每个手势存储非接触手势开始条件。例如，3根手指的手势和5根手指的手势与分别不同的非接触手势相关联。其结果，操作者的操作性提高。
以下，参照图7～图9说明车载装置10的动作。
将操作者首次操作车载装置10的情况、或操作者不进行输入的状态、即完全不接触到触摸面板18的状态并且从身体形状输入单元40没有进行任何输入的状态作为开始的定时。如图7所示，控制单元20判别可否进行来自身体形状输入单元40的输入(步骤S10)。此时，控制单元20在操作者首次使用车载装置10的情况下，或在以前仅设有触摸面板18的输入操作，而没有进行身体形状输入单元40的输入操作的情况下，由于从身体形状输入单元40输入的数据和存储单元11存储的手势指令不关联，所以控制单元20判别为不可能进行来自身体形状输入单元40的输入(步骤S10：“否”)。另一方面，在从身体形状输入单元40输入的数据和存储单元11存储的手势指令相关联的情况下，控制单元20判别为可进行来自身体形状输入单元40的输入(步骤S10：“是”)。
在步骤S10中控制单元20判别为不可能进行来自身体形状输入单元40的输入的情况下(步骤S10：“否”)，控制单元20将车载装置10设定为仅可进行来自触摸面板18的输入的状态(步骤S11)。在步骤S10中控制单元20判别为可进行来自身体形状输入单元40的输入的情况下(步骤S10：“是”)，控制单元20将车载装置10设定为可进行来自触摸面板18的输入和来自身体形状输入单元40的输入的两种输入的状态(步骤S12)。
接着，参照图8说明可进行来自触摸面板18的输入的状态下的车载装置10的动作。再有，将完全不接触到触摸面板18，不进行对车载装置10的输入的状态设为开始的定时。
操作者通过接触到触摸面板18进行输入操作时，控制单元20检测操作者对触摸面板18的接触产生的输入数，判别是多数输入还是单数输入(步骤S20)。在操作者用多根手指接触到触摸面板18的情况下，控制单元20判别为输入数为多数(步骤S20：“是”)，识别为开始了用多根手指确定的手势输入(步骤S21)。
接着，控制单元20判别对触摸面板18的输入为未检出还是继续(步骤S22)。例如，在操作者对触摸面板18用多根手指接触后，停止该接触，以一直保持手指的形状，将手臂放置在扶手50上的状态等无负担的姿态进行了对身体形状输入单元40的输入的情况下，控制单元20判别为未检出对触摸面板18的输入(步骤S22：“是”)。
接着，控制单元20由从身体形状输入单元40输入的数据提取手形状(或手指形状)和手指的根数(步骤S23)。接着，控制单元20判别提取出的数据是否稳定(步骤S24)。例如，在操作者的手臂为稳定的状态的情况下，由来自身体形状输入单元40的输入数据提取出的手形状(或手指形状)和手指的根数持续一定时间。此时，控制单元20判别为由身体形状输入单元40的输入数据提取出的数据稳定(步骤S24：“是”)。另一方面，在控制单元20判别为提取出的数据不稳定时(步骤S24：“否”)，返回到步骤S23。
步骤S24中判别为数据为稳定后，控制单元20判别来自身体形状输入单元40的输入有效还是无效(步骤S25)。例如，在由从身体形状输入单元40输入的数据提取出的手指的根数为多个的情况下，控制单元20判别为来自身体形状输入单元40的输入有效(步骤S25：“是”)。接着，控制单元20将步骤S23中提取出的手形状(或手指形状)和手指的根数与相对触摸面板18的特定的手势输入相关联，作为非接触手势开始条件存入存储单元11(步骤S26)。
接着，控制单元20将由来自身体形状输入单元40的输入数据提取出的操作者的手指的运动(时间变化)的数据和通过对触摸面板18的特定的手势输入而可执行的手势指令相关联，作为非接触手势存入存储单元11中，并执行手势指令(步骤S27)。接着，控制单元20将车载装置10设定为可进行来自触摸面板18的输入和来自身体形状输入单元40的输入的两种输入的状态(步骤S28)。
另一方面，在步骤S20中，在控制单元20判别通过操作者接触到触摸面板18进行了输入操作时的输入数为单数时(步骤S20：“否”)，进至步骤S30。此外，在步骤S22中，在控制单元20判别为对触摸面板18的输入继续时(步骤S22：“否”)，也进至步骤S30。在步骤S30中，控制单元20作为对接触到的位置分配的手势指令的执行等，一般的多根手指对触摸面板18的手势输入进行处理。步骤S30之后，返回到步骤S20。
此外，在步骤S25中，在判别为来自身体形状输入单元40的输入无效时(步骤S25：“否”)，进至步骤S31。在步骤S31中，控制单元20在图像显示单元18上显示错误消息。步骤S31之后，返回到步骤S20。
接着，参照图9说明可进行来自身体形状输入单元40的输入的状态下的车载装置10的动作。再有，将从身体形状输入单元40什么也不输入的状态当作开始的定时(timing)。
控制单元20由从身体形状输入单元40输入的数据提取手形状(或手指形状)和手指的根数(步骤S40)。接着，控制单元20判别提取出的数据是否稳定(步骤S41)。例如，在操作者的手臂为稳定的状态的情况下，由来自身体形状输入单元40的输入数据提取出的手形状(或手指形状)和手指的根数持续一定时间。此时，控制单元20判别为由身体形状输入单元40的输入数据提取出的数据稳定(步骤S41：“是”)。另一方面，在控制单元20判别为提取出的数据不稳定时(步骤S41：“否”)，返回到步骤S40。
在步骤S41中判别为数据稳定后，控制单元20判别在步骤S40中提取出的手形状(或手指形状)和手指的根数与存储单元11存储的非接触手势开始条件是否一致(步骤S42)。在判别为提取出的手形状(或手指形状)和手指的根数与非接触手势开始条件一致的情况下(步骤S42：“是”)，控制单元20识别为开始了与非接触手势开始条件关联的特定的手势输入(步骤S43)。另一方面，在判别为提取出的手形状(或手指形状)和手指的根数与非接触手势开始条件不一致的情况下(步骤S42：“否”)，返回到步骤S40。
步骤S43之后，控制单元20判别从来自身体形状输入单元40的输入数据提取的操作者的手指的运动(时间变化)的数据和存储单元11作为非接触手势存储的操作者的手指的运动的时间变化的数据是否一致(步骤S44)。在判别为这些数据一致的情况下(步骤S44：“是”)，控制单元20根据与非接触手势关联的特定的手势输入来执行可执行的手势指令(步骤S45)。另一方面，在判别为上述数据不一致的情况下(步骤S44：“否”)，返回到步骤S40。在步骤S45中执行手势指令后，控制单元20将车载装置10设定为可进行来自触摸面板18的输入和来自身体形状输入单元40的输入的两种输入的状态(步骤S46)。
如以上说明的，本实施方式的车载装置10将与操作者的手势输入操作对应的来自身体形状输入单元40的输入，与相对触摸面板18的手势输入相关联。因此，即使在操作者的手形状(或手指形状)或动作等上有操作者特有的特征或习惯，车载装置10也能够可靠地识别基于操作者的手势输入操作。此外，即使没有分别考虑了操作者的各种各样的手形状(或手指形状)或动作的特征或习惯的大量数据，本实施方式的车载装置10也能够可靠地识别基于操作者的手势输入操作。而且，本实施方式的手势输入操作，能够在不需要操作者大大地伸出手并且将上身向斜前方极大地倾斜的舒适的状态下进行。
参照详细而特定的实施方式说明了本发明，但本领域技术人员明白，可以不脱离本发明的精神和范围而添加各种各样的变更或修正。
本申请基于2012年3月15日申请的日本专利申请(特愿2012-059286)，其内容在此作为参照而引入。
工业实用性
本发明的手势输入操作处理装置，作为即使在操作者的手形状或动作上有操作者特有的特征或习惯也能够进行手势输入操作的导航装置等的车载装置是有用的。

Claims (6)

1.手势输入操作处理装置，包括：
触摸面板，重叠设置在显示图像的图像显示单元上，用于检测操作者接触到的位置；
身体形状输入单元，将操作者进行手势输入操作时的该操作者的身体形状作为图像数据来取入；
控制单元，从所述身体形状输入单元取入的图像数据识别基于操作者的非接触手势的输入操作，并识别操作者对所述触摸面板的手势输入，将来自所述身体形状输入单元的输入数据和来自所述触摸面板的输入数据相关联；以及
存储单元，存储由所述控制单元进行的来自所述身体形状输入单元的输入数据和来自所述触摸面板的输入数据的关联，并存储手势的种类。
2.如权利要求1所述的手势输入操作处理装置，
所述控制单元将所述操作者的特定的身体形状与特定的手势输入相关联，作为非接触手势开始条件存入所述存储单元中。
3.如权利要求1或2所述的手势输入操作处理装置，
所述身体形状输入单元与所述触摸面板、所述控制单元及所述存储单元的至少其中一个一体地构成。
4.如权利要求1或2所述的手势输入操作处理装置，
所述身体形状输入单元与所述触摸面板、所述控制单元及所述存储单元的至少其中一个分体地构成。
5.如权利要求2所述的手势输入操作处理装置，
所述非接触手势开始条件包含操作者的身体形状表示的手指的数。
6.如权利要求5所述的手势输入操作处理装置，
所述非接触手势开始条件包含操作者的手的形状。
CN201380013621.7A 2012-03-15 2013-03-12 手势输入操作处理装置 Pending CN104169839A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-059286 2012-03-15
JP2012059286 2012-03-15
PCT/JP2013/001620 WO2013136776A1 (ja) 2012-03-15 2013-03-12 ジェスチャ入力操作処理装置

Publications (1)

Publication Number Publication Date
CN104169839A true CN104169839A (zh) 2014-11-26

Family

ID=49160705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380013621.7A Pending CN104169839A (zh) 2012-03-15 2013-03-12 手势输入操作处理装置

Country Status (5)

Country Link
US (1) US20150015521A1 (zh)
EP (1) EP2827223A4 (zh)
JP (1) JPWO2013136776A1 (zh)
CN (1) CN104169839A (zh)
WO (1) WO2013136776A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108430819A (zh) * 2015-12-22 2018-08-21 歌乐株式会社 车载装置
CN115009017A (zh) * 2022-08-08 2022-09-06 成都智暄科技有限责任公司 一种仪表指示灯智能显示方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI494749B (zh) * 2013-03-15 2015-08-01 Pixart Imaging Inc 位移偵測裝置及其省電方法
CN105094301A (zh) * 2014-05-16 2015-11-25 中兴通讯股份有限公司 一种控制方法、装置及电子设备
JP2016004541A (ja) * 2014-06-19 2016-01-12 本田技研工業株式会社 車両用操作入力装置
JP6376886B2 (ja) * 2014-08-05 2018-08-22 アルパイン株式会社 入力システムおよび入力方法
KR101626427B1 (ko) * 2014-10-22 2016-06-01 현대자동차주식회사 차량, 멀티미디어 장치 및 그 제어 방법
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
CN105049535A (zh) * 2015-09-01 2015-11-11 南通希尔顿博世流体设备有限公司 一种带环境检测的车载系统
CN105049534A (zh) * 2015-09-01 2015-11-11 南通希尔顿博世流体设备有限公司 一种车载系统
FR3049078B1 (fr) * 2016-03-21 2019-11-29 Valeo Vision Dispositif et procede de commande a reconnaissance vocale et/ou gestuelle pour l'eclairage interieur d'un vehicule
WO2017179201A1 (ja) * 2016-04-15 2017-10-19 三菱電機株式会社 車載情報処理装置および車載情報処理方法
CN107305134B (zh) * 2016-04-22 2020-05-08 高德信息技术有限公司 在电子地图上显示预定形状的导航路线的方法和装置
US10746560B2 (en) * 2017-09-05 2020-08-18 Byton Limited Interactive mapping
USD889492S1 (en) 2017-09-05 2020-07-07 Byton Limited Display screen or portion thereof with a graphical user interface
USD907653S1 (en) 2017-09-05 2021-01-12 Byton Limited Display screen or portion thereof with a graphical user interface
USD890195S1 (en) 2017-09-05 2020-07-14 Byton Limited Display screen or portion thereof with a graphical user interface
JP7470017B2 (ja) * 2020-11-13 2024-04-17 シャープ株式会社 表示制御システム、表示制御方法、及び表示制御プログラム
JP7549857B2 (ja) * 2021-01-22 2024-09-12 パナソニックオートモーティブシステムズ株式会社 入力装置
JP2024164515A (ja) * 2023-05-15 2024-11-27 株式会社東海理化電機製作所 ユーザインタフェースシステム、制御装置、およびコンピュータプログラム
DE102023131509A1 (de) * 2023-11-13 2025-05-15 Audi Aktiengesellschaft Bedienvorrichtung zum Bedienen einer Fahrzeugfunktion eines Kraftfahrzeugs, Kraftfahrzeug mit einer Bedienvorrichtung und Verfahren zum Bedienen einer Fahrzeugfunktion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101180599A (zh) * 2005-03-28 2008-05-14 松下电器产业株式会社 用户界面系统
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
WO2011142317A1 (ja) * 2010-05-11 2011-11-17 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
JP2006285598A (ja) 2005-03-31 2006-10-19 Fujitsu Ten Ltd タッチパネル装置、タッチパネル装置の操作支援方法、及びタッチパネル装置の操作支援プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101180599A (zh) * 2005-03-28 2008-05-14 松下电器产业株式会社 用户界面系统
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
WO2011142317A1 (ja) * 2010-05-11 2011-11-17 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108430819A (zh) * 2015-12-22 2018-08-21 歌乐株式会社 车载装置
CN115009017A (zh) * 2022-08-08 2022-09-06 成都智暄科技有限责任公司 一种仪表指示灯智能显示方法
CN115009017B (zh) * 2022-08-08 2022-11-15 成都智暄科技有限责任公司 一种仪表指示灯智能显示方法

Also Published As

Publication number Publication date
US20150015521A1 (en) 2015-01-15
EP2827223A1 (en) 2015-01-21
JPWO2013136776A1 (ja) 2015-08-03
EP2827223A4 (en) 2017-03-08
WO2013136776A1 (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
CN104169839A (zh) 手势输入操作处理装置
CN102150115B (zh) 图像显示设备
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
CN104039599B (zh) 车载装置
WO2015159822A1 (ja) 表示装置及び電子機器
US8866700B2 (en) Mobile electronic device
JP5720003B2 (ja) 表示装置
US9433857B2 (en) Input control device, input control method, and input control program
US20160034039A1 (en) Information processing apparatus, operation control method and program
JP5599741B2 (ja) 電子機器、コンテンツ表示方法、およびコンテンツ表示プログラム
EP2544078A1 (en) Display device
KR20130013678A (ko) 터치형 휴대용 단말기
JP6429886B2 (ja) 触感制御システムおよび触感制御方法
WO2007097414A1 (ja) 操作入力装置
JP2015128918A (ja) 操作装置
US20160041689A1 (en) Touch panel system
CN1782667A (zh) 导航系统
WO2017090449A1 (ja) 触感呈示装置及び触感呈示方法
US20120249585A1 (en) Information processing device, method thereof, and display device
US10114501B2 (en) Wearable electronic device using a touch input and a hovering input and controlling method thereof
CN108693981B (zh) 车辆用输入装置
JP2014021748A (ja) 操作入力装置及びそれを用いた車載機器
JP2009037464A (ja) 画像表示装置及びコンピュータプログラム
CN104049872B (zh) 利用指向的信息查询
JP2016012313A (ja) 操作装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151109

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141126

WD01 Invention patent application deemed withdrawn after publication