CN101375235A

CN101375235A - 信息处理装置

Info

Publication number: CN101375235A
Application number: CNA2007800038030A
Authority: CN
Inventors: 寺田智裕; 山下敦士; 平井卓哉
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-02-03
Filing date: 2007-02-01
Publication date: 2009-02-25
Anticipated expiration: 2027-02-01
Also published as: CN101375235B; WO2007088939A1; JPWO2007088939A1; EP1980935A1; US20090002342A1

Abstract

本发明的目的在于：提供一种在具有双重显示功能的显示装置中，能够使进行操作的用户更加直观地进行操作，同时，使不进行操作的用户得到更好的观看效果的信息处理装置。该信息处理装置包括：显示部(16)，同时显示左图像和右图像；操作部(12)，接受操作；摄像部(13)，拍摄进行操作的手；手图像生成部(101)，由所拍摄的图像来生成表示进行操作的手的手图像；操作手判断部(102)，判断进行操作的手是左手还是右手；图像判断部，判断所观看的图像是左图像还是右图像；以及执行处理部(104)，在判断出所观看的是右图像时，显示左图像和重叠有手图像的右图像，同时，执行对应于右图像上的位置的处理，在判断出所观看的是左图像时，显示右图像和重叠有手图像的左图像，同时，执行对应于左图像上的位置的处理。

Description

信息处理装置

技术领域

本发明涉及一种信息处理装置，特别涉及一种按照用户基于双重显示(Dual View)的图像信息而进行操作的信息、命令等来进行处理的信息处理装置。

背景技术

众所周知，具有双重显示功能的显示装置可以分别对于不同视角方向同时显示图像。由此，也能够依据用户的观看位置来显示不同的图像(例如，参照专利文献1)。专利文献1中，通过将视差栅格(parallax barrier)设置在液晶显示屏的前面，实现了依据用户的观看位置来显示不同图像的双重显示。

在此，作为根据用户利用显示出的图像信息来进行操作的信息进行处理的方法，能够举出利用触摸屏的方法。具体而言，将触摸屏设置在显示装置的屏幕上。在此，屏幕所显示的图形用户界面(GUI：Graphical UserInterface)中含有显示元件(以下，称为图形用户界面元件)，如菜单、按钮开关等。用户通过触摸屏来触摸所希望的屏幕上显示的图形用户界面元件，从而能够输入对应于该图形用户界面元件的命令、信息等。如此，通过将触摸屏设置在屏幕上，能够使用户更加直观地进行操作。

然而，在具有双重显示功能的显示装置中，依据用户的观看位置来显示不同的图像。也就是说，具有双重显示功能的显示装置向各个观看位置的用户分别显示出独立的图像。因此，如上所述，在利用设置在屏幕上的触摸屏来进行输入的情况下，由于处理装置不能识别对显示在哪一视角方向的图像进行了输入，所以存在有不能进行适当处理的问题。

为了解决上述问题，提出了在不同图像上不重叠用户界面元件来显示的方法(例如，参照专利文献2)。也就是说，由于将图形用户界面元件显示在不同位置上，所以，即使如上所述利用设置在屏幕上的触摸屏来进行输入，也能够识别出对显示在某一视角方向的图像进行了输入，从而能够对各个观看位置进行适当处理。

专利文献1：日本专利文献特开2003-177357号公报；

专利文献2：日本专利文献特开2005-284592号公报。

发明内容

在此，在不把用户界面元件重叠来显示的方法中，如上所述，用户利用设置在屏幕上的触摸屏来进行输入操作。因此，当在一个观看位置的用户进行操作时，用户所进行操作的手遮盖了显示在另一观看位置的图像。象这样，在不把在不同图像上的用户界面元件重叠来显示的方法中，由于用户利用设置在屏幕上的触摸屏来进行输入操作，所以能够向进行操作的用户提供直观的操作感。然而，存在有不进行操作的用户不能观看的问题。

此外，在不把用户界面元件重叠来显示的方法中，为了识别对显示在某一视角方向的图像进行输入，必须把图形用户界面元件配置在不同图像上且不重叠的位置上。在此，图形用户界面元件起着使用户的输入更为简便的作用。因此，在上述的现有方法中，由于必须将图形用户界面元件配置在不同图像上且不重叠的位置上，所以不一定能将图形用户界面元件配置在各个图像中的最佳位置上。也就是说，存在有以下问题：即使可以将图形用户界面元件配置显示在一个视角方向的图像中用户的输入更加简便的最佳位置上，，也不一定能将图形用户界面元件配置在显示在另一视角方向的图像中的最佳位置上。

因此，本发明的目的在于提供一种信息处理装置，通过该信息处理装置，即使在利用具有双重显示功能的显示装置的情况下，也能够对进行操作的用户提供直观的操作感，并且，使不进行操作的用户得到更好观看效果。另外，本发明提供一种信息处理装置，通过该信息处理装置，将图形用户界面元件配置在显示在不同视角方向的各个图像中的最佳位置上，从而能够使用户的输入操作更加直观简便。

本发明以根据用户的操作进行处理的信息处理装置为前提。本发明包括：显示部，同时显示面向显示屏面能够从左边的视角方向观看的左图像、以及面向显示屏面能够从右边的视角方向观看的右图像；操作部，接受用户对在显示部中显示的图像上的位置进行指定的操作；摄像部，拍摄用户对操作部进行操作的手；手图像生成部，由摄像部所拍摄的图像中生成表示用户进行操作的手的手图像；操作手判断部，判断用户对操作部进行操作的手是左手还是右手；图像判断部，根据操作手判断部的判断结果，判断进行操作的用户观看的图像是左图像还是右图像；以及执行处理部，当在图像判断部判断出用户观看的图像是右图像时，显示左图像和重叠有手图像的右图像，同时，认为是与在操作部指定的位置相对应的右图像上的位置被指定，而执行对应于该右图像上的位置的处理；当在图像判断部判断出用户观看的图像是左图像时，显示右图像和重叠有手图像的左图像，同时，认为是与在操作部指定的位置相对应的左图像上的位置被指定，而执行对应于该左图像上的位置的处理。

此外，操作手判断部，优选根据在手图像生成部生成的手图像，来判断用户进行操作的手是左手还是右手。

此外，本发明的优选情况是：该信息处理装置还包括识别信息读取部，该识别信息读取部读出红外线标签所具有的识别信息，该红外线标签被安装在用户进行操作的手上，操作手判断部，根据在识别信息读取部读出的识别信息，来判断用户进行操作的手是左手还是右手。

此外，本发明的优选情况是：当在操作手判断部判断出用户进行操作的手是左手时，执行处理部将应显示的左图像改变为与右图像相同的图像，同时，将手图像重叠在左图像及右图像上进行显示，当在操作手判断部判断出用户进行操作的手是右手时，执行处理部将应显示的右图像改变为与左图像相同的图像，同时，将手图像重叠在左图像及右图像上进行显示。

此外，本发明的优选情况是：当在操作手判断部判断出用户进行操作的手是左手时，执行处理部将包含在右图像的图形用户界面元件重叠在左图像上进行显示，同时，将手图像重叠在左图像及右图像上进行显示，当在操作手判断部判断出用户进行操作的手是右手时，执行处理部将包含在左图像的图形用户界面元件重叠在右图像上进行显示，同时，将手图像重叠在左图像及右图像上进行显示。

此外，本发明的优选情况是：当在操作手判断部判断出用户进行操作的手是左手时，执行处理部使右图像和手图像半透明重叠在左图像上进行显示，同时，将手图像重叠在右图像上进行显示，当在操作手判断部判断出用户进行操作的手是右手时，执行处理部使左图像和手图像半透明重叠在右图像上进行显示，同时，将手图像重叠在左图像上进行显示。

此外，本发明的优选情况是：当在操作手判断部判断出用户进行操作的手是左手时，执行处理部将手图像重叠在应显示的右图像上进行显示，同时，将表示手图像的指尖位置的图像重叠在左图像上进行显示，当在操作手判断部判断出用户进行操作的手是右手时，执行处理部将手图像重叠在应显示的左图像上进行显示，同时，将表示手图像的指尖位置的图像重叠在右图像上进行显示。

此外，本发明的优选情况是：当在操作手判断部判断出用户进行操作的手是左手时，执行处理部确定包含在左图像的图像中的、与在操作部指定的右图像上的位置相对应的图像，并改变该图像的显示形态，当在操作手判断部判断出用户进行操作的手是右手时，执行处理部确定包含在右图像中的、与在操作部指定的左图像上的位置相对应的图像，并改变该图像的显示形态。

此外，本发明的优选情况是：在左图像及右图像中含有显示相同的图形用户界面元件；左图像的图形用户界面元件及右图像的图形用户界面元件分别对应于不同的处理。

此外，本发明的优选情况是：操作部从用户那里接受建立对应关系操作，该建立对应关系操作用以建立图形用户界面元件与该图形用户界面元件被指定时应执行的处理之间的对应关系。当在进行了建立对应关系操作的情况下，操作手判断部判断出用户进行操作的手是左手时，执行处理部将由该建立对应关系操作来建立对应关系的图形用户界面元件重叠在左图像上进行显示，当在进行了建立对应关系操作的情况下操作手判断部判断出用户进行操作的手是右手时，执行处理部将由该建立对应关系操作来建立对应关系的图形用户界面元件重叠在右图像上进行显示。

如上所述，根据本发明，判断进行操作的用户所观看的图像是左图像还是右图像，在判断为右图像时将手图像重叠在右图像上显示，在判断为左图像时将手图像重叠在左图像上显示。也就是说，通过将进行操作的用户自己的手图像重叠在向进行操作的用户显示出的图像上，能够使进行操作的用户更加直观地操作。并且，此时，不向不进行操作的用户重叠进行操作的用户的手图像。由此，即使在将各个图像同时显示在不同视角方向的所谓双重显示中，也能够使进行操作的用户的手不干扰不进行操作的用户，得到更好的观看效果。

附图说明

图1为用以说明本发明所涉及的信息处理装置进行处理的概要的图。

图2为表示摄像部13拍摄操作部12附近的情况的图。

图3为表示本发明所涉及的信息处理装置的结构的图。

图4为表示本发明所涉及的信息处理装置的处理流程的流程图。

图5为示意表示利用本信息处理装置的处理进行显示的图。

图6为表示左右手判断处理详细流程的流程图。

图7为以模式表示左右手判断处理方法的图。

图8为表示通过三维显示及二维显示来进行处理的情况的图。

图9为表示执行处理部104在二维显示的、比例尺不同的图像之间进行处理的情况的图。

图10为表示用户21所按下的图像A上的建筑物T未显示在图像B上的情况下，执行处理部104改变图像B的比例尺的情况的图。

图11为表示使执行一系列操作的快捷图标(shortcut icon)从向操作人员移到非操作人员的情况的图。

图12为表示被设定在图像A及图像B上的移动领域的一个例图。

图13为表示副驾驶座的用户21不知道音响屏幕上的操作方法，而按下帮助按钮的情况的图。

图14为表示在按下帮助按钮后，音响屏幕被显示在两个图像上，驾驶座的用户22教操作方法的情况的图。

图15为表示与图14有关的其它例子的图。

图16为表示与图14有关的其它例子的图。

图17为表示与图14有关的其它例子的图。

图18为表示将摄像部13配置在操作面板下方的例子的图。

图19为包括两个摄像部13的结构的图。

图20为表示摄像部13所拍摄的操作部12附近的图像13g的一个例图。

(附图标记说明)

11 图像源

12 操作部

13 摄像部

14 控制部

15 显示部用控制部

16 显示部

101 手图像生成部

102 左右手判断部

103 手图像重叠部

104 执行处理部

21 副驾驶座的用户

22 驾驶座的用户

具体实施方式

在具体说明本发明所涉及的信息处理装置之前，结合图1，对本发明所涉及的信息处理装置所进行的处理概要进行说明。图1为用以说明本发明所涉及的信息处理装置所进行的处理概要的图。

在图1中，假设本发明所涉及的信息处理装置被设置于例如车载环境中。用户21坐在汽车的副驾驶座，用户22坐在驾驶座。显示部16是具有双重显示功能的显示器，向副驾驶座的用户21显示出图像A。图1中，将包含图形用户界面元件A的图像显示为图像A。另一方面，显示部16向驾驶座的用户22显示出图像B，其中，图像B与图像A不同。图1中，作为图像B显示出地图信息。此外，在副驾驶座的用户21与驾驶座的用户22之间以横倒方式设置有操作部12，其中，该操作部12例如由触摸板(touchpad)构成。副驾驶座的用户21在该操作部12上用右手21HR来进行操作。此外，如图2所示，操作部12由摄影机等摄像部13拍摄。摄像部13被设置于汽车的天花板上等。图2为表示摄像部13拍摄操作部12附近的情况的图。

在此，例如，假设副驾驶座的用户21希望一边观看图像A一边按下图形用户界面元件A，来进行对应于图形用户界面元件A的处理。此时，副驾驶座的用户21用右手21HR在操作部12上进行操作，指定图像A上的位置。此时，通过本发明所涉及的信息处理装置的处理，来将摄像部13所拍摄的副驾驶座的用户21的右手图像21SR重叠在图像A上。接着，副驾驶座的用户21可以一边看自己的重叠显示的右手图像21SR，一边移动操作部12上的右手21HR，按下图像上的图形用户界面元件A。另一方面，不将副驾驶座的用户21的右手图像21SR重叠在驾驶座的用户22侧的图像B上。

象这样，在本发明所涉及的信息处理装置中，通过将副驾驶座的用户21的右手图像21SR显示在显示部16的屏幕上，来代替将触摸屏设置在显示部16的屏幕上。由此，可使进行操作的副驾驶座的用户21更加直观地进行操作。并且，在本发明所涉及的信息处理装置中，不在驾驶座的不进行操作的用户22侧显示进行操作的副驾驶座的用户21的右手图像21SR。由此，即使在利用具有双重显示功能的显示部的情况下，进行操作的副驾驶座的用户21的右手HR本身也不会干扰驾驶座的用户22，而得到更好的观看效果。

以下，结合图3，对本发明所涉及的信息处理装置加以具体说明。图3为表示本发明所涉及的信息处理装置的结构的图。图3中，本发明所涉及的信息处理装置包括：操作部12、摄像部13、控制部14、显示部用控制部15以及显示部16。此外，图像源11A及图像源11B是输出图像的来源，其中，该图像是分别向不同观看位置的用户进行显示的图像。图像例如是通过电视机接收的图像、由AV机器等再现机器再现的图像等。此外，以下，为了便于说明，使图像源11A输出的图像为图像A，使图像源11B输出的图像为图像B。此外，在以下的说明中，使图像A为面向显示部16显示在左边视角方向(以下，简称为左边方向)的图像，使图像B为面向显示部16显示在右边的视角方向(以下，简称为右边方向)的图像。

操作部12接受用户指定在所显示的图像上的位置的操作。也就是说，进行操作的用户(以下，称为操作人员)将手放在操作部12上来进行操作，指定图像上的位置。操作部12只要至少包括操作面板便可，在此，例如，假设操作部12由触摸板构成。并且，假设触摸板上的坐标位置与图像上的坐标位置相对应。

摄像部13拍摄至少包含操作部12上的操作人员的手的范围，输出包含操作人员的手的图像。例如，摄像部13由可见光摄像机构成。摄像部13除了由可见光摄像机构成以外，例如，还可以由红外线摄像机、近红外线摄像机、温度记录器等构成。即，摄像部13可由任何机器构成，只要该机器是取得能够提取操作人员的手区域的图像的机器即可。此外，如图2所示，将摄像部13设置于能够拍摄操作部12的位置上。

控制部14例如由CPU构成。此外，控制部14包括手图像生成部101、左右手判断部102、手图像重叠部103以及执行处理部104的功能。手图像生成部101由摄像部13所取得的操作部12附近的图像生成表示操作人员的手的手区域图像(以下，称为手图像)。此外，手图像生成部101既可生成实拍的手图像，也可提取手区域中的外围轮廓，通过对该外围轮廓设定预先所规定的图案、颜色等，从而生成手图像。当在手图像生成部101生成了手图像时，左右手判断部102根据该手图像来判断操作人员的手是右手还是左手。手图像重叠部103根据在左右手判断部102判断的结果，将在手图像生成部101生成的手图像重叠在图像A或图像B上。执行处理部104根据操作人员在操作部12输入的信息，执行处理。具体而言，执行处理部104根据左右手判断部102的判断结果，来取得信息，即，操作人员是被显示出图像A的用户还是被显示出图像B的用户的信息。也就是说，执行处理部104可以在根据左右手判断部102的判断结果来识别在哪个视角方向的用户进行了输入后，再进行处理。例如，在被显示出图像A的用户是操作人员的情况下，执行处理部104对图像源11A进行适当的访问，根据被显示出图像A的用户的输入，执行处理。

显示部用控制部15将在控制部14的手图像重叠部103处理的各图像(图像A及B)提供给显示部16，进行用以进行双重显示的控制。显示部16是能够双重显示的显示器。例如，显示部16由液晶显示屏构成，其中，在液晶显示屏的前面设有视差栅格。通过该显示部用控制部15以及该显示部16的结构，在显示部16同时将图像A及图像B显示在不同的视角方向上。也就是说，显示部16所显示的图像依据用户的观看位置成为不同的图像。此外，显示部用控制部15以及显示部16可由任何机器构成，只要该机器是实现双重显示的机器即可。

接下来，结合图4，对本发明所涉及的信息处理装置的处理进行具体说明。图4为表示本发明所涉及的信息处理装置的处理流程的流程图。

首先，手图像生成部101取得摄像部13所拍摄的操作部12附近的图像(步骤S1)。手图像生成部101从在步骤S1中取得的操作部12附近的图像中提取肤色区域(步骤S2)。接着，通过对所提取的肤色区域进行去噪音处理，取得被确认为手的区域(步骤S3)。在此，可利用众所周知的方法作为去噪音处理的方法。例如，有这样的方法：在提取的区域为多个的情况下，通过对各个区域的面积进行比较，将最大区域确认为手的区域，并取得该区域。此外，在利用红外线摄像机作为摄像部13的情况下，不能提取肤色区域。因此，为了提取手区域，而采用通过亮度值的阈值来提取手区域的方法。此外，此时，优选通过设置红外线投射器，照射操作面板上方，来容易地提取手区域。

在步骤S3之后，手图像生成部101判断步骤S3中取得的区域是否为手(步骤S4)。在此，做为判断是否为手的方法，可利用一般的方法。例如，想到了这样的方法：预先存储手的模式(pattern)，对该手的模式与步骤S3中取得的区域的模式进行比较(模式匹配：pattern matching)。步骤S4中，手图像生成部101在判断出所取得的区域为手的情况下，将步骤S3中取得的区域生成为手图像，处理进入步骤S5。另一方面，步骤S4中，在手图像生成部101判断出所取得的区域不为手时，在手图像未重叠的情况下进行双重显示(步骤S6)。

在步骤S4之后，左右手判断部102根据所提取的手图像，来判断操作人员的手是右手还是左手(步骤S5)。此外，后面再对步骤S5的具体处理加以说明。在步骤S5中判断出操作人员的手为右手的情况下，处理进入步骤S8(步骡S7的右手)。另一方面，在步骤S5中判断为左手的情况下，处理进入步骤S11(步骤S7的左手)。

步骤S8中，手图像重叠部103将步骤S4中取得的右手的手图像重叠在显示在左边方向的图像A上。接着，进行仅将手图像重叠在图像A上显示的双重显示(步骤S14)。也就是说，由于用右手进行操作的用户在与图像A的显示方向相同的左边方向，所以只有用右手进行操作的用户看到了重叠在图像A上显示的手图像。在此，为了容易理解而结合图5进行说明。把操作人员的手(图5中的右手21HR)放在操作部12上时，通过上述处理，最终使操作人员的手图像(图5中的右手的手图像21SR)重叠在显示在左边方向的图像A上显示。图5为示意表示利用本信息处理装置的处理进行显示的图。此外，就步骤S8中将手图像重叠在图像A上的哪个位置上，例如，想到了这样的方法：从摄像部13所取得的操作部12附近的图像中检测操作部12的四个角落，进行调整，以使该四个角落与图像A或B的四个角落一致。

此外，在步骤S8之后，由于在用户一边看重叠显示的手图像，一边在操作部12上进行指定图像上的位置的输入时(步骤S9的“是”)，步骤S5中判断出操作人员的手为右手，所以，执行处理部104对图像源11A进行适当的访问，根据在操作部12被指定的图像A上的位置，执行处理(步骤S10)。例如，若在图像A上的位置上有图形用户界面元件等的话，则进行对应于该图形用户界面元件的处理。之后，进行手图像仅重叠显示在经执行处理部104处理后的图像A上双重显示(步骤S14)。

另一方面，在步骤S5中判断出操作人员的手为左手的情况下，将步骤S4中取得的左手的手图像重叠在显示在右边方向的图像B上(步骤S11)。接着，进行将手图像仅在图像B上重叠显示的双重显示(步骤S14)。也就是说，由于用左手进行操作的用户在与图像B的显示方向相同的右边方向，所以只有用左手进行操作的用户看到了重叠在图像B上显示的手图像。此外，在步骤S11之后，由于在用户一边看重叠显示的手图像，一边在操作部12上进行指定图像上的位置的输入时(步骤S12的“是”)，步骤S5中判断出操作人员的手为右手，执行处理部104对图像源11B进行适当的访问，根据在操作部12被指定的图像B上的位置，执行处理(步骤S13)。之后，进行手图像仅重叠显示在经执行处理部104处理后的图像B上的双重显示(步骤S14)。

象这样，执行处理部104可根据左右手判断部102的判断结果，识别操作人员是对图像A上的位置进行了输入还是对图像B上的位置进行了输入，对于各个操作人员的输入分别进行个别处理。也就是说，执行处理部104可根据在不同视角方向的操作人员的各个输入，来改变处理的内容。

接着，结合图6，就左右手判断处理(图4的步骤S5)进行详细的说明。图6为详细表示左右手判断处理流程的流程图。在此，以通过从手区域中求出手掌区域，检测手指区域，确定各个手指区域中的指尖位置，来判断为左手还是右手的方法为例进行说明。首先，将规定半径的圆配置在手图像生成部101中提取的手区域内(步骤S511)。在此，将规定半径的值设为配置的圆比指围大。在步骤S511之后，将该圆的外围轮廓线与手区域的外围轮廓线的距离作为参数求出(步骤S512)。在此，例如，将圆的外围轮廓线上所有点各自与手区域的外围轮廓线上的所有点的距离作为参数求出。在步骤S512之后，只提取阈值以下的值的参数(步骤S513)。这是为了在决定手掌区域时，将手指区域的外围轮廓线所涉及的、较大的参数事先从运算对象除去，从而减轻处理的负担。

在步骤S513之后，改变所配置的圆的位置和半径，将与手区域的手掌部分最相似的圆作为手掌区域求出(步骤S514～S518)。具体而言，首先移动圆的位置，求出参数值为最小的位置(步骤S514以及S515)。此时，例如，根据在圆的外围轮廓线上的各点求出的参数值的偏差(deviations)情况来移动圆的位置。具体而言，将圆的位置向较大的值的参数分布较多的方向移动。接下来，在决定圆的位置后，改变圆的半径求出参数值最小的半径(步骤S516以及S517)。如图7所示，将通过步骤S514～S517的处理决定的圆决定为手掌区域(步骤S518)。图7为示意表示左右手判断处理方法的图。

此外，在步骤S514～S517的处理中，会有两个圆，该两个圆都与手掌最相似并且两者的半径不同的情况。此时，优选以半径较大的圆为手掌区域。此外，上述的说明中虽然用圆来求出手掌区域，但是，例如，也可用椭圆或与实际的手掌形状相似的形状，来求出手掌区域。近似的形状与实际的手掌形状越相似，越能够正确地求出手掌区域。此外，上述参数可以是普遍的模式匹配等的参数。

在步骤S518之后，如图7所示，通过除去手掌区域，提取各个手指区域(步骤S519)。接下来，对各个手指区域，求出手掌区域的中心(圆的中心)与手指区域的外围轮廓线的距离(步骤S520)。接着，将所算出的各个手指区域中与手掌区域的中心距离最大的点设定为指尖点(步骤S521)。在图7中，可以得知与圆的中心距离最大的点在指尖。在此，在设定五个指尖点的情况下(步骤S522)，对于各指尖点，算出最近的指尖点之间的距离(步骤S523)。也就是说，如图7所示，对拇指来说，与拇指与各个手指之间的距离相比，拇指与食指之间的距离最小。如图7所示，如此求出的距离有四个。在步骤S523之后，将被设定的各指尖点中在左右方向上的两个端点中的、在步骤S523中算出的距离较大的端点设定为拇指的指尖点(步骤S524)。在图7中，可得知两个端点(X点以及Y点)中的、X点的距离x大于Y点的距离y。由此，可以确认X点为拇指。

在步骤S524之后，判断拇指的指尖点在右端还是在左端(步骤S525)。当拇指的指尖点在右端时判断为左手(步骤S526)，当拇指的指尖点在左端时判断为右手(步骤S527)。在此，结束对左右手判断处理的流程的说明。

此外，在上述左右手判断处理中，根据左右方向的端点求出了拇指，本发明并不局限于此。例如，图7中，拇指与其它手指相比，位于屏幕的最下方。也可利用该情况，将屏幕下方的指尖点设定为拇指。此外，也可通过利用上述根据左右方向的端点来求出拇指的方法、和求出屏幕下方的指尖点的方法，来设定拇指的指尖点。此外，也可利用其它普遍方法。

此外，在上述的左右手判断处理中，利用手图像生成部101所生成的手图像来判断为右手或左手，本发明并不局限于此。例如，也可采用这样的方法，即，通过在操作人员的手上安装具有左/右手的识别信息的红外线标签，与识别信息读取部(未图示)进行通信，来检测操作人员的手是右手还是左手。识别信息是读取部通过与红外线标签进行通信来读出识别信息的。该识别信息读取部既可配置于操作部12中，也可配置于操作部12外。此外，也可采用这样的方法，即，通过利用图像处理来检测手掌的手相，来检测右手或左手。

此外，如上所述，执行处理部104可根据位于不同视角方向的操作人员的各个输入，来改变处理的内容。在上述说明中，仅对对应于一个操作人员的输入的处理进行了说明，本发明并不局限于此。例如，当进行对应于一个操作人员的输入的处理时，也可对不进行操作的其它用户执行与该处理有关的图像间的处理。以下，用具体的例子，对该图像间的处理，进行说明。

结合图8，对第1具体例子进行说明。例如，有这样的情况：在观看不同的地图图像的各个用户之间，操作人员想要告诉非操作人员地图上的特定位置。在此设定为：在各个用户观看不同的地图图像的情况下，操作人员按下地图图像上的特定位置时，使非操作人员所观看的地图图像上与操作人员所按下的特定位置相对应的位置改变其显示形态，如使它忽亮忽灭等，以便告诉非操作人员该位置。

图8为表示通过三维显示以及二维显示来进行处理的情况的图。图8与图1同样，例如，假设将本发明所涉及的信息处理装置设置于车载环境中。此外，图8所示的各个部分与图1所示的各个部分的不同之处仅在于图像A及图像B的内容以及处理不同，因此，省略其它部分的详细说明。图8中，图像A是三维显示的地图图像。图像B为二维显示的地图图像。副驾驶座的用户21观看三维显示的地图。驾驶座的用户22观看二维显示的地图。

在此，如图8所示，副驾驶座的用户21一边观看重叠在图像A上的右手图像21SR，一边用放在操作部12上的右手来按下屏幕上的三维显示的建筑物T(图形用户界面元件)。此时，执行处理部104首先从左右手判断部102取得判断结果，即进行输入的是用户21还是22。在此，用户21用右手21HR来进行操作，因此，在左右手判断部102判断为右手。因此，可得知操作人员是在左边方向的用户21。由此，在执行处理部104检测出与在操作部12上所按下的坐标位置相对应的图像A上的坐标位置的、三维显示的建筑物T。之后，执行处理部104对于不进行操作的驾驶座的用户22观看的图像B，检索出与三维显示的建筑物T相对应的、二维显示的建筑物T的坐标位置。接下来，如图8所示，执行处理部104进行处理，例如，使被检索出的图像B上的二维显示的建筑物T忽亮忽灭。此外，图8中，在执行处理部104的处理中，必须在三维显示的地图与二维显示的地图之间转换坐标位置，但是，此转换方式本身采用普遍的转换方式，因此省略其详细说明。

此外，图8中，虽然说明了三维显示以及二维显示之间的处理，但是，如图9所示，也可在均为二维显示、而比例尺不同的图像之间进行处理。图9为表示执行处理部104在均为二维显示、而比例尺不同的图像之间进行处理的情况的图。此外，如图10所示，在用户21所按下的图像A上的建筑物T未显示在图像B上时，执行处理部104也可进行处理以改变图像B的比例尺，来显示建筑物T。图10为表示用户21所按下的图像A上的建筑物T未显示在图像B上的情况下，执行处理部104改变图像B的比例尺的情况的图。

此外，执行处理部104不仅根据所按下的坐标位置，也可根据左右手判断部102的判断结果来改变控制命令。具体而言，例如，在向用户21及22分别显示出的图像上，将相同功能(相同显示形态)且该相同功能所对应的处理内容不同的图形用户界面元件设置在相同位置上。由此，根据操作人员的手是右手还是左手，所执行的处理内容不一样。具有相同功能，但该相同功能所对应的处理内容不同的图形用户界面元件例如是：在驾驶座的用户22进行操作的情况下，使图形用户界面元件简易地显示处理，以免妨碍驾车操作。另一方面，在副驾驶座的用户21进行操作的情况下，尽可能显示出较多的信息。该处理的优点在于：通过进行这样的处理，即使在执行相同功能时，仍能够便于用户操作。

结合图11，对第2具体例子进行说明。用户驾车时若一边观看屏幕，一边进行复杂的操作，则会有妨碍安全行车的情况。因此，使复杂操作由副驾驶座的用户进行，而驾车的用户只决定执行该复杂操作的时机。图11为表示使执行一系列操作的命令(快捷图标)从向操作人员移到非操作人员的情况的图。图11所表示的情况是：为了使驾车的用户22的操作更加简便易用，副驾驶座的用户21进行建立对应关系操作，以制作用于执行设定目的地的一系列操作的快捷图标(图形用户界面元件)，并将该快捷图标移动到驾驶座的用户22的图像B上。

此时，副驾驶座的用户21在图像A上按下想要设定为目的地的地点的图形用户界面元件23后，按下目的地的图形用户界面元件24。之后，副驾驶座的用户21制作执行该目的地设定所涉及的一系列操作的指令用的快捷图标25。在此，图11中，所制作的快捷图标25显示在图像A的右上方。副驾驶座的用户21将所制作的快捷图标25拖放到设定在图像A的右上角的特定领域26。从而使快捷图标25移动到驾驶座的用户22的图像B上的特定领域27。之后，驾驶座的用户22只要按下显示在图像B上的特定领域27的快捷图标25，便可设定目的地。即，执行操作的时间可由驾车人随意决定。

在此，制作快捷图标25的处理中既可采用与一般的个人电脑中利用的批处理命令的制作同样的方法，也可采用其它的一般方法。此外，对将快捷图标25从图像A移动到图像B的处理进行详细的说明。如图12所示，首先在图像A及图像B上分别将特定领域26以及27设定为图像A与图像B之间移动的领域(移动领域)。图12为表示被设定在图像A及图像B上的移动领域的一个例图。只要在把快捷图标25拖放到该移动领域时，将快捷图标25从图像A移动到画像B(或从图像B到图像A)并将之显示便可。此外，图12中，将移动领域显示在相同位置上，但，也可将移动领域显示在图像A及图像B各个的不同位置上。此外，使快捷图标移动的处理即可由执行处理部104进行，也可在图4所示的结构基础上设置新的快捷图标移动部，使该快捷图标移动部进行该处理。

结合图13～图17，对第3具体例子进行说明。在帮助模式(help mode)的情况下，在操作人员将操作方法教给与他观看不同图像的用户时，优选将操作人员的手图像显示在两个图像上。因此，以该处理为第3具体例子进行详细说明。

图13为表示副驾驶座的用户21不知道音响屏幕上的操作方法，而按下帮助按钮的情况的图。图14为表示在按下帮助按钮后，音响屏幕被显示在两个屏幕上，驾驶座的用户22教操作方法的情况的图。图15～图17为表示与图14有关的其它例子的图。

图13中，副驾驶座的用户21一边看重叠在图像A上的右手图像21SR，一边按下帮助按钮。此时，执行处理部104首先从左右手判断部102取得判断结果，即进行输入的是用户21还是22。在此，用户21用右手21HR来进行操作，因此左右手判断部102判断为右手。总之，可得知操作人员是在左边方向的用户21。由此，执行处理部104检测出与在操作部12上所按下的坐标位置相对应的图像A上的坐标位置的、帮助按钮的图形用户界面元件。之后，如图14所示，执行处理部104将向驾驶座的用户22显示出的图像转变成与图像A相同的音响屏幕。接下来，教操作方法的人，即在此驾驶座的用户22将左手22HL放在操作部12上。此时，被放在操作部12上的左手由手图像重叠部103重叠在向用户21显示出的图像A及向用户22显示出的图像B上。之后，驾驶座的用户22可通过利用该重叠在两个图像上的左手图像22SL，将操作方法教给副驾驶座的用户21。

此外，图14中，执行处理部104虽然将向驾驶座的用户22显示出的图像转变成与向按下帮助按钮的副驾驶座的用户21显示出的图像A相同的图像，但，如图15所示，也可使图像A半透明，并将之重叠在向驾驶座的用户22显示出的图像B上。

此外，例如，在副驾驶座的用户21通过音响屏幕观看电视节目、DVD等动画时按下帮助按钮的情况下，如上所述，若向驾驶座的用户22也显示出相同的图像，则驾车的用户22的注意力会被该影像吸引过去，而产生妨碍行车的情况。在此情况下，执行处理部104也可不向驾驶座的用户22显示出包含在向副驾驶座的用户21显示出的图像中的显示动画的领域。

此外，如图16所示，执行处理部104也可只把向副驾驶座的用户21显示出的图像A中可以进行操作的按钮的图形用户界面元件重叠在向驾驶座的用户22显示出的图像B上。此时，执行处理部104提取向按下帮助按钮的用户21显示出的图像A中可以按下的所有图形用户界面元件。接着，将所提取的图形用户界面元件重叠在图像B上的、与图像A上的位置相同的位置上。此外，优选将对应于图形用户界面元件的功能的名称等以语言记载在图形用户界面元件中。

此外，如图17所示，执行处理部104也可使手图像重叠部103将左手图像22SL重叠在向教操作方法的驾驶座的用户22显示出的图像上，并且，只将基于左手图像22SL的光标或指尖点的图像重叠在向被教操作方法的副驾驶座的用户21显示出的图像A上。图17中，表示左手图像22SL的各指尖位置的指示标记22SLP重叠在向副驾驶座的用户21显示出的图像A上显示。该指示标记22SLP也可以是图17所示的圆状，也可以是任何形状，只要该指示标记22SLP可以区别于其它箭头等图形用户界面元件即可。

如上所述，根据本发明所涉及的信息处理装置，通过判断操作人员的手是右手还是左手，将操作人员的手图像重叠在向该操作人员显示出的图像，来使操作人员更加直观地进行操作。并且，根据本发明所涉及的信息处理装置，不向非操作人员显示出操作人员的手图像，因此，即使在利用具有双重显示功能的显示部的情况下，也能够使操作人员的手不打扰非操作人员，可以得到更好的观看效果。并且，根据本发明所涉及的信息处理装置，判断操作人员的手是右手还是左手，根据该判断结果来进行对应于操作人员的输入的处理。也就是说，根据该判断结果，可以识别在不同视角方向的用户的各个输入，从而进行对应于各个输入的处理。此外，根据本发明所涉及的信息处理装置，基于判断结果，即操作人员的手是右手还是左手，可以进行对应于操作人员的输入的处理，因此，在分别显示在不同视角方向的各个图像上将图形用户界面元件等配置在最佳位置上。

此外，如上所述，操作部12由触摸板构成，操作人员所按下的触摸板上的坐标位置与屏幕上的坐标位置相对应。在此，触摸板可以是任何机器，只要该机器能够检测出所按下的坐标位置即可，并且，也可不采用触摸板本身。例如，如图18所示，想到了这样的方法：将摄像部13配置在透明的操作面板的下方，测量出操作面板与操作人员的手的距离，从而判断操作人员的手是否接触到操作面板。图18为表示将摄像部13配置在操作面板下方的例子的图。此时，只要使从摄像部13所拍摄的图像求出的、手接触到的坐标位置与图像A上的坐标位置相对应，能够不利用触摸板，仅由摄像部13与操作面板构成操作部12。此外，在将摄像部13配置于图18所示的位置上的情况下，摄像部13所取得的手图像为手掌的图像。由此，此时，在手图像重叠部103进行重叠之前，通过将手图像的左右反转，也就是重叠手图像的镜像便可。此外，配置于操作面板的下方的摄像部13的数量既可以是象图19所示那样，为两个，也可以是两个以上。图19为包括两个摄像部13的结构的图。此外，也可设定为：摄像部13只拍摄进行操作的手，操作部12通过将只进行按下等输入的输入机器(开关、触摸板等)设置在摄像部13的拍摄范围外的位置、操作面板上以外的位置等来构成。此时，例如，将所按下的坐标位置设定为摄像部13所拍摄的手图像中的食指的位置便可。

此外，如上所述，通过左右手判断部102判断进行操作的用户的手是左手还是右手，来判断进行操作的用户所看到的图像是图像A还是图像B，但，也可利用其它方法来判断。例如，也可利用红外线标签，其中，该红外线标签具有可以识别进行操作的用户所看到的是图像A还是图像B的识别信息。此外，例如，如图20所示，也可以不根据用户进行操作的手而根据手臂部分移动的方向以及/或位置，来判断进行操作的用户所看到的是图像A还是图像B。图20为表示摄像部13所拍摄的操作部12附近的图像13g的一个例图。图20中，例如，手30被移动到摄像部13所拍摄的图像13g上。此时，手30的手臂部分301的位置在图像的右边。由此，通过利用摄像部13所拍摄的图像13g来检测手臂部分301的位置，从而可以判断出进行操作的用户看到的是操作部12的右边方向的图像B。

本发明对于即使在利用具有双重显示功能的显示装置的情况下，也能够使进行操作的用户更加直观地进行操作，同时，可以使各个用户得到更好的观看效果的、包括摄像机的信息处理机器等尤其有用。

Claims

1.一种信息处理装置，根据用户的操作进行处理，其特征在于：该信息处理装置包括：

显示部，同时显示能够面向显示屏面从左边的视角方向观看的左图像、以及能够面向显示屏面从右边的视角方向观看的右图像，

操作部，接受所述用户对在所述显示部中显示的图像上的位置进行指定的操作，

摄像部，拍摄所述用户对所述操作部进行操作的手，

手图像生成部，由所述摄像部所拍摄的图像生成表示所述用户进行操作的手的手图像，

操作手判断部，判断用户对所述操作部进行操作的手是左手还是右手，

图像判断部，根据所述操作手判断部的判断结果，来判断进行操作的所述用户所观看的图像是所述左图像还是所述右图像，以及

执行处理部，当在所述图像判断部判断出所述用户观看的图像是所述右图像时，显示所述左图像和重叠有所述手图像的右图像，同时，认为是与在所述操作部指定的位置相对应的右图像上的位置被指定，而执行对应于该右图像上的位置的处理，当在所述图像判断部判断出所述用户观看的图像是所述左图像时，显示所述右图像和重叠有所述手图像的左图像，同时，认为是与在所述操作部指定的位置相对应的左图像上的位置被指定，而执行对应于该左图像上的位置的处理。

2.根据权利要求1所述的信息处理装置，其特征在于：

所述操作手判断部，根据在所述手图像生成部生成的手图像，来判断所述用户进行操作的手是左手还是右手。

3.根据权利要求1所述的信息处理装置，其特征在于：

该信息处理装置还包括识别信息读取部，该识别信息读取部读出红外线标签所具有的识别信息，该红外线标签被安装在所述用户进行操作的手上；

所述操作手判断部，根据在所述识别信息读取部读出的识别信息，来判断所述用户进行操作的手是左手还是右手。

4.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于：

当在所述操作手判断部判断出所述用户进行操作的手是左手时，所述执行处理部将应显示的左图像改变为与右图像相同的图像，同时，将所述手图像重叠在左图像及右图像上进行显示，当在所述操作手判断部判断出所述用户进行操作的手是右手时，所述执行处理部将应显示的右图像改变为与左图像相同的图像，同时，将所述手图像重叠在左图像及右图像上进行显示。

5.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于：

当在所述操作手判断部判断出所述用户进行操作的手是左手时，所述执行处理部将包含在所述右图像的图形用户界面元件重叠在左图像上进行显示，同时，将所述手图像重叠在左图像及右图像上进行显示，当在所述操作手判断部判断出所述用户进行操作的手是右手时，所述执行处理部将包含在所述左图像的图形用户界面元件重叠在右图像上进行显示，同时，将所述手图像重叠在左图像及右图像上进行显示。

6.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于：

当在所述操作手判断部判断出所述用户进行操作的手是左手时，所述执行处理部使所述右图像和所述手图像半透明重叠在左图像上进行显示，同时，将所述手图像重叠在右图像上进行显示，当在所述操作手判断部判断出所述用户进行操作的手是右手时，所述执行处理部使所述左图像和所述手图像半透明重叠在右图像上进行显示，同时，将所述手图像重叠在左图像上进行显示。

7.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于：

当在所述操作手判断部判断出所述用户进行操作的手是左手时，所述执行处理部将所述手图像重叠在应显示的右图像上进行显示，同时，将表示所述手图像的指尖位置的图像重叠在所述左图像上进行显示，当在所述操作手判断部判断出所述用户进行操作的手是右手时，所述执行处理部将所述手图像重叠在应显示的左图像上进行显示，同时，将表示所述手图像的指尖位置的图像重叠在所述右图像上进行显示。

8.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于：

当在所述操作手判断部判断出所述用户进行操作的手是左手时，所述执行处理部确定包含在左图像的图像中的、与在所述操作部指定的右图像上的位置相对应的图像，并改变该图像的显示形态，当在所述操作手判断部判断出所述用户进行操作的手是右手时，所述执行处理部确定包含在右图像的图像中的、与在所述操作部指定的左图像上的位置相对应的图像，并改变该图像的显示形态。

9.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于：

在所述左图像及所述右图像中含有显示相同的图形用户界面元件；

所述左图像的图形用户界面元件及所述右图像的图形用户界面元件分别对应于不同的处理。

10.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于：

所述操作部从用户那里接受建立对应关系操作，该建立对应关系操作用以建立图形用户界面元件与该图形用户界面元件被指定时应执行的处理之间的对应关系；

当在进行了所述建立对应关系操作的情况下，所述操作手判断部判断出所述用户进行操作的手是左手时，所述执行处理部将由该建立对应关系操作来建立对应关系的图形用户界面元件重叠在左图像上进行显示，当在进行了所述建立对应关系操作的情况下，所述操作手判断部判断出用户进行操作的手是右手时，所述执行处理部将由该建立对应关系操作来建立对应关系的图形用户界面元件重叠在右图像上进行显示。