[go: up one dir, main page]

WO2012039301A1 - 表示装置および表示方法ならびにそのプログラム、端末装置 - Google Patents

表示装置および表示方法ならびにそのプログラム、端末装置 Download PDF

Info

Publication number
WO2012039301A1
WO2012039301A1 PCT/JP2011/070584 JP2011070584W WO2012039301A1 WO 2012039301 A1 WO2012039301 A1 WO 2012039301A1 JP 2011070584 W JP2011070584 W JP 2011070584W WO 2012039301 A1 WO2012039301 A1 WO 2012039301A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
display screen
state
user interface
capacitance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/070584
Other languages
English (en)
French (fr)
Inventor
亮二 蓮井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to US13/824,487 priority Critical patent/US20130181945A1/en
Priority to JP2012534995A priority patent/JP5861638B2/ja
Priority to EP11826747.5A priority patent/EP2620856A4/en
Priority to CN201180044553.1A priority patent/CN103109258B/zh
Publication of WO2012039301A1 publication Critical patent/WO2012039301A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Definitions

  • the present invention relates to a display device and a display method for controlling a displayed user interface screen, a program therefor, and a terminal device.
  • the UI (user interface) operation using the touch panel sensor is basically performed by the user touching (finger or touch panel operation tool (hereinafter referred to as operation tool) to the touch sensor), drag (finger or operation tool). Is moved to the touch sensor), release (finger or operation tool is separated from the touch sensor), or a combination thereof. Thus, the object displayed on the display is selected and moved.
  • operation tool touch panel operation tool
  • drag finger or operation tool
  • release finger or operation tool is separated from the touch sensor
  • the object displayed on the display is selected and moved.
  • FIG. 4 shows a case where a UI map application is displayed on the display device.
  • This map application is provided with a marker function that allows the user to freely arrange on the map P, and displays a display such as a slide bar SB for enlarging / reducing the map P.
  • a map application in order to move the display position of the map P, the user drags and scrolls the map P on the display. Further, when the user wants to move the marker MK, the marker object is dragged and moved. Further, when the user wants to enlarge or reduce the map P, the user operates by dragging the scale adjustment knob of the slide bar SB.
  • An object of the present invention is to provide a display device, a display method, a program thereof, and a terminal device that can solve the above-described problems.
  • a display device is based on a capacitance detected by a capacitance detection unit configured on a display screen, and the display screen and an object on the display screen.
  • An approach state detection unit that detects an approach state
  • a control UI determination unit that determines which of the plurality of user interface screens that the display screen displays in layers according to the approach state. Yes.
  • the present invention is a display method of a display device, and based on the capacitance detected by a capacitance detection unit configured on the display screen, the display screen and an object on the display screen
  • This is a display method for detecting an approaching state and determining which of a plurality of user interface screens that the display screen displays in layers according to the approaching state.
  • the computer of the display device displays an approach state between the display screen and an object on the display screen based on the capacitance detected by the capacitance detection unit configured on the display screen.
  • It is a program that functions as an approach state detection unit to detect, and a control UI determination unit that determines which of a plurality of user interface screens that the display screen displays in layers according to the approach state.
  • the present invention provides an approach state detection unit that detects an approach state between the display screen and an object on the display screen based on the capacitance detected by the capacitance detection unit configured on the display screen. And a control UI determining unit that determines which of a plurality of user interface screens that the display screen displays in a layered manner in accordance with the approaching state.
  • a UI for a general-purpose application is provided with a plurality of layers and displayed on the 3D stereoscopic LCD 11 in accordance with the distance from a touch panel device such as a finger or stylus touch panel operation tool (hereinafter referred to as an operation tool).
  • a touch panel device such as a finger or stylus touch panel operation tool (hereinafter referred to as an operation tool).
  • an operation tool By switching the UI screen layers that can be operated, the lower UI screen can be operated when the touch panel device itself is touched.
  • the upper UI screen operates the finger or the operation tool in the space above the touch panel device without bringing the finger or the operation tool into contact with the touch panel device, an intuitive operation for the user can be realized.
  • FIG. 1 is a block diagram showing the configuration of the display device according to the embodiment.
  • reference numeral 1 denotes a display device.
  • the display device 1 includes a 3D LCD (Liquid Crystal Display) 11, a touch panel device (capacitance detection unit) 12, an operation instruction reception unit 13, an approach state detection unit 14, a control UI determination unit 15, an operation control unit 16,
  • a 3D LCD Liquid Crystal Display
  • touch panel device capacitance detection unit
  • operation instruction reception unit 13 an approach state detection unit
  • approach state detection unit 14 a control UI determination unit
  • an operation control unit 16 Each function unit and processing unit of the display processing unit 17 are provided.
  • the 3D stereoscopic LCD 11 is a functional unit that displays a plurality of interface screens output from the display unit in layers.
  • the touch panel device 12 is a functional unit that detects an operation instruction by a user's finger or an operation tool.
  • the touch panel device 12 detects a capacitance at any of a large number of point electrodes arranged on a matrix on a display when a user brings a finger or an operation tool close to the touch panel device 12, and detects the capacitance of the detected point electrode. It detects that a user's finger or an operation tool is approaching the position.
  • the 3D stereoscopic LCD 11 and the touch panel device 12 are configured to overlap each other in layers (see FIG. 2). Thus, a display screen is configured.
  • the user performs touch, drag, and release operations with a finger or an operation tool at a desired position.
  • an operation instruction is input when the touch panel device 12 detects the capacitance.
  • the operation instruction receiving unit 13 generates and outputs operation instruction information based on a signal input from the touch panel device 12. Further, the approaching state detection unit 14 detects the approaching state of the user's finger or the operation tool based on the capacitance of any point electrode in the display output from the touch panel device 12. In addition, the control UI determination unit 15 determines which of a plurality of user interface screens displayed on the 3D stereoscopic LCD 11 is to be controlled based on the approach state detected by the approach state detection unit. Further, the operation control unit 16 controls the user interface screen determined by the control UI determination unit 15 based on the operation instruction information input from the operation instruction receiving unit 13. The display processing unit 17 is a processing unit that displays a user interface screen to be displayed on the 3D stereoscopic LCD 11 based on the control of the operation control unit 16.
  • the display device 1 approaches the 3D stereoscopic LCD 11 and a finger or an operation tool on the 3D stereoscopic LCD 11 based on the capacitance detected by the capacitance detection unit configured in the 3D stereoscopic LCD 11. Detect state. Furthermore, the display device 1 determines which of the plurality of user interface screens that the 3D stereoscopic LCD 11 displays in layers according to the approach state with the finger or the operation tool on the 3D stereoscopic LCD 11. Then, based on the operation instruction made by the user on the user interface screen, the display device 1 performs operation control corresponding to the operation instruction on the user interface screen determined to be controlled. By such processing, a display device capable of reducing erroneous operations with a simpler and more intuitive operation is provided.
  • the display device 1 detects the contact / non-contact with the finger or the operation tool in the touch panel device 12 and detects the change based on the detection of the capacitance instead of the function of detecting the operation instruction.
  • a function for detecting contact / approach / non-approach from a quantity is provided, and based on the detected result of contact / approach / non-approach, an operation instruction is detected.
  • the operation of moving a finger or an operation tool in a space (in the air) on the touch panel device 12 must be easy for the user.
  • the vertical direction of the touch panel device 12 is the Z axis (see FIG. 2)
  • the user can select one of a plurality of user interface screens when operating an object such as an icon displayed on the user interface screen. It is also possible to operate by adjusting the distance finely so as to correspond to an appropriate screen. However, it may be necessary to finely adjust the distance so that the distance on the Z-axis of the finger or the operation tool is appropriate, and the operability may be reduced.
  • the user interface screen is configured in a plurality of layers, and the finger or the operation tool on the Z-axis. It has a function of switching the UI layer that can be operated according to the distance.
  • the state of recognition is classified into three states: the contact state of the finger or the operation tool, the approach state (the touch panel and the finger or the operation tool are non-contact and within a certain distance), and the non-access state.
  • the touch panel and the finger or the operation tool are classified into three types according to the capacitance change, that is, the contact state, the approach state, and the non-access state, but the number is larger than that. You may make it classify
  • FIG. 2 is a diagram illustrating an example of a user interface screen displayed on the display device.
  • UI screens user interface screens
  • FIG. 2 shows an example in which two UI screens of a lower layer (touch panel: UI-1) and an upper layer (UI-2) are displayed in layers.
  • the lower UI-1 screen is a screen for displaying the map P.
  • the upper UI-2 screen is a screen on which two icons, a slide bar SB for enlarging / reducing the map P, and a marker MK set on the map P by the user are displayed.
  • the slide bar SB is a bar-shaped icon in which one indicates + and the other indicates ⁇ .
  • the slide bar SB can enlarge or reduce the scale of the map P by performing an operation of sliding the scale adjustment knob in the slide bar SB to the + side or the ⁇ side.
  • the marker MK is an icon that the user displays on the map P for marking.
  • the display processing unit 17 of the display device 1 performs a process of displaying a plurality of UI screens in a layered manner as shown in FIG.
  • FIG. 3 is a diagram showing a processing flow of the display device.
  • the user operates the UI screen displayed on the display device 1 using a finger or an operation tool.
  • the touch panel device 12 detects the coordinate information (x, y) for detecting the capacitance and the change amount z of the capacitance in the point electrode at the position of the coordinate (step S101), and the result is detected as an approach state.
  • the approaching state detection unit 14 is in a state where the distance between the touch panel device 12 and the user's finger or the operation tool is far away (non-approaching) based on the change amount z of the capacitance input from the touch panel device 12.
  • an approach state determination is performed as to whether the user's finger or the operation tool is approached (approach) or the user's finger or the operation tool is contacted (contact) (step S102).
  • the approach state detection unit 14 stores two-stage threshold values (z1, z2) in order to determine the approach state based on the input capacitance change amount z. In the determination of the approach state, the approach state detection unit 14 sets the maximum value of the change amount z of the capacitance to z_max. When the input capacitance change amount z is 0 ⁇ z ⁇ z1, it is determined that it is not approaching. When the input change amount z of the electrostatic capacitance is z1 ⁇ z ⁇ z2, it is determined as approaching. When the input capacitance change amount z is z2 ⁇ z ⁇ z_max, it is determined that the contact has occurred.
  • the approaching state detection unit 14 outputs information on the approaching state (information indicating any state of non-approaching, approaching, or contacting) as a determination result to the control UI determining unit 15.
  • the approach state detection part 14 does not output the information of a non-access state, when it determines with an approach state being non-access.
  • the control UI determination unit 15 specifies the input approach state from the approach state information.
  • the approaching state corresponds to either the approaching or contacting state. If the control UI determination unit 15 determines that the approach state is a contact, the control UI determination unit 15 determines to control the lower UI-1 screen among the plurality of UI screens stacked in layers (step S103). If it is determined that the state is close, it is determined to control the upper UI-2 screen (step S104). Then, the control UI determination unit 15 outputs information on the UI screen determined to be a control target (information indicating the upper layer or the lower layer) to the operation control unit 16.
  • the operation instruction receiving unit 13 receives coordinate information (x, y) obtained by converting capacitance from the touch panel device 12 and a change amount z of the capacitance. Then, operation instruction information storing such information is generated (step S105) and output to the operation control unit 16.
  • the operation control unit 16 controls the UI screen to be operated based on the UI screen to be operated and the control instruction information (Step S106). For example, when the UI screen to be operated is the upper UI-2 screen shown in FIG. 2 and the capacitance changes at the same coordinates as the marker MK, the marker MK is selected and designated, for example. It determines that it is a thing, and outputs the operation control information which shows selection of the marker MK to the display process part 17. FIG. Then, the display processing unit 17 controls the selection of the marker MK by, for example, controlling the display so that the brightness of the marker MK is dark. As a result, on the UI-2 screen (upper layer) displayed on the 3D stereoscopic LCD 11, a display in which the marker MK is selected is performed.
  • the operation control unit 16 sequentially outputs the operation control information to the display processing unit 17 based on the coordinates where the capacitance has changed, the amount of change, and the like, and the display processing unit 17 outputs the operation control information based on the operation control information.
  • a UI screen display process is performed, whereby the display on the 3D stereoscopic LCD 11 changes.
  • changing the scale of the map P by changing the position of the marker MK (touch + drag + release) or changing the position of the scale adjustment knob in the slide bar SB (touch + drag + release) Etc. are performed.
  • the scale reduction / enlargement processing of the map P according to the change amount is performed based on the change of the position of the scale adjustment knob in the slide bar SB.
  • the approach state indicates contact
  • the lower UI-1 screen is selected, and operation control is performed on the selected lower UI-1 screen. The above process is repeated until the power is turned off.
  • the processing of the display device 1 according to the present embodiment has been described above.
  • the UI of the general-purpose application is provided with a plurality of layers, and the 3D stereoscopic LCD 11 is matched to the distance between the finger or the operation tool and the UI.
  • the operable UI screen layer displayed on the screen may be switched.
  • the lower UI screen can be operated when the touch panel device itself is touched, and the upper UI screen can be operated with the finger or the operation tool in the space above the touch panel device without touching the touch panel device with the finger or the operation tool. Can be operated. And it is possible to realize an intuitive operation for the user.
  • the UI screen is divided into a plurality of layers and processed.
  • the display device may be provided inside a terminal device such as a PDA or a mobile phone.
  • the display device described above has a computer system inside.
  • Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program.
  • the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the distributed program.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement
  • This application claims priority based on Japanese Patent Application No. 2010-2111806 filed in Japan on Sep. 22, 2010, the contents of which are incorporated herein by reference.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

 表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、表示画面と前記表示画面上の物体との接近状態を検出し、接近状態に応じて、表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する。

Description

表示装置および表示方法ならびにそのプログラム、端末装置
 本発明は、表示されるユーザインタフェース画面を制御する表示装置および表示方法ならびにそのプログラム、端末装置に関する。
 現在の情報端末市場には、タッチセンサを搭載した携帯端末が多く存在する。特に近年増加しているスマートフォンという分類に属する携帯端末では、ハードウェアのキーデバイスの数が少なく、端末の操作の大半はタッチセンサ付きのディスプレイ(タッチパネルデバイス)上で行う構造となっている。
 タッチパネルセンサを利用したUI(ユーザインタフェース)の操作は、ユーザが、基本的にタッチ(指またはタッチパネル用の操作用具(以下、操作用具とよぶ)をタッチセンサにつける)、ドラッグ(指または操作用具をタッチセンサにつけた状態で移動する)、リリース(指または操作用具をタッチセンサから離す)のいずれか又は組み合わせの操作を行なうことによって実現される。これによって、ディスプレイ上に表示されるオブジェクトの選択や移動を行う。これらは一般的なUIで多用される操作である。タッチパネルセンサを利用したUIの操作では、UI上に多くのオブジェクト(ボタンやリスト、スライドバーSBなどの操作可能な部品アイコン)が混在して表示されている場合、ユーザの誤操作や操作オブジェクトの誤認識が起こる場合がある。
 一例として、図4に、UIの地図アプリケーションが表示装置に表示されている場合をしめす。この地図アプリケーションでは、ユーザが自由に地図P上に配置できるマーカ機能が備えられており、地図Pの拡大・縮小を行うためのスライドバーSBなど配置表示されている。このような地図アプリケーションにおいては、地図Pの表示位置を移動したい場合は、ユーザはディスプレイ上の地図Pをドラッグしてスクロールする。また、ユーザが、マーカーMKを移動させたい場合はマーカオブジェクトをドラッグして移動させる。、また、ユーザが、地図Pの拡大・縮小を行いたい場合はスライドバーSBの縮尺調整つまみをドラッグして操作する。
 例えば、ユーザが地図Pの拡大・縮小操作を意図してスライドバーSBの操作を試みた場合に、スライドバーSBと地図Pとの境目付近を触れてしまうと、スライドバーSBの上下のドラッグ操作ではなく、地図Pの移動操作として認識される場合がある。その結果、ユーザの意図する地図Pの拡大・縮小操作に反して、地図Pの移動操作となってしまうなどの誤操作が発生する場合がある。このような誤操作を防ぐために、地図アプリケーション上にモードを変更するボタンを設け、地図Pの移動モードと、マーカーMKの移動モード、スライドバーSBの操作モードとを切り替えるという方式が提案されている。しかしながら、この方式は、操作が複雑になりユーザの混乱を招く可能性がある。同一のUI上に複数の操作可能なオブジェクトが混在することは一般的であるが、より簡単で直感的な操作で誤操作の低減を行うことのできるUIを提供することが課題となっている。
 なお、本願に関連する技術が特許文献1に記載されている。
特開2008-128544号公報
 この発明は、上述の課題を解決することのできる表示装置および表示方法ならびにそのプログラム、端末装置を提供することを目的としている。
 上記目的を達成するために、本発明による表示装置は、表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体との接近状態を検出する接近状態検出部と、前記接近状態に応じて、前記表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する制御UI決定部とを備えている。
 また、本発明は、表示装置の表示方法であって、表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体との接近状態を検出し、前記接近状態に応じて、前記表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する表示方法である。
 また、本発明は、表示装置のコンピュータを、表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体との接近状態を検出する接近状態検出部、前記接近状態に応じて、前記表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する制御UI決定部、として機能させるプログラムである。
 また、本発明は、表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体との接近状態を検出する接近状態検出部と、前記接近状態に応じて、前記表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する制御UI決定部と、を備える端末装置である。
 本発明によれば、汎用アプリケーションのUIに複数の層を持たせ、指またはスタイラス等のタッチパネルの操作用具(以下、操作用具とよぶ)のタッチパネルデバイスからの距離に合わせて3D立体LCD11に表示する操作可能なUI画面の層を切り替える事で、下層のUI画面はタッチパネルデバイス自体を触れた場合に操作可能となる。更に上層のUI画面はタッチパネルデバイスに指または操作用具を接触させずにタッチパネルデバイスの上の空間で指または操作用具を操作するので、ユーザに直感的な操作を実現する事が可能である。
 また、本発明によれば、表示されるアイコンなどのオブジェクトを、別の層に切り分けることで、ユーザのオブジェクトの選択間違え等の誤操作を低減することができる。
本発明の一実施形態の表示装置の構成を示すブロック図である。 本発明の一実施形態の表示装置が表示するユーザインタフェース画面の例を示す図である。 本発明の一実施形態の表示装置の処理を示すフローチャートである。 従来の表示装置が表示するユーザインタフェース画面の例を示す図である。
 以下、本発明の一実施形態による表示装置について図面を参照して説明する。
 図1は同実施形態による表示装置の構成を示すブロック図である。
 この図において、符号1は表示装置である。前記表示装置1は、3D立体LCD(Liquid Crystal Display)11、タッチパネルデバイス(静電容量検出部)12、操作指示受付部13、接近状態検出部14、制御UI決定部15、操作制御部16、表示処理部17の各機能部や処理部を備えている。
 3D立体LCD11は、表示部から出力された複数のインタフェース画面を層状に表示する機能部である。
 また、タッチパネルデバイス12は、ユーザの指または操作用具等による操作指示を検出する機能部である。このタッチパネルデバイス12は、ユーザが指または操作用具を接近させることによって、ディスプレイ上にマトリックス上に多数配置した点電極の何れかにおいて静電容量を検出し、その静電容量を検出した点電極の位置に、ユーザの指または操作用具が接近していることを検出するものである。
 なお、3D立体LCD11とタッチパネルデバイス12は、層状に重なり合って構成されている(図2参照)。これにより表示画面が構成されている。また、3D立体LCD11が表示するUI画面上において、ユーザは所望の位置に、指または操作用具でタッチ、ドラッグ、リリースの操作を行なう。この際、タッチパネルデバイス12が静電容量を検出することで操作指示が入力される。
 また、操作指示受付部13は、タッチパネルデバイス12から入力した信号に基づいて、操作指示の情報を生成して出力する。
 また接近状態検出部14は、タッチパネルデバイス12から出力されたディスプレイ内のいずれかの点電極の静電容量に基づいて、ユーザの指または操作用具の接近状態を検出する。
 また、制御UI決定部15は、接近状態検出部が検出した接近状態に基づいて、3D立体LCD11に表示される複数のユーザインタフェース画面のうちの、いずれを制御するかを決定する。
 また、操作制御部16は、操作指示受付部13から入力された操作指示情報に基づいて、制御UI決定部15で決定されたユーザインタフェース画面の制御を行う。
 また、表示処理部17は、操作制御部16の制御に基づいて、3D立体LCD11に表示するユーザインタフェース画面を表示する処理部である。
 本実施形態による表示装置1は、3D立体LCD11内に構成された静電容量検出部によって検出された静電容量に基づいて、3D立体LCD11と前記3D立体LCD11上の指または操作用具との接近状態を検出する。更に、表示装置1は、前記3D立体LCD11上の指または操作用具との接近状態に応じて、3D立体LCD11が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する。そして、表示装置1は、ユーザがユーザインタフェース画面に対して行なった操作指示に基づいて、その操作指示に対応する操作制御を、制御されることが決定されたユーザインタフェース画面に対して行う。
 このような処理により、より簡単で直感的な操作で誤操作の低減を行うことのできる表示装置を提供する。
 以下、表示装置の処理フローについて順を追って説明する。
 本実施形態において、表示装置1は、タッチパネルデバイス12における指または操作用具との接触/非接触を検出して、操作指示を検出する機能の代わりに、静電容量の検出に基づいて、その変化量から接触/接近/非接近を検出する機能を設け、検出された接触/接近/非接近の結果に基づいて、それによる操作指示を検出する。
 なお、本実施形態における表示装置1において、タッチパネルデバイス12上の空間(空中)で指または操作用具を動かすという操作はユーザにとって簡単でなければならない。ここで、タッチパネルデバイス12の鉛直方向をZ軸(図2参照)とすると、ユーザの指または操作用具のタッチパネルデバイス12からのZ軸方向の距離に応じて、タッチパネルデバイス12の点電極の静電容量が変化する。より具体的には、Z軸方向の距離が近いほど静電容量が大きく変化し、Z軸方向の距離が離れるにつれて検出される静電容量の変化は小さくなる。この静電容量の変化によって、指または操作用具のZ軸方向の位置を分類した場合には、ユーザインタフェース画面に表示されるアイコンなどのオブジェクトの操作時に、ユーザが、複数のユーザインタフェース画面のうちの適切な画面に対応するように、細かく距離を調節して操作するようにしてもよい。
 しかしながら、指または操作用具のZ軸上の距離が適切となるよう細かく距離を調節する必要が出てしまい、操作性が落ちることが考えられる。
 従って、本実施形態においては、静電容量によって指または操作用具のZ軸上の距離を検出する機能とは別に、ユーザインタフェース画面を複数の層状に構成し、指または操作用具のZ軸上の距離に応じて操作可能なUIレイヤーを切り替えるという機能を有する。本実施形態においては、指または操作用具の接触状態、接近状態(タッチパネルと指または操作用具が非接触かつ一定距離以内)、非接近状態の3つの状態に分類して認識するようにし、その状態と連動するUIレイヤーの数を少なくする事で、ユーザの指または操作用具のZ軸の認識誤りによる誤操作を低減することが可能である。
 なお、本実施形態においてはタッチパネルと指または操作用具との静電容量の変化の大きさによって、接触状態、接近状態、非接近状態の3つに分類しているが、それよりも多い数で分類するようにしてもよい。しかしながら、上述したように、細かく分類した場合、ユーザの操作性が悪くなる。
 図2は表示装置が表示するユーザインタフェース画面の例を示す図である。
 この図で示すように、ユーザインタフェース画面(以下、UI画面と呼ぶ)は、層状に複数表示される。図2においては、下層(タッチパネル:UI-1)と上層(UI-2)の2つのUI画面が層状に表示された場合の例を示している。ここで、下層のUI-1画面は地図Pを表示する画面である。また上層のUI-2画面は地図Pを拡大・縮小するためのスライドバーSBと、ユーザが地図P上に設定したマーカーMKの2つのアイコンが表示する画面である。なお、スライドバーSBは一方が+、他方が-を示す棒状のアイコンである。スライドバーSBは、スライドバーSB内の縮尺調整つまみを+側または-側にスライドさせる操作を行うことにより、地図Pの縮尺を拡大または縮小させることができる。また、マーカーMKは、ユーザが地図P上にマーキングのために表示させるアイコンである。
 表示装置1の表示処理部17は、この図で示すように、複数のUI画面を層状に重ねて表示する処理を行う。
 図3は表示装置の処理フローを示す図である。
 次に、本実施形態による表示装置の処理フローについて順を追って説明する。
 まず、ユーザが指または操作用具を用いて表示装置1に表示されているUI画面を操作する。このときタッチパネルデバイス12は、静電容量を検出した座標情報(x,y)とその座標の位置の点電極における静電容量の変化量zを検出し(ステップS101)、その結果を接近状態検出部14へ出力する。すると接近状態検出部14は、タッチパネルデバイス12から入力された静電容量の変化量zに基づいて、タッチパネルデバイス12とユーザの指または操作用具との距離が遠く離れている状態(非接近)か、または、ユーザの指または操作用具が接近した状態(接近)か、またはユーザの指または操作用具が接触した状態(接触)か、のいずれであるかの接近状態判定を行う(ステップS102)。
 本実施形態においては、接近状態検出部14は、入力した静電容量の変化量zに基づいて接近状態を判定するために2段階の閾値(z1,z2)を記憶している。そして、接近状態の判定において、接近状態検出部14は、静電容量の変化量zの最大値をz_maxとする。入力された静電容量の変化量zが、0≦z<z1であるときは非接近と判定する。入力された静電容量の変化量zが、z1≦z<z2であるときは接近と判定する。入力された静電容量の変化量zが、z2≦z≦z_maxであるときは接触と判定する。そして、接近状態検出部14は、判定結果である接近状態の情報(非接近、接近、接触の何れかの状態を示す情報)を、制御UI決定部15へ出力する。なお、接近状態検出部14は、接近状態が非接近であると判定された場合には、非接近状態の情報を出力しない。
 次に制御UI決定部15は、接近状態検出部14より接近状態情報が入力されると、入力された接近状態を接近状態情報から特定する。本実施形態においては、接近状態とは、接近か接触の何れかの状態に対応している。そして、制御UI決定部15は、接近状態を接触であると判定した場合には、層状に重なる複数のUI画面のうちの下層のUI-1画面を制御すると決定し(ステップS103)、また接近状態を接近であると判定した場合には上層のUI-2画面を制御すると決定する(ステップS104)。そして、制御UI決定部15は、制御対象と決定したUI画面の情報(上層、または下層を示す情報)を操作制御部16へ出力する。
 他方、操作指示受付部13は、タッチパネルデバイス12から静電容量の変換した座標情報(x,y)と、その静電容量の変化量zが入力される。そして、それらの情報を格納した操作指示情報を生成し(ステップS105)、操作制御部16へ出力する。
 次に、操作制御部16は、操作対象となるUI画面と、制御指示情報とに基づいて、その操作対象のUI画面を制御する(ステップS106)。例えば、操作対象となるUI画面が、図2で示す上層のUI-2画面であり、マーカーMKと同一の座標において静電容量が変化した場合には、そのマーカーMKが、例えば選択指定されたものと判定し、表示処理部17にマーカーMKの選択を示す操作制情報を出力する。すると、表示処理部17は、マーカーMKの選択の制御を、例えばマーカーMKの輝度を暗く表示制御することにより行う。これにより、3D立体LCD11に表示されているUI-2画面(上層)において、マーカーMKが選択された表示がなされる。
 そして、操作制御部16は、静電容量が変化した座標や、その変化量などに基づいて、順次、表示処理部17に操作制御情報を出力し、表示処理部17が操作制御情報に基づいてUI画面の表示処理を行い、これにより、3D立体LCD11において表示が変化する。マーカーMKの選択以外にも、例えばマーカーMKの位置の変更(タッチ+ドラッグ+リリース)や、スライドバーSB内の縮尺調整つまみの位置の変更(タッチ+ドラッグ+リリース)による地図Pの縮尺の変更などが行われる。なお、地図Pの縮尺の変更の場合、スライドバーSB内の縮尺調整つまみの位置の変更に基づいて、その変更量に応じた地図Pの縮尺の縮小・拡大の処理が行われる。
 また、接近状態が接触を示す場合には、下層のUI-1画面が選択されて、選択された下層のUI-1画面に対する操作制御が行われる。なお上記処理は電源がOFFとなるまで繰り返される。
 以上、本実施形態による表示装置1の処理について説明したが、上述の処理によれば、汎用アプリケーションのUIに複数の層を持たせ、指または操作用具とUIとの距離に合わせて3D立体LCD11に表示する操作可能なUI画面の層を切り替えてもよい。これによって、下層のUI画面はタッチパネルデバイス自体を触れた場合に操作可能となり、上層のUI画面はタチパネルデバイスに指または操作用具を接触させずにタッチパネルデバイスの上の空間で指または操作用具を操作することができる。そして、ユーザに直感的な操作を実現する事が可能である。
 また、上述の例によれば、UI画面を複数の層に分けて処理するので、従来の仕組みでは全て同一のレイヤー上に配置されていたオブジェクトを、別の層に切り分けることで、ユーザのオブジェクトの選択間違え等の誤操作を低減することができる。
 なお、上記表示装置は、PDAや携帯電話などの端末装置の内部に備えるようにしてもよい。
 上述の表示装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが配信されたプログラムを実行するようにしても良い。
 また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
 さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
 本願は、2010年9月22日に、日本に出願された特願2010-211806号に基づき優先権を主張し、その内容をここに援用する。
 簡単で直感的な操作で誤操作の低減を行うことのできる表示装置を提供することができる。
 1  表示装置
 11  3D立体LCD
 12  タッチパネルデバイス
 13  操作指示受付部
 14  接近状態検出部
 15  制御UI決定部
 16  操作制御部
 17  表示処理部

Claims (7)

  1.  表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体との接近状態を検出する接近状態検出部と、
     前記接近状態に応じて、前記表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する制御UI決定部と、
     を備える表示装置。
  2.  前記接近状態検出部は、前記静電容量の変化量に基づいて、接触、接近、非接近の何れかの状態であるかを検出する請求項1に記載の表示装置。
  3.  前記制御UI決定部は、前記層状に表示する2つのユーザインタフェース画面のうち、前記接近状態が接触である場合には下層のユーザインタフェース画面を制御すると決定し、前記接近状態が接近である場合には上層のユーザインタフェース画面を制御すると決定する請求項2に記載の表示装置。
  4.  ユーザインタフェース画面に対する操作指示を受け付ける操作指示受付部と、を備え、
     前記操作指示で受け付けた操作指示に対応する操作制御を前記制御すると決定したユーザインタフェース画面に対して行う操作制御部と、
     を備える請求項1から請求項3の何れか一項に記載の表示装置。
  5.  表示装置の表示方法であって、
     表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体との接近状態を検出し、
     前記接近状態に応じて、前記表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する特徴とする表示方法。
  6.  表示装置のコンピュータを、
     表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体との接近状態を検出する接近状態検出部、
     前記接近状態に応じて、前記表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する制御UI決定部、
     として機能させるプログラム。
  7.  表示画面上に構成された静電容量検出部によって検出された静電容量に基づいて、前記表示画面と前記表示画面上の物体との接近状態を検出する接近状態検出部と、
     前記接近状態に応じて、前記表示画面が層状に表示する複数のユーザインタフェース画面のうちの何れを制御するかを決定する制御UI決定部と、
     を備える端末装置。
PCT/JP2011/070584 2010-09-22 2011-09-09 表示装置および表示方法ならびにそのプログラム、端末装置 Ceased WO2012039301A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/824,487 US20130181945A1 (en) 2010-09-22 2011-09-09 Display device, display method, program for the device and the method, and terminal device
JP2012534995A JP5861638B2 (ja) 2010-09-22 2011-09-09 表示装置および表示方法ならびにそのプログラム、端末装置
EP11826747.5A EP2620856A4 (en) 2010-09-22 2011-09-09 Display device, display method, program for the device and the method, and terminal device
CN201180044553.1A CN103109258B (zh) 2010-09-22 2011-09-09 信息显示装置、显示方法、终端装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010211806 2010-09-22
JP2010-211806 2010-09-22

Publications (1)

Publication Number Publication Date
WO2012039301A1 true WO2012039301A1 (ja) 2012-03-29

Family

ID=45873790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070584 Ceased WO2012039301A1 (ja) 2010-09-22 2011-09-09 表示装置および表示方法ならびにそのプログラム、端末装置

Country Status (5)

Country Link
US (1) US20130181945A1 (ja)
EP (1) EP2620856A4 (ja)
JP (2) JP5861638B2 (ja)
CN (1) CN103109258B (ja)
WO (1) WO2012039301A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055720A (ja) * 2017-12-20 2018-04-05 富士ゼロックス株式会社 表示制御装置及びプログラム
WO2018159414A1 (ja) * 2017-03-01 2018-09-07 富士通株式会社 端末装置及び操作制御プログラム
WO2019163503A1 (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム
JP2019144954A (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム
JP2019145068A (ja) * 2018-10-04 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI563818B (en) * 2013-05-24 2016-12-21 Univ Central Taiwan Sci & Tech Three dimension contactless controllable glasses-like cell phone
WO2015126098A1 (en) * 2014-02-24 2015-08-27 Samsung Electronics Co., Ltd. Method and apparatus for displaying content using proximity information
CN111666029B (zh) * 2020-05-28 2024-09-20 阿波罗智联(北京)科技有限公司 车机地图的操作方法、装置、设备和可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331245A (ja) * 2000-05-22 2001-11-30 Namco Ltd 立体視映像表示装置、及び情報記憶媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004071233A (ja) * 2002-08-02 2004-03-04 Fujikura Ltd 入力装置
JP2005196530A (ja) * 2004-01-08 2005-07-21 Alpine Electronics Inc 空間入力装置及び空間入力方法
KR20070024737A (ko) * 2004-07-01 2007-03-02 노키아 코포레이션 이동 장치 애플리케이션 개인화에 콘텍스트 온톨로지를활용하는 방법, 장치 및 컴퓨터 프로그램 생성물
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7568035B2 (en) * 2005-08-30 2009-07-28 Microsoft Corporation Command binding determination and implementation
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置
KR101481557B1 (ko) * 2008-03-26 2015-01-13 엘지전자 주식회사 단말기 및 그 제어 방법
US9030418B2 (en) * 2008-06-24 2015-05-12 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
US10983665B2 (en) * 2008-08-01 2021-04-20 Samsung Electronics Co., Ltd. Electronic apparatus and method for implementing user interface
JP4793422B2 (ja) * 2008-10-10 2011-10-12 ソニー株式会社 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR20100050103A (ko) * 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
KR101480194B1 (ko) * 2008-11-05 2015-01-26 엘지전자 주식회사 이동 단말기 및 그 표시방법
DE112009002462T5 (de) * 2008-12-04 2012-05-31 Mitsubishi Electric Corporation Anzeigeeingabeeinrichtung
US8689128B2 (en) * 2009-03-16 2014-04-01 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
JP5471137B2 (ja) * 2009-08-05 2014-04-16 ソニー株式会社 表示装置、表示方法及びプログラム
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR101087479B1 (ko) * 2010-01-29 2011-11-25 주식회사 팬택 멀티 디스플레이 장치 및 그 제어 방법
JP2011253468A (ja) * 2010-06-03 2011-12-15 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331245A (ja) * 2000-05-22 2001-11-30 Namco Ltd 立体視映像表示装置、及び情報記憶媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159414A1 (ja) * 2017-03-01 2018-09-07 富士通株式会社 端末装置及び操作制御プログラム
JP2018147047A (ja) * 2017-03-01 2018-09-20 富士通株式会社 端末装置及び操作制御プログラム
JP2018055720A (ja) * 2017-12-20 2018-04-05 富士ゼロックス株式会社 表示制御装置及びプログラム
WO2019163503A1 (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム
JP2019144954A (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム
US11354030B2 (en) 2018-02-22 2022-06-07 Kyocera Corporation Electronic device, control method, and program
JP2019145068A (ja) * 2018-10-04 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム

Also Published As

Publication number Publication date
JP6123879B2 (ja) 2017-05-10
JPWO2012039301A1 (ja) 2014-02-03
US20130181945A1 (en) 2013-07-18
CN103109258A (zh) 2013-05-15
JP2016040744A (ja) 2016-03-24
JP5861638B2 (ja) 2016-02-16
EP2620856A4 (en) 2017-01-04
CN103109258B (zh) 2017-05-24
EP2620856A1 (en) 2013-07-31

Similar Documents

Publication Publication Date Title
JP6123879B2 (ja) 表示装置および表示方法ならびにそのプログラム、端末装置
US7825797B2 (en) Proximity sensor device and method with adjustment selection tabs
CN104035671B (zh) 页操作方法及其电子装置
JP4743267B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5402322B2 (ja) 情報処理装置および情報処理方法
EP2487579A1 (en) Method and apparatus for providing graphic user interface in mobile terminal
KR101929316B1 (ko) 터치스크린을 구비한 단말기에서 키패드 표시 방법 및 장치
US10019154B2 (en) Method, apparatus and computer program product for operating items with multiple fingers
KR20110047595A (ko) 모바일 기기 및 이에 적용되는 ui 제공방법
JP2010244132A (ja) タッチパネル付きユーザインタフェース装置、ユーザインタフェース制御方法およびユーザインタフェース制御プログラム
JP2012137837A (ja) タッチ入力処理装置、情報処理装置およびタッチ入力制御方法
CN104520798A (zh) 便携电子设备及其控制方法和程序
CA2826933A1 (en) Method and apparatus for providing graphic user interface in mobile terminal
CN102566809A (zh) 移动对象的方法及应用该方法的电子装置
US20150002433A1 (en) Method and apparatus for performing a zooming action
CN102141883B (zh) 信息处理装置、信息处理方法和程序
US20110090165A1 (en) Interface method and display device
US20170075453A1 (en) Terminal and terminal control method
KR20140083300A (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
US20140085340A1 (en) Method and electronic device for manipulating scale or rotation of graphic on display
JP5769234B2 (ja) 表示装置、表示方法およびプログラム
JP5908326B2 (ja) 表示装置および表示プログラム
KR101678570B1 (ko) 터치 스크린을 탑재한 디바이스의 동작 제어 방법 및 그 장치
WO2014010543A1 (ja) 情報処理装置、入力受付方法及びプログラム
WO2014041595A1 (ja) 表示装置、表示方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180044553.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11826747

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13824487

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2012534995

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011826747

Country of ref document: EP