[go: up one dir, main page]

WO2014034369A1 - 表示制御装置、シンクライアントシステム、表示制御方法および記録媒体 - Google Patents

表示制御装置、シンクライアントシステム、表示制御方法および記録媒体 Download PDF

Info

Publication number
WO2014034369A1
WO2014034369A1 PCT/JP2013/070889 JP2013070889W WO2014034369A1 WO 2014034369 A1 WO2014034369 A1 WO 2014034369A1 JP 2013070889 W JP2013070889 W JP 2013070889W WO 2014034369 A1 WO2014034369 A1 WO 2014034369A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
icon
display
touch panel
operation button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/070889
Other languages
English (en)
French (fr)
Inventor
康樹 門松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC System Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC System Technologies Ltd filed Critical NEC System Technologies Ltd
Priority to EP13833187.1A priority Critical patent/EP2891967A4/en
Priority to CA2882955A priority patent/CA2882955A1/en
Priority to CN201380053292.9A priority patent/CN104704464A/zh
Priority to KR1020157005236A priority patent/KR101686495B1/ko
Priority to US14/422,863 priority patent/US20150248196A1/en
Publication of WO2014034369A1 publication Critical patent/WO2014034369A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally

Definitions

  • the present invention relates to a display control device including a touch panel, a thin client system, a display control method, and a recording medium.
  • Windows registered trademark
  • OS Operating System
  • Window operation buttons such as the minimize button, maximize button, and close button of the window are often located at the corners of the window such as the upper right corner and the upper left corner. These window operation buttons are buttons that are relatively frequently used by the user.
  • JP 2002-259001 A JP 2008-166927 A JP 2008-234687 A JP 2012-083831 A
  • the window operation button when displaying the window operation button on the screen of the touch panel display, the user operates by directly touching with a finger or pointing with a cursor.
  • the window operation button since the window operation button is generally located at the corner of the window, when the window is maximized, it is displayed at the corner of the touch panel display. For this reason, there is a problem that it is difficult for the user to operate although the buttons are frequently used.
  • the touch panel display is small, the window operation button display is also small, and there is a problem that it is difficult for the user to operate.
  • Patent Documents 1 to 4 do not make it easy to operate the window operation buttons displayed on the screen of the touch panel display.
  • the present invention has been made in view of the above circumstances, and provides a display control device, a thin client system, a display control method, and a recording medium that make it easy to operate window operation buttons displayed on the screen of a touch panel display. Objective.
  • a display control device including a touch panel display, Screen display means for displaying an image including a window operation button for operating a window on the screen of the touch panel display; Operation recognition means for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; Icon display means for simulating the window operation button by magnifying the window operation button, superimposed on the image, and displayed on the screen of the touch panel display; Correspondence information storage means for storing correspondence information indicating a correspondence between the icon and the window operation button; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satisfies a predetermined condition, a window operation corresponding to the icon is performed. Event issuing means for identifying a button with reference to the correspondence information, and generating event information indicating that the identified window operation button has been operated; It is
  • a thin client system provides: A thin client system in which a server and a display control device including a touch panel display are connected via a network,
  • the server Screen transmission means for transmitting screen information indicating an image including a window operation button for operating a window to the display control device;
  • the display control device includes: Image receiving means for receiving the screen information from the server; Screen display means for displaying an image including the window operation button on the screen of the touch panel display based on the screen information; Operation recognition means for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; Icon display means for simulating the window operation button by magnifying the window operation button, superimposed on the image, and displayed on the screen of the touch panel display; Correspondence information storage means for storing correspondence information indicating a correspondence between the icon and the window operation button; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of
  • Event issuing means for identifying a button with reference to the correspondence information, and generating event information indicating that the identified window operation button has been operated;
  • Event transmitting means for transmitting the event information generated by the event issuing means to the server;
  • the server Processing information storage means for storing processing information indicating correspondence between an event indicated by the event information and processing;
  • Event receiving means for receiving the event information from the display control device;
  • Execution means for referring to the processing information and executing processing associated with the event indicated by the received event information; It is characterized by providing.
  • a display control method includes: A screen display step for displaying an image including a window operation button for operating the window on the screen of the touch panel display; An operation recognition step for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; An icon display step for displaying an icon for simulating an enlarged window operation button on the screen of the touch panel display superimposed on the image; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satisfies a predetermined condition, a window operation corresponding to the icon is performed. An event issuing step for identifying a button with reference to stored correspondence information indicating correspondence between an icon and a window operation button, and generating event information indicating that the identified window operation button has been operated; It is characterized by providing.
  • a display control method includes: A display control method for a thin client system in which a server and a display control device including a touch panel display are connected via a network, The server executes, A screen transmission step of transmitting screen information indicating an image including a window operation button for operating a window to the display control device; Executed by the display control device; An image receiving step of receiving the screen information from the server; A screen display step for displaying an image including the window operation button on a screen of a touch panel display based on the screen information; An operation recognition step for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; An icon display step for displaying an icon for simulating an enlarged window operation button on the screen of the touch panel display superimposed on the image; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satisfies
  • An event issuing step for identifying a button with reference to stored correspondence information indicating correspondence between an icon and a window operation button, and generating event information indicating that the identified window operation button has been operated;
  • An event transmission step of transmitting the event information generated in the event issuing step to the server;
  • the server executes, An event receiving step for receiving the event information from the display control device;
  • the recording medium is: A computer with a touch panel display, Screen display means for displaying an image including a window operation button for operating a window on the screen of the touch panel display; Operation recognition means for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; Icon display means for displaying on the screen of the touch panel display superimposed on the image, an icon for simulating the window operation button, Correspondence information storage means for storing correspondence information indicating correspondence between the icon and the window operation button; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satisfies a predetermined condition, a window operation corresponding to the icon is performed. Event issuing means for identifying a button with reference to the correspondence information and generating event information indicating that the identified window operation button has been operated; It is a computer-readable recording medium which recorded the program made
  • the window operation buttons displayed on the screen of the touch panel display are easy to operate.
  • FIG. 3 is a block diagram illustrating a configuration example of a display control apparatus according to Embodiment 1.
  • FIG. FIG. 6 is a diagram for explaining an operation input in the display control apparatus according to the first embodiment.
  • 3 is a flowchart illustrating an example of an operation of the display control apparatus according to the first embodiment. It is a flowchart which shows an example of operation
  • the display control application according to the present invention is called a smart window manager.
  • FIG. 1 is a diagram for explaining display of icons of the smart window manager according to the first embodiment of the present invention.
  • the display control apparatus 1 according to the first embodiment includes a touch panel display D and displays a window including a window operation button B.
  • the window operation button B includes a window minimize button B1, a maximize button B2, and a close button B3.
  • the smart window manager is started up in a state where the window including the window operation button B is displayed. Then, the display control apparatus 1 displays the smart window manager icon I in a predetermined position on the touch panel display D so as to be superimposed on the image displayed on the screen. In the case of a multi-window, the display control device 1 displays the smart window manager icon I on an active window (displayed in the foreground).
  • the smart window manager icon I is displayed semi-transparently. “Translucent display” refers to calculating and displaying pixels so that a superimposed image can be seen through.
  • the icon I is an enlarged icon of the window operation button B, and simulates the window operation button B.
  • the icon I includes an icon I1 corresponding to the minimize button B1, an icon I2 corresponding to the maximize button B2, and an icon I3 corresponding to the close button B3.
  • the icon I is positioned near the outer frame like the window operation button B, but is easy to push because of its large size.
  • the display control device 1 When the icon I is tapped, the display control device 1 inputs the same operation as when the corresponding window operation button B is tapped. Therefore, the user can input the same operation by tapping the icon I corresponding to the window operation button B to be operated.
  • the tap means that the user contacts the target display area so as to satisfy a predetermined condition, and details will be described later.
  • the smart window manager icon I is not limited to the window minimize button B1, the maximize button B2, and the close button B3.
  • other icons associated with the window operation button B such as a browser enlargement level change button, a return button, and a forward button may be used.
  • the icon which switches an active window for example, selecting in order from the front, or selecting in reverse order may be used.
  • FIG. 2 is a block diagram illustrating a configuration example of the display control device 1 according to the first embodiment.
  • the display control device 1 includes a display unit 11, an input unit 12, an operation recognition unit 13, a storage unit 14, and a display control unit 15.
  • the display unit 11 is composed of a liquid crystal panel or the like, and displays a screen instructed to the display control unit 15.
  • the input unit 12 is configured by a position input device such as a touch pad installed on the surface of the liquid crystal panel constituting the display unit 11 to detect contact.
  • the input unit 12 receives an input by a user's contact.
  • the display unit 11 and the input unit 12 are realized by a touch panel display D.
  • the operation recognition unit 13 acquires the position on the touch panel display D where the input unit 12 detects contact. And the operation recognition part 13 collates screen coordinate information which shows the coordinate of the screen which the memory
  • the display control unit 15 reads screen information indicating a window including the window operation button B from the storage unit 14 and causes the display unit 11 to display the screen information.
  • the display control unit 15 reads the data of the smart window manager icon I from the storage unit 14 and displays the data at a predetermined position on the screen of the display unit 11. Since the icon I is displayed translucently, the back image can be seen through the icon I. Thereby, even if the icon I is displayed, it is difficult to disturb the operation.
  • the user operates the window operation button B by tapping the smart window manager icon I on the touch panel display D.
  • the display control unit 15 determines whether the user has tapped the smart window manager icon I based on the contact coordinates and the continuous contact time received from the operation recognition unit 13.
  • whether or not the icon I has been tapped is determined when the contact coordinates at the start of the contact are within the display area of the icon I and the continuous contact time is not less than the threshold value ⁇ and not more than the threshold value ⁇ . , It is determined that it has been tapped.
  • the threshold value ⁇ it is possible to prevent a touch having a short continuous contact time such as when the user touches unconsciously from being determined as a tap.
  • the threshold value ⁇ when the user touches the wrong icon I, the operation can be canceled by keeping touching for a long time.
  • the operation may be canceled by moving the touched position. Furthermore, when the contact coordinates at the start of the contact are within the range of the display area of the icon I and the continuous contact time is 0 or more, it may be determined that all have been tapped.
  • the display control unit 15 When it is determined that the user has tapped the icon I, the display control unit 15 refers to correspondence information indicating the correspondence between the icon I and the window operation button B stored in the storage unit 14. Then, the display control unit 15 specifies the window operation button B corresponding to the tapped icon I. The display control unit 15 generates event information indicating that the specified window operation button B is operated, and issues an event.
  • the display control unit 15 refers to the processing information indicating the correspondence between the event stored in the storage unit 14 and the process, and executes the process associated with the issued event. Note that the processing corresponding to the issued event with reference to the processing information may be executed not by the display control unit 15 but by another functional unit included in the display control device 1.
  • FIG. 3 is a diagram for explaining an operation input in the display control device 1 according to the first embodiment.
  • the window operation button B includes a window minimize button B1, a maximize button B2, and a close button B3.
  • the icon I simulating the window operation button B includes an icon I1 corresponding to the minimize button B1, an icon I2 corresponding to the maximize button B2, and an icon I3 corresponding to the close button B3.
  • the close button B3 is displayed in the upper right corner of the screen.
  • the user activates the smart window manager and displays the icon I.
  • the user inputs the same operation as tapping the close button B3 by tapping the icon I3.
  • the icon I3 is an enlarged version of the close button B3 and is larger than the close button B3. Therefore, the user can easily tap even at a position close to the outer frame.
  • FIG. 4 is a flowchart showing an example of the operation of the display control apparatus 1 according to the first embodiment.
  • the process shown in the flowchart of FIG. 4 starts when the user activates the smart window manager.
  • the display control unit 15 reads the data of the smart window manager icon I from the storage unit 14. Then, the display control unit 15 causes the icon I to be displayed at a predetermined position so as to be superimposed on the image displayed on the screen of the display unit 11 (step S11).
  • step S12 When the input unit 12 detects contact (step S12; YES), the operation recognition unit 13 acquires the position on the touch panel display D where the input unit 12 has detected contact, and collates with screen coordinate information stored in the storage unit 14. Then, the contact coordinates and the continuous contact time are recognized (step S13). The operation recognition unit 13 sends the contact coordinates and the continuous contact time to the display control unit 15. If the input unit 12 does not detect contact (step S12; NO), step S12 is repeated.
  • the display control unit 15 determines whether or not the smart window manager icon I has been tapped based on the contact coordinates and the continuous contact time received from the operation recognition unit 13 (step S14). When the icon I is tapped (step S14; YES), the display control unit 15 compares the correspondence information stored in the storage unit 14 and specifies the window operation button B corresponding to the tapped icon I. (Step S15).
  • the display control unit 15 generates event information indicating that the specified window operation button B has been operated, issues an event (step S16), and proceeds to step S17.
  • the display control unit 15 refers to the processing information and executes a process associated with the issued event.
  • step S14; NO when the icon I is not tapped (step S14; NO), while the input unit 12 is detecting contact (step S17; NO), steps S13 to S17 are repeated.
  • step S17; YES it is determined whether or not the smart window manager is turned off (step S18). If the smart window manager is not OFF (step S18; NO), steps S12 to S18 are repeated.
  • step S18; YES the process is terminated.
  • the icon I that simulates the window operation button B displayed on the screen of the touch panel display D is an enlarged icon of the window operation button B. Therefore, the user can easily operate the window operation button B by operating the large icon I.
  • the display control device 1 according to the second embodiment has the same configuration as the display control device 1 according to the first embodiment.
  • the icon I of the smart window manager can be freely moved by dragging.
  • FIG. 5 is a flowchart showing an example of the operation of the display control device 1 according to Embodiment 2 of the present invention.
  • the process shown in the flowchart of FIG. 5 starts when the user activates the smart window manager.
  • the display control unit 15 reads the data of the smart window manager icon I from the storage unit 14. Then, the display control unit 15 causes the icon I to be displayed at a predetermined position so as to be superimposed on the image displayed on the screen of the display unit 11 (step S21).
  • step S22 When the input unit 12 detects contact (step S22; YES), the operation recognition unit 13 acquires the position on the touch panel display D where the input unit 12 has detected contact, and collates with screen coordinate information stored in the storage unit 14. Then, the contact coordinates and the continuous contact time are recognized (step S23). The operation recognition unit 13 sends the contact coordinates and the continuous contact time to the display control unit 15. If the input unit 12 does not detect contact (step S22; NO), step S22 is repeated.
  • the display control unit 15 determines whether or not the contact coordinates received from the operation recognition unit 13 are included in the display area of the icon I of the smart window manager (step S24). If the icon I is not included in the display area (step S24; NO), the process proceeds to step S30.
  • the display control unit 15 determines whether or not it has been tapped from the continuous contact time received from the operation recognition unit 13 (step S25). When tapped (step S25; YES), the display control unit 15 compares the corresponding information stored in the storage unit 14 and specifies the window operation button B corresponding to the tapped icon I (step S26). ). The display control unit 15 determines that the tap has been made when the contact coordinates at the start of the contact are within the range of the display area of the icon I and the displacement from the contact coordinates at the start of the contact is equal to or less than the threshold ⁇ .
  • the display control unit 15 generates event information indicating that the specified window operation button B has been operated, issues an event (step S27), and proceeds to step S30.
  • the display control unit 15 refers to the processing information and executes a process associated with the issued event.
  • step S25 the display control unit 15 determines whether or not it is dragged from the continuous contact time received from the operation recognition unit 13 (step S28).
  • step S28 the display control unit 15 moves the icon I to the changed position of the contact coordinates (step S29), and proceeds to step S30.
  • the display control unit 15 determines that the drag has occurred when the contact coordinates at the start of contact are within the range of the display area of the icon I and the displacement from the contact coordinates at the start of contact is greater than the threshold value ⁇ .
  • step S28; NO If not dragged (step S28; NO), while the input unit 12 detects contact (step S30; NO), steps S23 to S30 are repeated. When the input unit 12 no longer detects contact (step S30; YES), it is determined whether or not the smart window manager is turned off (step S31). If the smart window manager is not OFF (step S31; NO), steps S22 to S31 are repeated. When the smart window manager is turned off (step S31; YES), the process is terminated.
  • the icon I that simulates the window operation button B displayed on the screen of the touch panel display D is an enlarged icon of the window operation button B, and is arranged at an arbitrary position. be able to. Therefore, the user can easily operate the window operation button B by operating the large icon I at an arbitrary position.
  • the present invention is not limited to this, and the threshold for determining that the tapping has been performed may be different from the threshold for determining that the tapping has been performed. Further, when the contact coordinates at the start of the contact are within the range of the display area of the icon I, it may be determined that all have been tapped. Further, if the contact coordinates change while the contact coordinates at the start of the contact are within the range of the display area of the icon I and the contact is continuously maintained, it may be determined that all are dragged.
  • FIG. 6 is a block diagram showing a configuration example of the thin client system 100 according to Embodiment 3 of the present invention.
  • the thin client system 100 includes a display control device 1 and a server 2.
  • the display control device 1 includes a display unit 11, an input unit 12, an operation recognition unit 13, a storage unit 14, a display control unit 15, a screen reception unit 16, and an event transmission unit 17.
  • the server 2 includes an execution unit 21, a storage unit 22, a screen transmission unit 23, and an event reception unit 24.
  • the display unit 11, the input unit 12, the operation recognition unit 13, and the storage unit 14 of the display control device 1 have the same configuration as that of the first embodiment.
  • the screen reception unit 16 receives screen information indicating a window including the window operation button B from the screen transmission unit 23 of the server 2.
  • the display control unit 15 causes the display unit 11 to display a window including the window operation button B based on the screen information received by the screen reception unit 16.
  • the display control unit 15 determines whether the user has tapped the smart window manager icon I based on the contact coordinates and the continuous contact time received from the operation recognition unit 13. When it is determined that the user has tapped the icon I, the display control unit 15 refers to the correspondence information indicating the correspondence between the icon I and the window operation button B stored in the storage unit 14 and corresponds to the tapped icon I. The window operation button B to be specified is specified. The display control unit 15 generates event information indicating that the specified window operation button B is operated, and issues an event.
  • the display control unit 15 sends the generated event information to the event transmission unit 17.
  • the event transmission unit 17 transmits the event information received from the display control unit 15 to the event reception unit 24 of the server 2.
  • the execution unit 21 of the server 2 reads screen information indicating the window including the window operation button B from the storage unit 22 and sends the screen information to the image transmission unit 23 to be transmitted to the screen reception unit 16 of the display control device 1.
  • the event receiving unit 24 When the event receiving unit 24 receives event information from the event transmitting unit 17 of the display control device 1, the event receiving unit 24 sends it to the executing unit 21.
  • the execution unit 21 refers to the process information indicating the correspondence between the event stored in the storage unit 22 and the process, and executes the process corresponding to the received event information.
  • the execution unit 21 reads screen information indicating the executed processing screen from the storage unit 22, sends the screen information to the image transmission unit 23, and transmits the screen information to the screen reception unit 16 of the display control device 1.
  • the display control unit 15 displays the processing screen based on the screen information received by the screen receiving unit 16. It is displayed on the display unit 11.
  • the display control device 1 of the first embodiment can constitute the thin client system 100.
  • the display control device 1 specifies the window operation button B corresponding to the tapped icon I based on the contact coordinates and the continuous contact time.
  • the display control apparatus 1 generates event information indicating that the specified window operation button B has been operated and issues an event, but the present invention is not limited to this.
  • the display control device 1 transmits the contact coordinates and continuous contact time to the server 2, and the server 2 side specifies the window operation button B corresponding to the tapped icon I based on the contact coordinates and continuous contact time. Then, event information may be generated by generating event information indicating that the window operation button B specified on the server 2 side has been operated.
  • the thin client system 100 of the third embodiment since the processing is executed by the server 2, the load on the display control device 1 is reduced. Thereby, the cost reduction and size reduction of the display control apparatus 1 are attained.
  • the server 2 when the server 2 includes a display, the display screen of the server 2 is displayed on the touch panel display D of the display control device 1.
  • the touch panel display D of the display control device 1 is smaller than the display of the server 2, the screen is reduced and displayed.
  • the window operation button B at the corner of the window is also small, and it may be difficult to operate further. Therefore, when the present invention is applied to the thin client system, the window operation button B displayed on the screen of the touch panel display D can be operated more easily.
  • the user touches and operates the smart window manager icon I with his / her finger directly.
  • the icon I is displayed in a translucent manner, but may be an icon that does not transmit the back image.
  • FIG. 7 is a block diagram illustrating an example of a hardware configuration of the display control device 1 according to the embodiment.
  • the control unit 31 includes a CPU (Central Processing Unit) and the like.
  • the control unit 31 executes each process of the operation recognition unit 13 and the display control unit 15 according to the control program 39 stored in the external storage unit 33.
  • CPU Central Processing Unit
  • the main storage unit 32 is composed of a RAM (Random-Access Memory) or the like.
  • the main storage unit 32 loads a control program 39 stored in the external storage unit 33 and is used as a work area for the control unit 31.
  • the external storage unit 33 includes a nonvolatile memory such as a flash memory, a hard disk, a DVD-RAM (Digital Versatile Disc Random-Access Memory), and a DVD-RW (Digital Versatile Disc ReWritable).
  • the external storage unit 33 stores in advance a program for causing the control unit 31 to perform processing of the display control device 1. Further, the external storage unit 33 supplies the data stored by the program to the control unit 31 according to the instruction of the control unit 31 and stores the data supplied from the control unit 31.
  • the storage unit 14 is configured in the external storage unit 33.
  • the operation unit 34 includes an interface device that connects a position input device such as a touch pad to the internal bus 30. When the user inputs an operation, an instruction is supplied to the control unit 31 via the operation unit 34.
  • the operation unit 34 functions as the input unit 12.
  • the display unit 35 includes a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays an application screen.
  • the display unit 35 functions as the display unit 11.
  • the timer 36 periodically supplies the current time to the control unit 31 via the internal bus 30.
  • the control unit 31 recognizes the continuous contact time based on the current time supplied from the timer 36.
  • the display control device 1 in the thin client system 100 further includes a communication unit including a network termination device or a wireless communication device connected to the network, and a serial interface or a LAN (Local Area Network) interface connected to them. Prepare.
  • the communication unit is connected to the server 2 via a network.
  • the communication unit functions as the screen reception unit 16 and the event transmission unit 17.
  • the processing of the display unit 11, the input unit 12, the operation recognition unit 13, the storage unit 14, and the display control unit 15 shown in FIG. 34, the display unit 35 and the timer 36 are used as resources for processing.
  • the central part that performs control processing including the control unit 31, the main storage unit 32, the external storage unit 33, the internal bus 30 and the like can be realized by using a normal computer system, not a dedicated system.
  • a computer program for executing the above operation is stored and distributed on a computer-readable recording medium (flexible disk, CD-ROM, DVD-ROM, etc.).
  • the display control apparatus 1 which performs the said process may be comprised by installing the distributed computer program in a computer.
  • the display control device 1 may be configured by storing the computer program in a storage device included in a server device on a communication network such as the Internet and downloading the computer program from a normal computer system.
  • the functions of the display control device 1 are realized by sharing the OS and the application program, or by cooperation between the OS and the application program, only the application program portion may be stored in a recording medium or a storage device. .
  • the computer program may be posted on a bulletin board (BBS: Bulletin Board System) on a communication network, and the computer program may be distributed via the network.
  • BSS Bulletin Board System
  • the computer program may be started and executed in the same manner as other application programs under the control of the OS, so that the above-described processing may be executed.
  • a display control device including a touch panel display, Screen display means for displaying an image including a window operation button for operating a window on the screen of the touch panel display; Operation recognition means for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; Icon display means for simulating the window operation button by magnifying the window operation button, superimposed on the image, and displayed on the screen of the touch panel display; Correspondence information storage means for storing correspondence information indicating a correspondence between the icon and the window operation button; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satisfies a predetermined condition, a window operation corresponding to the icon is performed. Event issuing means for identifying a button with reference to the correspondence information, and generating event information indicating that the identified window operation button has been operated; A display control apparatus comprising:
  • Appendix 2 The display control apparatus according to appendix 1, wherein the predetermined condition is that the continuous contact time is a predetermined threshold time or more.
  • the icon display means based on the contact coordinates and the continuous contact time, the contact coordinates at the start of contact are within the range of the icon display area, and the contact coordinates are maintained in a state of keeping contact.
  • the display control apparatus according to appendix 1 or 2, wherein when the position is changed, the display position of the icon is moved to the position of the changed contact coordinates.
  • a thin client system in which a server and a display control device including a touch panel display are connected via a network,
  • the server Screen transmission means for transmitting screen information indicating an image including a window operation button for operating a window to the display control device;
  • the display control device includes: Image receiving means for receiving the screen information from the server; Screen display means for displaying an image including the window operation button on the screen of the touch panel display based on the screen information; Operation recognition means for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; Icon display means for simulating the window operation button by magnifying the window operation button, superimposed on the image, and displayed on the screen of the touch panel display; Correspondence information storage means for storing correspondence information indicating a correspondence between the icon and the window operation button; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satis
  • Event issuing means for identifying a button with reference to the correspondence information, and generating event information indicating that the identified window operation button has been operated;
  • Event transmitting means for transmitting the event information generated by the event issuing means to the server;
  • the server Processing information storage means for storing processing information indicating correspondence between an event indicated by the event information and processing;
  • Event receiving means for receiving the event information from the display control device;
  • Execution means for referring to the processing information and executing processing associated with the event indicated by the received event information;
  • a thin client system comprising:
  • An operation recognition step for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display;
  • An icon display step for displaying an icon for simulating an enlarged window operation button on the screen of the touch panel display superimposed on the image; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satisfies a predetermined condition, a window operation corresponding to the icon is performed.
  • An event issuing step for identifying a button with reference to stored correspondence information indicating correspondence between an icon and a window operation button, and generating event information indicating that the identified window operation button has been operated;
  • a display control method comprising:
  • a display control method for a thin client system in which a server and a display control device including a touch panel display are connected via a network, The server executes, A screen transmission step of transmitting screen information indicating an image including a window operation button for operating a window to the display control device; Executed by the display control device; An image receiving step of receiving the screen information from the server; A screen display step for displaying an image including the window operation button on a screen of a touch panel display based on the screen information; An operation recognition step for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; An icon display step for displaying an icon for simulating an enlarged window operation button on the screen of the touch panel display superimposed on the image; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satisfies a predetermined condition, a window operation
  • An event issuing step for identifying a button with reference to stored correspondence information indicating correspondence between an icon and a window operation button, and generating event information indicating that the identified window operation button has been operated;
  • An event transmission step of transmitting the event information generated in the event issuing step to the server;
  • the server executes, An event receiving step for receiving the event information from the display control device;
  • a display control method comprising:
  • a computer with a touch panel display Screen display means for displaying an image including a window operation button for operating a window on the screen of the touch panel display; Operation recognition means for recognizing contact coordinates indicating a position where the user touches the screen of the touch panel display and a continuous contact time when the user touches the screen of the touch panel display; Icon display means for displaying on the screen of the touch panel display superimposed on the image, an icon for simulating the window operation button, Correspondence information storage means for storing correspondence information indicating correspondence between the icon and the window operation button; Based on the contact coordinates and the continuous contact time, when the contact coordinates at the start of contact are within the display area of the icon and the continuous contact time satisfies a predetermined condition, a window operation corresponding to the icon is performed. Event issuing means for identifying a button with reference to the correspondence information and generating event information indicating that the identified window operation button has been operated; A computer-readable recording medium storing a program that functions as a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

表示制御装置、シンクライアントシステム、表示制御方法および記録媒体
 本発明は、タッチパネルを備える表示制御装置、シンクライアントシステム、表示制御方法および記録媒体に関する。
 Windows(登録商標)のOS(Operating System)は、パソコンのディスプレイの画面にウィンドウを表示する。このウィンドウの最小化ボタン、最大化ボタン、閉じるボタンなどのウィンドウ操作ボタンは、右上隅や左上隅など、ウィンドウの隅にあることが多い。また、これらのウィンドウ操作ボタンは、比較的ユーザが使用する頻度の高いボタンである。
 このウィンドウ操作ボタンに関連する技術としては、例えば、特許文献1乃至4がある。
特開2002-259001号公報 特開2008-166927号公報 特開2008-234687号公報 特開2012-083831号公報
 ところで、ウィンドウ操作ボタンをタッチパネルディスプレイの画面に表示する場合、ユーザは指で直接タッチして操作するか、カーソルでポインティングして操作する。
 しかしながら、ウィンドウ操作ボタンは一般的にウィンドウの隅にあるため、ウィンドウを最大化した場合などは、タッチパネルディスプレイの隅に表示される。
 このため、使用頻度の高いボタンであるにもかかわらず、ユーザが操作しにくいという問題があった。また、タッチパネルディスプレイが小さい場合、ウィンドウ操作ボタンの表示も小さくなり、ユーザが操作しにくいという問題があった。
 特許文献1乃至4の技術は、タッチパネルディスプレイの画面に表示されたウィンドウ操作ボタンを操作しやすくするものではない。
 本発明は、上記事情に鑑みてなされたものであり、タッチパネルディスプレイの画面に表示されたウィンドウ操作ボタンを操作しやすくする表示制御装置、シンクライアントシステム、表示制御方法および記録媒体を提供することを目的とする。
 本発明の第1の観点に係る表示制御装置は、
 タッチパネルディスプレイを備える表示制御装置であって、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段と、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
 前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段と、
 を備えることを特徴とする。
 本発明の第2の観点に係るシンクライアントシステムは、
 サーバと、タッチパネルディスプレイを備える表示制御装置と、がネットワークを介して接続されるシンクライアントシステムであって、
 前記サーバは、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を示す画面情報を前記表示制御装置に送信する画面送信手段を備え、
 前記表示制御装置は、
 前記サーバから前記画面情報を受信する画像受信手段と、
 前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段と、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
 前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段と、
 前記イベント発行手段が生成した前記イベント情報を前記サーバに送信するイベント送信手段と、
 を備え、
 前記サーバは、
 前記イベント情報が示すイベントと処理との対応を示す処理情報を記憶する処理情報記憶手段と、
 前記表示制御装置から前記イベント情報を受信するイベント受信手段と、
 前記処理情報を参照して、前記受信したイベント情報が示すイベントに対応付けられた処理を実行する実行手段と、
 を備えることを特徴とする。
 本発明の第3の観点に係る表示制御方法は、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像をタッチパネルディスプレイの画面に表示する画面表示ステップと、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識ステップと、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを、アイコンとウィンドウ操作ボタンとの対応を示す記憶された対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行ステップと、
 を備えることを特徴とする。
 本発明の第4の観点に係る表示制御方法は、
 サーバと、タッチパネルディスプレイを備える表示制御装置と、がネットワークを介して接続されるシンクライアントシステムの表示制御方法であって、
 前記サーバが実行する、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を示す画面情報を前記表示制御装置に送信する画面送信ステップと、
 前記表示制御装置が実行する、
 前記サーバから前記画面情報を受信する画像受信ステップと、
 前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像をタッチパネルディスプレイの画面に表示する画面表示ステップと、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識ステップと、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを、アイコンとウィンドウ操作ボタンとの対応を示す記憶された対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行ステップと、
 前記イベント発行ステップで生成した前記イベント情報を前記サーバに送信するイベント送信ステップと、
 前記サーバが実行する、
 前記表示制御装置から前記イベント情報を受信するイベント受信ステップと、
 前記イベント情報が示すイベントと処理との対応を示す記憶された処理情報を参照して、前記受信したイベント情報が示すイベントに対応付けられた処理を実行する実行ステップと、
 を備えることを特徴とする。
 本発明の第5の観点に係る記録媒体は、
 タッチパネルディスプレイを備えるコンピュータを、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段、
 前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段、
 として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
 本発明によれば、タッチパネルディスプレイの画面に表示されたウィンドウ操作ボタンが操作しやすくなる。
本発明の実施の形態1に係るスマートウィンドウマネージャのアイコンの表示を説明する図である。 実施の形態1に係る表示制御装置の構成例を示すブロック図である。 実施の形態1に係る表示制御装置における操作入力を説明する図である。 実施の形態1に係る表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態2に係る表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態3に係るシンクライアントシステムの構成例を示すブロック図である。 実施の形態に係る表示制御装置のハードウェア構成の一例を示すブロック図である。
 以下、この発明の実施の形態について説明する。以下の説明では、本発明に係る表示制御アプリケーションをスマートウィンドウマネージャと呼ぶ。
(実施の形態1)
 図1は、本発明の実施の形態1に係るスマートウィンドウマネージャのアイコンの表示を説明する図である。実施の形態1に係る表示制御装置1は、タッチパネルディスプレイDを備え、ウィンドウ操作ボタンBを含むウィンドウを表示する。図1の例では、ウィンドウ操作ボタンBは、ウィンドウの最小化ボタンB1、最大化ボタンB2、閉じるボタンB3を備える。
 ここで、ウィンドウ操作ボタンBを含むウィンドウが表示されている状態で、スマートウィンドウマネージャを起動したとする。すると、表示制御装置1は、タッチパネルディスプレイD上の所定の位置に、画面に表示されている画像に重畳して、スマートウィンドウマネージャのアイコンIを表示する。表示制御装置1は、マルチウィンドウの場合、スマートウィンドウマネージャのアイコンIを、アクティブな(最前面に表示されている)ウィンドウ上に表示する。
 スマートウィンドウマネージャのアイコンIは、半透明で表示される。半透明で表示するとは、重畳した画像が透過して見えるように画素を演算して表示することをいう。アイコンIは、ウィンドウ操作ボタンBを拡大したアイコンで、ウィンドウ操作ボタンBを模擬する。アイコンIは、最小化ボタンB1に対応するアイコンI1、最大化ボタンB2に対応するアイコンI2、閉じるボタンB3に対応するアイコンI3を備える。また、アイコンIは、ウィンドウ操作ボタンBと同様に外枠の近くに位置付けられるが、サイズが大きいので押しやすい。
 表示制御装置1は、アイコンIがタップされると、対応するウィンドウ操作ボタンBがタップされた場合と同じ操作を入力する。したがって、ユーザは、操作したいウィンドウ操作ボタンBに対応するアイコンIをタップすることにより、同様の操作を入力することができる。タップとは、ユーザが対象の表示領域に所定の条件を満たすように接触することであり、詳細は後述する。
 なお、スマートウィンドウマネージャのアイコンIは、ウィンドウの最小化ボタンB1、最大化ボタンB2および閉じるボタンB3に限らない。例えば、ブラウザの拡大レベル変更ボタン、戻るボタン、進むボタンなど、ウィンドウ操作ボタンBと対応付けたその他のアイコンでもよい。また、アクティブウィンドウを切り替える(例えば、前面から順に選択、または逆順に選択する)アイコンでもよい。
 図2は、実施の形態1に係る表示制御装置1の構成例を示すブロック図である。表示制御装置1は、表示部11、入力部12、操作認識部13、記憶部14および表示制御部15、を備える。
 表示部11は、液晶パネルなどで構成されており、表示制御部15に指示された画面を表示する。入力部12は、表示部11を構成する液晶パネルの表面に設置した、接触を検知するタッチパッドなどの位置入力装置で構成される。入力部12は、ユーザの接触による入力を受け付ける。表示部11および入力部12は、タッチパネルディスプレイDで実現される。
 操作認識部13は、入力部12が接触を検知したタッチパネルディスプレイD上の位置を取得する。そして、操作認識部13は、記憶部14が記憶する画面の座標を示す画面座標情報と、取得したタッチパネルディスプレイD上の位置と、を照合して、接点座標を認識する。また、操作認識部13は、入力部12が検知した接触について、接触を開始してから終了するまでの連続接触時間を認識する。操作認識部13は、接点座標および連続接触時間を表示制御部15に送る。
 表示制御部15は、記憶部14からウィンドウ操作ボタンBを含むウィンドウを示す画面情報を読み出し、表示部11に表示させる。
 スマートウィンドウマネージャが起動すると、表示制御部15は、スマートウィンドウマネージャのアイコンIのデータを記憶部14から読み出し、表示部11の画面の所定の位置に表示させる。アイコンIは、半透明で表示されるので、そのアイコンIを透過して背面の画像が見える。これにより、アイコンIが表示されても、操作の邪魔になりにくい。
 ユーザは、タッチパネルディスプレイD上でスマートウィンドウマネージャのアイコンIをタップすることでウィンドウ操作ボタンBを操作する。
 表示制御部15は、操作認識部13から受け取った接点座標および連続接触時間に基づいて、ユーザがスマートウィンドウマネージャのアイコンIをタップしたか否かを判定する。
 本実施の形態では、アイコンIをタップしたか否かの判定は、接触開始時の接点座標がアイコンIの表示領域の範囲内であり、連続接触時間が閾値α以上閾値β以下である場合に、タップしたと判定する。閾値αを設けることにより、ユーザが無意識に触れた場合などの連続接触時間の短いタッチをタップと判定してしまうことを防ぐことができる。また、閾値βを設けることで、ユーザが間違ったアイコンIをタッチしてしまったときに、長く接触し続けることで操作を解除することができる。
 また、接触開始時の接点座標からの変位に閾値を設けることにより、タッチした位置を移動させることで操作を解除することができるようにしてもよい。さらに、接触開始時の接点座標がアイコンIの表示領域の範囲内であり、連続接触時間が0以上である場合はすべてタップしたと判定してもよい。
 ユーザがアイコンIをタップしたと判定した場合、表示制御部15は、記憶部14が記憶するアイコンIとウィンドウ操作ボタンBとの対応を示す対応情報を参照する。そして、表示制御部15は、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する。表示制御部15は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成し、イベントを発行する。
 また、表示制御部15は、記憶部14が記憶するイベントと処理との対応を示す処理情報を参照し、発行されたイベントに対応付けられている処理を実行する。なお、処理情報を参照し、発行されたイベントに対応する処理を実行するのは、表示制御部15でなく、表示制御装置1が備える他の機能部が実行してもよい。
 図3は、実施の形態1に係る表示制御装置1における操作入力を説明する図である。図3の例では、ウィンドウ操作ボタンBは、ウィンドウの最小化ボタンB1、最大化ボタンB2、閉じるボタンB3を備える。ウィンドウ操作ボタンBを模擬するアイコンIは、最小化ボタンB1に対応するアイコンI1、最大化ボタンB2に対応するアイコンI2、閉じるボタンB3に対応するアイコンI3を備える。
 図3に示すように、ウィンドウを最大化した場合、閉じるボタンB3は、画面の右上隅に表示される。これを操作したい場合、ユーザは、スマートウィンドウマネージャを起動し、アイコンIを表示させる。そして、ユーザは、アイコンI3をタップすることで、閉じるボタンB3をタップしたときと同様の操作を入力する。アイコンI3は、閉じるボタンB3を拡大したアイコンで、閉じるボタンB3よりも大きいので、外枠に近い位置でもユーザはタップしやすい。
 図4は、実施の形態1に係る表示制御装置1の動作の一例を示すフローチャートである。図4のフローチャートに示す処理は、ユーザがスマートウィンドウマネージャを起動させると開始する。表示制御部15は、スマートウィンドウマネージャのアイコンIのデータを記憶部14から読み出す。そして、表示制御部15は、表示部11の画面に表示されている画像に重畳して、所定の位置にアイコンIを表示させる(ステップS11)。
 入力部12が接触を検知すると(ステップS12;YES)、操作認識部13は、入力部12が接触を検知したタッチパネルディスプレイD上の位置を取得し、記憶部14が記憶する画面座標情報と照合して、接点座標および連続接触時間を認識する(ステップS13)。操作認識部13は、接点座標および連続接触時間を表示制御部15に送る。入力部12が接触を検知しない場合は(ステップS12;NO)、ステップS12を繰り返す。
 表示制御部15は、操作認識部13から受け取った接点座標および連続接触時間に基づいて、スマートウィンドウマネージャのアイコンIがタップされたか否かを判定する(ステップS14)。表示制御部15は、アイコンIがタップされた場合には(ステップS14;YES)、記憶部14が記憶する対応情報と照合して、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する(ステップS15)。
 表示制御部15は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成し、イベントを発行し(ステップS16)、ステップS17に移行する。表示制御部15は、処理情報を参照し、発行されたイベントに対応付けられている処理を実行する。
 一方、アイコンIがタップされていない場合(ステップS14;NO)、入力部12が接触を検知している間は(ステップS17;NO)、ステップS13~ステップS17を繰り返す。入力部12が接触を検知しなくなると(ステップS17;YES)、スマートウィンドウマネージャがOFFになったか否かを判定する(ステップS18)。スマートウィンドウマネージャがOFFになっていなければ(ステップS18;NO)、ステップS12~ステップS18を繰り返す。スマートウィンドウマネージャがOFFになると(ステップS18;YES)、処理を終了する。
 実施の形態1の表示制御装置1によれば、タッチパネルディスプレイDの画面に表示されるウィンドウ操作ボタンBを模擬するアイコンIは、ウィンドウ操作ボタンBを拡大したアイコンである。このため、ユーザはサイズが大きいアイコンIを操作することで、ウィンドウ操作ボタンBを容易に操作することができる。
(実施の形態2)
 実施の形態2に係る表示制御装置1は、実施の形態1に係る表示制御装置1と同様の構成である。実施の形態2では、スマートウィンドウマネージャのアイコンIをドラッグすることで自由に移動できるようにする。
 図5は、本発明の実施の形態2に係る表示制御装置1の動作の一例を示すフローチャートである。図5のフローチャートに示す処理は、ユーザがスマートウィンドウマネージャを起動させると開始する。表示制御部15は、スマートウィンドウマネージャのアイコンIのデータを記憶部14から読み出す。そして、表示制御部15は、表示部11の画面に表示されている画像に重畳して、所定の位置にアイコンIを表示させる(ステップS21)。
 入力部12が接触を検知すると(ステップS22;YES)、操作認識部13は、入力部12が接触を検知したタッチパネルディスプレイD上の位置を取得し、記憶部14が記憶する画面座標情報と照合して、接点座標および連続接触時間を認識する(ステップS23)。操作認識部13は、接点座標および連続接触時間を表示制御部15に送る。入力部12が接触を検知しない場合は(ステップS22;NO)、ステップS22を繰り返す。
 表示制御部15は、操作認識部13から受け取った接点座標がスマートウィンドウマネージャのアイコンIの表示領域に含まれるか否かを判定する(ステップS24)。アイコンIの表示領域に含まれない場合には(ステップS24;NO)、ステップS30に移行する。
 アイコンIの表示領域に含まれる場合には(ステップS24;YES)、表示制御部15は、操作認識部13から受け取った連続接触時間から、タップされたか否かを判定する(ステップS25)。表示制御部15は、タップされた場合には(ステップS25;YES)、記憶部14が記憶する対応情報と照合して、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する(ステップS26)。表示制御部15は、接触開始時の接点座標がアイコンIの表示領域の範囲内であり、接触開始時の接点座標からの変位が閾値γ以下である場合に、タップしたと判定する。
 表示制御部15は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成し、イベントを発行し(ステップS27)、ステップS30に移行する。表示制御部15は、処理情報を参照し、発行されたイベントに対応付けられている処理を実行する。
 一方、タップされていない場合(ステップS25;NO)、表示制御部15は、操作認識部13から受け取った連続接触時間から、ドラッグされたか否かを判定する(ステップS28)。表示制御部15は、ドラッグされた場合には(ステップS28;YES)、変化した接点座標の位置にアイコンIを移動させ(ステップS29)、ステップS30に移行する。表示制御部15は、接触開始時の接点座標がアイコンIの表示領域の範囲内であり、接触開始時の接点座標からの変位が閾値γより大きい場合に、ドラッグしたと判定する。
 ドラッグされていない場合(ステップS28;NO)、入力部12が接触を検知している間は(ステップS30;NO)、ステップS23~ステップS30を繰り返す。入力部12が接触を検知しなくなると(ステップS30;YES)、スマートウィンドウマネージャがOFFになったか否かを判定する(ステップS31)。スマートウィンドウマネージャがOFFになっていなければ(ステップS31;NO)、ステップS22~ステップS31を繰り返す。スマートウィンドウマネージャがOFFになると(ステップS31;YES)、処理を終了する。
 実施の形態2の表示制御装置1によれば、タッチパネルディスプレイDの画面に表示されるウィンドウ操作ボタンBを模擬するアイコンIがウィンドウ操作ボタンBを拡大したアイコンで、かつ、任意の位置に配置することができる。このため、ユーザは任意の位置にあるサイズが大きいアイコンIを操作することで、ウィンドウ操作ボタンBを容易に操作することができる。
 本実施の形態では、接触開始時の接点座標がアイコンIの表示領域の範囲内で、かつ接触開始時の接点座標からの変位が閾値γ以下である場合にタップしたと判定し、閾値γより大きい場合にドラッグしたと判定する。しかし、これに限らず、タップしたと判定するための閾値とドラッグしたと判定するための閾値とは異なってもよい。また、接触開始時の接点座標がアイコンIの表示領域の範囲内である場合にはすべてタップしたと判定してもよい。また、接触開始時の接点座標がアイコンIの表示領域の範囲内で、連続して接触を保った状態で接点座標が変化した場合にはすべてドラッグしたと判定してもよい。
(実施の形態3)
 図6は、本発明の実施の形態3に係るシンクライアントシステム100の構成例を示すブロック図である。シンクライアントシステム100は、表示制御装置1とサーバ2とで構成される。表示制御装置1は、表示部11、入力部12、操作認識部13、記憶部14、表示制御部15、画面受信部16およびイベント送信部17を備える。サーバ2は、実行部21、記憶部22、画面送信部23およびイベント受信部24を備える。
 なお、表示制御装置1の画面受信部16およびイベント送信部17と、サーバ2の画面送信部23およびイベント受信部24との通信について、それぞれ通信を示す記号を図示している。しかし、実際には同一の通信装置が通信を行う。
 表示制御装置1の表示部11、入力部12、操作認識部13および記憶部14は、実施の形態1と同様の構成である。画面受信部16は、サーバ2の画面送信部23から、ウィンドウ操作ボタンBを含むウィンドウを示す画面情報を受信する。本実施の形態では、表示制御部15は、画面受信部16が受信した画面情報に基づいて、ウィンドウ操作ボタンBを含むウィンドウを表示部11に表示させる。
 表示制御部15は、操作認識部13から受け取った接点座標および連続接触時間に基づいて、ユーザがスマートウィンドウマネージャのアイコンIをタップしたか否かを判定する。ユーザがアイコンIをタップしたと判定した場合、表示制御部15は、記憶部14が記憶するアイコンIとウィンドウ操作ボタンBとの対応を示す対応情報を参照して、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する。表示制御部15は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成し、イベントを発行する。
 表示制御部15は、生成したイベント情報をイベント送信部17に送る。イベント送信部17は、表示制御部15から受け取ったイベント情報をサーバ2のイベント受信部24に送信する。
 サーバ2の実行部21は、記憶部22からウィンドウ操作ボタンBを含むウィンドウを示す画面情報を読み出して画像送信部23に送り、表示制御装置1の画面受信部16へ送信させる。
 イベント受信部24は、表示制御装置1のイベント送信部17からイベント情報を受信すると、実行部21に送る。実行部21は、記憶部22が記憶するイベントと処理との対応を示す処理情報を参照し、受信したイベント情報に対応する処理を実行する。実行部21は、実行した処理画面を示す画面情報を記憶部22から読み出して画像送信部23に送り、表示制御装置1の画面受信部16へ送信させる。
 表示制御装置1の画面受信部16がサーバ2の画面送信部23から処理画面を示す画面情報を受信すると、表示制御部15は、画面受信部16が受信した画面情報に基づいて、処理画面を表示部11に表示させる。
 実施の形態1の表示制御装置1だけでなく、実施の形態2の表示制御装置1もシンクライアントシステム100を構成することが可能である。
 実施の形態3では、表示制御装置1が接点座標および連続接触時間に基づいて、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する。そして、表示制御装置1は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成してイベントを発行するが、これに限らない。
 表示制御装置1が接点座標および連続接触時間をサーバ2に送信し、サーバ2側で、接点座標および連続接触時間に基づいて、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する。そして、サーバ2側で特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成してイベントを発行してもよい。
 実施の形態3のシンクライアントシステム100によれば、処理の実行をサーバ2で行うので、表示制御装置1の負荷が小さくなる。これにより、表示制御装置1のコストの低減や小型化が可能になる。
 シンクライアントシステム100では、サーバ2がディスプレイを備える場合、サーバ2のディスプレイ用の画面を表示制御装置1のタッチパネルディスプレイDに表示させる。表示制御装置1のタッチパネルディスプレイDがサーバ2のディスプレイよりも小さい場合、画面が縮小表示される。このため、ウィンドウの隅にあるウィンドウ操作ボタンBも小さくなり、さらに操作するのが困難な場合がある。したがって、本発明をシンクライアントシステムに適用すると、より、タッチパネルディスプレイDの画面に表示されたウィンドウ操作ボタンBを操作しやすいという効果を奏する。
 なお、上記の実施の形態では、ユーザがスマートウィンドウマネージャのアイコンIを指で直接タッチして操作するが、ポインタで指示する構成にしてもよい。また、上記の実施の形態では、アイコンIは半透明で表示されるが、背面の画像を透過しないアイコンでもよい。
 図7は、実施の形態に係る表示制御装置1のハードウェア構成の一例を示すブロック図である。
 制御部31はCPU(Central Processing Unit)などから構成される。制御部31は、外部記憶部33に記憶されている制御プログラム39に従って、操作認識部13および表示制御部15の各処理を実行する。
 主記憶部32はRAM(Random-Access Memory)などから構成される。主記憶部32は、外部記憶部33に記憶されている制御プログラム39をロードし、制御部31の作業領域として用いられる。
 外部記憶部33は、フラッシュメモリ、ハードディスク、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)などの不揮発性メモリから構成される。外部記憶部33は、表示制御装置1の処理を制御部31に行わせるためのプログラムをあらかじめ記憶する。また、外部記憶部33は、制御部31の指示に従って、このプログラムが記憶するデータを制御部31に供給し、制御部31から供給されたデータを記憶する。記憶部14は、外部記憶部33に構成される。
 操作部34はタッチパッドなどの位置入力装置を内部バス30に接続するインタフェース装置から構成されている。ユーザが操作入力すると、操作部34を介して、指示が制御部31に供給される。操作部34は、入力部12として機能する。
 表示部35は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などから構成され、アプリケーション画面などを表示する。表示部35は、表示部11として機能する。
 タイマ36は、内部バス30を介して現在時刻を定期的に制御部31に供給する。制御部31は、タイマ36から供給された現在時刻に基づいて、連続接触時間を認識する。
 なお、シンクライアントシステム100における表示制御装置1は、さらに、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはLAN(Local Area Network)インタフェースなどで構成される通信部を備える。通信部は、ネットワークを介して、サーバ2に接続する。通信部は、画面受信部16およびイベント送信部17として機能する。
 図2に示す表示部11、入力部12、操作認識部13、記憶部14および表示制御部15の処理は、制御プログラム39が、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35およびタイマ36を資源として用いて処理することによって実行する。
 その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
 制御部31、主記憶部32、外部記憶部33、内部バス30などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROMなど)に格納して配布する。そして、配布されたコンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する表示制御装置1を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで表示制御装置1を構成してもよい。
 また、表示制御装置1の機能を、OSとアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
 また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
 本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態や変形が可能である。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
 上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 タッチパネルディスプレイを備える表示制御装置であって、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段と、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
 前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段と、
 を備えることを特徴とする表示制御装置。
(付記2)
 前記所定の条件は、前記連続接触時間が所定の閾値時間以上であることを特徴とする付記1に記載の表示制御装置。
(付記3)
 前記アイコン表示手段は、前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、連続して接触を保った状態で前記接点座標が変化した場合に、前記変化した接点座標の位置に前記アイコンの表示位置を移動させることを特徴とする付記1または2に記載の表示制御装置。
(付記4)
 前記アイコン表示手段は、前記アイコンを半透明で表示することを特徴とする付記1乃至3の何れか一項に記載の表示制御装置。
(付記5)
 サーバと、タッチパネルディスプレイを備える表示制御装置と、がネットワークを介して接続されるシンクライアントシステムであって、
 前記サーバは、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を示す画面情報を前記表示制御装置に送信する画面送信手段を備え、
 前記表示制御装置は、
 前記サーバから前記画面情報を受信する画像受信手段と、
 前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段と、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
 前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段と、
 前記イベント発行手段が生成した前記イベント情報を前記サーバに送信するイベント送信手段と、
 を備え、
 前記サーバは、
 前記イベント情報が示すイベントと処理との対応を示す処理情報を記憶する処理情報記憶手段と、
 前記表示制御装置から前記イベント情報を受信するイベント受信手段と、
 前記処理情報を参照して、前記受信したイベント情報が示すイベントに対応付けられた処理を実行する実行手段と、
 を備えることを特徴とするシンクライアントシステム。
(付記6)
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像をタッチパネルディスプレイの画面に表示する画面表示ステップと、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識ステップと、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを、アイコンとウィンドウ操作ボタンとの対応を示す記憶された対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行ステップと、
 を備えることを特徴とする表示制御方法。
(付記7)
 サーバと、タッチパネルディスプレイを備える表示制御装置と、がネットワークを介して接続されるシンクライアントシステムの表示制御方法であって、
 前記サーバが実行する、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を示す画面情報を前記表示制御装置に送信する画面送信ステップと、
 前記表示制御装置が実行する、
 前記サーバから前記画面情報を受信する画像受信ステップと、
 前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像をタッチパネルディスプレイの画面に表示する画面表示ステップと、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識ステップと、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを、アイコンとウィンドウ操作ボタンとの対応を示す記憶された対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行ステップと、
 前記イベント発行ステップで生成した前記イベント情報を前記サーバに送信するイベント送信ステップと、
 前記サーバが実行する、
 前記表示制御装置から前記イベント情報を受信するイベント受信ステップと、
 前記イベント情報が示すイベントと処理との対応を示す記憶された処理情報を参照して、前記受信したイベント情報が示すイベントに対応付けられた処理を実行する実行ステップと、
 を備えることを特徴とする表示制御方法。
(付記8)
 タッチパネルディスプレイを備えるコンピュータを、
 ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
 ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段、
 前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段、
 前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段、
 前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段、
 として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
 本発明は、2012年8月31日に出願された日本国特許出願2012-192639号に基づく。本明細書中に日本国特許出願2012-192639号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
         1 表示制御装置
         2 サーバ
        11 表示部
        12 入力部
        13 操作認識部
        14 記憶部
        15 表示制御部
        16 画面受信部
        17 イベント送信部
        21 実行部
        22 記憶部
        23 画面送信部
        24 イベント受信部
        30 内部バス
        31 制御部
        32 主記憶部
        33 外部記憶部
        34 操作部
        35 表示部
        36 タイマ
        39 制御プログラム
       100 シンクライアントシステム
         B ウィンドウ操作ボタン
        B1 最小化ボタン
        B2 最大化ボタン
        B3 閉じるボタン
         D タッチパネルディスプレイ
I、I1、I2、I3 アイコン

Claims (8)

  1.  タッチパネルディスプレイを備える表示制御装置であって、
     ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
     ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段と、
     前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
     前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
     前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段と、
     を備えることを特徴とする表示制御装置。
  2.  前記所定の条件は、前記連続接触時間が所定の閾値時間以上であることを特徴とする請求項1に記載の表示制御装置。
  3.  前記アイコン表示手段は、前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、連続して接触を保った状態で前記接点座標が変化した場合に、前記変化した接点座標の位置に前記アイコンの表示位置を移動させることを特徴とする請求項1または2に記載の表示制御装置。
  4.  前記アイコン表示手段は、前記アイコンを半透明で表示することを特徴とする請求項1乃至3の何れか一項に記載の表示制御装置。
  5.  サーバと、タッチパネルディスプレイを備える表示制御装置と、がネットワークを介して接続されるシンクライアントシステムであって、
     前記サーバは、
     ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を示す画面情報を前記表示制御装置に送信する画面送信手段を備え、
     前記表示制御装置は、
     前記サーバから前記画面情報を受信する画像受信手段と、
     前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
     ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段と、
     前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
     前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
     前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段と、
     前記イベント発行手段が生成した前記イベント情報を前記サーバに送信するイベント送信手段と、
     を備え、
     前記サーバは、
     前記イベント情報が示すイベントと処理との対応を示す処理情報を記憶する処理情報記憶手段と、
     前記表示制御装置から前記イベント情報を受信するイベント受信手段と、
     前記処理情報を参照して、前記受信したイベント情報が示すイベントに対応付けられた処理を実行する実行手段と、
     を備えることを特徴とするシンクライアントシステム。
  6.  ウィンドウを操作するためのウィンドウ操作ボタンを含む画像をタッチパネルディスプレイの画面に表示する画面表示ステップと、
     ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識ステップと、
     前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
     前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを、アイコンとウィンドウ操作ボタンとの対応を示す記憶された対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行ステップと、
     を備えることを特徴とする表示制御方法。
  7.  サーバと、タッチパネルディスプレイを備える表示制御装置と、がネットワークを介して接続されるシンクライアントシステムの表示制御方法であって、
     前記サーバが実行する、
     ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を示す画面情報を前記表示制御装置に送信する画面送信ステップと、
     前記表示制御装置が実行する、
     前記サーバから前記画面情報を受信する画像受信ステップと、
     前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像をタッチパネルディスプレイの画面に表示する画面表示ステップと、
     ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識ステップと、
     前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
     前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを、アイコンとウィンドウ操作ボタンとの対応を示す記憶された対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行ステップと、
     前記イベント発行ステップで生成した前記イベント情報を前記サーバに送信するイベント送信ステップと、
     前記サーバが実行する、
     前記表示制御装置から前記イベント情報を受信するイベント受信ステップと、
     前記イベント情報が示すイベントと処理との対応を示す記憶された処理情報を参照して、前記受信したイベント情報が示すイベントに対応付けられた処理を実行する実行ステップと、
     を備えることを特徴とする表示制御方法。
  8.  タッチパネルディスプレイを備えるコンピュータを、
     ウィンドウを操作するためのウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
     ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間と、を認識する操作認識手段、
     前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段、
     前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段、
     前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、該アイコンと対応するウィンドウ操作ボタンを前記対応情報を参照して特定し、該特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成するイベント発行手段、
     として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/070889 2012-08-31 2013-08-01 表示制御装置、シンクライアントシステム、表示制御方法および記録媒体 Ceased WO2014034369A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP13833187.1A EP2891967A4 (en) 2012-08-31 2013-08-01 DISPLAY CONTROL DEVICE, THIN CLIENT SYSTEM, DISPLAY CONTROL METHOD AND RECORDING MEDIUM
CA2882955A CA2882955A1 (en) 2012-08-31 2013-08-01 Display control device, thin client system, display control method and recording medium
CN201380053292.9A CN104704464A (zh) 2012-08-31 2013-08-01 显示控制设备、瘦客户端系统、显示控制方法和记录介质
KR1020157005236A KR101686495B1 (ko) 2012-08-31 2013-08-01 표시 제어 장치, 씬 클라이언트 시스템, 표시 제어 방법 및 기록매체
US14/422,863 US20150248196A1 (en) 2012-08-31 2013-08-01 Display control device, thin client system, display control method and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-192639 2012-08-31
JP2012192639A JP5783610B2 (ja) 2012-08-31 2012-08-31 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2014034369A1 true WO2014034369A1 (ja) 2014-03-06

Family

ID=50183187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/070889 Ceased WO2014034369A1 (ja) 2012-08-31 2013-08-01 表示制御装置、シンクライアントシステム、表示制御方法および記録媒体

Country Status (7)

Country Link
US (1) US20150248196A1 (ja)
EP (1) EP2891967A4 (ja)
JP (1) JP5783610B2 (ja)
KR (1) KR101686495B1 (ja)
CN (1) CN104704464A (ja)
CA (1) CA2882955A1 (ja)
WO (1) WO2014034369A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160117098A (ko) * 2015-03-31 2016-10-10 삼성전자주식회사 전자 장치 및 그 디스플레이 방법
EP3511810B1 (en) * 2016-09-09 2024-01-24 Makino Milling Machine Co., Ltd. Electronic manual for machine tool
USD876479S1 (en) * 2017-04-17 2020-02-25 Samsung Display Co., Ltd. Combined display device and screen with an icon
CN110286819B (zh) * 2019-06-25 2021-07-16 武汉深之度科技有限公司 一种窗口管理方法及计算设备
US11341496B2 (en) * 2020-06-03 2022-05-24 Fiserv, Inc. Hardware device for entering a PIN via tapping on a touch screen display
CN112230814A (zh) * 2020-10-21 2021-01-15 深圳市艾酷通信软件有限公司 信息控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145141A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Works Ltd データ入力装置
JP2002259001A (ja) 2001-03-05 2002-09-13 Shingo Tsuda ウィンドウ操作方法及び装置
JP2008166927A (ja) 2006-12-27 2008-07-17 Canon Inc 画像再生装置及びその制御方法
JP2008234687A (ja) 2004-03-19 2008-10-02 Ricoh Co Ltd 撮影機能付き電子装置、撮影機能付き電子装置の制御方法、及び、プログラム
JP2009116823A (ja) * 2007-11-09 2009-05-28 Canon Inc 表示装置及び方法及びプログラム
JP2012083831A (ja) 2010-10-07 2012-04-26 Pioneer Electronic Corp タッチパネル装置、タッチパネルの表示方法、タッチパネルの表示処理プログラム、及び記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109557A (ja) * 1999-10-06 2001-04-20 Yokogawa Electric Corp タッチパネル表示方法及びタッチパネルを備えている電子機器
US8042044B2 (en) * 2002-11-29 2011-10-18 Koninklijke Philips Electronics N.V. User interface with displaced representation of touch area
KR20040053692A (ko) * 2002-12-17 2004-06-24 삼성전자주식회사 보조입력도구를 표시하는 모바일 기기 및 그 제어방법
JP2005266850A (ja) * 2004-03-16 2005-09-29 Kyocera Mita Corp 表示入力操作装置
JP4645179B2 (ja) * 2004-12-02 2011-03-09 株式会社デンソー 車両用ナビゲーション装置
US7966573B2 (en) * 2006-02-17 2011-06-21 Microsoft Corporation Method and system for improving interaction with a user interface
KR101412148B1 (ko) * 2007-10-17 2014-06-25 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20100062077A (ko) * 2008-12-01 2010-06-10 삼성전자주식회사 사용자 인터페이스를 향상시키기 위한 사용자 인터페이스 제공방법 및 이를 이용한 멀티미디어 기기
JP5691310B2 (ja) * 2010-09-06 2015-04-01 富士ゼロックス株式会社 情報処理装置及びプログラム
KR101761409B1 (ko) * 2010-10-27 2017-07-25 주식회사 엘지유플러스 가상화 플랫폼 제공 방법 및 장치
US9785289B2 (en) * 2010-11-23 2017-10-10 Red Hat, Inc. GUI control improvement using a capacitive touch screen
JP5198548B2 (ja) * 2010-12-14 2013-05-15 株式会社東芝 電子機器、表示制御方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145141A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Works Ltd データ入力装置
JP2002259001A (ja) 2001-03-05 2002-09-13 Shingo Tsuda ウィンドウ操作方法及び装置
JP2008234687A (ja) 2004-03-19 2008-10-02 Ricoh Co Ltd 撮影機能付き電子装置、撮影機能付き電子装置の制御方法、及び、プログラム
JP2008166927A (ja) 2006-12-27 2008-07-17 Canon Inc 画像再生装置及びその制御方法
JP2009116823A (ja) * 2007-11-09 2009-05-28 Canon Inc 表示装置及び方法及びプログラム
JP2012083831A (ja) 2010-10-07 2012-04-26 Pioneer Electronic Corp タッチパネル装置、タッチパネルの表示方法、タッチパネルの表示処理プログラム、及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2891967A4 *

Also Published As

Publication number Publication date
US20150248196A1 (en) 2015-09-03
JP2014048982A (ja) 2014-03-17
EP2891967A1 (en) 2015-07-08
EP2891967A4 (en) 2016-02-10
CN104704464A (zh) 2015-06-10
KR101686495B1 (ko) 2016-12-14
CA2882955A1 (en) 2014-03-06
JP5783610B2 (ja) 2015-09-24
KR20150040983A (ko) 2015-04-15

Similar Documents

Publication Publication Date Title
US9639186B2 (en) Multi-touch interface gestures for keyboard and/or mouse inputs
US10528252B2 (en) Key combinations toolbar
US9575649B2 (en) Virtual touchpad with two-mode buttons for remote desktop client
EP2669786A2 (en) Method for displaying item in terminal and terminal using the same
JP5388246B1 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
US20150199125A1 (en) Displaying an application image on two or more displays
JP5522755B2 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
KR20130052749A (ko) 터치 기반 사용자 인터페이스 장치 및 방법
CN108064371A (zh) 一种柔性显示屏的控制方法及装置
JP5783610B2 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
CN104423836A (zh) 信息处理装置
JP2009003851A (ja) タッチパネルを備えた情報機器、それに使用されるアイコン選択方法及びプログラム
JP6141349B2 (ja) プログラム及びアプリケーション制御方法
JP5605911B2 (ja) タッチスクリーンデバイスの制御装置、その制御方法及びプログラム
AU2011318454B2 (en) Scrubbing touch infotip
CN107632761A (zh) 一种显示内容查看方法、移动终端和计算机可读存储介质
CN107728898B (zh) 一种信息处理方法及移动终端
US20140380188A1 (en) Information processing apparatus
JP2015176270A (ja) コンピュータの操作方法およびコンピュータ
JP5739479B2 (ja) プログラム及びアプリケーション制御方法
JP2011008633A (ja) 情報処理装置および電子ファイル操作プログラム
JP2015153239A (ja) 携帯端末装置、表示方法およびプログラム
JP2014241079A (ja) プログラム及びアプリケーション制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13833187

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013833187

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013833187

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14422863

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2882955

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20157005236

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE