[go: up one dir, main page]

WO2017037814A1 - 表示制御装置及び表示制御方法 - Google Patents

表示制御装置及び表示制御方法 Download PDF

Info

Publication number
WO2017037814A1
WO2017037814A1 PCT/JP2015/074568 JP2015074568W WO2017037814A1 WO 2017037814 A1 WO2017037814 A1 WO 2017037814A1 JP 2015074568 W JP2015074568 W JP 2015074568W WO 2017037814 A1 WO2017037814 A1 WO 2017037814A1
Authority
WO
WIPO (PCT)
Prior art keywords
application
window
display
display information
applications
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/074568
Other languages
English (en)
French (fr)
Inventor
達也 三次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to US15/564,247 priority Critical patent/US10620773B2/en
Priority to JP2017537080A priority patent/JP6387193B2/ja
Priority to PCT/JP2015/074568 priority patent/WO2017037814A1/ja
Priority to CN201580082653.1A priority patent/CN108027714B/zh
Priority to DE112015006859.7T priority patent/DE112015006859T5/de
Publication of WO2017037814A1 publication Critical patent/WO2017037814A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Definitions

  • the present invention relates to a display control apparatus and a display control method for performing multi-display.
  • a multi-display system that displays a plurality of windows (multi-windows) of a plurality of different applications (multi-applications) on a plurality of displays.
  • a window for displaying the display content of the external monitor on the built-in monitor is displayed, thereby causing an inoperable state.
  • a system that can be prevented is disclosed.
  • an OS Operating System
  • a smartphone does not support multi-display, and there is a problem that multi-display cannot be realized when using such an OS.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to realize a multi-display using a smartphone OS that does not support multi-display.
  • the display control device of the present invention is a display control device using an operating system for a smartphone, and includes a window creation unit that creates a window that is a display area for each of a plurality of displays, and a window created by the window creation unit.
  • a window assigning unit that assigns to a plurality of applications, and a display control unit that obtains display information from the plurality of applications and displays the display information on a plurality of displays according to the assignment of the windows.
  • Window allocation including a first application defined as an application that controls display according to system specifications and a second application defined as an application that does not control display according to operating system specifications It is can be assigned only one window for the first application that does not operate on the main one of the at least first application.
  • the display control device of the present invention is a display control device using an operating system for a smartphone, and includes a window creation unit that creates a window that is a display area for each of a plurality of displays, and a window created by the window creation unit.
  • a window assigning unit that assigns to a plurality of applications, and a display control unit that obtains display information from the plurality of applications and displays the display information on a plurality of displays according to the assignment of the windows.
  • Window allocation including a first application defined as an application that controls display according to system specifications and a second application defined as an application that does not control display according to operating system specifications It is can be assigned only one window for the first application that does not operate on the main one of the at least first application. Therefore, a multi-display can be realized using an OS for a smartphone that does not support the multi-display.
  • FIG. 1 shows a configuration of a display control apparatus that performs multi-display using a personal computer OS.
  • the display control device of FIG. 1 includes two displays D1, D2, a window manager WM1, and applications A1, A2, A3.
  • Applications A1, A2, and A3 have display information for the user, and use this to provide information to the user. Or it operates in response to an instruction from the user.
  • the applications A1, A2, and A3 operate simultaneously to realize a multi-application.
  • the display information of each application cannot be displayed on a multi-window, that is, a plurality of displays only by the multi-application.
  • the window manager WM1 manages and controls a window which is an area in which the display information of the applications A1, A2, and A3 is written in order to display the display information of the applications A1, A2, and A3 on the plurality of displays D1 and D2. ing.
  • the window manager WM1 obtains information such as the screen size from the displays D1 and D2, and generates a window W1 of the display D1 and a window W2 of the display D2. Then, the windows W1, W2 are provided to the applications A1, A2, A3.
  • Applications A1, A2 and A3 present their display information to windows W1 and W2 acquired from window manager WM1.
  • application A1 presents display information in window W1
  • application A3 presents in window W2
  • application A2 presents display information in windows W1 and W2. It is assumed that the display information of the application A2 is positioned above the Z axis of the screen, that is, on the near side of the display information of the applications A1 and A3.
  • FIG. 2 shows display information V1 of the application A1.
  • the window manager WM1 determines which part of the display information V1 is cut out by the window W1.
  • FIG. 3 shows display information V1 and a window W1 for cutting out a predetermined rectangular area of the display information V1. Accordingly, the display information V1 of the application A1 cut out in the window W1 as shown in FIG. 4 is displayed on the display D1.
  • FIG. 5 shows display information V3 of the application A3.
  • the window manager WM1 determines which part of the display information V3 is cut out by the window W2.
  • FIG. 6 shows display information V3 and a window W2 for cutting out a predetermined rectangular area of the display information V2. Accordingly, the display information V3 of the application A3 cut out in the window W2 as shown in FIG. 7 is displayed on the display D2.
  • FIG. 8 shows display information V2 of the application A2.
  • the window manager WM1 determines which part of the display information V2 is cut out by the window W1.
  • FIG. 9 shows display information V2 and a window W1 for cutting out a predetermined rectangular area of the display information V2. Accordingly, the display information V2 of the application A2 cut out in the window W1 as shown in FIG. 10 is displayed on the display D1.
  • the display information V2 is arranged not only in the window W1 but also in the window W2.
  • the window manager WM1 determines which part of the display information V2 is cut out by the window W1.
  • FIG. 11 shows display information V2 and a window W2 for cutting out a predetermined rectangular area of the display information V2. Accordingly, the display information V2 of the application A2 cut out in the window W2 as shown in FIG. 12 is displayed on the display D2.
  • the display information V1 shown in FIG. 4 and the display information V2 shown in FIG. 10 are displayed on the display D1. Therefore, actually, the display information V1 and V2 are overlapped by the window manager WM1, and the display shown in FIG. 13 is performed on the display D1. Since the display information V2 is positioned above the Z axis of the screen from the display information V1, the display information V2 masks the display information V1 in the upper left area of the display D1.
  • Display information V3 shown in FIG. 7 and display information V2 shown in FIG. 12 are displayed on the display D2. Therefore, in practice, the display information V2 and V3 are superimposed by the window manager WM1, and the display shown in FIG. 14 is performed on the display D2. Since the display information V2 is positioned above the Z axis of the screen from the display information V3, the display information V2 masks the display information V3 in the upper right area of the display D2.
  • the window manager WM1 of the OS for personal computers can assign different display windows to different applications, multi-display by multi-application can be realized.
  • FIG. 15 is a diagram showing a configuration of a display control apparatus that performs a single display using a personal computer OS. Compared with the display control apparatus shown in FIG. 1, the display is different in that there is only one display D1. In this case, similarly to the display control apparatus shown in FIG. 1, the window W1 of the display D1 is assigned to the applications A1, A2, and A3, and the display information of the applications A1, A2, and A3 is displayed on the display D1.
  • FIG. 16 shows a configuration of a display control apparatus that performs a single display using Android (registered trademark), which is an OS for smartphones.
  • Applications in Android (registered trademark) include an activity application having display information and a service application having no display information.
  • the display control apparatus of FIG. 16 includes a window manager WM2, a display D1, and activity applications AA1, AA2, and AA3.
  • the window manager WM2 assigns the window W1 of the display D1 to the activity applications AA1, AA2, and AA3, and the display information of the activity applications AA1, AA2, and AA3 is displayed on the display D1.
  • FIG. 17 shows the configuration of a display control device that performs multi-display using Android (registered trademark), which is an OS for smartphones.
  • the display control apparatus of FIG. 17 includes displays D2 and D3 and a presentation P1 in addition to the configuration of the display control apparatus of FIG. In FIG. 17, the activity applications AA2 and AA3 are not shown.
  • the window manager WM2 provides the window W1 of the display D1 to the activity applications AA1, AA2, and AA3, and acquires the display information of the activity applications AA1, AA2, and AA3 for the window W1. Then, the display information is displayed in an overlapping manner on the display D1.
  • the activity application AA1 is the main application, that is, the application displayed in the foreground.
  • the presentation P1 is an extended window manager in Android (registered trademark), and assigns the windows W2 and W3 of the displays D2 and D3 to the main activity application AA1 among the activity applications AA1, AA2, and AA3.
  • the window manager WM2 sends windows W2 and W3 to the presentation P1
  • the presentation P1 sends windows W2 and W3 to the activity application AA1.
  • the presentation P1 acquires display information for the windows W2 and W3 from the activity application AA1, and sends this to the window manager WM2.
  • the display information of the activity application AA1 is displayed on the displays D2 and D3.
  • FIG. 18 shows display information VA1 for the window W1 of the activity application AA1.
  • the window manager WM2 determines which part of the display information VA1 is cut out by the window W1.
  • FIG. 19 shows display information VA1 and a window W1 for cutting out a predetermined rectangular area of the display information VA1. Accordingly, the display information VA1 of the application A1 cut out in the window W1 as shown in FIG. 20 is displayed on the display D1.
  • the display information of the activity application AA2 and the activity application AA3 is also displayed on the display D1, but the illustration is omitted here.
  • the window manager WM2 determines which part of the display information VA1 is cut out by the window W2.
  • FIG. 21 shows display information VA1 for the window W2 of the activity application AA1, and a window W2 for cutting out a predetermined rectangular area of the display information VA1. Accordingly, the display information VA1 of the application A1 cut out in the window W2 as shown in FIG. 22 is displayed on the display D2.
  • FIG. 23 shows display information VA1 for the window W3 of the activity application AA1.
  • This display information VA1 is different from the display information VA1 for the window W1 of the activity application AA1 shown in FIG.
  • the activity application AA1 can prepare a plurality of display information for each window.
  • the window manager WM2 determines which part of the display information VA1 is cut out by the window W3.
  • FIG. 24 shows display information VA1 and a window W3 for cutting out a predetermined rectangular area of the display information VA1. Accordingly, the display information VA1 of the activity application AA1 cut out in the window W3 as shown in FIG. 25 is displayed on the display D3.
  • the display information of the activity application AA1 is displayed on the displays D1, D2, and D3, and a multi-display is realized.
  • the window manager WM2 has a restriction that only one window can be assigned to one activity application.
  • the windows W2 and W3 can be assigned to the activity application AA1
  • the windows W2 and W3 are assigned to the activity applications AA2 and AA3 which are not the main activity applications. Impossible. Therefore, the display information of the activity applications AA2 and AA3 cannot be displayed on the displays D2 and D3.
  • FIG. 26 is a diagram showing the configuration of the display control apparatus according to Embodiment 1 of the present invention.
  • This display control apparatus performs multi-display using Android (registered trademark) which is an OS for a smartphone.
  • the display control apparatus includes a window manager WM2, displays D1, D2, and D3, a presentation P1, an activity application AA1, and a service application SA1.
  • Window manager WM2 and presentation P1 are functions prepared by Android.
  • applications are classified into an activity application (first application) that is an application that controls display and a service application (second application) that is an application that does not control display.
  • the activity application is activated (Create state), and the operation starts (Start state).
  • the activity application enters a Resume state when it comes to the forefront of the window, pauses when it goes off the foreground (Pause state), and enters a Stop state when it is not necessary to operate as an application.
  • the activity application is resumed from the Stop state (Restart state)
  • the activity application shifts to the Stat state and the Resume state.
  • the state changes from the Stop state to the Destroy state.
  • the state of the application changes depending on the display state.
  • a service application that does not control display originally does not generate display information
  • the operation starts Start state in the same manner as the active application.
  • the service application does not change depending on the display state, and the service application always operates while the application is running, and does not enter the Pause state or the Stop state. Therefore, the service application does not enter the Restart state or the Resume state.
  • the window manager WM2 creates windows that are display areas for the displays D1, D2, and D3, and assigns the windows to the activity application AA1 and the service application SA1. Then, the display information is acquired from the activity application AA1 and the service application SA1, and the display information is displayed on the displays D1, D2, and D3 corresponding to the windows according to the window assignment. That is, the window manager WM2 includes a window creation unit that creates a window for each of the plurality of displays D1, D2, and D3, a window allocation unit that allocates windows to a plurality of applications, and an application to a plurality of displays according to the window allocation. It functions as a display control unit for displaying the display information.
  • the window manager WM2 allocates windows not only to the activity application AA1 but also to the service application SA1. Specifically, the window manager WM2 assigns a window W1 to the activity application AA1 and a window W3 to the service application SA1. The window manager WM2 assigns a window W2 to the activity application AA1 via the presentation P1. Since the service application SA1 obtains the window W3 directly from the window manager WM2 without going through the presentation P1, the service application SA1 can obtain the window W3 without being restricted by the presentation P1. Further, it is not necessary to change the configurations of the window manager WM2 and the presentation P1 in the display control apparatus of FIG.
  • FIG. 27 is a diagram illustrating a hardware configuration of the display control apparatus according to the first embodiment.
  • the display control device includes a user interface 11, a memory 12, a CPU (Central Processing Unit) 13, and displays D1, D2, and D3.
  • the CPU 13 is connected to the displays D1, D2, and D3 through output terminals 21, 22, and 23 provided in the CPU 13, respectively.
  • the CPU 13 is connected to the user interface 11 and the memory 12 by a bus 14 provided therein.
  • a window manager WM2 (window creation unit, window allocation unit, display control unit), presentation P1, activity application AA1, and service application SA1 are software programs stored in the memory 12. This is realized by the CPU 13 executing.
  • FIG. 28 shows how the activity application AA1 generates display information.
  • the activity application AA1 makes a request to acquire the window W1 to the window manager WM2, and the window manager WM2 sends the window W1 to the activity application AA1 in response thereto.
  • the activity application AA1 that has acquired the window W1 calls the view function, arranges display components, and generates display information.
  • the view function is a function prepared in Android.
  • FIG. 29 shows how the service application SA1 generates display information.
  • the service application SA1 makes a window W3 acquisition request to the window manager WM2, and in response to this, the window manager WM2 sends the window W3 to the service application SA1.
  • the service application SA1 that has acquired the window W3 calls the view function, arranges display components (view), and generates display information.
  • the activity application first application
  • the service application second application
  • the service application can call the view function and generate display information in the same manner as the activity application.
  • the window manager WM2 can only allocate one window to one activity application, and can allocate a plurality of windows even when the presentation P1 is used. It was limited to the main activity application. That is, the window allocation unit of the window manager WM2 can allocate only one window to an application that does not operate in the main among the activity applications (first application). However, by displaying using a service application in addition to an activity application, a plurality of windows are arranged for a plurality of applications, thereby realizing a multi-display. Although only one service application is shown in FIG. 26, in practice, a plurality of service applications can be prepared and a different window can be assigned to each service application. Therefore, a multi-display with no limit on the number of windows is possible.
  • FIG. 30 is a time chart showing how the service application SA1 generates display information.
  • the window manager WM2 notifies the service application SA1 of that fact.
  • the service application SA1 makes a display list acquisition request to the window manager WM2 (step S1).
  • the window manager WM2 provides a display list to the service application SA1 (step S2).
  • the display list includes a list of displays D1, D2, and D3.
  • the service application SA1 requests the window manager WM2 to acquire display D3 information (step S3).
  • the window manager WM2 In response to this acquisition request, the window manager WM2 provides the display D3 information to the service application SA1 (step S4).
  • the service application SA1 acquires the display D3 information
  • the service application SA1 makes a window W3 acquisition request to the window manager WM2 (step S5).
  • the window manager WM2 In response to this acquisition request, the window manager WM2 provides the window W3 to the service application SA1 (step S6). Thus, the window W3 is allocated to the service application SA1.
  • the service application SA1 acquires the window W3, the service application SA1 makes a display layer designation request to the window manager WM2 (step S7).
  • the window manager WM2 sends an approval response to the service application SA1 (step S8).
  • the display layer of the service application SA1 is determined.
  • the service application SA1 calls the view function, arranges the display component (view), and generates display information. This display information is sent to the window manager WM2 and displayed on the display D3 by the window manager WM2.
  • FIG. 31 shows display information VA1 for the window W1 of the activity application AA1.
  • the window manager WM2 determines which part of the display information VA1 is cut out by the window W1.
  • FIG. 32 shows display information VA1 and a window W1 for cutting out a predetermined rectangular area of the display information VA1. Accordingly, the display information VA1 of the activity application AA1 cut out in the window W1 as shown in FIG. 33 is displayed on the display D1.
  • the window manager WM2 determines which part of the display information VA1 is cut out by the window W2.
  • FIG. 34 shows display information VA1 for the window W2 of the activity application AA1, and a window W2 for cutting out a predetermined rectangular area of the display information VA1. Accordingly, the display information VA1 of the activity application AA1 cut out in the window W2 as shown in FIG. 35 is displayed on the display D2.
  • FIG. 36 shows the display information VS1 of the service application SA1.
  • each quadrangle and each circle in FIG. 36 are display components.
  • the service application SA1 determines the arrangement on the display information VS1 by giving information indicating enlargement / reduction, rotation, translation, color, or transmission to each quadrangle and each circle that is a display component.
  • the service application SA1 determines the arrangement of each display component. That is, the service application SA1 determines the layout of each display component in the display information VS1. For the arrangement of each display component, it is necessary to determine coordinates on the display information VS1, and there are relative coordinates and absolute coordinates.
  • Relative coordinates indicate a relative positional relationship including before and after other display components, and absolute coordinates indicate a positional relationship from the origin in the display information.
  • the service application SA1 generates display information by calling the view function and arranging each display component.
  • the window manager WM2 determines which part of the display information VS1 is cut out by the window W3.
  • FIG. 37 shows the display information VS1 and a window W3 for cutting out a predetermined rectangular area of the display information VS1. Accordingly, the display information VS1 of the service application SA1 cut out in the window W3 as shown in FIG. 38 is displayed on the display D3.
  • the display control method using the smartphone operating system creates a window that is a display area for each of a plurality of displays, and defines the window as an application that controls display according to the specifications of the operating system.
  • the display information is acquired and displayed on a plurality of displays corresponding to the window according to the window assignment.
  • the first application includes an application that can allocate only one window. Accordingly, multi-display by multi-applications of the first application and the second application is possible.
  • Android registered trademark
  • Android is taken as an example of an operating system for a smartphone, but other operating systems for a smartphone can also be applied to the present invention.
  • the window manager WM2 explained that the window W1 etc. is sent to the activity application AA1 and the activity application prepares display information for this. However, the window manager WM2 only assigns the window W1 to the activity application AA1, and does not need to send the window W1 itself. In this case, the window manager WM2 arranges the display information acquired from the activity application AA1 in the window W1.
  • 11 user interface 12 memory, 13 CPU, 14 bus, 21, 22, 23 output terminal, A1, A2, A3 application, AA1, AA2, AA3 activity application, D1, D2, D3 display, P1 presentation, W1, W2 window manager.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

 本発明は、マルチディスプレイに対応していないスマートフォン用のOSを用いてマルチウィンドウを実現することを目的とする。本発明の表示制御装置は、スマートフォン用のオペレーティングシステムを用いた表示制御装置であって、複数のディスプレイの夫々についてウィンドウを作成するウィンドウ作成部と、ウィンドウを複数のアプリケーションに割り当てるウィンドウ割当部と、複数のアプリケーションから表示情報を取得し、当該表示情報をウィンドウの割り当てに沿ってウィンドウに対応する複数のディスプレイに表示させる表示制御部と、を備える。複数のアプリケーションは、オペレーティングシステムの仕様で表示を制御するアプリケーションとして規定された第1アプリケーションと、表示を制御しないアプリケーションとして規定された第2アプリケーションとを含む。

Description

表示制御装置及び表示制御方法
 本発明は、マルチディスプレイを行う表示制御装置及び表示制御方法に関する。
 従来、異なる複数のアプリケーション(マルチアプリケーション)の複数のウィンドウ(マルチウィンドウ)を複数のディスプレイに表示するマルチディスプレイシステムが知られている。例えば特許文献1には、拡張デスクトップ機能の使用中に外部モニターの切断を検知した場合に、外部モニターの表示内容を内蔵モニターに表示するウィンドウを表示することで、操作不能の状態に陥ることを防止することができるシステムが開示されている。
特開2006-350755号公報
 しかし、一般にスマートフォン用のOS(Operating System)はマルチディスプレイに対応しておらず、こうしたOSを用いる場合にはマルチディスプレイを実現できないという問題があった。
 本発明は上述の問題に鑑み、マルチディスプレイに対応していないスマートフォン用のOSを用いてマルチディスプレイを実現することを目的とする。
 本発明の表示制御装置は、スマートフォン用のオペレーティングシステムを用いた表示制御装置であって、複数のディスプレイの夫々について表示領域であるウィンドウを作成するウィンドウ作成部と、ウィンドウ作成部が作成したウィンドウを複数のアプリケーションに割り当てるウィンドウ割当部と、複数のアプリケーションから表示情報を取得し、当該表示情報をウィンドウの割り当てに沿って複数のディスプレイに表示させる表示制御部と、を備え、複数のアプリケーションは、オペレーティングシステムの仕様で表示を制御するアプリケーションとして規定された第1アプリケーションと、オペレーティングシステムの仕様で表示を制御しないアプリケーションとして規定された第2アプリケーションとを含み、ウィンドウ割当部は、少なくとも第1アプリケーションのうちメインで動作しない第1アプリケーションに対しては一つのウィンドウのみの割り当てが可能である。
 本発明の表示制御装置は、スマートフォン用のオペレーティングシステムを用いた表示制御装置であって、複数のディスプレイの夫々について表示領域であるウィンドウを作成するウィンドウ作成部と、ウィンドウ作成部が作成したウィンドウを複数のアプリケーションに割り当てるウィンドウ割当部と、複数のアプリケーションから表示情報を取得し、当該表示情報をウィンドウの割り当てに沿って複数のディスプレイに表示させる表示制御部と、を備え、複数のアプリケーションは、オペレーティングシステムの仕様で表示を制御するアプリケーションとして規定された第1アプリケーションと、オペレーティングシステムの仕様で表示を制御しないアプリケーションとして規定された第2アプリケーションとを含み、ウィンドウ割当部は、少なくとも第1アプリケーションのうちメインで動作しない第1アプリケーションに対しては一つのウィンドウのみの割り当てが可能である。従って、マルチディスプレイに対応していないスマートフォン用のOSを用いてマルチディスプレイを実現することができる。
 本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
パソコン用OSを用いてマルチディスプレイを行う表示制御装置の構成を示す図である。 アプリケーションの表示情報を示す図である。 アプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ディスプレイの表示画像を示す図である。 アプリケーションの表示情報を示す図である。 アプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたアプリケーションの表示情報を示す図である。 アプリケーションの表示情報を示す図である。 アプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたアプリケーションの表示情報を示す図である。 アプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたアプリケーションの表示情報を示す図である。 ディスプレイの表示画像を示す図である。 ディスプレイの表示画像を示す図である。 パソコン用OSを用いてシングルディスプレイを行う表示制御装置の構成を示す図である。 アンドロイドOSを用いてシングルディスプレイを行う表示制御装置の構成を示す図である。 アンドロイドOSを用いてマルチディスプレイを行う表示制御装置の構成を示す図である。 アクティビティアプリケーションの表示情報を示す図である。 アクティビティアプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたアクティビティアプリケーションの表示情報を示す図である。 アクティビティアプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたアクティビティアプリケーションの表示情報を示す図である。 アクティビティアプリケーションの表示情報を示す図である。 アクティビティアプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたアクティビティアプリケーションの表示情報を示す図である。 本発明の表示制御装置の構成を示す図である。 本発明の表示制御装置のソフトウェア構成を示す図である。 アクティビティアプリケーションが表示情報を作成する様子を示す図である。 サービスアプリケーションが表示情報を作成する様子を示す図である。 本発明の表示制御装置の動作を示すタイムチャートである。 アクティビティアプリケーションの表示情報を示す図である。 アクティビティアプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたアクティビティアプリケーションの表示情報を示す図である。 アクティビティアプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたアクティビティアプリケーションの表示情報を示す図である。 サービスアプリケーションの表示情報を示す図である。 サービスアプリケーションの表示情報をウィンドウで切り取る様子を示す図である。 ウィンドウに切り取られたサービスアプリケーションの表示情報を示す図である。
 <A.前提技術>
 <A-1.パソコン用OS>
 図1は、パソコン用OSを用いてマルチディスプレイを行う表示制御装置の構成を示している。図1の表示制御装置は、2つのディスプレイD1,D2と、ウィンドウマネージャWM1と、アプリケーションA1,A2,A3とを備えている。
 アプリケーションA1,A2,A3は、ユーザに対する表示情報を有しており、これを用いてユーザへの情報提供を行う。あるいは、ユーザからの指示を受けて動作する。また、アプリケーションA1,A2,A3は同時に動作することによってマルチアプリケーションを実現する。
 但し、マルチアプリケーションだけでは、マルチウィンドウ、すなわち複数のディスプレイにそれぞれのアプリケーションの表示情報を表示することはできない。
 ウィンドウマネージャWM1は、複数のディスプレイD1,D2に対してそれぞれのアプリケーションA1,A2,A3の表示情報を表示するために、アプリケーションA1,A2,A3の表示情報を書き込む領域であるウィンドウを管理制御している。ウィンドウマネージャWM1は、ディスプレイD1,D2からその画面サイズ等の情報を入手し、ディスプレイD1のウィンドウW1と、ディスプレイD2のウィンドウW2を生成する。そして、ウィンドウW1,W2をアプリケーションA1,A2,A3に提供する。
 アプリケーションA1,A2,A3は、ウィンドウマネージャWM1から取得したウィンドウW1,W2に対してそれぞれの表示情報を提示する。
 今、アプリケーションA1はウィンドウW1に、アプリケーションA3はウィンドウW2に、アプリケーションA2はウィンドウW1,W2に表示情報を提示する場合を考える。そして、アプリケーションA2の表示情報がアプリケーションA1,A3の表示情報より画面のZ軸の上方、すなわち手前側に位置しているものとする。
 図2は、アプリケーションA1の表示情報V1を示している。ウィンドウマネージャWM1は、表示情報V1のどの部分をウィンドウW1で切り取るかを定める。図3は、表示情報V1と、表示情報V1の所定の矩形領域を切り取るウィンドウW1とを示している。従って、ディスプレイD1には図4のようにウィンドウW1で切り取られたアプリケーションA1の表示情報V1が表示される。
 図5は、アプリケーションA3の表示情報V3を示している。ウィンドウマネージャWM1は、表示情報V3のどの部分をウィンドウW2で切り取るかを定める。図6は、表示情報V3と、表示情報V2の所定の矩形領域を切り取るウィンドウW2とを示している。従って、ディスプレイD2には図7のようにウィンドウW2で切り取られたアプリケーションA3の表示情報V3が表示される。
 図8は、アプリケーションA2の表示情報V2を示している。ウィンドウマネージャWM1は、表示情報V2のどの部分をウィンドウW1で切り取るかを定める。図9は、表示情報V2と、表示情報V2の所定の矩形領域を切り取るウィンドウW1とを示している。従って、ディスプレイD1には図10のようにウィンドウW1で切り取られたアプリケーションA2の表示情報V2が表示される。
 また、表示情報V2は、ウィンドウW1だけでなくウィンドウW2にも配置される。ウィンドウマネージャWM1は、表示情報V2のどの部分をウィンドウW1で切り取るかを定める。図11は、表示情報V2と、表示情報V2の所定の矩形領域を切り取るウィンドウW2とを示している。従って、ディスプレイD2には図12のようにウィンドウW2で切り取られたアプリケーションA2の表示情報V2が表示される。
 ディスプレイD1には、図4で示した表示情報V1と図10で示した表示情報V2とが表示される。従って、実際には、ウィンドウマネージャWM1により両表示情報V1,V2が重ね合せられ、ディスプレイD1には図13に示す表示が行われる。表示情報V2は表示情報V1より画面のZ軸の上方に位置するため、ディスプレイD1の左上の領域で表示情報V2が表示情報V1をマスクする。
 ディスプレイD2には、図7で示した表示情報V3と図12で示した表示情報V2とが表示される。従って、実際には、ウィンドウマネージャWM1により両表示情報V2,V3が重ね合せられ、ディスプレイD2には図14に示す表示が行われる。表示情報V2は表示情報V3より画面のZ軸の上方に位置するため、ディスプレイD2の右上の領域で表示情報V2が表示情報V3をマスクする。
 このように、パソコン用OSのウィンドウマネージャWM1は、異なるアプリケーションに対して異なるディスプレイのウィンドウを割り当てることができるため、マルチアプリケーションによるマルチディスプレイが実現できる。
 図15は、パソコン用OSを用いてシングルディスプレイを行う表示制御装置の構成を示す図である。図1に示す表示制御装置と比較すると、ディスプレイがディスプレイD1唯一つである点が異なる。この場合、図1に示す表示制御装置と同様に、アプリケーションA1,A2,A3にディスプレイD1のウィンドウW1が割り当てられ、ディスプレイD1にアプリケーションA1,A2,A3の表示情報が表示される。
 <A-2.アンドロイド(登録商標)>
 図16は、スマートフォン用のOSであるアンドロイド(登録商標)を用いてシングルディスプレイを行う表示制御装置の構成を示している。アンドロイド(登録商標)におけるアプリケーションには、表示情報を持つアクティビティアプリケーションと、表示情報を持たないサービスアプリケーションとがある。図16の表示制御装置は、ウィンドウマネージャWM2、ディスプレイD1及びアクティビティアプリケーションAA1,AA2,AA3を備えている。ウィンドウマネージャWM2は、アクティビティアプリケーションAA1,AA2,AA3にディスプレイD1のウィンドウW1を割り当て、ディスプレイD1にアクティビティアプリケーションAA1,AA2,AA3の表示情報が表示される。
 図17は、スマートフォン用のOSであるアンドロイド(登録商標)を用いてマルチディスプレイを行う表示制御装置の構成を示している。図17の表示制御装置は、図16の表示制御装置の構成に加えて、ディスプレイD2,D3、プレゼンテーションP1を備えている。なお、図17ではアクティビティアプリケーションAA2,AA3は図示を省略している。
 図17の表示制御装置において、ウィンドウマネージャWM2は、ディスプレイD1のウィンドウW1をアクティビティアプリケーションAA1,AA2,AA3に提供し、ウィンドウW1に対するアクティビティアプリケーションAA1,AA2,AA3の表示情報を取得する。そして、これらの表示情報をディスプレイD1において重ね合せ表示する。なお、アクティビティアプリケーションAA1,AA2,AA3のうち、アクティビティアプリケーションAA1がメインアプリケーション、すなわち最前面に表示されているアプリケーションである。
 また、プレゼンテーションP1は、アンドロイド(登録商標)における拡張ウィンドウマネージャであり、アクティビティアプリケーションAA1,AA2,AA3のうちメインのアクティビティアプリケーションAA1に対して、ディスプレイD2,D3のウィンドウW2,W3を割り当てる。具体的には、ウィンドウマネージャWM2がプレゼンテーションP1にウィンドウW2,W3を送り、プレゼンテーションP1がアクティビティアプリケーションAA1にウィンドウW2,W3を送る。そして、プレゼンテーションP1はアクティビティアプリケーションAA1からウィンドウW2,W3に対する表示情報を取得し、これをウィンドウマネージャWM2に送る。こうして、ディスプレイD2,D3にはアクティビティアプリケーションAA1の表示情報が表示される。
 図18は、アクティビティアプリケーションAA1のウィンドウW1に対する表示情報VA1を示している。ウィンドウマネージャWM2は、表示情報VA1のどの部分をウィンドウW1で切り取るかを定める。図19は、表示情報VA1と、表示情報VA1の所定の矩形領域を切り取るウィンドウW1とを示している。従って、ディスプレイD1には図20のようにウィンドウW1で切り取られたアプリケーションA1の表示情報VA1が表示される。なお、ディスプレイD1にはアクティビティアプリケーションAA2及びアクティビティアプリケーションAA3の表示情報も表示されるが、ここでは図示を省略する。
 また、ウィンドウマネージャWM2は、表示情報VA1のどの部分をウィンドウW2で切り取るかを定める。図21は、アクティビティアプリケーションAA1のウィンドウW2に対する表示情報VA1と、表示情報VA1の所定の矩形領域を切り取るウィンドウW2とを示している。従って、ディスプレイD2には図22のようにウィンドウW2で切り取られたアプリケーションA1の表示情報VA1が表示される。
 図23は、アクティビティアプリケーションAA1のウィンドウW3に対する表示情報VA1を示している。この表示情報VA1は、図18に示したアクティビティアプリケーションAA1のウィンドウW1に対する表示情報VA1とは異なる。このように、アクティビティアプリケーションAA1はウィンドウごとに表示情報を複数用意することができる。ウィンドウマネージャWM2は、表示情報VA1のどの部分をウィンドウW3で切り取るかを定める。図24は、表示情報VA1と、表示情報VA1の所定の矩形領域を切り取るウィンドウW3とを示している。従って、ディスプレイD3には図25のようにウィンドウW3で切り取られたアクティビティアプリケーションAA1の表示情報VA1が表示される。
 このように、アクティビティアプリケーションAA1の表示情報はディスプレイD1,D2,D3に表示され、マルチディスプレイが実現する。しかし、ウィンドウマネージャWM2には、パソコン用OSにおけるウィンドウマネージャWM1とは異なり、一つのアクティビティアプリケーションに対して一つのウィンドウしか割り当てることが出来ないという制約がある。上記したように、プレゼンテーションP1によれば、アクティビティアプリケーションAA1に対してウィンドウW2,W3を割り当てることが可能だが、メインのアクティビティアプリケーションではないアクティビティアプリケーションAA2,AA3に対してはウィンドウW2,W3の割り当てが不可能である。そのため、ディスプレイD2,D3にはアクティビティアプリケーションAA2,AA3の表示情報を表示することが出来ない。また、メインのアクティビティアプリケーションをアクティビティアプリケーションAA1からアクティビティアプリケーションAA2,AA3に切り替えるとディスプレイD2,D3でアクティビティアプリケーションAA1の表示情報を表示できなくなるという不都合がある。従って、複数のディスプレイに、複数のアクティビティアプリケーションの表示情報を表示することは出来ない。
 <B.実施の形態1>
 <B-1.構成>
 図26は、本発明の実施の形態1に係る表示制御装置の構成を示す図である。この表示制御装置は、スマートフォン用のOSであるアンドロイド(登録商標)を用いてマルチディスプレイを行う。
 実施の形態1に係る表示制御装置は、ウィンドウマネージャWM2と、ディスプレイD1,D2,D3と、プレゼンテーションP1と、アクティビティアプリケーションAA1と、サービスアプリケーションSA1とを備える。
 ウィンドウマネージャWM2及びプレゼンテーションP1は、アンドロイドで用意された機能である。また、アンドロイドにおいてアプリケーションは、表示を制御するアプリケーションであるアクティビティアプリケーション(第1アプリケーション)と、表示を制御しないアプリケーションであるサービスアプリケーション(第2アプリケーション)に分類される。アクティビティアプリケーションは、起動され(Create状態)、動作が始まる(Start状態)。アクティビティアプリケーションは、ウィンドウの最前面になるとResume状態になり、最前面から外れると一時中断し(Pause状態)、アプリケーションとして動作の必要がなければStop状態となる。アクティビティアプリケーションは、Stop状態から再開されると(Restart状態)、Stat状態、Resume状態と移行する。アクティビティアプリケーションが完全に動作を終了した場合、Stop状態からDestroy状態となる。すなわち、アクティビティアプリケーションは、表示の状態によって、アプリケーションの状態が変化する。これに対して、表示を制御しない(本来、表示情報を生成しない)サービスアプリケーションは、起動され(Create状態)、動作が始まる(Start状態)点は、アクティブアプリケーションと同様である。しかしながら、サービスアプリケーションは、表示の状態によってアプリケーションの状態が変化せず、アプリケーションが稼働中は、常に動作し続け、Pause状態、Stop状態となることはない。そのため、サービスアプリケーションには、Restart状態またはResume状態となることもない。
 ウィンドウマネージャWM2は、ディスプレイD1,D2,D3の夫々について表示領域であるウィンドウを作成し、当該ウィンドウをアクティビティアプリケーションAA1,サービスアプリケーションSA1に割り当てる。そして、アクティビティアプリケーションAA1,サービスアプリケーションSA1から表示情報を取得し、当該表示情報をウィンドウの割り当てに沿ってウィンドウに対応するディスプレイD1,D2,D3に表示させる。すなわち、ウィンドウマネージャWM2は、複数のディスプレイD1、D2,D3の夫々についてウィンドウを作成するウィンドウ作成部と、ウィンドウを複数のアプリケーションに割り当てるウィンドウ割当部と、ウィンドウの割り当てに沿って複数のディスプレイにアプリケーションの表示情報を表示させる表示制御部として機能する。
 ここでの特徴は、ウィンドウマネージャWM2がアクティビティアプリケーションAA1だけでなくサービスアプリケーションSA1にもウィンドウを割り当てることである。具体的には、ウィンドウマネージャWM2はアクティビティアプリケーションAA1に対してウィンドウW1を、サービスアプリケーションSA1に対してウィンドウW3をそれぞれ割り当てる。また、ウィンドウマネージャWM2はプレゼンテーションP1を介してアクティビティアプリケーションAA1に対してウィンドウW2を割り当てる。サービスアプリケーションSA1はプレゼンテーションP1を介さず直接ウィンドウマネージャWM2からウィンドウW3を取得するため、プレゼンテーションP1による制約を受けることなくウィンドウW3を取得することが出来る。また、図17の表示制御装置におけるウィンドウマネージャWM2及びプレゼンテーションP1の構成に変更を加える必要もない。
 図27は、実施の形態1に係る表示制御装置のハードウェア構成を示す図である。当該表示制御装置は、ユーザインタフェース11、メモリ12、CPU(Central Processing Unit)13、ディスプレイD1,D2,D3を備えて構成される。CPU13は、自身が備える出力端子21,22,23によってディスプレイD1,D2,D3とそれぞれ接続されている。また、CPU13は、自身が備えるバス14によってユーザインタフェース11及びメモリ12と接続されている。
 図26に示す表示制御装置の構成のうち、ウィンドウマネージャWM2(ウィンドウ作成部、ウィンドウ割当部、表示制御部)、プレゼンテーションP1、アクティビティアプリケーションAA1、サービスアプリケーションSA1は、メモリ12に格納されたソフトウェアのプログラムをCPU13が実行することにより実現する。
 <B-2.動作>
 図28は、アクティビティアプリケーションAA1が表示情報を生成する様子を示している。アクティビティアプリケーションAA1は、ウィンドウマネージャWM2にウィンドウW1の獲得要求を行い、それに対してウィンドウマネージャWM2がアクティビティアプリケーションAA1にウィンドウW1を送る。ウィンドウW1を取得したアクティビティアプリケーションAA1は、view機能を呼び出し、表示部品を配置して表示情報を生成する。view機能はアンドロイドにおいて用意された機能である。
 図29は、サービスアプリケーションSA1が表示情報を生成する様子を示している。サービスアプリケーションSA1からウィンドウマネージャWM2にウィンドウW3の獲得要求を行い、それに対してウィンドウマネージャWM2がサービスアプリケーションSA1にウィンドウW3を送る。ウィンドウW3を取得したサービスアプリケーションSA1は、view機能を呼び出し、表示部品(view)を配置して表示情報を生成する。アンドロイド(登録商標)の仕様では、アクティビティアプリケーション(第1アプリケーション)は表示を制御するアプリケーションとして規定されているのに対し、サービスアプリケーション(第2アプリケーション)は表示を制御しないアプリケーションとして規定されている。しかし、出願人は、サービスアプリケーションでもアクティビティアプリケーションと同様に、view機能を呼び出し、表示情報を生成することが可能であることを見出した。
 図17で説明したように、ウィンドウマネージャWM2は、一つのアクティビティアプリケーションに対して一つのウィンドウしか割り当てることが出来ず、また、プレゼンテーションP1を用いた場合でも複数のウィンドウを割り当てることが出来るのは、メインのアクティビティアプリケーションに限られていた。すなわち、ウィンドウマネージャWM2のウィンドウ割当部は、アクティビティアプリケーション(第1アプリケーション)のうちメインで動作しないアプリケーションに対しては一つのウィンドウのみの割り当てしか出来ない。しかし、アクティビティアプリケーションに加えてサービスアプリケーションを用いて表示を行う事により、複数のアプリケーションに対して複数のウィンドウを配置し、マルチディスプレイが実現する。また、図26ではサービスアプリケーションを一つしか示していないが、実際にはサービスアプリケーションを複数用意し、各サービスアプリケーションに別のウィンドウを割り当てることが出来る。従って、ウィンドウ数に制限のないマルチディスプレイが可能となる。
 図30は、サービスアプリケーションSA1が表示情報を生成する様子を示すタイムチャートである。まず、ウィンドウマネージャWM2に電源が投入されると、ウィンドウマネージャWM2からサービスアプリケーションSA1にその旨が通知される。すると、サービスアプリケーションSA1はウィンドウマネージャWM2にディスプレイリストの取得要求を行う(ステップS1)。
 この取得要求に対して、ウィンドウマネージャWM2はサービスアプリケーションSA1にディスプレイリストを提供する(ステップS2)。ここでディスプレイリストには、ディスプレイD1,D2,D3のリストが含まれる。サービスアプリケーションSA1はディスプレイリストを取得すると、ウィンドウマネージャWM2に対してディスプレイD3情報の獲得要求を行う(ステップS3)。
 この獲得要求に対してウィンドウマネージャWM2は、サービスアプリケーションSA1にディスプレイD3情報を提供する(ステップS4)。サービスアプリケーションSA1はディスプレイD3情報を取得すると、ウィンドウマネージャWM2に対してウィンドウW3の獲得要求を行う(ステップS5)。
 この獲得要求に対してウィンドウマネージャWM2は、サービスアプリケーションSA1にウィンドウW3を提供する(ステップS6)。こうして、サービスアプリケーションSA1にウィンドウW3が割り当てられる。サービスアプリケーションSA1はウィンドウW3を取得すると、ウィンドウマネージャWM2に対して表示レイヤの指定要求を行う(ステップS7)。
 この指定要求に対してウィンドウマネージャWM2は、サービスアプリケーションSA1に承認応答を行う(ステップS8)。こうして、サービスアプリケーションSA1の表示レイヤが確定する。その後、サービスアプリケーションSA1はview機能を呼び出して表示部品(view)を配置し、表示情報を生成する。この表示情報はウィンドウマネージャWM2に送られ、ウィンドウマネージャWM2によりディスプレイD3に表示される。
 図31は、アクティビティアプリケーションAA1のウィンドウW1に対する表示情報VA1を示している。ウィンドウマネージャWM2は、表示情報VA1のどの部分をウィンドウW1で切り取るかを定める。図32は、表示情報VA1と、表示情報VA1の所定の矩形領域を切り取るウィンドウW1とを示している。従って、ディスプレイD1には図33のようにウィンドウW1で切り取られたアクティビティアプリケーションAA1の表示情報VA1が表示される。
 ウィンドウマネージャWM2は、表示情報VA1のどの部分をウィンドウW2で切り取るかを定める。図34は、アクティビティアプリケーションAA1のウィンドウW2に対する表示情報VA1と、表示情報VA1の所定の矩形領域を切り取るウィンドウW2とを示している。従って、ディスプレイD2には図35のようにウィンドウW2で切り取られたアクティビティアプリケーションAA1の表示情報VA1が表示される。
 図36は、サービスアプリケーションSA1の表示情報VS1を示している。例えば、図36における各四辺形および各円形が表示部品である。サービスアプリケーションSA1は、表示部品である各四辺形および各円形に対して、拡大縮小、回転、平行移動、色、または透過を示す情報を与えて、表示情報VS1上の配置を決定する。サービスアプリケーションSA1は、各表示部品の配置を決定する。すなわち、サービスアプリケーションSA1は、表示情報VS1における各表示部品のレイアウトを決定する。各表示部品の配置には、表示情報VS1上の座標を決定する必要があるが、座標には、相対座標と絶対座標がある。相対座標とは、他の表示部品との前後も含む相対的な位置関係を示し、絶対座標は表示情報における原点からの位置関係を示す。サービスアプリケーションSA1は、view機能を呼び出し、各表示部品を配置することによって、表示情報を生成する。ウィンドウマネージャWM2は、表示情報VS1のどの部分をウィンドウW3で切り取るかを定める。図37は、表示情報VS1と、表示情報VS1の所定の矩形領域を切り取るウィンドウW3とを示している。従って、ディスプレイD3には図38のようにウィンドウW3で切り取られたサービスアプリケーションSA1の表示情報VS1が表示される。
 すなわち、実施の形態1のスマートフォン用のオペレーティングシステムを用いた表示制御方法は、複数のディスプレイの夫々について表示領域であるウィンドウを作成し、ウィンドウを、オペレーティングシステムの仕様で表示を制御するアプリケーションとして規定された第1アプリケーションと、オペレーティングシステムの仕様で表示を制御しないアプリケーションとして規定された第2アプリケーションとを含む複数のアプリケーションに割り当て、複数のアプリケーションに表示情報を用意させ、複数のアプリケーションから表示情報を取得し、当該表示情報をウィンドウの割り当てに沿ってウィンドウに対応する複数のディスプレイに表示させる。そして、第1アプリケーションは、一つのウィンドウのみの割り当てが可能なアプリケーションを含む。従って、第1アプリケーションと第2アプリケーションのマルチアプリケーションによるマルチディスプレイが可能である。
 <B-3.変形例>
 以上の説明では、スマートフォン用のオペレーティングシステムとしてアンドロイド(登録商標)を例に挙げたが、他のスマートフォン用のオペレーティングシステムも本発明に適用可能である。
 また、ウィンドウマネージャWM2はウィンドウW1等をアクティビティアプリケーションAA1に送り、これに対してアクティビティアプリケーションが表示情報を用意すると説明した。しかし、ウィンドウマネージャWM2はアクティビティアプリケーションAA1にウィンドウW1を割り当てるだけで、ウィンドウW1自体を送らなくても良い。この場合、ウィンドウマネージャWM2はアクティビティアプリケーションAA1から取得した表示情報をウィンドウW1に配置する。
 なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
 この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
 11 ユーザインタフェース、12 メモリ、13 CPU、14 バス、21,22,23 出力端子、A1,A2,A3 アプリケーション、AA1,AA2,AA3 アクティビティアプリケーション、D1,D2,D3 ディスプレイ、P1 プレゼンテーション、W1,W2 ウィンドウマネージャ。

Claims (5)

  1.  スマートフォン用のオペレーティングシステムを用いた表示制御装置であって、
     複数のディスプレイの夫々について表示領域であるウィンドウを作成するウィンドウ作成部と、
     前記ウィンドウ作成部が作成したウィンドウを複数のアプリケーションに割り当てるウィンドウ割当部と、
     前記複数のアプリケーションから表示情報を取得し、当該表示情報を前記ウィンドウの割り当てに沿って前記ウィンドウに対応する前記複数のディスプレイに表示させる表示制御部と、を備え、
     前記複数のアプリケーションは、表示を制御するアプリケーションとして前記オペレーティングシステムの仕様で規定された第1アプリケーションと、表示を制御しないアプリケーションとして前記オペレーティングシステムの仕様で規定された第2アプリケーションとを含み、
     前記第1アプリケーションは、前記ウィンドウ割当部により一つのウィンドウのみの割り当てが可能なアプリケーションを含む、
    表示制御装置。
  2.  前記ウィンドウ割当部により一つのウィンドウのみの割り当てが可能なアプリケーションは、前記第1アプリケーションのうちメインで動作しないアプリケーションである、
    請求項1に記載の表示制御装置。
  3.  前記オペレーティングシステムとしてアンドロイド(登録商標)を用い、
     前記第1アプリケーションはアクティビティアプリケーションであり、
     前記第2アプリケーションはサービスアプリケーションである、
    請求項1に記載の表示制御装置。
  4.  前記サービスアプリケーションにはview機能により表示情報が用意される、
    請求項3に記載の表示制御装置。
  5.  スマートフォン用のオペレーティングシステムを用いた表示制御方法であって、
     複数のディスプレイの夫々について表示領域であるウィンドウを作成し、
     前記ウィンドウを、前記オペレーティングシステムの仕様で表示を制御するアプリケーションとして規定された第1アプリケーションと、前記オペレーティングシステムの仕様で表示を制御しないアプリケーションとして規定された第2アプリケーションとを含む複数のアプリケーションに割り当て、
     前記複数のアプリケーションに表示情報を用意させ、
     前記複数のアプリケーションから表示情報を取得し、当該表示情報を前記ウィンドウの割り当てに沿って前記ウィンドウに対応する前記複数のディスプレイに表示させ、
     前記第1アプリケーションは、一つのウィンドウのみの割り当てが可能なアプリケーションを含む、
    表示制御方法。
PCT/JP2015/074568 2015-08-31 2015-08-31 表示制御装置及び表示制御方法 Ceased WO2017037814A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/564,247 US10620773B2 (en) 2015-08-31 2015-08-31 Display control apparatus and display control method
JP2017537080A JP6387193B2 (ja) 2015-08-31 2015-08-31 表示制御装置及び表示制御方法
PCT/JP2015/074568 WO2017037814A1 (ja) 2015-08-31 2015-08-31 表示制御装置及び表示制御方法
CN201580082653.1A CN108027714B (zh) 2015-08-31 2015-08-31 显示控制装置及显示控制方法
DE112015006859.7T DE112015006859T5 (de) 2015-08-31 2015-08-31 Anzeigesteuervorrichtung und Anzeigesteuerverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/074568 WO2017037814A1 (ja) 2015-08-31 2015-08-31 表示制御装置及び表示制御方法

Publications (1)

Publication Number Publication Date
WO2017037814A1 true WO2017037814A1 (ja) 2017-03-09

Family

ID=58187118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/074568 Ceased WO2017037814A1 (ja) 2015-08-31 2015-08-31 表示制御装置及び表示制御方法

Country Status (5)

Country Link
US (1) US10620773B2 (ja)
JP (1) JP6387193B2 (ja)
CN (1) CN108027714B (ja)
DE (1) DE112015006859T5 (ja)
WO (1) WO2017037814A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020526120A (ja) * 2017-09-30 2020-08-27 中興通訊股▲ふん▼有限公司Zte Corporation モバイル端末による複数動画再生方法、モバイル端末、および可読記憶媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014503891A (ja) * 2010-12-10 2014-02-13 ヨタ デバイセズ アイピーアール リミテッド ユーザインターフェースを有する携帯機器
JP2014149699A (ja) * 2013-02-01 2014-08-21 Nec Casio Mobile Communications Ltd 携帯情報端末、制御方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024812A1 (en) * 2011-07-13 2013-01-24 Z124 Foreground/background assortment of hidden windows
US8599106B2 (en) * 2010-10-01 2013-12-03 Z124 Dual screen application behaviour
JP2006350755A (ja) 2005-06-17 2006-12-28 Matsushita Electric Ind Co Ltd マルチディスプレイシステムおよびウィンドウ制御方法
JP4676011B2 (ja) 2009-05-15 2011-04-27 株式会社東芝 情報処理装置、表示制御方法およびプログラム
WO2011125629A1 (ja) * 2010-04-07 2011-10-13 日本電気株式会社 情報処理端末およびその制御方法
EP3731075A1 (en) * 2012-05-11 2020-10-28 Samsung Electronics Co., Ltd. Multiple display window providing apparatus and method
AU2013260292B2 (en) * 2012-05-11 2018-01-18 Samsung Electronics Co., Ltd. Multiple window providing apparatus and method
JP6080401B2 (ja) * 2012-06-27 2017-02-15 京セラ株式会社 装置
JP2014106882A (ja) * 2012-11-29 2014-06-09 Toshiba Corp 情報処理装置及び表示制御方法
KR20140073398A (ko) * 2012-12-06 2014-06-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP2015095219A (ja) * 2013-11-14 2015-05-18 ソニー株式会社 情報処理装置、情報処理方法および記憶媒体
EP2921933B1 (en) * 2014-02-26 2018-12-19 LG Electronics Inc. Digital device and method of processing screensaver thereof
CN104093058A (zh) * 2014-06-27 2014-10-08 张�林 平板显示屏的多窗口显示系统及一种智能电视
CN104461242B (zh) * 2014-12-08 2017-12-01 深圳市嘉乐派科技有限公司 一种基于Android操作系统的多窗口界面实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014503891A (ja) * 2010-12-10 2014-02-13 ヨタ デバイセズ アイピーアール リミテッド ユーザインターフェースを有する携帯機器
JP2014149699A (ja) * 2013-02-01 2014-08-21 Nec Casio Mobile Communications Ltd 携帯情報端末、制御方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUGGLY ET AL.: "Android Tanmatsu o Multi Window-ka", MULTI MONITOR-KA SURU SOFTWARE NO DEMO O HIRO, 25 September 2013 (2013-09-25), Retrieved from the Internet <URL:http://juggly.cn/archives/95639.html> [retrieved on 20151109] *
KSETO ET AL.: "Android Gamen-jo ni Apuri no Joho o Joji Hyoji suru Hoho", 5 February 2012 (2012-02-05), Retrieved from the Internet <URL:http://techbooster.org/android/ui/13182> [retrieved on 20151109] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020526120A (ja) * 2017-09-30 2020-08-27 中興通訊股▲ふん▼有限公司Zte Corporation モバイル端末による複数動画再生方法、モバイル端末、および可読記憶媒体
JP7095835B2 (ja) 2017-09-30 2022-07-05 中興通訊股▲ふん▼有限公司 モバイル端末による複数動画再生方法、モバイル端末、および可読記憶媒体

Also Published As

Publication number Publication date
US10620773B2 (en) 2020-04-14
JP6387193B2 (ja) 2018-09-05
CN108027714B (zh) 2020-12-25
DE112015006859T5 (de) 2018-05-17
CN108027714A (zh) 2018-05-11
US20180129358A1 (en) 2018-05-10
JPWO2017037814A1 (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
CN106126236B (zh) 终端屏幕的分屏显示方法、装置及终端
CN107783818B (zh) 深度学习任务处理方法、装置、设备及存储介质
US9798565B2 (en) Data processing system and method having an operating system that communicates with an accelerator independently of a hypervisor
JP6507169B2 (ja) 複数のユーザインターフェース動作ドメインを有する車両
US9342859B2 (en) GPU based parallel image processing at thin client
CN109324903B (zh) 用于嵌入式系统的显示资源调度方法及装置
CN107003892A (zh) Gpu虚拟化方法、装置、系统及电子设备、计算机程序产品
US9454396B2 (en) Thin client computing device having touch screen interactive capability support
KR20190021141A (ko) 멀티 윈도우를 제어하는 전자 장치 및 그 동작 방법
EP2500818A1 (en) Method and device for displaying application image
CN109343922B (zh) 一种gpu虚拟化画面显示的方法及装置
EP2782007A1 (en) Launching multiple applications in containers on a processor
KR20200042798A (ko) 이종 운영체제의 실행을 제어하기 위한 방법, 이를 위한 전자 장치 및 저장 매체
AU2016269452A1 (en) User interface displaying and processing method and user interface displaying and processing device
CN105404547A (zh) 一种操作系统的融合方法及装置
US9471357B2 (en) Monitoring virtual machine interface and local graphical user interface on a thin client and alternating therebetween
CN112799801A (zh) 一种模拟鼠标指针绘制方法、装置、设备和介质
US10255019B2 (en) Display configurations based on applications
US20140351833A1 (en) Multi-computing environment operating on a single native operating system
CN116719496B (zh) 虚拟屏幕实现方法、装置、设备及存储介质
JP6387193B2 (ja) 表示制御装置及び表示制御方法
JP6605094B2 (ja) 表示制御装置及び表示制御方法
US9225818B2 (en) Mobile terminal
US8223158B1 (en) Method and system for connecting multiple shaders
EP3974976B1 (en) Facilitation of guest application display from host operating system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15902937

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017537080

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15564247

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015006859

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15902937

Country of ref document: EP

Kind code of ref document: A1