[go: up one dir, main page]

WO2022009338A1 - 情報処理端末、遠隔制御方法およびプログラム - Google Patents

情報処理端末、遠隔制御方法およびプログラム Download PDF

Info

Publication number
WO2022009338A1
WO2022009338A1 PCT/JP2020/026710 JP2020026710W WO2022009338A1 WO 2022009338 A1 WO2022009338 A1 WO 2022009338A1 JP 2020026710 W JP2020026710 W JP 2020026710W WO 2022009338 A1 WO2022009338 A1 WO 2022009338A1
Authority
WO
WIPO (PCT)
Prior art keywords
controlled device
control
information processing
processing terminal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/026710
Other languages
English (en)
French (fr)
Inventor
眞弓 中出
保 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2022534560A priority Critical patent/JP7515590B2/ja
Priority to US18/011,879 priority patent/US12380698B2/en
Priority to PCT/JP2020/026710 priority patent/WO2022009338A1/ja
Priority to CN202080102493.3A priority patent/CN115997388A/zh
Publication of WO2022009338A1 publication Critical patent/WO2022009338A1/ja
Anticipated expiration legal-status Critical
Priority to JP2024106510A priority patent/JP7755002B2/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Definitions

  • the present invention relates to a remote control technique for performing remote control using a mobile information terminal.
  • HMD head-mounted display
  • remote controls On the other hand, the number of devices operated by remote controllers (hereinafter referred to as "remote controls”) is increasing. In response to this, learning remote controls that integrate various remote control functions (corresponding by storing various remote control functions) and smart remote controls (managing device operations via Internet communication such as Wi-Fi and wireless LAN) are available. It is generalized. For example, in Patent Document 1, a general-purpose remote controller having directionality is directed to a target remote-controlled device to establish a wireless link, and the general-purpose remote-controlled device receives an operation application transmitted from the remote-controlled device. A remote control system for operating a remote controlled device with a remote control is disclosed.
  • the device can be selected by simply pointing the general-purpose remote controller at the device to be remotely controlled, and the selected device can be remotely controlled using the general-purpose remote controller.
  • ready-made remote controllers do not necessarily have a user-friendly interface, such as having function buttons for functions that are not normally used and the arrangement of function buttons being different from the user's preference.
  • the troublesomeness of searching for the remote controller is not eliminated.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a remote control technology that eliminates the troublesomeness of searching for a remote controller and further improves the convenience of the user.
  • the present invention is an information processing terminal provided with a communication device, which transmits a control command to a controlled device via the communication device to remotely control the controlled device, and is an image of the surroundings of the information processing terminal.
  • a virtual remote controller generation unit that identifies the controlled device and a desired control operation that is a desired control operation from the surrounding image, and generates a reception object that receives a user's operation instruction for the specified desired control operation, and the reception. It is characterized by including an operation reception unit that receives the operation instruction by the user via an object, and a command transmission unit that transmits the control command corresponding to the operation instruction received by the operation reception unit to the controlled device. And.
  • a remote control technology that eliminates the troublesomeness of searching for a remote controller and further improves the convenience of the user. Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
  • This embodiment is intended for use by an elderly user or the like who can easily lose a remote controller (remote control; remote control device), for example. Not only is it easy for older users to lose their remote controls, but they often find the many buttons on off-the-shelf remote controls annoying.
  • remote controller remote control; remote control device
  • In the present embodiment in order to solve these problems, for example, as long as the minimum necessary control operation is simply described on a suitable paper by handwriting or the like, it can be described as if it were a real remote controller. Make it available.
  • FIG. 1 is a diagram for explaining an outline of the present embodiment.
  • the user 901 wearing the HMD (head-mounted display) 100 prepares a paper or the like on which the name of the device (controlled device) to be operated and the desired control operation (desired control operation) are described.
  • the described paper or the like is referred to as a presentation surface 300
  • the described information is referred to as a description information 310.
  • the HMD 100 generates the remote control function of the controlled device as the virtual remote control image 400 from the description information 310 of the presentation surface 300 seen by the user 901 through the display 131. Then, the user 901's operation on the presentation surface 300 is accepted as an operation on the virtual remote controller image 400, and the controlled device is operated from the HMD 100.
  • the virtual remote controller image 400 is generated by the HMD 100 reading the description information 310 on the presentation surface 300 and associating it with the control command of the controlled device.
  • the generated virtual remote control image 400 may be displayed on the display 131 of the HMD 100.
  • the desired control operation described on the presentation surface 300 may be displayed on the display 131 of the HMD 100 as a function button (reception object) when it is recognized.
  • the user 901 performs an operation such as a gesture and gives an instruction to the function button to control the controlled device.
  • the presentation surface 300 may be, for example, a sheet-like member such as the above-mentioned paper. Further, the description information 310 may be described by handwriting. However, the presentation surface 300 and the description information 310 are not limited to this.
  • the user 901 can operate the controlled device as if the presentation surface 300 prepared by the user is used as a remote controller.
  • FIG. 2 is a system configuration diagram of the remote control system 500 of the present embodiment.
  • the remote control system 500 of the present embodiment includes an HMD 100, a controlled device 510, a wireless router 520, and a network server 550.
  • the wireless router 520 is connected to the network server 550 via the network 530.
  • the HMD 100 is connected to the network server 550 via the wireless router 520.
  • the controlled device 510 is connected to the wireless router 520 by a wired LAN or a wireless LAN.
  • the HMD 100 transmits a control command to the controlled device 510 via the wireless router 520.
  • the user 901 wearing the HMD 100 can control the controlled device 510 by remote control.
  • the network server 550 is an external server that stores control data for controlling the controlled device 510.
  • the control data of the controlled device 510 requested via the wireless router 520 and the network 530 from the HMD 100 is transmitted to the source HMD 100 via the network 530 and the wireless router 520.
  • the number is not limited to this.
  • the manufacturer of the controlled device 510 may provide the network server 550, respectively.
  • the network server 550 is not always necessary. After the HMD 100 acquires the necessary information from the network server 550, the controlled device 510 is controlled by communication between the HMD 100, the wireless router 520, and the controlled device 510.
  • the controlled device 510 is a device that the user 901 wearing the HMD 100 wants to control with a remote controller.
  • home appliances such as air conditioners, lighting equipment, TVs, electric fans, gas water heaters, floor heating, and other devices to which HEMS (Home Energy Management System), which is a household energy management system, can be applied.
  • HEMS Home Energy Management System
  • the controlled device 510 will be described by taking an air conditioner as an example.
  • the air conditioner is assumed to be a household air conditioner (hereinafter referred to as "air conditioner").
  • the HMD 100 is a device that the user 901 wears on the head and displays the processed information on the display 131.
  • the HMD 100 of the present embodiment has the shape of spectacles or goggles, and includes a display 131 at the lens position of the spectacles.
  • the display 131 may be a transmissive type or a non-transparent type.
  • the user 901 can observe the situation in the real space through the display 131.
  • an augmented reality AR object is displayed on the display 131. Therefore, the user 901 can simultaneously visually recognize both the AR object displayed on the display 131 and the situation in the real space.
  • FIG. 3 is a block diagram showing a configuration example of the HMD 100 of the present embodiment.
  • the same components as those shown in FIGS. 1 and 2 are designated by the same reference numerals.
  • the HMD 100 of the present embodiment includes a main processor 111, a system bus 112, a storage device 110, an operation reception device 120, an image processing device 130, a voice processing device 140, and a sensor 150. , The communication device 160, the expansion interface (I / F) unit 105, and the timer 106.
  • the main processor 111 is a main control unit that controls the entire HMD 100 according to a predetermined program.
  • the main processor 111 is realized by a CPU (Central Processor Unit) or a microprocessor unit (MPU).
  • the main processor 111 performs the operation control processing of the entire HMD 100 by executing a program such as an operating system (Operating System: OS) stored in the storage device 110 and various operation control applications. Further, the main processor 111 controls the activation operation of various applications.
  • the main processor 111 performs processing according to a clock signal measured and output by the timer 106.
  • the system bus 112 is a data communication path for transmitting / receiving data between the main processor 111 and each part in the HMD 100.
  • the storage device 110 includes a RAM 113, a ROM 114, and a flash memory 115.
  • the storage device 110 stores programs such as an operating system and various operation control applications such as music, images, and documents.
  • information data such as base data required for basic operations by the operating system and file data started by various applications are stored. For example, when a music application installed in the HMD 100 is activated and music file data is selected, the selected music file data is played back in the HMD 100, and desired music can be listened to.
  • RAM 113 is a program area for executing basic operation programs and other application programs. Further, the RAM 113 is a temporary storage area for temporarily holding data as needed when executing various application programs. The RAM 113 may be integrated with the main processor 111.
  • the ROM 114 and the flash memory 115 store various programs for realizing the functions of the HMD 100, sensor information including operation setting values and detection values from the sensor 150 described later, and various display data such as virtual objects and contents.
  • the flash memory 115 stores an operation program downloaded from the network 530 and various data created by the operation program. Each operation program stored in the flash memory 115 can be updated and expanded by a download process from each server device on the network 530.
  • the flash memory 115 can store contents such as moving images, still images, and sounds downloaded from the network 530. It also stores data such as moving images and still images taken by the in-camera 134 or the out-camera 133.
  • the ROM 114 and the flash memory 115 are so-called non-volatile storages that hold the stored information even when the HMD 100 is not supplied with power from the outside.
  • an internal memory storage Internal Memory Storage
  • the HMD 100 can realize various functions by the main processor 111 expanding and executing a new application program stored in the built-in memory storage in the RAM 113.
  • the built-in memory storage needs to hold the stored information even when the power is not supplied to the HMD 100. Therefore, for the built-in memory storage, for example, a device such as a flash ROM, an SSD (Solid State Drive), or an HDD (Hard Disk Drive) is used.
  • a device such as a flash ROM, an SSD (Solid State Drive), or an HDD (Hard Disk Drive) is used.
  • the operation receiving device 120 receives an input of an operation instruction to the HMD 100.
  • a button switch 121 and a touch panel 122 are provided.
  • the button switch 121 is a power key, a volume key, a home key, or the like.
  • the touch panel 122 receives an operation instruction by the touch pad.
  • the HMD 100 of the present embodiment does not necessarily have to include all of these operation reception devices 120. Further, the operation of the HMD 100 may be accepted via another information processing terminal device connected by wired communication or wireless communication.
  • the operation receiving device 120 may be provided in a position or form within the HMD 100 where the user 901 can easily perform an input operation. It should be noted that the form may be separated from the main body of the HMD 100 and connected by wire or wirelessly. Further, the line of sight of the user 901 may be used. For those using the line of sight, for example, the input operation screen is displayed in the display 131, and the input operation information is captured by the position on the input operation screen on which the line of sight of the user 901 detected by the in-camera 134 described later is facing. The pointer may be displayed on the input operation screen, and the input operation information may be captured by operating the pointer. Further, the user 901 may utter a voice indicating an input operation, collect the sound with a microphone 143 described later, and capture the input operation information.
  • the image processing device 130 is an image (video) processor and includes a display 131, an out-camera 133, and an in-camera 134.
  • the display 131 is a display device (display) such as a liquid crystal panel, and presents the image data processed by the image signal processing unit to the user of the HMD 100.
  • the display 131 includes a display for the left eye and a display for the right eye.
  • the display 131 may be a transmissive (optical transmissive) display or a non-transmissive (video transmissive) display.
  • the optical transmissive display is equipped with a projection unit that projects various information such as playback information by the startup application and notification information to the user 901, and a transparent half mirror that displays various projected information in an image in front of the eyes.
  • the video transmissive display includes a liquid crystal panel and the like that display various information together with the real space object in front of the photograph taken by the out-camera 133. With the display 131, the user 901 visually recognizes the reproduction information such as music, images, and documents by the activation application in addition to the image in the field of view in front of the user.
  • the image signal processing unit is an image (video) signal processor that processes images input from the out-camera 133 and the in-camera 134. Further, the image signal processing unit superimposes the object created by the main processor 111 or the like on the input image and outputs the object to the display 131.
  • the image signal processing unit may be realized by the main processor 111, or may be realized by providing a processor dedicated to the image separately from the main processor 111.
  • an image or the like imitating a remote control screen is displayed as an AR object on the display 131.
  • the out-camera 133 and the in-camera 134 use an electronic device such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Sensor) sensor to convert the light input from the lens into an electric signal to convert the light input from the lens into an electric signal, thereby surrounding or an object. It is a camera that inputs image data.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Sensor
  • the out-camera 133 acquires an image around the HMD 100.
  • the out-camera 133 is installed in front of the HMD 100 and captures the front view field state.
  • the HMD 100 includes an optical transmission type and a video transmission type depending on the type of the display 131, both of which capture the visual field view state in front of the eyes taken by the out-camera 133.
  • the in-camera 134 acquires an image in a region different from that of the out-camera 133. For example, the eyes of the user 901 are photographed.
  • the in-camera 134 functions as a line-of-sight detection sensor together with a processing unit that performs line-of-sight identification processing.
  • the line-of-sight detection sensor includes a right line-of-sight detection unit and a left line-of-sight detection unit, and detects the line of sight of the right eye and the left eye, respectively.
  • the process of detecting the line of sight may be performed by using a well-known technique generally used as an eye tracking process.
  • the face is irradiated with an infrared LED (Light Emitting Diode)
  • the image is taken with an infrared camera
  • the position of the reflected light generated by the infrared LED irradiation on the corneal (corneal reflex) is used as a reference point.
  • Detects the line of sight based on the position of the pupil relative to the position of the corneal reflex.
  • an infrared camera and an infrared LED are provided.
  • the voice processing device 140 is an audio processor that processes voice. It includes a speaker 141 and a microphone 143.
  • the speaker 141 outputs the audio signal processed by the audio signal processing unit to the outside.
  • the audio signal processing unit is an audio signal processor.
  • HMD100 for example, headphones and the like are used.
  • the microphone 143 converts the voice of the user, etc. into voice data and inputs it.
  • a peripheral sound microphone and a vocal sound microphone may be provided.
  • Each of these microphones collects external voice and user 901's own utterance. Headphones may be connected. The headphones are worn on the ears of the user 901 and listen to the voice to the user 901.
  • the sensor 150 is a group of sensors for detecting the state of the HMD 100.
  • a GPS (Global Positioning System) receiving unit 151 receives the position, movement, tilt, direction, etc.
  • a gyro sensor 152 detects the position, movement, tilt, direction, etc.
  • a geomagnetic sensor 153 detects the position, movement, tilt, direction, etc.
  • an acceleration sensor 154 acquires the distance information from the HMD 100 to the object.
  • other sensors may be further provided.
  • the acceleration sensor 154 is a sensor that detects acceleration, which is a change in speed per unit time, and can capture movement, vibration, impact, and the like.
  • the gyro sensor 152 is a sensor that detects the angular velocity in the rotation direction, and can capture the state of the vertical, horizontal, and diagonal postures. The movement of the HMD 100 can be detected by using the acceleration sensor 154 and the gyro sensor 152 mounted on the HMD 100.
  • the geomagnetic sensor 153 is a sensor that detects the magnetic force of the earth, and detects the direction in which the HMD 100 is facing.
  • the movement of the HMD 100 may be detected by capturing the change in the geomagnetism with respect to the movement of the HMD 100 by using a three-axis type that detects the geomagnetism in the vertical direction in addition to the front-back direction and the left-right direction.
  • the depth sensor 155 is a sensor that can capture the shape of an object such as a person or an object as a three-dimensional object.
  • LiDAR Light Detection and Ringing
  • TOF Time Of Flight
  • a millimeter-wave radar that detects the state of a pair of elephants is used.
  • the communication device 160 is a communication interface that performs wireless communication with other information terminals in the vicinity by short-range wireless communication, wireless LAN, or base station communication. In wireless communication, data is transmitted and received via the transmission / reception antenna.
  • the communication device 160 includes a LAN (Local Area Network) communication interface (I / F) 161, a telephone network communication I / F 162, a BT (Bluetooth®) communication I / F 163, an infrared communication I / F 164, and the like. To prepare for.
  • LAN Local Area Network
  • I / F Local Area Network
  • BT Bluetooth®
  • the LAN communication I / F161 is connected to a network 530 such as the Internet via a wireless access point or the like, and transmits / receives data to / from each server on the network 530.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the telephone network communication I / F 162 is connected to a communication network using a mobile telephone communication network, and transmits / receives information to / from a server on the communication network.
  • the communication method used includes, for example, GSM (registered trademark) (Global System for Mobile Communications) method, W-CDMA (Wideband Code Division Multiple Access) method, CDMA2000 method, UMTS (Universal System) method, etc.
  • GSM Global System for Mobile Communications
  • W-CDMA Wideband Code Division Multiple Access
  • CDMA2000 method Code Division Multiple Access 2000 method
  • UMTS Universal System
  • 3G generation mobile communication systems
  • LTE Long Term Evolution
  • 5G 5th generation
  • the BT communication I / F163 is an interface for communicating with an external device according to the Bluetooth standard.
  • the infrared communication I / F164 is an interface for communicating with an external device by infrared rays.
  • IrDA Infrared Data Association, registered trademark
  • Zigbee registered trademark
  • HomeRF Home Radio Frequency, registered trademark
  • it may be performed using a wireless LAN such as Wi-Fi (registered trademark).
  • Wi-Fi registered trademark
  • UWB Ultra Wide Band
  • the LAN communication I / F161, the telephone network communication I / F162, the BT communication I / F163, and the infrared communication I / F164 are each provided with a coding circuit, a decoding circuit, an antenna, and the like.
  • the communication device 160 may use another method such as communication by optical communication sound wave as a means of wireless communication. In that case, instead of the transmitting / receiving antenna, a light emitting / receiving unit and a sound wave output / sound wave input unit are used, respectively.
  • the expansion interface unit 105 is a group of interfaces for expanding the functions of the HMD 100, and in the present embodiment, it includes a charging terminal, a video / audio interface, a USB (Universal Serial Bus) interface, a memory interface, and the like.
  • the video / audio interface inputs video / audio signals from an external video / audio output device, outputs video / audio signals to an external video / audio input device, and the like.
  • the USB interface connects SB devices.
  • the memory interface connects a memory card or other memory medium to send and receive data.
  • the configuration example of the HMD 100 shown in FIG. 3 includes a configuration that is not essential to the present embodiment, the effect of the present embodiment is not impaired even if the configuration is not provided with these. Further, a configuration (not shown) such as a digital broadcast receiving function and an electronic money payment function may be further added.
  • FIG. 4 is a functional block diagram of the HMD 100 of the present embodiment. Each function shown in this figure is realized by the main processor 111 loading a program stored in the internal memory storage into the RAM 113 and executing the program.
  • the HMD 100 includes a main control unit 210, a virtual remote controller generation unit 220, an operation reception unit 230, a command transmission unit 240, and a data storage unit 250.
  • the data storage unit 250 stores an analysis table 251, a control data table 252, a remote control table 253, a gesture operation table 254, and processing data 255.
  • the data storage unit 250 is built in the internal memory storage or the RAM 113.
  • the main control unit 210 controls the operation of the entire HMD 100.
  • the virtual remote controller generation unit 220 generates the virtual remote controller of the controlled device 510 from the description information 310 on the presentation surface 300.
  • the virtual remote controller is a function that allows the user 901 of the HMD 100 to use the description information 310 on the presentation surface 300 like a remote controller of the controlled device 510.
  • the virtual remote controller generation unit 220 of the present embodiment generates a virtual remote controller image 400 in which the function buttons of the remote controller are superimposed and presented on the corresponding description information 310 of the presentation surface 300.
  • the operation receiving unit 230 which will be described later, receives an operation instruction of the user 901 for the function button on the virtual remote controller image 400, and the command transmitting unit 240 transmits a control command to the controlled device 510.
  • the virtual remote controller generation unit 220 of the present embodiment includes an image acquisition unit 221, a specific information acquisition unit 222, a control data acquisition unit 223, a corresponding unit 224, and a virtual image generation unit 225.
  • the image acquisition unit 221 acquires an image of the presentation surface 300, which is the base of the virtual remote controller.
  • the out-camera 133 captures the real space and acquires the surrounding image.
  • the real space to be photographed includes the description information 310 of the presentation surface 300.
  • the specific information acquisition unit 222 performs the specific information acquisition process.
  • the specific information acquisition process is a process of analyzing the surrounding image acquired by the image acquisition unit 221 and specifying a controlled device that is a device that the user 901 wants to operate and a desired control operation that is a control operation that the user wants to operate.
  • the description information 310 on the presentation surface 300 is analyzed to identify the controlled device and the desired controlled operation.
  • the analysis table 251 is used.
  • the specific results are output as controlled device specific information and desired control operation specific information, respectively.
  • the analysis table 251 and the specific information acquisition process will be described later.
  • the control data acquisition unit 223 performs the control data acquisition process, and the control data acquisition process is a process of acquiring the control data of the controlled device 510 specified by the specific information acquisition unit 222.
  • the control data acquisition unit 223 first determines whether or not the control data of the controlled device 510 is stored in the control data table 252 of the own device (HMD100). Then, if it is not stored, the connectable controlled device 510 confirms the presence or absence of the controlled device 510 that is not stored in the control data table 252.
  • information on the controlled device 510 such as a device name and a model number, is acquired from the controlled device 510, and control data is acquired from the network server 550.
  • the control data acquired from the network server 550 is stored in the control data table 252 in association with the identification information (ID) given to each controlled device 510.
  • ID identification information
  • control data includes possible control operations for each controlled device 510 and control commands for each control operation.
  • Correspondence unit 224 performs correspondence processing for associating a desired control operation specified by the specific information acquisition unit 222 with a control command included in the control data.
  • the associated result is stored in the remote control table 253.
  • the remote control table 253 is the control data of the virtual remote control desired by the user 901. The details of the corresponding processing and the remote control table 253 will be described later.
  • the virtual image generation unit 225 generates a virtual remote controller image 400 that functions as a virtual remote controller and displays it on the display 131.
  • the display position is a position that matches the presentation surface 300 with respect to the line-of-sight direction of the user 901.
  • the virtual image generation unit 225 generates the virtual remote control image 400 by using the remote control table 253.
  • the virtual remote control image 400 includes a controlled device information display area 410 and a desired control operation display area 420.
  • the controlled device name 411 is displayed as information for identifying the controlled device specified by the specific information acquisition unit 222. In the example of this figure, it is displayed as "air conditioner".
  • reception objects 421 and 422 of the function button for receiving the instruction of the user 901 for the desired control operation specified by the specific information acquisition unit 222 are displayed.
  • the reception objects 421 and 422 are created for each desired control operation.
  • the display position of the reception objects 421 and 422 is the position on the presentation surface 300 where the information corresponding to the desired control operation is described in the description information 310.
  • the operation reception unit 230 receives the operation instruction of the user 901 for the virtual remote controller (virtual remote controller image 400).
  • the virtual remote controller virtual remote controller image 400
  • it is accepted as an operation instruction for a desired control operation corresponding to the reception objects 421 and 422.
  • the operation instruction is given by, for example, a gesture operation or a line-of-sight operation.
  • the operation reception unit 230 analyzes these operations with reference to the gesture operation table 254 and the like, and detects the operation instruction. When there is a predetermined operation, it is determined that the reception objects 421 and 422 are selected. Then, the desired control operation associated with the reception objects 421 and 422 is specified.
  • the operation reception unit 230 detects the gesture operation of the user 901 by the movement of the hand extracted from the image taken by the sensor 150 provided in the HMD 100 or the out-camera 133. Further, the line-of-sight operation is detected by using the function of the line-of-sight detection sensor.
  • the command transmission unit 240 transmits a control command associated with the specified desired control operation to the controlled device.
  • transmission is performed to the controlled device 510 via the communication device 160 and the wireless router 520.
  • the control command is acquired from the remote control table 253.
  • the analysis table 251 is used when the specific information acquisition unit 222 analyzes the description information 310.
  • This is a table in which analysis results are registered in association with character strings, figures, colors, etc. (hereinafter, character strings, etc.) that may be described in the description information 310.
  • FIG. 6 is a diagram showing an example of the analysis table 251 of the present embodiment. As shown in this figure, in the analysis table 251, the analysis content 251b and the description type 251c are registered in association with each description content 251a.
  • a candidate such as a character string described by the user 901 as the description information 310 on the presentation surface 300 is stored.
  • the names of controlled devices 510 such as air conditioners, coolers, lighting fixtures, lights, lamps, and televisions, and the names of desired control operations such as cooling, heating, dehumidification, ventilation, stop, lighting, and extinguishing are stored. ..
  • desired control operations such as cooling, heating, dehumidification, ventilation, stop, lighting, and extinguishing.
  • various different names and descriptions are also stored for each of the name of the controlled device 510 and the name of the desired controlled operation. These are character strings and the like that may be described by the user 901.
  • the analysis content 251b stores the analysis content of the name of the controlled device 510 or the name of the desired control operation described in the description content 251a.
  • the analysis content is information that uniquely identifies a character string or the like that may be described by a large number of users 901.
  • the description content 251a is the name of the controlled device 510
  • the device name that identifies the controlled device 510 is stored.
  • the description content 251a is an "air conditioner”, a “cooler”, or the like
  • the “air conditioner device” is stored.
  • lighting equipment "light”, and “lamp”, "lighting equipment” is stored.
  • description content 251a is the name of the desired control operation
  • information specifying the desired control operation is stored. Specifically, when the description content 251a is “cooling” or the like, “cooling function on” is stored, and when the description content 251a is “stop” or the like, "stop” is stored.
  • the description type 251c stores the type of what the description content 251a represents. In the present embodiment, either the controlled device 510 or the desired controlled operation is registered.
  • the specific information acquisition unit 222 analyzes the description information 310 on the presentation surface 300 and extracts a character string or the like. Then, the information matching the extracted character string or the like is searched for and detected in the description content 251a of the analysis table 251. Then, the analysis content 251b and the description type 251c registered corresponding to the analysis content 251b are extracted. When the description type 251c indicates a controlled device, the analysis content 251b is output as the controlled device identification information. On the other hand, when the description type 251c indicates a desired control operation, the analysis content 251b is output as the desired control operation specific information.
  • the specific information acquisition unit 222 collates the content described as the description information 310 on the presentation surface 300 with the description content 251a, and uses the analysis content 251b and the description type 251c of the data having a match as the analysis result. ..
  • description information 310 includes “Ray Bow”, “Ray”, “Cooling”, “Cold”, etc., "Cooling function on” and “Desirable control operation” are used as analysis results.
  • the description information 310 includes “electricity”, “denki”, “lighting”, “showmei”, “light”, etc., “lighting equipment” and “controlled equipment” are used as the analysis results.
  • the analysis table 251 is an example, and the description of other character strings not described and the analysis contents for the character strings will be omitted here. Moreover, each character string is only an example. Further, as described above, the description information 310 can use figures (illustrations), pictograms (snow marks, flame marks, etc.), symbols, and the like in addition to the character strings.
  • the specific information acquisition unit 222 When the information described in the description information 310 is not registered in the analysis table 251, the specific information acquisition unit 222 newly registers the result (character string or the like) of the analysis of the description information 310 in the description content 251a. do. In this case, the corresponding analysis content 251b and description type 251c accept registration from the user 901.
  • the control data table 252 stores the control data of the controlled device 510.
  • FIG. 7A is a diagram showing an example of the control data table 252 of the present embodiment. As shown in this figure, the control data table 252 is associated with the controlled device name 252a, its identification information (ID) 252b, the control data 252c of the controlled device 510, and the details of the controlled device 510. Information 252d and is stored.
  • the ID 252b may be any information as long as the control data of the controlled device 510 is uniquely determined. For example, a model number or the like set by the manufacturer may be used.
  • the control data 252c is a set of control commands for each possible control operation in the controlled device.
  • the detailed information 252d is, for example, a name, a maker name, a physical address, or the like.
  • the detailed information 252d is used for connection between the HMD 100 and the controlled device 510 and the like.
  • the detailed information 252d may be stored as a sub-table associated with the ID 252b instead of on the same control data table 252.
  • control data table 252 the above information is registered in advance for the controlled device 510 to which the user 901 has previously connected and the controlled device 510 that may be used. Further, the control data acquisition unit 223 may acquire and register the data from the network server 550.
  • the remote control table 253 is a table in which information for specifying the controlled device 510 to be controlled by the virtual remote control and control commands for each desired control operation are stored.
  • FIG. 7B is a diagram showing an example of the remote control table 253 of the present embodiment.
  • the description type 253a, the analysis content 253b, the identification information (ID) 253c, the control command 253d, the area 253e, and the display data 253f are stored in the remote control table 253.
  • the remote control table 253 may store 253 g of the creation date and time.
  • the description type 253a is the type of the description information 310 (controlled device or desired control operation).
  • the description type 251c obtained as a result of analysis by the specific information acquisition unit 222 using the analysis table 251 is stored.
  • the analysis content 253b is the result of the specific information acquisition unit 222 analyzing the description information 310.
  • the analysis content 251b of the analysis table 251 is stored.
  • the ID 253c stores an ID that uniquely identifies the controlled device.
  • the ID of the controlled device 510 is acquired by the specific information acquisition unit 222 from the controlled device main body, the network, or the like based on the analysis content 251b of the controlled device.
  • the control command 253d is a control command corresponding to the control operation when the description type 253a is a desired control operation.
  • the corresponding unit 224 acquires and stores the control data table 252.
  • the display data 253f is data to be displayed on the virtual remote controller image 400.
  • the area 253e is information for specifying the display area of the virtual remote control image 400.
  • the analysis result by the specific information acquisition unit 222 is stored.
  • the area 253e for example, information specified by the pixel position of the image acquired by the HMD 100 is stored.
  • the virtual image generation unit 225 generates a reception object of the function button group by using the handwritten character string described on the presentation surface 300 as a function button.
  • the virtual image generation unit 225 when the virtual image generation unit 225 generates the virtual remote control image 400, it is registered in the display data 253f of the data in which the "controlled device" is registered as the description type 253a in the controlled device information display area 410. Display the information that is being displayed. In the case of FIG. 7B, it is an "air conditioner".
  • the virtual image generation unit 225 displays the display data 253f of all the data in which the "desired control operation" is registered in the description type 253a in the desired control operation display area 420 of the virtual remote controller image 400. In the case of FIG. 7B, it is "cooling” and “stopping".
  • the main control unit 210 erases the display of the virtual remote controller image 400 when a predetermined period elapses or when an instruction is received from the user 901. At this time, the remote control table 253 is also erased at the same time. As a result, wasteful memory consumption can be avoided.
  • the predetermined period is, for example, 1 minute, 1 hour, 1 week during the registration date, and the like.
  • the remote control table 253 may be erased after a lapse of a predetermined time. In this case, even if the display of the virtual remote control image 400 is erased, before the remote control table 253 is erased, the user 901 sees the controlled device 510, and the virtual remote control image 400 is displayed again and operated. Accept.
  • the remote control table 253 may be configured to be deleted when the virtual remote control generation process for the next controlled device 510 is started.
  • the gesture operation table 254 is a table in which operation instructions are associated and registered for each gesture of the user 901. It is used when specifying an operation instruction from the gesture operation of the user 901 detected by the operation reception unit 230.
  • FIG. 8 is a diagram showing an example of the gesture operation table 254 of this embodiment. As shown in this figure, the gesture operation table 254 includes a gesture operation 254a and an operation instruction 254b.
  • the gesture operation 254a is a gesture of the user 901 that the operation reception unit 230 may detect.
  • the operation instruction 254b stores the content of the operation instruction corresponding to each gesture.
  • the content of the operation instruction is predetermined.
  • User 901 may register a desired operation instruction.
  • the operation reception unit 230 detects the operation of touching the function button which is the reception object 421 or 422 as the gesture operation of the user 901, the operation reception unit 230 executes the corresponding function (here, the control operation). It is determined from the instruction, and the control command associated with the execution instruction is acquired from the remote controller table 253.
  • the command transmission unit 240 transmits the control command to the controlled device 510.
  • the operation reception unit 230 moves the function button. Determine from the instruction. Further, as a gesture operation, when the operation of sliding out of the function button display area while pressing the presented function button is detected, the operation reception unit 230 determines that the instruction is to delete the function button. Further, when the operation of drawing an arc so as to surround the entire presented function button group is detected as the gesture operation, the operation reception unit 230 determines that the instruction is to select the function button surrounded by the arc. Further, when the user 901 detects the gesture operation of moving the hand sideways, the operation reception unit 230 determines that the instruction is to end the function button display.
  • the in-camera 134 may detect the line of sight of the user 901 and select a function button or the like.
  • the user 901 can freely set the arrangement of the function buttons.
  • the data required for processing, the data generated during processing, and the data generated as a result of processing are stored in the processing data 255.
  • the user 901 uses each of these functions and data to obtain an operating environment as if the presentation surface 300 became a remote controller only by visually recognizing the presentation surface 300 through the display 131 of the HMD 100.
  • FIG. 9 is a processing flow of the remote control processing of the present embodiment. This process is started when the user 901 instructs or the HMD 100 detects the presentation surface 300.
  • the data is deleted after a predetermined period has elapsed after the virtual remote controller image 400 is created will be described as an example.
  • the image acquisition unit 221 acquires a surrounding image (step S1101).
  • the specific information acquisition unit 222 performs a specific information acquisition process of acquiring specific information (controlled device specific information and desired control operation specific information) from the surrounding image (step S1102).
  • the control data acquisition unit 223 performs a control data acquisition process for acquiring the control data of the controlled device 510 based on the controlled device identification information (step S1103).
  • the control data is acquired from the storage device 110 if it is in the storage device 110 of the own device, or from the network server 550 via the communication device 160 if it is not.
  • the control data acquisition unit 223 determines in step S1103 whether or not control information regarding the device specified as the controlled device could be acquired (step S1104).
  • control data can be obtained from either the own device or the network server 550 (S1104; Yes)
  • the corresponding unit 224 performs the corresponding process to complete the remote control table 253 (step S1105).
  • the control command is associated with the desired control operation.
  • the virtual image generation unit 225 refers to the remote control table 253 and generates a virtual remote control image (step S1106).
  • the virtual image generation unit 225 creates display data including the reception objects 421 and 422 of the function buttons associated with the control commands and the display of the names of the controlled devices 510.
  • the display data to be created is generated so as to be arranged in the corresponding area of the surrounding image acquired by the image acquisition unit 221. For example, as shown in FIG. 1, the function button for receiving the instruction of the controlled device in the area where "air conditioner” is described and the instruction of "cooling" in the area where "cooling” is described on the presentation surface 300 is "stopped". Is generated so that a function button that accepts the instruction of "stop” is displayed in the area where "" is described.
  • the virtual remote control image does not have to be displayed. However, the area information of the function buttons (reception objects 421 and 422) is retained, and the instruction of the user 901 is received.
  • the operation reception unit 230 receives the operation instruction of the user 901 by holding the information on the arrangement position of the reception objects 421 and 422 and the corresponding control operation.
  • the main control unit 210 causes the timer 106 to start the timer count (step S1107). Then, it is determined whether or not the value tm of the timer exceeds the predetermined period Th (tm ⁇ Th) (step S1108), and if the value tm exceeds the period Th (tm> Th), the main control unit 210 determines.
  • the remote control table 253 is erased (step S1111), and the process ends.
  • the operation receiving unit 230 receives the operation instruction for the desired control operation by the user 901 (step S1109), the operation receiving unit 230 receives the control command for the received control operation. Is extracted from the remote control table 253.
  • the command transmission unit 240 transmits the extracted control command to the controlled device 510 (step S1110) via the communication device 160, and returns to step S1108.
  • step S1104 If the control data could not be acquired in step S1104 (S1104; No), the main control unit 210 performs a display process (NG display process) when the control data could not be acquired (step S1112), and ends the process.
  • NG display process for example, a message indicating that the control data of the specified controlled device 510 could not be obtained is displayed on the display 131, or a message indicating that the virtual remote controller cannot be created is displayed on the display 131. Display it.
  • FIG. 10 is a processing flow of the specific information acquisition process of the present embodiment. This process is a process of analyzing the surrounding image and completing the description type 253a, the analysis content 253b, and the ID 253c of the remote controller table 253.
  • the specific information acquisition unit 222 first performs the presentation surface shape grasping process (step S1201).
  • This presentation surface shape grasping process is a process for grasping the shape of the presentation surface 300. Specifically, the surrounding image taken by the out-camera 133 is analyzed, and the predetermined shape of the presentation surface 300 is detected. In this embodiment, the outer frame 305 is detected. The area of the detected outer frame 305 is used as a scanning area for detecting the name of the controlled device 510 and information on the desired control operation. As described above, the name of the controlled device and the desired control operation are drawn on the presentation surface 300 as the description information 310.
  • the shape of the outer frame 305 is, for example, a rectangle. However, the shape is not limited. Further, the shape does not have to be an accurate figure. For example, in handwriting, the rectangular line may be shaken or the corners may be slightly rounded, so it is judged to be a rectangle based on the rectangularness. Further, the mark and characters drawn in the rectangular outer frame 305 may be combined to determine the presentation surface 300. For example, the presentation surface 300 may have the characteristics of each of the "remote control", the mark circled "ri", the user's favorite mark, and the like.
  • the specific information acquisition unit 222 determines whether or not the description information 310 that may correspond to the controlled device information or the desired control operation information exists in the scanning area of the presentation surface 300 (step S1202). .. When determining the presence or absence of information, for example, the scanning area is binarized, and a simple image analysis process such as whether or not there is a continuous black area having a predetermined size or more is performed.
  • the NG display process is performed (step S1211), and the process ends.
  • a message or the like indicating that the description information 310 cannot be detected is output.
  • the degree of the presentation surface 300-likeness may be calculated at the time of determining whether or not the presentation surface 300 is present, and a message may be displayed when the degree is equal to or higher than a certain threshold value.
  • the specific information acquisition unit 222 performs a presentation surface analysis process for analyzing the scanning region in detail (step S1203).
  • the presentation surface analysis process the description information 310 is analyzed, and the controlled device information candidate and the desired control operation information candidate are extracted.
  • the controlled device information candidate and the desired control operation information candidate are extracted by comparing the analysis result of the description information 310 with the description content 251a registered in the analysis table 251. For example, in the example of FIG. 1, "air conditioner” is extracted as a controlled device information candidate, and "cooling" and "stop” are extracted as desired control operation candidates. At this time, the analysis content 251b corresponding to each of the controlled device information candidate and the desired control operation candidate is determined.
  • the specific information acquisition unit 222 performs an ID acquisition process for acquiring the identification information (ID) of the controlled device 510 from the controlled device information candidate (step S1204).
  • ID is information that uniquely identifies the controlled device 510, for example, a model number or the like.
  • it may be detailed device information such as the manufacturer name of the controlled device 510, the type of the device, and the physical address.
  • the specific information acquisition unit 222 selects, for example, the type of device by comparing the controlled device information candidate with the analysis table 251.
  • the type of device is, for example, information registered in the analysis content 251b of the analysis table 251.
  • the identification information (ID) 252b of all the records in which the selected device type is registered as the controlled device name 252a is acquired from the control data table 252, and the details corresponding to the acquired identification information (ID) 252b.
  • the information 252d may be used to send a connection establishment request to the surroundings and determine whether or not a response can be obtained. As a result, the response is received only from the corresponding type of device.
  • the ID acquisition process it is possible to determine whether or not there is a controlled device 510 in the vicinity capable of transmitting a control command by a virtual remote controller. That is, the specific information acquisition unit 222 determines whether or not there is a response within a predetermined period (step S1205).
  • the specific information acquisition unit 222 When a response is obtained within a predetermined period (S1205; Yes), the specific information acquisition unit 222 outputs the extracted and specified analysis content 251b, its description type 251c, and ID 252b to the control data acquisition unit 223. Further, the specific information acquisition unit 222 further registers the extracted and specified information in the remote controller table 253 (step S1206), and ends the process.
  • the information to be registered is the description type 253a, the analysis content 253b, the ID 253c, and the area 253e and the display data 253f obtained by the presentation surface analysis process.
  • step S1205 if no response is obtained (S1205; No), the process proceeds to step S1211, NG display processing is performed, and the processing is terminated.
  • NG display processing in this case, a message indicating that there is no controlled device 510 capable of transmitting an operation command by the virtual remote controller is output in the surrounding area.
  • the selection rule when a response is obtained from a plurality of controlled devices 510 is set in advance.
  • the rules are, for example, the device that has transmitted the response earliest, the device in the line-of-sight direction of the user 901, the device that is presented to the user 901, and the selection is accepted.
  • the specific information acquisition unit 222 may search for a connectable controlled device 510 when a response is not obtained from the desired device. At this time, when a new controlled device 510 that is not registered in the control data table 252 is detected, detailed information of the new controlled device 510 is acquired and registered in the control data table 252. Then, it is confirmed whether or not there is a device corresponding to the controlled device information candidate among the new controlled devices 510.
  • the user 901 may acquire the ID 252b by photographing the manufacturer name and model number of the controlled device 510 with the out-camera 133. Further, the external shape of the controlled device 510 may be photographed, and an inquiry may be made to the network server 550 together with the photographed image. Further, the user 901 may acquire it from the homepage of the manufacturer or the like. In this case, the user 901 may manually describe some of the detailed information on the presentation surface 300 and acquire it as shooting data. Further, the user 901 may generate some of the detailed information by voice and acquire it by the voice processing device 140.
  • an ID is assigned to each controlled device 510 registered at the time of registration in the control data table 252.
  • the user 901 does not need to accurately describe the name of the controlled device 510 as the information of the controlled device 510 on the presentation surface 300. For example, it may be drawn with other characters such as "cooler” or "cold air conditioner” or a picture that can be judged as an air conditioner.
  • various expected expressions that the user 901 may describe are registered in advance in the analysis table 251.
  • AI Artificial Intelligence
  • FIG. 11 is a processing flow of the control data acquisition process of the present embodiment. This process is a process of acquiring the control data of the controlled device 510 specified by the specific information acquisition process.
  • the control data acquisition unit 223 determines whether or not the control data of the device is registered based on the controlled device identification information including the ID of the controlled device 510 specified by the specific information acquisition unit 222, in the control data table 252. Is searched (step S1301).
  • the control data table 252 is searched based on the ID, and it is determined whether or not the data having the matching ID 252b is registered.
  • the control data acquisition unit 223 performs the control command extraction process (step S1302). Specifically, the control data of the matching data is referred to, and the control command associated with the analysis content of the desired control operation is extracted for each desired control operation.
  • the specific information acquisition unit 242 acquires the ID of the controlled device 510 from the ID control data table 252 in the specific information acquisition process, it corresponds to the acquired ID 252b without searching the control data table 252 again.
  • the control command may be extracted from the attached control data 252c.
  • control data acquisition unit 223 registers each of the extracted control commands in the remote control table 253 in association with the desired control operation (step S1303), and ends the process.
  • control data acquisition unit 223 requests the network server 550 for the control data corresponding to the ID (step S1304). Then, it is determined whether or not the return control data has been received (step S1305).
  • control data acquisition unit 223 registers the received control data in the control data table 252 in association with the controlled device name and ID (step S1306), and steps. Move to S1302.
  • step S1305 If a request is made to the network server 550 in step S1305 but a response indicating that there is no control data is obtained, or if there is no response within a predetermined period (S1305; No), the control data acquisition unit 223 The NG display process is performed (step S1311), and the process is terminated.
  • a message or the like indicating that the control data of the controlled device 510 cannot be obtained is output.
  • the HMD 100 of the present embodiment includes the communication device 160, and transmits a control command to the controlled device 510 via the communication device 160 to remotely control the controlled device 510. Then, the controlled device 510 and the desired control operation which is the desired control operation are specified from the surrounding image which is the surrounding image, and the reception objects 421 and 422 which receive the operation instruction of the user 901 for the specified desired control operation are generated.
  • the virtual remote controller generation unit 220, the operation reception unit 230 that receives the operation instruction by the user 901 via the reception objects 421 and 422, and the control command corresponding to the operation instruction received by the operation reception unit 230 are transmitted to the controlled device 510. It includes a command transmission unit 240.
  • the surrounding image includes a presentation surface 300 having a notation indicating a desired control operation.
  • the virtual remote control generation unit 220 has a specific information acquisition unit 222 that acquires controlled device specific information that identifies the controlled device 510 and desired control operation specific information that specifies a desired control operation from surrounding images, and a controlled device.
  • the control data acquisition unit 223 that acquires the control data of the controlled device using the control device specific information, and the corresponding unit 224 that associates the control command that controls the controlled device 510 included in the control data with the desired control operation.
  • a virtual remote control image 400 for arranging the reception objects 421 and 422 in the area where the notation indicating the desired control operation is displayed is generated. It includes an image generation unit 225.
  • the surface for presenting the remote control function button (presentation surface 300) is imaged by the out-camera 133 mounted on the HMD 100, and the figures and characters drawn on the presentation surface 300 are used.
  • the controlled device 510 to be operated and the function (desired controlled operation) are grasped, and the function button of the remote controller that controls the controlled device 510 is presented as an AR object (function button image, etc.) at the place where the function is drawn.
  • the AR object and the characters / images printed or described on the presentation surface 300 are superimposed and presented on the presentation surface 300.
  • the HMD 100 controls the controlled device by accepting operations such as selection, movement, and erasure of the function button of the user 901 by the gesture operation of the user 901 with respect to the function button.
  • a virtual remote controller can be generated at any time, and in this virtual remote controller, only the functions required for the user 901 can be displayed as function buttons.
  • the presentation surface 300 which is the base of the virtual remote controller, can be drawn on paper or the like, and can be attached to a refrigerator, or a plurality of sheets can be bound and placed like a notebook and reused as needed. .. As a result, even the user 901 who is remarkably forgotten can easily control the controlled device 510 without searching for the remote controller.
  • the user 901 can freely set and generate a virtual remote controller in which the user 901 selects a function desired by the user 901 and a function button is arranged so as to realize the selected function.
  • the user 901 even if the user 901 does not have a remote control for remote control at hand, if the necessary operation is described by hand on paper or the like, it functions as a remote control as it is. Therefore, the user 901 does not need to search for the remote controller. Also, only the necessary functions can be created as function buttons, so there is no hassle. In addition, the arrangement can be arranged as desired, so that it is easy to use.
  • the troublesomeness of searching for the remote controller is eliminated, and the convenience of the user 901 is further improved.
  • control data table 252 is stored in the data storage unit of the HMD 100 for the controlled device 510 that has generated the virtual remote controller even once.
  • control to the controlled device 510 from the next time can be performed without going through the network 530.
  • problems in the network 530 delay due to the congestion of the network line, line disconnection, etc.
  • the remote control table 253 is deleted when it is used up, and is created again when it is needed next time.
  • the user 901 does not need to search the virtual remote controller in the data storage unit 250 of the HMD 100.
  • wasteful memory consumption can be suppressed.
  • ⁇ Modification 1> if the user 901 has a function that the controlled device does not have among the desired control operations described on the presentation surface 300, it may be configured to clearly indicate that the function does not exist.
  • FIG. 12 (b) An example of a virtual remote control image in this case is shown in FIG. 12 (b).
  • the case where the user 901 is described on the presentation surface 300 as shown in FIG. 12A is shown as an example.
  • the user 901 describes "air conditioner” as the controlled device name 311 and "Ray Bow”, “Taishi”, and “Dan Bow” as the desired control operation 312.
  • control data acquired by the control data acquisition unit 223 does not have a control command corresponding to heating.
  • the control data acquisition unit 223 notifies the virtual image generation unit 225 of this.
  • the virtual image generation unit 225 generates and displays a function button in association with the control command by the method of the above embodiment for the control operation of "Ray Bow” and “Tashi". However, with respect to "Danbow", an unusable display 431 indicating that it cannot be used is performed in response to a notification from the control data acquisition unit 223.
  • the non-display 431 may be displayed on the controlled device name 411 of the virtual remote controller to notify the user 901.
  • the AR object marked with X is superimposed and presented, but the non-display 431 is not limited to this.
  • it may be an AR object having a character string such as "There is no corresponding heating function" or "There is no air conditioner that can be operated.” Further, those character strings may be output as voice from the speaker 141.
  • This modification can reduce unnecessary operations by the user.
  • the controlled device 510 has been described as an air conditioner, but the controlled device 510 is not limited to the air conditioner. For example, it may be a lighting fixture.
  • FIG. 13 (a) shows an example of the presentation surface 301 created by the user 901 when the controlled device 510 is a lighting fixture
  • FIG. 13 (b) shows a virtual remote control image created by the HMD 100 analyzing the presentation surface 301.
  • An example of 401 is shown. As shown in this figure, from the description information 310, a virtual remote control image 401 in which "lighting" is displayed as the controlled device name 411 and "lighting" and “off” are displayed as the receiving objects 421 and 422, respectively, is generated.
  • control command from the HMD 100 to the controlled device 510 is transmitted via the network 530.
  • transmission of the control command from the HMD 100 to the controlled device 510 is not limited to this.
  • a control command may be directly transmitted from the HMD 100 to the controlled device 510 by using a short-range communication I / F such as infrared communication or Bluetooth.
  • the command transmission unit 240 transmits the control command corresponding to the control operation selected by the user 901 via the BT communication I / F163 and the infrared communication I / F164.
  • the controlled device 510 can be controlled by the HMD 100 by using the short-range communication I / F without going through the network 530.
  • the network 530 it is not necessary to consider a problem in the network 530 (delay due to the congestion of the network line, line disconnection, etc.).
  • the user 901 may be able to select which communication means is used to transmit the control command from the HMD 100 to the controlled device 510.
  • the control data of the controlled device is registered in the HMD 100 in advance or acquired from the network server 550.
  • the control data may be acquired from the controlled device 510 itself.
  • the control data acquisition unit 223 accesses the controlled device 510 via any of the LAN communication I / F161, the BT communication I / F163, and the infrared communication I / F164, and acquires the data from the controlled device 510.
  • the infrared pattern (data format) generated from a general remote controller for each control operation may be acquired instead of the control command.
  • the command transmission unit 240 transmits the infrared pattern associated with the operation of the user 901 to the controlled device 510.
  • an infrared pattern that is substantially the same as the infrared pattern generated from a normal remote controller can be output, and instructions can be transmitted with high accuracy.
  • infrared data formats used by the remote controller.
  • NEC format home appliance cooperative format
  • SONY format used by the remote controller.
  • the infrared data format adopted by the controlled device 510 is used.
  • the information processing terminal used by the user 901 has been described by taking the HMD 100 as an example, but the information processing terminal used is not limited to this.
  • a portable information terminal such as a smartphone (hereinafter referred to as a smartphone) or a tablet terminal may be used.
  • FIG. 15 shows an outline of the processing of the virtual remote controller and a display example when using a smartphone.
  • the user 901 raises a smartphone 101 between the presentation surface 300 and himself / herself, photographs an area including the description information 310 of the presentation surface 300, and obtains a surrounding image.
  • the smartphone 101 analyzes the surrounding image, identifies the controlled device 510 and the desired control operation, and associates a control command or an infrared format. Then, the virtual remote controller image 400 is created and displayed on the display 131 of the smartphone 101. Then, when the operation instruction from the user 901 is received via the virtual remote controller image 400, the smartphone 101 transmits a control command (infrared format) according to the operation instruction to the controlled device 510.
  • the generated virtual remote control image 400 includes a controlled device information display area 410 and a desired control operation display area 420.
  • the reception objects 421 and 422 of "cooling" that accepts the instruction to start cooling and "stop” that accepts the instruction to stop are displayed.
  • FIG. 15 shows the hardware configuration of the smartphone 101 that realizes this.
  • the hardware configuration of the smartphone 101 basically has the same configuration as the hardware of the HMD 100.
  • the smartphone 101 is not used by being attached like the HMD100, but is used by the user 901 by holding it in his / her hand. Therefore, the operation receiving device 120 is partially different.
  • the smartphone 101 includes not only a button switch 121 and a touch panel 122 but also an operation key 123 as an operation reception device 120.
  • the functional configuration of the smartphone 101 that realizes the above embodiment is basically the same as that of the HMD 100.
  • the operation reception unit 230 of the smartphone 101 does not need to detect and analyze the gesture operation to specify the user 901.
  • the intention of the user 901 is accepted by detecting the touch operation of the function reception button display area of the touch panel 122.
  • this modified example can be realized if there is an equivalent or similar hardware configuration or software configuration.
  • it may be a notebook PC, a tablet PC, or the like.
  • the presentation surface 300 has been described on the premise that it is on a sheet such as paper.
  • the presentation surface 300 is not limited to this.
  • it may be a whiteboard or the like. As long as the user 901 can freely write and shoot, the material and shape do not matter.
  • the presentation surface 300 may be provided by, for example, the manufacturer of the controlled device 510.
  • the description of the remote controller in the manual may be used.
  • the remote controller itself provided in the controlled device 510 may be used.
  • the description information 310 is prepared in advance, that is, when the manual or the remote controller itself, which is not created by the user 901, is used for the presentation surface 300, when the virtual remote controller is created, the reception object of the function button generates all. You don't have to.
  • the specific information acquisition unit 222 analyzes the image of the presentation surface 300, identifies the control operation, presents the control operation to the user 901, and accepts the selection of the control operation to be displayed on the virtual remote control image 400. Then, the control operation that has received the selection is specified as a desired control operation.
  • the specific information acquisition unit 222 analyzes the description information 310 to specify the characters.
  • an existing character analysis such as an OCR (Optical character recognition) function is used.
  • OCR Optical character recognition
  • the user 901 may be made to register handwritten characters in advance, and the registration may be referred to for analysis by a method such as pattern matching.
  • the user 901 may be made to input digital data, and the handwritten character and the digital data may be associated and registered. Also in this case, at the next presentation surface information acquisition process, the pattern matching process is performed using the registered handwritten character as a pattern to specify the character.
  • the description information 310 has been described by taking the case where it is basically a character string as an example.
  • the description information 310 is not limited to the character string. It may be a figure, a color, or the like.
  • figures, colors, and the like are registered in advance in the description content 251a.
  • the registration may be performed by the user 901.
  • the user 901 registers his / her favorite figure or color in advance as representing a specific controlled device 510 or a specific desired control operation. As a result, the user 901 can generate a virtual remote controller without even writing characters.
  • voice is registered in the analysis table 251. That is, voice data is registered in place of or additionally of the description content 251a. Then, the analysis content 251b and the description type 251c are registered in association with the voice data.
  • the display of the virtual remote control image 400 is erased after a predetermined time has elapsed.
  • the display of the virtual remote controller image 400 may be erased in response to an explicit instruction from the user 901.
  • the remote control table 253 which is the basis for generating the virtual remote control image 400 may be configured to be erased in synchronization with the timing of erasing the display of the virtual remote control image 400. ..
  • the layout information of the function buttons of the controlled device 510 (arrangement of the function buttons of the remote controller) can be obtained from the manufacturer's homepage via the network 530, the layout information of the function buttons of the controlled device 510 is further added to the data storage unit. It may be stored in 250. Then, the virtual image generation unit 225 may generate the virtual remote control image 400 according to the arrangement of the function buttons of the controlled device 510 instead of the arrangement of the presentation surface 300.
  • the configuration for realizing the technique of the present invention is not limited to the above-described embodiments and modifications, and various modifications can be considered. For example, it is possible to replace part of the configuration of one embodiment or variant with the configuration of another example. It is also possible to add the configuration of another example to the configuration of one embodiment or modification. All of these belong to the category of the present invention. Further, the numerical values and messages appearing in the text and figures are merely examples, and even if different ones are used, the effect of the present invention is not impaired.
  • the above-mentioned functions of the present invention may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, it may be realized by software by interpreting and executing a program in which a microprocessor unit or the like realizes each function or the like. Hardware and software may be used together.
  • the software may be stored in the internal memory storage of the HMD 100 or the like in advance at the time of product shipment. After the product is shipped, it may be acquired from various server devices on the Internet. Further, the software provided by a memory card, an optical disk, or the like may be acquired.
  • control lines and information lines shown in the figure indicate what is considered necessary for explanation, and do not necessarily indicate all the control lines and information lines on the product. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

リモコンを探す煩わしさを解消し、ユーザの利便性を各段に向上させる遠隔制御技術を提供する。通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末であって、当該情報処理端末の周囲の画像である周囲画像から前記被制御機器および所望の制御操作である所望制御操作を特定するとともに、特定した前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成部と、前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付部と、前記操作受付部が受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信部と、を備えることを特徴とする。

Description

情報処理端末、遠隔制御方法およびプログラム
　本発明は、携帯情報端末を用いて遠隔制御を行う遠隔制御技術に関する。
　携帯型情報端末として、眼鏡形式でグラス部の表示画面上に、実空間の映像と、コンピュータによる拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の生成画像（アバター等のＡＲオブジェクト）とを重畳させて表示するヘッドマウントディスプレイ（以下「ＨＭＤ」と記載する。）がある。
　一方、リモートコントローラ（以下、「リモコン」と記載する。）で操作する機器が増えている。これに対応し、種々のリモコン機能を集約した学習リモコン（各種リモコン機能を記憶させて対応）や、スマートリモコン（Ｗｉ－Ｆｉや無線ＬＡＮなどのインターネット通信を介して機器の動作を管理）などが一般化している。例えば、特許文献１には、指向性を持たせた汎用リモコンを、対象となる被遠隔制御機器に向けることで無線リンクを確立し、被遠隔制御機器から送信される操作アプリケーションを受信した当該汎用リモコンで、被遠隔制御機器を操作する遠隔操作システムが開示されている。
国際公開第２０１２／１３２１７１号
　特許文献１に開示の技術によれば、汎用リモコンを遠隔操作したい機器に向けるだけで、機器を選択でき、かつ、その汎用リモコンを用いて選択した機器を遠隔操作できる。しかしながら、汎用リモコンに限らず、既製のリモコンは、普段使用しない機能の機能ボタンがあったり、機能ボタンの配置がユーザの好みと異なっていたり、等、必ずしもユーザフレンドリなインタフェースではない。また、汎用リモコンであっても、リモコンを探す煩わしさは、解消されない。
　本発明は、上記事情に鑑みてなされたもので、リモコンを探す煩わしさを解消し、ユーザの利便性を各段に向上させる遠隔制御技術を提供することを目的とする。
　本発明は、通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末であって、当該情報処理端末の周囲の画像である周囲画像から前記被制御機器および所望の制御操作である所望制御操作を特定するとともに、特定した前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成部と、前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付部と、前記操作受付部が受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信部と、を備えることを特徴とする。
　本発明によれば、リモコンを探す煩わしさを解消し、ユーザの利便性を各段に向上させる遠隔制御技術を提供する。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の実施形態の概要を説明するための説明図である。 本発明の実施形態の遠隔操作システムのシステム構成図である。 本発明の実施形態のＨＭＤのハードウェア構成図である。 本発明の実施形態のＨＭＤの機能ブロック図である。 本発明の実施形態の仮想リモコン画像の一例を説明するための説明図である。 本発明の実施形態の解析用テーブルの一例を説明するための説明図である。 （ａ）は、本発明の実施形態の制御データテーブルの一例を、（ｂ）は、本発明の実施形態のリモコンテーブルの一例を、それぞれ説明するための説明図である。 本発明の実施形態のジェスチャ動作テーブルの一例を説明するための説明図である。 本発明の実施形態の遠隔操作処理のフローチャートである。 本発明の実施形態の特定情報取得処理のフローチャートである。 本発明の実施形態の制御データ取得処理のフローチャートである。 （ａ）は、本発明の変形例の提示面の、（ｂ）および（ｃ）は、本発明の変形例の仮想リモコン画像の例を、それぞれ説明するための説明図である。 （ａ）は、本発明の変形例の提示面の、（ｂ）は、本発明の変形例の仮想リモコン画像の例を、それぞれ説明するための説明図である。 本発明の変形例の遠隔操作システムのシステム構成図である。 本発明の変形例の概要を説明するための説明図である。 本発明の変形例のスマートフォンのハードウェア構成図である。
　以下、本発明の実施形態を、図面を用いて説明する。
　本発明の実施形態を、図面を用いて説明する。実施形態の構成等の説明に先立ち、本実施形態の概要を説明する。なお、本明細書および図面において、同一物は同一符号を記載する。
　本実施形態は、例えば、リモートコントローラ（リモコン；遠隔操作装置）をなくしやすい年配のユーザ等の使用を念頭においたものである。年配のユーザは、リモコンをなくしやすいだけでなく、既製のリモコンに用意された多数のボタンにわずらわしさを感じることも多い。本実施形態では、これらを解決するために、例えば、いつでも、適当な紙に、手書き等で、必要最低限の制御操作を簡単に記載しさえすれば、それを、あたかも本物のリモコンのように使用できるようにする。
　図１は、本実施形態の概要を説明するための図である。本実施形態では、ＨＭＤ（ヘッドマウントディスプレイ）１００を装着したユーザ９０１が、操作したい機器（被制御機器）の名称と、所望の制御操作（所望制御操作）とを記載した紙等を用意する。以下、記載した紙等を提示面３００、記載された情報を記載情報３１０と呼ぶ。
　そして、ＨＭＤ１００は、ユーザ９０１がディスプレイ１３１を介して見た提示面３００の記載情報３１０から、被制御機器のリモコンの機能を、仮想リモコン画像４００として生成する。そして、ユーザ９０１の、提示面３００に対する操作を、仮想リモコン画像４００への操作として受け付け、ＨＭＤ１００から被制御機器を操作する。
　仮想リモコン画像４００は、ＨＭＤ１００が、提示面３００の記載情報３１０を読み取り、被制御機器の制御コマンドと対応付けることにより、生成される。生成された仮想リモコン画像４００は、ＨＭＤ１００のディスプレイ１３１上表示してもよい。例えば、提示面３００に記載された所望制御操作は、認識されると機能ボタン（受付オブジェクト）として、ＨＭＤ１００のディスプレイ１３１に表示されてもよい。そして、ユーザ９０１がジェスチャ等の操作を行い、その機能ボタンに対して指示を行うことにより、被制御機器を制御する。
　提示面３００は、例えば、上述の紙のようなシート状の部材であってもよい。また、記載情報３１０は、手書きで記載されていてもよい。しかしながら、提示面３００および記載情報３１０は、これに限定されない。
　これにより、本実施形態によれば、ユーザ９０１は、自分が用意した提示面３００をリモコンとして用いるかのように、被制御機器を操作できる。
　［システム構成］
　以下、上記を実現する本実施形態の遠隔操作システム５００について、まず、システム構成を説明する。図２は、本実施形態の遠隔操作システム５００のシステム構成図である。
　本図に示すように、本実施形態の遠隔操作システム５００は、ＨＭＤ１００と、被制御機器５１０と、無線ルータ５２０と、ネットワークサーバ５５０と、を備える。
　無線ルータ５２０は、ネットワークサーバ５５０に、ネットワーク５３０を介して接続される。ＨＭＤ１００は、無線ルータ５２０を介してネットワークサーバ５５０に接続される。
　被制御機器５１０は無線ルータ５２０と有線ＬＡＮまたは無線ＬＡＮで接続される。ＨＭＤ１００は、無線ルータ５２０を介して、被制御機器５１０に制御コマンドを送信する。
　上記構成により、本実施形態では、ＨＭＤ１００を装着したユーザ９０１が、遠隔制御により被制御機器５１０を制御することができる。
　ネットワークサーバ５５０は、被制御機器５１０を制御するための、制御データが格納される外部サーバである。ＨＭＤ１００からの無線ルータ５２０およびネットワーク５３０を介して、要求があった被制御機器５１０の制御データを、送信元のＨＭＤ１００に、ネットワーク５３０および無線ルータ５２０を介して送信する。
　なお、ここでは、１台のネットワークサーバ５５０を代表して記載しているが、台数はこれに限定されない。例えば、被制御機器５１０のメーカが、それぞれネットワークサーバ５５０を提供してもよい。また、ネットワークサーバ５５０は、常に必要なものではない。ＨＭＤ１００が必要な情報をネットワークサーバ５５０から取得した後は、被制御機器５１０の制御は、ＨＭＤ１００と、無線ルータ５２０と、被制御機器５１０と間の通信により行う。
　被制御機器５１０は、ＨＭＤ１００を装着するユーザ９０１が、リモコンで制御したい機器である。例えば、エアコン、照明器具、ＴＶ、扇風機等の家電製品、ガス給湯器、床暖房等の、家庭用エネルギ管理システムであるＨＥＭＳ（Ｈｏｍｅ　Ｅｎｅｒｇｙ　Ｍａｎａｇｅｍｅｎｔ　Ｓｙｓｔｅｍ）が適用できる機器等である。以下、本実施形態では、被制御機器５１０がエアコンを例にあげて説明する。なお、エアコンは、家庭用のエア・コンデショナー（以下、通称である「エアコン」と記載する。）を想定している。
　ＨＭＤ１００は、ユーザ９０１が頭部に装着して、処理した情報をディスプレイ１３１に表示する装置である。本実施形態のＨＭＤ１００は、眼鏡あるいはゴーグル形状を有し、眼鏡のレンズ位置にディスプレイ１３１を備える。ディスプレイ１３１は、透過型であっても、非透過型であってもよい。
　ＨＭＤ１００では、ユーザ９０１は、ディスプレイ１３１を介して、実空間の状況を観察できる。また、ディスプレイ１３１には、拡張現実のＡＲオブジェクトが表示される。従って、ユーザ９０１は、ディスプレイ１３１に表示されたＡＲオブジェクトと、実空間の状況との両者を同時に視認することができる。
　［ＨＭＤ］
　次に、本実施形態のＨＭＤ１００のハードウェア構成および機能ブロックについて図面を用いて説明する。
　［ハードウェア構成］
　以下、上記処理を実現する本実施形態のＨＭＤ１００について、ハードウェア構成を説明する。図３は、本実施形態のＨＭＤ１００の構成例を示すブロック図である。これらの図では、図１、図２に示した構成と同一のものには同一の符号を付す。
　本図に示すように、本実施形態のＨＭＤ１００は、メインプロセッサ１１１と、システムバス１１２と、記憶装置１１０と、操作受付装置１２０と、画像処理装置１３０と、音声処理装置１４０と、センサ１５０と、通信装置１６０と、拡張インタフェース（Ｉ／Ｆ）部１０５と、タイマ１０６と、を備える。
　メインプロセッサ１１１は、所定のプログラムに従ってＨＭＤ１００全体を制御する主制御部である。メインプロセッサ１１１は、ＣＰＵ（Ｃｅｎｔｏｒａｌ　Ｐｒｏｃｅｓｓｏｒ　Ｕｎｉｔ）またはマイクロプロセッサユニット（ＭＰＵ）で実現される。メインプロセッサ１１１は、記憶装置１１０に記憶されるオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ：ＯＳ）や各種の動作制御用アプリケーションなどのプログラムを実行することによって、ＨＭＤ１００全体の動作制御処理を行う。また、メインプロセッサ１１１は、各種のアプリの起動動作を制御する。メインプロセッサ１１１は、タイマ１０６が計測し、出力するクロック信号に従って、処理を行う。
　システムバス１１２は、メインプロセッサ１１１とＨＭＤ１００内の各部との間でデータ送受信を行うためのデータ通信路である。
　記憶装置１１０は、ＲＡＭ１１３とＲＯＭ１１４とフラッシュメモリ１１５と、を備える。記憶装置１１０には、オペレーティングシステムや、音楽、画像、文書等の各種の動作制御用アプリなどのプログラムが記憶される。また、オペレーティングシステムなどによる基本動作に必要なベースデータや、各種アプリなどで起動されるファイルデータなどの情報データが格納される。例えば、ＨＭＤ１００に搭載されている音楽アプリが起動し音楽のファイルデータが選択されると、ＨＭＤ１００では選択された音楽のファイルデータが再生されて、所望の音楽を聴くことができる。
　ＲＡＭ１１３は、基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域である。また、ＲＡＭ１１３は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域である。ＲＡＭ１１３は、メインプロセッサ１１１と一体構成であっても良い。
　ＲＯＭ１１４およびフラッシュメモリ１１５は、ＨＭＤ１００の機能を実現するための各種プログラムと、動作設定値、後述するセンサ１５０からの検出値を含むセンサ情報、仮想オブジェクトおよびコンテンツ等の各種表示用データを記憶する。
　フラッシュメモリ１１５は、ネットワーク５３０上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶する。フラッシュメモリ１１５に記憶された各動作プログラムは、ネットワーク５３０上の各サーバ装置からのダウンロード処理により更新および機能拡張することができる。
　さらに、フラッシュメモリ１１５は、ネットワーク５３０上からダウンロードした動画や静止画や音声等のコンテンツを記憶できる。また、インカメラ１３４またはアウトカメラ１３３が撮影した動画や静止画等のデータを記憶する。
　ＲＯＭ１１４およびフラッシュメモリ１１５は、ＨＭＤ１００に外部から電源が供給されていない状態であっても記憶している情報を保持する、所謂不揮発性ストレージである。以下、ＲＯＭ１１４およびフラッシュメモリ１１５を、特に区別する必要がない場合は、両者を併せて内蔵メモリストレージ（Ｉｎｔｅｒｎａｌ　Ｍｅｍｏｒｙ　Ｓｔｏｒａｇｅ）と呼ぶ。メインプロセッサ１１１が、内蔵メモリストレージに記憶された新規アプリケーションプログラムをＲＡＭ１１３に展開し、実行することにより、ＨＭＤ１００は、多種の機能を実現できる。
　内蔵メモリストレージは、ＨＭＤ１００に電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、内蔵メモリストレージには、例えばフラッシュＲＯＭやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等のデバイスが用いられる。
　操作受付装置１２０は、ＨＭＤ１００に対する操作指示の入力を受け付ける。本実施形態では、ボタンスイッチ１２１と、タッチパネル１２２と、を備える。ボタンスイッチ１２１は、電源キー、音量キー、ホームキー等である。また、タッチパネル１２２は、タッチパッドによる操作指示を受け付ける。なお、本実施形態のＨＭＤ１００は、必ずしも、これらの全ての操作受付装置１２０を備えなくてもよい。また、有線通信または無線通信により接続された別体の情報処理端末機器を介してＨＭＤ１００の操作を受け付けてもよい。
　操作受付装置１２０は、ＨＭＤ１００内でユーザ９０１が入力操作を行いやすい位置や形態に設ければよい。なお、ＨＭＤ１００の本体から分離し有線や無線で接続された形態でもよい。また、ユーザ９０１の視線を利用するものであってもよい。視線を利用するものは、例えば、ディスプレイ１３１内に入力操作画面を表示させ、後述するインカメラ１３４で検出したユーザ９０１の視線が向いている入力操作画面上の位置により入力操作情報を取り込む。ポインタを入力操作画面上に表示させ、ポインタを操作して入力操作情報を取り込んでもよい。また、ユーザ９０１が入力操作を示す音声を発声し、後述するマイク１４３で集音して入力操作情報を取り込んでもよい。
　画像処理装置１３０は、イメージ（ビデオ）プロセッサであり、ディスプレイ１３１と、アウトカメラ１３３と、インカメラ１３４と、を備える。
　ディスプレイ１３１は、例えば液晶パネル等の表示デバイス（ディスプレイ）であり、画像信号処理部で処理された画像データをＨＭＤ１００の使用者に提示する。ディスプレイ１３１は、左目用ディスプレイと、右目用ディスプレイと、を備える。ディスプレイ１３１は、透過型（光学透過型）ディスプレイまたは非透過型（ビデオ透過型）ディスプレイであってもよい。
　光学透過型ディスプレイは、起動アプリによる再生情報やユーザ９０１への通知情報など各種の情報を投影する投影部と投影された各種の情報を目の前で結像表示させる透明なハーフミラーを備える。また、ビデオ透過型ディスプレイは、アウトカメラ１３３で撮影された目の前の現実空間物体と各種の情報とを合わせて表示する液晶パネル等を備える。ディスプレイ１３１により、ユーザ９０１は、目の前の視界視野内の画像に加え、起動アプリによる音楽、画像、文書などの再生情報を合わせて視認する。
　なお、画像信号処理部は、アウトカメラ１３３およびインカメラ１３４から入力された画像を処理する、イメージ（ビデオ）シグナルプロセッサである。また、画像信号処理部は、メインプロセッサ１１１等により作成したオブジェクトを入力画像に重畳してディスプレイ１３１に出力する。画像信号処理部は、メインプロセッサ１１１により実現されてもよいし、メインプロセッサ１１１とは別に、画像専用のプロセッサを備え、それにより実現されてもよい。
　本実施形態では、ディスプレイ１３１に、ＡＲオブジェクトとして、リモコン画面を模した画像等が表示される。
　アウトカメラ１３３およびインカメラ１３４は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラである。
　アウトカメラ１３３は、ＨＭＤ１００の周囲の画像を取得する。アウトカメラ１３３は、ＨＭＤ１００の前面に設置され、前方の視界視野状態を撮影する。なお、ＨＭＤ１００には、ディスプレイ１３１の種類によって、光学透過型とビデオ透過型とがあるが、両者ともアウトカメラ１３３により撮影された、目の前の視野視界状態を撮影して取り込むものである。
　インカメラ１３４は、アウトカメラ１３３とは異なる領域の画像を取得する。例えば、ユーザ９０１の眼を撮影する。なお、本実施形態では、インカメラ１３４は、視線特定処理を行う処理部とともに、視線検出センサとして機能する。
　視線検出センサは、右目視線検出部と、左目視線検出部とを備え、それぞれ右目、左目の視線を検出する。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよい。例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を顔に照射し、赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する。この場合、赤外線カメラ、赤外線ＬＥＤを備える。
　音声処理装置１４０は、音声を処理するオーディオプロセッサである。スピーカ１４１と、マイク１４３と、を備える。
　スピーカ１４１は、音声信号処理部で処理した音声信号を外部に出力する。音声信号処理部は、オーディオシグナルプロセッサである。ＨＭＤ１００では、例えば、ヘッドフォン等が用いられる。
　マイク１４３はマ、ユーザの声などを音声データに変換して入力する。例えば、外周音マイクと、発声音マイクとを備えてもよい。これらのマイクは、各々、外部からの音声、ユーザ９０１自身の発声を集音する。なお、ヘッドフォンが接続されてもよい。ヘッドフォンは、ユーザ９０１の耳部に装着されユーザ９０１への音声を聞き取る。
　センサ１５０は、ＨＭＤ１００の状態を検出するためのセンサ群である。本実施形態では、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部１５１と、ジャイロセンサ１５２と、地磁気センサ１５３と、加速度センサ１５４と、深度センサ１５５とを備える。これらのセンサ群により、ＨＭＤ１００の位置、動き、傾き、方角等を検出する。また、深度センサ１５５は、ＨＭＤ１００から対象物までの距離情報を取得する。なお、その他のセンサを、さらに、備えていても良い。
　加速度センサ１５４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。また、ジャイロセンサ１５２は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。ＨＭＤ１００に搭載されている加速度センサ１５４およびジャイロセンサ１５２を用いて、ＨＭＤ１００の動きを検出することができる。
　地磁気センサ１５３は、地球の磁力を検出するセンサであり、ＨＭＤ１００の向いている方向を検出するものである。前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用い、ＨＭＤ１００の動きに対する地磁気変化を捉まえることにより、ＨＭＤ１００の動きを検出してもよい。
　深度センサ１５５は、人や物などの対象物の形状を立体として捉えることができるセンサである。赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し遠距離にある対象物までの距離やその対象物の状態を分析検出するＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）や、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行うＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサ、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対の象物の状態を検出するミリ波レーダーなどが用いられる。
　通信装置１６０は、近距離無線通信、無線ＬＡＮ或いは基地局通信により、近傍にある他の情報端末と無線通信を行う通信インタフェースである。無線通信に際しては送受信アンテナを介して、データの送受信を行う。
　通信装置１６０は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）通信インタフェース（Ｉ／Ｆ）１６１と、電話網通信Ｉ／Ｆ１６２と、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））通信Ｉ／Ｆ１６３と、赤外線通信Ｉ／Ｆ１６４と、を備える。
　ＬＡＮ通信Ｉ／Ｆ１６１は、無線アクセスポイント等を介してインターネット等のネットワーク５３０と接続され、ネットワーク５３０上の各サーバとデータの送受信を行う。無線アクセスポイント等との接続はＷｉ－Ｆｉ（登録商標）や、ＢｌｕｅＴｏｏｔｈ（登録商標）を用いてもよい。
　電話網通信Ｉ／Ｆ１６２は、移動体電話通信網を利用して通信ネットワークに接続され、通信ネットワーク上のサーバと情報の送受信を行う。用いられる通信方式には、例えば、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ　Ｍｏｂｉｌｅ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ　Ｓｙｓｔｅｍ）方式などの第３世代移動通信システム（以下「３Ｇ」と表記する）、または、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、第４世代（４Ｇ）、第５世代（５Ｇ）と呼ばれる通信方式等がある。
　ＢＴ通信Ｉ／Ｆ１６３は、Ｂｌｕｅｔｏｏｔｈ規格により外部装置と通信を行うためのインタフェースである。赤外線通信Ｉ／Ｆ１６４は、赤外線により、外部装置と通信を行うためのインタフェースである。例えば、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ、登録商標）などを用いる。
　なお、近距離無線通信として、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Ｈｏｍｅ　Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ、登録商標）などを用いて行ってもよい。または、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮを用いて行なってもよい。また、超広帯域無線システム（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ：ＵＷＢ）を用いてもよい。
　ＬＡＮ通信Ｉ／Ｆ１６１、電話網通信Ｉ／Ｆ１６２、ＢＴ通信Ｉ／Ｆ１６３および赤外線通信Ｉ／Ｆ１６４は、それぞれ符号化回路や復号回路、アンテナ等を備える。
　なお、通信装置１６０は、無線通信の手段として光通信音波による通信等、他の方法を使用してもよい。その場合、送受信アンテナの代わりにそれぞれ光発光／受光部、音波出力／音波入力部を用いる。
　拡張インタフェース部１０５は、ＨＭＤ１００の機能を拡張するためのインタフェース群であり、本実施形態では、充電端子、映像／音声インタフェース、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）インタフェース、メモリインタフェース等を備える。映像／音声インタフェースは、外部映像／音声出力機器からの映像信号／音声信号の入力、外部映像／音声入力機器への映像信号／音声信号の出力、等を行う。ＵＳＢインタフェースはＳＢ機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
　なお、図３に示すＨＭＤ１００の構成例は、本実施形態に必須ではない構成も含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成がさらに加えられていても良い。
　［ＨＭＤの機能ブロック］
　次に、ＨＭＤ１００の、本実施形態に関連する機能構成について説明する。図４は、本実施形態のＨＭＤ１００の機能ブロック図である。本図に示す各機能は、メインプロセッサ１１１が内部メモリストレージに格納されたプログラムをＲＡＭ１１３にロードして実行することにより実現される。
　図４に示すように、ＨＭＤ１００は、主制御部２１０と、仮想リモコン生成部２２０と、操作受付部２３０と、コマンド送信部２４０と、データ記憶部２５０と、を備える。データ記憶部２５０には、解析用テーブル２５１と、制御データテーブル２５２と、リモコンテーブル２５３と、ジェスチャ動作テーブル２５４と、処理データ２５５と、が格納される。データ記憶部２５０は、内部メモリストレージまたはＲＡＭ１１３に構築される。
　主制御部２１０は、ＨＭＤ１００全体の動作を制御する。
　仮想リモコン生成部２２０は、提示面３００上の記載情報３１０から、被制御機器５１０の仮想リモコンを生成する。仮想リモコンは、ＨＭＤ１００のユーザ９０１が提示面３００上の記載情報３１０を、被制御機器５１０のリモコンのように使用できる機能である。本実施形態の仮想リモコン生成部２２０は、リモコンの機能ボタンを提示面３００の対応する記載情報３１０上に重畳して提示する仮想リモコン画像４００を生成する。なお、後述する操作受付部２３０が、この仮想リモコン画像４００上の機能ボタンに対するユーザ９０１の操作指示を受け付け、コマンド送信部２４０が被制御機器５１０に制御コマンドを送信する。
　本実施形態の仮想リモコン生成部２２０は、画像取得部２２１と、特定情報取得部２２２と、制御データ取得部２２３と、対応付部２２４と、仮想画像生成部２２５と、を備える。
　画像取得部２２１は、仮想リモコンのベースとなる提示面３００の画像を取得する。本実施形態では、アウトカメラ１３３で実空間を撮影し、周囲画像を取得する。撮影する実空間は、提示面３００の記載情報３１０を含む。
　特定情報取得部２２２は、特定情報取得処理を行う。特定情報取得処理は、画像取得部２２１が取得した周囲画像を解析し、ユーザ９０１が操作したい機器である被制御機器と、操作したい制御操作である所望制御操作とを特定する処理である。本実施形態では、提示面３００上の記載情報３１０を解析し、被制御機器と所望制御操作とを特定する。特定には、解析用テーブル２５１を用いる。特定結果は、それぞれ、被制御機器特定情報、所望制御操作特定情報として出力する。解析用テーブル２５１および特定情報取得処理については、後述する。
　制御データ取得部２２３は、制御データ取得処理を行う、制御データ取得処理は、特定情報取得部２２２で特定した被制御機器５１０の制御データを取得する処理である。制御データ取得部２２３は、まず、被制御機器５１０の制御データが自装置（ＨＭＤ１００）の制御データテーブル２５２に格納されているか否かを判別する。そして、格納されていない場合、接続可能な被制御機器５１０で制御データテーブル２５２に格納されていない被制御機器５１０の有無を確認する。制御データテーブル２５２に格納されていない被制御機器５１０が有る場合、被制御機器５１０から被制御機器５１０の情報、例えば、機器名や型番等を取得し、ネットワークサーバ５５０から制御データを取得する。ネットワークサーバ５５０から取得した制御データは、被制御機器５１０毎に付与される識別情報（ＩＤ）に対応づけて制御データテーブル２５２に格納される。制御データ取得処理および制御データテーブル２５２については、後述する。
　なお、制御データには、被制御機器５１０ごとの、可能な制御操作と、各制御操作の制御コマンドと、が含まれる。
　対応付部２２４は、特定情報取得部２２２が特定した所望制御操作と制御データに含まれる制御コマンドとを対応付ける対応付処理を行う。対応づけた結果は、リモコンテーブル２５３に格納する。このリモコンテーブル２５３が、ユーザ９０１が所望する仮想リモコンの制御データである。対応付処理およびリモコンテーブル２５３の詳細については、後述する。
　仮想画像生成部２２５は、仮想リモコンとして機能する仮想リモコン画像４００を生成し、ディスプレイ１３１に表示する。表示位置は、ユーザ９０１の視線方向に関し、提示面３００と合致する位置とする。仮想画像生成部２２５は、リモコンテーブル２５３を用いて、仮想リモコン画像４００を生成する。
　ここで、生成される仮想リモコン画像４００の一例を、図５に示す。本図に示すように、仮想リモコン画像４００は、被制御機器情報表示領域４１０と、所望制御操作表示領域４２０と、を備える。
　被制御機器情報表示領域４１０には、特定情報取得部２２２が特定した被制御機器を特定する情報として、被制御機器名４１１が表示される。本図の例では、「エアコン」と表示される。
　所望制御操作表示領域４２０には、特定情報取得部２２２が特定した所望制御操作に対するユーザ９０１の指示を受け付ける機能ボタンの受付オブジェクト４２１、４２２が表示される。受付オブジェクト４２１、４２２は、所望制御操作毎に作成される。受付オブジェクト４２１、４２２の表示位置は、提示面３００の、記載情報３１０のうち、所望制御操作に対応する情報が記載されている位置である。
　操作受付部２３０は、仮想リモコン（仮想リモコン画像４００）に対するユーザ９０１の操作指示を受け付ける。本実施形態では、例えば、受付オブジェクト４２１、４２２に対する操作指示が検出された場合、当該受付オブジェクト４２１、４２２に対応する所望制御操作の操作指示として受け付ける。
　操作指示は、例えば、ジェスチャ動作や視線操作等で行われる。操作受付部２３０は、これらの操作を、ジェスチャ動作テーブル２５４等を参照して解析し、操作指示を検出する。予め定めた動作があった場合、その受付オブジェクト４２１、４２２が選択されたものと判別する。そして、その受付オブジェクト４２１、４２２に対応づけられた所望制御操作を特定する。
　なお、操作受付部２３０は、ユーザ９０１のジェスチャ動作を、ＨＭＤ１００が備えるセンサ１５０やアウトカメラ１３３で撮影した画像から抽出した手の動き等により検出する。また、視線操作は、視線検出センサの機能を用いて検出する。
　コマンド送信部２４０は、特定された所望制御操作に対応づけられた制御コマンドを、被制御機器に送信する。本実施形態では、通信装置１６０および無線ルータ５２０を介して被制御機器５１０に送信する。制御コマンドは、リモコンテーブル２５３から取得する。
　［解析用テーブル］
　ここで、解析用テーブル２５１の一例を説明する。解析用テーブル２５１は、特定情報取得部２２２が、記載情報３１０を解析する際に用いられる。記載情報３１０に記載される可能性のある文字列、図形、色等（以下、文字列等）に対応づけて、解析結果が登録されるテーブルである。
　図６は、本実施形態の解析用テーブル２５１の一例を示す図である。本図に示すように、解析用テーブル２５１は、記載内容２５１ａ毎に、解析内容２５１ｂと、記載種別２５１ｃとが対応づけて登録される。
　記載内容２５１ａには、例えば、ユーザ９０１が提示面３００に記載情報３１０として記載する文字列等の候補が格納される。例えば、エアコン、クーラ、照明器具、ライト、ランプ、テレビ、等の被制御機器５１０の名称や、冷房、暖房、除湿、送風、停止、点灯、消灯、等の所望制御操作の名称が格納される。ここでは、被制御機器５１０の名称および所望制御操作の名称それぞれについて、各種の異なる呼称、記載が併せて格納される。これらは、ユーザ９０１が記載する可能性のある文字列等である。
　解析内容２５１ｂには、記載内容２５１ａに記載された被制御機器５１０の名称または所望制御操作の名称の解析内容が格納される。解析内容は、多数のユーザ９０１が記載する可能性のある文字列等を一意に特定する情報である。
　本実施形態では、例えば、記載内容２５１ａが被制御機器５１０の名称である場合は、その被制御機器５１０を特定する機器名が格納される。具体的には、記載内容２５１ａが「エアコン」、「クーラ」、等である場合、「エアコン機器」が格納される。また、「照明器具」、「ライト」、「ランプ」である場合、「照明機器」が格納される。
　また、記載内容２５１ａが、所望制御操作の名称である場合、その所望制御操作を特定する情報が格納される。具体的には、記載内容２５１ａが、「冷房」等である場合は、「冷房機能オン」が、「停止」等である場合は、「停止」が格納される。
　記載種別２５１ｃには、記載内容２５１ａが表すものの種別が格納される。本実施形態では、被制御機器５１０を示すか、所望制御操作を示すかのいずれかが登録される。
　特定情報取得部２２２は、提示面３００の記載情報３１０を解析し、文字列等を抽出する。そして、抽出した文字列等に合致する情報を、解析用テーブル２５１の記載内容２５１ａを探索し、検出する。そして、それに対応して登録される解析内容２５１ｂと、記載種別２５１ｃと、を抽出する。そして、記載種別２５１ｃが被制御機器を示す場合、被制御機器特定情報として、解析内容２５１ｂを出力する。一方、記載種別２５１ｃが所望制御操作を示す場合、所望制御操作特定情報として解析内容２５１ｂを出力する。
　ここで、解析用テーブル２５１を例として、特定情報取得部２２２が、記載情報３１０を解析する具体例を説明する。特定情報取得部２２２は、提示面３００上に、記載情報３１０として記載されている内容を、記載内容２５１ａと照合し、合致するものがあるデータの解析内容２５１ｂおよび記載種別２５１ｃを解析結果とする。
　例えば、記載情報３１０として、「エアコン」や「クーラ」等と文字列が記載されている場合、解析内容２５１ｂおよび記載種別２５１ｃとして、それぞれ、「エアコン機器」、「被制御機器」を解析結果とする。
　また、記載情報３１０として、「レイボウ」、「レイ」、「冷房」、「冷」等と記載されている場合、「冷房機能オン」、「所望制御操作」を解析結果とする。
　記載情報３１０として、「テイシ」、「テイ」、「停止」、「停」等と記載されている場合、「停止」、「所望制御操作」を解析結果とする。
　記載情報３１０として、「ダンボウ」、「ダン」、「暖房」、「暖」等と記載されている場合、「ダンボウ機能オン」、「所望制御操作」を解析結果とする。
　記載情報３１０として、「ジョシツ」、「ジョ」、「除湿」、「除」等と記載されている場合、「除湿機能オン」、「所望制御操作」を解析結果とする。
　記載情報３１０として、「電気」、「デンキ」、「照明」、「ショウメイ」、「明かり」等と記載されている場合、「照明器具」、「被制御機器」を解析結果とする。
　解析用テーブル２５１は、一例であり、記載されていないその他の文字列および、その文字列に対する解析内容については、ここでの説明を省略する。また、各文字列は、あくまで一例である。また、記載情報３１０は、上述のように、文字列以外でも、図形（イラスト）、絵文字（雪マーク、炎マーク、等）、記号等も利用することができる。
　なお、記載情報３１０に記載された情報が、解析用テーブル２５１に未登録の場合、特定情報取得部２２２は、記載情報３１０を解析した結果（文字列等）を、記載内容２５１ａに新たに登録する。この場合、対応する解析内容２５１ｂ、記載種別２５１ｃは、ユーザ９０１から登録を受け付ける。
　［制御データテーブル］
　制御データテーブル２５２は、被制御機器５１０の制御データが格納される。図７（ａ）は、本実施形態の制御データテーブル２５２の一例を示す図である。本図に示すように、制御データテーブル２５２は、被制御機器名２５２ａに対応付けて、その識別情報（ＩＤ）２５２ｂと、その被制御機器５１０の制御データ２５２ｃと、その被制御機器５１０の詳細情報２５２ｄと、が格納される。
　ＩＤ２５２ｂは、被制御機器５１０の制御データが一意に定まる情報であればよい。例えば、メーカが設定した型番等を用いてもよい。制御データ２５２ｃは、その被制御機器において、可能な制御操作毎の、制御コマンドの集合である。詳細情報２５２ｄは、例えば、名称、メーカ名、物理アドレス等である。詳細情報２５２ｄは、ＨＭＤ１００と被制御機器５１０との接続等に使用される。なお、詳細情報２５２ｄは、同じ、制御データテーブル２５２上ではなく、ＩＤ２５２ｂに紐づけられたサブテーブルとして保管してもよい。
　制御データテーブル２５２には、ユーザ９０１が以前に接続したことのある被制御機器５１０や、使用する可能性のある被制御機器５１０について、上記情報が予め登録される。また、制御データ取得部２２３が、ネットワークサーバ５５０から取得し、登録してもよい。
　［リモコンテーブル］
　次に、リモコンテーブル２５３を説明する。リモコンテーブル２５３は、仮想リモコンの対象の被制御機器５１０を特定する情報と、所望制御操作毎の制御コマンドが格納されるテーブルである。
　図７（ｂ）は、本実施形態のリモコンテーブル２５３の一例を示す図である。本図に示すように、リモコンテーブル２５３には、記載種別２５３ａと、解析内容２５３ｂと、識別情報（ＩＤ）２５３ｃと、制御コマンド２５３ｄと、領域２５３ｅと、表示データ２５３ｆと、が格納される。なお、リモコンテーブル２５３は、作成日時２５３ｇが格納されてもよい。
　記載種別２５３ａは、記載情報３１０の種別（被制御機器または所望制御操作）である。本実施形態では、特定情報取得部２２２が、解析用テーブル２５１を用いて解析した結果得られた記載種別２５１ｃが格納される。
　解析内容２５３ｂは、特定情報取得部２２２が記載情報３１０を解析した結果である。本実施形態では、解析用テーブル２５１の解析内容２５１ｂが格納される。
　ＩＤ２５３ｃは、記載種別２５３ａが、被制御機器の場合、その被制御機器を一意に特定するＩＤが格納される。被制御機器５１０のＩＤは、特定情報取得部２２２が被制御機器の解析内容２５１ｂに基づいて、被制御機器本体やネットワーク等から取得する。
　制御コマンド２５３ｄは、記載種別２５３ａが、所望制御操作である場合、当該制御操作に対応する制御コマンドである。対応付部２２４が、制御データテーブル２５２から取得し、格納する。
　表示データ２５３ｆは、仮想リモコン画像４００に表示するデータである。領域２５３ｅは、仮想リモコン画像４００の表示領域を特定する情報である。本実施形態では、特定情報取得部２２２が、解析した結果が格納される。なお、領域２５３ｅには、例えば、ＨＭＤ１００が取得する画像の画素位置で特定される情報が格納される。
　なお、仮想画像生成部２２５は、提示面３００に記載される手書きの文字列を機能ボタンに見立てて、機能ボタン群の受付オブジェクトを生成する。
　例えば、仮想画像生成部２２５は、仮想リモコン画像４００を生成する際、被制御機器情報表示領域４１０に、記載種別２５３ａとして「被制御機器」が登録されているデータの、表示データ２５３ｆに登録されている情報を表示させる。図７（ｂ）の場合、「エアコン」である。
　また、仮想画像生成部２２５は、仮想リモコン画像４００の、所望制御操作表示領域４２０に、記載種別２５３ａに「所望制御操作」が登録されている全てのデータの、表示データ２５３ｆを表示させる。図７（ｂ）の場合、「冷房」および「停止」である。
　なお、主制御部２１０は、予め定めた期間が経過すると、または、ユーザ９０１から指示を受け付けると、仮想リモコン画像４００の表示を消去する。このとき、併せて、リモコンテーブル２５３も消去する。これにより、無駄なメモリの消費を避けることができる。予め定めた期間は、例えば、１分、１時間、登録日中、１週間等である。
　また、仮想リモコン画像４００の表示消去後、別に定めた一定時間経過後にリモコンテーブル２５３を消去してもよい。この場合、仮想リモコン画像４００の表示が消去されていても、リモコンテーブル２５３の消去前であれば、ユーザ９０１が被制御機器５１０を見たことを受け、仮想リモコン画像４００を再度表示し、操作を受け付ける。なお、リモコンテーブル２５３は、次の被制御機器５１０に対する仮想リモコン生成処理が開始された場合、消去するよう構成してもよい。
　［ジェスチャ動作テーブル］
　次に、ジェスチャ動作テーブル２５４の一例を説明する。ジェスチャ動作テーブル２５４は、ユーザ９０１のジェスチャ毎の、操作指示を対応づけて登録したテーブルである。操作受付部２３０が検出したユーザ９０１のジェスチャ動作から、操作指示を特定する際に用いられる。
　図８は、本実施形態のジェスチャ動作テーブル２５４の一例を示す図である。本図に示すように、ジェスチャ動作テーブル２５４は、ジェスチャ動作２５４ａと、操作指示２５４ｂとを備える。
　ジェスチャ動作２５４ａは、操作受付部２３０が検出する可能性のある、ユーザ９０１のジェスチャである。
　操作指示２５４ｂは、各ジェスチャに対応する操作指示の内容が格納される。操作指示の内容は、予め定められる。ユーザ９０１が所望の操作指示を登録してもよい。
　例えば、操作受付部２３０は、ユーザ９０１のジェスチャ動作として、受付オブジェクト４２１、４２２である機能ボタンをタッチする動作を検出すると、操作受付部２３０は、対応する機能（ここでは、制御操作）の実行指示と判別し、当該実行指示に対応づけられた制御コマンドをリモコンテーブル２５３から取得する。コマンド送信部２４０は、当該制御コマンドを、被制御機器５１０に向けて送信する。
　その他、本図に示すように、例えば、ジェスチャ動作として、提示された機能ボタンを押さえながら機能ボタン群の表示領域内でスライドする動作を検出すると、操作受付部２３０は、その機能ボタンを移動する指示と判別する。また、ジェスチャ動作として、提示された機能ボタンを押さえながら機能ボタン表示領域外へスライドする動作を検出すると、操作受付部２３０は、その機能ボタンを消去する指示と判別する。また、ジェスチャ動作として、提示された機能ボタン群全体を囲む様に円弧を描く動作を検出すると、操作受付部２３０は、円弧で囲まれた機能ボタンを選択する指示と判別する。さらに、ユーザ９０１が手を横に移動するジェスチャ動作を検出すると、操作受付部２３０は、機能ボタン表示を終了する指示と判別する。
　各ジェスチャ動作は、あくまで一例であり、当然、他のジェスチャ動作を有効とすることもできる。例えば、上述したように、インカメラ１３４でユーザ９０１の視線を検出して、機能ボタンの選択等を行うようにしてもよい。
　このジェスチャ動作テーブル２５４を備えることにより、機能ボタンの配置を、ユーザ９０１が自由に設定できる。
　その他、処理に必要なデータ、処理中に生成されるデータ、および、処理の結果生成されるデータは、処理データ２５５に格納される。
　これらの各機能、データを用い、ユーザ９０１は、図１を用いて説明した遠隔操作処理を行う。すなわち、ＨＭＤ１００を装着したユーザ９０１は、ＨＭＤ１００のディスプレイ１３１を介して提示面３００を視認するだけで、あたかも、その提示面３００がリモコンになったかのような操作環境を得ることができる。
　［遠隔操作処理］
　次に、本実施形態のＨＭＤ１００による、仮想リモコン生成処理を含む遠隔操作処理の流れを説明する。図９は、本実施形態の遠隔操作処理の処理フローである。本処理は、ユーザ９０１の指示、または、ＨＭＤ１００が提示面３００を検出したことを契機に開始される。なお、ここでは、仮想リモコン画像４００を作成後、所定期間経過後、データを消去する場合を例にあげて説明する。
　まず、画像取得部２２１が周囲画像を取得する（ステップＳ１１０１）。
　特定情報取得部２２２は、周囲画像から、特定情報（被制御機器特定情報と所望制御操作特定情報）を取得する、特定情報取得処理を行う（ステップＳ１１０２）。
　制御データ取得部２２３は、被制御機器特定情報に基づき、被制御機器５１０の制御データを取得する制御データ取得処理を行う（ステップＳ１１０３）。制御データは、自装置の記憶装置１１０内にあれば、記憶装置１１０から、なければ、通信装置１６０を介してネットワークサーバ５５０から取得される。
　制御データ取得部２２３は、ステップＳ１１０３で、被制御機器として特定した装置に関する制御情報を取得できたか否かを判別する（ステップＳ１１０４）。
　ここで、自装置またはネットワークサーバ５５０のいずれかから制御データを入手できた場合（Ｓ１１０４；Ｙｅｓ）、対応付部２２４は、リモコンテーブル２５３を完成させる対応付処理を行う（ステップＳ１１０５）。ここでは、所望制御操作に制御コマンドを対応づける。
　仮想画像生成部２２５は、リモコンテーブル２５３を参照し、仮想リモコン画像を生成する（ステップＳ１１０６）。ここでは、仮想画像生成部２２５は、制御コマンドに対応付けられた機能ボタンの受付オブジェクト４２１、４２２と、被制御機器５１０の名称の表示と、を含む表示データを作成する。作成する表示データは、画像取得部２２１が取得した周囲画像の、対応する領域にそれぞれ配置されるよう生成する。例えば、図１に示すように、提示面３００の「エアコン」が記載された領域に被制御機器名が、「冷房」が記載された領域に「冷房」の指示を受け付ける機能ボタンが、「停止」が記載された領域に「停止」の指示を受け付ける機能ボタンが表示されるよう生成する。
　なお、ディスプレイ１３１が透過型ディスプレイの場合、仮想リモコン画像は表示しなくてもよい。ただし、機能ボタン（受付オブジェクト４２１、４２２）の領域情報は保持し、ユーザ９０１の指示を受け付ける。例えば、受付オブジェクト４２１、４２２の配置位置、対応制御操作の情報を保持し、操作受付部２３０は、ユーザ９０１の操作指示を受け付ける。
　ここで、主制御部２１０は、タイマ１０６にタイマカウントを開始させる（ステップＳ１１０７）。そして、タイマの値ｔｍが、予め定めた期間Ｔｈを越えたか否か（ｔｍ≦Ｔｈ）を判別し（ステップＳ１１０８）、期間Ｔｈを超えていれば（ｔｍ＞Ｔｈ）、主制御部２１０は、リモコンテーブル２５３を消去し（ステップＳ１１１１）、処理を終了する。
　一方、期間内（ｔｍ≦Ｔｈ）である場合、操作受付部２３０が、ユーザ９０１による、所望制御操作に対する操作指示を受け付けると（ステップＳ１１０９）、操作受付部２３０は、受け付けた制御操作に対する制御コマンドを、リモコンテーブル２５３から抽出する。
　コマンド送信部２４０は、抽出された制御コマンドを、通信装置１６０を介して、被制御機器５１０へ送信し（ステップＳ１１１０）、ステップＳ１１０８へ戻る。
　ステップＳ１１０４で、制御データを取得できなかった場合（Ｓ１１０４；Ｎｏ）、主制御部２１０は、取得できなかった場合の表示処理（ＮＧ表示処理）を行い（ステップＳ１１１２）、処理を終了する。ＮＧ表示処理では、例えば、指定された被制御機器５１０の制御データが入手できなかったことを意味するメッセージを、ディスプレイ１３１に表示させたり、仮想リモコンを作成できないことを意味するメッセージをディスプレイ１３１に表示させたりする。
　［特定情報取得処理］
　次に、特定情報取得部２２２による、特定情報取得処理の流れを説明する。図１０は、本実施形態の特定情報取得処理の処理フローである。本処理は、周囲画像を解析し、リモコンテーブル２５３の、記載種別２５３ａと解析内容２５３ｂと、ＩＤ２５３ｃとを完成させる処理である。
　特定情報取得部２２２は、まず、提示面形状把握処理（ステップＳ１２０１）を行う。この提示面形状把握処理は、提示面３００形状を把握する処理である。具体的には、アウトカメラ１３３で撮影した周囲画像を解析し、提示面３００の、予め決められた形状を検出する。本実施形態では、外枠３０５を検出する。検出した外枠３０５の領域内を、被制御機器５１０の名称や所望制御操作の情報を検出するための走査領域とする。上述したように、提示面３００には、被制御機器の名称と所望制御操作とが、記載情報３１０として描かれる。
　なお、外枠３０５の形状は、例えば、矩形とする。しかしながら、形状は限定されない。また、形状は正確な図形でなくともよく、例えば、手書きでは矩形の線が揺れていたり、角が多少丸まったりする場合もあるので、矩形らしさで、矩形と判断する。また、矩形の外枠３０５内に描かれたマークや文字を合わせて提示面３００と判断してもよい。例えば、「リモコン」、「リ」を丸で囲んだマークやユーザな好きなマーク等の各々の特徴をもって、提示面３００としてもよい。
　次に、特定情報取得部２２２は、提示面３００の走査領域に、被制御機器情報または所望制御操作情報に該当する可能性のある記載情報３１０が存在するか否かを判別する（ステップＳ１２０２）。情報の有無を判別する場合は、例えば、走査領域を２値化し、所定のサイズ以上の連続した黒領域があるか否か等の、簡単な画像解析処理で行う。
　ここで、記載情報３１０無し、と判別された場合（Ｓ１２０２；Ｎｏ）、ＮＧ表示処理を行い（ステップＳ１２１１）、処理を終了する。ＮＧ表示処理では、例えば、記載情報３１０が検出できないことを意味するメッセージ等を出力する。また、提示面３００であるか否かの判断時に提示面３００らしさの度合いを算出し、その度合いが、ある閾値以上である場合にメッセージを表示してもよい。
　記載情報３１０あり、と判別された場合（Ｓ１２０２；Ｙｅｓ）、特定情報取得部２２２は、走査領域を、詳細に解析する、提示面解析処理を行う（ステップＳ１２０３）。提示面解析処理では、記載情報３１０を解析して、被制御機器情報候補と所望制御操作情報候補とを抽出する。
　被制御機器情報候補と所望制御操作情報候補とは、記載情報３１０の解析結果と解析用テーブル２５１に登録されている記載内容２５１ａとを比較することにより抽出される。例えば、図１の例では、「エアコン」が被制御機器情報候補として抽出され、「冷房」と、「停止」とが、所望制御操作候補として抽出される。このとき、被制御機器情報候補と所望制御操作候補との各々に対応する解析内容２５１ｂを決定する。
　次に、特定情報取得部２２２は、被制御機器情報候補から被制御機器５１０の識別情報（ＩＤ）を取得するＩＤ取得処理を行う（ステップＳ１２０４）。ここで、ＩＤは、被制御機器５１０を一意に識別する情報で、例えば、型番等である。例えば、被制御機器５１０のメーカ名、機器の種類、物理アドレス等の機器詳細情報であってもよい。
　特定情報取得部２２２は、例えば、被制御機器情報候補を解析用テーブル２５１に照らし合わせて、機器の種類を選定する。なお、機器の種類は、例えば、解析用テーブル２５１の解析内容２５１ｂに登録される情報である。そして、選定した機器の種類が被制御機器名２５２ａとして登録されている全てのレコードの識別情報（ＩＤ）２５２ｂを、制御データテーブル２５２から取得し、取得した識別情報（ＩＤ）２５２ｂに対応する詳細情報２５２ｄを用いて、周囲に、接続確立要求を送信し、応答を得られるか否かで判別してもよい。これにより、該当する種類の機器のみから応答を受ける。
　なお、ＩＤ取得処理により、周囲に仮想リモコンにより制御コマンドを送信可能な被制御機器５１０があるか否かを判別できる。すなわち、特定情報取得部２２２は、所定期間内に応答があるか否かを判別する（ステップＳ１２０５）。
　所定期間内に応答を得た場合（Ｓ１２０５；Ｙｅｓ）、特定情報取得部２２２は、抽出、特定した解析内容２５１ｂとその記載種別２５１ｃとＩＤ２５２ｂとを、制御データ取得部２２３に出力する。また、特定情報取得部２２２は、さらに、抽出、特定した情報を、リモコンテーブル２５３に登録し（ステップＳ１２０６）、処理を終了する。ここで、登録する情報は、記載種別２５３ａ、解析内容２５３ｂ、ＩＤ２５３ｃと、提示面解析処理で得た、領域２５３ｅおよび表示データ２５３ｆとである。
　一方、応答を得ない場合（Ｓ１２０５；Ｎｏ）、ステップＳ１２１１へ移行し、ＮＧ表示処理を行い、処理を終了する。この場合のＮＧ表示処理では、周囲に、仮想リモコンで操作コマンドを送信可能な被制御機器５１０がないことを意味するメッセージを出力する。
　なお、複数の被制御機器５１０から応答を得た場合の、選択のルールは予め定めておく。ルールは、例えば、最も早く応答を送信してきた機器とする、ユーザ９０１の視線方向の機器とする、ユーザ９０１に提示し、選択を受け付ける、等である。
　また、特定情報取得部２２２は、所望の機器から応答を得ない場合、接続可能な被制御機器５１０を探索してもよい。このとき、制御データテーブル２５２に登録されてない新たな被制御機器５１０を検出した場合は、新たな被制御機器５１０の詳細情報を取得して、制御データテーブル２５２に登録する。そして、新たな被制御機器５１０の中で、被制御機器情報候補に該当する機器が無いかを確認する。
　また、例えば、新たな被制御機器５１０の存在が明らかな場合は、ユーザ９０１がアウトカメラ１３３により、被制御機器５１０のメーカ名や型番を撮影することにより、ＩＤ２５２ｂを取得してもよい。また、被制御機器５１０の外形形状を撮影し、撮影画像とともに、ネットワークサーバ５５０に問い合わせを行ってもよい。また、ユーザ９０１がメーカ等のホームページから取得してもよい。この場合、ユーザ９０１が、手書きで、提示面３００に詳細情報のいくつかを記載し、撮影データとして取得してもよい。さらに、ユーザ９０１が、詳細情報のいくつかを音声にて発生し、音声処理装置１４０で取得してもよい。
　この場合も、制御データテーブル２５２に登録時に登録された被制御機器５１０毎にＩＤは付与される。
　なお、ユーザ９０１は、提示面３００上に、被制御機器５１０の情報として、被制御機器５１０の名称を正確に記述する必要はない。例えば、「クーラ」や「冷風機」等の他の文字や、エアコンと判断可能な絵で描いてもよい。本実施形態では、解析用テーブル２５１に、ユーザ９０１が記載する可能性のある、想定される各種の表現を予め登録しておく。また、ユーザ９０１が記載情報３１０として提示面３００に記載した内容を解析するためにＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いてもよい。
　［制御データ取得処理］
　次に、制御データ取得部２２３による、制御データ取得処理について説明する。図１１は、本実施形態の制御データ取得処理の処理フローである。本処理は、特定情報取得処理で特定した被制御機器５１０の制御データを取得する処理である。
　制御データ取得部２２３は、特定情報取得部２２２が特定した、被制御機器５１０のＩＤを含む被制御機器特定情報に基づいて、当該機器の制御データが登録されているか否か、制御データテーブル２５２を検索する（ステップＳ１３０１）。ここでは、ＩＤに基づいて、制御データテーブル２５２を検索し、合致するＩＤ２５２ｂを有するデータが登録されているか否かを判別する。
　合致するデータがあり、制御データが登録されている場合（Ｓ１３０１；Ｙｅｓ）、制御データ取得部２２３は、制御コマンド抽出処理を行う（ステップＳ１３０２）。具体的には、合致するデータの制御データを参照し、所望制御操作の解析内容に対応付けられた制御コマンドを、所望制御操作毎に抽出する。なお、特定情報取得処理において、特定情報取得部２４２が、被制御機器５１０のＩＤを、ＩＤ制御データテーブル２５２から取得した場合は、再度制御データテーブル２５２を探索することなく、取得したＩＤ２５２ｂに対応付けられた制御データ２５２ｃから制御コマンドを抽出してもよい。
　そして、制御データ取得部２２３は、抽出した各制御コマンドを、それぞれ、所望制御操作に対応付けてリモコンテーブル２５３に登録し（ステップＳ１３０３）、処理を終了する。
　ここで、合致するデータがない場合（Ｓ１３０１；Ｎｏ）、制御データ取得部２２３は、ネットワークサーバ５５０にＩＤに対応する制御データを要求する（ステップＳ１３０４）。そして、折り返し制御データを受信したか否かを判別する（ステップＳ１３０５）。
　折り返し制御データを受信した場合（Ｓ１３０５；Ｙｅｓ）、制御データ取得部２２３は、受信した制御データを、被制御機器名、ＩＤに対応付けて、制御データテーブル２５２に登録し（ステップＳ１３０６）、ステップＳ１３０２へ移行する。
　なお、ステップＳ１３０５で、ネットワークサーバ５５０に要求したものの、制御データがない旨の応答を得た場合、あるいは、所定期間内に応答がない場合は（Ｓ１３０５；Ｎｏ）、制御データ取得部２２３は、ＮＧ表示処理を行い（ステップＳ１３１１）、処理を終了する。ここでは、被制御機器５１０の制御データが入手できないことを意味するメッセージ等を出力する。
　以上説明したように、本実施形態のＨＭＤ１００は、通信装置１６０を備え、被制御機器５１０に対して当該通信装置１６０を介して制御コマンドを送信して当該被制御機器５１０を遠隔制御する。そして、周囲の画像である周囲画像から被制御機器５１０および所望の制御操作である所望制御操作を特定するとともに、特定した所望制御操作に対するユーザ９０１の操作指示を受け付ける受付オブジェクト４２１、４２２を生成する仮想リモコン生成部２２０と、受付オブジェクト４２１、４２２を介してユーザ９０１による操作指示を受け付ける操作受付部２３０と、操作受付部２３０が受け付けた操作指示に対応する制御コマンドを被制御機器５１０に送信するコマンド送信部２４０と、を備える。
　また、周囲画像は、所望制御操作を示す表記を有する提示面３００を含む。仮想リモコン生成部２２０は、周囲画像から、被制御機器５１０を特定する被制御機器特定情報と、所望制御操作を特定する所望制御操作特定情報と、をそれぞれ取得する特定情報取得部２２２と、被制御機器特定情報を用いて当該被制御機器の制御データを取得する制御データ取得部２２３と、制御データに含まれる被制御機器５１０を制御する制御コマンドと所望制御操作とを対応づける対応付部２２４と、受付オブジェクト４２１、４２２を生成し、周囲画像をディスプレイ１３１に表示した場合に所望制御操作を示す表記が表示される領域に当該受付オブジェクト４２１、４２２を配置する仮想リモコン画像４００を生成する仮想画像生成部２２５と、を備える。
　このように、本実施形態によれば、リモコン機能ボタンを提示するための面（提示面３００）をＨＭＤ１００に搭載されたアウトカメラ１３３で撮像し、提示面３００に描かれた図形や文字から、操作する被制御機器５１０と機能（所望制御操作）とを把握し、機能が描かれた場所に被制御機器５１０を制御するリモコンの機能ボタンを、ＡＲオブジェクト（機能ボタン画像等）として提示する。このとき、ＡＲオブジェクトと、提示面３００に印刷もしくは記載済みの文字・画像等とを、提示面３００に重畳して提示する。
　また、機能ボタンに対するユーザ９０１のジェスチャ動作などにより、ユーザ９０１の機能ボタンに対する選択・移動・消去などの操作を受け付け、ＨＭＤ１００は、被制御機器を制御する。
　本実施形態によれば、ユーザ９０１がリモコンを紛失しても、いつでも仮想リモコンを生成できるとともに、この仮想リモコンでは、ユーザ９０１に必要な機能のみを機能ボタンとして表示することができる。また、仮想リモコンの基となる提示面３００は、紙等に描くことができ、冷蔵庫に貼ったり、ノート等のように複数枚綴じて置いておき、必要に応じて使いまわしたりすることができる。これにより、物忘れが著しいユーザ９０１であっても、リモコンを探しまわることなく、被制御機器５１０を容易に制御できる。
　すなわち、本実施形態によれば、ユーザ９０１が希望する機能をユーザ９０１が選択し、その選択した機能を実現するよう機能ボタンが配置される仮想リモコンを、ユーザ９０１が自由に設定、生成できる。
　本実施形態によれば、ユーザ９０１は、遠隔操作用のリモコンが手元になくても、手書きで紙等に必要な操作を記載すれば、それが、そのままリモコンとして機能する。このため、ユーザ９０１は、リモコンを探す必要がない。また、必要な機能のみ、機能ボタンとして作成できるので、わずらわしさもない。また、その配置も、好みのものとすることができるので、使いやすい。
　このように、本実施形態によれば、機器の遠隔制御において、リモコンを探す煩わしさを解消し、ユーザ９０１の利便性が各段に向上する。
　また、本実施形態では、１回でも、仮想リモコンを生成したことのある被制御機器５１０については、制御データテーブル２５２を、ＨＭＤ１００のデータ記憶部に保存する。この保存された制御データを用いることにより、次回からの被制御機器５１０への制御は、ネットワーク５３０を介さずに行うことができる。その結果、ネットワーク５３０での不具合（ネットワーク回線の込み具合による遅延や、回線切断等）を回避することができる。
　一方、本実施形態では、リモコンテーブル２５３は、使用を終えると消去し、次に必要になった場合は、改めて作成する。ユーザ９０１は、仮想リモコンをＨＭＤ１００のデータ記憶部２５０内で探す必要がない。また、無駄なメモリ消費を抑えることができる。
　＜変形例１＞
　なお、上記実施形態において、ユーザ９０１が提示面３００に記載した所望制御操作のうち、被制御機器にない機能がある場合は、当該機能がないことを、明示するよう構成してもよい。
　この場合の、仮想リモコン画像例を図１２（ｂ）に示す。ここでは、例えば、ユーザ９０１が図１２（ａ）に示すように、提示面３００に記載した場合を例に示す。
　図１２（ａ）に示すように、ユーザ９０１は、被制御機器名３１１として、「エアコン」と記載し、所望制御操作３１２として、「レイボウ」、「テイシ」、「ダンボウ」を記載する。
　特定情報取得部２２２が取得した被制御機器５１０に暖房の機能がない場合、制御データ取得部２２３が取得する制御データには、暖房に対応する制御コマンドはない。制御データ取得部２２３は、それを、仮想画像生成部２２５に通知する。
　仮想画像生成部２２５は、「レイボウ」と「テイシ」の制御操作については、上記実施形態の手法で制御コマンドと対応付けて機能ボタンを生成し表示する。しかしながら、「ダンボウ」については、制御データ取得部２２３からの通知に応じて、使用不可であることを示す不可表示４３１を行う。
　図１２（ｂ）の例では、「ダンボウ」機能はないため、仮想リモコン画像４００では、不可表示４３１として、×印を付与したＡＲオブジェクトを作成し、「ダンボウ」の受付オブジェクト４２３に重畳させて表示させる。これにより、ユーザ９０１は、直感的に「ダンボウ」の機能が使用できないことを把握できる。
　同様に、上記実施形態では、被制御機器５１０の制御データが存在しない場合、その旨のメッセージを出力しているが、これに限定されない。例えば、図１２（ｃ）に示すように、仮想リモコンの被制御機器名４１１の上に不可表示４３１を行い、ユーザ９０１に通知してもよい。
　なお、本変形例では、Ｘ印のＡＲオブジェクトを、重畳させて提示しているが不可表示４３１はこれに限定されない。例えば、「該当する暖房機能はありません。」や、「操作できるエアコンがありません。」等の文字列のＡＲオブジェクトであってもよい。さらに、それらの文字列をスピーカ１４１より、音声として出力してもよい。
　本変形例により、ユーザの無駄な操作を軽減できる。
　＜変形例２＞
　上記実施形態では、被制御機器５１０を、エアコンとして説明したが、被制御機器５１０は、エアコンに限定されない。例えば、照明器具であってもよい。
　図１３（ａ）に、被制御機器５１０が照明器具の場合、ユーザ９０１が作成する提示面３０１の一例を、図１３（ｂ）にその提示面３０１をＨＭＤ１００が解析して作成する仮想リモコン画像４０１の一例を示す。本図に示すように記載情報３１０から、被制御機器名４１１として「照明」、受付オブジェクト４２１、４２２として、それぞれ、「点灯」および「消灯」が表示された仮想リモコン画像４０１が生成される。
　＜変形例３＞
　さらに、上記実施形態では、ＨＭＤ１００から、被制御機器５１０への制御コマンドを、ネットワーク５３０を介して送信している。しかしながら、ＨＭＤ１００から被制御機器５１０への制御コマンドの送信は、これに限定されない。
　例えば、図１４に示すように、赤外線通信、Ｂｌｕｅｔｏｏｔｈ等の、近距離通信Ｉ／Ｆを用いて、ＨＭＤ１００から被制御機器５１０に、直接、制御コマンドを送信してもよい。この場合、コマンド送信部２４０は、ユーザ９０１が選択した制御操作に対応する制御コマンドを、ＢＴ通信Ｉ／Ｆ１６３、赤外線通信Ｉ／Ｆ１６４を介して送信する。
　本変形例により、近距離通信Ｉ／Ｆを利用して被制御機器５１０を、ＨＭＤ１００により、ネットワーク５３０を介さずに制御することができる。その結果、ネットワーク５３０での不具合（ネットワーク回線の込み具合による遅延や、回線切断等）を考慮する必要が無い。
　なお、いずれの通信手段を用いてＨＭＤ１００から被制御機器５１０に制御コマンドを送信するかを、ユーザ９０１が選択可能に構成してもよい。
　＜変形例４＞
　また、上記実施形態では、被制御機器の制御データは、予めＨＭＤ１００に登録されるか、ネットワークサーバ５５０から取得する。しかしながら、制御データは、被制御機器５１０そのものから取得してもよい。この場合、制御データ取得部２２３は、ＬＡＮ通信Ｉ／Ｆ１６１、ＢＴ通信Ｉ／Ｆ１６３、赤外線通信Ｉ／Ｆ１６４のいずれかを介して、被制御機器５１０にアクセスし、被制御機器５１０から取得する。
　特に、赤外線通信Ｉ／Ｆ１６４を介して制御情報を取得する場合、制御コマンドの代わりに、制御操作ごとの、一般のリモコン装置から発生する赤外線パターン（データフォーマット）を取得してもよい。
　そして、コマンド送信部２４０は、ユーザ９０１の操作に対応付けられた赤外線パターンを被制御機器５１０に送信する。これにより、通常のリモコンから発生する赤外線パターンと略同じ赤外線パターンを出力でき、精度よく指示を送信できる。
　なお、リモコンで使用する赤外線のデータフォーマットには、いくつかある。例えば、ＮＥＣフォーマット、家電協フォーマット、ＳＯＮＹフォーマット等である。本変形例では、被制御機器５１０が採用している赤外線のデータフォーマットを使用することは言うまでもない。
　また、ＢＴ通信Ｉ／Ｆ１６３を介してＢｌｕｅｔｏｏｔｈにより通信を行う場合は、前もってペアリングを行う必要がある。ペアリングに失敗した場合は、その旨、ユーザ９０１に通知する。
　＜変形例５＞
　また、上記実施形態では、ユーザ９０１が使用する情報処理端末として、ＨＭＤ１００を例にあげて説明したが、使用する情報処理端末は、これに限定されない。例えば、スマートフォン（以下、スマホと呼ぶ。）やタブレット端末等の携帯型情報端末を用いてもよい。
　スマホを用いる場合の、仮想リモコンの処理の概要および表示例を図１５に示す。
　本図に示すように、ユーザ９０１は、提示面３００と自身の間にスマホ１０１を掲げ、提示面３００の記載情報３１０が含まれる領域を撮影し、周囲画像を得る。
　スマホ１０１は、周囲画像を解析し、被制御機器５１０と所望制御操作とを特定し、制御コマンドまたは赤外線フォーマットを対応付ける。そして、仮想リモコン画像４００を作成し、スマホ１０１のディスプレイ１３１に表示させる。そして、仮想リモコン画像４００を介してユーザ９０１からの操作指示を受け付けると、スマホ１０１は、被制御機器５１０に操作指示に応じた制御コマンド（赤外線フォーマット）を送信する。
　生成される仮想リモコン画像４００は、図１５に示すように、被制御機器情報表示領域４１０と、所望制御操作表示領域４２０と、を備える。本図の例では、冷房開始の指示を受け付ける「冷房」と、停止の指示を受け付ける「停止」との受付オブジェクト４２１、４２２が表示される。
　なお、これを実現するスマホ１０１のハードウェア構成を図１５に示す。スマホ１０１のハードウェア構成は、基本的にＨＭＤ１００のハードウェアと同じ構成を備える。ただし、スマホ１０１は、ＨＭＤ１００のように装着されて使われるのではなく、ユーザ９０１が手に持って使用する。このため、操作受付装置１２０が一部異なる。
　スマホ１０１は、操作受付装置１２０として、ボタンスイッチ１２１やタッチパネル１２２だけでなく、操作キー１２３を備える。
　なお、スマホ１０１が上記実施形態を実現する機能構成も、基本的にＨＭＤ１００と同じである。ただし、スマホ１０１の操作受付部２３０は、ジェスチャ動作を検出、解析してユーザ９０１を特定する必要はない。タッチパネル１２２の、機能受付ボタン表示領域のタッチ操作を検出することにより、ユーザ９０１の意思を受け付ける。
　なお、スマホやタブレットに限らず、同等または近似のハードウェア構成やソフトウェア構成があれば、本変形例を実現することができる。例えば、ノートＰＣやタブレットＰＣ等であってもよい。
　＜変形例６＞
　上記実施形態では、提示面３００は、例えば、紙などのシート上のものを前提に説明した。しかし、提示面３００は、これに限定されない。例えば、ホワイトボード等であってもよい。ユーザ９０１が自在に書込み可能であり、撮影可能でありさえすれば、材質、形状は問わない。
　また、提示面３００は、例えば、被制御機器５１０のメーカが提供するものであってもよい。例えば、マニュアルのリモコンの記載等である。さらに、被制御機器５１０に備え付けのリモコンそのものであってもよい。
　記載情報３１０が予め用意されている場合、すなわち、ユーザ９０１が作成したものでない、マニュアルやリモコンそのものを提示面３００に用いる場合、仮想リモコンを作成する際、機能ボタンの受付オブジェクトは、全てを生成しなくてもよい。
　この場合、特定情報取得部２２２は、提示面３００の画像を解析し、制御操作を特定後、ユーザ９０１に提示し、仮想リモコン画像４００に表示させたい制御操作の選択を受け付ける。そして、選択を受け付けた制御操作を、所望制御操作と特定する。
　これにより、たとえ、既製の情報を提示面３００として用いた場合であっても、ユーザ９０１の所望の機能のみを、仮想リモコンに表示させることができる。
　＜変形例７＞
　また、特定情報取得部２２２は、上記実施形態では、記載情報３１０を解析して文字を特定している。このとき、解析には、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ　ｃｈａｒａｃｔｅｒ　ｒｅｃｏｇｎｉｔｉｏｎ）機能などの既存の文字解析を用いる。しかしながら、これに限定されない。例えば、予め、ユーザ９０１に手書き文字を登録させ、当該登録を参照して、パターンマッチング等の手法で解析してもよい。
　また、ユーザ９０１による手書き文字をＯＣＲ機能等で解析できない場合のみ、ユーザ９０１にデジタルデータを入力させ、手書き文字とデジタルデータとを対応付け、登録するように構成してもよい。この場合も、次回の提示面情報取得処理時に、登録された手書き文字をパターンとして、パターンマッチング処理を行い、文字を特定する。
　＜変形例８＞
　また、上記実施形態では、記載情報３１０は、基本的に文字列である場合を例にあげて説明した。しかしながら、記載情報３１０は、文字列に限定されない。図形、色等であってもよい。この場合、解析用テーブル２５１において、記載内容２５１ａに、図形や色等を予め登録しておく。
　なお、登録は、ユーザ９０１が行ってもよい。ユーザ９０１が、自身が好みの図形や色を、特定の被制御機器５１０や、特定の所望制御操作を表すものとして、予め登録する。これにより、ユーザ９０１は、文字すら記載することなく、仮想リモコンを生成することができる。
　さらに、記載情報３１０の代わりに、音声等であってもよい。この場合、解析用テーブル２５１は、音声が登録される。すなわち、記載内容２５１ａの代わり、あるいは、追加で音声データが登録される。そして、音声データに対応づけて、解析内容２５１ｂや記載種別２５１ｃが登録される。
　＜変形例９＞
　さらに、上記実施形態では、仮想リモコン画像を表示する場合、所定時間が経過すると、仮想リモコン画像４００の表示を消去する。しかし、これに限定されない。例えば、ユーザ９０１からの明示の指示に応じて、仮想リモコン画像４００の表示を消去するよう構成してもよい。
　さらに、仮想リモコン画像４００の表示だけでなく、仮想リモコン画像４００を生成する基となるリモコンテーブル２５３も、仮想リモコン画像４００の表示を消去するタイミングに同期して、消去するよう構成してもよい。
　＜変形例１０＞
　ネットワーク５３０を介してメーカのホームページなどから被制御機器５１０の機能ボタンの配置（リモコンの機能ボタンの配置）情報が入手できる場合は、被制御機器５１０の機能ボタンの配置情報を、さらにデータ記憶部２５０に記憶してもよい。そして、仮想画像生成部２２５は、提示面３００の配置ではなく、被制御機器５１０の機能ボタンの配置に従って、仮想リモコン画像４００を生成してもよい。
　なお、本発明の技術を実現する構成は上述した実施形態および変形例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施形態または変形例の構成の一部を、他の例の構成と置き換えることが可能である。また、ある実施形態または変形例の構成に他の例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
　前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めＨＭＤ１００の内部メモリストレージ等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。
　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
　１００：ＨＭＤ、１０１：スマホ、１０５：拡張インタフェース部、１０６：タイマ、１１０：記憶装置、１１１：メインプロセッサ、１１２：システムバス、１１３：ＲＡＭ、１１４：ＲＯＭ、１１５：フラッシュメモリ、１２０：操作受付装置、１２１：ボタンスイッチ、１２２：タッチパネル、１２３：操作キー、１３０：画像処理装置、１３１：ディスプレイ、１３３：アウトカメラ、１３４：インカメラ、１４０：音声処理装置、１４１：スピーカ、１４３：マイク、１５０：センサ、１５１：受信部、１５２：ジャイロセンサ、１５３：地磁気センサ、１５４：加速度センサ、１５５：深度センサ、１６０：通信装置、１６１：ＬＡＮ通信Ｉ／Ｆ、１６２：電話網通信Ｉ／Ｆ、１６３：ＢＴ通信Ｉ／Ｆ、１６４：赤外線通信Ｉ／Ｆ、
　２１０：主制御部、２２０：仮想リモコン生成部、２２１：画像取得部、２２２：特定情報取得部、２２３：制御データ取得部、２２４：対応付部、２２５：仮想画像生成部、２３０：操作受付部、２４０：コマンド送信部、２５０：データ記憶部、
　２５１：解析用テーブル、２５１ａ：記載内容、２５１ｂ：解析内容、２５１ｃ：記載種別、２５２：制御データテーブル、２５２ａ：被制御機器名、２５２ｂ：ＩＤ、２５２ｃ：制御データ、２５２ｄ：詳細情報、２５３：リモコンテーブル、２５３ａ：記載種別、２５３ｂ：解析内容、２５３ｃ：ＩＤ、２５３ｄ：制御コマンド、２５３ｅ：領域、２５３ｆ：表示データ、２５３ｇ：作成日時、２５４：ジェスチャ動作テーブル、２５４ａ：ジェスチャ動作、２５４ｂ：操作指示、２５５：処理データ、
　３００：提示面、３０１：提示面、３０５：外枠、３１０：記載情報、３１１：被制御機器名、３１２：所望制御操作、４００：仮想リモコン画像、４０１：仮想リモコン画像、４１０：被制御機器情報表示領域、４１１：被制御機器名、４２０：所望制御操作表示領域、４２１：受付オブジェクト、４２２：受付オブジェクト、４２３：受付オブジェクト、４３１：不可表示、
　５００：遠隔操作システム、５１０：被制御機器、５２０：無線ルータ、５３０：ネットワーク、５５０：ネットワークサーバ、９０１：ユーザ
 

Claims (11)

  1. 　通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末であって、
    　当該情報処理端末の周囲の画像である周囲画像から前記被制御機器および所望の制御操作である所望制御操作を特定するとともに、特定した前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成部と、
    　前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付部と、
    　前記操作受付部が受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信部と、を備えること
    　を特徴とする情報処理端末。
  2. 　請求項１記載の情報処理端末であって、
    　前記周囲画像は、前記所望制御操作を示す表記を有する提示面を含み、
    　前記仮想リモコン生成部は、
    　前記周囲画像から、前記被制御機器を特定する被制御機器特定情報と、前記所望制御操作を特定する所望制御操作特定情報と、をそれぞれ取得する特定情報取得部と、
    　前記被制御機器特定情報を用いて当該被制御機器の制御データを取得する制御データ取得部と、
    　前記制御データに含まれる前記被制御機器を制御する制御コマンドと前記所望制御操作特定情報で特定される前記所望制御操作とを対応づける対応付部と、
    　前記受付オブジェクトを生成し、前記周囲画像を前記当該情報処理端末のディスプレイに表示した場合に前記所望制御操作を示す表記が表示される領域に当該受付オブジェクトを配置する仮想リモコン画像を生成する仮想画像生成部と、を備えること
    　を特徴とする情報処理端末。
  3. 　請求項２記載の情報処理端末であって、
    　前記仮想画像生成部は、生成した前記仮想リモコン画像を、当該情報処理端末が備えるディスプレイに、予め定めた期間表示させること
    　を特徴とする情報処理端末。
  4. 　請求項２記載の情報処理端末であって、
    　前記仮想画像生成部は、前記被制御機器が受け付けない制御操作が前記所望制御操作として特定された場合、前記受付オブジェクトに予め定めた不可表示を行うこと
    　を特徴とする情報処理端末。
  5. 　請求項２記載の情報処理端末であって、
    　前記被制御機器の前記制御データを、当該被制御機器に対応づけて記憶する制御データテーブルをさらに備え、
    　前記制御データ取得部は、前記制御データを、前記制御データテーブル、外部サーバ、および前記被制御機器のいずれかから取得すること
    　を特徴とする情報処理端末。
  6. 　請求項１記載の情報処理端末であって、
    　制御コマンドを出力する通信装置として、ＬＡＮ通信インタフェースおよび近距離通信インタフェースの少なくとも１つを備えること
    　を特徴とする情報処理端末。
  7. 　請求項２記載の情報処理端末であって、
    　前記提示面は、シート状であり、
    　前記提示面は、前記被制御機器を示す表記をさらに備え、
    　前記被制御機器を表す表記と前記所望制御操作を示す表記とは、ユーザが記載したものであること
    　を特徴とする情報処理端末。
  8. 　請求項１から７のいずれか１項記載の情報処理端末であって、
    　当該情報処理端末は、ヘッドマウントディスプレイであること
    　を特徴とする情報処理端末。
  9. 　請求項１から７のいずれか１項記載の情報処理端末であって、
    　当該情報処理端末は、スマートフォンであること
    　を特徴とする情報処理端末。
  10. 　通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末における遠隔制御方法であって、
    　当該情報処理端末の周囲の画像である周囲画像から前記被制御機器および所望の制御操作である所望制御操作を特定するとともに、特定した前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成ステップと、
    　前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付ステップと、
    　受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信ステップと、を備えること
    　を特徴とする遠隔制御方法。
  11. 　通信装置を備え、被制御機器に対して当該通信装置を介して制御コマンドを送信して当該被制御機器を遠隔制御する情報処理端末が備えるコンピュータに、
    　当該情報処理端末の周囲の画像である周囲画像から前記被制御機器および所望の制御操作である所望制御操作を特定するとともに、特定した前記所望制御操作に対するユーザの操作指示を受け付ける受付オブジェクトを生成する仮想リモコン生成機能、
    　前記受付オブジェクトを介してユーザによる前記操作指示を受け付ける操作受付機能、
    　受け付けた前記操作指示に対応する前記制御コマンドを前記被制御機器に送信するコマンド送信機能を実現させるためのプログラム。
     
PCT/JP2020/026710 2020-07-08 2020-07-08 情報処理端末、遠隔制御方法およびプログラム Ceased WO2022009338A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022534560A JP7515590B2 (ja) 2020-07-08 2020-07-08 情報処理端末、遠隔制御方法およびプログラム
US18/011,879 US12380698B2 (en) 2020-07-08 2020-07-08 Information processing terminal and remote control method
PCT/JP2020/026710 WO2022009338A1 (ja) 2020-07-08 2020-07-08 情報処理端末、遠隔制御方法およびプログラム
CN202080102493.3A CN115997388A (zh) 2020-07-08 2020-07-08 信息处理终端、远程控制方法以及程序
JP2024106510A JP7755002B2 (ja) 2020-07-08 2024-07-02 遠隔制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026710 WO2022009338A1 (ja) 2020-07-08 2020-07-08 情報処理端末、遠隔制御方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2022009338A1 true WO2022009338A1 (ja) 2022-01-13

Family

ID=79552378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026710 Ceased WO2022009338A1 (ja) 2020-07-08 2020-07-08 情報処理端末、遠隔制御方法およびプログラム

Country Status (4)

Country Link
US (1) US12380698B2 (ja)
JP (2) JP7515590B2 (ja)
CN (1) CN115997388A (ja)
WO (1) WO2022009338A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7727981B1 (ja) * 2025-01-22 2025-08-22 木村　力也 様々な電化製品の操作ができるリモートコントロールシステム及びそのシステムを備えたリモコン及びロボット及びそのシステムを設定するアプリケーション
WO2025182230A1 (ja) * 2024-02-29 2025-09-04 株式会社Lixil 制御装置、水栓システム、ホームシステム、装置診断方法および装置診断プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023138873A (ja) * 2020-08-21 2023-10-03 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918971A (ja) * 1995-06-28 1997-01-17 Matsushita Electric Ind Co Ltd 電子機器操作装置
JP2007511128A (ja) * 2003-11-04 2007-04-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ タッチスクリーンを有するユニバーサル・リモートコントロール装置
JP2009517949A (ja) * 2005-11-30 2009-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 汎用リモコン装置の設定
JP2012105131A (ja) * 2010-11-11 2012-05-31 Sony Corp サーバ装置、表示操作端末、および遠隔操作システム
JP2013172432A (ja) * 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4588395B2 (ja) * 2004-09-24 2010-12-01 富士通株式会社 情報処理端末
US8196055B2 (en) * 2006-01-30 2012-06-05 Microsoft Corporation Controlling application windows in an operating system
JP4203525B1 (ja) * 2007-06-13 2009-01-07 健治 吉田 ドットパターンを利用した機器の入力装置、制御対象機器の受信装置、端末装置およびペーパーコントローラ
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
JP5681713B2 (ja) 2011-03-29 2015-03-11 パナソニックＩｐマネジメント株式会社 遠隔操作システムおよびリモコン
WO2013093906A1 (en) * 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
JP6318740B2 (ja) * 2014-03-17 2018-05-09 株式会社リコー 機器制御システム、機器制御装置、機器制御方法及びプログラム
JP6500477B2 (ja) * 2015-02-12 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR101595957B1 (ko) * 2014-06-12 2016-02-18 엘지전자 주식회사 이동 단말기 및 제어 시스템
JP6367031B2 (ja) 2014-07-17 2018-08-01 公立大学法人首都大学東京 電子機器遠隔操作システム及びプログラム
US10447785B2 (en) * 2014-11-17 2019-10-15 Lg Electronics Inc. Digital device and method for controlling same
WO2016171512A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
KR102383130B1 (ko) * 2016-01-18 2022-04-08 삼성전자주식회사 기능을 제어하는 방법 및 이를 지원하는 전자 장치
CN107104996B (zh) * 2016-02-19 2021-05-18 腾讯科技（深圳）有限公司 用户位置校验方法和装置、受控设备访问方法和装置
JP2017151894A (ja) * 2016-02-26 2017-08-31 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、およびプログラム
KR102655584B1 (ko) * 2017-01-02 2024-04-08 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN106990894B (zh) * 2017-03-21 2020-08-11 北京小米移动软件有限公司 智能设备的控制方法及装置
KR102411124B1 (ko) * 2017-10-27 2022-06-21 삼성전자주식회사 전자 장치 및 전자 장치에서 외부 장치를 이용한 태스크 수행 방법
KR102040939B1 (ko) * 2019-07-15 2019-11-27 한화테크윈 주식회사 감시 시스템 및 그 동작 방법
US11328692B2 (en) * 2019-08-06 2022-05-10 Alexandra Cartier Head-mounted situational awareness system and method of operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918971A (ja) * 1995-06-28 1997-01-17 Matsushita Electric Ind Co Ltd 電子機器操作装置
JP2007511128A (ja) * 2003-11-04 2007-04-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ タッチスクリーンを有するユニバーサル・リモートコントロール装置
JP2009517949A (ja) * 2005-11-30 2009-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 汎用リモコン装置の設定
JP2012105131A (ja) * 2010-11-11 2012-05-31 Sony Corp サーバ装置、表示操作端末、および遠隔操作システム
JP2013172432A (ja) * 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025182230A1 (ja) * 2024-02-29 2025-09-04 株式会社Lixil 制御装置、水栓システム、ホームシステム、装置診断方法および装置診断プログラム
JP7727981B1 (ja) * 2025-01-22 2025-08-22 木村　力也 様々な電化製品の操作ができるリモートコントロールシステム及びそのシステムを備えたリモコン及びロボット及びそのシステムを設定するアプリケーション

Also Published As

Publication number Publication date
JP7515590B2 (ja) 2024-07-12
CN115997388A (zh) 2023-04-21
US20230245456A1 (en) 2023-08-03
US12380698B2 (en) 2025-08-05
JP2024123273A (ja) 2024-09-10
JPWO2022009338A1 (ja) 2022-01-13
JP7755002B2 (ja) 2025-10-15

Similar Documents

Publication Publication Date Title
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
JP6256339B2 (ja) 制御装置および記憶媒体
JP7755002B2 (ja) 遠隔制御方法
US10685059B2 (en) Portable electronic device and method for generating a summary of video data
CN105306084B (zh) 眼镜型终端及其控制方法
CN103577102B (zh) 用于标记关于图像的信息的方法和系统、及其装置
TWI423112B (zh) 可攜式虛擬輸入操作裝置與其操作方法
CN109088803B (zh) 一种ar遥控装置、智能家居遥控系统及方法
US20170185276A1 (en) Method for electronic device to control object and electronic device
US20150381885A1 (en) Glass-type terminal and method for controlling the same
KR101847200B1 (ko) 객체 제어 방법 및 시스템
US11373650B2 (en) Information processing device and information processing method
WO2018000200A1 (zh) 对电子设备进行控制的终端及其处理方法
CN106662926A (zh) 普适计算环境中的姿势交互的系统和方法
US20180196503A1 (en) Information processing device, information processing method, and program
US20170083268A1 (en) Mobile terminal and method of controlling the same
US20210216768A1 (en) Mobile terminal and method for controlling the same
CN209514548U (zh) Ar搜索装置、基于ar搜索装置的物品搜索系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20944373

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022534560

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20944373

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18011879

Country of ref document: US