[go: up one dir, main page]

WO2013099407A1 - 表示装置及び投影装置 - Google Patents

表示装置及び投影装置 Download PDF

Info

Publication number
WO2013099407A1
WO2013099407A1 PCT/JP2012/076468 JP2012076468W WO2013099407A1 WO 2013099407 A1 WO2013099407 A1 WO 2013099407A1 JP 2012076468 W JP2012076468 W JP 2012076468W WO 2013099407 A1 WO2013099407 A1 WO 2013099407A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
user
display
imaging
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/076468
Other languages
English (en)
French (fr)
Inventor
田中淳史
石田久美子
宮越徹
齋藤チオリ
小川倫代
関口政一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011289291A external-priority patent/JP2013137472A/ja
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to US14/367,163 priority Critical patent/US9927878B2/en
Priority to CN201280070259.2A priority patent/CN104137173B/zh
Publication of WO2013099407A1 publication Critical patent/WO2013099407A1/ja
Anticipated expiration legal-status Critical
Priority to US15/890,862 priority patent/US10409386B2/en
Priority to US16/523,089 priority patent/US11086405B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/84—Measuring functions

Definitions

  • the present invention relates to a display device and a projection device.
  • a virtual remote controller is projected at a position where the user's limbs can reach, and illumination is performed according to a user operation (pointing or the like) on the virtual key of the projected virtual remote controller. It has been proposed to control the instrument (for example, Patent Document 1).
  • the conventional proposals are limited to projecting the virtual remote control at a position where the user's limbs can reach, and are not necessarily easy to use.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a display device and a projection device that are easy to use.
  • the display device of the present invention includes a display unit that performs display in an area corresponding to the position of the user, and a determination unit that determines whether display in the area is possible.
  • the determination unit may determine whether the display is possible based on a detection result of a thermal sensor that detects a physical quantity related to heat in the region.
  • the determination unit may determine whether the display is possible based on a detection result of a distance sensor that detects a step of the region.
  • a dangerous substance detection unit that detects the presence or absence of a dangerous substance based on an imaging result of an imaging unit that images the area is provided, and the determination unit can perform the display based on a detection result of the dangerous substance detection unit. It may be determined whether or not.
  • the display device of the present invention may include an adjustment unit that adjusts the display unit by the display unit based on an imaging result of an imaging unit that images the region.
  • the adjustment unit can adjust at least one of the size, position, and luminance of the display. Further, the adjustment unit can adjust the size of the display according to the number of people imaged by the imaging unit. Further, the adjustment unit can adjust a position where the display is performed according to a direction of a person imaged by the imaging unit.
  • the projection unit can display operation menus of a plurality of electronic devices in the area.
  • a control unit that displays an operation menu reflecting the arrangement of the plurality of electronic devices in the area may be provided.
  • the communication unit has a communication unit capable of communicating with the plurality of electronic devices, and the control unit detects the arrangement of the plurality of electronic devices according to a communication state with the plurality of electronic devices and reflects the arrangement.
  • the displayed operation menu may be displayed on the display unit.
  • the projection device of the present invention includes an imaging unit capable of imaging a user, a projection unit capable of projecting a projection image on an area corresponding to the position of the user, and the imaging unit projecting the projection image And a determination unit that determines whether or not imaging is possible.
  • an object detection sensor may be provided that detects whether or not there is an object that blocks imaging by the imaging unit in a space including the imaging unit and the region.
  • the object detection sensor may have a distance sensor.
  • the object detection sensor may have an image sensor.
  • an adjustment unit may be provided that adjusts a position where the projection image is projected when at least a part of the projection image projected by the projection unit cannot be captured by the imaging unit.
  • an actuator may be provided that drives the imaging unit when at least a part of the projected image projected by the projection unit cannot be captured by the imaging unit.
  • the said imaging part can image the said user and a structure, and the said determination part is good also as determining the said user's direction based on the imaging result of the said structure.
  • the imaging unit may be arranged to image the user from above the user. In this case, the determination unit may determine the posture of the user based on the imaging result of the imaging unit.
  • the display device of the present invention includes a detection unit that detects the posture of the user from an imaging result of an imaging unit that images the user from above, a display unit that displays in the vicinity of the user according to the posture of the user, Is provided.
  • the detection unit can detect the user's posture by detecting the size of the user from the imaging result of the imaging unit.
  • the display device of the present invention includes a detection unit that detects the position of a user, and a display unit that displays and projects menus related to operations of a plurality of electronic devices according to the detection result of the detection unit.
  • a control unit that displays the menu according to the arrangement of the plurality of electronic devices may be provided.
  • the menu may be a hierarchical menu corresponding to each of the plurality of electronic devices, and the control unit may share at least part of the display of the hierarchical menu.
  • the display device of the present invention displays and projects information related to a second device different from the first device based on an imaging unit capable of imaging a user who is using the first device and an imaging result of the imaging unit. And a display unit.
  • a voice detection unit that detects information related to the voice of the user who is using the first device
  • the display unit is information related to the second device based on a detection result of the voice detection unit. May be displayed.
  • the voice detection unit may detect information related to voice wording.
  • the said imaging part is good also as imaging a user's hand or leg with respect to the information regarding the said 2nd apparatus displayed by the said display part.
  • a communication unit that communicates with the second device based on the imaging result of the imaging unit may be provided.
  • the display unit ends display of the information related to the second device when the communication unit does not communicate with the second device for a predetermined time. Also good.
  • the imaging unit may capture the user's face, and the display unit may display information on the second device based on the face imaging result.
  • a measurement unit that measures a time during which the user is using the first device may be provided, and the display unit may display information on the second device based on a measurement result of the measurement unit.
  • the display unit may display information about the first device in addition to information about the second device.
  • you may provide the detection part which detects the apparatus which is driving when the said 1st apparatus is used.
  • the voice detection unit may detect information related to a conversation content of a user using the first device, and the display unit may display information corresponding to the information related to the conversation content.
  • the display device of the present invention displays a detection unit that detects a state of a user who is using the first device, and information related to at least a second device that is different from the first device, according to a detection result of the detection unit.
  • a display unit for projection displays a detection unit that detects a state of a user who is using the first device, and information related to at least a second device that is different from the first device, according to a detection result of the detection unit.
  • the present invention has an effect of providing a display device and a projection device that are easy to use.
  • FIG. 1 is a block diagram of a projection / device control system and an electronic device according to a first embodiment.
  • FIGS. 3A to 3D are views showing examples of the operation menu image according to the first embodiment.
  • FIG. 4A is a diagram illustrating an example of a reference image
  • FIG. 4B is a diagram illustrating an example of an image captured by the imaging unit. It is a flowchart which shows control of CPU of the projection and apparatus control system which concerns on 1st Embodiment. It is a figure for demonstrating the determination method of the projection area
  • FIG. 9A and FIG. 9B are diagrams illustrating an example of an operation menu image according to the second embodiment. It is a flowchart which shows control of CPU of the projection and apparatus control system which concerns on 2nd Embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of a projection / device control system 100 according to the first embodiment.
  • the projection / equipment control system 100 is provided on the ceiling of the living room as shown in FIG. 1, and operates an electronic device 80 such as a television 210, an air conditioner 220, and a lighting device 230 on the upper surface or floor of the table 200.
  • An operation menu image for projecting is projected.
  • the projection / device control system 100 executes control of the electronic device 80 according to the operation.
  • FIG. 2 is a block diagram of the projection / device control system 100.
  • the projection / device control system 100 includes a projection unit 10, an image system unit 20, a sensor unit 30, a gesture recognition unit 40, a flash memory 50, a communication unit 60, a CPU 70, Is provided.
  • a projection unit 10 an image system unit 20
  • a sensor unit 30 a sensor unit 30
  • a gesture recognition unit 40 a gesture recognition unit 40
  • flash memory 50 for communicating with a communication circuitry
  • communication unit 60 a communication unit 60
  • CPU 70 central processing unit
  • the projection unit 10 includes a light source 11, an illumination optical system 12, a light modulation element 13, a projection optical system 14, a projection image adjustment unit 15, and a menu display unit 16.
  • the number of projection units 10 can be determined according to the size and layout of the living room.
  • the light source 11 is, for example, a lamp that emits light.
  • the illumination optical system 12 illuminates the light modulation element 13 with the light beam emitted from the light source 11.
  • the light modulation element 13 is a liquid crystal panel, for example, and generates an image (an image (described later) based on image data input from the menu display unit 16) to be projected onto the upper surface of the table 200 or the like.
  • the projection optical system 14 is an optical system that projects the light beam from the light modulation element 13 toward the upper surface or floor of the table 200, and includes a zoom lens that adjusts the size of an image to be projected, and a focus lens that adjusts the focus position. Have Note that the position of the lens included in the zoom lens or the focus lens is adjusted by an actuator (not shown).
  • the projection image adjustment unit 15 determines an area (size) and a distance of an image to be projected toward the table 200 and the floor based on the imaging result of the image system unit 20 and the detection result of the sensor unit 30. .
  • the projection image adjusting unit 15 controls an actuator (not shown) according to the determined image area (size) and distance, and adjusts the position of the lens included in the zoom lens and the focus lens of the projection optical system 14. Further, the projection image adjustment unit 15 adjusts the contrast processing, the adjustment (change) of the color of the menu to be projected, and the luminance of the light source 11 according to the color and brightness of the upper surface of the table 200 and the floor.
  • the projection image adjustment unit 15 also performs settings related to the contents of an image to be displayed (icon arrangement, etc.).
  • the menu display unit 16 projects the operation menu image for operating the electronic device 80 toward the upper surface of the table 200 or the floor on the projection optical system 14 based on the imaging result of the image system unit 20 or the detection result of the sensor unit 30. Display through.
  • FIGS. 3A to 3D show an example of the operation menu image 17 displayed by the menu display unit 16 via the projection optical system 14.
  • the operation menu image 17 displayed by the menu display unit 16 has a hierarchical structure (a structure in which the images in FIGS. 3A to 3D are displayed according to the operation).
  • FIG. 3A shows an initial menu image (operation menu image to be projected first).
  • the initial menu image in FIG. 3A includes an icon 171 for selecting the electronic device 80 to be operated, an icon 172 for enlarging / reducing the image, and the end of projection (meaning “return”).
  • An icon 173 is included.
  • icons 171 for selecting the electronic device 80 icons of lighting devices, air conditioners, and televisions corresponding to the devices arranged in the living room of FIG. 1 are displayed.
  • icons are displayed according to the room layout (vertical relationship) so that the user can select the electronic device 80 intuitively. Specifically, the lighting device 230 is displayed at the top, then the air conditioner 220, and the icon of the television 210 is displayed at the bottom.
  • the position of the electronic device 80 is specified from a general layout (a layout in which the lighting device is often the highest, the air conditioner is below the lighting device, and the television is close to the floor). There are cases where it can be done and cases where it cannot be specified. If the position of the electronic device 80 cannot be specified, the position of each electronic device 80 may be registered in the flash memory 50 in advance. Further, as described later, the position may be specified from the result of communication with the electronic device 80. Note that the CPU 70 sets the icon arrangement and the like.
  • FIG. 3B is an operation menu image displayed when the icon of the lighting device is selected in the initial menu image of FIG.
  • the operation menu image of FIG. 3B includes a display of lighting equipment, an enlargement / reduction icon 181, an ON / OFF switch icon 182, an up / down switch icon 183, and a back icon 184. ing.
  • the up / down switch icon 183 is an icon for adjusting the illuminance of the lighting device 230.
  • FIG. 3C is an operation menu image displayed when an air conditioner is selected in the initial menu image of FIG.
  • the operation menu image in FIG. 3C includes an air conditioner display, an enlargement / reduction icon 191, an ON / OFF switch icon 192, an up / down switch icon 193, a return icon 194, a mode change (cooling) , Heating, dehumidifying, etc.) icons 195 are included.
  • the up / down switch icon 193 is an icon for performing adjustment (change of set temperature, set humidity, etc.) according to the set mode.
  • FIG. 3D is an operation menu image displayed when a television is selected in the initial menu image of FIG.
  • the operation menu image shown in FIG. 3D includes a television display, an enlargement / reduction icon 161, an ON / OFF switch icon 162, an up / down switch icon 163, a return icon 164, a mode change ( An icon 165 indicating the channel, volume, etc.) is included.
  • the up / down switch icon 163 is an icon for performing adjustment (channel change, volume setting, etc.) according to the set mode.
  • the operation menu image of each electronic device 80 displayed by the menu display unit 16 is a part of it (for example, an enlargement / reduction icon, an ON / OFF switch, etc.). Icon, up / down switch icon, and icon indicating return).
  • Icon up / down switch icon, and icon indicating return.
  • the image system unit 20 recognizes whether or not the user in the living room requests the projection of the operation menu image, or images the inside of the living room before the projection unit 10 projects the operation menu image 17. The location where the operation menu image 17 should be projected is determined. As shown in FIG. 2, the image system unit 20 includes an imaging unit 21 and an image comparison unit 22.
  • the imaging unit 21 includes a photographic lens and an imaging element, and images structures and users in the living room from the ceiling of the living room.
  • a wide-angle lens corresponding to the size of the living room for example, a wide-angle lens capable of imaging the entire living room
  • the number of the imaging units 21 is not limited to one, and may be a number (plural) according to the size of the living room.
  • a CCD (Charge-Coupled Device) or a CMOS (Complementary-Metal-Oxide-Semiconductor) can be employed as the image sensor.
  • the image sensor has a color filter in which RGB three primary colors are arranged in a Bayer array, and can obtain color signals corresponding to the respective colors.
  • the imaging by the image system unit 20 may be a still image, a moving image, or a combination thereof.
  • the imaging unit 21 may be provided integrally with the projection unit 10 or may be provided independently. In any case, it is only necessary to know the mechanical positional relationship between the imaging unit 21 and the projection unit 10, and the positional relationship may be stored as a system constant in the flash memory 50 or the like.
  • the image comparison unit 22 compares the living reference image (see FIG. 4A) with the image captured by the imaging unit 21 (see FIG. 4B).
  • the living reference image is an image stored in the flash memory 50, for example, an image of the entire living room.
  • the reference image may be changed in accordance with the layout change or seasonal pattern change. In this case, the reference image may be changed under the user's instruction. For example, when a change in season is detected based on a change in air conditioner settings (switching between heating and cooling), the reference image is automatically changed. You may make it update.
  • the flash memory 50 also stores various images of dangerous objects (cutters, knives, pots, kettles, etc.).
  • the image comparison unit 22 compares the image captured by the imaging unit 21 with the reference image, and determines whether the image captured by the imaging unit 21 is the same as the reference image. In addition, the image comparison unit 22 compares the image captured by the imaging unit 21 with various images of dangerous materials, and whether or not the captured image includes a dangerous material image and where is the dangerous material. Determine.
  • the CPU 70 determines the size of the head in the captured image (changes according to the distance between the imaging unit 21 and the user's head). Based on the above, it may be determined whether the user is standing or sitting. Specifically, when the user is standing, the distance between the imaging unit 21 and the user's head is closer, so the user's head is imaged larger.
  • the CPU 70 determines the posture of the user according to the size of the head imaged by the imaging unit 21, and the projection unit 10 projects the operation menu image 17 on either the floor or the table based on the determination result. You just have to do it.
  • information such as the user's height and head size may be stored in the flash memory 50, and the CPU 70 may determine whether the user is standing or sitting using the information.
  • the CPU 70 may determine whether the user is standing or sitting based on the width of the shoulder width of the user in the captured image instead of the size of the head.
  • the sensor unit 30 includes a temperature (heat amount) detection unit 31 and a distance sensor 32.
  • the temperature detection unit 31 includes, for example, an infrared sensor, an actuator that drives the infrared sensor in a two-dimensional manner to detect a temperature (amount of heat) in a predetermined area of the living room, and a temperature that is greater than or equal to a predetermined value among the temperatures detected by the infrared sensor. And a set temperature detection unit for detecting temperature (for example, 40 degrees or more). In the first embodiment, the temperature detection unit 31 detects a temperature higher than a predetermined temperature in the living room, for example, when a high-temperature pan is placed on a table, This is to prevent the operation menu image 17 from being projected in the vicinity.
  • the projection / apparatus control system 100 may be activated from the time when it is detected that the user is in the living room. However, when such activation control is performed, it is necessary to start (turn on) driving of the infrared sensor in accordance with the opening / closing operation of the living room door, or to always drive the infrared sensor.
  • the distance sensor 32 includes, for example, an ultrasonic sensor, and detects whether or not an object such as a small portable device or a toy is placed on the floor or table.
  • the reason why the step detection is performed in the first embodiment is to prevent the projection unit 10 from projecting the operation menu image on a portion having a step.
  • the image comparison unit 22 described above may detect a step by comparing a reference image (an image without a step) and an image captured by the imaging unit 21.
  • a reference image an image without a step
  • the distance sensor 32 detects whether there is a step in the difference portion.
  • various heights such as 5 mm or more or 10 mm or more, can be employ
  • the gesture recognition unit 40 recognizes a user's gesture in cooperation with the imaging unit 21.
  • the gesture recognizing unit 40 recognizes whether or not the user requests projection of the operation menu image, and recognizes the operation state of the user on the operation menu image 17.
  • the gesture recognition unit 40 determines that the operation menu image is requested to be projected. Such a determination can be made because the imaging unit 21 is provided on the ceiling as described above, and thus the imaging unit 21 can usually capture the face of the user while imaging the face of the user. It is because it is not possible.
  • the gesture recognizing unit 40 may recognize that the user is requesting the projection of the operation menu when the user performs an operation of pointing the image capturing unit 21.
  • the gesture recognizing unit 40 may recognize that the user requests the projection of the operation menu by a combination of the face detection and the pointing operation.
  • the gesture recognizing unit 40 acquires an image captured by the image capturing unit 21, and a user's hand or finger is placed on the operation menu image for a predetermined time (for example, from 1 second) by color recognition (skin color recognition or the like) in the image. 5 seconds), the user's operation on the operation menu image 17 is recognized.
  • a moving image is captured after the user's hand or finger is positioned on the operation menu image or a still image is continuously captured, and the user's gesture is recognized from the change (trajectory) of the position of the hand or finger.
  • the user's hand or finger may directly touch the operation menu image, but if there is a part of the user's body in the projection area of the operation menu image, it is recognized that the user is operating. It may not be in contact.
  • an image of the user's hand may be stored in the flash memory 50.
  • the gesture recognition unit 40 may recognize the position of the user's hand using the image of the user's hand.
  • the gesture recognizing unit 40 determines the amount of operation of the up / down switch icons 183, 193, and 163 shown in FIGS. 3B to 3D according to the number of fingers of the user on the icons. It is good. For example, assume that the mode is set to volume in the television operation shown in FIG. In this case, if three fingers are on the up switch icon, the gesture recognizing unit 40 may recognize that the operation is to increase the volume by three levels.
  • the flash memory 50 is a nonvolatile memory.
  • the flash memory 50 is a program executed by the CPU 70, information on the layout of the living room, system constants such as a mechanical positional relationship between the imaging unit 21 and the projection unit 10, data of various images such as reference images and dangerous objects, and the user.
  • Information, information of an electronic device 80 (such as a lighting device, a television, and an air conditioner) that communicates with the communication unit 60 is stored.
  • the communication unit 60 includes a wireless communication unit for communicating with the electronic device 80 (the television 210, the air conditioner 220, the lighting device 230, and the like), and the electronic device 80 receives the gesture recognized by the gesture recognition unit 40. Various control commands are sent to it.
  • the communication unit has a wireless module and an antenna. It is assumed that the antenna can be rotated and tilted by an actuator (not shown). Since the antenna can be rotated and tilted, the approximate position of each electronic device 80 can be recognized based on the radio wave intensity from each electronic device 80 received by the rotated and tilted antenna. ing. For example, when a new electronic device 80 is installed in a living room, the position of the new electronic device 80 can be recognized. Instead of rotating the antennas, a plurality of antennas may be provided, and the approximate position of each electronic device 80 may be recognized based on the radio field intensity of the plurality of antennas.
  • the CPU 70 comprehensively controls the electronic apparatus 80 in addition to the projection / apparatus control system 100.
  • the operation menu image is projected and the user recognizes the gesture on the operation menu image.
  • the electronic device 80 corresponding to the gesture is controlled.
  • the electronic device 80 is a television 210, an air conditioner 220, a lighting device 230, and the like.
  • the configuration of each electronic device 80 is various, but as shown in FIG. 60, a communication unit 81 for communicating with 60, a CPU 82 that controls the electronic device 80 according to a communication result of the communication unit 81, and a controlled unit 83 that is controlled by the CPU 82.
  • the communication unit 81, the CPU 82, and the controlled unit 83 are appropriately configured according to each electronic device 80 (the TV 210, the air conditioner 220, and the lighting device 230).
  • FIG. 5 shows the operation of each part of the projection / apparatus control system 100 under the control of the CPU 70.
  • the CPU 70 determines whether or not there is a user in the living room based on the output of the temperature detection unit 31. If the determination here is affirmed, the process proceeds to step S12.
  • the CPU 70 controls the imaging unit 21 to start imaging of the user.
  • imaging may be performed almost continuously as long as the user continues to exist in the living room, or imaging at predetermined intervals (2-3 seconds). May be performed.
  • the operation menu image is projected by the projection unit 10
  • step S14 the CPU 70 determines whether or not there has been a projection request for an operation menu image by the user.
  • the CPU 70 instructs the gesture recognizing unit 40 to recognize whether the user has performed a specific operation from the image captured by the image capturing unit 21. Then, the CPU 70 determines that there is a projection request when the gesture recognition unit 40 recognizes a specific operation.
  • the specific operation includes an operation of looking at the ceiling, an operation of pointing, or a combination of these operations.
  • the CPU 70 can confirm the position and orientation of the user based on the image captured by the imaging unit 21.
  • the CPU 70 can confirm the user's posture from the size of the head in the image as described above. In the first embodiment, it is assumed that the user is sitting on a chair and is present near the table.
  • step S14 If the determination in step S14 is negative, that is, if there is no request from the user, step S14 is repeated, but if there is a request from the user and the determination in step S14 is positive, Control goes to step S16.
  • the CPU 70 acquires information about the vicinity of the user from the sensor unit 30. In this case, the CPU 70 acquires the detection result of the temperature detection unit 31 and detects whether there is a region where the temperature exceeds 40 ° C. near the table 200. In addition, when there is a difference between the image captured by the imaging unit 21 and the reference image stored in the flash memory 50, the CPU 70 determines whether there is a step in the difference, that is, a table. Whether there is a dish or the like on 200 is determined from the detection result of the distance sensor 32.
  • the CPU 70 compares the image captured by the image capturing unit 21 with various images of dangerous objects stored in the flash memory 50, and creates a risk such as a fork, knife, cutter knife, scissors, knife, etc. on the table 200. Determine if there is something.
  • step S18 the CPU 70 determines the projection condition of the operation menu image by the projection unit 10.
  • the CPU 70 extracts a candidate area for projecting the operation menu from the information detected in step S16.
  • description will be made assuming that it is determined that there is no dangerous object or a step near the table and that the operation menu image can be displayed anywhere on the table.
  • the CPU 70 gives priority to the area on the front or right side of the user to display the operation menu image. This is because many users are right-handed, and thus the operation menu is displayed on the front or right side of the user, thereby facilitating the operation.
  • the gesture recognition unit 40 recognizes that the user frequently performs left-handed operations (left-handed)
  • the CPU 70 may project the operation menu image on the left side of the user.
  • the size of the head, the shoulder width, and information indicating that the user is left-handed may be stored in the flash memory 50 in association with each other. In this case, the CPU 70 determines whether or not the user in the image is left-handed from the size and width of the head detected from the image captured by the imaging unit 21 and the information stored in the flash memory 50. May be.
  • the orientation of the user may be determined from an image captured by the imaging unit 21, and when sitting on a chair, the direction opposite to the backrest of the chair may be determined as the front of the user. .
  • the user When the user is in the vicinity of the television, the user is normally facing the television, so the direction in which the television is present as viewed from the user may be determined as the user's orientation. If the user is moving, the moving direction can be determined as the user's direction.
  • the projection image adjusting unit 15 adjusts the zoom lens of the projection optical system 14 so that the operation menu image 17 is projected on the table 200 with a size of about 150 mm ⁇ 150 mm or 100 mm ⁇ 200 mm by default.
  • the distance from the projection optical system 14 to the projection surface may be detected by the distance sensor 32.
  • the projection image adjusting unit 15 adjusts the color of the operation menu image according to the color signal from the image sensor of the imaging unit 21.
  • the visibility of the operation menu image may be improved by making the outer edge of the operation menu image darker.
  • the CPU 70 selects a white system (for example, a white table cloth) or an achromatic system (for example, an achromatic system) according to the color signal from the image sensor.
  • the area of the colored carpet may be determined as the projection area. This also improves the visibility of the operation menu.
  • the projection image adjustment unit 15 may improve the visibility of the operation menu by adjusting the luminance of the light source 11 according to the time and the illuminance of the lighting device.
  • an illuminometer may be provided in the living room, and the luminance of the light source 11 may be adjusted according to the detection result of the illuminometer, or the illuminance of the lighting device 230 may be adjusted.
  • the visibility of the operation menu may be improved by dimming the illumination of the portion where the operation menu image is projected.
  • the projection image adjustment unit 15 adjusts the size of the operation menu image based on the position or step of the dangerous object, and Do not accept expansion. For example, in the case of FIG. 4B, the operation menu image is adjusted so as to avoid the pan 132 which is a dangerous material and the box 136 which forms a step, and the table cloth 134 (not a dangerous material and no step is formed). Is not considered in the adjustment of the operation menu image.
  • step S20 the CPU 70 instructs the projection unit 10 based on the projection condition determined in step S18.
  • the projection unit 10 projects an operation menu image on the table 200 according to the instruction.
  • the operation menu image (initial menu image) of FIG. 3A is projected on the table 200 as the initial operation menu image.
  • the CPU 70 may generate a sound such as “projected operation menu screen” from a speaker (not shown) in order to notify the user that the operation menu image has been projected.
  • step S22 the CPU 70 starts measuring time to measure the time during which the operation menu image is projected by the projection unit 10.
  • step S24 the CPU 70 determines whether or not there is a gesture (operation by an operation menu image) by the user. If the determination here is affirmed, the process proceeds to step S30. If the determination is negative, the process proceeds to step S26.
  • step S26 it is determined whether or not a predetermined time (gesture reception waiting time (for example, 10 seconds)) has elapsed since the operation menu image was projected (after the start of timing). When judgment here is denied, it returns to step S24. On the other hand, if the determination in step S26 is affirmative, that is, if there is no user gesture for 10 seconds or longer, the process proceeds to step S28, and the projection of the operation menu image is terminated because the user does not intend to perform the menu operation. Then, the entire process of FIG.
  • the waiting time for accepting the gesture in step S26 is not limited to 10 seconds, and can be set as appropriate.
  • step S30 the CPU 70 issues an instruction to the gesture recognition unit 40, and the gesture recognition unit 40 is instructed by the user. Recognize gestures made by.
  • the gesture recognition unit 40 determines which icon of the operation menu image of FIG. Or part of the body). For example, when the imaging unit 21 captures an image of a state where the user's hand is placed on the television icon in FIG. 3A, the gesture recognition unit 40 recognizes that the user has selected an operation on the television.
  • the gesture recognizing unit 40 recognizes that the user has made a gesture when the imaging unit 21 has captured a finger on the same icon for a predetermined number (2 to 5) or a predetermined time (1 to 3 seconds). Good.
  • step S32 the CPU 70 ends the timing started in step S22.
  • step S34 the CPU 70 determines whether it is necessary to display the next operation menu image.
  • the CPU 70 determines that the next operation menu image needs to be displayed, and returns to step S20. Thereafter, the CPU 70 repeats steps S20 to S34 until the operation on the television is determined, and proceeds to step S36 when the operation on the television is determined (the determination in step S34 is negative).
  • step S36 CPU70 communicates the instruction
  • the CPU 82 of the television 210 controls the television 210 based on the operation command received by the communication unit 81.
  • step S24 the CPU 70 returns to step S24, and when there is a user's gesture, the CPU 70 executes the process according to the gesture and finishes the process by the gesture (when the determination at step S26 is affirmed). After step S28, all the processes in FIG.
  • step S18 the projection position of the operation menu image may be determined from the viewpoint of whether the imaging unit 21 can capture the projected operation menu image.
  • FIG. 6 is a diagram illustrating a state in which an object (bottle) 110 is placed on the table 200. In this case, since there is no object (bottle) 110 in the reference image (see FIG. 4A), the distance to the object is detected by the distance sensor 32.
  • the CPU 70 projects an operation menu image on an area on the left side of the object (bottle) 110 based on the positional relationship between the imaging unit 21 and the object (bottle) 110.
  • the operation menu may be projected on the right side of the object.
  • the CPU 70 may determine whether the operation menu image can be captured by the imaging unit 21 from the height of the object detected by the distance sensor 32 from the table surface, the mounting position and the angle of view of the imaging unit 21. It is also possible to actually project the operation menu image on the right side of the object by the projection unit 10 and test whether the operation menu image can be captured by the imaging unit 21.
  • an actuator that drives the image capturing unit 21 is provided in the image system unit 20 in advance, and the position and orientation of the image capturing unit 21 are adjusted by the actuator to perform the operation. You may test whether you can capture a menu image.
  • the CPU 70 may confirm whether or not the projected operation menu image can be captured by the imaging unit 21 in the next step S20. If the operation menu can be imaged by the imaging unit 21, the CPU 70 proceeds to the next step S22. If a part (about 10% to 25%) cannot be imaged, the projection position by the projection unit 10 is adjusted, for example, an operation is performed. If more than half of the menu cannot be imaged, the process may return to step S18.
  • the projection image adjustment unit 15 determines in step S ⁇ b> 30 according to the user's operation. It is assumed that the size of the operation menu image 17 is changed.
  • the projection unit 10 projects the operation menu image 17 in an area corresponding to the position of the user, and the CPU 70 responds to the position of the user. Since it is determined whether or not the operation menu image 17 can be projected onto the area, the operation menu image can be projected at a position suitable for projection according to the position of the user. Thereby, the usability of the operation menu image is improved.
  • the CPU 70 determines whether or not the operation menu image 17 can be projected based on the detection result of the temperature detection unit 31 for detecting the temperature (heat amount) of a predetermined area in the living room. Therefore, it is possible to prevent the operation menu image from being projected on an object having a high temperature. Thereby, an operation menu image can be projected on a safe position.
  • the CPU 70 determines whether or not the operation menu image 17 can be projected based on the detection result of the distance sensor 32 that detects the step of the region. It is possible to prevent the image 17 from being projected. As a result, the operation menu image 17 can be projected at a convenient position.
  • the image comparison unit 22 detects the presence / absence of a dangerous substance based on the imaging result of the imaging unit 21, and the CPU 70 projects the operation menu image 17 based on the detection result. Since it is determined whether or not it can be performed, it is possible to prevent the operation menu image from being projected onto the dangerous object. As a result, the operation menu image can be projected to a safe position.
  • the projection image adjustment unit 15 adjusts the projection optical system 14 based on the imaging result of the imaging unit 21, the operation menu image is projected at an appropriate position, size, and luminance. can do.
  • the projection unit 10 projects the operation menu images of the plurality of electronic devices 80, it is possible to operate the plurality of electronic devices 80 using the operation menu images. .
  • the communication unit 60 that can communicate with the plurality of electronic devices 80 is provided, and the menu display unit 16 is arranged according to the communication state with the plurality of electronic devices 80. And the operation menu image reflecting the arrangement is projected on the projection unit 10. Thereby, it is possible to automatically detect the arrangement of the plurality of electronic devices 80 according to the communication state, and it is possible to improve the usability of the user by projecting the operation menu image reflecting the arrangement. It becomes.
  • the CPU 70 determines whether the operation menu image projected by the projection unit 10 can be captured by the imaging unit 21, so that the operation menu image is displayed at an appropriate position (user operation (gesture)). Can be projected to a position where the image can be recognized.
  • the CPU 70 uses the distance sensor 32 and the image system unit 20 (image comparison unit 22) to detect whether there is an object that blocks the imaging of the operation menu image by the imaging unit 21. To do. Thus, before the operation menu image is projected, an area where the operation menu image can be captured by the imaging unit 21 can be determined, and the operation menu image can be projected onto the area.
  • the imaging unit 21 images the user and a structure such as the table 200 and the television 210, and the CPU 70 determines the orientation of the user based on the imaging results of the table 200 and the television 210. Is going to judge. Thereby, it is possible to determine the orientation of the user without confirming the shape of the user's body.
  • the imaging unit 21 since the imaging unit 21 captures the user from above the user, various controls using the imaging result of the imaging unit 21 can be performed while protecting the user's privacy. is there.
  • the CPU 70 detects the user's posture from the imaging result of the imaging unit 21 that images the user from above, and the projection unit 10 operates in the vicinity of the user according to the user's posture. Since the menu image 17 is projected, the operation menu image 17 can be projected at a position convenient for the user. Further, in the first embodiment, the projection unit 10 projects the operation menu images 17 of the plurality of electronic devices 80 according to the user's position, so that the plurality of electronic devices 80 are located at positions that are convenient for the user. The operation menu image 17 can be projected.
  • the CPU 70 determines based on the movement of the face or hand that the user has requested the operation menu image projection in step S14.
  • the present invention is not limited to this, and the CPU 70 may determine that there is a projection request when a specific sound is input from the user to the microphone.
  • the operation menu image when there are a plurality of people in the living room, the operation menu image may be displayed in a large size so that the plurality of people can operate the operation menu image.
  • the operation menu image may be displayed on the front or right side of the person who made the projection request.
  • the operation menu image may be operated by all or only a specific person (for example, the person who requested the projection).
  • the CPU 70 may determine whether or not it is the hand of the person who has requested the projection from the direction of the hand or the direction in which the finger is pointed.
  • the child may be restricted from performing an operation using the operation menu image. In this case, the CPU 70 may determine whether or not it is a child's hand from the size and shape of the hand.
  • the electronic device 80 is a device in the living room (such as the television 210, the air conditioner 220, and the lighting device 230) has been described.
  • the present invention is not limited thereto, and communication with the communication unit 60 is performed.
  • the electronic device 80 may be arranged in a room different from the living room. In this way, it is possible to perform operations such as turning off the lighting device in the adjacent room while in the living room.
  • the projection / device control system 100 is applied in the living room.
  • the present invention is not limited to this.
  • the projection / apparatus control system 100 can be applied in a commercial facility.
  • the menu may be projected onto the table when a customer is seated or when a request is made by a gesture.
  • the product selected by the customer may be registered in a POS system or the like.
  • the operation menu image of each electronic device 80 may be specialized for each electronic device 80.
  • the operation menu image may include a numeric keypad.
  • the projection / device control system 100 ′ of the second embodiment projects a menu image for supporting the user to the user who uses the telephone, and electronically operates based on an operation (gesture) on the menu image by the user. It controls equipment.
  • FIG. 7 is a diagram showing a schematic configuration of the projection / apparatus control system 100 ′ according to the second embodiment.
  • FIG. 7 shows a telephone 90 provided with a face imaging unit 94 in addition to the projection / device control system 100 ′.
  • FIG. 8 is a block diagram of the projection / device control system 100 ′ and the telephone 90.
  • description will be made centering on differences from the projection / apparatus control system 100 (FIG. 2) according to the first embodiment.
  • symbol is attached
  • the telephone 90 can communicate with the projection / apparatus control system 100 ′, and the projection / apparatus control system 100 ′ A facial expression detection unit 72.
  • the electronic device 80 that is a target to be controlled by the projection / device control system 100 ′ is a door phone 85, a gas stove 86, and a recorder 87.
  • the telephone 90 includes a telephone function unit 91, an answering machine function unit 92, an interface unit 93, a face imaging unit 94, and a communication unit 95.
  • the telephone function unit 91 realizes functions that a general telephone should have, such as outgoing / incoming functions, a microphone and a speaker function.
  • the user's voice input to the microphone is transmitted to the projection / apparatus control system 100 ′ via the communication unit 95.
  • the answering machine function unit 92 controls starting and stopping of the answering machine function and has a message function. Further, the answering machine function unit 92 shifts to the answering machine function even during a call by the user selecting an icon of the answering machine function projected by the projection / device control system 100 ′ as will be described later. Or send a message.
  • the interface unit 93 is an interface for performing voice input / output, LED lighting, and various displays in cooperation with various switches and buttons of the telephone 90.
  • the face imaging unit 94 is an imaging unit for imaging a user's facial expression.
  • the face imaging unit 94 is mounted on the telephone 90 so that it can easily capture the user's facial expression.
  • the present invention is not limited to this. Good.
  • a plurality of face imaging units 94 may be arranged.
  • the communication unit 95 can employ various communication methods such as wired and wireless, and performs two-way communication with the communication unit 60 of the projection / device control system 100 ′.
  • the communication unit 95 transmits the user's voice input to the microphone of the telephone function unit 91 and the user's facial expression captured by the face imaging unit 94 to the projection / device control system 100 ′.
  • the voice analysis unit 71 analyzes the user's voice input to the microphone of the telephone function unit 91.
  • the speech analysis unit 71 has a speech recognition dictionary, and the input speech is honorific, polite, humility, everyday language (plain language), or other broken words. Classify.
  • the voice analysis unit 71 is provided on the projection / device control system 100 ′ side, but may be provided on the telephone 90 side.
  • the facial expression detection unit 72 detects the facial expression of the user imaged by the facial imaging unit 94, and detects a facial expression with a eyelid between the eyebrows or a facial expression with a narrowed eye rather than a smile, and is the user confused? Determine if.
  • the facial expression detection unit 72 stores an image with a eyelid between the eyebrows in the flash memory 50 as a reference image, and detects the eyelid between the eyebrows by performing pattern matching between the reference image and the captured image. Can do. Further, the facial expression detection unit 72 may detect the eyebrows between the eyebrows from the shadow distribution of the portion between the left eye and the right eye. The detection of eyelids between the eyebrows is also disclosed in US Patent Application Publication No. 2008-292148.
  • the facial expression detection unit 72 stores an average eye size captured by the face imaging unit 94 in the flash memory 50, and the face imaging unit 94 captures an image of the stored eye size. By comparing the sizes of the eyes, it is possible to detect facial expressions that narrow the eyes.
  • the door phone 85 can communicate with the projection / apparatus control system 100 ′ by a communication unit (not shown).
  • the door phone 85 has a function of generating a pseudo chime sound in response to an instruction from the CPU 70 of the projection / device control system 100 ′.
  • the gas stove 86 can communicate with the projection / device control system 100 ′ by a communication unit (not shown).
  • the gas stove 86 has a function of turning off a switch (not shown) or weakening the thermal power in accordance with an instruction from the CPU 70 of the projection / device control system 100 ′.
  • the recorder 87 can communicate with the projection / device control system 100 ′ by a communication unit (not shown).
  • the recorder 87 has a function of recording a program shown on the television screen in accordance with an instruction from the CPU 70 of the projection / device control system 100 ′.
  • FIGS. 9A and 9 (b) show operation menu images 17a and 17b displayed by the menu display unit 16 in the second embodiment.
  • operation menu image 17a of FIG. 9A door phone, gas stove, and recorder icons are displayed.
  • operation menu image 17b of FIG. 9B in addition to the door phone, gas stove, and recorder icons, an answering machine is displayed. An icon is displayed.
  • the menu display unit 16 projects one of the operation menu images shown in FIGS. 9A and 9B through the projection optical system 14 according to the user's wording. To do.
  • step S50 the CPU 70 starts measuring time for measuring the call time.
  • step S ⁇ b> 52 the CPU 70 starts imaging by the imaging unit 21 and the face imaging unit 94.
  • the imaging unit 21 captures an area including the upper half of the user who is using the telephone 90.
  • the face imaging unit 94 images the user's facial expression as described above.
  • the image captured by the face imaging unit 94 is sent to the facial expression detection unit 72.
  • the facial expression detection unit 72 detects the user's facial expression based on the image and determines whether or not the user is confused.
  • step S54 the CPU 70 determines whether there is a gesture input from the user based on the imaging result of step S52.
  • the gesture recognition unit 40 recognizes that the user imaged by the imaging unit 21 is consciously performing a predetermined gesture, or when the facial expression detection unit 72 determines that the user is confused Then, it is determined that there is a gesture input from the user.
  • the gesture recognition unit 40 recognizes the user's gesture based on a reference image of a gesture performed by the user when the received call is a nuisance call (assumed to be stored in advance in the flash memory 50).
  • gestures performed by the user when the call is a nuisance call include gestures such as lowering the thumb, pointing the palm toward the imaging unit 21, and creating a batten mark with both index fingers.
  • step S54 determines whether a predetermined time (for example, 10 minutes or more) has elapsed from the time started in step S50, and the predetermined time has elapsed. If so, the process proceeds to step S58, and if the predetermined time has not elapsed, the process returns to step S52.
  • a predetermined time for example, 10 minutes or more
  • the process proceeds to step S58, and if the predetermined time has not elapsed, the process returns to step S52.
  • the reason for shifting to step S58 when the predetermined time has elapsed is that some users may be embarrassed with the nuisance call but may not appear in their facial expressions.
  • the facial expression detection unit 72 detects the smile of the user, the process may return to step S52 without proceeding to step S58.
  • Smile detection is disclosed in, for example, Japanese Patent No. 4,453,721 (Japanese Patent Laid-Open No. 2008-311817).
  • step S54 or step S56 determines whether there is a gesture input or when a predetermined time elapses. If the determination in step S54 or step S56 is affirmed (when there is a gesture input or when a predetermined time elapses) and the process proceeds to step S58, the CPU 70 selects a projection menu according to the user's way of speaking.
  • the voice analysis unit 71 analyzes that the user is speaking in a polite tone such as “is” or “masu”, or using an honorific such as “speak” or “have you”. .
  • the CPU 70 determines that the call is a long call (nuisance call) from a superior person, and selects the operation menu image 17a of FIG. 9A as a menu to be projected.
  • the voice analysis unit 71 analyzes that the user is not speaking in polite language (speaking in everyday language (plain language)).
  • the CPU 70 determines that the call is a nuisance call such as sales, and selects the operation menu image 17b of FIG. 9B as a menu to be projected.
  • the CPU 70 may select the operation menu image 17a in FIG. 9A, or may determine that the operation is a long phone call with a friend. It is good also as complete
  • step S60 the CPU 70 projects the operation menu image 17a or 17b in the vicinity of the telephone 90 based on the selection result of step S58.
  • the CPU 70 may determine the projection region based on the detection result of the sensor unit 30 and the imaging result of the imaging unit 21 as in the first embodiment.
  • step S62 the CPU 70 starts measuring time for measuring the time during which the operation menu image 17a or 17b is projected.
  • step S64 the CPU 70 determines whether or not a user gesture input has been made on the operation menu image projected in step S60. If the determination here is affirmed, the process proceeds to step S66, and if the determination is negative, the process proceeds to step S70.
  • step S70 the CPU 70 determines whether or not a predetermined time (for example, 10 seconds) has elapsed. When the determination is affirmed, the process proceeds to step S72, and when the determination is denied. Return to step S64. When the process proceeds to step S72, the CPU 70 ends the projection of the operation menu image and ends all the processes in FIG.
  • a predetermined time for example, 10 seconds
  • step S64 determines whether the determination in step S64 is affirmed and the process proceeds to step S66.
  • the CPU 70 controls the door phone 85, the gas stove 86, the recorder 87, or the answering machine function unit 92 based on the user's gesture input.
  • the CPU 70 instructs the door phone 85 to cause the door phone 85 to sound a pseudo chime.
  • the user can hang up on the pretext that the door phone 85 must be handled.
  • the CPU 70 forcibly turns on the answering machine function to end the call or reproduce the message that is refused. As a result, the user can forcibly hang up the phone for sales or the like.
  • the CPU 70 stops the gas stove 86 or starts recording the program shown on the television by the recorder 87.
  • the user can ensure the safety of the gas stove 86 or record the program being viewed.
  • the icon of the gas stove 86 or the recorder 87 the hierarchical menu is displayed as in the first embodiment so that detailed operation of the gas stove 86 or the recorder 87 is realized. May be.
  • step S66 the process proceeds to step S72.
  • step S72 the CPU 70 ends the projection of the operation menu image. After that, all the processes in FIG. 10 are finished.
  • the projection / apparatus control system 100 ′ includes the face imaging unit 94 that can image the user who is using the telephone 90, and the face imaging unit 94.
  • a projection unit 10 that projects operation menu images 17a and 17b of an electronic device 80 different from the telephone 90 based on the imaging result is provided.
  • the operation menu image of the electronic device 80 can be projected at an appropriate timing based on the facial expression of the user using the telephone 90, so that the user's usability can be improved.
  • the operation menu image can be projected at an appropriate timing without the user performing a predetermined gesture. That is, since the user does not have to remember the gesture, the usability of the user can be improved from this point.
  • the voice analysis unit 71 detects information related to the voice of the user who is using the telephone 90, and the projection unit 10 operates based on the analysis result of the voice analysis unit 71. Since the menu image is projected, an appropriate operation menu image can be projected based on the voice of the user using the telephone 90.
  • the voice analysis unit 71 analyzes the wording of the user's voice, it is possible to project an appropriate operation menu image according to the wording of the user on the telephone.
  • the imaging unit 21 captures the state of the user's hand with respect to the operation menu projected by the projection unit 10, and the CPU 70 controls the electronic device 80 based on the imaging result.
  • the user who is on the phone can operate the electronic device 80 by moving his / her hand on the operation menu image.
  • the projecting unit 10 does not communicate with the electronic device 80 for a predetermined time (the CPU 70 controls the electronic device 80).
  • the operation menu image is not projected (step S70: No)
  • the operation menu image continues to be projected for a long time even though the user does not use the operation menu image. Can be suppressed.
  • the CPU 70 measures the time during which the user is using the telephone 90, and the projection unit 10 projects an operation menu image based on the measurement time (S56). Therefore, in the case of a long phone call, it is possible to project an operation menu image at an appropriate timing.
  • the operation menu image also includes an icon related to the operation of the telephone 90 (FIG. 9B)
  • the user can select an electronic device other than the telephone 90 and the telephone in the operation menu image.
  • the device 80 can be operated.
  • the projection unit 10 projects information related to the telephone 90 and the electronic device 80 according to the state of the user who is using the telephone 90. Etc.) can be provided.
  • a recording / reproducing apparatus that records a baby voice or whistling kettle sound may be employed as the electronic device 80. Also in this case, when making a nuisance call, the user can make an excuse to hang up the telephone by operating the recording / playback device via the operation menu image.
  • the present invention is not limited to this. is not. For example, only devices that have been used before the user answers the phone may be displayed. In this case, only the electronic device 80 that can communicate with the communication unit 60 may be displayed when the telephone 90 is being used. For example, when the gas stove is not used when the telephone 90 is used, the gas stove icon may be removed from the menus of FIGS. 9A and 9B.
  • the CPU 70 may project information based on the content of the conversation via the projection unit 10. Good. For example, the CPU 70 may summarize and project the content of the conversation, or may project a calendar image when content related to the date appears in the conversation.
  • the operation menu image to be projected is selected based on the wording.
  • the operation menu image to be projected may be selected based on the incoming call number together with the wording. Good.
  • the operation menu images in FIGS. 9A and 9B are selected and projected according to the situation.
  • the present invention is not limited to this.
  • the operation menu image shown in FIG. 9A or 9B may be always projected.
  • the device used by the user is the telephone 90
  • the present invention is not limited to this.
  • the device used by the user may be a door phone.
  • the operation menu image is projected when the doorphone 85 is sold. Thereby, for example, it is possible to make an excuse to refuse to sell by generating a pseudo telephone call by an operation using an operation menu image.
  • the CPU 70 controls the electronic device 80 based on the hand state with respect to the operation menu images 17, 17a, 17b has been described, but the present invention is not limited to this. That is, the CPU 70 may control the electronic device 80 based on the state of a part of the body (including clothes worn by the feet, etc.) with respect to the operation menu images 17, 17a, 17b.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

表示装置及び投影装置
　本発明は、表示装置及び投影装置に関する。
　従来より、照明器具などの機器を操作するために、使用者の手足が届く位置に仮想リモコンを投影し、この投影された仮想リモコンの仮想キーに対するユーザの操作（指差し等）に応じて照明器具を制御することが提案されていた（例えば、特許文献１）。
特開２０１１-９０６６号公報
　しかしながら、従来の提案は、使用者の手足が届く位置に仮想リモコンを投影するというものに留まっており、必ずしも使い勝手の良いものではなかった。
　本発明は上記の課題に鑑みてなされたものであり、使い勝手の良い表示装置及び投影装置を提供することを目的とする。
　本発明の表示装置は、ユーザの位置に応じた領域に表示を行う表示部と、前記領域への表示が可能かどうかを判断する判断部と、を備えている。
　この場合において、前記判断部は、前記領域の熱に関する物理量を検出する熱センサの検出結果に基づいて前記表示が可能かどうかを判断することとしてもよい。また、前記判断部は、前記領域の段差を検出する距離センサの検出結果に基づいて前記表示が可能かどうかを判断することとしてもよい。また、前記領域を撮像する撮像部の撮像結果に基づいて危険物の有無を検出する危険物検出部を備え、前記判断部は、前記危険物検出部の検出結果に基づいて、前記表示が可能かどうかを判断することとしてもよい。
　本発明の表示装置では、前記領域を撮像する撮像部の撮像結果に基づいて前記表示部による表示部を調整する調整部を備えていてもよい。この場合、前記調整部は、前記表示の大きさ、位置、輝度の少なくとも１つを調整することができる。また、前記調整部は、前記撮像部により撮像された人の数に応じて、前記表示の大きさを調整することができる。また、前記調整部は、前記撮像部により撮像された人の向きに応じて、前記表示を行う位置を調整することができる。
　また、本発明の表示装置では、前記投影部は、複数の電子機器の操作メニューを前記領域に表示することができる。この場合、前記複数の電子機器の配置を反映させた操作メニューを前記領域に表示させる制御部を備えていてもよい。この場合、前記複数の電子機器と通信可能な通信部を有し、前記制御部は、前記複数の電子機器との通信状態に応じて前記複数の電子機器の配置を検出し、当該配置を反映させた操作メニューを前記表示部により表示させることとしてもよい。
　また、本発明の投影装置は、ユーザを撮像可能な撮像部と、前記ユーザの位置に応じた領域に投影像を投影可能な投影部と、前記投影部が投影した前記投影像を前記撮像部により撮像可能かどうかを判断する判断部と、を備えている。
　この場合において、前記撮像部と前記領域とを含む空間に前記撮像部による撮像を遮る物体が有るかどうかを検出する物体検出センサを備えていてもよい。この場合、前記物体検出センサは距離センサを有していてもよい。また、前記物体検出センサは画像センサを有していてもよい。また、前記投影部が投影した前記投影像の少なくとも一部を前記撮像部により撮像できないときに、前記投影像が投影される位置を調整する調整部を備えていてもよい。
　また、前記投影部が投影した前記投影像の少なくとも一部を前記撮像部により撮像できないときに、前記撮像部を駆動するアクチュエータを備えていてもよい。また、前記撮像部は、前記ユーザと構造物を撮像可能であり、前記判断部は、前記構造物の撮像結果に基づいて、前記ユーザの向きを判断することとしてもよい。更に、前記撮像部は、前記ユーザの上方から前記ユーザを撮像するように配置されていてもよい。この場合、前記判断部は、前記撮像部の撮像結果に基づいて、前記ユーザの姿勢を判断することとしてもよい。
　本発明の表示装置は、ユーザを上方から撮像する撮像部の撮像結果から前記ユーザの姿勢を検出する検出部と、前記ユーザの姿勢に応じて、前記ユーザの近傍に表示を行う表示部と、を備える。
　この場合において、前記検出部は、前記撮像部の撮像結果から前記ユーザの大きさを検出して、前記ユーザの姿勢を検出することができる。
　本発明の表示装置は、ユーザの位置を検出する検出部と、前記検出部の検出結果に応じて、複数の電子機器の操作に関するメニューを表示投影する表示部を備える。
　この場合において、前記複数の電子機器の配置に応じて前記メニューを表示する制御部を備えていてもよい。また、前記メニューは、前記複数の電子機器のそれぞれに応じた階層的なメニューであり、前記制御部は、前記階層的なメニューの表示の少なくとも一部を共通にすることとしてもよい。
　本発明の表示装置は、第１機器を使用しているユーザを撮像可能な撮像部と、前記撮像部の撮像結果に基づいて、前記第１機器とは異なる第２機器に関する情報を表示投影する表示部と、を備えている。
　この場合において、前記第１機器を使用している前記ユーザの音声に関する情報を検出する音声検出部を備え、前記表示部は、前記音声検出部の検出結果に基づいて、前記第２機器に関する情報を表示することとしてもよい。また、前記音声検出部は、音声の言葉遣いに関する情報を検出することとしてもよい。また、前記撮像部は、前記表示部により表示された前記第２機器に関する情報に対するユーザの手または足を撮像することとしてもよい。この場合、前記撮像部の撮像結果に基づいて前記第２機器と通信する通信部を備えていてもよい。また、前記表示部は、前記第２機器に関する情報を表示した後、前記通信部が前記第２機器と所定時間通信を行わなかった場合に、前記第２機器に関する情報の表示を終了することとしてもよい。
　また、本発明の表示装置では、前記撮像部は、前記ユーザの顔を撮像し、前記表示部は、前記顔の撮像結果に基づいて、前記第２機器に関する情報を表示することとしてもよい。前記ユーザが前記第１機器を使用している時間を計測する計測部を備え、前記表示部は、前記計測部の計測結果に基づいて、前記第２機器に関する情報を表示することとしてもよい。また、前記表示部は、前記第２機器に関する情報に加えて、前記第１機器に関する情報を表示することとしてもよい。また、前記第１機器が使用されている際に駆動している機器を検出する検出部を備えていてもよい。更に、前記音声検出部は、前記第１機器を使用しているユーザの会話内容に関する情報を検出し、前記表示部は、前記会話内容に関する情報に応じた情報を表示することとしてもよい。
　本発明の表示装置は、第１機器を使用しているユーザの状態を検出する検出部と、前記検出部の検出結果に応じて、少なくとも前記第１機器とは異なる第２機器に関する情報を表示投影する表示部と、を備える。
　本発明は、使い勝手のよい表示装置及び投影装置を提供することができるという効果を奏する。
第１の実施形態に係る投影・機器制御システムが設置されるリビングの状態を模式的に示す図である。 第１の実施形態に係る投影・機器制御システム及び電子機器のブロック図である。 図３（ａ）～図３（ｄ）は、第１の実施形態に係る操作メニュー画像の一例を示す図である。 図４（ａ）はリファレンス画像の一例を示す図であり、図４（ｂ）は、撮像部により撮像された画像の一例を示す図である。 第１の実施形態に係る投影・機器制御システムのＣＰＵの制御を示すフローチャートである。 撮像部により操作メニュー画像を撮像できない場合の投影領域の決定方法について説明するための図である。 第２の実施形態に係る投影・機器制御システムが設置される場所の状態を模式的に示す図である。 第２の実施形態に係る投影・機器制御システム、電話機、及び電子機器のブロック図である。 図９（ａ）、図９（ｂ）は、第２の実施形態に係る操作メニュー画像の一例を示す図である。 第２の実施形態に係る投影・機器制御システムのＣＰＵの制御を示すフローチャートである。
《第１の実施形態》
　以下、第１の実施形態について、図１～図６に基づいて詳細に説明する。図１は、本第１の実施形態の投影・機器制御システム１００の概略構成を示す図である。
　投影・機器制御システム１００は、図１に示すようにリビングの天井に設けられており、テーブル２００の上面や床の上に、テレビ２１０、エアコン２２０、照明機器２３０などの電子機器８０を操作するための操作メニュー画像を投影する。また、投影・機器制御システム１００は、操作メニュー画像に対するユーザの操作（ジェスチャー）があった場合に、当該操作に応じた電子機器８０の制御を実行する。
　図２は、投影・機器制御システム１００のブロック図である。投影・機器制御システム１００は、図２に示すように、投影部１０と、画像システム部２０と、センサ部３０と、ジェスチャー認識部４０と、フラッシュメモリ５０と、通信部６０と、ＣＰＵ７０と、を備える。以下、各部について詳細に説明する。
（投影部１０）
　投影部１０は、光源１１と、照明光学系１２と、光変調素子１３と、投射光学系１４と、投影画像調整部１５と、メニュー表示部１６と、を有する。なお、投影部１０の設置数は、リビングの広さやレイアウトに応じて決定することができる。
　光源１１は、例えば光を出射するランプである。照明光学系１２は、光源１１から出射された光束を光変調素子１３に照明する。光変調素子１３は、例えば液晶パネルであり、テーブル２００の上面などに投影する画像（メニュー表示部１６から入力される画像データに基づく画像（後述））を生成する。投射光学系１４は、光変調素子１３からの光束をテーブル２００上面や床に向けて投射する光学系であり、投影する像の大きさを調整するズームレンズと、フォーカス位置を調整するフォーカスレンズとを有する。なお、ズームレンズやフォーカスレンズに含まれるレンズの位置は、不図示のアクチュエータにより調整される。
　投影画像調整部１５は、画像システム部２０の撮像結果やセンサ部３０の検出結果に基づいて、テーブル２００や床に向けて投影する画像の領域（大きさ）や、距離を決定するものである。投影画像調整部１５は、決定した画像の領域（大きさ）や距離に応じて、不図示のアクチュエータを制御し、投射光学系１４のズームレンズやフォーカスレンズに含まれるレンズの位置を調整する。また、投影画像調整部１５は、テーブル２００上面や床の色や明るさに応じてコントラスト処理、投影するメニューの色の調整（変更）、及び光源１１の輝度を調整する。また、投影画像調整部１５は、表示する画像の内容（アイコンの配置など）に関する設定も行う。
　メニュー表示部１６は、画像システム部２０の撮像結果やセンサ部３０の検出結果に基づいて、テーブル２００上面や床などに向けて電子機器８０を操作するための操作メニュー画像を投射光学系１４を介して表示する。
　図３（ａ）～図３（ｄ）には、メニュー表示部１６が投射光学系１４を介して表示する操作メニュー画像１７の一例が示されている。メニュー表示部１６が表示する操作メニュー画像１７は、階層構造（図３（ａ）～図３（ｄ）の画像が操作に応じて表示される構造）となっている。
　図３（ａ）は、初期メニュー画像（最初に投影する操作メニュー画像）である。この図３（ａ）の初期メニュー画像には、操作する電子機器８０を選択するためのアイコン１７１、画像の拡大・縮小を行うためのアイコン１７２、及び投影の終了（“戻る”を意味する）アイコン１７３が含まれている。図３（ａ）では、電子機器８０を選択するためのアイコン１７１として、図１のリビングに配置された機器に対応した照明機器、エアコン、テレビのアイコンが表示されている。なお、図３（ａ）では、ユーザが直感的に電子機器８０を選択できるように、部屋のレイアウト（上下関係）に応じてアイコンが表示される。具体的には、一番上に照明機器２３０、次にエアコン２２０、一番下にテレビ２１０のアイコンが表示されている。この場合、一般的なレイアウト（照明機器は最も上であることが多く、照明機器よりも下にエアコンがあり、床に近いところにテレビがある、などのレイアウト）から電子機器８０の位置が特定できる場合と、特定できない場合とがある。電子機器８０の位置が特定できない場合には、フラッシュメモリ５０に各電子機器８０の位置を予め登録しておいてもよい。また、後述するように電子機器８０との通信結果からその位置を特定するようにしてもよい。なお、アイコンの配置等については、ＣＰＵ７０が設定するものとする。
　図３（ｂ）は、図３（ａ）の初期メニュー画像において照明機器のアイコンを選択した場合に表示される操作メニュー画像である。この図３（ｂ）の操作メニュー画像には、照明機器の表示とともに、拡大・縮小のアイコン１８１、ＯＮ、ＯＦＦスイッチのアイコン１８２、アップダウンスイッチのアイコン１８３、戻ることを示すアイコン１８４が含まれている。なお、アップダウンスイッチのアイコン１８３は、照明機器２３０の照度を調整するためのアイコンである。
　図３（ｃ）は、図３（ａ）の初期メニュー画像においてエアコンを選択した場合に表示される操作メニュー画像である。この図３（ｃ）の操作メニュー画像には、エアコンの表示、拡大・縮小のアイコン１９１、ＯＮ、ＯＦＦスイッチのアイコン１９２、アップダウンスイッチのアイコン１９３、戻ることを示すアイコン１９４、モード切換え（冷房、暖房、除湿など）を示すアイコン１９５が含まれている。アップダウンスイッチのアイコン１９３は、設定されたモードに応じた調整（設定温度、設定湿度の変更など）を行うためのアイコンである。
　図３（ｄ）は、図３（ａ）の初期メニュー画像においてテレビを選択した場合に表示される操作メニュー画像である。この図３（ｄ）に示す操作メニュー画像には、テレビの表示、拡大・縮小のアイコン１６１、ＯＮ、ＯＦＦスイッチのアイコン１６２、アップダウンスイッチのアイコン１６３、戻ることを示すアイコン１６４、モード切換え（チャンネル、音量など）を示すアイコン１６５が含まれている。アップダウンスイッチのアイコン１６３は、設定されたモードに応じた調整（チャンネル変更、音量設定など）を行うためのアイコンである。
　図３（ｂ）～図３（ｄ）に示すように、メニュー表示部１６が表示する各電子機器８０の操作メニュー画像は、その一部（例えば、拡大・縮小のアイコン、ＯＮ、ＯＦＦスイッチのアイコン、アップダウンスイッチのアイコン、戻ることを示すアイコン）が共通となっている。これにより、ユーザは、選択された電子機器８０の種類が異なる場合にも違和感なく操作することが可能である。
（画像システム部２０）
　図２に戻り、画像システム部２０は、リビング内のユーザが操作メニュー画像の投影を要求しているかどうかを認識したり、投影部１０による操作メニュー画像１７の投影に先立ち、リビング内を撮像して操作メニュー画像１７を投影すべき場所を決定したりするものである。画像システム部２０は、図２に示すように、撮像部２１と、画像比較部２２と、を有する。
　撮像部２１は、撮影レンズと撮像素子とを含み、リビングの天井からリビング内の構造物およびユーザを撮像する。撮影レンズとしてはリビングの大きさに応じた広角レンズ（例えば、リビング全体を撮像可能な広角レンズ）を用いればよい。なお、撮像部２１の数は１つに限らず、リビングの大きさに応じた数（複数）としてもよい。また、撮像部２１を不図示のアクチュエータにより２次元に駆動することによりリビング内を撮像してもよい。撮像素子としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）を採用することができる。撮像素子は、ＲＧＢ３原色がベイヤー配列されたカラーフィルタを有しており、各色それぞれに対応した色信号を得ることができる。なお、画像システム部２０による撮像は静止画でも動画でもその組み合わせでもよい。
　なお、撮像部２１は、投影部１０と一体的に設けてもよいし、独立して設けてもよい。いずれの場合であっても、撮像部２１と投影部１０との機械的な位置関係がわかっていればよく、当該位置関係は、フラッシュメモリ５０等にシステム定数として記憶しておけばよい。
　画像比較部２２は、リビングのリファレンス画像（図４（ａ）参照）と、撮像部２１が撮像した画像（図４（ｂ）参照）とを比較するものである。リビングのリファレンス画像は、フラッシュメモリ５０に記憶されている画像であり、例えばリビング内全体が撮像された画像である。なお、レイアウトの変更や、季節の模様替えに応じてリファレンス画像を変更することとしてもよい。この場合、ユーザの指示の下、リファレンス画像を変更してもよいし、例えば、エアコンの設定変更（暖房と冷房の切り替え）に基づいて季節の変わり目が検出された場合に、リファレンス画像を自動で更新するようにしてもよい。なお、フラッシュメモリ５０には、危険物（カッターや包丁、ポットややかんなど）の各種画像も記憶されているものとする。
　画像比較部２２は、撮像部２１が撮像した画像と、リファレンス画像とを比較し、撮像部２１が撮像した画像がリファレンス画像と同じかどうかを判定する。また、画像比較部２２は、撮像部２１が撮像した画像と、危険物の各種画像とを比較し、撮像した画像に危険物の画像が含まれているか否か、及びどこに危険物があるかを判定する。
　なお、撮像部２１が撮像したユーザの位置に基づいて、投影部１０が操作メニュー画像１７を投影する場合、ユーザが立っているか座っているかにより、投影する場所を床にすべきかテーブルにすべきかが異なる。このような場合に対応するため、ＣＰＵ７０は、特開２０１１－１４１７３０号に記載されているように、撮像画像中の頭の大きさ（撮像部２１とユーザの頭との距離に応じて変化）に基づいて、ユーザが立っているか座っているかを判断することとしてもよい。具体的には、ユーザが立っている場合には、撮像部２１とユーザの頭との距離は近づくのでユーザの頭は大きく撮像される。一方、ユーザが座っている場合には立っている場合に比べて、撮像部２１とユーザの頭との距離は離れるのでユーザの頭は小さく撮像される。したがって、ＣＰＵ７０は、撮像部２１が撮像した頭の大きさに応じてユーザの姿勢を判断し、投影部１０は、当該判断結果に基づいて、床とテーブルのいずれかに操作メニュー画像１７を投影するようにすればよい。なお、ユーザの身長や頭の大きさなどの情報をフラッシュメモリ５０に記憶しておき、これらの情報を用いて、ユーザが立っているか座っているかをＣＰＵ７０が判断することとしてもよい。なお、ＣＰＵ７０は、頭の大きさに代えて、撮像画像中のユーザの肩幅の広さに基づいて、ユーザが立っているか座っているかを判断することとしてもよい。
（センサ部３０）
　センサ部３０は、図２に示すように、温度（熱量）検出部３１及び距離センサ３２を有している。
　温度検出部３１は、赤外線センサと、リビングの所定領域の温度（熱量）を赤外線センサにより検出するために赤外線センサを例えば２次元に駆動するアクチュエータと、赤外線センサが検出した温度のうち所定以上の温度（たとえば４０度以上）を検出する設定温度検出部とを備えている。本第１の実施形態において、温度検出部３１によりリビング内の所定以上の温度を検出するのは、例えばテーブルに高温の鍋が置かれている場合に、投影部１０が、その高温部分およびその近傍に操作メニュー画像１７を投影してしまうのを防止するためである。
　なお、温度検出部３１により人間の表面温度を検出してユーザがいる場所を検出するようにしてもよい。この場合、リビングにユーザがいることを検出した時点から投影・機器制御システム１００を起動するようにしてもよい。ただし、このような起動制御を行う場合には、リビングの扉の開閉動作に応じて赤外線センサの駆動を開始（オン）するか、赤外線センサを常時駆動しておく必要がある。
　距離センサ３２は、例えば超音波センサを含んでおり、床やテーブルの上に小型の携帯機器や玩具などといった段差を生じるものが置かれているかどうかを検出するものである。本第１の実施形態において段差検出を行うこととしているのは、投影部１０が、段差がある部分に操作メニュー画像を投影してしまうのを防止するためである。
　なお、前述した画像比較部２２が、リファレンス画像（段差のない画像）と、撮像部２１が撮像した画像とを比較して段差検出を行ってもよい。ただし、テーブル２００の上のテーブルクロスを交換した場合などにおいては、段差がほとんどない部分であっても段差として検出してしまう可能性がある。このため、本第１の実施形態では、撮像部２１が撮像した画像とリファレンス画像との差異がある部分を検出し、当該差異の部分に段差があるか否かを距離センサ３２により検出することとする。なお、検出する段差の高さとしては、５ｍｍ以上あるいは１０ｍｍ以上など、種々の高さを採用することができる。
（ジェスチャー認識部４０）
　ジェスチャー認識部４０は、撮像部２１と協働して、ユーザのジェスチャーを認識するものである。ジェスチャー認識部４０は、ユーザが操作メニュー画像の投影を要求しているか否かを認識するとともに、操作メニュー画像１７上でのユーザの操作状況を認識する。
　ジェスチャー認識部４０は、例えば、撮像部２１によって撮像された画像を取得し、当該画像中においてユーザの顔を検出した場合に、操作メニュー画像の投影を要求していると判断する。このような判断が可能であるのは、前述のように撮像部２１は天井に設けられているため、撮像部２１は、通常、ユーザの頭を撮像することができる一方、顔を撮像することができないからである。なお、ジェスチャー認識部４０は、ユーザが撮像部２１を指差しする動作を行った場合に、ユーザが操作メニューの投影を要求していると認識してもよい。また、ジェスチャー認識部４０は、上記顔検出と指差し動作との組み合わせによりユーザが操作メニューの投影を要求していると認識してもよい。
　一方、ジェスチャー認識部４０は、撮像部２１の撮像した画像を取得し、当該画像中の色認識（肌色認識等）により、操作メニュー画像上にユーザの手や指が所定時間（例えば１秒から５秒）位置している場合に、操作メニュー画像１７上でのユーザの操作を認識する。また、操作メニュー画像にユーザの手や指が位置してから動画を撮像したり静止画の連続撮像を行い、手や指の位置の変化（軌跡）からユーザのジェスチャーを認識するようにしてもよい。なお、ユーザの手や指は操作メニュー画像に直接触れていてもよいが、操作メニュー画像の投影領域にユーザの体の一部があれば操作していると認識されるため、操作メニューに直接接触していなくてもよい。
　なお、フラッシュメモリ５０にユーザの手の画像を記憶しておくこととしてもよい。ジェスチャー認識部４０は、当該ユーザの手の画像を用いて、ユーザの手の位置を認識してもよい。
　なお、ジェスチャー認識部４０では、図３（ｂ）～図３（ｄ）に示すアップダウンスイッチのアイコン１８３，１９３，１６３の操作量を、アイコン上のユーザの指の数に応じて決定することとしてもよい。例えば、図３（ｄ）に示すテレビの操作において、モードが音量設定になっているとする。この場合、アップスイッチのアイコン上に３本の指が乗っていた場合には、ジェスチャー認識部４０は、音量を３段階上げる操作であると認識すればよい。
（フラッシュメモリ５０）
　フラッシュメモリ５０は、不揮発性メモリである。フラッシュメモリ５０は、ＣＰＵ７０が実行するプログラムや、リビングのレイアウトに関する情報、撮像部２１と投影部１０との機械的な位置関係などのシステム定数、リファレンス画像や危険物などの各種画像のデータ、ユーザ情報、通信部６０と通信を行う電子機器８０（照明機器、テレビ、エアコンなど）の情報等が記憶されている。
（通信部６０）
　通信部６０は、電子機器８０（テレビ２１０、エアコン２２０、照明機器２３０など）と通信するための無線の通信ユニットを備え、ジェスチャー認識部４０が認識したユーザのジェスチャーに応じて、電子機器８０に対して各種制御指令を送信する。通信ユニットは、無線モジュールと、アンテナとを有している。なお、アンテナは、不図示のアクチュエータにより、回転・チルト動作が可能であるものとする。アンテナを回転・チルト可能としたことにより、回転・チルトさせたアンテナで受信される各電子機器８０からの電波強度に基づいて、各電子機器８０のおおよその位置を認識することができるようになっている。例えば、新しい電子機器８０がリビングに設置された場合には、当該新しい電子機器８０の位置を認識することができる。なお、アンテナを回転する代わりに複数のアンテナを設けておき、当該複数のアンテナの電波強度に基づいて各電子機器８０のおおよその位置を認識するようにしてもよい。
（ＣＰＵ７０）
　ＣＰＵ７０は、投影・機器制御システム１００に加えて、電子機器８０を統括的に制御するものであり、本第１の実施形態においては、操作メニュー画像の投影や、操作メニュー画像に対するユーザのジェスチャー認識、ジェスチャーに対応する電子機器８０の制御を行う。
　電子機器８０は、図１に示すように、テレビ２１０、エアコン２２０、照明機器２３０などであり、各電子機器８０の構成は様々であるが、図２に示すように、各機器は、通信部６０と通信するための通信部８１と、通信部８１の通信結果に応じて電子機器８０を制御するＣＰＵ８２と、ＣＰＵ８２により制御される被制御部８３と、を有している。なお、通信部８１、ＣＰＵ８２、被制御部８３は、各電子機器８０（テレビ２１０、エアコン２２０、照明機器２３０）に応じて適宜好適な構成が採用されている。
　以下、上記のように構成される投影・機器制御システム１００のＣＰＵ７０による制御について、図５のフローチャートに沿って詳細に説明する。図５は、ＣＰＵ７０の制御による投影・機器制御システム１００の各部の動作が示されている。
　図５のステップＳ１０では、ＣＰＵ７０が、温度検出部３１の出力に基づいてリビングにユーザがいるか否かを判断する。ここでの判断が肯定されると、ステップＳ１２に移行する。
　ステップＳ１２に移行すると、ＣＰＵ７０は、撮像部２１を制御して、ユーザの撮像を開始する。なお、撮像部２１による撮像が静止画による撮像である場合、リビングにユーザが存在し続けている間はほぼ連続して撮像を行ってもよいし、所定間隔（２－３秒）毎に撮像を行ってもよい。一方、投影部１０により操作メニュー画像が投影されている場合には、ほぼ連続して撮像するか、あるいは所定間隔を短くして撮像することが望ましい。同様に、動画による撮像の場合は、操作メニューが投影されているときのフレームレートを上げることが望ましい。
　次いで、ステップＳ１４では、ＣＰＵ７０が、ユーザによる操作メニュー画像の投影リクエストがあったかどうかを判断する。ＣＰＵ７０は、ジェスチャー認識部４０に指示を出し、撮像部２１が撮像した画像から、ユーザが特定の動作を行ったかどうかを認識させる。そして、ＣＰＵ７０は、ジェスチャー認識部４０が特定の動作を認識した場合に投影リクエストがあったものと判断する。なお、特定の動作としては、前述のように、天井を見る動作、指差しする動作、あるいはこれら動作の組み合わせなどが挙げられる。
　なお、ステップＳ１４の判断を行うと同時に、ＣＰＵ７０は、撮像部２１が撮像した画像に基づいてユーザの位置や姿勢を確認することができる。なお、ＣＰＵ７０は、ユーザの姿勢を前述したように画像内の頭の大きさから確認することができる。本第１の実施形態では、ユーザが椅子に座っており、テーブル付近に存在していたものとする。
　ステップＳ１４の判断が否定された場合、すなわち、ユーザからのリクエストが無かった場合には、ステップＳ１４を繰返し実行するが、ユーザからのリクエストがあり、ステップＳ１４の判断が肯定された場合には、ステップＳ１６に移行する。
　ステップＳ１６に移行すると、ＣＰＵ７０は、センサ部３０からユーザが位置する付近の情報を取得する。この場合、ＣＰＵ７０は、温度検出部３１の検出結果を取得し、テーブル２００付近に温度が４０℃を超える領域があるかどうかを検出する。また、ＣＰＵ７０は、撮像部２１が撮像した画像と、フラッシュメモリ５０に格納されているリファレンス画像とを比較して差異がある場合に、当該差異がある部分に段差があるかどうか、すなわち、テーブル２００上に皿などがあるか無いかを、距離センサ３２の検出結果から判断する。更に、ＣＰＵ７０は、撮像部２１が撮像した画像と、フラッシュメモリ５０に格納されている危険物の各種画像とを比較して、テーブル２００上にフォークやナイフ、カッターナイフ、はさみ、包丁などの危険物があるか無いかを判断する。
　次いで、ステップＳ１８では、ＣＰＵ７０が、投影部１０による操作メニュー画像の投影条件を決定する。この場合、ＣＰＵ７０は、ステップＳ１６で検出した情報から操作メニューを投影する領域の候補を抽出する。ここでは、テーブル付近に危険物や段差がなく、テーブルのどこでも操作メニュー画像が表示できると判断されたものとして、説明する。
　ここで、操作メニューを表示することができる領域が複数ある場合には、ＣＰＵ７０は、ユーザの正面や右側の領域を優先して操作メニュー画像を表示するようにする。これは、多くのユーザが右利きであるため、ユーザの正面や右側に操作メニューを表示することで、操作がしやすくなるためである。なお、ジェスチャー認識部４０が、ユーザが左手での操作を頻繁に行う（左利きである）ことを認識した場合には、ＣＰＵ７０は、操作メニュー画像をユーザの左側に投影するようにしてもよい。なお、ユーザが左利きであることが認識された場合には、ユーザ毎に、頭の大きさや肩幅、左利きであることを示す情報、を対応させてフラッシュメモリ５０に記憶させておいてもよい。この場合、ＣＰＵ７０は、撮像部２１が撮像した画像から検出される頭の大きさや肩幅と、フラッシュメモリ５０に記憶されている情報とから、画像中のユーザが左利きであるか否かを判別してもよい。
　ここで、ユーザの向きは、撮像部２１により撮像した画像から判断してもよく、椅子に座っている場合は、椅子の背もたれとは反対側の方向をユーザの正面と判断することとしてもよい。また、ユーザがテレビ付近にいる場合には、通常、テレビに正対することから、ユーザから見てテレビの存在する方向をユーザの向きと判断してもよい。なお、ユーザが移動している場合には、その移動方向をユーザの向きと判断することもできる。
　なお、投影画像調整部１５は、操作メニュー画像１７が、デフォルトで１５０ｍｍ×１５０ｍｍもしくは１００ｍｍ×２００ｍｍ程度の大きさでテーブル２００に投影されるように、投射光学系１４のズームレンズを調節する。この場合、投射光学系１４から投影面までの距離は、距離センサ３２により検出するようにすればよい。
　また、投影画像調整部１５は、撮像部２１の撮像素子からの色信号に応じて、操作メニュー画像の色を調整する。この場合、操作メニュー画像の外縁部を暗い色にすることで、操作メニュー画像の視認性を向上させても良い。なお、これに代えて、ＣＰＵ７０は、操作メニュー画像を投影する領域の候補が複数ある場合には、撮像素子からの色信号に応じて白色系（例えば白いテーブルクロス）や無彩色系（例えば無彩色のカーペット）の領域を投影領域と決定してもよい。これによっても、操作メニューの視認性を向上することができる。
　また、投影画像調整部１５は、時刻や、照明機器の照度に応じて光源１１の輝度を調整して操作メニューの視認性を向上させてもよい。また、これに代えて、リビング内に照度計を設け、照度計の検出結果に応じて光源１１の輝度を調整したり、照明機器２３０の照度を調整するようにしてもよい。また、これとは逆に、投影部１０により操作メニュー画像１７を投影する場合には、操作メニュー画像を投影する部分の照明を暗くして操作メニューの視認性を向上させてもよい。
　また、操作メニュー画像を投影する領域に危険物や段差がある場合には、投影画像調整部１５は、危険物の位置や段差に基づき操作メニュー画像の大きさを調節するとともに、操作メニュー画像の拡大を受け付けないようにする。例えば図４（ｂ）の場合には、危険物である鍋１３２や、段差を形成する箱１３６を避けるように操作メニュー画像を調整し、テーブルクロス１３４（危険物でなく、段差も形成しない）については操作メニュー画像の調整において考慮しないこととする。
　図５のステップＳ１８の処理が上記のように行われた後は、ステップＳ２０に移行し、ＣＰＵ７０が、ステップＳ１８で決定した投影条件に基づいて、投影部１０に指示を出す。そして、投影部１０は、当該指示に応じて操作メニュー画像をテーブル２００上に投影する。ここでは、初期の操作メニュー画像として図３（ａ）の操作メニュー画像（初期メニュー画像）がテーブル２００上に投影されたものとする。なお、ＣＰＵ７０は、ユーザに操作メニュー画像を投影したことを報知するために、不図示のスピーカにより“操作メニュー画面を投影しました”などの音声を発生するようにしてもよい。
　次いで、ステップＳ２２では、ＣＰＵ７０が、投影部１０により操作メニュー画像を投影している時間を計測するために計時を開始する。
　次いで、ステップＳ２４では、ＣＰＵ７０が、ユーザによるジェスチャー（操作メニュー画像による操作）があったかどうかを判断する。ここでの判断が肯定された場合には、ステップＳ３０に移行するが、否定された場合には、ステップＳ２６に移行する。
　ステップＳ２６に移行した場合、操作メニュー画像を投影してから（計時を開始してから）所定時間（ジェスチャーの受付待ち時間（例えば１０秒））が経過したか否かを判断する。ここでの判断が否定された場合には、ステップＳ２４に戻る。一方、ステップＳ２６の判断が肯定された場合、すなわち、ユーザのジェスチャーが１０秒以上無い場合には、ステップＳ２８に移行し、ユーザがメニュー操作を行う意志がないとして操作メニュー画像の投影を終了して図５の全処理を終了する。なお、ステップＳ２６のジェスチャーの受付待ち時間は１０秒に限らず、適宜設定することができる。
　一方、ユーザによるジェスチャー（操作メニュー画像による操作）が行われ、ステップＳ２４の判断が肯定された場合には、ステップＳ３０において、ＣＰＵ７０が、ジェスチャー認識部４０に指示を出し、ジェスチャー認識部４０にユーザが行ったジェスチャーを認識させる。ここでは、前述したように図３（ａ）の操作メニュー画像が投影部１０により投影されているので、ジェスチャー認識部４０は、図３（ａ）の操作メニュー画像のどのアイコンにユーザの指（又は体の一部）が置かれているかを認識する。例えば、撮像部２１によって図３（ａ）のテレビのアイコンにユーザの手が置かれた状態が撮像された場合には、ジェスチャー認識部４０は、ユーザがテレビの操作を選択したと認識する。なお、ジェスチャー認識部４０は、撮像部２１が所定枚数（２～５枚）または所定時間（１～３秒）同一のアイコン上の指を撮像した段階で、ユーザがジェスチャーを行ったと認識すればよい。
　次いで、ステップＳ３２では、ＣＰＵ７０は、ステップＳ２２で開始した計時を終了する。次いで、ステップＳ３４では、ＣＰＵ７０は、次の操作メニュー画像の表示が必要かどうかを判断する。ここでは、初期メニュー画像からテレビが選択された段階であるので、ＣＰＵ７０は、次の操作メニュー画像の表示が必要と判断して、ステップＳ２０に戻る。以下、ＣＰＵ７０は、テレビに対する操作が決定するまでステップＳ２０からステップＳ３４を繰り返し、テレビに対する操作が決定した段階（ステップＳ３４の判断が否定された段階）でステップＳ３６に移行する。
　そして、ステップＳ３６では、ＣＰＵ７０が、操作メニュー画像により選択されたテレビの操作（例えば、チャンネルを変更する）に基づき、その操作の指令を通信部６０により、テレビ２１０の通信部８１に通信する。テレビ２１０のＣＰＵ８２は、通信部８１が受信した操作の指令に基づいてテレビ２１０の制御を行う。
　その後は、ＣＰＵ７０は、ステップＳ２４に戻り、引き続きユーザのジェスチャーがある場合には、当該ジェスチャーに応じた処理を実行し、ジェスチャーによる処理が終了した場合（ステップＳ２６の判断が肯定された場合）には、ステップＳ２８を経て、図５の全処理を終了する。
　なお、上記ステップＳ１８においては、投影した操作メニュー画像を撮像部２１が撮像できるか否かの観点から、操作メニュー画像の投影位置を決定することとしてもよい。図６は、テーブル２００上に物体（ボトル）１１０が置かれている状態を示す図である。この場合、リファレンス画像（図４（ａ）参照）には物体（ボトル）１１０がないため、距離センサ３２により物体までの距離を検出することになる。
　ここで、図６の場合、物体（ボトル）１１０の左右に操作メニュー画像を投影可能な領域があるとする。しかるに、投影・機器制御システム１００に含まれる撮像部２１と物体（ボトル）１１０との位置関係や物体（ボトル）１１０の高さによっては、物体（ボトル）１１０の右側に操作メニュー画像を投影すると撮像部２１により操作メニュー画像を撮像できない場合がある。
　このような場合、ＣＰＵ７０は、撮像部２１と物体（ボトル）１１０の位置関係に基づいて、物体（ボトル）１１０の左側の領域に操作メニュー画像を投影することとする。なお、物体の高さが低く、撮像部２１による操作メニュー画像の撮像が可能な場合には、物体の右側に操作メニューを投影してもよい。この場合、ＣＰＵ７０は、距離センサ３２が検出した物体のテーブル面からの高さと、撮像部２１の取り付け位置と画角とから、撮像部２１による操作メニュー画像の撮像が可能かどうか判断してもよく、実際に投影部１０により物体の右側に操作メニュー画像を投影して、撮像部２１による操作メニュー画像の撮像ができるかどうかを試してみてもよい。また、撮像部２１により操作メニュー画像が撮像できない場合には、画像システム部２０に撮像部２１を駆動するアクチュエータを予め設けておき、当該アクチュエータにより撮像部２１の位置や姿勢を調整して、操作メニュー画像を撮像できるかどうか試してもよい。
　なお、ＣＰＵ７０は、次のステップＳ２０において、投影した操作メニュー画像を撮像部２１により撮像できるかどうか確認するようにしてもよい。ＣＰＵ７０は、撮像部２１により操作メニューを撮像できる場合には次のステップＳ２２に進み、一部（１０％～２５％程度）が撮像できない場合は、投影部１０による投影位置を調整し、例えば操作メニューの半分以上が撮像できない場合はステップＳ１８に戻るようにしてもよい。
　なお、図５のフローチャートでは説明を省略したが、ユーザが操作メニュー画像１７の拡大・縮小のアイコンを操作した場合には、投影画像調整部１５は、ステップＳ３０において、ユーザの操作に応じて、操作メニュー画像１７の大きさを変更するものとする。
　以上、詳細に説明したように、本第１の実施形態によると、投影部１０が、ユーザの位置に応じた領域に操作メニュー画像１７を投影するものであり、ＣＰＵ７０は、ユーザの位置に応じた領域に操作メニュー画像１７の投影が可能かどうかを判断するので、ユーザの位置に応じた投影に適した位置に操作メニュー画像を投影することができる。これにより、操作メニュー画像の使い勝手が良好となる。
　また、本第１の実施形態では、ＣＰＵ７０は、リビングの所定領域の温度（熱量）を検出するための温度検出部３１の検出結果に基づいて、操作メニュー画像１７を投影できるかどうかを判断するので、温度の高い物体に操作メニュー画像が投影されるのを防止することができる。これにより、操作メニュー画像を安全な位置に投影することができる。
　また、本第１の実施形態では、ＣＰＵ７０は、領域の段差を検出する距離センサ３２の検出結果に基づいて、操作メニュー画像１７を投影できるかどうかを判断するので、段差のある領域に操作メニュー画像１７を投影するのを防止することができる。これにより、使い勝手の良い位置に操作メニュー画像１７を投影することができる。
　また、本第１の実施形態では、画像比較部２２が、撮像部２１の撮像結果に基づいて、危険物の有無を検出し、ＣＰＵ７０は、当該検出結果に基づいて、操作メニュー画像１７を投影できるかどうかを判断するので、危険物に対して操作メニュー画像を投影するのを防止することができる。これにより、操作メニュー画像を安全な位置に投影することが可能となる。
　また、本第１の実施形態では、投影画像調整部１５が、撮像部２１の撮像結果に基づいて投射光学系１４の調整を行うので、適切な位置、大きさ、輝度で操作メニュー画像を投影することができる。
　また、本第１の実施形態では、投影部１０は、複数の電子機器８０の操作メニュー画像を投影するので、当該操作メニュー画像を用いた複数の電子機器８０の操作を行うことが可能である。
　また、本第１の実施形態では、複数の電子機器８０と通信可能な通信部６０を有しており、メニュー表示部１６は、複数の電子機器８０との通信状態に応じて電子機器の配置を検出し、当該配置を反映させた操作メニュー画像を投影部１０に投影させる。これにより、複数の電子機器８０の配置を通信状態に応じて自動で検出することができるとともに、当該配置を反映させた操作メニュー画像を投影することで、ユーザの使い勝手を良好にすることが可能となる。
　また、本第１の実施形態では、ＣＰＵ７０は、投影部１０が投影した操作メニュー画像を撮像部２１により撮像可能かどうかを判断するので、操作メニュー画像を適切な位置（ユーザの操作（ジェスチャー）を認識できる位置）に投影することが可能となる。
　また、本第１の実施形態では、ＣＰＵ７０が、距離センサ３２と画像システム部２０（画像比較部２２）とを用いて、撮像部２１による操作メニュー画像の撮像を遮る物体があるかどうかを検出する。これにより、操作メニュー画像の投影前に、撮像部２１により操作メニュー画像が撮影できる領域を定め、当該領域に操作メニュー画像を投影することが可能となる。
　また、本第１の実施形態では、撮像部２１は、ユーザと、テーブル２００やテレビ２１０などの構造物とを撮像し、ＣＰＵ７０は、テーブル２００やテレビ２１０の撮像結果に基づいて、ユーザの向きを判断することとしている。これにより、ユーザの体の形状などを確認せずに、ユーザの向きを判断することが可能である。
　また、本第１の実施形態では、撮像部２１は、ユーザの上方からユーザを撮像するので、ユーザのプライバシーを保護しつつ、撮像部２１の撮像結果を用いた各種制御を行うことが可能である。
　また、本第１の実施形態では、ＣＰＵ７０は、ユーザを上方から撮像する撮像部２１の撮像結果からユーザの姿勢を検出し、投影部１０は、ユーザの姿勢に応じて、ユーザの近傍に操作メニュー画像１７を投影するので、ユーザにとって使い勝手の良い位置に操作メニュー画像１７を投影することができる。また、本第１の実施形態では、投影部１０が、ユーザの位置に応じて、複数の電子機器８０の操作メニュー画像１７を投影するので、ユーザにとって使い勝手の良い位置に複数の電子機器８０の操作メニュー画像１７を投影することができる。
　なお、上記第１の実施形態では、ＣＰＵ７０が、ステップＳ１４においてユーザが操作メニュー画像の投影リクエストをしていることを、顔や手の動きに基づいて判断する場合について説明した。しかしながら、これに限られるものではなく、ＣＰＵ７０は、マイクに対してユーザから特定の音声が入力された場合に、投影リクエストがあったものと判断してもよい。
　なお、上記第１の実施形態では、リビングに複数の人が存在している場合に、当該複数の人が操作メニュー画像を操作できるように、操作メニュー画像を大きく表示するようにしてもよい。この場合、投影リクエストを行った人の正面又は右側に操作メニュー画像を表示するようにすればよい。なお、操作メニュー画像の操作は、全員が行えるようにしてもよいし、特定の人（例えば投影リクエストをした人）のみが行えるようにしてもよい。投影リクエストをした人のみが操作できるようにする場合には、ＣＰＵ７０は、手の向きや指をさす方向から、投影リクエストをした人の手か否かを判別すればよい。なお、上記第１の実施形態では、子供が操作メニュー画像による操作を行うのを制限することとしてもよい。この場合、ＣＰＵ７０は、手の大きさや形状などから、子供の手か否かを判別することとすればよい。
　なお、上記第１の実施形態では、電子機器８０がリビング内の機器（テレビ２１０、エアコン２２０、照明機器２３０など）である場合について説明したが、これに限らず、通信部６０との通信が可能であれば、電子機器８０は、リビングとは異なる部屋に配置されているものであっても構わない。このようにすることで、リビングに居ながら隣の部屋の照明機器をオフにするなどの操作を行うことも可能となる。
　なお、上記第１の実施形態では、リビングにおいて投影・機器制御システム１００を適用した場合について説明したが、これに限られるものではない。例えば、商業施設において、投影・機器制御システム１００を適用することもできる。例えば、レストランに投影・機器制御システム１００を設けた場合には、客が着席したタイミングや、ジェスチャーによるリクエストのあったときにメニューをテーブルに投影するようにしてもよい。また、客が選択した商品を、ＰＯＳシステムなどに登録するようにしてもよい。
　なお、上記第１の実施形態では、図３（ｂ）～図３（ｄ）のように、各電子機器８０の操作メニュー画像の一部が共通となっている場合について説明したが、これに限られるものではない。すなわち、各電子機器８０の操作メニュー画像は、各電子機器８０に特化したものであってもよい。例えば、テレビの操作メニューの場合には、操作メニュー画像にテンキーが含まれるなどしてもよい。
《第２の実施形態》
　次に、第２の実施形態に係る投影・機器制御システム１００’について、図７～図１０に基づいて説明する。本第２の実施形態の投影・機器制御システム１００’は、電話機を使用するユーザに対して、ユーザをサポートするためのメニュー画像を投影し、ユーザによるメニュー画像に対する動作（ジェスチャー）に基づいて電子機器を制御するものである。
　図７は、本第２の実施形態に係る投影・機器制御システム１００’の概略構成を示す図である。図７には、投影・機器制御システム１００’のほか、顔撮像部９４が設けられた電話機９０が図示されている。
　図８は、投影・機器制御システム１００’と電話機９０のブロック図である。なお、以下においては、第１の実施形態にかかる投影・機器制御システム１００（図２）と異なる部分を中心に説明する。なお、図２のブロック図と同一又は同等の構成には同一の符号を付し、その説明を省略するものとする。
　図８に示すように、本第２の実施形態では、投影・機器制御システム１００’に対して電話機９０が通信可能とされているとともに、投影・機器制御システム１００’が、音声解析部７１と、表情検出部７２と、を有している。また、投影・機器制御システム１００’が制御する対象である電子機器８０が、ドアホン８５、ガスコンロ８６、レコーダ８７となっている。
（電話機９０）
　電話機９０は、電話機能部９１と、留守番機能部９２と、インタフェース部９３と、顔撮像部９４と、通信部９５と、を有する。
　電話機能部９１は、発信・着信機能や、マイク、スピーカ機能など、一般的な電話機が有すべき機能を実現するものである。本第２の実施形態では、マイクに入力されたユーザの音声が通信部９５を介して投影・機器制御システム１００’に送信される。
　留守番機能部９２は、留守番機能の起動と停止とを制御するとともに、伝言機能を有する。また、留守番機能部９２は、後述するように投影・機器制御システム１００’により投影された留守番機能のアイコンをユーザが選択することにより、通話中であっても留守番機能に移行したり、お断りの伝言を送信したりする。
　インタフェース部９３は、電話機９０の各種スイッチ、ボタンと連携して、音声入出力、ＬＥＤ点灯、各種表示を行うためのインタフェースである。
　顔撮像部９４は、ユーザの表情を撮像するための撮像部である。図７では、顔撮像部９４はユーザの表情を撮像しやすいように電話機９０に搭載されているが、これに限らずユーザの表情を撮像できる位置であれば電話機以外の場所に配置してもよい。また、顔撮像部９４を複数配置してもよい。
　通信部９５は、有線、無線など各種の通信方式を採用することができ、投影・機器制御システム１００’の通信部６０と双方向の通信を行うものである。通信部９５は、電話機能部９１のマイクに入力されたユーザの音声と、顔撮像部９４が撮像したユーザの表情を投影・機器制御システム１００’に対して送信する。
（音声解析部７１）
　音声解析部７１は、電話機能部９１のマイクに入力されるユーザの音声を解析するものである。音声解析部７１は、音声認識辞書を有しており、入力した音声が、敬語、丁寧語、謙譲語であるか、日常語（平語）であるか、それ以外の砕けた言葉遣いであるかを分類する。なお、本実施形態では、音声解析部７１を投影・機器制御システム１００’側に設けたが、電話機９０側に設けるようにしてもよい。
（表情検出部７２）
　表情検出部７２は、顔撮像部９４が撮像したユーザの表情を検出するものであり、眉間に皺がある表情や、笑顔ではなく目を細めている表情を検出し、ユーザが困惑しているかどうかを判別する。
　ここで、表情検出部７２は、眉間に皺のある画像をリファレンス画像としてフラッシュメモリ５０に記憶させておき、当該リファレンス画像と撮像画像とのパターンマッチングを行うことで、眉間の皺を検出することができる。また、表情検出部７２は、左目と右目との間の部分の陰影分布から、眉間の皺を検出することとしてもよい。なお、眉間の皺の検出については、米国特許出願公開第２００８－２９２１４８号にも開示されている。
　また、表情検出部７２は、顔撮像部９４により撮像される平均的な目の大きさをフラッシュメモリ５０に記憶させておき、この記憶された目の大きさに対して顔撮像部９４により撮像された目の大きさを比較することにより、目を細めている表情を検出することができる。
　なお、特開２００２－２５８６８２号公報に記載されているように、ユーザの動画像中における顔構成要素の特徴点座標変化から顔面筋の収縮量を検出して、ユーザが困惑しているかどうかを判別してもよい。
（電子機器８０）
　ドアホン８５は、不図示の通信部により投影・機器制御システム１００’との通信が可能されている。ドアホン８５は、投影・機器制御システム１００’のＣＰＵ７０の指示に応じて、擬似的なチャイムの音を発生させる機能を有している。
　ガスコンロ８６は、不図示の通信部により投影・機器制御システム１００’との通信が可能とされている。ガスコンロ８６は、投影・機器制御システム１００’のＣＰＵ７０の指示に応じて、不図示のスイッチをオフにしたり、火力を弱めたりする機能を有している。
　レコーダ８７は、不図示の通信部により投影・機器制御システム１００’との通信が可能とされている。レコーダ８７は、投影・機器制御システム１００’のＣＰＵ７０の指示に応じて、テレビ画面に映っている番組の録画を行う機能を有している。
　図９（ａ）、図９（ｂ）は、第２の実施形態においてメニュー表示部１６が表示する操作メニュー画像１７ａ，１７ｂを示している。図９（ａ）の操作メニュー画像１７ａでは、ドアホン、ガスコンロ、レコーダのアイコンが表示されており、図９（ｂ）の操作メニュー画像１７ｂでは、ドアホン、ガスコンロ、レコーダのアイコンに加えて留守番電話のアイコンが表示されている。本第２の実施形態では、メニュー表示部１６は、ユーザの言葉遣いに応じて、図９（ａ）、図９（ｂ）の操作メニュー画像のいずれかを、投射光学系１４を介して投影する。
　以下、図１０のフローチャートに沿って、ＣＰＵ７０の制御による図２の各部の動作について、詳細に説明する。図１０のフローチャートは、ユーザが電話を受けた段階から開始される。
　図１０では、ステップＳ５０において、ＣＰＵ７０が、通話時間を計測するための計時を開始する。次いで、ステップＳ５２では、ＣＰＵ７０は、撮像部２１及び顔撮像部９４による撮像を開始する。撮像部２１は、電話機９０を使用しているユーザの上半身を含む領域を撮像する。顔撮像部９４は、前述したようにユーザの表情を撮像する。なお、顔撮像部９４が撮像した画像は、表情検出部７２に送られる。そして、表情検出部７２では、当該画像に基づきユーザの表情を検出し、ユーザが困惑しているかどうかを判別する。
　次いで、ステップＳ５４では、ＣＰＵ７０が、ステップＳ５２の撮像結果に基づいて、ユーザからジェスチャー入力があったかどうかを判断する。ここでは、ジェスチャー認識部４０が、撮像部２１により撮像されたユーザが意識的に所定のジェスチャーを行っていると認識した場合、あるいは、表情検出部７２がユーザが困惑していると判別した場合に、ユーザからジェスチャー入力があったと判断する。なお、ジェスチャー認識部４０は、受けた電話が迷惑電話であったときにユーザが行うジェスチャーのリファレンス画像（フラッシュメモリ５０に予め記憶されているものとする）に基づいて、ユーザのジェスチャーを認識する。なお、迷惑電話であったときにユーザが行うジェスチャーには、親指を下げる、手のひらを撮像部２１に向ける、両方の人差し指でバッテンマークを作るなどのジェスチャーが含まれる。
　ステップＳ５４の判断が否定された場合には、ステップＳ５６に移行し、ＣＰＵ７０は、ステップＳ５０で開始した計時が所定時間（例えば１０分以上）経過したかどうかを判断し、所定時間が経過していればステップＳ５８に移行し、所定時間が経過していなければステップＳ５２に戻る。なお、所定時間が経過した場合にステップＳ５８に移行するのは、ユーザによっては迷惑電話に困惑しながらも表情に出ない場合があるからである。なお、表情検出部７２がユーザの笑顔を検出した場合には、ステップＳ５８に移行せずにステップＳ５２に戻るようにしてもよい。笑顔検出については、例えば、特許第４,４５３,７２１号（特開２００８－３１１８１７号公報）などに開示されている。
　一方、ステップＳ５４又はステップＳ５６の判断が肯定され（ジェスチャー入力があった場合又は所定時間が経過した場合）、ステップＳ５８に移行すると、ＣＰＵ７０は、ユーザの話し方に応じた投影メニューの選択を行う。
　例えば、音声解析部７１が、ユーザが“です”、“ます”などの丁寧な口調で話している、あるいは“おっしゃる”、“お持ちですか”などの敬語を用いていると解析したとする。この場合、ＣＰＵ７０は、目上の人からの長電話（迷惑電話）であると判断し、投影するメニューとして、図９（ａ）の操作メニュー画像１７ａを選択する。一方、音声解析部７１が、ユーザが丁寧な言葉で話していない（日常語（平語）で話している）と解析したとする。この場合、ＣＰＵ７０は、売り込みなどの迷惑電話であると判断し、投影するメニューとして、図９（ｂ）の操作メニュー画像１７ｂを選択する。なお、ユーザが砕けた言葉で話している場合には、ＣＰＵ７０は、図９（ａ）の操作メニュー画像１７ａを選択してもよいし、友達との長電話であると判断して、図１０の全処理を終了することとしてもよい。
　次いで、ステップＳ６０では、ＣＰＵ７０が、ステップＳ５８の選択結果に基づいて、電話機９０の近傍に操作メニュー画像１７ａ又は１７ｂを投影する。この場合、ＣＰＵ７０は、第１の実施形態と同様、センサ部３０の検出結果や撮像部２１の撮像結果に基づいて投影領域を決定すればよい。
　次いで、ステップＳ６２では、ＣＰＵ７０が、操作メニュー画像１７ａ又は１７ｂを投影している時間を計測するための計時を開始する。
　次いで、ステップＳ６４では、ＣＰＵ７０は、ステップＳ６０において投影された操作メニュー画像に対して、ユーザのジェスチャー入力があったかどうかを判断する。ここでの判断が肯定された場合には、ステップＳ６６に移行し、否定された場合には、ステップＳ７０に移行する。
　ステップＳ７０に移行した場合には、ＣＰＵ７０は、所定時間（例えば１０秒）経過したかどうかを判断し、判断が肯定された場合には、ステップＳ７２に移行し、判断が否定された場合には、ステップＳ６４に戻る。なお、ステップＳ７２に移行した場合には、ＣＰＵ７０は、操作メニュー画像の投影を終了し、図１０の全処理を終了する。
　一方、ステップＳ６４の判断が肯定されてステップＳ６６に移行した場合には、ＣＰＵ７０は、ユーザのジェスチャー入力に基づき、ドアホン８５、ガスコンロ８６、レコーダ８７、或いは留守番機能部９２の制御を行う。
　例えば、ユーザが電話を切る口実が思い浮かばない場合に、ユーザが、操作メニュー画像１７ａ又は１７ｂのドアホンのアイコンに触れたとする。この場合、ＣＰＵ７０は、ドアホン８５に指示を出し、ドアホン８５に擬似的なチャイムを鳴らさせる。これにより、ユーザは、ドアホン８５に対する対応を行わなければならないことを口実に電話を切ることができる。
　また、売り込みなどの電話の場合があった場合に、ユーザが留守番電話のアイコンに触れたとする。この場合、ＣＰＵ７０は、強制的に留守録機能をオンにして通話を終了させたり、お断りの伝言を再生したりする。これにより、ユーザは、売り込みなどの電話を強制的に切ることができる。
　また、ユーザが通話を続けたいもののガスコンロ８６が点火していたり、見たいテレビなどがある場合に、ユーザが、ガスコンロやレコーダのアイコンに触れたとする。この場合、ＣＰＵ７０は、ガスコンロ８６の火を止めたり、テレビに映されている番組のレコーダ８７による録画を開始したりする。これにより、ユーザは、ガスコンロ８６の安全を確保したり、視聴していた番組を録画することができるようになる。なお、ユーザがガスコンロ８６やレコーダ８７のアイコンに触れた場合には、第１の実施形態のように、階層的なメニューを表示することで、ガスコンロ８６やレコーダ８７の細かい操作を実現するようにしても良い。
　以上のようにして、ステップＳ６６の処理が終了すると、ステップＳ７２に移行する。ステップＳ７２では、ＣＰＵ７０は、操作メニュー画像の投影を終了する。そして、その後は、図１０の全処理を終了する。
　以上、詳細に説明したように、本第２の実施形態によると、投影・機器制御システム１００’は、電話機９０を使用しているユーザを撮像可能な顔撮像部９４と、顔撮像部９４の撮像結果に基づいて、電話機９０とは異なる電子機器８０の操作メニュー画像１７ａ，１７ｂを投影する投影部１０とを備えている。これにより、電話機９０を使用しているユーザの顔の表情に基づいて適切なタイミングで電子機器８０の操作メニュー画像を投影することができるので、ユーザの使い勝手を良好にすることができる。また、顔の表情に基づいた投影を行うことで、ユーザが所定のジェスチャーを行わなくても、適切なタイミングで操作メニュー画像を投影することができる。すなわち、ユーザはジェスチャーを覚えたりしなくてもよいので、この点からも、ユーザの使い勝手を向上することができる。
　また、本第２の実施形態によると、音声解析部７１が、電話機９０を使用しているユーザの音声に関する情報を検出し、投影部１０は、音声解析部７１の解析結果に基づいて、操作メニュー画像を投影するので、電話機９０を使用しているユーザの音声に基づいて適切な操作メニュー画像を投影することができる。
　また、本第２の実施形態によると、音声解析部７１は、ユーザの音声の言葉遣いを解析するので、電話におけるユーザの言葉遣いに応じた適切な操作メニュー画像を投影することができる。
　また、本第２の実施形態では、撮像部２１が、投影部１０により投影された操作メニューに対するユーザの手の状態を撮像し、ＣＰＵ７０が、当該撮像結果に基づいて電子機器８０を制御するので、電話中のユーザは、操作メニュー画像に対して手を動作させることで、電子機器８０を操作することが可能となる。
　また、本第２の実施形態では、投影部１０は、操作メニュー画像を投影した後、所定時間の間、通信部６０が電子機器８０と通信を行わなかった（電子機器８０をＣＰＵ７０が制御しなかった）場合に、操作メニュー画像の投影を終了する（ステップＳ７０：否定）ので、操作メニュー画像をユーザが使用しないにもかかわらず、長時間操作メニュー画像が投影され続けられるという事態の発生を抑制することができる。
　また、本第２の実施形態では、ＣＰＵ７０が、ユーザが電話機９０を使用している時間を計測し、投影部１０は、計測時間に基づいて操作メニュー画像を投影する（Ｓ５６）。したがって、長電話の場合に、適切なタイミングで操作メニュー画像を投影することが可能である。
　また、本第２の実施形態では、操作メニュー画像に電話機９０の操作に関するアイコンも含まれている（図９（ｂ））ので、ユーザは、操作メニュー画像内で、電話機９０と電話機以外の電子機器８０の操作を行うことが可能となる。
　また、本第２の実施形態では、電話機９０を使用しているユーザの状態に応じて、投影部１０が、電話機９０や電子機器８０に関する情報を投影するので、ユーザの状態（困惑しているなど）に応じた情報の提供が可能である。
　なお、上記第２の実施形態では、電子機器８０として、赤ちゃんの声や笛吹きやかんの音を録音した録音・再生装置を採用してもよい。この場合にも、迷惑電話の際に、ユーザが操作メニュー画像を介して録音・再生装置を操作することで、電話を切る口実を作ることが可能となる。
　なお、上記第２の実施形態では、操作メニュー画像に含まれるアイコンが、図９（ａ）や図９（ｂ）に示すように予め定められている場合について説明したが、これに限られるものではない。例えば、ユーザが電話に出る前から使用されている機器のみを表示することとしてもよい。この場合、電話機９０が使用されている際に通信部６０と通信可能な電子機器８０のみを表示することとすればよい。例えば、電話機９０を使用している際にガスコンロが使用されていない場合には、図９（ａ）や図９（ｂ）のメニューからガスコンロのアイコンを除いてもよい。
　なお、上記第２の実施形態では、ＣＰＵ７０は、音声解析部７１の解析結果として会話の内容を取得できる場合には、当該会話の内容に基づいた情報を投影部１０を介して投影してもよい。例えば、ＣＰＵ７０は、会話の内容を要約して投影したり、あるいは、会話において日付に関する内容が出た場合にカレンダの画像を投影するなどしてもよい。
　なお、上記第２の実施形態では、言葉遣いに基づいて、投影する操作メニュー画像を選択する場合について説明したが、言葉遣いとともに着信番号に基づいて、投影する操作メニュー画像を選択することとしてもよい。
　なお、上記第２の実施形態では、状況に応じて、図９（ａ）、図９（ｂ）の操作メニュー画像を選択し、投影する場合について説明したが、これに限られるものではない。例えば、常に、図９（ａ）又は図９（ｂ）の操作メニュー画像を投影するようにしてもよい。
　なお、上記第２の実施形態においては、ユーザが使用する機器が電話機９０である場合を例に採り説明したが、これに限られるものではない。例えば、ユーザが使用する機器がドアホンであってもよい。この場合、ドアホン８５による売り込みがあった場合に操作メニュー画像を投影するようにする。これにより、例えば、操作メニュー画像を用いた操作により擬似的な電話のコールを発生させるなどすることで、売り込みを断る口実を作ることが可能となる。
　なお、上記各実施形態では、ＣＰＵ７０は、操作メニュー画像１７，１７ａ，１７ｂに対する手の状態に基づいて、電子機器８０を制御する場合について説明したが、これに限られるものではない。すなわち、ＣＰＵ７０は、操作メニュー画像１７，１７ａ，１７ｂに対する体の一部（足など、身に着けている服等を含む）の状態に基づいて、電子機器８０を制御することとしてもよい。
　なお、これまでの説明で引用した全ての公報、国際公開公報、米国特許出願公開明細書及び米国特許明細書の開示を援用して本明細書の記載の一部とする。
　上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

Claims (37)

  1. 　ユーザの位置に応じた領域に表示を行う表示部と、
    　前記領域への表示が可能かどうかを判断する判断部と、を備えたことを特徴とする表示装置。
  2. 　前記判断部は、前記領域の熱に関する物理量を検出する熱センサの検出結果に基づいて前記表示が可能かどうかを判断することを特徴とする請求項１記載の表示装置。
  3. 　前記判断部は、前記領域の段差を検出する距離センサの検出結果に基づいて前記表示が可能かどうかを判断することを特徴とする請求項１又は２記載の表示装置。
  4. 　前記領域を撮像する撮像部の撮像結果に基づいて危険物の有無を検出する危険物検出部を備え、
    　前記判断部は、前記危険物検出部の検出結果に基づいて、前記表示が可能かどうかを判断することを特徴とする請求項１～３のいずれか一項に記載の表示装置。
  5. 　前記領域を撮像する撮像部の撮像結果に基づいて前記表示部による表示を調整する調整部を備えたことを特徴とする請求項１～４のいずれか一項に記載の表示装置。
  6. 　前記調整部は、前記表示の大きさ、位置、輝度の少なくとも１つを調整することを特徴とする請求項５記載の表示装置。
  7. 　前記調整部は、前記撮像部により撮像された人の数に応じて、前記表示の大きさを調整することを特徴とする請求項６記載の表示装置。
  8. 　前記調整部は、前記撮像部により撮像された人の向きに応じて、前記表示を行う位置を調整することを特徴とする請求項６又は７に記載の表示装置。
  9. 　前記表示部は、複数の電子機器の操作メニューを前記領域に表示することを特徴とする請求項１～８のいずれか一項に記載の表示装置。
  10. 　前記複数の電子機器の配置を反映させた操作メニューを前記領域に表示させる制御部を備えたことを特徴とする請求項９記載の表示装置。
  11. 　前記複数の電子機器と通信可能な通信部を有し、
    　前記制御部は、前記複数の電子機器との通信状態に応じて前記複数の電子機器の配置を検出し、当該配置を反映させた操作メニューを前記表示部により表示させることを特徴とする請求項１０記載の表示装置。
  12. 　ユーザを撮像可能な撮像部と、
    　前記ユーザの位置に応じた領域に投影像を投影可能な投影部と、
    　前記投影部が投影した前記投影像を前記撮像部により撮像可能かどうかを判断する判断部と、を備えたことを特徴とする投影装置。
  13. 　前記撮像部と前記領域とを含む空間に前記撮像部による撮像を遮る物体が有るかどうかを検出する物体検出センサを備えたことを特徴とする請求項１２記載の投影装置。
  14. 　前記物体検出センサは距離センサを有していることを特徴とする請求項１３記載の投影装置。
  15. 　前記物体検出センサは画像センサを有していることを特徴とする請求項１３又は１４記載の投影装置。
  16. 　前記投影部が投影した前記投影像の少なくとも一部を前記撮像部により撮像できないときに、前記投影像が投影される位置を調整する調整部を備えたことを特徴とする請求項１２～１５のいずれか一項に記載の投影装置。
  17. 　前記投影部が投影した前記投影像の少なくとも一部を前記撮像部により撮像できないときに、前記撮像部を駆動するアクチュエータを備えたことを特徴とする請求項１２～１６のいずれか一項に記載の投影装置。
  18. 　前記撮像部は、前記ユーザと構造物を撮像可能であり、
    　前記判断部は、前記構造物の撮像結果に基づいて、前記ユーザの向きを判断することを特徴とする請求項１２～１７のいずれか一項に記載の投影装置。
  19. 　前記撮像部は、前記ユーザの上方から前記ユーザを撮像するように配置されていることを特徴とする請求項１２～１８のいずれか一項に記載の投影装置。
  20. 　前記判断部は、前記撮像部の撮像結果に基づいて、前記ユーザの姿勢を判断することを特徴とする請求項１９記載の投影装置。
  21. 　ユーザを上方から撮像する撮像部の撮像結果から前記ユーザの姿勢を検出する検出部と、
    　前記ユーザの姿勢に応じて、前記ユーザの近傍に表示を行う表示部と、を備えたことを特徴とする表示装置。
  22. 　前記検出部は、前記撮像部の撮像結果から前記ユーザの大きさを検出して、前記ユーザの姿勢を検出することを特徴とする請求項２１記載の表示装置。
  23. 　ユーザの位置を検出する検出部と、
    　前記検出部の検出結果に応じて、複数の電子機器の操作に関するメニューを表示する表示部を備えたことを特徴とする表示装置。
  24. 　前記複数の電子機器の配置に応じて前記メニューの表示を行う制御部を備えることを特徴とする請求項２３記載の表示装置。
  25. 　前記メニューは、前記複数の電子機器のそれぞれに応じた階層的なメニューであり、
    　前記制御部は、前記階層的なメニューの表示の少なくとも一部を共通にすることを特徴とする請求項２４記載の表示装置。
  26. 　第１機器を使用しているユーザを撮像可能な撮像部と、
    　前記撮像部の撮像結果に基づいて、前記第１機器とは異なる第２機器に関する情報を表示する表示部と、を備えたことを特徴とする表示装置。
  27. 　前記第１機器を使用している前記ユーザの音声に関する情報を検出する音声検出部を備え、
    　前記表示部は、前記音声検出部の検出結果に基づいて、前記第２機器に関する情報を投影することを特徴とする請求項２６記載の表示装置。
  28. 　前記音声検出部は、音声の言葉遣いに関する情報を検出することを特徴とする請求項２７記載の表示装置。
  29. 　前記撮像部は、前記表示部により表示された前記第２機器に関する情報に対するユーザの手または足を撮像することを特徴とする請求項２６～２８のいずれか一項に記載の表示装置。
  30. 　前記撮像部の撮像結果に基づいて前記第２機器と通信する通信部を備えたことを特徴とする請求項２９記載の表示装置。
  31. 　前記表示部は、前記第２機器に関する情報を表示した後、前記通信部が前記第２機器と所定時間通信を行わなかった場合に、前記第２機器に関する情報の表示を終了することを特徴とする請求項３０記載の表示装置。
  32. 　前記撮像部は、前記ユーザの顔を撮像し、
    　前記表示部は、前記顔の撮像結果に基づいて、前記第２機器に関する情報を表示することを特徴とする請求項２６～３１のいずれか一項に記載の表示装置。
  33. 　前記ユーザが前記第１機器を使用している時間を計測する計測部を備え、
    　前記表示部は、前記計測部の計測結果に基づいて、前記第２機器に関する情報を表示することを特徴とする請求項２６～３２のいずれか一項に記載の表示装置。
  34. 　前記表示部は、前記第２機器に関する情報に加えて、前記第１機器に関する情報を表示することを特徴とする請求項２６～３３のいずれか一項に記載の表示装置。
  35. 　前記第１機器が使用されている際に駆動している機器を検出する検出部を備えたことを特徴とする請求項２６～３４のいずれか一項に記載の表示装置。
  36. 　前記音声検出部は、前記第１機器を使用しているユーザの会話内容に関する情報を検出し、
    　前記表示部は、前記会話内容に関する情報に応じた情報を表示することを特徴とする請求項２６～３５のいずれか一項に記載の表示装置。
  37. 　第１機器を使用しているユーザの状態を検出する検出部と、
    　前記検出部の検出結果に応じて、少なくとも前記第１機器とは異なる第２機器に関する情報を表示する表示部と、を備えたことを特徴とする表示装置。

    　
PCT/JP2012/076468 2011-12-28 2012-10-12 表示装置及び投影装置 Ceased WO2013099407A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/367,163 US9927878B2 (en) 2011-12-28 2012-10-12 Display device and projection device
CN201280070259.2A CN104137173B (zh) 2011-12-28 2012-10-12 显示装置以及投影装置
US15/890,862 US10409386B2 (en) 2011-12-28 2018-02-07 Display device and projection device
US16/523,089 US11086405B2 (en) 2011-12-28 2019-07-26 Display device and projection device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-289255 2011-12-28
JP2011289291A JP2013137472A (ja) 2011-12-28 2011-12-28 投影装置
JP2011-289291 2011-12-28
JP2011289255 2011-12-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/367,163 A-371-Of-International US9927878B2 (en) 2011-12-28 2012-10-12 Display device and projection device
US15/890,862 Continuation US10409386B2 (en) 2011-12-28 2018-02-07 Display device and projection device

Publications (1)

Publication Number Publication Date
WO2013099407A1 true WO2013099407A1 (ja) 2013-07-04

Family

ID=48696911

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076468 Ceased WO2013099407A1 (ja) 2011-12-28 2012-10-12 表示装置及び投影装置

Country Status (3)

Country Link
US (3) US9927878B2 (ja)
CN (2) CN104137173B (ja)
WO (1) WO2013099407A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052976A (zh) * 2014-06-12 2014-09-17 海信集团有限公司 投影方法及装置
CN104750443A (zh) * 2013-12-31 2015-07-01 联想(北京)有限公司 一种显示控制方法及电子设备
US20160188124A1 (en) * 2014-12-25 2016-06-30 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method
WO2018034046A1 (ja) * 2016-08-17 2018-02-22 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2018158885A1 (ja) * 2017-03-01 2018-09-07 マクセル株式会社 照明装置
JPWO2022019119A1 (ja) * 2020-07-21 2022-01-27
JP2023112229A (ja) * 2022-02-01 2023-08-14 Ｍ・Ｓ・Ｋ株式会社 遠隔管理システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5983575B2 (ja) 2013-09-27 2016-08-31 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
US20170038912A1 (en) * 2014-04-18 2017-02-09 Nec Solution Innovators, Ltd. Information providing device
JP6517179B2 (ja) * 2016-11-15 2019-05-22 京セラ株式会社 電子機器、プログラムおよび制御方法
KR101977332B1 (ko) * 2018-08-03 2019-05-10 주식회사 버넥트 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
CN114253452B (zh) * 2021-11-16 2024-08-20 深圳市普渡科技有限公司 机器人、人机交互方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235470A (ja) * 2006-02-28 2007-09-13 Brother Ind Ltd 映像表示装置
WO2010035477A1 (ja) * 2008-09-29 2010-04-01 パナソニック株式会社 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
JP2011209579A (ja) * 2010-03-30 2011-10-20 Canon Inc 画像表示システムおよびその制御方法
JP2011242699A (ja) * 2010-05-20 2011-12-01 Canon Inc 情報提示システム及びその制御方法、プログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546310A (ja) 1991-08-17 1993-02-26 Ricoh Co Ltd 情報処理装置
JPH1069366A (ja) 1996-08-29 1998-03-10 Kobe Nippon Denki Software Kk 不要ウィンドウ自動終了システム
DE19640404A1 (de) 1996-09-30 1998-04-09 Ldt Gmbh & Co Vorrichtung zur Darstellung von Bildern
JP3478172B2 (ja) 1999-05-18 2003-12-15 日本電気株式会社 マルチウィンドウ表示システム及びウインドウの表示と消去方法
JP4009851B2 (ja) * 2002-05-20 2007-11-21 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
AU2003301043A1 (en) * 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
JP3874737B2 (ja) 2003-03-31 2007-01-31 株式会社東芝 表示装置
JP4281400B2 (ja) 2003-04-14 2009-06-17 ソニー株式会社 通信装置、その表示方法、コンピュータプログラム、および通信方法
US8019571B2 (en) 2003-05-29 2011-09-13 Panasonic Corporation Abnormality processing system
JP2005215726A (ja) 2004-01-27 2005-08-11 Advanced Media Inc 話者に対する情報提示システム及びプログラム
JP2006121231A (ja) 2004-10-19 2006-05-11 Olympus Corp プロジェクタ
JP4563863B2 (ja) 2005-05-12 2010-10-13 クリナップ株式会社 システムキッチン
JP2006331092A (ja) 2005-05-26 2006-12-07 Toshiba Corp 自動処理装置
US8246172B2 (en) 2006-02-28 2012-08-21 Brother Kogyo Kabushiki Kaisha Image display device
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP2009223490A (ja) 2008-03-14 2009-10-01 Shimizu Corp 仮想スイッチならびにそれを用いた家電制御システムおよび家電制御方法
JP5294670B2 (ja) * 2008-03-27 2013-09-18 三洋電機株式会社 投写型映像表示装置及びこれを用いた投写型映像表示システム
US8231225B2 (en) * 2008-08-08 2012-07-31 Disney Enterprises, Inc. High dynamic range scenographic image projection
US8451216B2 (en) * 2008-09-29 2013-05-28 Panasonic Corporation User interface device, user interface method, and recording medium
JP2010217645A (ja) 2009-03-18 2010-09-30 Seiko Epson Corp 画像表示装置の補正値作成方法、画像表示装置の補正値作成装置、及び画像表示装置の補正値作成プログラム
JP2011009066A (ja) 2009-06-25 2011-01-13 Panasonic Electric Works Co Ltd 照明システム
JP2011028099A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd 投写型映像表示装置
JP5652934B2 (ja) 2009-12-04 2015-01-14 パナソニックＩｐマネジメント株式会社 インターホンシステム
JP5659510B2 (ja) 2010-03-10 2015-01-28 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5732746B2 (ja) 2010-05-14 2015-06-10 株式会社ニコン 電子機器
JP2011248041A (ja) * 2010-05-26 2011-12-08 Seiko Epson Corp 取り付け装置及び投写型表示装置
US9141189B2 (en) * 2010-08-26 2015-09-22 Samsung Electronics Co., Ltd. Apparatus and method for controlling interface
JP2013033206A (ja) * 2011-07-06 2013-02-14 Ricoh Co Ltd 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム
US8887043B1 (en) * 2012-01-17 2014-11-11 Rawles Llc Providing user feedback in projection environments
US9262068B2 (en) * 2012-05-31 2016-02-16 Opportunity Partners Inc. Interactive surface
DE202012103472U1 (de) * 2012-09-12 2013-12-17 Zumtobel Lighting Gmbh Beleuchtungssystem mit integrierter Projektionseinheit
US9239627B2 (en) * 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
US9041691B1 (en) * 2013-02-11 2015-05-26 Rawles Llc Projection surface with reflective elements for non-visible light
US9430138B2 (en) * 2013-02-14 2016-08-30 Apple Inc. Flexible room controls
CA2910448C (en) * 2013-05-01 2021-10-19 Lumo Play, Inc. Content generation for interactive video projection systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235470A (ja) * 2006-02-28 2007-09-13 Brother Ind Ltd 映像表示装置
WO2010035477A1 (ja) * 2008-09-29 2010-04-01 パナソニック株式会社 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
JP2011209579A (ja) * 2010-03-30 2011-10-20 Canon Inc 画像表示システムおよびその制御方法
JP2011242699A (ja) * 2010-05-20 2011-12-01 Canon Inc 情報提示システム及びその制御方法、プログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750443A (zh) * 2013-12-31 2015-07-01 联想(北京)有限公司 一种显示控制方法及电子设备
CN104750443B (zh) * 2013-12-31 2018-02-27 联想(北京)有限公司 一种显示控制方法及电子设备
CN104052976A (zh) * 2014-06-12 2014-09-17 海信集团有限公司 投影方法及装置
US20160188124A1 (en) * 2014-12-25 2016-06-30 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method
US9841847B2 (en) * 2014-12-25 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method, for projecting a first image based on a position of a moving object and a second image without depending on the position
WO2018034046A1 (ja) * 2016-08-17 2018-02-22 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US10943562B2 (en) 2016-08-17 2021-03-09 Sony Corporation Display control apparatus and display control method
JPWO2018034046A1 (ja) * 2016-08-17 2019-06-13 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JPWO2018158885A1 (ja) * 2017-03-01 2019-11-07 マクセル株式会社 照明装置
WO2018158885A1 (ja) * 2017-03-01 2018-09-07 マクセル株式会社 照明装置
US11153543B2 (en) 2017-03-01 2021-10-19 Maxell, Ltd. Illuminating apparatus
JPWO2022019119A1 (ja) * 2020-07-21 2022-01-27
WO2022019119A1 (ja) * 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP7655322B2 (ja) 2020-07-21 2025-04-02 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP2023112229A (ja) * 2022-02-01 2023-08-14 Ｍ・Ｓ・Ｋ株式会社 遠隔管理システム
JP7477093B2 (ja) 2022-02-01 2024-05-01 Ｍ・Ｓ・Ｋ株式会社 遠隔管理システム

Also Published As

Publication number Publication date
US10409386B2 (en) 2019-09-10
US11086405B2 (en) 2021-08-10
US20190377419A1 (en) 2019-12-12
CN104137173B (zh) 2017-12-19
US20140380252A1 (en) 2014-12-25
US9927878B2 (en) 2018-03-27
CN104137173A (zh) 2014-11-05
US20180188818A1 (en) 2018-07-05
CN107610627A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
JP6617755B2 (ja) 表示装置及び電子機器
WO2013099407A1 (ja) 表示装置及び投影装置
JP7018099B2 (ja) 照明装置
US20170142379A1 (en) Image projection system, projector, and control method for image projection system
CN106662926A (zh) 普适计算环境中的姿势交互的系统和方法
JP2006146803A (ja) 操作装置及び遠隔操作システム
JP2015111772A (ja) 投影装置
WO2019220729A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP6350175B2 (ja) 位置検出装置、プロジェクター、及び、位置検出方法
JP2015228097A (ja) 電子機器、電子機器システム及びプログラム
US20210392306A1 (en) Heating cooker
US10310676B2 (en) Image projection apparatus and operation method thereof
JP2013178368A (ja) プロジェクタ
KR20160095923A (ko) 영상 투사 장치 및 그의 동작 방법
WO2017056420A1 (ja) 鏡装置
JPWO2013111374A1 (ja) インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法
JP2013137472A (ja) 投影装置
JP2019152815A (ja) 投影システムとその制御方法及びプログラム
JP6439398B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP2021071894A (ja) 操作装置、操作方法及びプログラム
JP2017183776A (ja) 表示装置及び表示装置の制御方法
JP2017181536A (ja) 表示装置及び表示装置の制御方法
JP2016186525A (ja) 表示装置及び表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12861487

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14367163

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12861487

Country of ref document: EP

Kind code of ref document: A1