[go: up one dir, main page]

WO2019082520A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム

Info

Publication number
WO2019082520A1
WO2019082520A1 PCT/JP2018/032997 JP2018032997W WO2019082520A1 WO 2019082520 A1 WO2019082520 A1 WO 2019082520A1 JP 2018032997 W JP2018032997 W JP 2018032997W WO 2019082520 A1 WO2019082520 A1 WO 2019082520A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
coordinate system
information processing
user
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/032997
Other languages
English (en)
French (fr)
Inventor
誠司 鈴木
健太郎 井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2019082520A1 publication Critical patent/WO2019082520A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • projectors are projected onto a screen perpendicular to the ground, as typified by conventional home theaters, and with the rise of projection mapping technology, there are more cases where images are projected onto the table surface and all other places. .
  • Patent Document 1 discloses control for estimating the position of the user with respect to a large display installed on a wall surface or a table, and displaying a new display object in the vicinity of the user according to the estimated position of the user.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program that can align the arrangement direction of a display object with the positional relationship of a plurality of devices in a space.
  • An information processing apparatus comprising: a control unit that performs processing for displaying the plurality of display objects based on the rotated display object arrangement direction.
  • the processor rotates the display object arrangement direction for arranging the plurality of display objects so as to coincide with the reference direction of the space coordinate system representing the positional relationship of the plurality of devices in the three-dimensional space.
  • An information processing method is proposed, including: displaying the plurality of display objects based on the rotated display object arrangement direction.
  • a computer is rotated so that a display object arrangement direction for arranging a plurality of display objects coincides with a reference direction of a space coordinate system representing the positional relationship of a plurality of devices in a three-dimensional space.
  • a program is proposed to function as a control unit that performs processing and processing for displaying the plurality of display objects based on the rotated display object arrangement direction.
  • FIG. 1 is a diagram for describing an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the present embodiment includes an information processing device 100 (not shown in FIG. 1), an output device 200 (in FIG. 1, a projector 210 and a TV 220 are shown as an example), and a sensor device 300.
  • the sensor device 300 is a device that senses various information.
  • the sensor device 300 includes a camera, a depth sensor, a microphone, and the like, and senses information on a user and a space in which the user is present.
  • the sensor device 300 senses the position, posture, movement, line of sight, shape of a room, arrangement of furniture, etc. of the user.
  • the output device 200 is a device that outputs various information from the information processing device 100, and assumes, for example, a projector 210 and a TV 220.
  • the projector 210 can project information as a projection location (that is, a projection plane or a projection region) at any place (that is, a region) such as a wall, a floor, a table, or other furniture included in a space sensed by the sensor device 300. It is.
  • a projection place is not limited to a plane, A curved surface may be sufficient, and you may divide into several surface.
  • the projector 210 is realized by a plurality of projectors or a so-called moving projector so that the projector 210 can project anywhere in space.
  • the output device 200 and the sensor device 300 may be singular or plural.
  • the display image 10 is displayed on the top surface of the table 30 by the projector 210.
  • the display image 10 is a display object indicating an interaction from an application with respect to a user input, and is, for example, various UIs such as a still image, a moving image (video), a menu screen or a control screen.
  • the user can move various operation inputs on the display image 10 by moving the operating body, for example, a hand on the display image 10. It can be performed.
  • the display position of the display image 10 is not limited to the top surface of the table 30, but may be any place such as a wall, a floor, or furniture in a space, and is controlled automatically or according to an instruction by the user.
  • the present disclosure proposes a mechanism capable of aligning the arrangement of display objects with the positional relationship between a plurality of devices in a space.
  • FIG. 2 is a block diagram showing an example of the configuration of the system 1 according to the present embodiment. As shown in FIG. 2, the system 1 includes an information processing device 100, an output device 200 and a sensor device 300.
  • the output device 200 includes a projector 210, a TV 220, a tablet 230, a smartphone 240, a PC 250, a speaker 260, and a unidirectional speaker 270.
  • the system 1 may include, as the output device 200, a combination of one or more of them, or may include a plurality of devices of the same type.
  • the projector 210 is a projection device that projects an image to any place in space.
  • the projector 210 may be, for example, a fixed wide-angle projector, or may be a so-called moving projector provided with a movable portion such as a Pan / Tilt drive type capable of changing the projection direction.
  • the TV 220 is a device that receives radio waves of television broadcasting and outputs an image and sound.
  • the tablet 230 is a mobile device capable of wireless communication, which typically has a screen larger than the smartphone 240, and can output images, sounds, vibrations, and the like.
  • the smartphone 240 is a mobile device capable of wireless communication, which typically has a screen smaller than the tablet 230, and can output images, sounds, vibrations, and the like.
  • the PC 250 may be a fixed desktop PC or a mobile notebook PC, and can output images, sounds, and the like.
  • the speaker 260 converts audio data into an analog signal via a DAC (Digital Analog Converter) and an amplifier and outputs (reproduces) it.
  • Unidirectional speaker 270 is a speaker capable of forming directivity in a single direction.
  • the output device 200 outputs information based on control by the information processing device 100.
  • the information processing apparatus 100 can control an output method in addition to the content of the information to be output.
  • the information processing apparatus 100 can control the projection direction of the projector 210 or control the directivity of the unidirectional speaker 270.
  • the output device 200 may include components capable of arbitrary output other than the components described above.
  • the output device 200 may include wearable devices such as a head mounted display (HMD), an augmented reality (AR) glass, and a watch-type device.
  • HMD head mounted display
  • AR augmented reality
  • watch-type device a watch-type device
  • the output device 200 may include a lighting device, an air conditioner, a music reproduction device, and the like.
  • the sensor device 300 includes a camera 310, a depth sensor 320 and a microphone 330.
  • the camera 310 is an imaging device that has a lens system such as an RGB camera, a drive system, and an imaging element, and captures an image (still image or moving image).
  • the depth sensor 320 is a device that acquires depth information of an infrared distance measuring device, an ultrasonic distance measuring device, LiDAR (Laser Imaging Detection and Ranging), a stereo camera, or the like.
  • the microphone 330 is a device that picks up surrounding sound and outputs audio data converted into a digital signal through an amplifier and an ADC (Analog Digital Converter).
  • the microphone 330 may be an array microphone.
  • the sensor device 300 senses information based on control by the information processing device 100.
  • the information processing apparatus 100 can control the zoom ratio and the imaging direction of the camera 310.
  • the sensor apparatus 300 may contain the component in which arbitrary sensing other than the component mentioned above is possible.
  • the sensor device 300 may include a device such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever, which allows information to be input by the user.
  • the sensor device 300 may include various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, an illuminance sensor, a force sensor, an ultrasonic sensor, an atmospheric pressure sensor, a gas sensor (Co2), and a thermo camera.
  • the information processing apparatus 100 includes an I / F (Interface) unit 110, a user operation detection unit 120, a user detection unit 130, an environment detection unit 140, a device detection unit 150, a space information storage unit 161, a coordinate system storage unit 163, and content storage. And a control unit 170.
  • I / F Interface
  • the I / F unit 110 is a connection device for connecting the information processing apparatus 100 to another device.
  • the I / F unit 110 is realized by, for example, a USB (Universal Serial Bus) connector or the like, and performs input and output of information with each component of the output device 200 and the sensor device 300.
  • USB Universal Serial Bus
  • the user operation detection unit 120 has a function of detecting user operation information based on the information sensed by the sensor device 300.
  • the operation information may be detected by, for example, a depth camera, a thermo camera, an RGB camera, or an ultrasonic sensor.
  • the operation information is, for example, information such as touch, tap, double tap, and swipe of the user. More specifically, the user operation detection unit 120 detects an operation such as touch, tap, double tap, or swipe on a projected place (display place) such as a wall, a floor, a table, or other furniture.
  • these user operations will be described below collectively as touch operations.
  • the touch operation is also detected as an operation input by the user on a display image projected on a wall, a floor, furniture or the like.
  • the user operation detection unit 120 analyzes the captured image and depth information input from the sensor device 300 and positions the user's hand or finger positioned on the display screen. And depth information (in other words, three-dimensional information) to detect contact or proximity of the user's hand to the table 30 in the height direction and detachment of the hand from the table 30.
  • depth information in other words, three-dimensional information
  • User operation detection unit 120 outputs the detected user operation information to control unit 170.
  • the user detection unit 130 has a function of detecting information (user information) related to the user based on the information sensed by the sensor device 300.
  • the user information may include information indicating the position and the number of users in the space sensed by the sensor device 300.
  • the position and number of users may be detected by a thermo camera, an RGB camera, an infrared sensor, an ultrasonic sensor or the like.
  • the user information may include information indicating the line of sight of the user.
  • the information indicating the line of sight of the user includes information indicating the position of the viewpoint and the direction of the line of sight.
  • the information indicating the line of sight of the user may be information indicating the direction of the face or head of the user, or may be information indicating the direction of the eyeball.
  • the information indicating the line of sight of the user can be detected by analyzing the eye image of the user obtained by an RGB camera, an infrared camera, an eyepiece camera or the like attached to the user.
  • the user information may include information indicating the posture of the user.
  • the information indicating the posture of the user can be detected by analyzing an image obtained by an RGB camera or an infrared camera.
  • the user information may include information indicating the user's uttered voice.
  • the information indicative of the user's speech can be detected by analyzing the speech information obtained by the microphone.
  • the user detection unit 130 outputs the detected user information to the control unit 170.
  • the environment detection unit 140 has a function of detecting environmental information based on the information sensed by the sensor device 300.
  • Environmental information is information on the space in which the user is present.
  • Environmental information may include various information.
  • the environmental information may include information indicating the shape of the space in which the user is present.
  • the information indicating the shape of the space includes, for example, information indicating the shape of the object forming the space, such as a wall surface, a ceiling, a floor, a door, furniture, and household items.
  • the information indicating the shape of the space may be two-dimensional information or three-dimensional information such as a point cloud.
  • the information indicating the shape of the space may be detected based on depth information obtained by, for example, infrared distance measurement, ultrasonic distance measurement, or a stereo camera.
  • the environmental information may include information indicating the state of the projection plane.
  • the state of the projection plane means, for example, unevenness and color of the projection plane.
  • the unevenness of the projection surface can be detected based on depth information obtained by, for example, LiDAR.
  • the color of the projection plane can be detected, for example, by analyzing an image captured by an RGB camera.
  • the environmental information may include information indicating the brightness of the projection surface.
  • the brightness of the projection plane can be detected by an illumination sensor or an RGB camera.
  • Environmental information may include information indicating the position (three-dimensional position) of an object in space.
  • the position of a cup, chair, table, electronics, etc. in a room can be detected by image recognition.
  • the position of the smartphone in the room may be detected by the radio wave intensity related to the communication between the smartphone and the access point of the wireless LAN.
  • Environmental information may include environmental sounds. Environmental sounds may be detected by a microphone.
  • the environment detection unit 140 outputs the detected environment information to the control unit 170.
  • the device detection unit 150 has a function of detecting information (device information) on devices in the space.
  • Device information may include the presence of the device and the three-dimensional position of the device.
  • the information processing apparatus 100 is connected to each device (output device 200) via the I / F unit 110.
  • the I / F unit 110 may be a wireless / wired LAN (Local Area Network), DLNA (registered trademark) (Digital Living Network Alliance), Wi-Fi (registered trademark), Bluetooth (registered trademark), USB connection, or other dedicated use. Connect to each device in the space by wire etc.
  • the device detection unit 150 detects the presence of the device by connecting the devices via the I / F unit 110.
  • the three-dimensional position of the device may be identified based on the information sensed by the sensor device 300.
  • the device detection unit 150 may extract the retroreflecting material provided in the device by analysis of an infrared image captured by an IR (infrared) camera of the sensor device 300, and may specify the position of the device in space .
  • the device detection unit 150 extracts a specific pattern (maker's name or two-dimensional barcode etc.) provided in the device by analysis of a captured image captured by a camera (RGB camera) of the sensor device 300
  • the position of the device at In addition, the device detection unit 150 may acquire a unique ultrasonic wave transmitted for each device with the microphone of the sensor device 300, and may specify the position of the device in the space.
  • the device detection unit 150 senses the user's operation of designating a place (such as pointing, touching, sighting, placing a marker, etc.) and a registration operation (such as UI selection or voice uttering) with the sensor device 300.
  • a place such as pointing, touching, sighting, placing a marker, etc.
  • a registration operation such as UI selection or voice uttering
  • the device detection unit 150 outputs the detected device information to the control unit 170.
  • the function which detects the information regarding the person in a space, an environment, and an apparatus was demonstrated.
  • the detection of each information by the user operation detection unit 120, the user detection unit 130, the environment detection unit 140, and the device detection unit 150 corresponds to space recognition, and the obtained information
  • the results are also referred to as spatial information.
  • the space recognition process by the information processing apparatus 100 may be performed periodically.
  • Control unit 170 controls the overall operation in information processing apparatus 100 in accordance with various programs.
  • the control unit 170 includes a display control unit 171 and a sound control unit 173.
  • the display control unit 171 controls display by the output device 200.
  • the sound control unit 173 controls the audio output by the output device 200.
  • the control unit 170 When controlling the display by the output device 200 by the display control unit 171, the control unit 170 is a space coordinate system in which a display object arrangement direction for arranging a plurality of display objects represents a positional relationship of a plurality of devices in the space. It is possible to perform control to rotate and display so as to coincide with the reference direction.
  • a recommended coordinate system is set in advance for each display object.
  • the control unit 170 determines the arrangement direction of the display object according to the recommended coordinate system of the display object (for example, rotates the display object as necessary).
  • a “world coordinate system”, a “spatial coordinate system”, a “display place coordinate system”, and a "user coordinate system” are mentioned, for example.
  • this four coordinate system is mentioned as an example in this embodiment, this indication is not limited to this.
  • FIG. 3 is a view for explaining each coordinate system according to the present embodiment.
  • the “world coordinate system” is a coordinate system in which north is an upward direction of the display object based on the orientation of the earth.
  • the "spatial coordinate system” is a coordinate system in which a specific one direction (linked) associated with a space (e.g., a room) is defined as the upper direction of the display object.
  • the coordinate system is along the wall of the room, but it does not have to be the coordinate system along the wall, and one side (reference direction) horizontal with the ground set arbitrarily is up It should be the direction.
  • the “display location coordinate system” is a coordinate system in which a specific one direction associated with a location where a display object is displayed is the upper direction of the display object.
  • the display location coordinate system is set for each display location.
  • a coordinate system associated with a table which is a projection location is shown as an example of the display location coordinate system.
  • the “user coordinate system” is a coordinate system which is associated with the user who is the operator and whose front direction of the user is the upper direction of the display object.
  • each coordinate system is formed by two axes (an axis (reference axis component) in the reference direction and an axis (orthogonal axis component) in the direction orthogonal to the reference axis).
  • the invention is not limited to this.
  • it may be formed only on one axis (reference axis component).
  • the spatial coordinate system may be formed by one axis parallel to the long side of the room.
  • Table 1 an example of a recommended coordinate system of each display object to which the control unit 170 refers is shown in Table 1 below.
  • the data shown in Table 1 below is stored in the coordinate system storage unit 163.
  • a “user coordinate system” is set in advance as a recommended coordinate system of the menu UI
  • a “space coordinate system” is set in advance as a recommended coordinate system of the illumination UI.
  • control unit 170 outputs the user information detected by the user detection unit 130, the environment information detected by the environment detection unit 140, and the device information detected by the device detection unit 150 to the space information storage unit 161. .
  • the control unit 170 can also specify a speaker. Since the user detection unit 130 and the environment detection unit 140 periodically recognize the positions and orientations of all the users in the space, the control unit 170 may use the microphone to obtain an audio signal of a certain volume or more.
  • the microphone array is used to specify the direction of the speaker, and the speaker is specified by referring to the positions of all the previously recognized users.
  • the control unit 170 can also recognize the content of the user's utterance. For example, the control unit 170 acquires a character string from speech information (uttered speech) collected by the microphone 330 using a speech recognition engine, and further performs syntactic analysis to detect a trigger of a user operation.
  • the trigger of the user operation is a predetermined keyword (for example, the name of the system, a call to the system, etc.) or a processing command, for example, “display menu UI”, “display illumination UI”, “show map here” And so on.
  • a display surface near the user may be used as the display location.
  • Space information storage unit 161 stores the user information detected by the user detection unit 130, the environment information detected by the environment detection unit 140, and the device information detected by the device detection unit 150.
  • Coordinate system storage unit 163 stores information of a recommended coordinate system set for each display object.
  • the coordinate system storage unit 163 also stores information such as a space coordinate system and a display location coordinate system associated with each display location.
  • the content storage unit 165 stores various display objects such as a menu UI and a lighting UI.
  • the configuration of the information processing apparatus 100 has been specifically described above.
  • the configuration of the information processing apparatus 100 is not limited to the example shown in FIG.
  • the information processing device 100 may be in the same space as the output device 200 and the sensor device 300, or may be in another space.
  • the information processing apparatus 100 may be on the network.
  • at least a part of the configuration of the information processing apparatus 100 may be included in the external device.
  • FIG. 4 is a diagram for explaining an example of the flow of display processing of the menu UI performed in the system 1 according to the present embodiment.
  • control unit 170 detects a tap operation by the user on a table surface or the like based on the information obtained by the user detection unit 130 (step S103).
  • control unit 170 acquires a recommended coordinate system of the menu UI from the coordinate system storage unit 163 (step S109).
  • the control unit 170 performs control to display the display object in the acquired recommended coordinate system (step S112). That is, the control unit 170 performs processing for rotating and displaying the display object such that the upper direction of the display object coincides with the upper direction (reference direction) of the recommended coordinate system.
  • the menu UI is displayed with the tap operation as a trigger in this flow as an example, the user operation as a trigger for displaying the menu UI is not limited to the tap operation, and may be, for example, a double tap or a swipe operation. Alternatively, the menu UI may be displayed in the vicinity of the user, triggered by the user's voice.
  • FIG. 5 shows a display example of the menu UI 11 displayed in consideration of the recommended coordinate system according to the present embodiment.
  • the menu UI 11 is displayed (projected) on the table 30, as shown on the right side of FIG.
  • the arrangement direction of the menu UI 11 is controlled in consideration of the recommended coordinate system. That is, for example, when the recommended coordinate system of the menu UI 11 is a user coordinate system, the arrangement direction of the menu UI 11 is controlled such that the front direction of the user is upward.
  • the front direction of the user may be the direction of the user's face, or may be estimated from the direction of the finger tapping the table 30 (the direction of the index finger).
  • control unit 170 When the position of the table 30 moves after displaying the menu UI 11 on the table 30, the control unit 170 follows the movement of the table 30 to control the display position of the menu UI 11, and the menu UI 11 is displayed on the table surface. It may be kept displayed. In this case, the control unit 170 sets the display location coordinate system associated with the table 30 and the user coordinate system of the menu UI 11 in a parent-child relationship, and adds the user coordinate system to the table UI 11 even when the table 30 moves. Control is performed to display in the arranged direction.
  • the display position of the menu UI 11 is determined based on the tap position of the user, but as shown in FIG. 6, when the menu UI 11 a is out of the table 30, the menu UI 11 is not out of the table 30.
  • the display position may be adjusted.
  • the control unit 170 may perform animation display for performing gaze guidance from a position where the user taps to a predetermined position and displaying a menu from the predetermined position.
  • FIG. 7 is a diagram for explaining an example of the flow of display processing in consideration of the display area according to the present embodiment.
  • the control unit 170 simulates the display area based on the tap position of the user (step S123). Specifically, when the control unit 170 displays the menu UI based on the tap position of the user based on the size of the display surface (display area) of the table 30 and the display size of the menu UI (for example, the tap position (When the upper left end of the menu UI is aligned), it is determined whether the menu UI does not extend from the table 30 or not.
  • the control unit 170 sets a position where the display of the menu UI does not extend (for example, when the menu UI is displayed, the upper left end of the menu UI (Step S129).
  • the calculation of the position where the display of the menu UI does not protrude may be calculated by giving priority to being as close as possible to the tap position of the user.
  • the control unit 170 performs line-of-sight guidance from the tap position of the user to the calculated position using the point-like display object 11b, and controls to display the menu UI 11 as shown on the right side of FIG. (Step S132).
  • the control unit 170 performs line-of-sight guidance from the tap position to the display position, it is possible to avoid the occurrence of an unnatural operation feeling that the menu UI 11 is displayed at a place not operated by the user.
  • the display object such as the menu UI so as not to protrude from the display location, the user can perform the tap operation without worrying about the display area or the display size of the display object.
  • FIG. 9 is a view for explaining a display example of the illumination UI according to the present embodiment.
  • the illumination UI 12 is a UI that controls the illumination intensity of the illumination device installed in the room.
  • the control unit 170 may perform display area simulation of the illumination UI 12 so that the illumination UI 12 does not protrude from the table 30, and may change the display position with visual line guidance when adjusting the display position.
  • the illumination UI 12 is formed of, for example, three dials (a plurality of display objects). Each dial corresponds to an area of a room such as a kitchen, dining room or living room, and serves as a UI for controlling the lighting of each area.
  • the numbers on the dial indicate the current illumination intensity.
  • the user can control the illumination intensity by dragging a knob located on the dial.
  • the "Living" dial is displayed larger than the other dials, because the user is currently in “Living” and the possibility of operating the "Living” illumination is high.
  • the control of the size of the dial is an example, and all may be displayed in the same size.
  • the control unit 170 adds the space (room) coordinate system to the lighting UI 12 Control the display of That is, the control unit 170 is a space coordinate system in which the arrangement direction of the illumination UI 12 which is a UI for controlling the illumination device in space represents the positional relationship of the illumination device in space (or the area in which the illumination device is disposed). Display control to match the reference direction of. More specifically, the illumination UI 12 (formed from a plurality of illumination UIs corresponding to the respective illumination devices) is arranged, for example, in the same arrangement or relative position relationship as the arrangement of the plurality of illumination devices and the relative positional relationship.
  • the illumination UI 12 is arranged in the same direction as the arrangement of a plurality of lighting devices in the real space in the direction parallel to one side of the room.
  • the lighting UI 12 is arranged in accordance with the arrangement of the device (area where the device is installed) in the actual space, the user can intuitively understand which area of the room the lighting UI is. it can.
  • this will be specifically described with reference to FIG.
  • FIG. 10 is an overhead view of a room according to the present embodiment.
  • the control unit 170 arranges three dials forming the lighting UI, the layout of the actual room Perform display control in accordance with. That is, regardless of the orientation of the user (user coordinate system) and the orientation of the table 30 (display location coordinate system), the arrangement of the lighting UI 12 is determined in accordance with the arrangement of the room (space coordinate system).
  • the control unit 170 can control, for example, the relative positional relationship of the kitchen, dining, and living areas in the space (more specifically, of the lighting equipment installed in each area)
  • the three dials of the lighting UI 12 can be displayed on the table 30 in a relative positional relationship similar to the relative positional relationship). This enables the user to intuitively grasp which dial is the UI that controls the illumination of which area.
  • the control unit 170 can perform processing of mapping and displaying the illumination UI 12 of the arrangement based on the space coordinate system on the display location coordinate system associated with the table 30.
  • this embodiment is not limited to this,
  • there exist several illumination in a kitchen It may be a lighting UI on which a dial for controlling each lighting intensity is displayed.
  • the arrangement of the dials is displayed in accordance with the space coordinate system, so that the user can intuitively grasp.
  • the control unit 170 follows the movement of the table 30 to control the display position of the illumination UI 12 so that the illumination UI 12 continues to be displayed on the table surface. It is also good.
  • control unit 170 sets the display location coordinate system associated with the table 30 and the space coordinate system of the lighting UI 12 in a parent-child relationship, and the lighting UI 12 adds the space coordinate system to the table surface even when the table 30 moves. Control is performed to display in the arranged direction.
  • the display of the name of the area may be added to each dial of the illumination UI 12.
  • control unit 170 may display character information such as the illumination intensity of the illumination UI 12 and the name of the area in the direction of the user, that is, the direction in which the “user coordinate system” is added. This makes the text easier for the user to read. Thus, it is also possible to mix two or more coordinate systems in one UI display.
  • the "opposite side” means the opposite side when the user's position with respect to the table 30 shown in FIG. 10 is the normal position (front).
  • FIG. 11 is a view for explaining a display example of the illumination UI 12 a when the user operates from the opposite side of the table according to the present embodiment.
  • FIG. 12 is an enlarged view of the illumination UI 12a shown in FIG.
  • the control unit 170 recommends the illumination UI as in the case shown in FIG. Display control is performed in consideration of the "spatial coordinate system" which is a coordinate system. That is, the control unit 170 displays the arrangement of the three dials corresponding to each area of the room forming the illumination UI 12a in accordance with the arrangement of the area of the actual room. Since the positional relationship between the kitchen, the dining room, and the living room is constant regardless of the position of the user, the arrangement of the three dials is the same as the example shown in FIG. Note that the character information may be adjusted to the “user coordinate system” so as to be easy for the user to read.
  • FIG. 13 is a diagram for explaining display of a display object on the vertical plane according to the present embodiment.
  • a menu UI (not shown in FIG. 13) is displayed on the wall.
  • the menu UI refers to Table 1
  • the recommended coordinate system is the "user coordinate system”
  • the upper direction matches the upper direction of the "user coordinate system” and is displayed to the user without turning upside down It is possible to
  • FIG. 14 is a diagram for explaining an example of the flow of display processing of a display object according to a modification of the present embodiment.
  • the control unit 170 detects a tap operation on a table surface, a wall surface, or the like by the user (step S203).
  • the control unit 170 acquires the recommended coordinate system of the display object from the coordinate system storage unit 163 (step S209). For example, in accordance with Table 1, if the display object is a menu UI, the user coordinate system is selected, and if the light UI is tapped from the menu UI and the illumination UI is selected, a space coordinate system is selected.
  • the control unit 170 determines whether the recommended coordinate system is a space coordinate system (step S212).
  • the "spatial coordinate system" is a coordinate system defined on the horizontal plane, it is determined whether or not the recommended coordinate system is a spatial coordinate system. That is, the control unit 170 may determine whether the coordinate system is defined on the horizontal plane.
  • the control unit 170 controls the user operation detection unit 120 and the environment detection unit 140 or the space information.
  • the display surface is detected based on the information obtained by the storage unit 160 (step S215).
  • the display surface is, for example, a flat area of a display place where the user performs a tap operation.
  • control unit 170 determines whether the display surface is vertical (step S218). For example, although the top surface (table surface) of the table 30 is a surface horizontal to the ground, the wall surface is a surface vertical to the ground.
  • the control unit 170 maps the space coordinate system on the vertical display surface (step S221).
  • the spatial coordinate system is a coordinate system defined on the horizontal plane, it is necessary to convert the coordinate system defined on the horizontal plane to the vertical plane when using it on a vertical plane such as a wall surface is there.
  • An example of the mapping to the vertical plane will be described later with reference to FIG.
  • control unit 170 performs control to display the display object using the mapped space coordinate system (step S224).
  • a mapping example of the space coordinate system to the vertical plane and a display example of the display object will be described with reference to FIG.
  • an axis (depth direction) perpendicular to the wall surface in the space coordinate system is It will be lost (ie, when displaying on the wall, the arrangement of the three dials forming the lighting UI 12 will overlap). Therefore, an axis perpendicular to the wall surface (broken line arrow on the horizontal plane shown in FIG. 15) in the space coordinate system is extended on the vertical surface, that is, converted to an axis in the vertical direction (dotted line on the wall surface shown in FIG. Arrows) represent the arrangement in the depth direction vertically with respect to the wall surface.
  • an axis parallel to the wall surface (solid arrow in the horizontal plane shown in FIG. 15) is mapped in parallel on the wall as it is (solid arrow on the wall shown in FIG. 15).
  • the control unit 170 displays the illumination UI 12 b as shown in FIG. 15 based on the space coordinate system mapped to the wall surface as described above. This makes it possible to display the lighting UI corresponding to the area arrangement in the space, and the user can intuitively understand which area the UI is.
  • FIG. 16 an example of mapping a space coordinate system to another wall surface is shown in FIG. Also in this case, an axis perpendicular to the wall surface in the space coordinate system (a solid-line arrow on the horizontal plane shown in FIG. 16) is extended on the vertical plane, ie, converted to an axis in the vertical direction (shown in FIG. Solid arrows on the wall). Further, in the space coordinate system, an axis parallel to the wall surface (broken line arrow on the horizontal plane shown in FIG. 16) is mapped in parallel on the wall surface as it is (broken line arrow on the wall surface shown in FIG. 16). Then, the control unit 170 displays the illumination UI 12c as shown in FIG. 16 based on the space coordinate system mapped to the wall surface as described above.
  • a solid-line arrow on the horizontal plane shown in FIG. 16 is extended on the vertical plane, ie, converted to an axis in the vertical direction (shown in FIG. Solid arrows on the wall).
  • mapping to the wall surface of a space coordinate system and the display example of a display object were demonstrated concretely.
  • the control unit 170 performs control to display a display object in the acquired recommended coordinate system, as in the display process described with reference to FIG. 4 (Step S227).
  • the display processing described above when displaying a display object on a vertical plane, if the recommended coordinate system of the display object is a coordinate system defined on a horizontal plane, the display is optimal after mapping to the vertical plane.
  • the present embodiment is not limited to this. For example, when displaying a display object on a horizontal surface, if the recommended coordinate system of the display object is a coordinate system defined on a vertical surface, it is possible to perform display control after mapping this on the horizontal surface is there.
  • FIG. 17 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to this embodiment.
  • the information processing apparatus 900 shown in FIG. 17 can realize, for example, the information processing apparatus 100 shown in FIG.
  • Information processing by the information processing apparatus 100 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903, and a host bus 904 a.
  • the information processing apparatus 900 further includes a bridge 904, an external bus 904 b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may have a processing circuit such as an electric circuit, a DSP, or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, the user operation detection unit 120, the user detection unit 130, the environment detection unit 140, the device detection unit 150, and the control unit 170 shown in FIG.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 900. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 900 can input various data to the information processing apparatus 900 or instruct processing operations by operating the input device 906.
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, laser projectors, display devices such as LED projectors and lamps, audio output devices such as speakers and headphones, printer devices, etc. .
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing apparatus 900.
  • the display device visually displays the results obtained by the various processes performed by the information processing apparatus 900 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the storage device 908 is a device for data storage formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, a space information storage unit 161, a coordinate system storage unit 163, and a content storage unit 165 shown in FIG.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • the connection port 911 may form, for example, the I / F unit 110 shown in FIG.
  • the connection port 911 is connected to the output device 200 and the sensor device 300 shown in FIG.
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication device 913 may form, for example, the I / F unit 110 illustrated in FIG.
  • the communication device 913 can then communicate with the output device 200 and the sensor device 300 shown in FIG.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each component described above may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level of the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be created and implemented on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the functions of the information processing device 100, the output device 200, or the sensor device 300 can be exhibited in hardware such as the CPU, ROM, and RAM built in the information processing device 100, the output device 200, or the sensor device 300 described above. It is also possible to create a computer program for A computer readable storage medium storing the computer program is also provided.
  • the recommended coordinate system shown in Table 1 above is an example, and the present disclosure is not limited thereto.
  • the recommended coordinate system of the illumination UI as the “user coordinate system”
  • UIs highly likely to be operated by the user may be arranged in order from the left when viewed from the user.
  • the control UI of the device installed in the area where the user is currently present can be said to be a UI that is highly likely to be operated.
  • control unit 170 when displaying a display object at a display location at a certain distance from the user, such as a wall surface, the control unit 170 performs control to display the display object as large as 1.5 times the display size of the display object set in advance. Good.
  • the control unit 170 maps the north of the map UI in the north direction of the real space. Control to rotate and display the UI. At this time, the control unit 170 may display character information and the like of the map UI in the “user coordinate system” so as to be easy for the user to read.
  • An information processing apparatus comprising: a control unit that performs processing of displaying the plurality of display objects based on the rotated display object arrangement direction.
  • the plurality of display objects are UIs that control devices in corresponding positional relationships.
  • the control unit performs display control to make the arrangement of the plurality of display objects coincide with the arrangement of the plurality of devices in a reference direction of the space coordinate system.
  • the control unit performs display control to make the arrangement of the plurality of display objects correspond to the positional relationship of the plurality of devices including the reference direction of the space coordinate system and the orthogonal direction orthogonal to the reference direction.
  • the information processing apparatus according to 2).
  • the control unit performs control to rotate and display character information included in the plurality of display objects in the front direction of the user based on a user coordinate system representing the front direction of the user.
  • the information processing apparatus according to any one of the above.
  • the control unit is configured to display at least the display object when the display object is displayed based on the operation position based on the display size of the display object, the size of the display place, and the user's operation position at the display place.
  • the information processing apparatus according to any one of (1) to (5), wherein display control is performed by calculating a position at which all the display objects can be displayed on the display location, when part of the display objects deviates. (7) The information processing apparatus according to (6), wherein the control unit performs display control for guiding the gaze from the operation position to the calculated display position. (8) The control unit maps the plurality of display objects on the display location coordinate system corresponding to the display surface on which the plurality of display objects are displayed, based on the rotated display object arrangement direction, and maps the display location The information processing apparatus according to any one of (1) to (7), which performs a process of displaying the plurality of display objects on the display surface based on a position of a coordinate system.
  • the control unit follows the movement of the real object when the real object, which is a display place where the plurality of display objects are displayed, moves, and the display is performed while maintaining the arrangement corresponding to the reference direction of the space coordinate system.
  • the information processing apparatus according to any one of (1) to (8), which performs control of displaying an object on the real object.
  • the control unit displays the plurality of display objects on a vertical plane
  • the control unit maps the space coordinate system defined on the horizontal plane on the vertical plane, and rotates so as to coincide with the reference direction of the mapped space coordinate system.
  • the information processing apparatus according to any one of (1) to (9), which performs a process of (11)
  • the control unit acquires information on a positional relationship of a plurality of devices in the three-dimensional space from a result of an environmental sensing process of space, and performs a process of defining a reference direction of the space coordinate system.
  • the information processing apparatus according to any one of (10).
  • Processor is Rotating a display object arrangement direction for arranging a plurality of display objects to coincide with a reference direction of a space coordinate system representing a positional relationship of a plurality of devices in a three-dimensional space; Displaying the plurality of display objects based on the rotated display object arrangement direction; Information processing methods, including: (14) Computer, A process of rotating a display object arrangement direction for arranging a plurality of display objects to coincide with a reference direction of a space coordinate system representing a positional relationship of a plurality of devices in a three-dimensional space; A program for functioning as a control unit that performs a process of displaying the plurality of display objects based on the rotated display object arrangement direction.
  • Reference Signs List 1 system 10 display image 100 information processing apparatus 110 I / F unit 120 user operation detection unit 130 user detection unit 140 environment detection unit 150 device detection unit 161 space information storage unit 163 coordinate system storage unit 165 content storage unit 170 control unit 171 display Control unit 173 Sound control unit 200 Output device 210 Projector 220 TV 230 Tablet 240 Smartphone 250 PC 260 Speaker 270 Unidirectional Speaker 300 Sensor Device 310 Camera 320 Depth Sensor 330 Microphone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

空間内における複数の機器の位置関係に、表示オブジェクトの配置方向を合わせることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させる処理と、前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させる処理とを行う制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、テレビ受像機（以下、単にＴＶと称する）およびプロジェクタ等の固定型表示機器、ならびにスマートフォンおよびノートＰＣ（Personal　Computer）等のモバイル型表示機器といった多様な表示機器が開発されている。また、表示機器の開発に伴い、装置を制御するためのインタフェースや操作方法も多様化してきている。
　例えばプロジェクタに関しては、従来のホームシアターに代表されるような地面に垂直なスクリーンに投影するものの他、プロジェクションマッピング技術の台頭により、テーブル面や、その他あらゆるところに映像を投影するケースが増えてきている。
　このような表示装置の多様化に伴い、表示領域の場所や大きさ、表示装置の使用態様によっては、ユーザは必ずしも表示領域に表示された情報に対して常に正対するとは限られなくなっている。そのため、デバイスの表示領域とユーザとの間の位置関係に合わせて情報を表示させる位置や向き等を制御する技術も提案されている。
　例えば下記特許文献１では、壁面やテーブルに設置された大型ディスプレイに対するユーザの位置を推定し、推定したユーザの位置に応じて新たな表示オブジェクトをユーザの近傍に表示させる制御について開示されている。
特開２０１６－９２１４号公報
　しかしながら、必ずしも全ての表示オブジェクトをユーザの正面方向に表示するのが望ましいとは限らず、実際の空間内における複数の機器の位置関係と合わせた方がユーザにとって理解し易い場合も想定される。
　そこで、本開示では、空間内における複数の機器の位置関係に、表示オブジェクトの配置方向を合わせることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させる処理と、前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させる処理とを行う制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させることと、前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させること、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させる処理と、前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させる処理とを行う制御部として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、空間内における複数の機器の位置関係に、表示オブジェクトの配置方向を合わせることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概要を説明するための図である。 本実施形態に係るシステムの構成の一例を示すブロック図である。 本実施形態による各座標系について説明する図を示す図である。 本実施形態に係るシステムにおいて実行されるメニューＵＩの表示処理の流れの一例を説明するための図である。 本実施形態による推奨座標系を加味して表示されるメニューＵＩの表示例を示す図である。 メニューＵＩがテーブルからはみ出してしまう場合について説明する図である。 本実施形態による表示領域を考慮した表示処理の流れの一例を説明するための図である。 本実施形態によるテーブルからはみ出さないようメニューＵＩを表示する際の視線誘導について説明する図である。 本実施形態による照明ＵＩの表示例について説明する図である。 本実施形態による部屋の俯瞰図である。 本実施形態によるテーブルの反対側からユーザが操作する場合の照明ＵＩの表示例について説明する図である。 図１１に示す照明ＵＩの拡大図である。 本実施形態の変形例による鉛直面での表示オブジェクトの表示について説明する図である。 本実施形態の変形例による表示オブジェクトの表示処理の流れの一例を説明するための図である。 本実施形態の変形例による鉛直面への空間座標系のマッピングおよび表示オブジェクトの表示例を示す図である。 本実施形態の変形例による他の鉛直面への空間座標系のマッピングおよび表示オブジェクトの表示例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　　２－１．出力装置２００
　　２－２．センサ装置３００
　　２－３．情報処理装置１００
　３．動作処理
　４．変形例
　５．ハードウェア構成
　６．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システムは、情報処理装置１００（図１では不図示）、出力装置２００（図１では、一例としてプロジェクタ２１０とＴＶ２２０を図示）及びセンサ装置３００を含む。
　センサ装置３００は、様々な情報をセンシングする装置である。例えば、センサ装置３００は、カメラ、デプスセンサ、及びマイクロフォン等を含み、ユーザ及びユーザがいる空間に関する情報をセンシングする。例えば、センサ装置３００は、ユーザの位置、姿勢、動き、視線、部屋の形状、及び家具の配置等をセンシングする。
　出力装置２００は、情報処理装置１００からの様々な情報を出力する装置であって、例えばプロジェクタ２１０やＴＶ２２０を想定する。プロジェクタ２１０は、センサ装置３００がセンシングする空間に含まれる壁、床、テーブル、又はその他家具等の任意の場所（即ち、領域）を投影場所（即ち、投影面又は投影領域）として情報を投影可能である。なお、投影場所は、平面に限定されず、曲面であってもよいし、複数の面に分かれていてもよい。また、プロジェクタ２１０は、空間内のどこへでも投影できるよう、複数台、若しくは所謂ムービングプロジェクタにより実現される。
　出力装置２００及びセンサ装置３００は、単数であってもよいし複数であってもよい。
　図１に示す例では、プロジェクタ２１０により、テーブル３０の天面に表示画像１０が表示されている。表示画像１０は、ユーザ入力に対するアプリケーションからのインタラクションを示す表示オブジェクトであって、例えば静止画、動画（映像）、メニュー画面又はコントロール画面といった各種ＵＩ等である。
　表示画像１０に対するユーザによる操作入力はセンサ装置３００により検出されるため、ユーザは、表示画像１０上で操作体、例えば手を接触又は近接させて動かすことで、表示画像１０に対し各種の操作入力を行うことができる。
　表示画像１０の表示位置は、テーブル３０の天面に限定されず、空間内における壁、床、又は家具等の任意の場所であってよく、自動的に、またはユーザによる指示に従って制御される。
　ここで、空間内の機器を制御するＵＩ（ユーザインタフェース）等の表示コンテンツがテーブル面等に表示される際、実際の空間内における複数の機器の配置等と関係無く表示されると、ユーザにとって理解し難かったり、直感的な操作が行い難いといった問題がある。
　そこで、本開示では、空間内における複数の機器の位置関係に、表示オブジェクトの配置を合わせることが可能な仕組みを提案する。
　＜＜２．構成例＞＞
　図２は、本実施形態に係るシステム１の構成の一例を示すブロック図である。図２に示すように、システム１は、情報処理装置１００、出力装置２００及びセンサ装置３００を含む。
　　＜２－１．出力装置２００＞
　出力装置２００は、プロジェクタ２１０、ＴＶ２２０、タブレット２３０、スマートフォン２４０、ＰＣ２５０、スピーカ２６０、及び単一指向性スピーカ２７０を含む。なお、システム１は、出力装置２００として、これらのうち一つ又は複数の組み合わせを含んでも良いし、同一種類の装置を複数含んでも良い。
　プロジェクタ２１０は、空間の任意の場所に画像を投影する投影装置である。プロジェクタ２１０は、例えば固定型の広角プロジェクタであってもよいし、Ｐａｎ／Ｔｉｌｔ駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。ＴＶ２２０は、テレビジョン放送の電波を受信して、画像及び音声を出力する装置である。タブレット２３０は、典型的にはスマートフォン２４０より大きな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。スマートフォン２４０は、典型的にはタブレット２３０より小さな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。ＰＣ２５０は、固定型のデスクトップＰＣであってもよいし、モバイル型のノートＰＣであってもよく、画像及び音声等を出力可能である。スピーカ２６０は、ＤＡＣ（Digital　Analog　Converter）およびアンプを介して、音声データをアナログ信号に変換し、出力（再生）する。単一指向性スピーカ２７０は、単一の方向に指向性を形成可能なスピーカである。
　出力装置２００は、情報処理装置１００による制御に基づいて情報を出力する。情報処理装置１００は、出力する情報の内容に加えて、出力方法も制御可能である。例えば、情報処理装置１００は、プロジェクタ２１０の投影方向を制御したり、単一指向性スピーカ２７０の指向性を制御したりすることができる。
　なお、出力装置２００は、上述した構成要素以外の任意の出力が可能な構成要素を含んでいてもよい。例えば、出力装置２００は、ＨＭＤ（Head　Mounted　Display）、ＡＲ（Augmented　Reality）グラス、及び時計型デバイス等のウェアラブルデバイスを含んでいてもよい。
　また、出力装置２００は、照明装置、空調装置、又は音楽再生装置等を含んでいてもよい。
　＜２－２．センサ装置３００＞
　センサ装置３００は、カメラ３１０、デプスセンサ３２０及びマイクロフォン３３０を含む。
　カメラ３１０は、ＲＧＢカメラ等の、レンズ系、駆動系、及び撮像素子を有し、画像（静止画像又は動画像）を撮像する撮像装置である。デプスセンサ３２０は、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（Laser　Imaging　Detection　and　Ranging）又はステレオカメラ等の深度情報を取得する装置である。マイクロフォン３３０は、周囲の音を収音し、アンプおよびＡＤＣ（Analog　Digital　Converter）を介してデジタル信号に変換した音声データを出力する装置である。マイクロフォン３３０は、アレイマイクであってもよい。
　センサ装置３００は、情報処理装置１００による制御に基づいて情報をセンシングする。例えば、情報処理装置１００は、カメラ３１０のズーム率及び撮像方向を制御することができる。
　なお、センサ装置３００は、上述した構成要素以外の任意のセンシングが可能な構成要素を含んでいてもよい。例えば、センサ装置３００は、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって情報が入力される装置を含んでいてもよい。また、センサ装置３００は、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、照度センサ、力センサ、超音波センサ、気圧センサ、ガスセンサ（Co2）、サーモカメラ等の各種のセンサを含み得る。
　＜２－３．情報処理装置１００＞
　情報処理装置１００は、Ｉ／Ｆ（Interface）部１１０、ユーザ操作検出部１２０、ユーザ検出部１３０、環境検出部１４０、機器検出部１５０、空間情報記憶部１６１、座標系記憶部１６３、コンテンツ記憶部１６５、及び制御部１７０を含む。
　・Ｉ／Ｆ部１１０
　Ｉ／Ｆ部１１０は、情報処理装置１００と他の機器とを接続するための接続装置である。Ｉ／Ｆ部１１０は、例えばＵＳＢ（Universal　Serial　Bus）コネクタ等により実現され、出力装置２００及びセンサ装置３００の各構成要素との間で情報の入出力を行う。
　・ユーザ操作検出部１２０
　ユーザ操作検出部１２０は、センサ装置３００によりセンシングされた情報に基づいてユーザの操作情報を検出する機能を有する。操作情報は、例えばデプスカメラ、サーモカメラ、ＲＧＢカメラ、又は超音波センサ等により検出され得る。操作情報は、例えばユーザのタッチ、タップ、ダブルタップ、スワイプ等の情報である。より具体的には、ユーザ操作検出部１２０は、壁、床、テーブル、又はその他家具等の投影場所（表示場所）に対するタッチ、タップ、ダブルタップ、スワイプ等の操作を検出する。本明細書では、これらのユーザ操作をタッチ操作と総称して以下説明する。
　タッチ操作は、壁、床、又は家具等に投影された表示画像に対するユーザによる操作入力としても検出される。例えばテーブル３０に表示画像１０が表示されている場合、ユーザ操作検出部１２０は、センサ装置３００から入力された撮像画像やデプス情報を解析して表示画面上に位置するユーザの手や指の位置や深度情報（換言すると、三次元情報）を取得し、高さ方向におけるテーブル３０へのユーザの手の接触若しくは近接、及びテーブル３０からの手の離脱を検出する。本明細書では、ユーザが情報に表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。
　ユーザ操作検出部１２０は、検出したユーザ操作情報を制御部１７０に出力する。
　・ユーザ検出部１３０
　ユーザ検出部１３０は、センサ装置３００によりセンシングされた情報に基づいてユーザに関する情報（ユーザ情報）を検出する機能を有する。
　ユーザ情報は、センサ装置３００によりセンシングされる空間内におけるユーザの位置及び人数を示す情報を含み得る。ユーザの位置及び人数は、サーモカメラ、ＲＧＢカメラ、赤外線センサ又は超音波センサ等により検出され得る。
　ユーザ情報は、ユーザの視線を示す情報を含み得る。ユーザの視線を示す情報は、視点の位置及び視線方向を示す情報を含む。またユーザの視線を示す情報は、ユーザの顔や頭の向きを示す情報であってもよいし、さらに眼球の向きを示す情報であってもよい。ユーザの視線を示す情報は、ＲＧＢカメラ、赤外線カメラ、又はユーザに装着された接眼カメラ等により得られるユーザの目の画像を解析することで検出され得る。
　ユーザ情報は、ユーザの姿勢を示す情報を含み得る。ユーザの姿勢を示す情報は、ＲＧＢカメラ又は赤外線カメラ等により得られる画像を解析することで検出され得る。
　ユーザ情報は、ユーザの発話音声を示す情報を含み得る。ユーザの発話音声を示す情報は、マイクロフォンにより得られる音声情報を解析することで検出され得る。
　ユーザ検出部１３０は、検出したユーザ情報を制御部１７０に出力する。
　・環境検出部１４０
　環境検出部１４０は、センサ装置３００によりセンシングされた情報に基づいて環境情報を検出する機能を有する。環境情報は、ユーザがいる空間に関する情報である。環境情報は多様な情報を含み得る。
　環境情報は、ユーザがいる空間の形状を示す情報を含み得る。空間の形状を示す情報は、例えば、壁面、天井、床、ドア、家具、及び生活用品等の、空間を形成する物体の形状を示す情報を含む。空間の形状を示す情報は、２次元情報であってもよいし、ポイントクラウド等の３次元情報であってもよい。空間の形状を示す情報は、例えば赤外線測距、超音波測距、又はステレオカメラにより得られる深度情報に基づいて検出され得る。
　環境情報は、投影面の状態を示す情報を含み得る。投影面の状態は、例えば投影面の凹凸及び色を意味する。投影面の凹凸は、例えばＬｉＤＡＲにより得られる深度情報に基づいて検出され得る。投影面の色は、例えばＲＧＢカメラにより撮像された画像を解析することで検出され得る。
　環境情報は、投影面の明るさを示す情報を含み得る。投影面の明るさは、照度センサ又はＲＧＢカメラにより検出され得る。
　環境情報は、空間内の物体の位置（三次元位置）を示す情報を含み得る。例えば、部屋の中のコップ、椅子、テーブル、及び電子機器等の位置は、画像認識により検出され得る。また、例えば、部屋の中のスマートフォンの位置は、スマートフォンと無線ＬＡＮのアクセスポイントとの通信に係る電波強度により検出され得る。
　環境情報は、環境音を含み得る。環境音は、マイクロフォンにより検出され得る。
　環境検出部１４０は、検出した環境情報を制御部１７０に出力する。
　機器検出部１５０は、空間内の機器に関する情報（機器情報）を検出する機能を有する。機器情報は、機器の存在及び機器の三次元位置を含み得る。
　情報処理装置１００は、Ｉ／Ｆ部１１０を介して各機器（出力装置２００）と接続する。例えばＩ／Ｆ部１１０は、無線／有線ＬＡＮ（Local　Area　Network）、ＤＬＮＡ（登録商標）（Digital　Living　Network　Alliance）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ接続、又はその他専用線等により空間内の各機器と接続する。機器検出部１５０は、Ｉ／Ｆ部１１０を介して各機器が接続されることでその機器の存在を把握する。
　機器の三次元位置は、センサ装置３００によりセンシングされた情報に基づいて特定され得る。例えば機器検出部１５０は、機器に設けられた再帰性反射材を、センサ装置３００のＩＲ（infrared）カメラで撮影した赤外線画像の解析により抽出し、空間内における機器の位置を特定してもよい。また、機器検出部１５０は、機器に設けられた特定パターン（メーカー名、又は二次元バーコード等）を、センサ装置３００のカメラ（ＲＧＢカメラ）で撮影した撮影画像の解析により抽出し、空間内における機器の位置を特定してもよい。また、機器検出部１５０は、機器毎に発信されるユニークな超音波を、センサ装置３００のマイクロフォンで取得し、空間内における機器の位置を特定してもよい。また、機器検出部１５０は、ユーザによる場所指定の動作（指差し、タッチ、視線、又はマーカーを置く等）と登録操作（ＵＩ選択、又は音声発話等）をセンサ装置３００によりセンシングし、空間内における機器の位置を特定してもよい。
　機器検出部１５０は、検出した機器情報を制御部１７０に出力する。
　以上、空間内の人、環境、及び機器に関する情報を検出する機能について説明した。本明細書において、ユーザ操作検出部１２０、ユーザ検出部１３０、環境検出部１４０、及び機器検出部１５０による各情報の検出は、空間認識に相当し、得られた情報（空間の環境センシング処理の結果）は、空間情報とも称す。情報処理装置１００による空間認識処理は定期的に行われてもよい。
　・制御部１７０
　制御部１７０は、各種プログラムに従って情報処理装置１００内の動作全般を制御する。制御部１７０は、表示制御部１７１及び音響制御部１７３を含む。表示制御部１７１は、出力装置２００による表示を制御する。音響制御部１７３は、出力装置２００による音声出力を制御する。
　制御部１７０は、表示制御部１７１により出力装置２００による表示を制御する際、複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させて表示する制御を行うことが可能である。
　本実施形態では、表示オブジェクト（コンテンツ）の配置方向を決定するために、予め表示オブジェクト毎に推奨座標系を設定している。制御部１７０は、表示オブジェクトの推奨座標系に従って表示オブジェクトの配置方向を決定する（例えば必要に応じて表示オブジェクトを回転させる）。推奨座標系の候補としては、例えば、「世界座標系」、「空間座標系」、「表示場所座標系」、及び「ユーザ座標系」の４つが挙げられる。なお本実施形態では一例としてかかる４つの座標系を挙げているが、本開示はこれに限定されない。
　図３に、本実施形態による各座標系について説明する図を示す。図３に示すように、「世界座標系」は、地球の方位に基づいて北を表示オブジェクトの上方向とする座標系である。「空間座標系」は、予め定義された、空間（例えば部屋）に関連付けられた（リンクされた）特定の一方向を表示オブジェクトの上方向とする座標系である。図３に示す例では部屋の壁に沿った座標系となっているが、必ずしも壁に沿った座標系である必要は無く、任意に設定された地面と水平の一方向（基準方向）を上方向とすればよい。「表示場所座標系」は、表示オブジェクトを表示する場所に関連付けられた特定の一方向を表示オブジェクトの上方向とする座標系である。表示場所座標系は、表示場所毎に設定される。例えば図３に示す例では、表示場所座標系の一例として、投影場所であるテーブルに関連付けられた座標系を示している。「ユーザ座標系」は、操作者であるユーザに関連付けられ、ユーザの正面方向を表示オブジェクトの上方向とする座標系である。なお図３に示す例では、各座標系が２軸（基準方向の軸（基準軸成分）と、基準軸に直交する方向の軸（直交軸成分））により形成されているが、本開示はこれに限定されず、例えば１軸（基準軸成分）にのみ形成されるものであってもよい。例えば空間座標系が、部屋の長辺と平行する１軸により形成されてもよい。
　また、制御部１７０が参照する各表示オブジェクトの推奨座標系の一例を下記表１に示す。下記表１に示すデータは、座標系記憶部１６３に記憶されている。下記表１に示すように、例えばメニューＵＩの推奨座標系として「ユーザ座標系」、照明ＵＩの推奨座標系として「空間座標系」等が予め設定される。
Figure JPOXMLDOC01-appb-T000001
　通常、地面に垂直な表示場所に表示オブジェクトを表示する際は鉛直上向きを表示オブジェクトの上方向とすればよいが、テーブル面等の地面に水平な表示場所に表示する際は、テーブル面において表示方向を固定してしまうとユーザの位置によっては上下逆さまに見えてしまうという問題が起こり得る。しかし、上述したように全ての表示オブジェクトをユーザの正面方向に表示することが望ましいとは限らず、例えば、部屋の照明を制御するＵＩを表示する場合は、実際の部屋の各照明の位置関係と、照明ＵＩの配置を合わせた方が、どの照明のＵＩであるかがユーザにとって理解し易く、操作性が向上する。
　また、制御部１７０は、ユーザ検出部１３０により検出されたユーザ情報、環境検出部１４０により検出された環境情報、及び機器検出部１５０により検出された機器情報を、空間情報記憶部１６１に出力する。
　また、制御部１７０は、発話者の特定を行うことも可能である。ユーザ検出部１３０及び環境検出部１４０により、空間内の全ユーザの位置や姿勢が定期的に認識されているため、制御部１７０は、マイクロフォンで一定以上の音量の音声信号を取得した場合に、マイクアレイを用いて発話者の方向を特定し、予め認識している全ユーザの位置を参照して発話者を特定する。
　また、制御部１７０は、ユーザの発話内容を認識することも可能である。例えば、制御部１７０は、マイクロフォン３３０により集音した音声情報（発話音声）から、音声認識エンジンを用いて文字列を取得し、さらに構文解析を行ってユーザ操作のトリガを検出する。ユーザ操作のトリガは、所定のキーワード（例えばシステムの名称、システムへの呼び掛け等）又は処理コマンド、例えば「メニューＵＩを表示して」、「照明ＵＩを表示して」、「ここの地図を見せて」等であってもよい。この場合、ユーザの近傍の表示面を表示場所としてもよい。
　・空間情報記憶部１６１
　空間情報記憶部１６１は、ユーザ検出部１３０により検出されたユーザ情報、環境検出部１４０により検出された環境情報、及び機器検出部１５０により検出された機器情報を記憶する。
　・座標系記憶部１６３
　座標系記憶部１６３は、表示オブジェクト毎に設定された推奨座標系の情報を記憶する。また、座標系記憶部１６３は、空間座標系及び各表示場所に関連付けられた表示場所座標系等の情報を記憶する。
　・コンテンツ記憶部１６５
　コンテンツ記憶部１６５は、メニューＵＩ、照明ＵＩ等の各種表示オブジェクトを記憶する。
　以上、本実施形態による情報処理装置１００の構成について具体的に説明した。なお情報処理装置１００の構成は、図２に示す例に限定されない。例えば、情報処理装置１００が出力装置２００及びセンサ装置３００と同じ空間内にあってもよいし、他の空間にあってもよい。また、情報処理装置１００がネットワーク上にあってもよい。また、情報処理装置１００の少なくとも一部の構成が外部装置にあってもよい。情報処理装置１００の各構成を適宜分散することで、リアルタイム性の向上や処理負担の軽減、さらにはセキュリティを担保することが可能となる。
　＜＜３．動作処理＞＞
　続いて、図４を参照して、本実施形態に係る表示オブジェクトの表示処理の流れの一例を説明する。ここでは、まず、ユーザがテーブル面等をタップしてメニューＵＩを表示させる例について説明する。
　図４は、本実施形態に係るシステム１において実行されるメニューＵＩの表示処理の流れの一例を説明するための図である。
　図４に示すように、まず、制御部１７０は、ユーザ検出部１３０により得られた情報に基づいて、テーブル面等へのユーザによるタップ操作の検出を行う（ステップＳ１０３）。
　次に、タップ操作が検出されると（ステップＳ１０３／Ｙｅｓ）、制御部１７０は、メニューＵＩの推奨座標系を座標系記憶部１６３から取得する（ステップＳ１０９）。
　次いで、制御部１７０は、取得した推奨座標系で表示オブジェクトを表示する制御を行う（ステップＳ１１２）。すなわち、制御部１７０は、表示オブジェクトの上方向が推奨座標系の上方向（基準方向）と一致するように表示オブジェクトを回転させて表示する処理を行う。本フローでは一例としてタップ操作をトリガとしてメニューＵＩを表示させているが、メニューＵＩを表示させるトリガとなるユーザ操作はタップ操作に限定されず、例えばダブルタップ又はスワイプ操作等であってもよい。若しくは、ユーザ音声をトリガとしてメニューＵＩをユーザの近傍に表示させてもよい。
　ここで、図５に、本実施形態による推奨座標系を加味して表示されるメニューＵＩ１１の表示例を示す。図５左側に示すように、ユーザがテーブル３０をタップする操作が検出されると、図５右側に示すように、テーブル３０にメニューＵＩ１１が表示（投影）される。この際、メニューＵＩ１１の配置方向は推奨座標系を加味して制御される。すなわち、例えばメニューＵＩ１１の推奨座標系がユーザ座標系の場合、ユーザの正面方向が上方向となるようメニューＵＩ１１の配置方向が制御される。なおユーザの正面方向は、ユーザの顔の向きであってもよいし、テーブル３０をタップした指の向き（人指し指の向き）から推定してもよい。
　なお、制御部１７０は、メニューＵＩ１１をテーブル３０に表示した後、テーブル３０の位置が移動した場合は、テーブル３０の移動に追従してメニューＵＩ１１の表示位置を制御し、テーブル面にメニューＵＩ１１が表示され続けるようにしてもよい。この場合、制御部１７０は、テーブル３０に関連付けられた表示場所座標系とメニューＵＩ１１のユーザ座標系を親子関係に設定し、テーブル３０が移動した場合もテーブル面にメニューＵＩ１１をユーザ座標系を加味した配置方向で表示する制御を行う。
　また、メニューＵＩ１１の表示位置は、ユーザのタップ位置を基準として決定されるが、図６に示すようにメニューＵＩ１１ａがテーブル３０からはみ出してしまう場合には、メニューＵＩ１１がテーブル３０からはみ出さないよう表示位置を調整してもよい。その際、制御部１７０は、ユーザがタップした位置から所定の位置まで視線誘導を行って当該所定の位置からメニューを表示させるアニメーション表示を行ってもよい。以下、図７及び図８を参照して説明する。
　図７は、本実施形態による表示領域を考慮した表示処理の流れの一例を説明するための図である。図７に示すように、まず、制御部１７０は、ユーザのタップ位置を基準として表示領域のシミュレーションを行う（ステップＳ１２３）。具体的には、制御部１７０は、テーブル３０の表示面（表示領域）の大きさ及びメニューＵＩの表示サイズに基づいて、ユーザのタップ位置を基準としてメニューＵＩを表示した場合（例えば、タップ位置にメニューＵＩの左上端を合わせた場合）にメニューＵＩがテーブル３０からはみ出さないか否かを判断する。
　次に、メニューＵＩがテーブル３０からはみ出してしまう場合（ステップＳ１２６／Ｙｅｓ）、制御部１７０は、メニューＵＩの表示がはみ出さない位置（例えばメニューＵＩが表示された際にメニューＵＩの左上端となる位置）を算出する（ステップＳ１２９）。メニューＵＩの表示がはみ出さない位置の算出は、ユーザのタップ位置に出来るだけ近くなることを優先して算出してもよい。
　次いで、制御部１７０は、図８左側に示すように、ユーザのタップ位置から、算出した位置まで点状の表示オブジェクト１１ｂにより視線誘導を行い、図８右側に示すようにメニューＵＩ１１を表示する制御を行う（ステップＳ１３２）。タップ位置から表示位置まで視線誘導を行うことで、ユーザが操作していない場所にメニューＵＩ１１が表示されるという不自然な操作感覚が生じることを回避することができる。また、メニューＵＩ等の表示オブジェクトが表示場所からはみ出さないように自動的に調整されることで、ユーザは表示領域や表示オブジェクトの表示サイズを気にすることなくタップ操作を行うことができる。
　（照明ＵＩの表示）
　次に、表示オブジェクトの一例である照明ＵＩの表示例について図９を参照して説明する。図９は、本実施形態による照明ＵＩの表示例について説明する図である。
　図９左側に示すように、ユーザがメニューＵＩ１１から「Light」をタップして選択すると、図９右側に示すように、照明ＵＩ１２が表示される。照明ＵＩ１２は、部屋に設置されている照明装置の照明強度を制御するＵＩである。なお制御部１７０は、照明ＵＩ１２がテーブル３０からはみ出ないよう照明ＵＩ１２の表示領域シミュレーションを行い、表示位置を調整する場合は視線誘導を伴って表示位置の変更を行ってもよい。
　図９右側に示すように、照明ＵＩ１２は、例えば３つのダイヤル（複数の表示オブジェクト）で形成されている。各ダイヤルは、それぞれキッチン、ダイニング、リビングといった部屋のエリアに対応し、各エリアの照明を制御するＵＩとなっている。ダイヤル上の数字は、現在の照明強度を示している。ユーザは、ダイヤル上に配置されたつまみをドラッグすることにより照明強度をコントロールすることができる。図９に示す例では、「Ｌｉｖｉｎｇ」のダイヤルが他のダイヤルよりも大きく表示されているが、これはユーザが現在「Ｌｉｖｉｎｇ」におり「Ｌｉｖｉｎｇ」の照明を操作する可能性が高いためである。かかるダイヤルの大きさの制御は一例であって、全て同じ大きさで表示してもよい。
　ここで、上記表１に示すように、照明ＵＩ１２の推奨座標系が「空間（部屋）座標系」に設定されている場合、制御部１７０は、空間（部屋）座標系を加味して照明ＵＩ１２の表示を制御する。すなわち、制御部１７０は、空間内の照明装置を制御するＵＩである照明ＵＩ１２の配置方向が、空間内の照明装置（又は当該照明装置が配置されているエリア）の位置関係を表す空間座標系の基準方向に一致するよう表示制御する。より具体的には、例えば複数の照明装置の並びや相対位置関係と同様の並びや相対位置関係で、照明ＵＩ１２（各照明装置に対応する複数の照明ＵＩから形成される）を配置する。例えば部屋の一辺が基準方向として定義されている場合、当該部屋の一辺と平行する方向において、実空間の複数の照明装置の並びと同じ並びで照明ＵＩ１２を配置する。これにより、実際の空間における機器（機器が設置されているエリア）の配置に合わせて照明ＵＩ１２が配置されるため、ユーザは直感的に部屋のどのエリアの照明ＵＩであるかを理解することができる。以下、図１０を参照して具体的に説明する。
　図１０は、本実施形態による部屋の俯瞰図である。図１０に示すように、例えば実際の部屋において、左からキッチン、ダイニング、リビングのエリアとなっている場合、制御部１７０は、照明ＵＩを形成する３つのダイヤルの配置を、実際の部屋のレイアウトに合わせる表示制御を行う。すなわち、ユーザの向き（ユーザ座標系）や、テーブル３０の向き（表示場所座標系）とも無関係に、部屋の配置（空間座標系）に合わせて照明ＵＩ１２の配置を決定する。
　空間座標系に合わせた配置とすることで、制御部１７０は、例えば空間内におけるキッチン、ダイニング、及びリビングのエリアの相対位置関係（より具体的には、各エリアに設置されている照明機器の相対位置関係）と相似する相対位置関係で、照明ＵＩ１２の３つのダイヤルをテーブル３０に表示することができる。これにより、ユーザは、どのダイヤルがどのエリアの照明を制御するＵＩであるかを直感的に把握することが可能となる。なお、テーブル３０への表示に際し、制御部１７０は、空間座標系に基づく配置の照明ＵＩ１２を、テーブル３０に関連付けられた表示場所座標系上にマッピングして表示する処理を行い得る。
　また、図９及び図１０に示す例では、キッチン、ダイニング、及びリビングにそれぞれ１つのダイヤルが対応付けてあるが、本実施形態はこれに限定されず、例えばキッチン内に複数の照明があってそれぞれの照明強度を制御するダイヤルが表示される照明ＵＩであってもよい。この場合も同様に各ダイヤルの配置が空間座標系に合わせて表示されることで、ユーザは直感的に把握することができる。また、照明ＵＩ１２を表示した後、テーブル３０が移動した場合、制御部１７０は、テーブル３０の移動に追従して照明ＵＩ１２の表示位置を制御し、テーブル面に照明ＵＩ１２が表示され続けるようにしてもよい。この場合、制御部１７０は、テーブル３０に関連付けられた表示場所座標系と照明ＵＩ１２の空間座標系を親子関係に設定し、テーブル３０が移動した場合もテーブル面に照明ＵＩ１２が空間座標系を加味した配置方向で表示する制御を行う。
　また、図９右側に示すように、照明ＵＩ１２の各ダイヤルには、エリアの名称の表示を付加してもよい。
　また、制御部１７０は、図９右側に示すように、照明ＵＩ１２の照明強度やエリアの名称等の文字情報をユーザの方向、すなわち「ユーザ座標系」を加味した方向に表示してもよい。これによりユーザにとって文字が読み易くなる。このように一つのＵＩ表示において、二つ以上の座標系を混合することも可能である。
　続いて、図１１及び図１２を参照して、ユーザがテーブル３０の反対側から操作する場合における照明ＵＩ１２の表示例について説明する。「反対側」とは、図１０に示すテーブル３０に対するユーザの位置が正位置（正面）とした場合の反対側といった意味である。
　図１１は、本実施形態によるテーブルの反対側からユーザが操作する場合の照明ＵＩ１２ａの表示例について説明する図である。図１２は、図１１に示す照明ＵＩ１２ａの拡大図である。
　図１１に示すように、テーブル３０の反対側にユーザが位置し、ユーザ操作に応じてテーブル３０に照明ＵＩ１２ａを表示する場合、制御部１７０は、図１０に示す場合と同様に照明ＵＩの推奨座標系である「空間座標系」を加味した表示制御を行う。すなわち、制御部１７０は、照明ＵＩ１２ａを形成する部屋の各エリアに対応する３つのダイヤルの配置を実際の部屋のエリアの配置に合わせて表示する。ユーザの位置に関わらず、キッチン、ダイニング、及びリビングの位置関係は一定であるため、３つのダイヤルの配置は図１０に示す例と同じとなる。なお、文字情報についてはユーザに読みやすいよう「ユーザ座標系」に合わせてもよい。
　＜＜４．変形例＞＞
　続いて、本実施形態による表示オブジェクトが壁面等の地面に対して鉛直な表示面に表示される場合について説明する。
　図１３は、本実施形態による鉛直面での表示オブジェクトの表示について説明する図である。図１３に示すように、例えばユーザが部屋の壁面に対してタップ操作を行った場合、壁面にメニューＵＩ（図１３では不図示）が表示される。メニューＵＩは表１を参照すると推奨座標系が「ユーザ座標系」となるが、壁面の場合は上方向が「ユーザ座標系」の上方向と一致し、ユーザに対して上下逆転することなく表示することが可能となる。
　一方、照明ＵＩ等の「空間座標系」を推奨座標系とする表示オブジェクトを壁面に表示する場合、「空間座標系」は水平面上に定義されたものであるため、壁面等の鉛直面で利用する場合には鉛直面にマッピングした上で利用することが考えられる。以下、図１４を参照して具体的に説明する。
　図１４は、本実施形態の変形例による表示オブジェクトの表示処理の流れの一例を説明するための図である。
　図１４に示すように、まず、制御部１７０は、ユーザ操作検出部１２０により得られた情報に基づいて、ユーザによるテーブル面や壁面等へのタップ操作の検出を行う（ステップＳ２０３）。
　次に、タップ操作が検出されると（ステップＳ２０６／Ｙｅｓ）、制御部１７０は、座標系記憶部１６３から表示オブジェクトの推奨座標系を取得する（ステップＳ２０９）。例えば上記表１に従う場合、表示オブジェクトがメニューＵＩであれば「ユーザ座標系」、メニューＵＩから「Light」がタップされて照明ＵＩが選択された場合は「空間座標系」となる。
　次いで、制御部１７０は、推奨座標系が空間座標系であるか否かを判断する（ステップＳ２１２）。ここでは「空間座標系」が水平面上に定義された座標系であるため、推奨座標系が空間座標系か否かを判断している。すなわち、制御部１７０は、水平面上に定義された座標系であるか否かを判断すればよい。
　次いで、推奨座標系が空間座標系（すなわち水平面上に定義された座標系）である場合う（ステップＳ２１２／Ｙｅｓ）、制御部１７０は、ユーザ操作検出部１２０、及び環境検出部１４０又は空間情報記憶部１６０により得られた情報に基づいて、表示面を検出する（ステップＳ２１５）。表示面は例えばユーザがタップ操作を行った表示場所の平面領域である。
　次に、制御部１７０は、表示面が鉛直であるか否かを判断する（ステップＳ２１８）。例えばテーブル３０の天面（テーブル面）は地面に対して水平な面であるが、壁面は地面に対して鉛直な面となる。
　次いで、表示面が鉛直である場合（ステップＳ２１８／Ｙｅｓ）、制御部１７０は、空間座標系を鉛直表示面にマッピングする（ステップＳ２２１）。上述したように、空間座標系は水平面上に定義された座標系であるため、壁面等の鉛直面に利用する場合には、水平面上に定義された座標系を鉛直面上に変換する必要がある。鉛直面へのマッピングの一例については図１５を参照して後述する。
　そして、制御部１７０は、マッピングした空間座標系を用いて表示オブジェクトを表示する制御を行う（ステップＳ２２４）。ここで、図１５を参照して空間座標系の鉛直面へのマッピングと表示オブジェクトの表示例について説明する。
　図１５に示すように、予め設定された空間座標系は水平面上に定義されているため、そのまま壁面で利用しようとする場合、空間座標系のうち壁面に対して垂直な軸（奥行き方向）が失われてしまう（すなわち、壁面で表示する際に、照明ＵＩ１２を形成する３つのダイヤルの配置が重なってしまう）。そこで、空間座標系のうち壁面に対して垂直な軸（図１５に示す水平面上の破線矢印）を、鉛直面上に延長、すなわち鉛直方向の軸に変換し（図１５に示す壁面上の破線矢印）、壁面に対して奥行き方向の配置を上下方向で表現する。なお空間座標系のうち壁面に対して平行する軸（図１５に示す水平面上の実線矢印）は、そのまま壁面上において平行にマッピングする（図１５に示す壁面上の実線矢印）。このように壁面にマッピングした空間座標系に基づいて、制御部１７０は、図１５に示すように照明ＵＩ１２ｂを表示する。これにより、空間内のエリア配置と対応する照明ＵＩを表示することができ、ユーザは直感的にどのエリアのＵＩであるかを理解することができる。
　次いで、他の壁面に空間座標系をマッピングする場合の例を図１６に示す。この場合も同様に、空間座標系のうち壁面に対して垂直な軸（図１６に示す水平面上の実線矢印）を、鉛直面上に延長、すなわち鉛直方向の軸に変換する（図１６に示す壁面上の実線矢印）。また、空間座標系のうち壁面に対して平行する軸（図１６に示す水平面上の破線矢印）は、そのまま壁面上において平行にマッピングする（図１６に示す壁面上の破線矢印）。そして、制御部１７０は、このように壁面にマッピングした空間座標系に基づいて、図１６に示すように照明ＵＩ１２ｃを表示する。
　以上、空間座標系の壁面へのマッピングと表示オブジェクトの表示例について具体的に説明した。
　一方、推奨座標系が空間座標系ではない場合（すなわち水平面上に定義された座標系である場合）（ステップＳ２１２／Ｎｏ）、若しくは、表示面が鉛直ではない場合（具体的には水平面である場合）（ステップＳ２１８／Ｎｏ）、制御部１７０は、図４を参照して説明した表示処理と同様に、取得した推奨座標系で表示オブジェクトを表示する制御を行う（ステップＳ２２７）。
　以上説明した表示処理では、鉛直面に表示オブジェクトを表示する際に、当該表示オブジェクトの推奨座標系が水平面上に定義された座標系である場合はこれを鉛直面へマッピングした上で最適な表示制御を行う旨について説明したが、本実施形態はこれに限定されない。例えば、水平面に表示オブジェクトを表示する際に、当該表示オブジェクトの推奨座標系が鉛直面上に定義された座標系である場合は、これを水平面へマッピングした上で表示制御を行うことが可能である。
　＜＜５．ハードウェア構成＞＞
　最後に、図１７を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１７は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１７に示す情報処理装置９００は、例えば、図２に示した情報処理装置１００を実現し得る。本実施形態に係る情報処理装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１７に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示すユーザ操作検出部１２０、ユーザ検出部１３０、環境検出部１４０、機器検出部１５０、及び制御部１７０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す空間情報記憶部１６１、座標系記憶部１６３、及びコンテンツ記憶部１６５を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。接続ポート９１１は、例えば、図２に示すＩ／Ｆ部１１０を形成し得る。そして、接続ポート９１１は、図２に示す出力装置２００及びセンサ装置３００に接続される。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図２に示すＩ／Ｆ部１１０を形成し得る。そして、通信装置９１３は、図２に示す出力装置２００及びセンサ装置３００と通信し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜６．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、空間内における複数の機器の位置関係に、表示オブジェクトの配置方向を合わせることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１００、出力装置２００、またはセンサ装置３００に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１００、出力装置２００、またはセンサ装置３００の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、上記表１に示す推奨座標系は一例であって、本開示はこれに限定されない。例えば、照明ＵＩの推奨座標系を「ユーザ座標系」として、例えばユーザから見て左から順番にユーザが操作する可能性の高いＵＩを並べるようにしてもよい。例えばユーザが現在居るエリアに設置されている機器の制御ＵＩは、操作する可能性が高いＵＩと言える。
　また、制御部１７０は、壁面等、ユーザから一定距離離れた位置にある表示場所に表示オブジェクトを表示する際、予め設定された表示オブジェクトの表示サイズの1.5倍など大きく表示する制御を行ってもよい。
　また、上記表１にあるように、地図ＵＩを、推奨座標系である「世界座標系」で表示する場合、制御部１７０は、実空間の北方向に地図ＵＩの北方向を一致させるよう地図ＵＩを回転させて表示する制御を行う。この際、制御部１７０は、地図ＵＩの文字情報等についてはユーザが読み易いよう「ユーザ座標系」で表示するようにしてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させる処理と、
　前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させる処理とを行う制御部を備える、情報処理装置。
（２）
　前記複数の表示オブジェクトは、対応する位置関係の機器を制御するＵＩである、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記複数の表示オブジェクトの並びを、前記空間座標系の基準方向における前記複数の機器の並びと一致させる表示制御を行う、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記複数の表示オブジェクトの配置を、前記空間座標系の基準方向および当該基準方向に直交する直交方向とを含む前記複数の機器の位置関係に対応させる表示制御を行う、前記（２）に記載の情報処理装置。
（５）
　前記制御部は、前記複数の表示オブジェクトに含まれる文字情報を、ユーザの正面方向を表すユーザ座標系に基づいてユーザの正面方向に回転させて表示する制御を行う、前記（２）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記制御部は、前記表示オブジェクトの表示サイズ、表示場所の大きさ、及び前記表示場所におけるユーザの操作位置に基づいて、前記表示オブジェクトを前記操作位置を基準として表示した場合に前記表示場所から少なくとも一部が外れる場合、前記表示オブジェクトが全て前記表示場所に表示できる位置を算出して表示制御を行う、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記制御部は、前記操作位置から、算出した表示位置まで視線誘導する表示制御を行う、前記（６）に記載の情報処理装置。
（８）
　前記制御部は、前記回転させた表示オブジェクト配置方向に基づいて、前記複数の表示オブジェクトを前記複数の表示オブジェクトが表示される表示面に対応する表示場所座標系上にマッピングし、マッピングした表示場所座標系の位置に基づき前記複数の表示オブジェクトを前記表示面に表示させる処理を行う、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記制御部は、前記複数の表示オブジェクトを表示した表示場所である実物体が移動した場合、当該実物体の移動に追従して、空間座標系の基準方向に一致する配置を維持したまま前記表示オブジェクトを前記実物体に表示する制御を行う、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記制御部は、前記複数の表示オブジェクトを鉛直面に表示する場合、水平面上に定義された前記空間座標系を前記鉛直面にマッピングし、マッピングした空間座標系の基準方向に一致するように回転させる処理を行う、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記制御部は、空間の環境センシング処理の結果から前記３次元空間内の複数の機器の位置関係の情報を取得し、前記空間座標系の基準方向を定義する処理を行う、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記３次元空間内の複数の機器の位置関係を示す情報は、空間の環境センシング処理に基づいて取得される、前記（１１）に記載の情報処理装置。
（１３）
　プロセッサが、
　複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させることと、
　前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させること、
を含む、情報処理方法。
（１４）
　コンピュータを、
　複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させる処理と、
　前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させる処理とを行う制御部として機能させるための、プログラム。
　　１　　システム
　１０　　表示画像
　１００　　情報処理装置
　１１０　　Ｉ／Ｆ部
　１２０　　ユーザ操作検出部
　１３０　　ユーザ検出部
　１４０　　環境検出部
　１５０　　機器検出部
　１６１　　空間情報記憶部
　１６３　　座標系記憶部
　１６５　　コンテンツ記憶部
　１７０　　制御部
　１７１　　表示制御部
　１７３　　音響制御部
　２００　　出力装置
　２１０　　プロジェクタ
　２２０　　ＴＶ
　２３０　　タブレット
　２４０　　スマートフォン
　２５０　　ＰＣ
　２６０　　スピーカ
　２７０　　単一指向性スピーカ
　３００　　センサ装置
　３１０　　カメラ
　３２０　　デプスセンサ
　３３０　　マイクロフォン

Claims (14)

  1. 　複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させる処理と、
    　前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させる処理とを行う制御部を備える、情報処理装置。
  2. 　前記複数の表示オブジェクトは、対応する位置関係の機器を制御するためのＵＩ（ユーザインタフェース）である、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記複数の表示オブジェクトの並びを、前記空間座標系の基準方向における前記複数の機器の並びと一致させる表示制御を行う、請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記複数の表示オブジェクトの配置を、前記空間座標系の基準方向および当該基準方向に直交する直交方向とを含む前記複数の機器の位置関係に対応させる表示制御を行う、請求項２に記載の情報処理装置。
  5. 　前記制御部は、前記複数の表示オブジェクトに含まれる文字情報を、ユーザの正面方向を表すユーザ座標系に基づいてユーザの正面方向に回転させて表示する制御を行う、請求項２に記載の情報処理装置。
  6. 　前記制御部は、前記表示オブジェクトの表示サイズ、表示場所の大きさ、及び前記表示場所におけるユーザの操作位置に基づいて、前記表示オブジェクトを前記操作位置を基準として表示した場合に前記表示場所から少なくとも一部が外れる場合、前記表示オブジェクトが全て前記表示場所に表示できる位置を算出して表示制御を行う、請求項１に記載の情報処理装置。
  7. 　前記制御部は、前記操作位置から、算出した表示位置まで視線誘導する表示制御を行う、請求項６に記載の情報処理装置。
  8. 　前記制御部は、
    　　前記回転させた表示オブジェクト配置方向に基づいて、前記複数の表示オブジェクトを前記複数の表示オブジェクトが表示される表示面に対応する表示場所座標系上にマッピングし、マッピングした表示場所座標系の位置に基づき前記複数の表示オブジェクトを前記表示面に表示させる処理を行う、請求項１に記載の情報処理装置。
  9. 　前記制御部は、前記複数の表示オブジェクトを表示した表示場所である実物体が移動した場合、当該実物体の移動に追従して、空間座標系の基準方向に一致する配置を維持したまま前記表示オブジェクトを前記実物体に表示する制御を行う、請求項１に記載の情報処理装置。
  10. 　前記制御部は、前記複数の表示オブジェクトを鉛直面に表示する場合、水平面上に定義された前記空間座標系を前記鉛直面にマッピングし、マッピングした空間座標系の基準方向に一致するように回転させる処理を行う、請求項１に記載の情報処理装置。
  11. 　前記制御部は、前記３次元空間内の複数の機器の位置関係を示す情報を取得し、前記３次元空間内の複数の機器の位置関係を示す情報に基づいて前記空間座標系の基準方向を定義する処理を行う、請求項１に記載の情報処理装置。
  12. 　前記３次元空間内の複数の機器の位置関係を示す情報は、空間の環境センシング処理に基づいて取得される、請求項１１に記載の情報処理装置。
  13. 　プロセッサが、
    　複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させることと、
    　前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させること、
    を含む、情報処理方法。
  14. 　コンピュータを、
    　複数の表示オブジェクトを配置するための表示オブジェクト配置方向を、３次元空間内の複数の機器の位置関係を表す空間座標系の基準方向に一致するように回転させる処理と、
    　前記回転させた表示オブジェクト配置方向に基づいて前記複数の表示オブジェクトを表示させる処理とを行う制御部として機能させるための、プログラム。
PCT/JP2018/032997 2017-10-25 2018-09-06 情報処理装置、情報処理方法、およびプログラム Ceased WO2019082520A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017205716 2017-10-25
JP2017-205716 2017-10-25

Publications (1)

Publication Number Publication Date
WO2019082520A1 true WO2019082520A1 (ja) 2019-05-02

Family

ID=66247323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032997 Ceased WO2019082520A1 (ja) 2017-10-25 2018-09-06 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2019082520A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320209A (ja) * 2003-04-14 2004-11-11 Sony Corp 通信装置、その表示方法、コンピュータプログラム、および通信方法
JP2009223490A (ja) * 2008-03-14 2009-10-01 Shimizu Corp 仮想スイッチならびにそれを用いた家電制御システムおよび家電制御方法
JP2011137905A (ja) * 2009-12-28 2011-07-14 Fujitsu Ltd 投影システム、投影処理プログラムおよび投影システムの制御方法
JP2013152711A (ja) * 2011-12-28 2013-08-08 Nikon Corp 投影装置及び表示装置
JP2013164696A (ja) * 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2015140106A1 (en) * 2014-03-17 2015-09-24 IT-Universitetet i København Computer-implemented gaze interaction method and apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320209A (ja) * 2003-04-14 2004-11-11 Sony Corp 通信装置、その表示方法、コンピュータプログラム、および通信方法
JP2009223490A (ja) * 2008-03-14 2009-10-01 Shimizu Corp 仮想スイッチならびにそれを用いた家電制御システムおよび家電制御方法
JP2011137905A (ja) * 2009-12-28 2011-07-14 Fujitsu Ltd 投影システム、投影処理プログラムおよび投影システムの制御方法
JP2013152711A (ja) * 2011-12-28 2013-08-08 Nikon Corp 投影装置及び表示装置
JP2013164696A (ja) * 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2015140106A1 (en) * 2014-03-17 2015-09-24 IT-Universitetet i København Computer-implemented gaze interaction method and apparatus

Similar Documents

Publication Publication Date Title
US11373650B2 (en) Information processing device and information processing method
US10318011B2 (en) Gesture-controlled augmented reality experience using a mobile communications device
US10528154B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US20220057922A1 (en) Systems and interfaces for location-based device control
CN110383214B (zh) 信息处理装置、信息处理方法和记录介质
US11107287B2 (en) Information processing apparatus and information processing method
US20160306422A1 (en) Virtual reality system with a finger-wearable control
WO2016027536A1 (ja) 情報処理装置および制御方法
US20230400956A1 (en) Displaying Representations of Environments
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
US12322048B2 (en) Connecting spatially distinct settings
US11221684B2 (en) Information processing device, information processing method, and recording medium
JP6374203B2 (ja) 表示システム及びプログラム
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10545716B2 (en) Information processing device, information processing method, and program
WO2019044100A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111033606A (zh) 信息处理装置、信息处理方法和程序
WO2019123754A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US20250378575A1 (en) Tracking Occluded Objects in Hand

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18869580

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18869580

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP