[go: up one dir, main page]

WO2019176218A1 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2019176218A1
WO2019176218A1 PCT/JP2018/047073 JP2018047073W WO2019176218A1 WO 2019176218 A1 WO2019176218 A1 WO 2019176218A1 JP 2018047073 W JP2018047073 W JP 2018047073W WO 2019176218 A1 WO2019176218 A1 WO 2019176218A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
boundary
information processing
processing apparatus
drive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/047073
Other languages
English (en)
French (fr)
Inventor
拓也 池田
文彦 飯田
健太郎 井田
脩 繁田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US16/979,164 priority Critical patent/US11698578B2/en
Priority to DE112018007292.4T priority patent/DE112018007292T5/de
Priority to CN201880090989.6A priority patent/CN111819841B/zh
Publication of WO2019176218A1 publication Critical patent/WO2019176218A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2053—Intensity control of illuminating light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2046—Positional adjustment of light sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • a technology has also been proposed in which a mirror having a pan / tilt drive mechanism is arranged on the front of the projector and the image is projected to an arbitrary place by changing the reflection direction of the mirror.
  • Patent Document 1 describes a system that switches display of an image from one projector to the other projector in a portion where the projection areas of a fixed projector and a drive projector overlap.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a recording medium capable of recognizing the boundary of the drivable area by feedback to the projection designated position by the user and facilitating determination and search of the projection position. To do.
  • the driving is performed according to the state of the projection designated position with respect to the drivable area, which is determined based on the drivable area of the drive type projector in the projection environment space and the projection designated position designated by the user.
  • An information processing apparatus including a control unit that performs a process of outputting feedback indicating an effect corresponding to a boundary of a possible area is proposed.
  • the state of the projection designated position with respect to the drivable area which is determined based on the drivable area of the drive type projector in the projection environment space and the projection designated position specified by the user.
  • An information processing method including outputting feedback indicating an effect corresponding to a boundary of the drivable region is proposed.
  • the computer is determined according to the state of the projection designated position with respect to the drivable area, which is determined based on the drivable area of the drive type projector in the projection environment space and the projection designated position designated by the user.
  • the present invention proposes a recording medium on which is recorded a program for functioning as a control unit that performs a process of outputting feedback indicating an effect corresponding to the boundary of the drivable region.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 1 includes an information processing device 100, an input device 200, and a drive projector 300, and is a drive type installed in a space such as a conference room or a personal room. Projection by the projector 300 can be controlled by the information processing apparatus 100.
  • the drive type projector 300 is equipped with a pan / tilt drive mechanism, and can project an image on an arbitrary place such as a wall, ceiling, floor, or table.
  • the projection position is designated by the user using the input device 200, for example.
  • a highly directional IR LED Infrared Light Emitting Diode
  • an arbitrary projection position can be designated by pointing from a position away from the projection area (so-called infrared laser pointer).
  • the information processing apparatus 100 detects the pointing position by the sensor 320 and drives the drive type projector 300 so as to display an image at a location pointed by the user.
  • the boundary of the driveable area in the projection environment space is recognized by the feedback to the projection designated position by the user, and the projection position is determined. And facilitate the search.
  • the drivable region (of the drive projector) is a range on the projection environment space side where the drive projector can project with drive, and the boundary is the center of the projection optical axis. Corresponds to (center of projected image).
  • the information processing apparatus 100 is driven when the user tries to designate an area that cannot be driven (that is, when the projection designation position is close to the boundary of the drivable area)
  • the user is allowed to recognize the boundary of the drivable area by giving the user feedback such as applying a predetermined effect to the pointer projected at the pointing position.
  • the information processing apparatus 100 can be driven in any direction (that is, can be projected). It is also possible to provide feedback that allows the user to recognize whether or not.
  • FIG. 2 is a diagram illustrating a functional configuration example of the information processing system 1 according to the embodiment of the present disclosure. As illustrated in FIG. 2, the information processing system 1 includes an information processing device 100, an input device 200, and a drive projector 300.
  • the information processing apparatus 100 includes an I / F (interface) unit 110, a three-dimensional space recognition unit 120, a projection designation position detection unit 130, a drive boundary determination unit 140, a state determination unit 150, a drive control unit 160, and an image generation unit 170. And a control unit functioning as a sound generation unit 180.
  • I / F interface
  • the information processing apparatus 100 includes an I / F (interface) unit 110, a three-dimensional space recognition unit 120, a projection designation position detection unit 130, a drive boundary determination unit 140, a state determination unit 150, a drive control unit 160, and an image generation unit 170.
  • a control unit functioning as a sound generation unit 180.
  • the I / F unit 110 is a connection device for connecting the information processing apparatus 100 and other devices.
  • the I / F unit 110 is realized by, for example, a USB (Universal Serial Bus) connector or the like, and inputs and outputs information between the input device 200 and each component of the drive projector 300.
  • the I / F unit 110 may be a wireless / wired LAN (Local Area Network), DLNA (registered trademark) (Digital Living Network Alliance), Wi-Fi (registered trademark), Bluetooth (registered trademark), or other dedicated line.
  • the input device 200 and the drive projector 300 are connected.
  • the I / F unit 110 may be connected to another device via the Internet or a home network.
  • the I / F unit 110 receives sensing data from various sensors provided in the input device 200 from the input device 200, or sensing from various sensors included in the sensor 320 of the driving projector 300 from the driving projector 300. Receive data. Further, the I / F unit 110 transmits the drive control signal generated by the drive control unit 160, the image generation unit 170, or the sound generation unit 180, the video and audio output signals to the drive type projector 300.
  • the control unit functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 100 according to various programs.
  • the control unit is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor.
  • the control unit may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • a three-dimensional space recognition unit 120 a projection designation position detection unit 130, a drive boundary determination unit 140, a state determination unit 150, a drive control unit 160, an image generation unit 170, and sound generation
  • the unit 180 functions.
  • the three-dimensional space recognition unit 120 detects sensing data detected by various sensors provided in the sensor 320 (images taken by the camera 321 and the overhead camera 322, depth information by the depth sensor 323, distance information by the distance sensor 324, or a thermo sensor. 325), the three-dimensional shape of the projection environment space (for example, the room in which the drive projector 300 is installed), the three-dimensional shape and the three-dimensional position of the real object existing in the projection environment space, It also recognizes the user's three-dimensional position, posture, gesture and the like. For example, in the present embodiment, it is assumed that the three-dimensional shape of the projection environment space is recognized based on sensing data from the depth sensor 323.
  • the three-dimensional space recognition unit 120 can recognize a three-dimensional shape of the projection environment space and generate a projection environment space map. Further, the three-dimensional space recognition unit 120 may perform three-dimensional shape measurement by stereo matching using the distance measuring sensor 324 or a plurality of cameras. The three-dimensional space recognition unit 120 can also recognize the illuminance of the projection environment space, such as outside light or indoor lighting.
  • the projection designation position detection unit 130 detects the projection designation position (pointing position coordinates) designated by the input device 200. For example, the projection designation position detection unit 130 detects a light emission position (a bright spot of the emitted IR) by the IR LED 210 of the input device 200 from an image captured by the overhead camera 322 that can observe infrared light with a wide field of view, and performs pointing. Calculate the position coordinates. Details of the calculation of the pointing position coordinates will be described later with reference to FIGS.
  • the projection designated position can be detected only by the wide-view overhead camera 322, a gaze sensor (for example, an infrared camera whose viewing angle is narrower than the overhead camera 322) whose viewing angle is narrower than that of the overhead camera 322 is combined.
  • a gaze sensor for example, an infrared camera whose viewing angle is narrower than the overhead camera 322
  • sensing data of the depth sensor 323, the distance measuring sensor 324, and the thermo sensor 325 or sensing data from various sensors provided in the input device 200.
  • the projection designation position detection unit 130 further refers to the user's three-dimensional position, posture, and the like recognized by the three-dimensional space recognition unit 120, and preferentially designates the projection designation position from the direction in which the user is pointing the input device 200. May be detected.
  • the laser pointer type input device 200 is illustrated as an example, but the present embodiment is not limited to this, and other input devices may be used.
  • an operating tool other than the input device 200 for example, a user's hand or finger
  • the projection designation position detection unit 130 detects the projection designation position based on a user's pointing or the like. Specifically, the projection designation position detection unit 130 determines the direction in which the user is pointing and the projection area (such as a wall) based on the three-dimensional position, posture, gesture, etc. of the user recognized by the three-dimensional space recognition unit 120. The position coordinates are calculated with the position at () orthogonal as the projection designated position.
  • the projection designation position detection unit 130 is not limited to the designation of the projection position from a position away from the projection area, and can also recognize the designation of the projection position by a touch operation on the projection area.
  • the projection position may be specified by operating the GUI including the up / down / left / right keys displayed on the smartphone screen, or the projection position may be determined by operating the whole sky image of the projection environment space displayed on the smartphone screen. May be specified.
  • the information processing apparatus 100 can control the drive projector 300 so as to project a predetermined pointer image to the projection designated position detected by the projection designated position detection unit 130.
  • the drive boundary determination unit 140 determines a boundary of a region that can be driven by the drive projector 300 in the projection environment space.
  • the drive boundary determination unit 140 calculates a driveable region in the projection environment space based on the three-dimensional shape of the projection environment space recognized by the three-dimensional space recognition unit 120 and the driveable angle of the drive type projector 300, and drives Determine the boundary.
  • the drive boundary may be, for example, the boundary of the drivable region.
  • As the boundary of the drivable region for example, the center of the optical axis projected by the projector 311 (the center of the projected image) is assumed.
  • the drive boundary determination unit 140 may determine the drive boundary by taking a product with a recognition boundary of a sensor (for example, the overhead camera 322) used for detecting the projection designated position. Details of calculation of the drivable region and determination of the drive boundary will be described later with reference to FIGS.
  • the state determination unit 150 determines the state of the projection designated position (pointing position) in the drivable region. Specifically, the state determination unit 150 determines the distance from the designated projection position to the drive boundary, the positional relationship between the designated projection position and the drive boundary, or the movement of the designated projection position. At this time, the state determination unit 150 can determine the following four states with respect to the projection position designation state of the user, taking into account the time-series information of the projection designation position.
  • -State 1 A state in which the designated projection position has moved from the drivable area to the drivable area (a situation that crosses the drive boundary)
  • State 2 Projection designated position has moved from the undriveable area to the driveable area (a situation that crosses the drive boundary)
  • -State 3 a state where the designated projection position is located in the non-driveable region for a certain period of time
  • State 4 a state where the designated projection position is moved within the driveable region
  • the drive type projector 300 can be driven and projection can be performed without any problem. Therefore, feedback according to the present embodiment is not particularly performed.
  • the user may designate the projection position in the non-driveable region, and the user needs to recognize the boundary of the driveable region.
  • the information processing apparatus 100 generates content (effects) to be fed back to the user by the drive control unit 160, the image generation unit 170, or the sound generation unit 180 based on the determination result by the state determination unit 150, Reflected in driving angle, projected video, sound, etc.
  • the information processing apparatus 100 strengthens a predetermined effect, for example, as the projection designated position gets closer to the drive boundary based on the distance or positional relationship of the projection designated position to the drive boundary, the movement of the projection designated position across the drive boundary, and the like. Perform feedback control. Details of the feedback processing according to the present embodiment will be described later with reference to FIG. 8 and FIGS.
  • the drive control unit 160 performs drive control (such as drive angle control) of the drive projector 300.
  • the drive control unit 160 generates a drive control signal that indicates a position to drive, and outputs the drive control signal to the I / F unit 110.
  • the drive control signal is transmitted from the I / F unit 110 to the drive projector 300.
  • the drive control unit 160 can also generate a drive control signal that reflects the determination result of the state determination unit 150. As a result, feedback expression of the driving boundary due to the movement of the driving projector 300 can be performed.
  • Image generation unit 170 The image generation unit 170 generates an image to be projected from the projector 311 of the drive projector 300 and outputs the image to the I / F unit 110.
  • the projected image is assumed to be a pointer or content projected at the pointing position.
  • the image is transmitted from the I / F unit 110 to the drive projector 300.
  • the image generation unit 170 can also generate an image in which the determination result by the state determination unit 150 is reflected. As a result, feedback expression of the drive boundary by an image using a pointer or content can be performed.
  • the sound generation unit 180 generates an audio signal output from the ultrasonic speaker 312 or the speaker 313 of the drive projector 300 and outputs the audio signal to the I / F unit 110.
  • the audio signal is transmitted from the I / F unit 110 to the drive projector 300.
  • the sound generation unit 180 can also generate an audio signal in which the determination result by the state determination unit 150 is reflected. Thereby, feedback expression of the driving boundary by sound is possible.
  • the input device 200 is a device used for input by a user.
  • a case where a device having a highly directional IR LED 210 mounted on the tip is mainly assumed.
  • the user directs the input device 200 to a position where the content is desired to be projected, and designates the projection position using an infrared laser.
  • the light emission position by the IR LED 210 (the bright spot of the emitted IR) is detected by, for example, the overhead camera 322 and sent to the information processing apparatus 100.
  • IR LED 210 light emission by the IR LED 210 has been described as an example, but the present embodiment is not limited to this, and visible light having directivity may be used.
  • a mobile terminal such as a smartphone, a bracelet-type or glasses-type wearable device may be used.
  • the input device 200 may include a communication module 220.
  • the input device 200 transmits operation input information such as ON / OFF of the IR LED 210 to the information processing device 100 through the communication module 220.
  • the information processing apparatus 100 may perform the projection designated position detection process by the projection designated position detection unit 130 when, for example, the IR LED 210 is ON (that is, during light emission).
  • the input device 200 may include various sensors such as a geomagnetic sensor, a gyro sensor, an acceleration sensor, and a microphone. Sensing data detected by these sensors is transmitted to the information processing apparatus 100 by the communication module 220.
  • sensors such as a geomagnetic sensor, a gyro sensor, an acceleration sensor, and a microphone. Sensing data detected by these sensors is transmitted to the information processing apparatus 100 by the communication module 220.
  • the drive type projector 300 includes a drive mechanism 330 and can change the orientation of the output unit 310 and the sensor 320 so that an arbitrary direction can be sensed.
  • the drive projector 300 performs drive control by the drive mechanism 330 so as to project an image at a predetermined position received from the information processing apparatus 100.
  • a pan / tilt biaxial drive mechanism is assumed as an example, but the present invention is not limited to a drive mechanism that changes the direction, and may have a mechanism that can move, for example, right and left and up and down.
  • a mechanism for driving the output unit 310 and the sensor 320 itself is assumed.
  • a mirror having a drive mechanism is installed in front of the output unit 310 and the sensor 320, and the sensing direction is changed by changing the direction of the mirror. It may be a changing device.
  • the sensor 320 is mounted on the same axis as the projector 311 and that the sensor 320 is driven simultaneously with the projector 311 by the driving mechanism 330. You may arrange
  • the drive projector 300 includes a projector 311, an ultrasonic speaker 312, and a speaker 313 as the output unit 310.
  • the ultrasonic speaker 312 having high directivity may be installed coaxially with the projection direction of the projector 311.
  • the drive projector 300 includes a sensor 320 and outputs information sensed by each sensor to the information processing apparatus 100.
  • the driving projector 300 includes a camera 321, an overhead camera 322, a depth sensor 323, a distance measuring sensor 324, and a thermosensor 325.
  • the overhead camera 322 has a wide viewing angle and observes infrared light (cuts visible light) (an example of an overhead sensor), and the camera 321 has a viewing angle larger than that of the overhead camera 322.
  • a gaze camera that observes infrared light by gazing at a narrow area.
  • the camera 321 and the overhead camera 322 are not limited to the infrared light camera, and may include a visible light camera.
  • the camera 321 and the overhead camera 322 may have a mode for performing zooming or changing the aperture.
  • the depth sensor 323, the distance measuring sensor 324, or the thermo sensor 325 is used for three-dimensional space recognition of the projection environment by the three-dimensional space recognition unit 120.
  • the depth sensor 323, the distance measuring sensor 324, or the thermo sensor 325 is not limited to the space recognition application, but may be used as an overhead sensor and may be used for detecting the designated projection position.
  • each configuration of the information processing system 1 according to the present embodiment has been specifically described.
  • the configuration of the information processing system 1 illustrated in FIG. 2 is an example, and the present embodiment is not limited to this.
  • another apparatus may be connected to the information processing apparatus 100.
  • the information processing apparatus 100 may be configured by a plurality of apparatuses.
  • the information processing apparatus 100 may be realized by a smart home terminal, a PC, a home server, an edge server, an intermediate server, or a cloud server.
  • FIG. 3 is a flowchart illustrating an example of a flow of drive boundary determination processing according to the present embodiment.
  • the three-dimensional shape of the projection environment is recognized before the projector projection, the driveable area in the real environment is calculated, and the drive boundary is determined.
  • the information processing apparatus 100 obtains data obtained by sensing the projection environment with the depth sensor 323 while sequentially driving the drive projector 300 at i_max drive angles registered in advance.
  • the three-dimensional shape of the projection environment is acquired by the three-dimensional space recognition unit 120 based on the sensed data (steps S103 to S109).
  • the information processing apparatus 100 can observe the entire area that can be driven by the drive projector 300 with the depth sensor 323.
  • the depth sensor 323 is used as an example of the sensing of the projection environment, but the present embodiment is not limited to this, and the camera 321, the overhead camera 322, the distance sensor 324, or the thermometer mounted on the drive projector 300 is not limited thereto. Sensing by the sensor 325 or the like may be performed for the entire drivable region.
  • the drive boundary determination unit 140 of the information processing apparatus 100 integrates the acquired three-dimensional shape to obtain a three-dimensional shape of the projection environment (step S112).
  • the drive boundary determination unit 140 calculates the driveable area of the drive projector 300 from the obtained three-dimensional shape and the driveable angle of the drive projector 300, and determines the drive boundary (step S115).
  • the determination of the drive boundary according to the present embodiment will be described with reference to FIG.
  • the drive boundary determination unit 140 drives the drive type projector 300 to observe the entire driveable area of the projection environment and obtains three-dimensional shape information, and then shows the right side of FIG. Further, based on the driveable angle of the drive type projector 300, the drive boundary 41 of the driveable area 40 is determined as the drive boundary. In this case, the area outside the drive boundary is the drive impossible area 42.
  • the drive boundary determination unit 140 may determine the drive boundary by taking a product with a recognizable area of the sensor 320 (for example, the overhead camera 322) that detects the pointing position. Specifically, as shown in the lower right of FIG. 4, the boundary 45 of the region 44 within the drive boundary 41 of the drivable region and within the sensor recognition boundary 43 may be determined as the drive boundary.
  • the drive boundary determination unit 140 may determine the drive boundary based on the actual environment. For example, in the drivable region 40, a drive boundary may be set along the boundary of a real object such as furniture or home appliance, or a drive boundary may be set in a straight line along the space axis (XYZ axis).
  • FIG. 5 is a diagram illustrating an example of determination of a drive boundary based on a real environment according to the present embodiment. As shown in FIG. 5, for example, in the drivable area 40, an area surrounded by an extension line along a real object such as furniture placed in a room is defined as a drivable area 401, and the boundary 411 is defined as a drive boundary. Good. In this way, the drive boundary is set based on the visible real object, so that the user can easily recognize the invisible drive boundary.
  • the drive boundary determination unit 140 dynamically changes the drive boundary appropriately according to such a change in the projection environment space. May be.
  • the driveable area based on the structural limitation of the drive projector 300 is set as the maximum area, and the drive range is increased or decreased within the area.
  • FIG. 6 is a diagram showing an example of changing the drivable area in consideration of the change in the furniture arrangement.
  • the real objects 50 to 52 are arranged in the drivable area 40 (driving boundary 41) with the drivable area based on the structural constraints of the drive projector 300 as the maximum area.
  • the boundary 412 of the region excluding the real object 50 is determined as the drive boundary.
  • the driving boundary determination unit 140 can be projected onto the floor or wall hidden by the real object 50.
  • the drive boundary is changed to the boundary 413 of the area including these areas.
  • the drive boundary determination unit 140 calculates a difference between the acquired three-dimensional shapes, and determines that the furniture arrangement has changed when the difference is equal to or greater than a predetermined threshold value (a value that rounds out the sensing error). Update.
  • a predetermined threshold value a value that rounds out the sensing error
  • the change in the environment is not limited to the change in the furniture arrangement, and for example, a change in the outside light or the indoor lighting environment is also assumed.
  • the illuminance in the projection environment space can be detected by an illuminance sensor (not shown) provided in the drive projector 300 or an illuminance sensor installed indoors.
  • FIG. 7 is a diagram illustrating an example of changing the drivable region in consideration of a change in the external light amount. First, as shown in the left of FIG. 7, the illuminance is increased by sunlight or the like in the drivable area 40 (drive boundary 41) where the drivable area based on the structural constraints of the drive projector 300 is the maximum area.
  • the boundary 415 of the area excluding the area is determined as the drive boundary. Since the sunlight irradiation region changes with time, the drive boundary determination unit 140 newly excludes a region with high illuminance according to the change in the sunlight irradiation region, for example, as shown in the right of FIG. And the boundary 416 is set as a driving boundary.
  • the drive boundary determination unit 140 continuously observes, for example, a change in brightness of the projected portion with a camera (such as the camera 321 or the overhead camera 322), and updates the drive boundary when the brightness is equal to or higher than a predetermined threshold. To do.
  • the information processing apparatus 100 may notify the user that the driving boundary has been updated by voice or wording or an overhead view that clearly shows the driving boundary in the projection environment.
  • FIG. 8 is a flowchart illustrating an example of the flow of feedback processing according to the present embodiment.
  • the information processing apparatus 100 recognizes the projection position (projection designation position) designated by the user using the input device 200 by the projection designation position detection unit 130 (step S133).
  • the recognition of the projection designated position will be described with reference to FIGS.
  • FIG. 9 is a diagram illustrating the recognition of the designated projection position according to the present embodiment.
  • the infrared light pointed by the user with the input device 200 is observed with an overhead camera 322 (for example, a wide-angle camera or a fisheye camera) of the drive projector 300, and the projection designated position detection unit 130 is Bright spot coordinates (x, y) are obtained from the overhead camera image 3220.
  • the projection designated position detection unit 130 calculates a three-dimensional vector V (x v , y v , z v ) indicating the bright spot direction from internal parameters (view angle information) of the overhead camera 322.
  • the projection designated position detection unit 130 calculates the pointing position P (X, Y, Z) from the intersection determination between the three-dimensional shape of the projection environment acquired by the three-dimensional space recognition unit 120 and the three-dimensional vector V.
  • the projection designation position detection unit 130 performs intersection determination between the calculated three-dimensional vector and the three-dimensional shape represented by the camera coordinate system, and determines the three-dimensional point of the intersection as P cam (X cam , Y cam , Z cam ).
  • RT is a matrix for converting from the camera coordinate system to the world coordinate system with an arbitrary point as the origin
  • the pointing position is finally calculated by the following equation (2).
  • R is a rotation matrix
  • T is a matrix representing translation.
  • P RTP cam ... Formula 2
  • the state determination unit 150 determines the state of the projection designation position based on the projection designation position detected by the projection designation position detection unit 130 and the drive boundary determined by the drive boundary determination unit 140 (step S136). ).
  • the state determination unit 150 determines the four states as described above in consideration of the time-series information of the pointed projection designation position (that is, the movement of the projection designation position).
  • the four states to be determined will be described with reference to FIG.
  • the state determination unit 150 determines a state in which the pointing designated projection position P ⁇ b> 1 has moved from the drivable area 40 to the drivable area 42 (a situation that crosses the drive boundary 41) ( State 1). Further, as shown in the upper right of FIG. 12, the state determination unit 150 determines a state (situation where the projection boundary position P2 has moved from the non-driveable region 42 to the driveable region 40) (state 2 across the drive boundary 41) (state 2). ). Further, as shown in the lower left of FIG. 12, the state determination unit 150 determines a state in which the projection designated position P3 is located in the non-driveable region 42 for a certain period of time (state 3). Moreover, the state determination part 150 determines the state which the projection designation
  • the information processing apparatus 100 performs feedback processing based on the determination result (step S139). Specifically, in the above-described states 1 to 3, the information processing apparatus 100 may cause the user to specify the projection position in the non-driveable area and the user needs to recognize the boundary of the driveable area. Then, a predetermined feedback is given to make the user recognize the boundary of the drivable region. A specific feedback example will be described later with reference to FIGS.
  • steps S133 to S139 are repeated until the projection position is determined (step S142).
  • the determination of the projection position can be performed by, for example, a predetermined operation by the user using the input device 200, a speech voice, a gesture, or the like.
  • a predetermined operation by the user, a speech voice, a gesture, and the like are detected by various sensors provided in the input device 200 and transmitted to the information processing device 100.
  • the information processing apparatus 100 detects a change in the infrared light irradiated by the input apparatus 200 (blinking, movement, etc., which can change based on a user operation) by the sensor 320 of the drive projector 300.
  • the determination of the projection position may be recognized.
  • the information processing apparatus 100 determines the predetermined position as the projection designation position approaches the drive boundary based on the distance or positional relationship of the projection designation position to the drive boundary, the movement of the projection designation position across the drive boundary, or the like. Perform feedback control such as strengthening the effect.
  • FIGS. 13 to 16 show examples in which a pointer is drawn (projected) at a projection designated position designated by the user, and an effect is applied to the drawn pointer to perform feedback.
  • the expression of the pointer is circled.
  • the present embodiment is not limited to this, and a site, an arrow cursor, or the like may be used.
  • the information processing apparatus 100 performs feedback with an effect that is gradually lost when the pointer 60 a approaches the drive boundary 41.
  • the drive projector 300 projects a projection image 600 in which the pointer 60 a 1 is drawn at a projection designated position designated by the user using the input device 200.
  • the information processing apparatus 100 drives the driving projection 300 so as to follow the drawing position of the pointer 60a 1 included in the projection image 600 projected specified position
  • the information processing apparatus 100 as shown in FIG. 13 central and 13 right, when the pointer 60a 2 is close to the drive boundary 41, presents a gradual expression waning pointer 60a 2.
  • the information processing apparatus 100 performs feedback control that strengthens the effect that the pointer 60a is missing as the projection designation position approaches the drive boundary 41.
  • the user can recognize that the pointer 60a is approaching and recognize that the drive boundary 41 is approaching, and can intuitively grasp the location of the drive boundary 41. It becomes.
  • the information processing apparatus 100 may perform feedback with an effect that the pointer 60b is hidden at the drive boundary 41.
  • the pointer 60b is hidden at the drive boundary 41.
  • the user draws the pointer 60b at the projection designated position designated by the input device 200 as shown in the projection images 603 to 605 of FIG.
  • an expression that is not displayed outside the drive boundary 41 is performed.
  • the user can intuitively grasp the location of the drive boundary without clearly indicating the drive boundary 41 and by the hidden state of the pointer 60b.
  • the information processing apparatus 100 may perform feedback to which an effect that shakes when the pointer 60 c hits the drive boundary 41 is added. Specifically, as shown on the right side of FIG. 15, when the user is drawing the pointer 60c at the designated projection position designated by the input device 200 as shown in the projected images 606 to 608 in FIG. When the pointer 60c hits the drive boundary 41, it is hidden at the drive boundary 41, and the expression is shaken. As a result, the user can intuitively grasp the location of the drive boundary 41 without changing the drive boundary 41 in accordance with the degree of shaking of the pointer 60c.
  • the information processing apparatus 100 may perform feedback with an effect of changing the color when the pointer 60d hits the drive boundary 41.
  • the pointer 60d hits the drive boundary 41.
  • an expression for changing the color of the pointer 60d is performed.
  • the user can intuitively grasp the location of the drive boundary 41 by changing the color of the pointer 60d without clearly indicating the drive boundary 41.
  • the expression for changing the color of the pointer 60d has been described here, the present embodiment is not limited to this, and the size and shape may be changed, blinking, or sound may be generated.
  • the information processing apparatus 100 may perform an expression in which the pointer rebounds at the driving boundary. Further, when the pointer approaches the drive boundary, the speed may be reduced, or conversely, the expression may be made so as to be attracted to the drive boundary as if the magnetic force worked.
  • FIGS. 17 to 20 show an example in which content is drawn (projected) at a projection designated position designated by the user, and an effect is added to the drawn content to perform feedback.
  • the information processing apparatus 100 performs feedback with an effect that is lacking when the content 62 a hits the drive boundary 41.
  • the content 62a is drawn at the projection designated position designated by the user using the input device 200, as shown in the projected images 612 to 614 of FIG.
  • an expression that is not displayed outside the drive boundary 41 is performed.
  • the user can intuitively grasp the location of the drive boundary 41 without hiding the drive boundary 41 and hiding the content 62a.
  • the information processing apparatus 100 may perform feedback with an effect that becomes smaller when the content 62 b approaches the drive boundary 41.
  • the content 62b is drawn at the projection designated position designated by the user using the input device 200, the center of FIG. 18 and the right side of FIG.
  • the information processing apparatus 100 performs feedback control that strengthens the effect that the content 62b becomes smaller as the projection designation position approaches the drive boundary 41. Accordingly, the user can intuitively grasp the location of the drive boundary 41 by changing the display size of the content 62b without clearly indicating the drive boundary 41.
  • the information processing apparatus 100 may perform feedback that applies an effect to a portion of the content 62 c that protrudes outward from the drive boundary 41.
  • the projection images 618 to 620 in FIG. 19 when the content 62c is drawn at the projection designated position designated by the user using the input device 200, the center of FIG. 19 and the right side of FIG.
  • an effect such as applying a shadow, lowering the brightness, or changing the color tone or brightness is applied to a portion of the content 62c that protrudes outward from the drive boundary 41 (that is, a portion of the non-driveable region).
  • the area of such an effect becomes wider as the projection designated position approaches the drive boundary 41 (because more portions protrude from the drive boundary 41 to the outside). Accordingly, the user can intuitively grasp the location of the drive boundary 41 by changing the display of the content 62c without clearly indicating the drive boundary 41.
  • the information processing apparatus 100 draws the content 62d in the projection image so that the content 62d does not protrude outside the drive boundary 41 when the content 62d approaches the drive boundary 41 in the region of the content 62d.
  • Feedback for changing the position may be performed.
  • the content 62d is drawn at the projection designated position designated by the user using the input device 200, it was initially placed in the center.
  • the arrangement of the content 62d in the projection image is shifted as shown in the center of FIG. 20 and the right of FIG. 20 so that the content 62d in the projection image does not protrude from the drive boundary 41 to the outside.
  • the content 62d cannot be moved outward from a certain predetermined boundary (the drive boundary 41 that is not specified), and the user can intuitively determine the location of the drive boundary 41. It becomes possible to grasp.
  • the non-driveable area may be displayed by painting or the like.
  • the information processing apparatus 100 is within the projection angle of view corresponding to the projection designation position P (the pointer drawing may or may not be drawn).
  • the non-driveable area is displayed by painting or the like.
  • the information processing apparatus 100 performs feedback that strengthens the effect of the display as the projection designation position P approaches the driving boundary, and makes it possible to intuitively grasp the location of the driving boundary 41.
  • the information processing apparatus 100 applies an effect of reducing the pointer or content displayed at the projection designated position as the projection designated position gets closer to the drive boundary 41, and when the pointer or content collides with the drive boundary 41.
  • a shaking effect may be applied.
  • the information processing apparatus 100 reproduces an alert sound from the ultrasonic speaker 312 or the speaker 313 of the drive type projector 300, increases the volume of the alert sound, when the projection designated position approaches the drive boundary, Sound feedback may be performed, such as playing a sound effect when a boundary is hit.
  • the information processing apparatus 100 may express feedback by the movement of the drive projector 300. For example, when the projection designated position moves outward from the drive boundary (to the non-driveable area), the information processing apparatus 100 inertially drives the drive projector 300 in the direction along the drive boundary as shown in the left of FIG. (At this time, for example, the pointer 64a drawn at the center in the projection angle of view appears to move in the direction along the drive boundary). Alternatively, the information processing apparatus 100 may drive the drive type projector 300 so as to be drawn to the drive boundary like a magnet when the projection designated position approaches the drive boundary as shown in the center of FIG.
  • the pointer 64b drawn at the center within the projection angle of view is attracted to the drive boundary like a magnet and appears to move).
  • the information processing apparatus 100 may drive the drive projector 300 so as to bounce at the drive boundary as shown in the right of FIG. 22 when the designated projection position hits the drive boundary (in this case, for example, the projection The pointer 64c drawn at the center in the angle of view appears to bounce at the drive boundary).
  • the user can intuitively grasp the location of the drive boundary by the movement of the drive type projector 300 (and the movement of the pointers 64a to 64c) without clearly indicating the drive boundary 41.
  • the information processing apparatus 100 may also display the movement locus of the pointers 64a to 64c in the vicinity of the drive boundary in the example shown in FIG.
  • FIG. 23 is a diagram for explaining the distance between the pointing position (projection designation position P) and the drive boundary 41 according to the present embodiment.
  • the distance when the designated projection position P moves from the drivable area to the drivable area is, for example, the distance d1 (the shortest distance) between the designated projection position P and the neighboring drive boundary 41. Is good).
  • the distance when the projection designated position P moves from the non-driveable area described below to the drivable area is also the shortest distance d2 between the projection designated position P and the drive boundary 41, for example.
  • the information processing apparatus 100 may increase the density of the display color of the non-driveable area as the distance d1 described above decreases. Further, regarding the display of the non-driveable area shown in FIG. 21, the information processing apparatus 100 may change the transparency according to the distance (for example, the display color of the non-driveable area is clearly displayed as it approaches. You may do it). As described above, the information processing apparatus 100 controls the strength of an effect applied to an image such as a pointer or content according to the distance between the projection designated position and the drive boundary (boundary of the driveable area). Specifically, when the projection designated position is located within the drivable area, the information processing apparatus 100 strengthens the effect applied to the image such as the pointer or the content as the distance between the projection designated position and the drive boundary becomes shorter ( (See FIGS. 13 to 21).
  • the information processing apparatus 100 drives the drive type projector 300 to the drivable area when the projection designated position P is designated outside the drive boundary 41, that is, in the drivable area.
  • the information processing apparatus 100 performs feedback presentation that prompts the user to move the projection designated position P from the non-driveable region to the driveable region.
  • the information processing apparatus 100 displays an image 630 indicating a bird's eye view map of the projection environment, a drivable area, and a locus of the position pointed by the user.
  • the user can recognize that he was trying to determine the projection designation position in the vicinity of the drive boundary, and can be aware of the designation in the drivable area.
  • the information processing apparatus 100 may display an image 631 converted into an overhead view map from the user's viewpoint as shown on the right side of FIG. 25 so that the user can easily understand.
  • the information processing apparatus 100 may display the pointing direction as a vector 66a with respect to the projection designated position P located outside the drive boundary 41 (non-driveable region).
  • the pointer corresponding to the projection designation position P located outside the drive boundary is not displayed, and when moved within the drive boundary, the pointer 61a is displayed as shown on the right in FIG.
  • the user can be prompted to move the designated projection position P from the non-driveable region to the driveable region.
  • the information processing apparatus 100 has a cursor 67a having a size corresponding to the shortest distance d2 (see FIG. 23) with the projection designation position P located outside the drive boundary 41 (non-driveable region). (For example, a circle) may be displayed in the direction of the projection designated position P on the drive boundary.
  • the size of the cursor 67a increases as the shortest distance d2 increases.
  • the pointer corresponding to the projection designated position P located outside the drive boundary is not displayed, and when the projection designated position P enters the drive boundary, the pointer 61b is displayed as shown on the right in FIG. .
  • the user can be prompted to move the designated projection position P from the non-driveable region to the driveable region.
  • the change in the cursor 67a according to the shortest distance d2 is not limited to the magnitude, but the color tone (color shade, density, transparency) (for example, the darker the shortest distance d2 becomes) or the shape (for example, the shorter the shortest distance d2 becomes).
  • the shape may change), blinking (for example, blinking more as the shortest distance d2 becomes longer), movement (for example, shaking as the shortest distance d2 becomes longer), and the like.
  • the information processing apparatus 100 may display a cursor 68a extending like a rubber from the drive boundary 41 to the projection designated position P.
  • the information processing apparatus 100 may be expressed by a balloon display 69 directed from the drive boundary 41 in the pointing direction as shown in the left of FIG.
  • the information processing apparatus 100 may display the pointer 61d at the pointing position as shown in the center of FIG. 29 and the right of FIG. As a result, the user can be prompted to move the designated projection position P from the non-driveable region to the driveable region.
  • the information processing apparatus 100 displays an image 632 showing a bird's eye view map of the projection environment, the drivable area, and the locus of the position pointed by the user, as shown on the left side of FIG. Accordingly, the user can intuitively grasp that he is trying to determine the projection designated position outside the drive boundary (that is, the undriveable region). Further, the information processing apparatus 100 may display an image 633 converted into a bird's-eye view map from the user's viewpoint as shown on the right side of FIG. 30 so that the user can easily understand.
  • the information processing apparatus 100 may display a UI image 655 that prompts the user to point within the drivable area 40 regardless of the user's pointing position.
  • the wording “Please point here” shown in the UI image 655 may be presented by voice.
  • feedback sound, image, expression by driving
  • feedback may be performed by the input device 200 in addition.
  • a vibrator for presenting a tactile sensation may be incorporated in the input device 200 and vibrated at the timing when the designated projection position P approaches the boundary.
  • an LED visible light
  • the input device 200 may be turned on or blinked when the projection designated position P approaches the boundary.
  • the input device 200 is a terminal such as a smartphone, feedback can be performed in combination with other modals.
  • the information processing apparatus 100 can set a drivable area that covers a wider range by taking the sum of the driving ranges of the respective driving projectors 300. Further, in a region where the driving ranges overlap, projection is transferred from one driving projector to another driving projector.
  • the projection environment is not limited to the indoor environment as described above, and may be an in-vehicle environment, for example.
  • a drive projector 300a is installed on the ceiling of the vehicle, or as shown in the right of FIG. 32, a drive projector 300b is installed in the center of the vehicle so that content can be viewed at an arbitrary place. Even in such a use case, the feedback processing according to the present embodiment can be applied. It is assumed that the drivable areas 70 and 71 in the in-vehicle environment shown in FIG. 32 are based on the drivable areas of the respective drive projectors 300a and 300b.
  • the present invention is not limited to this, and an area excluding a seat or a place where a person is present, an area excluding a window, or an area that cannot be projected by external light (an area that can be dynamically changed) may be used. .
  • a drive projector 300c is installed on the ceiling of the conference room, or as shown in the right of FIG. 33, a drive projector 300d is installed on the desk of the conference room, and content can be obtained at an arbitrary place.
  • the feedback processing according to the present embodiment can also be applied to use cases such as viewing.
  • the driveable areas 72 and 73 in the conference room environment shown in FIG. 33 are assumed to be driveable areas of the respective drive type projectors 300c and 300d, and to take into account the seat place (not driven to the seat place).
  • the present invention is not limited to this, an area excluding a place where a person is present, an area excluding a window (when a film for projection is not stretched), an area excluding an area that cannot be projected by external light ( Dynamically changeable).
  • FIG. 34 is a block diagram illustrating a hardware configuration example of the information processing apparatus 100 according to the embodiment of the present disclosure.
  • the information processing apparatus 100 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 100 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 100 may have a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 100 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 100.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 100.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 100.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • Various data can be exchanged between the information processing apparatus 100 and the external connection device 929 by connecting the external connection device 929 to the connection port 923.
  • the communication device 925 is a communication interface configured with a communication device for connecting to the network 931, for example.
  • the communication device 925 can be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the functions of the information processing device 100, the input device 200, or the drive projector 300 are added to hardware such as a CPU, ROM, and RAM incorporated in the information processing device 100, the input device 200, or the drive projector 300 described above. It is also possible to create a computer program for exhibiting the above. A computer-readable storage medium storing the computer program is also provided.
  • this technique can also take the following structures.
  • An information processing apparatus comprising: a control unit that performs a process of outputting feedback indicating an effect to be performed.
  • the determination state includes a distance between the projection designated position and the boundary,
  • the controller is The information processing apparatus according to (1), wherein strength of the effect is controlled according to a distance between the projection designated position and the boundary.
  • the controller is The feedback is performed by reflecting the effect according to the determined state in a projection image, audio output, drive control of the drive type projector, or vibration control of the input device at the projection designated position. ).
  • the controller is The information processing apparatus according to (3), wherein the effect is strengthened as a distance between the projection designation position and the neighboring boundary is shortened in a state where the projection designation position is located inside the drivable area. .
  • the controller is The information processing apparatus according to (4), wherein as the effect, the shape or color tone of the pointer image or content image projected to the projection designated position is changed.
  • the controller is The information processing apparatus according to (5), wherein as the effect, the pointer image or the content image that is projected to the projection designated position is made smaller or missing as the projection designated position approaches the boundary.
  • the controller is The information processing apparatus according to (5), wherein as the effect, a portion positioned outside the boundary of the pointer image or the content image region is not displayed.
  • the controller is As the effect, when the pointer image or the content image approaches the boundary and reaches the boundary, the pointer image or the content image collides with the boundary, the display changes in color, the display changes in color, the display blinks, or rebounds.
  • the information processing apparatus according to any one of (5) to (7), wherein display is performed.
  • the controller is The information processing apparatus according to (5) or (6), wherein as the effect, a color tone of a portion located outside the boundary is changed in the pointer image or the content image region.
  • the controller is The information processing apparatus according to (5) or (6), wherein as the effect, the drawing position in the projection image is changed so that the pointer image or the content image does not appear outside the boundary.
  • the controller is The information processing apparatus according to (4), wherein a non-driveable area that is an area outside the boundary is displayed as the effect.
  • the controller is The information processing apparatus according to (11), wherein the color tone of the non-driveable region is increased as the projection designated position approaches the boundary.
  • the controller is (1) displaying an overhead image of the projection environment space indicating the locus of the projection designated position and the drivable area when the projection designated position is moved from the outside to the inside of the drivable area; The information processing apparatus described. (14) The controller is When the projection designated position is moving from the outside of the drivable area to the inside, an effect image that changes according to the shortest distance between the boundary and the projection designated position is displayed on the boundary line. The information processing apparatus according to (2). (15) The controller is An effect image that extends in the direction of the projection designation position from the boundary line and changes according to the distance from the projection designation position when the projection designation position is moving from the outside to the inside of the drivable area.
  • the information processing apparatus wherein: (16) The controller is When the projection designated position is located outside the drivable area for a certain period of time, an overhead image of the projection environment space showing the locus of the projection designated position and the drivable area is displayed. ). (17) The controller is The information processing apparatus according to any one of (1) to (16), wherein the drivable area is dynamically changed in accordance with an environmental change in the projection environment space. (18) The controller is 18. The information processing according to any one of (1) to (17), wherein a boundary of an area where the drivable area and a recognizable area of a sensor that detects the projection designated position overlap is determined as the boundary. apparatus.
  • Information processing apparatus 110 I / F part 120 Three-dimensional space recognition part 130 Projection designated position detection part 140 Drive boundary determination part 150 State determination part 160 Drive control part 170 Image generation part 180 Sound generation part 200
  • Information processing apparatus 110 IR LED 220 Communication Module 300 Driven Projector 310 Output Unit 311 Projector 312 Ultrasonic Speaker 313 Speaker 320 Sensor 321 Camera 322 Overhead Camera 323 Depth Sensor 324 Distance Sensor 325 Thermo Sensor 330 Drive Mechanism

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】ユーザによる投影指定位置に対するフィードバックにより駆動可能範囲の境界を認識させ、投影位置の決定や探索を容易にすることが可能な情報処理装置、情報処理方法、および記録媒体を提供する。 【解決手段】投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力する処理を行う制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、および記録媒体
　本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
　近年、壁やスクリーンに映像を投影するプロジェクタに関し、パン・チルト駆動機構を搭載した駆動型プロジェクタが開発されている。プロジェクタを駆動させることで、任意の場所へ映像を投影することが可能となる。
　プロジェクタ自体を駆動させる他、プロジェクタ前面にパン・チルト駆動機構を持つ鏡を配置し、鏡の反射方向を変えることで任意の場所へ映像を投影する技術も提案されている。
　また、レーザポインタなどのポインティングデバイスと、ポインティング位置を観測する広角カメラを組み合わせて、ユーザがポインティングした場所へ映像を表示するようプロジェクタを駆動させることも可能である。例えば下記特許文献１には、固定型プロジェクタと駆動型プロジェクタの投影領域が重なる部分において、一方のプロジェクタから他方のプロジェクタへ映像の表示を切り替えるシステムについて記載されている。
国際公開第２０１７／１５４６０９号
　しかしながら、駆動型プロジェクタを用いた投影システムでは、駆動型プロジェクタの構造上の制約によって、駆動不可能な領域が存在する。
　そこで、本開示では、ユーザによる投影指定位置に対するフィードバックにより駆動可能領域の境界を認識させ、投影位置の決定や探索を容易にすることが可能な情報処理装置、情報処理方法、および記録媒体を提案する。
　本開示によれば、投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力する処理を行う制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力することを含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力する処理を行う制御部、として機能させるためのプログラムが記録された、記録媒体を提案する。
　以上説明したように本開示によれば、ユーザによる投影指定位置に対するフィードバックにより駆動可能領域の境界を認識させ、投影位置の決定や探索を容易にすることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示の実施形態に係る情報処理システムの機能構成例を示す図である。 本実施形態による駆動可能領域の算出処理の流れの一例を示すフローチャートである。 本実施形態による駆動境界の決定について説明する図である。 本実施形態による実環境に基づく駆動境界の決定の一例について説明する図である。 本実施形態による家具配置の変化を加味して駆動可能領域を変更する例を示す図である。 本実施形態による外光量の変化を加味して駆動可能領域を変更する例を示す図である。 本実施形態によるフィードバック処理の流れの一例を示すフローチャートである。 本実施形態による投影指定位置の認識について説明する図である。 本実施形態によるカメラ座標系について示す図である。 本実施形態によるカメラ座標原点からの輝点方向の３次元ベクトルを説明する図である。 本実施形態による投影指定位置の状態判定について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるポインティング位置（投影指定位置）と駆動境界との距離について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態によるフィードバック例について説明する図である。 本実施形態による車内環境への適用例について説明する図である。 本実施形態による会議室環境への適用例について説明する図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　　２－１．情報処理装置１００の構成例
　　２－２．入力装置２００の構成例
　　２－３．駆動型プロジェクタ３００の構成例
　３．動作処理
　　３－１．駆動可能領域決定処理
　　３－２．フィードバック処理
　４．フィードバック例
　　４－１．駆動可能領域から駆動不可能領域への指定におけるフィードバック
　　４－２．駆動不可能領域から駆動可能領域への指定におけるフィードバック
　　４－３．駆動不可能領域内での一定時間以上の指定におけるフィードバック
　５．応用例
　６．ハードウェア構成
　７．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システム１は、情報処理装置１００、入力装置２００、および駆動型プロジェクタ３００を有し、会議室や個人の部屋などの空間に設置された駆動型プロジェクタ３００による投影を、情報処理装置１００により制御し得る。
　駆動型プロジェクタ３００は、パン・チルト駆動機構を搭載し、壁や天井、床、テーブルの上等など、任意の場所へ映像を投影することが可能である。投影位置は、例えばユーザが入力装置２００を用いて指定する。入力装置２００の先端には、例えば指向性の高いＩＲ　ＬＥＤ（Infrared　Light　Emitting　Diode）が設けられ、投影領域から離れた位置からのポインティングによって任意の投影位置を指定することができる（いわゆる赤外線レーザポインタ）。情報処理装置１００は、ポインティング位置をセンサ３２０により検出し、ユーザがポインティングした場所へ映像を表示するよう駆動型プロジェクタ３００を駆動させる。
　（背景）
　ここで、駆動型のプロジェクタを用いた投影システムでは、駆動させるモータの駆動範囲やハードウェア機構の設計上、また、ポインティングデバイスを認識するカメラの画角等により、ある角度以上は駆動不可能とする場合がある。また、ミラー反射型のプロジェクタにより任意の場所に映像を投影する場合も、ミラーの性質上、一部の領域が投影できない場合がある。
　このような制約がある中で、本実施形態では、ユーザが所望の投影位置を決定する際、ユーザによる投影指定位置に対するフィードバックにより投影環境空間における駆動可能領域の境界を認識させ、投影位置の決定や探索を容易にすることを可能とする。本明細書において、（駆動型プロジェクタの）駆動可能領域とは、駆動型プロジェクタが駆動を伴って投影することが可能な投影環境空間側における範囲であって、その境界は、投影光軸の中心（投影画像の中心）に相当する。
　詳細なフィードバック例については後述するが、例えば情報処理装置１００は、ユーザが駆動不可能な領域を指定しようとする時（すなわち投影指定位置が駆動可能領域の境界に近付いている時）や、駆動不可能な領域を指定している時に、ポインティング位置に投影しているポインタに所定のエフェクトをかける等のフィードバックをユーザに与えることで、駆動可能領域の境界をユーザに認識させる。また、情報処理装置１００は、ユーザが駆動可能領域の境界付近や領域の範囲外（すなわち駆動不可能領域）に投影しようとしている時に、いずれの方向であれば駆動可能であるか（すなわち投影可能であるか）をユーザに認識させるフィードバックも行い得る。
　以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
　＜＜２．構成例＞＞
　図２は、本開示の実施形態に係る情報処理システム１の機能構成例を示す図である。図２に示したように、情報処理システム１は、情報処理装置１００と、入力装置２００と、駆動型プロジェクタ３００と、を有する。
　　＜２－１．情報処理装置１００の構成例＞
　情報処理装置１００は、Ｉ／Ｆ（interface）部１１０と、３次元空間認識部１２０、投影指定位置検知部１３０、駆動境界決定部１４０、状態判定部１５０、駆動制御部１６０、画像生成部１７０、および音生成部１８０として機能する制御部とを有する。
　（Ｉ／Ｆ部１１０）
　Ｉ／Ｆ部１１０は、情報処理装置１００と他の機器とを接続するための接続装置である。Ｉ／Ｆ部１１０は、例えばＵＳＢ（Universal　Serial　Bus）コネクタ等により実現され、入力装置２００および駆動型プロジェクタ３００の各構成要素との間で情報の入出力を行う。また、例えばＩ／Ｆ部１１０は、無線／有線ＬＡＮ（Local　Area　Network）、ＤＬＮＡ（登録商標）（Digital　Living　Network　Alliance）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はその他専用線等により入力装置２００および駆動型プロジェクタ３００と接続する。また、Ｉ／Ｆ部１１０は、インターネットやホームネットワークを介して他の機器と接続してもよい。
　例えばＩ／Ｆ部１１０は、入力装置２００から、入力装置２００に設けられた各種センサによるセンシングデータを受信したり、駆動型プロジェクタ３００から、駆動型プロジェクタ３００のセンサ３２０に含まれる各種センサによるセンシングデータを受信したりする。また、Ｉ／Ｆ部１１０は、駆動制御部１６０、画像生成部１７０、または音生成部１８０により生成された駆動制御信号や映像、音声の出力信号を、駆動型プロジェクタ３００に送信する。
　（制御部）
　制御部は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。制御部は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　具体的には、図２に示すように、３次元空間認識部１２０、投影指定位置検知部１３０、駆動境界決定部１４０、状態判定部１５０、駆動制御部１６０、画像生成部１７０、および音生成部１８０として機能する。
　・３次元空間認識部１２０
　３次元空間認識部１２０は、センサ３２０に設けられた各種センサにより検出されたセンシングデータ（カメラ３２１や俯瞰カメラ３２２による撮像画像、デプスセンサ３２３による深度情報、測距センサ３２４による距離情報、またはサーモセンサ３２５による温度情報等）に基づいて、投影環境空間（例えば、駆動型プロジェクタ３００が設置された部屋等）の３次元形状や、投影環境空間に存在する実物体の３次元形状や３次元位置、また、ユーザの３次元位置、姿勢、ジェスチャ等を認識する。例えば本実施形態では、デプスセンサ３２３によるセンシングデータに基づいて投影環境空間の３次元形状を認識することを想定する。また、３次元空間認識部１２０は、投影環境空間の３次元形状を認識すると共に、投影環境の空間マップを生成し得る。また、３次元空間認識部１２０は、測距センサ３２４やカメラ複数台によるステレオマッチングによる３次元形状計測を行ってもよい。また、３次元空間認識部１２０は、外光や室内照明など、投影環境空間の照度を認識することも可能である。
　・投影指定位置検知部１３０
　投影指定位置検知部１３０は、入力装置２００によって指定された投影指定位置（ポインティング位置座標）を検知する。例えば投影指定位置検知部１３０は、広視野で赤外光を観測可能な俯瞰カメラ３２２による撮像画像から、入力装置２００のＩＲ　ＬＥＤ２１０による発光位置（発光されたＩＲの輝点）を検出し、ポインティング位置座標を算出する。ポインティング位置座標の算出の詳細については、図８～図１１を参照して後述する。
　また、投影指定位置の検知は、広視野の俯瞰カメラ３２２のみでも可能であるが、さらに視野角が俯瞰カメラ３２２よりも狭い注視センサ（例えば視野角が俯瞰カメラ３２２よりも狭い赤外線カメラ）を組み合わせて、より高解像度に指定位置をセンシングすることも可能である。また、投影指定位置の検知には、さらにデプスセンサ３２３、測距センサ３２４、サーモセンサ３２５のセンシングデータを用いたり、入力装置２００に設けられた各種センサによるセンシングデータを用いたりすることも可能である。また、投影指定位置検知部１３０は、３次元空間認識部１２０により認識されたユーザの３次元位置や姿勢等をさらに参照し、ユーザが入力装置２００を向けている方向から優先的に投影指定位置の検知を行うようにしてもよい。
　なお本実施形態では、一例としてレーザポインタ式の入力装置２００を図示しているが、本実施形態はこれに限定されず、他の入力装置を用いてもよい。また、操作体としては、入力装置２００の代わりに入力装置２００以外の他の操作体（例えば、ユーザの手や指など）を用いてもよい。例えば投影指定位置検知部１３０は、ユーザの指差し等に基づいて投影指定位置を検知する。具体的には、投影指定位置検知部１３０は、３次元空間認識部１２０により認識されたユーザの３次元位置や姿勢、ジェスチャ等に基づいて、ユーザが指差している方向と投影領域（壁など）が直交する位置を、投影指定位置とし、位置座標を算出する。
　また、投影指定位置検知部１３０は、投影領域から離れた位置からの投影位置の指定に限定されず、投影領域へのタッチ操作による投影位置の指定を認識することも可能である。
　また、スマートフォン等のデバイスを用いた操作も可能である。例えばスマートフォンの画面に表示された上下左右キーを含むＧＵＩを操作して投影位置を指定してもよいし、スマートフォンの画面に表示された投影環境空間の全天周画像を操作して投影位置を指定してもよい。
　情報処理装置１００は、投影指定位置検知部１３０により検知された投影指定位置に対して所定のポインタ画像を投影するよう、駆動型プロジェクタ３００を制御し得る。
　・駆動境界決定部１４０
　駆動境界決定部１４０は、投影環境空間における駆動型プロジェクタ３００による駆動可能領域の境界を決定する。駆動境界決定部１４０は、３次元空間認識部１２０により認識された投影環境空間の３次元形状と駆動型プロジェクタ３００の駆動可能角度とに基づいて、投影環境空間における駆動可能領域を算出し、駆動境界を決定する。駆動境界は、例えば駆動可能領域の境界としてもよい。駆動可能領域の境界は、例えばプロジェクタ３１１による投影光軸の中心（投影画像の中心）を想定する。また、駆動境界決定部１４０は、投影指定位置の検知に用いるセンサ（例えば俯瞰カメラ３２２）の認識境界との積をとって駆動境界を決定してもよい。駆動可能領域の算出および駆動境界の決定の詳細については、図３～図７を参照して後述する。
　・状態判定部１５０
　状態判定部１５０は、駆動可能領域における投影指定位置（ポインティング位置）の状態を判定する。具体的には、状態判定部１５０は、投影指定位置の駆動境界までの距離、投影指定位置の駆動境界との位置関係、または、投影指定位置の動き等を判定する。この際、状態判定部１５０は、投影指定位置の時系列情報も加味し、ユーザの投影位置指定状況に関し、以下のような４つの状態を判定することが可能となる。
・状態１：投影指定位置が駆動可能領域から駆動不可能領域に移動した状態（駆動境界をまたぐ状況）
・状態２：投影指定位置が駆動不可能領域から駆動可能領域に移動した状態（駆動境界をまたぐ状況）
・状態３：投影指定位置が駆動不可能領域に一定時間以上位置している状態
・状態４：投影指定位置が駆動可能領域内で移動している状態
　上記各状態のうち、状態４であれば、駆動型プロジェクタ３００の駆動が可能であり問題無く投影が出来るため、本実施形態によるフィードバックは特に行わない。一方、状態１～状態３の場合、ユーザが駆動不可能領域で投影位置を指定する恐れがあり、ユーザに駆動可能領域の境界を認識させる必要がある。本実施形態による情報処理装置１００は、状態判定部１５０による判定結果に基づいて、駆動制御部１６０、画像生成部１７０、または音生成部１８０により、ユーザにフィードバックする内容（エフェクト）を生成し、駆動角度や投影映像、音などに反映させる。情報処理装置１００は、投影指定位置の駆動境界までの距離や位置関係、駆動境界をまたぐ投影指定位置の動き等に基づいて、例えば投影指定位置が駆動境界に近付くほど、所定のエフェクトを強くする等のフィードバック制御を行う。本実施形態によるフィードバック処理の詳細については、図８、および図１３～図３１を参照して後述する。
　・駆動制御部１６０
　駆動制御部１６０は、駆動型プロジェクタ３００の駆動制御（駆動角度の制御など）を行う。例えば駆動制御部１６０は、駆動する位置を指示する駆動制御信号を生成し、Ｉ／Ｆ部１１０に出力する。当該駆動制御信号は、Ｉ／Ｆ部１１０から駆動型プロジェクタ３００に送信される。また、駆動制御部１６０は、状態判定部１５０による判定結果が反映された駆動制御信号も生成し得る。これにより、駆動型プロジェクタ３００の動きによる駆動境界のフィードバック表現が可能となる。
　・画像生成部１７０
　画像生成部１７０は、駆動型プロジェクタ３００のプロジェクタ３１１から投影する画像を生成し、Ｉ／Ｆ部１１０に出力する。投影する画像とは、ポインティング位置に投影するポインタやコンテンツが想定される。当該画像は、Ｉ／Ｆ部１１０から駆動型プロジェクタ３００に送信される。また、画像生成部１７０は、状態判定部１５０による判定結果が反映された画像も生成し得る。これにより、ポインタやコンテンツなどを用いた画像による駆動境界のフィードバック表現が可能となる。
　・音生成部１８０
　音生成部１８０は、駆動型プロジェクタ３００の超音波スピーカ３１２やスピーカ３１３から出力する音声信号を生成し、Ｉ／Ｆ部１１０に出力する。当該音声信号は、Ｉ／Ｆ部１１０から駆動型プロジェクタ３００に送信される。また、音生成部１８０は、状態判定部１５０による判定結果が反映された音声信号も生成し得る。これにより、音による駆動境界のフィードバック表現が可能となる。
　　＜２－２．入力装置２００の構成例＞
　入力装置２００は、ユーザによる入力に用いられるデバイスである。本開示の実施形態においては、先端に指向性の高いＩＲ　ＬＥＤ２１０が搭載されたデバイスが用いられる場合を主に想定する。ユーザは、コンテンツを投影したい位置に入力装置２００を向けて、赤外線レーザにより投影位置を指定する。ＩＲ　ＬＥＤ２１０による発光位置（発光されたＩＲの輝点）は、例えば俯瞰カメラ３２２によって検出され、情報処理装置１００に送られる。
　ここでは一例としてＩＲ　ＬＥＤ２１０による発光について述べたが、本実施形態はこれに限定されず、指向性を有する可視光を用いてもよい。
　また、入力装置２００としては、スマートフォンなどの携帯端末や、腕輪型やメガネ型のウェアラブルデバイスが用いられてもよい。
　また、入力装置２００は、通信モジュール２２０を備えていてもよい。例えば入力装置２００は、通信モジュール２２０によって、ＩＲ　ＬＥＤ２１０のＯＮ／ＯＦＦなどの操作入力情報を情報処理装置１００に送信する。これにより、情報処理装置１００は、例えばＩＲ　ＬＥＤ２１０がＯＮになっている（すなわち発光中である）場合に、投影指定位置検知部１３０による投影指定位置の検知処理を行うようにしてもよい。
　また、入力装置２００は、地磁気センサ、ジャイロセンサ、および加速度センサや、マイクロフォン等の各種センサを備えていてもよい。これらのセンサにより検出されたセンシングデータは、通信モジュール２２０により情報処理装置１００に送信される。
　　＜２－３．駆動型プロジェクタ３００の構成例＞
　（駆動機構３３０）
　駆動型プロジェクタ３００は、駆動機構３３０を備え、任意の方向をセンシングし得るよう出力部３１０およびセンサ３２０の向きを変更することが可能である。例えば駆動型プロジェクタ３００は、情報処理装置１００から受信した所定の位置に映像を投影するよう駆動機構３３０による駆動制御を行う。
　本実施形態では、一例としてパン・チルトの２軸駆動機構を想定するが、向きを変える駆動機構に限定されず、例えば左右上下等に移動可能な機構を併せ持ってもよい。また、本実施形態では出力部３１０およびセンサ３２０自体を駆動させる機構を想定するが、駆動機構を持つ鏡を出力部３１０やセンサ３２０の前に設置し、鏡の向きを変えることによってセンシング方向を変える装置であってもよい。
　また、本実施例では、センサ３２０をプロジェクタ３１１と同軸上に搭載したデバイスであって、かつ、駆動機構３３０によりプロジェクタ３１１と同時にセンサ３２０も駆動することを想定するが、センサ３２０とプロジェクタ３１１は異なる位置に配置されていてもよい。この場合、センサ３２０とプロジェクタ３１１との位置関係は既知である。
　（出力部３１０）
　駆動型プロジェクタ３００には、出力部３１０として、プロジェクタ３１１、超音波スピーカ３１２、およびスピーカ３１３が搭載されている。なお、指向性の高い超音波スピーカ３１２を、プロジェクタ３１１の投影方向と同軸上に設置するようにしてもよい。
　（センサ３２０）
　駆動型プロジェクタ３００は、センサ３２０を備え、各センサによりセンシングした情報を、情報処理装置１００に出力する。例えば駆動型プロジェクタ３００は、カメラ３２１、俯瞰カメラ３２２、デプスセンサ３２３、測距センサ３２４、およびサーモセンサ３２５を備える。本実施形態では、俯瞰カメラ３２２として、視野角の広い、赤外光を観測する（可視光をカットする）カメラを想定し（俯瞰センサの一例）、カメラ３２１は、俯瞰カメラ３２２よりも視野角の狭い領域を注視して、赤外光を観測する注視カメラを想定する。しかし、カメラ３２１および俯瞰カメラ３２２は、赤外光カメラに限定されず、可視光カメラを含んでもよい。カメラ３２１および俯瞰カメラ３２２は、ズームを行ったり絞りを変更したりするモードを備えていてもよい。
　また、デプスセンサ３２３、測距センサ３２４、またはサーモセンサ３２５は、３次元空間認識部１２０による投影環境の３次元空間認識に用いられることを想定する。しかし、デプスセンサ３２３、測距センサ３２４、またはサーモセンサ３２５は、空間認識用途に限定されず、俯瞰センサとして用いられ、投影指定位置の検知用途としてもよい。
　以上、本実施形態による情報処理システム１の各構成について具体的に説明した。なお図２に示す情報処理システム１の構成は一例であって、本実施形態はこれに限定されない。例えば、図２には図示しないが、情報処理装置１００に他の装置が接続されていてもよい。
　また、情報処理装置１００は、複数の装置により構成されていてもよい。また、情報処理装置１００は、スマートホーム端末、ＰＣ、ホームサーバ、エッジサーバ、中間サーバ、またはクラウドサーバにより実現されてもよい。
　＜＜３．動作処理＞＞
　続いて、本実施形態による情報処理システム１の動作処理について図面を用いて具体的に説明する。
　　＜３－１．駆動境界の決定処理＞
　図３は、本実施形態による駆動境界の決定処理の流れの一例を示すフローチャートである。本実施形態では、プロジェクタ投影の前に投影環境の３次元形状を認識し、実環境における駆動可能な領域を算出し、駆動境界を決定する。
　具体的には、図３に示すように、まず、情報処理装置１００は、予め登録されたi_max個の駆動角度に順次駆動型プロジェクタ３００を駆動させながら、デプスセンサ３２３で投影環境をセンシングしたデータを取得し、３次元空間認識部１２０により、当該センシングしたデータに基づいて投影環境の３次元形状を取得する（ステップＳ１０３～Ｓ１０９）。これにより、情報処理装置１００は、駆動型プロジェクタ３００により駆動可能な全領域をデプスセンサ３２３にて観測することができる。なお、ここでは投影環境のセンシングの一例としてデプスセンサ３２３を用いたが、本実施形態はこれに限定されず、駆動型プロジェクタ３００に搭載されたカメラ３２１、俯瞰カメラ３２２、測距センサ３２４、またはサーモセンサ３２５等によるセンシングを、駆動可能な全領域について行ってもよい。
　次に、情報処理装置１００の駆動境界決定部１４０は、上記取得した３次元形状を統合して投影環境の３次元形状を得る（ステップＳ１１２）。
　次いで、駆動境界決定部１４０は、得られた３次元形状と駆動型プロジェクタ３００の駆動可能角度から駆動型プロジェクタ３００の駆動可能領域を算出し、駆動境界を決定する（ステップＳ１１５）。ここで、図４を参照して本実施形態による駆動境界の決定について説明する。
　駆動境界決定部１４０は、図４左に示すように、駆動型プロジェクタ３００を駆動して投影環境の駆動可能な全領域を観測して３次元形状情報を取得した後、図４右に示すように、駆動型プロジェクタ３００の駆動可能角度に基づいて、駆動可能領域４０の駆動境界４１を駆動境界に決定する。この場合、駆動境界の外側の領域が、駆動不可能領域４２となる。
　また、駆動境界決定部１４０は、ポインティング位置を検知するセンサ３２０（例えば俯瞰カメラ３２２）の認識可能な領域と積をとり、駆動境界を決定してもよい。具体的には、図４右下に示すように、駆動可能領域の駆動境界４１内、かつ、センサの認識境界４３内の領域４４の境界４５を、駆動境界として決定してもよい。
　また、駆動境界決定部１４０は、実環境に基づいて駆動境界を決定してもよい。例えば、駆動可能領域４０において、家具や家電等の実物体の境界に沿って駆動境界を設定したり、空間軸（ＸＹＺ軸）に沿って直線で駆動境界を設定したりしてもよい。図５は、本実施形態による実環境に基づく駆動境界の決定の一例について説明する図である。図５に示すように、例えば駆動可能領域４０内において、部屋に置かれた家具などの実物体に沿った延長線上で囲まれた領域を駆動可能領域４０１とし、その境界４１１を駆動境界としてもよい。このように、視認可能な実物体を基準として駆動境界が設定されることで、ユーザは目に見えない駆動境界を認識し易くなる。
　また、家具の移動など、外的要因によって投影環境空間が変化する場合も想定されるが、駆動境界決定部１４０は、このような投影環境空間の変化に応じて適宜動的に駆動境界を変更してもよい。この場合、駆動型プロジェクタ３００の構造上の制約に基づく駆動可能な領域を最大領域とし、その領域内で駆動範囲を増減する。以下、図６および図７に一例を示す。
　図６は、家具配置の変化を加味して駆動可能領域を変更する例を示す図である。図６左に示すように、まず、駆動型プロジェクタ３００の構造上の制約に基づく駆動可能な領域を最大領域とした駆動可能領域４０（駆動境界４１）内において、実物体５０～５２の配置を考慮して例えば実物体５０を除外する領域の境界４１２を駆動境界に決定する。次いで、図６右に示すように、家具の配置が変更され、実物体５０が排除された場合、実物体５０で隠れていた床や壁にも投影が可能となるため、駆動境界決定部１４０は、これらの領域を含む領域の境界４１３に駆動境界を変更する。駆動境界決定部１４０は、取得した３次元形状の差分を算出し、差分が予め定められた閾値（センシングの誤差を丸め込む程度の値）以上である場合に家具配置の変化と判断し、駆動境界を更新する。
　環境の変化は、家具配置の変化に限定されず、例えば外光や室内照明環境の変化も想定される。投影環境空間の照度は、駆動型プロジェクタ３００に設けられる照度センサ（不図示）や、室内に設置された照度センサにより検知され得る。図７は、外光量の変化を加味して駆動可能領域を変更する例を示す図である。図７左に示すように、まず、駆動型プロジェクタ３００の構造上の制約に基づく駆動可能な領域を最大領域とした駆動可能領域４０（駆動境界４１）内において、太陽光等により照度が高くなっている領域は投影画像の視認性が低くなるため、当該領域を除外した領域の境界４１５を駆動境界に決定する。太陽光の照射領域は時間経過と共に変化するため、駆動境界決定部１４０は、例えば図７右に示すように、太陽光の照射領域の変化に応じて、新たに照度が高い領域を除外した領域を認識し、その境界４１６を駆動境界とする。駆動境界決定部１４０は、例えば投影箇所の明るさの変化をカメラ（カメラ３２１や俯瞰カメラ３２２など）により継続的に観測し、予め定められた閾値以上の明るさとなった場合に駆動境界を更新する。
　また、情報処理装置１００は、駆動境界を更新したことを、音声や文言、または投影環境における駆動境界を明示する俯瞰図によりユーザに通知してもよい。
　以上、駆動可能領域の算出および駆動境界の決定について具体的に説明した。続いて、このように決定した駆動可能領域や駆動境界の情報を用いてユーザに駆動可能領域の境界を認識させるフィードバック処理について説明する。
　　＜３－２．フィードバック処理＞
　図８は、本実施形態によるフィードバック処理の流れの一例を示すフローチャートである。
　図８に示すように、まず、情報処理装置１００は、投影指定位置検知部１３０により、入力装置２００を用いてユーザが指定した投影位置（投影指定位置）を認識する（ステップＳ１３３）。ここで、投影指定位置の認識について図９～図１１を参照して説明する。
　図９は、本実施形態による投影指定位置の認識について説明する図である。図９に示すように、ユーザが入力装置２００でポインティングした赤外光を駆動型プロジェクタ３００の俯瞰カメラ３２２（例えば、広角カメラや魚眼カメラ等）で観測し、投影指定位置検知部１３０は、俯瞰カメラ画像３２２０から輝点座標(x,y)を得る。次いで、投影指定位置検知部１３０は、俯瞰カメラ３２２の内部パラメータ（画角情報）から輝点方向を示す３次元ベクトルV(xv,yv,zv)を算出する。そして、投影指定位置検知部１３０は、３次元空間認識部１２０により取得した投影環境の３次元形状と３次元ベクトルVの交差判定からポインティング位置P(X,Y,Z)を算出する。
　より具体的には、以下の計算を行うことで算出される。まず、図１０に示すカメラ座標系において、図１１に示すように、カメラ内部パラメータの画像中心を(cx,cy)、焦点距離を(fx,fy)とすると、輝点座標(x,y)に対する単位ベクトルは、下記式１により算出される。
Figure JPOXMLDOC01-appb-M000001
　ここでは、カメラ座標系原点からZ=1となる距離に射影される３次元点を（Xc,Yc,1）としている。投影指定位置検知部１３０は、算出した３次元ベクトルとカメラ座標系で表された３次元形状での交差判定を行い、交差した箇所の３次元点をPcam(Xcam,Ycam,Zcam)とする。カメラ座標系から任意の点を原点とする世界座標系へ変換する行列をRTとすると、最終的にポインティング位置は下記式２により算出される。なおRは回転行列、Tは平行移動を表す行列である。
　P=RTPcam　　…式２
　次に、状態判定部１５０は、投影指定位置検知部１３０により検知した投影指定位置と、駆動境界決定部１４０により決定された駆動境界とに基づいて、投影指定位置の状態判定を行う（ステップＳ１３６）。ここでは、状態判定部１５０は、ポインティングされた投影指定位置の時系列情報（すなわち投影指定位置の動き）を加味して、上述したように４つの状態を判定する。ここで図１２を参照し、判定する４つの状態について説明する。
　状態判定部１５０は、例えば図１２の左上に示すように、ポインティングされた投影指定位置Ｐ１が駆動可能領域４０から駆動不可能領域４２に移動した状態（駆動境界４１をまたぐ状況）を判定する（状態１）。また、状態判定部１５０は、図１２の右上に示すように、投影指定位置Ｐ２が駆動不可能領域４２から駆動可能領域４０に移動した状態（駆動境界４１をまたぐ状況）を判定する（状態２）。また、状態判定部１５０は、図１２の左下に示すように、投影指定位置Ｐ３が駆動不可能領域４２に一定時間以上位置している状態を判定する（状態３）。また、状態判定部１５０は、図１２の右下に示すように、投影指定位置Ｐ４が駆動可能領域内で移動している状態を判定する（状態４）。
　次いで、情報処理装置１００は、判定結果に基づくフィードバック処理を行う（ステップＳ１３９）。具体的には、上記状態１～状態３の場合、ユーザが駆動不可能領域で投影位置を指定する恐れがあり、ユーザに駆動可能領域の境界を認識させる必要があるため、情報処理装置１００は、所定のフィードバックを与えて駆動可能領域の境界をユーザに認識させる。具体的なフィードバック例については、図１３～図３１を参照して後述する。
　そして、投影位置が決定されるまで、上記ステップＳ１３３～Ｓ１３９が繰り返される（ステップＳ１４２）。投影位置の決定は、例えば入力装置２００を用いたユーザによる所定の操作や、発話音声、ジェスチャ等により行われ得る。ユーザによる所定の操作や、発話音声、ジェスチャ等は、入力装置２００に設けられた各種センサにより検知され、情報処理装置１００に送信される。若しくは、情報処理装置１００は、入力装置２００により照射されている赤外光の変化（点滅や動き等であって、ユーザ操作に基づいて変化し得る）を駆動型プロジェクタ３００のセンサ３２０により検知し、投影位置の決定を認識してもよい。
　　＜＜４．フィードバック例＞＞
　次に、本実施形態による駆動可能領域の境界をユーザに認識させるフィードバック例について、図１３～図３１を用いて具体的に説明する。本実施形態による情報処理装置１００は、投影指定位置の駆動境界までの距離や位置関係、駆動境界をまたぐ投影指定位置の動き等に基づいて、例えば投影指定位置が駆動境界に近付くほど、所定のエフェクトを強くする等のフィードバック制御を行う。
　＜４－１．駆動可能領域から駆動不可能領域への指定におけるフィードバック＞
　まず、ユーザが投影指定位置を駆動可能領域から駆動不可能領域へ移動させた時のフィードバック例について説明する。
　（４－１－１．ポインタによる表現）
　図１３～図１６に、ユーザが指定している投影指定位置にポインタを描画（投影）し、その描画されたポインタにエフェクトを加えてフィードバックを行う例を示す。なお図１３～図１６では、ポインタの表現を丸にしているが、本実施形態はこれに限定されず、サイトや矢印カーソルなどでもよい。
　例えば、情報処理装置１００は、図１３に示すように、ポインタ６０ａが駆動境界４１に近付くと徐々に欠けるエフェクトを加えたフィードバックを行う。具体的には、まず、図１３左に示すように、駆動型プロジェクタ３００は、ユーザが入力装置２００により指定している投影指定位置にポインタ６０ａ１を描画する投影画像６００を投影する。次いで、ユーザが入力装置２００を動かして投影指定位置が移動した際、情報処理装置１００は、投影画像６００に含まれるポインタ６０ａ１の描画位置を投影指定位置に追従させるよう駆動型プロジェクタ３００を駆動させる。次いで、情報処理装置１００は、図１３中央および図１３右に示すように、ポインタ６０ａ２が駆動境界４１に近付いた場合、徐々にポインタ６０ａ２が欠けていく表現を提示する。すなわち、情報処理装置１００は、投影指定位置が駆動境界４１に近付くほど、ポインタ６０ａが欠けるというエフェクトを強くするフィードバック制御を行う。これにより、駆動境界４１が明示されなくとも、ポインタ６０ａの欠け具合で、ユーザは、駆動境界４１に近付いていることを認識し、また、駆動境界４１の場所を直感的に把握することが可能となる。
　また、情報処理装置１００は、図１４に示すように、ポインタ６０ｂが駆動境界４１で隠れるエフェクトを加えたフィードバックを行ってもよい。具体的には、図１４の投影画像６０３～６０５に示すように、ユーザが入力装置２００により指定している投影指定位置にポインタ６０ｂを描画している際に、図１４右に示すように、ポインタ６０ｂが駆動境界４１にかかった際に、駆動境界４１の外側には表示しない（一部が駆動境界４１で隠れているように見える）表現を行う。この際も、駆動境界４１を明示することなく、ポインタ６０ｂの隠れ具合で、ユーザは、駆動境界の場所を直感的に把握することが可能となる。
　また、情報処理装置１００は、図１５に示すように、ポインタ６０ｃが駆動境界４１にぶつかった際に揺れるエフェクトを加えたフィードバックを行ってもよい。具体的には、図１５の投影画像６０６～６０８に示すように、ユーザが入力装置２００により指定している投影指定位置にポインタ６０ｃを描画している際に、図１５右に示すように、ポインタ６０ｃが駆動境界４１にぶつかった際に、駆動境界４１に隠れると共に、揺れる表現を行う。これにより、駆動境界４１を明示することなく、ポインタ６０ｃの揺れ具合で、ユーザは、駆動境界４１の場所を直感的に把握することが可能となる。
　また、情報処理装置１００は、図１６に示すように、ポインタ６０ｄが駆動境界４１にぶつかった際に色が変わるエフェクトを加えたフィードバックを行ってもよい。具体的には、図１６の投影画像６０９～６１１に示すように、ユーザが入力装置２００により指定している投影指定位置にポインタ６０ｄを描画している際に、図１６右に示すように、ポインタ６０ｄが駆動境界４１にぶつかった際に、ポインタ６０ｄの色を変える表現を行う。これにより、駆動境界４１を明示することなく、ポインタ６０ｄの色の変化により、ユーザは、駆動境界４１の場所を直感的に把握することが可能となる。なお、ここではポインタ６０ｄの色を変える表現を行ったが、本実施形態はこれに限定されず、大きさや形を変えたり、点滅させたり、音を鳴らしたりしてもよい。
　また、情報処理装置１００は、ポインタが駆動境界で跳ね返る表現を行ってもよい。また、ポインタが駆動境界に近付いた際に速度を遅くしたり、逆に速くして磁力が働いたかのように駆動境界に引き寄せられる表現を行ってもよい。
　（４－１－２．コンテンツによる表現）
　図１７～図２０に、ユーザが指定している投影指定位置にコンテンツを描画（投影）し、その描画されたコンテンツにエフェクトを加えてフィードバックを行う例を示す。
　例えば、情報処理装置１００は、図１７に示すように、コンテンツ６２ａが駆動境界４１にかかると欠けるエフェクトを加えたフィードバックを行う。具体的には、図１７の投影画像６１２～６１４に示すように、ユーザが入力装置２００により指定している投影指定位置にコンテンツ６２ａを描画している際に、図１７右に示すように、コンテンツ６２ａが駆動境界４１にかかった際に、駆動境界４１の外側には表示しない（一部が駆動境界４１で隠れているように見える）表現を行う。これにより、駆動境界４１を明示することなく、コンテンツ６２ａの隠れ具合で、ユーザは、駆動境界４１の場所を直感的に把握することが可能となる。
　また、情報処理装置１００は、図１８に示すように、コンテンツ６２ｂが駆動境界４１に近付くと小さくなるエフェクトを加えたフィードバックを行ってもよい。具体的には、図１８の投影画像６１５～６１７に示すように、ユーザが入力装置２００により指定している投影指定位置にコンテンツ６２ｂを描画している際に、図１８中央および図１８右に示すように、コンテンツ６２ｂが駆動境界４１に近付いた場合、徐々にコンテンツ６２ｂが小さくなる表現を行う。すなわち、情報処理装置１００は、投影指定位置が駆動境界４１に近付くほど、コンテンツ６２ｂが小さくなるというエフェクトを強くするフィードバック制御を行う。これにより、駆動境界４１を明示することなく、コンテンツ６２ｂの表示サイズ変化で、ユーザは、駆動境界４１の場所を直感的に把握することが可能となる。
　また、情報処理装置１００は、図１９に示すように、コンテンツ６２ｃの領域のうち駆動境界４１から外側にはみ出した部分にエフェクトをかけるフィードバックを行ってもよい。具体的には、図１９の投影画像６１８～６２０に示すように、ユーザが入力装置２００により指定している投影指定位置にコンテンツ６２ｃを描画している際に、図１９中央および図１９右に示すように、コンテンツ６２ｃの領域のうち駆動境界４１から外側にはみ出した部分（すなわち駆動不可能領域の部分）に、影を掛ける、輝度を下げる、または色調や明るさを変える等のエフェクトをかける。かかるエフェクトの領域は、投影指定位置が駆動境界４１に近付くほど広くなる（駆動境界４１から外側にはみ出す部分が多くなるため）。これにより、駆動境界４１を明示することなく、コンテンツ６２ｃの表示変化で、ユーザは、駆動境界４１の場所を直感的に把握することが可能となる。
　また、情報処理装置１００は、図２０に示すように、コンテンツ６２ｄの領域のうち駆動境界４１に近付いた際にコンテンツ６２ｄが駆動境界の外側にはみ出さないよう、投影画像内におけるコンテンツ６２ｄの描画位置を変化させるフィードバックを行ってもよい。具体的には、図２０の投影画像６２１～６２３に示すように、ユーザが入力装置２００により指定している投影指定位置にコンテンツ６２ｄを描画している際に、初めは中央に配置していた投影画像内のコンテンツ６２ｄを、駆動境界４１からコンテンツ６２ｄが外側にはみ出さないよう、図２０中央および図２０右に示すようにコンテンツ６２ｄの投影画像内における配置をずらす。これにより、コンテンツ６２ｄを動かそうとしても、ある所定の境界（明示されていない駆動境界４１）から外側にはコンテンツ６２ｄを移動させることができず、ユーザは、駆動境界４１の場所を直感的に把握することが可能となる。
　また、図２１の投影画像６２５～６２７に示すように、駆動不可領域を塗りつぶし描画等により表示してもよい。具体的には、情報処理装置１００は、図２１の投影画像６２５～６２７に示すように、投影指定位置Ｐ（ポインタ描画は無くともよいし、あってもよい）に対応する投影画角内に駆動不可能領域が含まれた場合に、駆動不可能領域を塗りつぶし描画等により表示する。また、情報処理装置１００は、投影指定位置Ｐが駆動境界に近付く程、当該表示のエフェクトを強くするフィードバックを行い、駆動境界４１の場所を直感的に把握させることを可能とする。
　以上、ポインタまたはコンテンツにかけるエフェクトの具体例について説明した。なお上述した各エフェクトはそれぞれ組合せてもよい。例えば情報処理装置１００は、投影指定位置が駆動境界４１に近付くほど、投影指定位置に表示されているポインタまたはコンテンツを小さくするエフェクトをかけると共に、ポインタまたはコンテンツが駆動境界４１にぶつかった際には揺れるエフェクトをかけるようにしてもよい。
　また、次に説明する音による表現や、駆動による表現とも組み合わせることが可能である。
　（４－１－３．音による表現）
　また、情報処理装置１００は、投影指定位置が駆動境界に近付いた際に、駆動型プロジェクタ３００の超音波スピーカ３１２やスピーカ３１３からアラート音を再生したり、アラート音の音量を大きくしたり、駆動境界にぶつかった際に効果音を再生したり等、音によるフィードバックを行ってもよい。
　（４－１－４．駆動による表現）
　また、情報処理装置１００は、駆動型プロジェクタ３００の動きによってフィードバックを表現してもよい。例えば情報処理装置１００は、投影指定位置が駆動境界から外側に（駆動不可能領域に）移動した場合に、図２２左に示すように、駆動型プロジェクタ３００を駆動境界に沿った方向に慣性駆動させてもよい（この際、例えば投影画角内の中央に描画されていたポインタ６４ａは、駆動境界に沿った方向に移動して見える）。または、情報処理装置１００は、投影指定位置が駆動境界に近付いた際に、図２２中央に示すように、磁石のように駆動境界に引き寄せられるよう駆動型プロジェクタ３００を駆動させてもよい（この際、例えば投影画角内の中央に描画されていたポインタ６４ｂは、磁石のように駆動境界に引き寄せられて移動して見える）。また、情報処理装置１００は、投影指定位置が駆動境界にぶつかった際に、図２２右に示すように、駆動境界でバウンスするよう駆動型プロジェクタ３００を駆動させてもよい（この際、例えば投影画角内の中央に描画されていたポインタ６４ｃは、駆動境界でバウンスして見える）。これらにより、駆動境界４１を明示することなく、駆動型プロジェクタ３００の動き（併せてポインタ６４ａ～６４ｃの動き）により、ユーザは、駆動境界の場所を直感的に把握することが可能となる。
　なお情報処理装置１００は、図２２に示す例において、駆動境界付近におけるポインタ６４ａ～６４ｃの動きの軌跡を併せて表示してもよい。
　（４－１－５．駆動境界との距離）
　以上、図１３～図２２を参照して説明した各表現（エフェクト）は、例えば、ユーザがポインティングした位置（投影指定位置Ｐ；ポインティング位置座標）と、駆動境界４１との距離に応じて変化される。ここで、図２３に、本実施形態によるポインティング位置（投影指定位置Ｐ）と駆動境界４１との距離について説明する図を示す。図２３左に示すように、駆動可能領域から駆動不可能領域に投影指定位置Ｐが移動する際の距離は、例えば投影指定位置Ｐと近傍の駆動境界４１との距離ｄ１（最短距離であってもよい）である。また、次に説明する駆動不可能領域から駆動可能領域に投影指定位置Ｐが移動する際の距離も、例えば投影指定位置Ｐと駆動境界４１との最短距離ｄ２である。
　情報処理装置１００は、例えば、図２１に示した駆動不可能領域の表示に関し、上述した距離ｄ１の距離が小さくなるほど駆動不可能領域の表示色の濃度を濃くしてもよい。また、情報処理装置１００は、図２１に示した駆動不可能領域の表示に関し、透過度を距離に応じて変えてもよい（例えば、近付くほど明確に駆動不可能領域の表示色が表示されるようにしてもよい）。このように、情報処理装置１００は、投影指定位置と駆動境界（駆動可能領域の境界）との距離に応じて、ポインタやコンテンツ等の画像にかけるエフェクトの強さを制御する。具体的には、情報処理装置１００は、投影指定位置が駆動可能領域内に位置する際、投影指定位置と駆動境界との距離が短くなるほど、ポインタやコンテンツ等の画像にかけるエフェクトを強くする（図１３～図２１参照）。
　＜４－２．駆動不可能領域から駆動可能領域への指定におけるフィードバック＞
　次に、ユーザが投影指定位置を駆動不可能領域から駆動可能領域へ移動させた時のフィードバック例について説明する。
　まず、情報処理装置１００は、図２４に示すように、投影指定位置Ｐが駆動境界４１の外側、すなわち駆動不可能領域に指定されている場合、駆動型プロジェクタ３００を駆動可能領域まで駆動させる。次いで、情報処理装置１００は、投影指定位置Ｐを駆動不可能領域から駆動可能領域へ移動させるよう促すフィードバック提示を行う。
　例えば情報処理装置１００は、図２５左に示すように、投影環境の俯瞰マップと駆動可能領域とユーザがポインティングした位置の軌跡とを示す画像６３０を表示する。これによりユーザは、自身が駆動境界付近で投影指定位置を決定しようとしていたことを認識し、駆動可能領域内での指定を意識することができる。また、情報処理装置１００は、ユーザが理解し易いよう、図２５右に示すように、ユーザの視点からの俯瞰マップに変換した画像６３１を表示するようにしてもよい。
　また、情報処理装置１００は、図２６に示すように、駆動境界４１の外側（駆動不可能領域）に位置する投影指定位置Ｐに対し、ポインティング方向をベクトル６６ａで表示してもよい。この場合、駆動境界外に位置する投影指定位置Ｐに対応するポインタは表示されず、駆動境界内に移動した場合に、図２６右に示すように、ポインタ６１ａが表示される。これにより、投影指定位置Ｐを駆動不可能領域から駆動可能領域へ移動させるようユーザに促すことが可能となる。
　また、情報処理装置１００は、図２７に示すように、駆動境界４１外（駆動不可能領域）に位置する投影指定位置Ｐとの最短距離ｄ２（図２３参照）に応じた大きさのカーソル６７ａ（例えば円）を駆動境界上のうち投影指定位置Ｐの方向に表示してもよい。カーソル６７ａの大きさは、最短距離ｄ２が長くなるほど大きくなる。この場合、駆動境界外に位置する投影指定位置Ｐに対応するポインタは表示されず、投影指定位置Ｐが駆動境界内に入った場合に、図２７右に示すように、ポインタ６１ｂが表示される。これにより、投影指定位置Ｐを駆動不可能領域から駆動可能領域へ移動させるようユーザに促すことが可能となる。なお、最短距離ｄ２に応じたカーソル６７ａの変化は大きさに限定されず、色調（色合い、濃度、透過度）（例えば最短距離ｄ２が長くなるほど濃くなる）や形状（例えば最短距離ｄ２が長くなるほど形が変化する）、点滅（例えば最短距離ｄ２が長くなるほど多く点滅する）、動き（例えば最短距離ｄ２が長くなるほど大きく揺れる）等であってもよい。
　また、情報処理装置１００は、図２８に示すように、駆動境界４１から投影指定位置Ｐまでゴムのように伸びるカーソル６８ａを表示してもよい。なお、投影指定位置Ｐが投影画角外にポインティングされている場合、情報処理装置１００は、図２９左に示すように、駆動境界４１からポインティング方向に向かう吹き出し表示６９により表現してもよい。投影指定位置Ｐが投影画角外に入った場合、情報処理装置１００は、図２９中央および図２９右に示すように、ポインティング位置にポインタ６１ｄを表示してもよい。これにより、投影指定位置Ｐを駆動不可能領域から駆動可能領域へ移動させるようユーザに促すことが可能となる。
　＜４－３．駆動不可能領域内での一定時間以上の指定におけるフィードバック＞
　続いて、ユーザが、一定時間以上、駆動不可能領域を指定し続けている場合のフィードバック例を述べる。
　例えば情報処理装置１００は、図３０左に示すように、投影環境の俯瞰マップと駆動可能領域とユーザがポインティングした位置の軌跡とを示す画像６３２を表示する。これによりユーザは、自身が駆動境界外（すなわち、駆動不可能領域）で投影指定位置を決定しようとしていることを直感的に把握することができる。また、情報処理装置１００は、ユーザが理解し易いよう、図３０右に示すように、ユーザの視点からの俯瞰マップに変換した画像６３３を表示するようにしてもよい。
　また、情報処理装置１００は、図３１に示すように、ユーザのポインティング位置とは無関係に、駆動可能領域４０内に、ユーザにポインティングを促すＵＩ画像６５５を表示してもよい。なお、ＵＩ画像６５５に示した文言「ここにポインティングしてください。」は、音声により提示してもよい。
　＜＜５．応用例＞＞
　＜５－１．入力デバイスへのフィードバック＞
　上述した実施形態では、駆動型プロジェクタ３００を用いたフィードバック（音、画像、駆動による表現）を主として記載したが、加えて入力装置２００でフィードバックを行ってもよい。例えば、入力装置２００に触覚提示用の振動子を組み込み、投影指定位置Ｐが境界付近に近付いたタイミングで振動させるようにしてもよい。また、入力装置２００にＬＥＤ（可視光）を設け、投影指定位置Ｐが境界付近に近付いたタイミングで点灯や点滅させるなどしてもよい。また、入力装置２００がスマートフォンなどの端末の場合にも同様に、他のモーダルと組み合わせてフィードバックを行うことが可能である。
　＜５－２．複数の駆動型プロジェクタを用いたフィードバック＞
　また、駆動型プロジェクタ３００が複数台設置された環境において、複数の駆動型プロジェクタを用いたフィードバックを行ってもよい。この場合、情報処理装置１００は、それぞれの駆動型プロジェクタ３００の駆動範囲に対して和を取ることで、より広範囲をカバーする駆動可能領域を設定することが可能となる。また、駆動範囲が重なっている領域では、ある駆動型プロジェクタから異なる駆動型プロジェクタに投影を引き継ぐようにする。
　＜５－３．使用環境の適用例＞
　また、投影環境は、上述したような室内環境に限定されず、例えば車内環境であってもよい。例えば図３２左に示すように車内の天井部に駆動型プロジェクタ３００ａを設置したり、図３２右に示すように、車内中央に上向きに駆動型プロジェクタ３００ｂを設置し、任意の場所でコンテンツ視聴するようなユースケースにおいても、本実施形態によるフィードバック処理が適用可能となる。図３２に示す車内環境における駆動可能領域７０、７１は、各駆動型プロジェクタ３００ａ、３００ｂの駆動可能領域に基づくものを想定している。また、これに限定されず、座席や人がいる場所を除外した領域や、窓を除外した領域、また、外光により投影不可能な領域を除外した領域（動的に変化可）としてもよい。
　また、その他の使用環境としては、例えば図３３に示すように、会議室環境への適用が想定される。例えば図３３左に示すように会議室の天井部に駆動型プロジェクタ３００ｃを設置したり、図３３右に示すように、会議室のデスク上に駆動型プロジェクタ３００ｄを設置し、任意の場所でコンテンツ視聴するようなユースケースにおいても、本実施形態によるフィードバック処理が適用可能となる。図３３に示す会議室環境における駆動可能領域７２、７３は、各駆動型プロジェクタ３００ｃ、３００ｄの駆動可能領域、かつ座席場所を加味したもの（座席場所には駆動しない）を想定している。また、これに限定されず、人がいる場所を除外した領域や、窓を除外した領域（投影用のフィルムを張っていない場合）、また、外光により投影不可能な領域を除外した領域（動的に変化可）としてもよい。
　＜＜６．ハードウェア構成＞＞
　次に、図３４を参照して、本開示の実施形態に係る情報処理装置１００のハードウェア構成について説明する。図３４は、本開示の実施形態に係る情報処理装置１００のハードウェア構成例を示すブロック図である。
　図３４に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。情報処理装置１００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　ストレージ装置９１９は、情報処理装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置１００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１００と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続されるネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　以上、情報処理装置１００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　＜＜７．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザによる投影指定位置に対するフィードバックにより駆動可能領域の境界を認識させ、投影位置の決定や探索を容易にすることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１００、入力装置２００、または駆動型プロジェクタ３００に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１００、入力装置２００、または駆動型プロジェクタ３００の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力する処理と、を行う制御部を備える、情報処理装置。
（２）
　前記判定する状態には、前記投影指定位置と前記境界との距離が含まれ、
　前記制御部は、
　　前記投影指定位置と前記境界との距離に応じて前記エフェクトの強さを制御する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、
　　前記判定した状態に応じた前記エフェクトを、投影画像、音声出力、前記駆動型プロジェクタの駆動制御、または、前記投影指定位置の入力装置の振動制御に反映させることで前記フィードバックを行う、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、
　　前記投影指定位置が前記駆動可能領域の内側に位置している状態において、前記投影指定位置と近傍の前記境界との距離が短くなるほど前記エフェクトを強くする、前記（３）に記載の情報処理装置。
（５）
　前記制御部は、
　　前記エフェクトとして、前記投影指定位置に投影するポインタ画像またはコンテンツ画像の形状または色調を変化させる、前記（４）に記載の情報処理装置。
（６）
　前記制御部は、
　　前記エフェクトとして、前記投影指定位置に投影する前記ポインタ画像または前記コンテンツ画像を、前記投影指定位置が前記境界に近付くほど小さく、または、欠けさせる、前記（５）に記載の情報処理装置。
（７）
　前記制御部は、
　　前記エフェクトとして、前記ポインタ画像または前記コンテンツ画像の領域のうち、前記境界から外側に位置する部分は表示しない、前記（５）に記載の情報処理装置。
（８）
　前記制御部は、
　　前記エフェクトとして、前記ポインタ画像または前記コンテンツ画像が前記境界に近付き、前記境界に達した場合、前記ポインタ画像またはコンテンツ画像が前記境界にぶつかって揺れる表示、色調が変わる表示、点滅する表示、または跳ね返る表示を行う、前記（５）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記制御部は、
　　前記エフェクトとして、前記ポインタ画像または前記コンテンツ画像の領域のうち、前記境界から外側に位置する部分の色調を変化させる、前記（５）または（６）に記載の情報処理装置。
（１０）
　前記制御部は、
　　前記エフェクトとして、前記ポインタ画像または前記コンテンツ画像が前記境界の外側に出ないよう、投影画像内における描画位置を変化させる、前記（５）または（６）に記載の情報処理装置。
（１１）
　前記制御部は、
　　前記エフェクトとして、前記境界の外側の領域である駆動不可能領域を表示する、前記（４）に記載の情報処理装置。
（１２）
　前記制御部は、
　　前記投影指定位置が前記境界に近付くほど、前記駆動不可能領域の色調を強くする、前記（１１）に記載の情報処理装置。
（１３）
　前記制御部は、
　　前記投影指定位置が前記駆動可能領域の外側から内側に移動した状態の際、前記投影指定位置の軌跡と前記駆動可能領域とを示す前記投影環境空間の俯瞰画像を表示する、前記（１）に記載の情報処理装置。
（１４）
　前記制御部は、
　　前記投影指定位置が前記駆動可能領域の外側から内側に移動している状態の際、前記境界の線上に、前記境界と前記投影指定位置との最短距離に応じて変化するエフェクト画像を表示する、前記（２）に記載の情報処理装置。
（１５）
　前記制御部は、
　　前記投影指定位置が前記駆動可能領域の外側から内側に移動している状態の際、前記境界の線上から前記投影指定位置の方向に伸び、前記投影指定位置との距離に応じて変化するエフェクト画像を表示する、前記（２）に記載の情報処理装置。
（１６）
　前記制御部は、
　　前記投影指定位置が前記駆動可能領域の外側に一定時間位置している状態の際、前記投影指定位置の軌跡と前記駆動可能領域とを示す前記投影環境空間の俯瞰画像を表示する、前記（１）に記載の情報処理装置。
（１７）
　前記制御部は、
　　前記投影環境空間の環境変化に応じて、前記駆動可能領域を動的に変化させる、前記（１）～（１６）のいずれか１項に記載の情報処理装置。
（１８）
　前記制御部は、
　　前記駆動可能領域と、前記投影指定位置を検知するセンサの認識可能領域とが重なる領域の境界を、前記境界に決定する、前記（１）～（１７）のいずれか１項に記載の情報処理装置。
（１９）
　プロセッサが、
　投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力することを含む、情報処理方法。
（２０）
　コンピュータを、
　投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力する処理を行う制御部、として機能させるためのプログラムが記録された、記録媒体。
　１　情報処理システム
　１００　情報処理装置
　１１０　Ｉ／Ｆ部
　１２０　３次元空間認識部
　１３０　投影指定位置検知部
　１４０　駆動境界決定部
　１５０　状態判定部
　１６０　駆動制御部
　１７０　画像生成部
　１８０　音生成部
　２００　入力装置
　２１０　ＩＲ　ＬＥＤ
　２２０　通信モジュール
　３００　駆動型プロジェクタ
　３１０　出力部
　３１１　プロジェクタ
　３１２　超音波スピーカ
　３１３　スピーカ
　３２０　センサ
　３２１　カメラ
　３２２　俯瞰カメラ
　３２３　デプスセンサ
　３２４　測距センサ
　３２５　サーモセンサ
　３３０　駆動機構

Claims (20)

  1. 　投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力する処理を行う制御部を備える、情報処理装置。
  2. 　前記判定する状態には、前記投影指定位置と前記境界との距離が含まれ、
    　前記制御部は、
    　　前記投影指定位置と前記境界との距離に応じて前記エフェクトの強さを制御する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　　前記判定した状態に応じた前記エフェクトを、投影画像、音声出力、前記駆動型プロジェクタの駆動制御、または、前記投影指定位置の入力装置の振動制御に反映させることで前記フィードバックを行う、請求項２に記載の情報処理装置。
  4. 　前記制御部は、
    　　前記投影指定位置が前記駆動可能領域の内側に位置している状態において、前記投影指定位置と近傍の前記境界との距離が短くなるほど前記エフェクトを強くする、請求項３に記載の情報処理装置。
  5. 　前記制御部は、
    　　前記エフェクトとして、前記投影指定位置に投影するポインタ画像またはコンテンツ画像の形状または色調を変化させる、請求項４に記載の情報処理装置。
  6. 　前記制御部は、
    　　前記エフェクトとして、前記投影指定位置に投影する前記ポインタ画像または前記コンテンツ画像を、前記投影指定位置が前記境界に近付くほど小さく、または、欠けさせる、請求項５に記載の情報処理装置。
  7. 　前記制御部は、
    　　前記エフェクトとして、前記ポインタ画像または前記コンテンツ画像の領域のうち、前記境界から外側に位置する部分は表示しない、請求項５に記載の情報処理装置。
  8. 　前記制御部は、
    　　前記エフェクトとして、前記ポインタ画像または前記コンテンツ画像が前記境界に近付き、前記境界に達した場合、前記ポインタ画像またはコンテンツ画像が前記境界にぶつかって揺れる表示、色調が変わる表示、点滅する表示、または跳ね返る表示を行う、請求項５に記載の情報処理装置。
  9. 　前記制御部は、
    　　前記エフェクトとして、前記ポインタ画像または前記コンテンツ画像の領域のうち、前記境界から外側に位置する部分の色調を変化させる、請求項５に記載の情報処理装置。
  10. 　前記制御部は、
    　　前記エフェクトとして、前記ポインタ画像または前記コンテンツ画像が前記境界の外側に出ないよう、投影画像内における描画位置を変化させる、請求項５に記載の情報処理装置。
  11. 　前記制御部は、
    　　前記エフェクトとして、前記境界の外側の領域である駆動不可能領域を表示する、請求項４に記載の情報処理装置。
  12. 　前記制御部は、
    　　前記投影指定位置が前記境界に近付くほど、前記駆動不可能領域の色調を強くする、請求項１１に記載の情報処理装置。
  13. 　前記制御部は、
    　　前記投影指定位置が前記駆動可能領域の外側から内側に移動した状態の際、前記投影指定位置の軌跡と前記駆動可能領域とを示す前記投影環境空間の俯瞰画像を表示する、請求項１に記載の情報処理装置。
  14. 　前記制御部は、
    　　前記投影指定位置が前記駆動可能領域の外側から内側に移動している状態の際、前記境界の線上に、前記境界と前記投影指定位置との最短距離に応じて変化するエフェクト画像を表示する、請求項２に記載の情報処理装置。
  15. 　前記制御部は、
    　　前記投影指定位置が前記駆動可能領域の外側から内側に移動している状態の際、前記境界の線上から前記投影指定位置の方向に伸び、前記投影指定位置との距離に応じて変化するエフェクト画像を表示する、請求項２に記載の情報処理装置。
  16. 　前記制御部は、
    　　前記投影指定位置が前記駆動可能領域の外側に一定時間位置している状態の際、前記投影指定位置の軌跡と前記駆動可能領域とを示す前記投影環境空間の俯瞰画像を表示する、請求項１に記載の情報処理装置。
  17. 　前記制御部は、
    　　前記投影環境空間の環境変化に応じて、前記駆動可能領域を動的に変化させる、請求項１に記載の情報処理装置。
  18. 　前記制御部は、
    　　前記駆動可能領域と、前記投影指定位置を検知するセンサの認識可能領域とが重なる領域の境界を、前記境界に決定する、請求項１に記載の情報処理装置。
  19. 　プロセッサが、
    　投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力することを含む、情報処理方法。
  20. 　コンピュータを、
    　投影環境空間における駆動型プロジェクタの駆動可能領域とユーザが指定する投影指定位置とに基づいて判定された、前記駆動可能領域に対する前記投影指定位置の状態に応じて、前記駆動可能領域の境界に対応するエフェクトを示すフィードバックを出力する処理を行う制御部、として機能させるためのプログラムが記録された、記録媒体。
PCT/JP2018/047073 2018-03-16 2018-12-20 情報処理装置、情報処理方法、および記録媒体 Ceased WO2019176218A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/979,164 US11698578B2 (en) 2018-03-16 2018-12-20 Information processing apparatus, information processing method, and recording medium
DE112018007292.4T DE112018007292T5 (de) 2018-03-16 2018-12-20 Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren und aufzeichnungsmedium
CN201880090989.6A CN111819841B (zh) 2018-03-16 2018-12-20 信息处理装置、信息处理方法和存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018050019 2018-03-16
JP2018-050019 2018-03-16

Publications (1)

Publication Number Publication Date
WO2019176218A1 true WO2019176218A1 (ja) 2019-09-19

Family

ID=67906579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047073 Ceased WO2019176218A1 (ja) 2018-03-16 2018-12-20 情報処理装置、情報処理方法、および記録媒体

Country Status (4)

Country Link
US (1) US11698578B2 (ja)
CN (1) CN111819841B (ja)
DE (1) DE112018007292T5 (ja)
WO (1) WO2019176218A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7051031B1 (ja) * 2021-08-19 2022-04-08 三菱電機株式会社 情報処理装置及び検知システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115695743B (zh) * 2021-07-26 2024-12-10 成都极米科技股份有限公司 投影画面调节方法、装置及投影仪
JP2024065923A (ja) * 2022-10-31 2024-05-15 キヤノン株式会社 追尾撮像システム及びその制御方法、プログラム、記憶媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010078974A (ja) * 2008-09-26 2010-04-08 Panasonic Corp 投射型表示装置
JP2010243951A (ja) * 2009-04-09 2010-10-28 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2011077594A (ja) * 2009-09-29 2011-04-14 Panasonic Corp 画像撮影装置および画像表示装置およびその方法
JP2011154345A (ja) * 2009-12-28 2011-08-11 Sanyo Electric Co Ltd 投写型映像表示装置及び画像調整方法
JP2013003651A (ja) * 2011-06-13 2013-01-07 Sony Computer Entertainment Inc リスト表示装置
WO2016129489A1 (ja) * 2015-02-10 2016-08-18 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、記録媒体
WO2018012524A1 (ja) * 2016-07-12 2018-01-18 シャープ株式会社 投影装置、投影方法および投影制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316432A1 (en) * 2007-06-25 2008-12-25 Spotless, Llc Digital Image Projection System
JP2015056687A (ja) 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JPWO2015159548A1 (ja) 2014-04-18 2017-04-13 Ｎｅｃソリューションイノベータ株式会社 投影制御装置、投影制御方法及び投影制御プログラム
JP6417702B2 (ja) * 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6280005B2 (ja) 2014-08-28 2018-02-14 株式会社東芝 情報処理装置、画像投影装置および情報処理方法
JP2016085380A (ja) * 2014-10-27 2016-05-19 キヤノン株式会社 制御装置、制御方法、及び、プログラム
CN108701440B (zh) 2016-03-10 2021-10-15 索尼公司 信息处理设备、信息处理方法和程序

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010078974A (ja) * 2008-09-26 2010-04-08 Panasonic Corp 投射型表示装置
JP2010243951A (ja) * 2009-04-09 2010-10-28 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2011077594A (ja) * 2009-09-29 2011-04-14 Panasonic Corp 画像撮影装置および画像表示装置およびその方法
JP2011154345A (ja) * 2009-12-28 2011-08-11 Sanyo Electric Co Ltd 投写型映像表示装置及び画像調整方法
JP2013003651A (ja) * 2011-06-13 2013-01-07 Sony Computer Entertainment Inc リスト表示装置
WO2016129489A1 (ja) * 2015-02-10 2016-08-18 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、記録媒体
WO2018012524A1 (ja) * 2016-07-12 2018-01-18 シャープ株式会社 投影装置、投影方法および投影制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7051031B1 (ja) * 2021-08-19 2022-04-08 三菱電機株式会社 情報処理装置及び検知システム

Also Published As

Publication number Publication date
US20200401031A1 (en) 2020-12-24
CN111819841B (zh) 2023-07-18
DE112018007292T5 (de) 2020-12-31
CN111819841A (zh) 2020-10-23
US11698578B2 (en) 2023-07-11

Similar Documents

Publication Publication Date Title
CN109683716B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
JP6372487B2 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
JP6569726B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20180292907A1 (en) Gesture control system and method for smart home
US20220019288A1 (en) Information processing apparatus, information processing method, and program
JP6252409B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019520626A (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
JP6517255B2 (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム
EP2965299A1 (en) Modifying functionality based on distances between devices
CN107918481B (zh) 基于手势识别的人机交互方法与系统
JPWO2018051592A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019176218A1 (ja) 情報処理装置、情報処理方法、および記録媒体
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
KR20210015589A (ko) 전자 장치 및 이의 제어 방법
JP5342806B2 (ja) 表示方法および表示装置
KR20200121304A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2019130729A1 (ja) 情報処理装置、情報処理方法および情報処理システム
US11221684B2 (en) Information processing device, information processing method, and recording medium
CN109144235B (zh) 基于头手协同动作的人机交互方法与系统
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019139793A (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム及び記録媒体
US20250378575A1 (en) Tracking Occluded Objects in Hand
JP2025145162A (ja) 制御装置及び制御方法
CN119916927A (zh) 电子设备的控制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909941

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18909941

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP