[go: up one dir, main page]

WO2018116377A1 - 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム - Google Patents

現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム Download PDF

Info

Publication number
WO2018116377A1
WO2018116377A1 PCT/JP2016/087958 JP2016087958W WO2018116377A1 WO 2018116377 A1 WO2018116377 A1 WO 2018116377A1 JP 2016087958 W JP2016087958 W JP 2016087958W WO 2018116377 A1 WO2018116377 A1 WO 2018116377A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal device
processing
unit
receiving
object information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/087958
Other languages
English (en)
French (fr)
Inventor
謙太朗 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kid's Plates Co ltd
Original Assignee
Kid's Plates Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kid's Plates Co ltd filed Critical Kid's Plates Co ltd
Priority to PCT/JP2016/087958 priority Critical patent/WO2018116377A1/ja
Publication of WO2018116377A1 publication Critical patent/WO2018116377A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems

Definitions

  • the present invention relates to a processing device, a method, a program, and a processing system for performing processing for superimposing an object on a video obtained by imaging a real space.
  • VR virtual reality
  • AR augmented reality
  • the AR recognizes the environment in front of you directly by applying the location-based type that superimposes additional information on video using position information that can be acquired from GPS, etc., and technology such as image recognition and space recognition.
  • position information that can be acquired from GPS, etc.
  • technology such as image recognition and space recognition.
  • vision-based type that superimposes additional information on video by analyzing.
  • Patent Document 1 discloses a portable information terminal that uses a location-based AR to display a message corresponding to a real space situation that changes over time. Specifically, the portable information terminal obtains the imaging range of the GPS module and the position information calculation module that detects the current position of the own terminal and the camera module, and measures the distance from the absolute position of the own terminal to each object. Get detailed information acquisition module, message data and its absolute position information from message server, and based on distance to each object and message absolute position information, each object display range and message drawing range Judgment is made on the front and back relationship between the display range of the object and the drawing range of the message and their overlap. And a control unit for displaying.
  • the information added to the video by the portable information terminal described in Patent Document 1 is a message previously associated with various objects in the real space by the user, and does not give an effect to enjoy the change. Is static.
  • a processing device for processing a dynamic object that gives an action and enjoys a change by associating the augmented reality and the virtual reality with each other in a predetermined place in the real space
  • An object is to provide a processing system.
  • a processing device includes an object storage unit that stores object information, a first control unit that communicates with a first terminal device that performs processing related to augmented reality, and virtual reality.
  • a second control unit that communicates with a second terminal device that performs processing related to the first terminal device, the first control unit receiving a request from the first terminal device, and the object in response to the request
  • a first transmission unit configured to transmit object information stored in the storage unit to the first terminal device
  • the second control unit includes a second reception unit configured to receive an operation signal for the object from the second terminal device;
  • the second object reflected in the object information stored in the object storage unit is processed on the object corresponding to the operation signal received by the second receiving unit.
  • a second transmission unit that transmits the object information processed by the second object processing unit to the second terminal device, the first transmission unit after the processing by the second object processing unit Is transmitted to the first terminal device.
  • the processing method in one aspect of the present invention includes a first processing step for communicating with a first terminal device that performs processing relating to augmented reality, a second processing step for communicating with a second terminal device that performs processing relating to virtual reality,
  • the first processing step includes a first reception step of receiving a request from the first terminal device, and a first of transmitting object information stored in the object storage unit to the first terminal device in response to the request.
  • a second receiving step for receiving an operation signal for the object from the second terminal device, and a process corresponding to the operation signal received in the second receiving step for the object.
  • the second object processing step reflected in the object information stored in the object storage unit and the processing after the processing by the second object processing step. Includes a second transmission step of transmitting the object information to the second terminal device, wherein the first transmission step transmits the object information after processing by said second object processing step to the first terminal device.
  • a processing program includes a first processing step that communicates with a first terminal device that performs processing related to augmented reality, a second processing step that communicates with a second terminal device that performs processing related to virtual reality,
  • the first processing step includes a first reception step for receiving a request from the first terminal device, and object information stored in the object storage unit in response to the request. Transmitting to the first terminal device, and the second processing step receives the operation signal for the object from the second terminal device and the second receiving step.
  • a second object that performs processing corresponding to the operation signal on the object and reflects the object information stored in the object storage unit;
  • the object information is transmitted to the first terminal device.
  • a processing system includes an object storage unit that stores object information, a first control unit that communicates with a first terminal device that performs processing related to augmented reality, and a second terminal device that performs processing related to virtual reality
  • a processing system comprising: a second control unit that communicates with each other; and a plurality of terminal devices connected via a network, wherein the first control unit receives a request from the first terminal device.
  • the first transmission unit transmits the object information processed by the second object processing unit to the first terminal device.
  • the processing system 1 links augmented reality (AR) technology and virtual reality (VR) technology, and superimposes objects in the real space at a predetermined location by using AR or VR or AR.
  • AR augmented reality
  • VR virtual reality
  • a service is provided in which the object is affected by changing the shape or the like of the object.
  • the processing system 1 performs the following processing.
  • “Process 1” In one terminal device, an application (hereinafter referred to as an AR application) that can receive provision of a service using AR is activated, and an image of the real space acquired by the camera is displayed on the display. The object acquired from the processing device is displayed superimposed on the video.
  • “Process 2” An application (hereinafter referred to as a VR application) that can receive provision of a service using VR is started in another terminal device, and an object acquired from the processing device is displayed on the display, A predetermined operation is performed. For example, the shape of the object changes according to a predetermined operation.
  • “Process 3” In one terminal device, the shape and position of the displayed object change according to the change of the object by “Process 2”.
  • the processing system 1 is connected to a processing device 2, a first terminal device 5, and a second terminal device 7 via a network N.
  • the first terminal device 5 is a device including a camera 52 that can image a subject, a display 51 that displays the subject imaged by the camera 52, and the like, for example, a smartphone or a tablet.
  • FIG. 2A is a diagram illustrating the surface of the first terminal device 5
  • FIG. 2B is a diagram illustrating the back surface of the first terminal device 5.
  • the first terminal device 5 detects a sensor (for example, a GPS sensor) that detects the position of the device, a sensor (for example, an acceleration sensor) that detects the orientation and inclination of the device, and a direction.
  • a sensor for example, a gyro sensor
  • a sensor for example, a gyro sensor
  • the first terminal device 5 is installed with an AR application that can receive an AR service from the processing device 2.
  • the AR application can grasp the posture (tilt) and direction (direction in which the optical axis of the camera is directed) of the camera 52 based on signals from the respective sensors built in the first terminal device 5. .
  • the first terminal device 5 is provided from the processing device 2 to continuously displayed images while continuously acquiring and displaying images in the real space with the camera 52 using the AR application. Process to superimpose objects.
  • the second terminal device 7 has the same configuration as the first terminal device 5 although not shown.
  • the second terminal device 7 is installed with a VR application that can receive a VR service from the processing device 2.
  • the second terminal device 7 is set in a dedicated VR viewer, or a VR service (game or the like) provided from the processing device 2 using the VR application by connecting a goggle for VR. ).
  • both the AR application and the VR application may be installed.
  • the AR application when an area where an object appears due to AR is near from home, the AR application is used to participate in the game outdoors, and when an area where an object appears due to AR is far from home, the VR application is used to play a game at home. Can participate in.
  • the AR application when used, it is referred to as the first terminal device 5, and when the VR application is used, it is referred to as the second terminal device 7.
  • the first terminal device 5 may mean an individual first terminal device, or may mean the entire plurality of first terminal devices.
  • the 2nd terminal device 7 may mean each 2nd terminal device, and the whole several 2nd terminal device may be meant.
  • the processing device 2 includes an object storage unit 10, a first control unit 20, and a second control unit 30.
  • the object storage unit 10 stores object information.
  • the 1st control part 20 communicates with the 1st terminal unit 5 which performs processing about augmented reality (AR).
  • the 2nd control part 30 communicates with the 2nd terminal unit 7 which performs processing about virtual reality (VR).
  • AR augmented reality
  • VR virtual reality
  • the object information includes information on the position on the map where the object appears virtually (hereinafter referred to as position information), information on the shape of the object (hereinafter referred to as shape information), and the like.
  • the object is data formed in a predetermined format, and various forms are conceivable depending on the use of the service.
  • the predetermined format is, for example, a 3D file format such as FBX or OBJ, but may be another format (VRML, X3D, DXF, etc.).
  • the object When the service is a game (AR game or VR game), the object is, for example, a spaceship or a fighter plane as shown in FIGS. Further, when the service is an advertisement (AR advertisement or VR advertisement), the object is an advertisement (for example, “O ⁇ department store sale” as shown in FIGS. 3C, 3D, and 3E), for example. ! “Etc.) are displayed, such as ad balloons, airships, billboards, etc. Services are not limited to games and advertisements.
  • the position information is information indicating the position on the map where the object appears virtually (the position may be anywhere in the world as well as in Japan). For example, by using a service that provides map information, a place where an object appears virtually by AR can be specified on the map.
  • the object storage unit 10 stores a table in which information (latitude, longitude, height) of a place where an object virtually appears is associated with an object ID.
  • the shape information is information indicating the three-dimensional shape or state of the object. Although details will be described later, the shape and state of the object change according to the operation of the user of the first terminal device 5 or the second terminal device 7. That is, the shape information is a concept including the shape or state of the original object before the change and the shape or state of the object after the change.
  • the first control unit 20 includes a first reception unit 21, a first transmission unit 22, and a first object processing unit 23.
  • the second control unit 30 includes a second reception unit 31, a second transmission unit 32, and a second object processing unit 33.
  • the first receiving unit 21 receives a request from the first terminal device 5.
  • the first transmission unit 22 transmits the object information stored in the object storage unit 10 to the first terminal device 5 in response to the request.
  • the second receiving unit 31 receives an operation signal for the object from the second terminal device 7.
  • the 2nd terminal device 7 starts the VR application, participates in the game which the processing apparatus 2 provides, and assumes the case where operation (for example, operation, such as an attack) is performed with respect to the object in a game. Yes.
  • the second object processing unit 33 performs processing corresponding to the operation signal received by the second receiving unit 31 on the object, and reflects the object information stored in the object storage unit 10. Specifically, the second object processing unit 33 changes the position of the object or changes the state of the object based on processing corresponding to the operation signal. For example, when the operation signal is a signal for attacking the object, the second object processing unit 33 performs a process in which a part of the object is damaged by the attack (for example, a process in which white smoke rises).
  • the second transmission unit 32 transmits the object information (information on the shape and position of the object) after processing by the second object processing unit 33 to the second terminal device 7. That is, on the display 71 of the second terminal device 7, for example, as shown in FIG. 5A, from the state where the object X 2 is displayed in the game space X 1, as shown in FIG. In response, the object X2 ′ that has caused white smoke to rise is displayed in a displayed state.
  • FIG. 5 shows an example in which a displayed image is composed of a left-eye screen and a right-eye screen so that the displayed image can be viewed three-dimensionally by VR.
  • the first transmission unit 22 transmits the object information (information on the shape and position of the object) after processing by the second object processing unit 33 to the first terminal device 5. That is, from the state where the object X2 is superimposed on the video X3 in the real space on the display 51 of the first terminal device 5 as shown in FIG. As shown in FIG. 6B, a state is displayed in which the object X2 'that has been attacked and caused white smoke to rise is displayed.
  • the first receiving unit 21 receives an operation signal for the virtually displayed object from the first terminal device 5.
  • the first object processing unit 23 performs processing corresponding to the operation signal received by the first receiving unit 21 on the object and reflects the object information stored in the object storage unit 10. Specifically, the first object processing unit 23 changes the position of the object or changes the state of the object based on processing corresponding to the operation signal. For example, when the operation signal is a signal that attacks the object, the first object processing unit 23 performs a process such that the object is tilted by the attack.
  • the first transmission unit 22 transmits the object information (information on the shape and position of the object) after processing by the first object processing unit 23 to the first terminal device 5. That is, on the display 51 of the first terminal device 5, for example, as shown in FIG. 7A, from the state where the object X2 is superimposed on the video X3 in the real space, as shown in FIG. 7B. The state in which the tilted object X2 ′′ is changed to the displayed state is displayed.
  • the second transmission unit 32 transmits the object information (information on the shape and position of the object) after processing by the first object processing unit 23 to the second terminal device 7. That is, on the display 71 of the second terminal device 7, as in the first terminal device 5, for example, as shown in FIG. 8A, from the state where the object X 2 is displayed in the game space X 1, FIG. As shown in (b), the state in which the object X2 ′′ tilted by the attack changes to the displayed state is displayed.
  • FIG. 8 shows an example in which a displayed image is configured with a left-eye screen and a right-eye screen so that the displayed image can be viewed three-dimensionally with VR.
  • the processing system 1 uses the VR by the second terminal device 7 when the first terminal device 5 performs an operation on the object using the AR in a service that links the AR and the VR.
  • the processing corresponding to the operation is reflected in the displayed object in real time, and the first terminal device 5 displays the AR using the AR when the second terminal device 7 operates the object using the VR.
  • the processing corresponding to the operation can be reflected in real time on the object that is being processed.
  • the processing system 1 transmits object information to the first terminal device 5 and performs processing related to AR on the first terminal device 5 side, data processing frequently occurs between the first terminal device 5 and the processing device 2. Transmission / reception is not performed, and the processing load on the processing device 2 can be reduced.
  • the AR-related processing includes, for example, arithmetic processing related to determining whether an object is in an area where the object appears virtually due to AR, processing for recalculating the position of the object when the place is moved, and the like.
  • a second person who participates in the game using the Web (hereinafter referred to as a Web player) using a PC or the like in the first environment 100 (home, event venue, etc.) and the second.
  • a person who participates in a game (hereinafter referred to as an AR player) using the AR by the first terminal device 5 in the environment 101 (area where an object by AR appears) and a third environment 102 (home, event venue, etc.)
  • a person who participates in a game using VR by the second terminal device 7 (hereinafter referred to as a VR player) proceeds with the data being linked to each other.
  • a predetermined condition may be provided.
  • the configuration may be such that when a user participates in a game using AR and reaches a predetermined level, the authority to participate in the game using VR is given.
  • the Web player may be configured such that the number of objects that can be used increases according to the game level.
  • the Web player manages the location where the object appears on the map.
  • the AR player can virtually display the object selected by the Web player on the display of the first terminal device 5 at a specific place (area where the object by AR appears).
  • the VR player can display the object selected by the Web player in VR by connecting to a specific link destination (URL or the like).
  • the first terminal device 5 downloads object information from the processing device 2 when the AR application is activated.
  • the object information includes information such as the shape of the object, information about the place where the object appears virtually (latitude, longitude, height), and information about the area where the object appears virtually (hereinafter referred to as area information). ) Etc. are included.
  • the area information is, for example, information on an area (area) in which a radius r is determined centering on the appearance position (latitude, longitude) of the object.
  • the radius r is, for example, several tens of meters or hundreds of meters, and can be arbitrarily set by an administrator.
  • the shape of the area is described as being circular. However, the shape is not limited to a circle, and may be an ellipse or a rectangle.
  • the area A in which an object appears is defined by a circle having a radius r centered on the appearance position of the object (C in FIG. 10) in the map M as shown in FIG.
  • the area A in which an object appears is defined by a circle having a radius r centered on the appearance position of the object (C in FIG. 10) in the map M as shown in FIG.
  • the AR player operates the first terminal device 5 to activate the AR application.
  • the AR application calculates the current position (latitude, longitude) based on the signal from the built-in GPS sensor.
  • the first terminal device 5 refers to the area information based on the calculated position and determines whether or not the user is in the area A on the map M.
  • the notification method may be a method of displaying a predetermined message or image on the display, may be notified by sound or vibrator, or a combination of these.
  • the first terminal device 5 calculates the orientation and direction of the camera based on the signal from the built-in sensor.
  • the first terminal device 5 refers to the object information (latitude and longitude information where the object appears virtually) and determines that the camera is facing the appearance position of the object
  • the first terminal device 5 acquires the reality acquired by the camera. The object is superimposed on the image of the space.
  • the size and sound of the object may be changed depending on the distance to the appearance position of the object.
  • the information regarding the place where the object appears virtually is not limited to the latitude and longitude information, but may be information indicating the range where the object appears virtually.
  • the information has an object appearance range (A1 in FIG. 11) defined in the map M.
  • the object is displayed at the center position of the appearance range.
  • the AR player operates the first terminal device 5 to activate the AR application.
  • the AR application calculates the current position (latitude, longitude) of the terminal itself based on a signal from the built-in GPS sensor.
  • the first terminal device 5 determines whether or not it is within the appearance range of the object based on the calculated position.
  • the first terminal device 5 calculates the center position (C1 in FIG. 11) of the appearance range from the current position (latitude, longitude) of the terminal itself.
  • the first terminal device 5 performs processing so that the object is superimposed on the calculated center position.
  • the object information does not need the latitude and longitude information, and it is sufficient if there is information indicating the range in which the object appears virtually.
  • the web player can send a message to the team as a means of communication.
  • the Web player operates the PC and transmits a message “UFO appears in NY ⁇ !”.
  • AR player, VR player on the display of another player (AR player, VR player) of the same team as the Web player, “Web: NY UFO appears!” Is displayed.
  • the friend AR player can confirm the message, move to the vicinity of XX (place name, building name, etc.) in the message, and use the first terminal device 5 to participate in the game by AR.
  • the ally VR player can confirm the message, connect to a predetermined site using the VR application of the second terminal device 7, and participate in the game by VR.
  • the friend AR player and the friend VR player can reply to a message from the Web player using the message function.
  • the web player can send a message to the enemy team.
  • the Web player operates the PC and transmits a message “Now, invade NY XX!”. Then, on the display of the player of the Web player and the enemy team, “Enemy Web: Invite NY's XX!” Is displayed.
  • the enemy AR player can confirm the message, move to the vicinity of XX (place name, building name, etc.) in the message, and use the first terminal device 5 to prepare for the invasion.
  • the enemy VR player can confirm the message, connect to a predetermined site using the VR application of the second terminal device 7, and prepare for invasion by the VR. Further, the AR player and the VR player cannot reply to a message from an enemy web player.
  • a terminal device operated by the Web player the AR player, and the VR player
  • settings for publishing a message to an SNS may be performed.
  • SNS Social Networking Service
  • the excitement of a game can be transmitted with respect to the other user who has not participated in the game through SNS.
  • a Twitter (registered trademark) hashtag application link may be added to the message.
  • a user who knows the game through SNS is expected to participate as a new player.
  • the message between players may be freely created by a sentence creation function, or a regular message may be selected from a predetermined command format menu for time saving. Note that the fixed message can be freely changed.
  • each player can communicate by operating his / her terminal device and making a voice call in real time.
  • the AR player can attack the object X2 by operating the first terminal device 5 (operation of directly tapping the object X2 displayed on the display or shaking the terminal device).
  • the processing device 2 changes the shape and position of the object X2 according to the operation of the first terminal device 5.
  • the Web player can see how the object X2 is changed by the AR player attack on the PC.
  • the VR player can see how the object X2 is changed by the AR player attack due to the VR by the second terminal device 7.
  • the VR player operates the second terminal device 7 (operations such as shaking the terminal device or operating control buttons displayed on the display), and activates its own object (fighter in FIG. 13).
  • the target object UFO in FIG. 13
  • the processing device 2 changes the shape and position of the target object according to the operation of the second terminal device 7.
  • the Web player can see how the target object is changed by the attack of the VR player by the PC.
  • the AR player can see how the target object is changed by the attack of the VR player by the first terminal device 5.
  • An object based on AR may be displayed more realistically using a technique based on AI (artificial intelligence).
  • AI artificial intelligence
  • a predetermined algorithm that can recognize the sky included in the image is incorporated in the AR application.
  • the predetermined algorithm may be an algorithm that recognizes the sky by machine learning or an algorithm that recognizes the sky by deep learning.
  • the AR application when the AR application is activated and the real space image X1 acquired from the camera is displayed on the display 51, the AR application recognizes the sky by a predetermined algorithm. To do.
  • the AR application superimposes the object X2 only on the empty part. That is, the AR application can virtually superimpose the object X2 between the sky and the building as shown in FIG.
  • the processing system 1 can be used for purposes other than games, for example, using advertisements.
  • the user operates the first terminal device 5 and activates the AR application at a first position in an area where an AR object appears (hereinafter referred to as an appearance area).
  • an appearance area As shown in FIG. 15A, the AR application superimposes the advertising object X2 on the video X1 in the real space. In this state, since the advertisement is not visible, the user moves to the second position in the appearance area.
  • the AR application superimposes the advertising object X2 on the real space video X1 ′ at the second position. In this state, it is possible to recognize the character of the ad balloon advertisement “Oh!
  • the object X3 imitating the VR user appears and the state in which the advertising object X2 changes is shown in AR. Is displayed.
  • the processing system 1 uses the service that links the AR and the VR for the advertisement, so that the AR user not only collects information while moving the place, but also creates the object by the VR user's operation. You can enjoy the change and increase the chances of seeing advertisements for many AR users.
  • the first control unit 20 communicates with the first terminal device that performs processing related to augmented reality (first processing step).
  • first processing step includes the following steps S1 to S3.
  • the second control unit 30 communicates with the second terminal device that performs processing related to virtual reality (second processing step).
  • the second processing step includes the following steps S11 to S13.
  • step S1 the first receiving unit 21 receives a request from the first terminal device 5 (first receiving step).
  • step S2 the first transmission unit 22 transmits the object information stored in the object storage unit 10 to the first terminal device 5 in response to the request (first transmission step).
  • the first terminal device 5 uses the AR application to continuously acquire the real space video with the camera 52 and display it on the display 51, while the object is displayed on the video continuously displayed based on the object information. To superimpose.
  • step S11 the second receiving unit 31 receives an operation signal for the object from the second terminal device 7 (second receiving step).
  • the second terminal device 7 starts a VR application, participates in a game provided by the processing device 2, and performs an operation (for example, an operation such as an attack) on an object in the game. is doing.
  • step S12 the second object processing unit 33 performs processing corresponding to the operation signal received in step S11 on the object and reflects the object information stored in the object storage unit 10 (second object processing). Process).
  • step S13 the second transmission unit 32 transmits the object information after the process in the step S12 to the second terminal device 7 (second transmission step).
  • step S3 the first transmission unit 22 transmits the object information after the processing in the step S12 to the first terminal device 5.
  • the processing system 1 uses the VR by the second terminal device 7 when the first terminal device 5 performs an operation on the object using the AR in a service that links the AR and the VR.
  • the processing corresponding to the operation is reflected in the displayed object in real time, and the first terminal device 5 displays the AR using the AR when the second terminal device 7 operates the object using the VR.
  • the processing corresponding to the operation can be reflected in real time on the object that is being processed.
  • the processing system 1 transmits object information to the first terminal device 5 and performs processing related to AR on the first terminal device 5 side, data processing frequently occurs between the first terminal device 5 and the processing device 2. Transmission / reception is not performed, and the processing load on the processing device 2 can be reduced.
  • the AR-related processing includes, for example, arithmetic processing related to determining whether an object is in an area where the object appears virtually due to AR, processing for recalculating the position of the object when the place is moved, and the like.
  • the program includes a first processing step that communicates with the first terminal device 5 that performs processing related to augmented reality, and a second processing step that communicates with the second terminal device 7 that performs processing related to virtual reality.
  • the first processing step includes a first reception step of receiving a request from the first terminal device 5 and a first transmission step of transmitting object information stored in the object storage unit 10 to the first terminal device 5 in response to the request. And comprising.
  • a second reception step for receiving an operation signal for the object from the second terminal device 7 and a process corresponding to the operation signal received in the second reception step are performed on the object.
  • the object information after the processing in the second object processing step is transmitted to the first terminal device 5.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system.
  • “computer-readable recording medium” means a program that dynamically holds a program in a short period of time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory inside a computer system that serves as a server or a client may also include a program that holds a program for a certain period of time.
  • the program may be for realizing a part of the above-described functions, and may be capable of realizing the above-described functions in combination with a program already recorded in the computer system. .
  • 1 processing system 2 processing device, 5 first terminal device, 7 second terminal device, 10 object storage unit, 20 first control unit, 21 first receiving unit, 22 first transmitting unit, 23 first object processing unit, 30 second control unit, 31 second reception unit, 32 second transmission unit, 33 second object processing unit, 52 camera, 51, 71 display, 100 first environment, 101 second environment, 102 third environment, N network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

第１制御部２０は、拡張現実に関する処理を行う第１端末装置５と通信を行い、第１端末装置５からリクエストを受信する第１受信部２１と、リクエストに応じてオブジェクト記憶部１０に記憶されているオブジェクト情報を第１端末装置５に送信する第１送信部２２と、を備える。第２制御部３０は、仮想現実に関する処理を行う第２端末装置７と通信を行い、オブジェクトに対する操作信号を第２端末装置７から受信する第２受信部３１と、操作信号に対応する処理をオブジェクトに対して行い、オブジェクト記憶部１０に記憶されるオブジェクト情報に反映する第２オブジェクト処理部３３と、第２オブジェクト処理部３３による処理後のオブジェクト情報を第２端末装置７に送信する第２送信部３２と、を備える。第１送信部２２は、第２オブジェクト処理部３３による処理後のオブジェクト情報を第１端末装置５に送信する。

Description

現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム
　本発明は、現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システムに関する。
　情報処理の分野では、コンピュータグラフィックスにより仮想的な現実空間を構成する仮想現実（ＶＲ；Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）や、現実空間を撮像した映像に何らかの情報を追加することで、目の前にある現実以上の情報を提示する拡張現実（ＡＲ；Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）に関する研究が進められている。
　ＡＲには、ＧＰＳ等から取得可能な位置情報を利用して付加情報を映像に重畳するロケーションベース型と、画像認識や空間認識等の技術を応用して直接目の前にある環境を認識し、解析することで付加情報を映像に重畳するビジョンベース型がある。
　ここで、特許文献１では、ロケーションベース型のＡＲを利用して、時間の経過とともに変化する現実空間の状況に対応してメッセージを表示する携帯情報端末が開示されている。具体的には、携帯情報端末は、自端末の現在位置を検出するＧＰＳモジュールおよび位置情報算出モジュールと、カメラモジュールの撮像範囲を求めるとともに、自端末の絶対位置から各対象物までの距離を計測する詳細情報取得モジュールと、メッセージサーバからメッセージデータとその絶対位置情報を取得し、各対象物までの距離とメッセージの絶対位置情報、各対象物の表示範囲とメッセージの描画範囲を基に、対象物の表示範囲とメッセージの描画範囲の前後関係及びそれらの重なりを判定し、前後関係が前となるメッセージと、対象物の表示範囲に重ならない描画範囲のメッセージのみを撮像映像上に重畳して表示させる制御部とを備える。
特開２０１０－１７１６６４号公報
　しかしながら、特許文献１に記載の携帯情報端末により映像に付加される情報は、予めユーザによって現実空間の様々な対象物に関連付けられたメッセージであり、作用を与えて変化を楽しんだりするものではなく、静的なものである。
　本発明では、拡張現実と仮想現実とを連携することで、作用を与えて変化を楽しんだりする動的なオブジェクトを現実空間の所定の場所に関連付けるように処理する処理装置、方法、プログラム、および処理システムを提供することを目的とする。
　上記目的を達成するために、本発明の一態様における処理装置は、オブジェクト情報を記憶するオブジェクト記憶部と、拡張現実に関する処理を行う第１端末装置と通信を行う第１制御部と、仮想現実に関する処理を行う第２端末装置と通信を行う第２制御部と、を備え、前記第１制御部は、第１端末装置からリクエストを受信する第１受信部と、前記リクエストに応じて前記オブジェクト記憶部に記憶されているオブジェクト情報を第１端末装置に送信する第１送信部と、を備え、前記第２制御部は、オブジェクトに対する操作信号を第２端末装置から受信する第２受信部と、前記第２受信部で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第２オブジェクト処理部と、前記第２オブジェクト処理部による処理後のオブジェクト情報を第２端末装置に送信する第２送信部と、を備え、前記第１送信部は、前記第２オブジェクト処理部による処理後のオブジェクト情報を第１端末装置に送信する。
　本発明の一態様における処理方法は、拡張現実に関する処理を行う第１端末装置と通信を行う第１処理工程と、仮想現実に関する処理を行う第２端末装置と通信を行う第２処理工程と、を備え、前記第１処理工程は、第１端末装置からリクエストを受信する第１受信工程と、前記リクエストに応じてオブジェクト記憶部に記憶されているオブジェクト情報を第１端末装置に送信する第１送信工程と、を備え、前記第２処理工程は、オブジェクトに対する操作信号を第２端末装置から受信する第２受信工程と、前記第２受信工程で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第２オブジェクト処理工程と、前記第２オブジェクト処理工程による処理後のオブジェクト情報を第２端末装置に送信する第２送信工程と、を備え、前記第１送信工程は、前記第２オブジェクト処理工程による処理後のオブジェクト情報を第１端末装置に送信する。
　本発明の一態様における処理プログラムは、拡張現実に関する処理を行う第１端末装置と通信を行う第１処理工程と、仮想現実に関する処理を行う第２端末装置と通信を行う第２処理工程と、をコンピュータによって実現するための処理プログラムであって、前記第１処理工程は、第１端末装置からリクエストを受信する第１受信工程と、前記リクエストに応じてオブジェクト記憶部に記憶されているオブジェクト情報を第１端末装置に送信する第１送信工程と、を備え、前記第２処理工程は、オブジェクトに対する操作信号を第２端末装置から受信する第２受信工程と、前記第２受信工程で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第２オブジェクト処理工程と、前記第２オブジェクト処理工程による処理後のオブジェクト情報を第２端末装置に送信する第２送信工程と、を備え、前記第１送信工程は、前記第２オブジェクト処理工程による処理後のオブジェクト情報を第１端末装置に送信する。
　本発明の一態様における処理システムは、オブジェクト情報を記憶するオブジェクト記憶部と、拡張現実に関する処理を行う第１端末装置と通信を行う第１制御部と、仮想現実に関する処理を行う第２端末装置と通信を行う第２制御部と、を備える処理装置と、複数の端末装置とがネットワークを介して接続されている処理システムであって、前記第１制御部は、第１端末装置からリクエストを受信する第１受信部と、前記リクエストに応じて前記オブジェクト記憶部に記憶されているオブジェクト情報を第１端末装置に送信する第１送信部と、を備え、前記第２制御部は、オブジェクトに対する操作信号を第２端末装置から受信する第２受信部と、前記第２受信部で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第２オブジェクト処理部と、前記第２オブジェクト処理部による処理後のオブジェクト情報を第２端末装置に送信する第２送信部と、を備え、前記第１送信部は、前記第２オブジェクト処理部による処理後のオブジェクト情報を第１端末装置に送信する。
　本発明によれば、見て楽しんだり、作用を与えて変化を楽しんだりする動的なオブジェクトを現実空間の所定の場所に関連付けることができる。
処理システムの構成を示す図である。 第１端末装置の外観の構成を示す図である。 オブジェクトの形状の一例を示す図である。 オブジェクト情報の一例を模式的に示す図である。 第２端末装置に表示される画面の一例を示す図である。 第１端末装置に表示される画面の一例を示す図である。 第１端末装置に表示される画面の一例を示す図である。 第２端末装置に表示される画面の一例を示す図である。 対戦型ゲームに利用された場合におけるプレーヤの構成を模式的に示す図である。 ＡＲによりオブジェクトを出現させるエリアについての説明に供する図である。 オブジェクトが仮想的に出現する範囲を示す情報についての説明に供する図である。 ＡＲプレーヤによる攻撃についての説明に供する図である。 ＶＲプレーヤによる攻撃についての説明に供する図である。 ＡＲによるオブジェクトの表示にＡＩを利用する場合の説明に供する図である。 広告に利用された場合についての説明に供する図である。 処理システムによるＡＲとＶＲの連携処理を行う手順についての説明に供するタイミングチャートである。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　処理システム１は、拡張現実（ＡＲ；Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）による技術と、仮想現実（ＶＲ；Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）による技術を連携させ、所定の場所において、ＡＲによりオブジェクトを現実空間に重畳させて、ＶＲやＡＲにより当該オブジェクトに作用を与えてオブジェクトの形状などを変化させて楽しむサービスを提供する。
　処理システム１は、例えば、以下のような処理を行う。
「処理１」：一の端末装置において、ＡＲを利用したサービスの提供を受けることができるアプリケーション（以下、ＡＲアプリという。）が起動され、カメラによって取得された現実空間の映像がディスプレイに表示され、当該映像に処理装置から取得したオブジェクトが重畳して表示される。
「処理２」：他の端末装置において、ＶＲを利用したサービスの提供を受けることができるアプリケーション（以下、ＶＲアプリという。）が起動され、処理装置から取得したオブジェクトがディスプレイに表示され、オブジェクトに対して所定の操作を行う。例えば、オブジェクトは、所定の操作によって、形状が変化する。
「処理３」：一の端末装置において、「処理２」によるオブジェクトの変化に応じて、表示されているオブジェクトの形状や位置が変化する。
　＜処理システムの構成＞
　以下に、処理システム１の具体的な構成と動作について図を用いて説明する。処理システム１は、図１に示すように、ネットワークＮを介して、処理装置２と、第１端末装置５と、第２端末装置７とが接続されている。
　第１端末装置５は、図２に示すように、被写体を撮像可能なカメラ５２と、カメラ５２で撮像した被写体を表示するディスプレイ５１などを備える装置であり、例えば、スマートフォンやタブレットなどである。図２（ａ）は、第１端末装置５の表面を示す図であり、図２（ｂ）は、第１端末装置５の裏面を示す図である。
　また、第１端末装置５は、図示しないが、装置の位置を検出するセンサ（例えば、ＧＰＳセンサ）や、装置の向きや傾きなどを検出するセンサ（例えば、加速度センサ）や、方角を検出するセンサ（例えば、ジャイロセンサ）などが内蔵されている。
　また、第１端末装置５は、処理装置２からＡＲのサービスを受けることができるＡＲアプリがインストールされている。ＡＲアプリは、第１端末装置５に内蔵されている各センサからの信号に基づいて、カメラ５２の姿勢（傾き）や方角（カメラの光軸が向いている方角）などを把握することができる。
　第１端末装置５は、ＡＲアプリを利用して、カメラ５２で現実空間の映像を連続的に取得してディスプレイ５１に表示しつつ、連続的に表示される映像に処理装置２から提供されるオブジェクトを重畳する処理を行う。
　第２端末装置７は、図示しないが、第１端末装置５と同様の構成である。また、第２端末装置７は、処理装置２からＶＲのサービスを受けることができるＶＲアプリがインストールされている。第２端末装置７は、例えば、専用のＶＲビュアーにセットされ、または、ＶＲ用のゴーグルが接続されることにより、ＶＲアプリを利用して、処理装置２から提供されるＶＲのサービス（ゲームなど）を受けることができる。
　また、ＡＲアプリとＶＲアプリの双方がインストールされている場合がある。例えば、ＡＲによりオブジェクトが出現するエリアが自宅から近いときには、ＡＲアプリを利用して屋外でゲームに参加し、ＡＲによりオブジェクトが出現するエリアが自宅から遠いときには、ＶＲアプリを利用して自宅でゲームに参加することができる。本実施例では、ＡＲアプリを利用する場合には、第１端末装置５と称し、ＶＲアプリを利用する場合には、第２端末装置７と称する。
　また、本実施形態では、第１端末装置５とは、個々の第１端末装置を意味する場合と、複数の第１端末装置の全体を意味する場合がある。同様に、第２端末装置７とは、個々の第２端末装置を意味する場合と、複数の第２端末装置の全体を意味する場合がある。
　＜処理装置の構成＞
　処理装置２は、オブジェクト記憶部１０と、第１制御部２０と、第２制御部３０と、を備える。オブジェクト記憶部１０は、オブジェクト情報を記憶する。第１制御部２０は、拡張現実（ＡＲ）に関する処理を行う第１端末装置５と通信を行う。第２制御部３０は、仮想現実（ＶＲ）に関する処理を行う第２端末装置７と通信を行う。
　オブジェクト情報とは、オブジェクトが仮想的に出現するマップ上の位置の情報（以下、位置情報という。）や、オブジェクトの形状等の情報（以下、形状等情報という。）などが含まれている。
　＜オブジェクト＞
　ここで、オブジェクトについて説明する。オブジェクトは、所定のフォーマットで形成されたデータであり、サービスの用途に応じて様々な形態が考えられる。なお、所定のフォーマットとは、例えば、ＦＢＸやＯＢＪなどの３Ｄファイルフォーマットであるが、他のフォーマット（ＶＲＭＬ、Ｘ３Ｄ、ＤＸＦなど）でもよい。
　サービスがゲーム（ＡＲゲームやＶＲゲーム）の場合には、オブジェクトは、例えば、図３（ａ）、（ｂ）に示すように、宇宙船や戦闘機などである。また、サービスが広告（ＡＲ広告やＶＲ広告）の場合には、オブジェクトは、例えば、図３（ｃ）、（ｄ）、（ｅ）に示すように、広告（例えば、「〇△デパートセール中！」など）が表示されるアドバルーンや、飛行船や、広告板などである。なお、サービスは、ゲームや広告に限られない。
　＜位置情報＞
　つぎに、位置情報について説明する。位置情報とは、オブジェクトが仮想的に出現するマップ上の位置（位置は、日本国内だけでなく世界のどこでもよい。）を示す情報である。例えば、地図情報を提供するサービスを利用することにより、オブジェクトがＡＲによって仮想的に出現する場所をマップ上で指定することができる。
　例えば、オブジェクト記憶部１０には、図４に示すように、オブジェクトＩＤにオブジェクトが仮想的に出現される場所の情報（緯度、経度、高さ）が関連付けられたテーブルが記憶されている。
　＜形状等情報＞
　つぎに、形状等情報について説明する。形状等情報とは、オブジェクトの三次元の形状または状態を示す情報である。また、詳細は後述するが、オブジェクトは、第１端末装置５や第２端末装置７のユーザによる操作によって形状や状態が変化する。つまり、形状等情報は、変化前のオリジナルのオブジェクトの形状または状態と、変化後のオブジェクトの形状または状態を含む概念である。
　＜第１制御部と第２制御部の構成と動作＞
　第１制御部２０は、図１に示すように、第１受信部２１と、第１送信部２２と、第１オブジェクト処理部２３と、を備える。第２制御部３０は、図１に示すように、第２受信部３１と、第２送信部３２と、第２オブジェクト処理部３３と、を備える。
　第１受信部２１は、第１端末装置５からリクエストを受信する。第１送信部２２は、リクエストに応じてオブジェクト記憶部１０に記憶されているオブジェクト情報を第１端末装置５に送信する。
　＜ＶＲによりオブジェクトの形状等が変化する場合の構成＞
　ここで、第２端末装置７の操作によってオブジェクトに対して作用が与えられた場合の各構成要素の動作について説明する。
　第２受信部３１は、オブジェクトに対する操作信号を第２端末装置７から受信する。なお、第２端末装置７は、ＶＲアプリを起動し、処理装置２が提供するゲームに参加し、ゲーム中のオブジェクトに対して操作（例えば、攻撃などの操作）を行った場合を想定している。
　第２オブジェクト処理部３３は、第２受信部３１で受信した操作信号に対応する処理をオブジェクトに対して行い、オブジェクト記憶部１０に記憶されるオブジェクト情報に反映する。具体的には、第２オブジェクト処理部３３は、操作信号に対応する処理に基づいて、オブジェクトの位置の変更、またはオブジェクトの状態の変更を行う。例えば、第２オブジェクト処理部３３は、操作信号がオブジェクトを攻撃する信号の場合、オブジェクトの一部が攻撃により損壊を受けたような処理（例えば、白煙が立ち上るような処理）を行う。
　第２送信部３２は、第２オブジェクト処理部３３による処理後のオブジェクト情報（オブジェクトの形状や位置の情報）を第２端末装置７に送信する。つまり、第２端末装置７のディスプレイ７１には、例えば、図５（ａ）に示すように、ゲーム空間Ｘ１にオブジェクトＸ２が表示されている状態から、図５（ｂ）に示すように、攻撃を受けて白煙を立ち上らせたオブジェクトＸ２´が表示された状態に変化する様子が映し出される。なお、図５は、表示されている画像がＶＲにより３次元的に視認できるように、左目用画面と右目用画面で構成されている例を示している。
　また、第１送信部２２は、第２オブジェクト処理部３３による処理後のオブジェクト情報（オブジェクトの形状や位置の情報）を第１端末装置５に送信する。つまり、第１端末装置５のディスプレイ５１には、第２端末装置７と同様に、例えば、図６（ａ）に示すように、現実空間の映像Ｘ３にオブジェクトＸ２が重畳されている状態から、図６（ｂ）に示すように、攻撃を受けて白煙を立ち上らせたオブジェクトＸ２´が表示された状態に変化する様子が映し出される。
　＜ＡＲによりオブジェクトの形状等が変化する場合の構成＞
　つぎに、第１端末装置５の操作によってオブジェクトに対して作用が与えられた場合の各構成要素の動作について説明する。
　第１受信部２１は、仮想的に表示されているオブジェクトに対する操作信号を第１端末装置５から受信する。第１オブジェクト処理部２３は、第１受信部２１で受信した操作信号に対応する処理をオブジェクトに対して行い、オブジェクト記憶部１０に記憶されるオブジェクト情報に反映する。具体的には、第１オブジェクト処理部２３は、操作信号に対応する処理に基づいて、オブジェクトの位置の変更、またはオブジェクトの状態の変更を行う。例えば、第１オブジェクト処理部２３は、操作信号がオブジェクトを攻撃する信号の場合、攻撃によりオブジェクトが傾くような処理を行う。
　第１送信部２２は、第１オブジェクト処理部２３による処理後のオブジェクト情報（オブジェクトの形状や位置の情報）を第１端末装置５に送信する。つまり、第１端末装置５のディスプレイ５１には、例えば、図７（ａ）に示すように、現実空間の映像Ｘ３にオブジェクトＸ２が重畳されている状態から、図７（ｂ）に示すように、攻撃を受けて傾いたオブジェクトＸ２´´が表示された状態に変化する様子が映し出される。
　第２送信部３２は、第１オブジェクト処理部２３による処理後のオブジェクト情報（オブジェクトの形状や位置の情報）を第２端末装置７に送信する。つまり、第２端末装置７のディスプレイ７１には、第１端末装置５と同様に、例えば、図８（ａ）に示すように、ゲーム空間Ｘ１にオブジェクトＸ２が表示されている状態から、図８（ｂ）に示すように、攻撃を受けて傾いたオブジェクトＸ２´´が表示された状態に変化する様子が映し出される。なお、図８は、表示されている画像がＶＲにより３次元的に視認できるように、左目用画面と右目用画面で構成されている例を示している。
　このようにして、処理システム１は、ＡＲとＶＲを連携するサービスにおいて、第１端末装置５によりＡＲを利用してオブジェクトに対する操作を行ったときに、第２端末装置７によりＶＲを利用して表示されているオブジェクトに当該操作に対応する処理をリアルタイムに反映し、第２端末装置７によりＶＲを利用してオブジェクトに対する操作を行ったときに、第１端末装置５によりＡＲを利用して表示されているオブジェクトに当該操作に対応する処理をリアルタイムに反映することができる。
　また、処理システム１は、オブジェクト情報を第１端末装置５に送信し、ＡＲに関する処理を第１端末装置５側で行うので、第１端末装置５と処理装置２との間で頻繁にデータの送受信が行われず、処理装置２の処理負担を軽減することができる。なお、ＡＲに関する処理とは、例えば、ＡＲによりオブジェクトが仮想的に出現するエリアにいるかどうかの判断に関する演算処理や、場所を移動したときにオブジェクトの位置などを再計算する処理などである。
　＜実施例＞
　ここで、処理システム１を利用した具体的なサービス（対戦型のゲーム）について、図９～図１４を参照しながら説明する。
　対戦型のゲームでは、図９に示すように、第１環境１００（自宅やイベント会場など）でＰＣなどによりＷｅｂを利用してゲームに参加する者（以下、Ｗｅｂプレーヤという。）と、第２環境１０１（ＡＲによるオブジェクトが出現するエリア）で第１端末装置５によりＡＲを利用してゲームに参加する者（以下、ＡＲプレーヤという。）と、第３環境１０２（自宅やイベント会場など）で第２端末装置７によりＶＲを利用してゲームに参加する者（以下、ＶＲプレーヤという。）とが相互にデータを連携させて進行する。なお、ＶＲを利用してゲームに参加するために、所定の条件を設けてもよい。例えば、ＡＲを利用してゲームに参加し、所定のレベルに到達した場合に、ＶＲを利用してゲームに参加する権限が与えられるような構成でもよい。また、Ｗｅｂプレーヤは、ゲームのレベルに応じて、利用できるオブジェクトの数が増えてゆく構成でもよい。
　Ｗｅｂプレーヤは、オブジェクトを出現させる場所をマップ上で管理する。ＡＲプレーヤは、Ｗｅｂプレーヤによって選択されたオブジェクトを、特定の場所（ＡＲによるオブジェクトが出現するエリア）で第１端末装置５のディスプレイに仮想的に表示させることができる。
　ＶＲプレーヤは、特定のリンク先（ＵＲＬなど）に接続することにより、Ｗｅｂプレーヤによって選択されたオブジェクトをＶＲ表示させることができる。
　＜ＡＲによりオブジェクトが表示される手順＞
　第１端末装置５は、ＡＲアプリを起動したときに、処理装置２からオブジェクト情報をダウンロードする。オブジェクト情報には、オブジェクトの形状等の情報と、オブジェクトが仮想的に出現する場所に関する情報（緯度、経度、高さ）と、オブジェクトを仮想的に出現させるエリアの情報（以下、エリア情報という。）などが含まれている。
　エリア情報とは、例えば、オブジェクトの出現位置（緯度、経度）を中心として、半径ｒが定められた領域（エリア）の情報である。半径ｒは、例えば、数十メートル、数百メートルなどであり、管理者が任意に設定することができる。なお、本実施例では、エリアの形状は、円形であるとして説明するが、円形に限らず、楕円形や矩形でもよい。
　ここで、第１端末装置５のディスプレイにＡＲによりオブジェクトが表示される手順について説明する。なお、以下では、オブジェクトを出現させるエリアＡが、図１０に示すように、マップＭにおいて、オブジェクトの出現位置（図１０中のＣ）を中心にして、半径ｒの円形で定められているものとする。
　ＡＲプレーヤは、第１端末装置５を操作し、ＡＲアプリを起動する。このとき、ＡＲアプリは、内蔵されているＧＰＳセンサからの信号に基づいて、現在の位置（緯度、経度）を算出する。第１端末装置５は、算出した位置に基づいて、エリア情報を参照し、マップＭ上のエリアＡに入っているかどうかを判断する。
　第１端末装置５は、エリアＡに入っていると判断した場合、オブジェクトが仮想的に出現する場所にいる旨の通知を行う。なお、通知方法は、ディスプレイに所定のメッセージや画像を表示する方法でもよいし、音やバイブレータで通知してもよいし、これらを組み合わせて通知してもよい。
　つぎに、第１端末装置５は、内蔵されているセンサからの信号に基づいて、カメラの姿勢および方角を算出する。第１端末装置５は、オブジェクト情報（オブジェクトが仮想的に出現する緯度と経度の情報）を参照し、カメラがオブジェクトの出現位置を向いていると判断した場合には、カメラによって取得された現実空間の映像にオブジェクトを重畳する。
　また、エリアＡ内において、オブジェクトの出現位置までの距離によって、オブジェクトの大きさや音（オブジェクトが発する音など）が変化する構成でもよい。
　また、オブジェクトが仮想的に出現する場所に関する情報は、緯度と経度の情報に限らず、オブジェクトが仮想的に出現する範囲を示す情報でもよい。例えば、当該情報は、図１１に示すように、マップＭにおいて、オブジェクトの出現範囲（図１１中のＡ１）が定められている。また、例えば、オブジェクトは、出現範囲の中心位置に表示されるものとする。
　ＡＲプレーヤは、第１端末装置５を操作し、ＡＲアプリを起動する。このとき、ＡＲアプリは、内蔵されているＧＰＳセンサからの信号に基づいて、自端末の現在の位置（緯度、経度）を算出する。第１端末装置５は、算出した位置に基づいて、オブジェクトの出現範囲に入っているかどうかを判断する。第１端末装置５は、出現範囲に入っていると判断した場合、自端末の現在の位置（緯度、経度）から出現範囲の中心位置（図１１中のＣ１）を計算する。第１端末装置５は、計算した中心位置にオブジェクトが重畳されるように処理する。
　当該構成によれば、オブジェクト情報に緯度と経度の情報を必要とせず、オブジェクトが仮想的に出現する範囲を示す情報があればよいメリットがある。
　＜コミュニケーション機能＞
　Ｗｅｂプレーヤは、味方チームにコミュニケーションの一手段としてメッセージを送信することができる。例えば、Ｗｅｂプレーヤは、ＰＣを操作して、「ＮＹの○○にＵＦＯが出現！」とメッセージを送信する。そうすると、当該Ｗｅｂプレーヤと同じチームの他のプレーヤ（ＡＲプレーヤ、ＶＲプレーヤ）のディスプレイには、「Ｗｅｂ：ＮＹの○○にＵＦＯが出現！」などと表示される。例えば、味方ＡＲプレーヤは、当該メッセージを確認し、メッセージ中の○○（地名や建物名など）付近に移動し、第１端末装置５を利用して、ＡＲによりゲームに参加することができる。また、味方ＶＲプレーヤは、当該メッセージを確認し、第２端末装置７のＶＲアプリを利用して所定のサイトに接続し、ＶＲによりゲームに参加することができる。また、味方ＡＲプレーヤおよび味方ＶＲプレーヤは、メッセージ機能を利用して、Ｗｅｂプレーヤからのメッセージに対して返信することもできる。
　また、Ｗｅｂプレーヤは、敵チームにメッセージを送信することができる。例えば、Ｗｅｂプレーヤは、ＰＣを操作して、「これからＮＹの○○を侵略する！」とメッセージを送信する。そうすると、当該Ｗｅｂプレーヤと敵チームの各プレーヤのディスプレイには、「敵Ｗｅｂ：これからＮＹの○○を侵略する！」などと表示される。例えば、敵ＡＲプレーヤは、当該メッセージを確認し、メッセージ中の○○（地名や建物名など）付近に移動し、第１端末装置５を利用して、ＡＲにより侵略に備えることができる。また、敵ＶＲプレーヤは、当該メッセージを確認し、第２端末装置７のＶＲアプリを利用して所定のサイトに接続し、ＶＲにより侵略に備えることができる。また、ＡＲプレーヤおよびＶＲプレーヤは、敵のＷｅｂプレーヤからのメッセージに対して返信することができない。
　また、Ｗｅｂプレーヤ、ＡＲプレーヤおよびＶＲプレーヤが操作する端末装置において、メッセージをＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）に公開するための設定が行えてもよい。当該構成によれば、ＳＮＳを通じて、ゲームに参加していない他のユーザに対してゲームの盛り上がりなどを発信することができる。例えば、ツイッター（登録商標）のハッシュタグアプリのリンクがメッセージに付加されてもよい。このような構成によれば、ＳＮＳを通じてゲームを知ったユーザが新たなプレーヤとして参加することが期待される。
　また、プレーヤ同士のメッセージは、文章作成機能によって自由に作成する構成でもよいし、時間短縮のため、予め定められたコマンド形式のメニューから定型のメッセージを選択する構成でもよい。なお、定型のメッセージは、自由に変更することができる。
　上述では、メッセージについて説明したが、プレーヤ同士のコミュニケーションは、メッセージに限らず、音声によって実現されてもよい。例えば、各プレーヤは、自身の端末装置を操作して、リアルタイムに音声通話を行うことによりコミュニケーションを図ることができる。
　＜ＡＲプレーヤによる攻撃＞
　つぎに、ＡＲプレーヤによる攻撃の一例について、図１２を参照しながら説明する。ＡＲプレーヤは、第１端末装置５を操作（ディスプレイに表示されているオブジェクトＸ２を直接タップしたり、端末装置を振ったりする操作）して、オブジェクトＸ２を攻撃することができる。処理装置２は、第１端末装置５の操作に応じて、オブジェクトＸ２の形状や位置を変化させる。
　Ｗｅｂプレーヤは、ＰＣによりＡＲプレーヤの攻撃によってオブジェクトＸ２が変化する様子を見ることができる。また、ＶＲプレーヤは、第２端末装置７によるＶＲによって、ＡＲプレーヤの攻撃によってオブジェクトＸ２が変化する様子を見ることができる。
　＜ＶＲプレーヤによる攻撃＞
　つぎに、ＶＲプレーヤによる攻撃の一例について、図１３を参照しながら説明する。ＶＲプレーヤは、第２端末装置７を操作（端末装置を振る操作や、ディスプレイに表示されているコントロールボタンなどを操作）して、自機オブジェクト（図１３中の戦闘機）を出動させて、対象オブジェクト（図１３中のＵＦＯ）を攻撃することができる。処理装置２は、第２端末装置７の操作に応じて、対象オブジェクトの形状や位置を変化させる。
　Ｗｅｂプレーヤは、ＰＣによりＶＲプレーヤの攻撃によって対象オブジェクトが変化する様子を見ることができる。また、ＡＲプレーヤは、第１端末装置５によって、ＶＲプレーヤの攻撃によって対象オブジェクトが変化する様子を見ることができる。
　＜ＡＲによるオブジェクトの表示にＡＩを利用する構成＞
　ＡＩ（人工知能）による技術を利用して、ＡＲによるオブジェクトをよりリアルに表示してもよい。例えば、画像に含まれている空を認識できる所定のアルゴリズムをＡＲアプリに組み込んでおく。なお、所定のアルゴリズムとは、機械学習により空を認識するアルゴリズムでもよいし、ディープラーニングにより空を認識するアルゴリズムでもよい。
　例えば、図１４（ａ）に示すように、ＡＲアプリが起動して、ディスプレイ５１にカメラから取得した現実空間の映像Ｘ１が表示されたときに、ＡＲアプリは、所定のアルゴリズムにより、空を認識する。そして、ＡＲアプリは、空の部分にのみオブジェクトＸ２を重畳する。つまり、ＡＲアプリは、図１４（ｂ）に示すように、空と建物の間にオブジェクトＸ２を仮想的に重畳することができる。
　＜他の実施例＞
　処理システム１は、ゲーム以外にも利用することができ、例えば、広告利用が考えられる。ユーザは、ＡＲによるオブジェクトが出現するエリア（以下、出現エリアという。）内の第１の位置において、第１端末装置５を操作してＡＲアプリを起動する。ＡＲアプリは、図１５（ａ）に示すように、現実空間の映像Ｘ１に広告オブジェクトＸ２を重畳する。この状態では、広告が見えないので、ユーザは、出現エリア内において第２の位置に移動する。
　ＡＲアプリは、図１５（ｂ）に示すように、第２の位置における現実空間の映像Ｘ１´に広告オブジェクトＸ２を重畳する。この状態では、アドバルーンの広告「〇△デパートでセール中！」の文字を認識することができる。
　また、第２端末装置７のユーザがＶＲによって広告オブジェクトＸ２に対して操作（例えば、蹴る操作）を行うと、ＶＲのユーザを模したオブジェクトＸ３が登場し、広告オブジェクトＸ２が変化する様子がＡＲにより表示される。
　このようにして、処理システム１は、ＡＲとＶＲを連携するサービスを広告に利用することにより、ＡＲのユーザが場所を移動しながら情報を収集するだけでなく、ＶＲのユーザの操作によるオブジェクトの変化を楽しむことができ、多くのＡＲユーザに広告を目にする機会を増やすことができる。
　＜方法＞
　つぎに、処理システム１によるＡＲとＶＲの連携処理を行う手順について、図１６に示すタイミングチャートを用いて説明する。
　第１制御部２０は、拡張現実に関する処理を行う第１端末装置と通信を行う（第１処理工程）。なお、第１処理工程は、以下に示すステップＳ１～Ｓ３の各工程により構成されている。
　第２制御部３０は、仮想現実に関する処理を行う第２端末装置と通信を行う（第２処理工程）。なお、第２処理工程は、以下に示すステップＳ１１～Ｓ１３の各工程により構成されている。
　ステップＳ１において、第１受信部２１は、第１端末装置５からリクエストを受信する（第１受信工程）。
　ステップＳ２において、第１送信部２２は、リクエストに応じてオブジェクト記憶部１０に記憶されているオブジェクト情報を第１端末装置５に送信する（第１送信工程）。第１端末装置５は、ＡＲアプリを利用して、カメラ５２で現実空間の映像を連続的に取得してディスプレイ５１に表示しつつ、オブジェクト情報に基づいて、連続的に表示される映像にオブジェクトを重畳する処理を行う。
　ステップＳ１１において、第２受信部３１は、オブジェクトに対する操作信号を第２端末装置７から受信する（第２受信工程）。本工程では、第２端末装置７は、ＶＲアプリを起動し、処理装置２が提供するゲームに参加し、ゲーム中のオブジェクトに対して操作（例えば、攻撃などの操作）を行った場合を想定している。
　ステップＳ１２において、第２オブジェクト処理部３３は、ステップＳ１１の工程で受信した操作信号に対応する処理をオブジェクトに対して行い、オブジェクト記憶部１０に記憶されるオブジェクト情報に反映する（第２オブジェクト処理工程）。
　ステップＳ１３において、第２送信部３２は、ステップＳ１２の工程による処理後のオブジェクト情報を第２端末装置７に送信する（第２送信工程）。
　ステップＳ３において、第１送信部２２は、ステップＳ１２の工程による処理後のオブジェクト情報を第１端末装置５に送信する。
　このようにして、処理システム１は、ＡＲとＶＲを連携するサービスにおいて、第１端末装置５によりＡＲを利用してオブジェクトに対する操作を行ったときに、第２端末装置７によりＶＲを利用して表示されているオブジェクトに当該操作に対応する処理をリアルタイムに反映し、第２端末装置７によりＶＲを利用してオブジェクトに対する操作を行ったときに、第１端末装置５によりＡＲを利用して表示されているオブジェクトに当該操作に対応する処理をリアルタイムに反映することができる。
　また、処理システム１は、オブジェクト情報を第１端末装置５に送信し、ＡＲに関する処理を第１端末装置５側で行うので、第１端末装置５と処理装置２との間で頻繁にデータの送受信が行われず、処理装置２の処理負担を軽減することができる。なお、ＡＲに関する処理とは、例えば、ＡＲによりオブジェクトが仮想的に出現するエリアにいるかどうかの判断に関する演算処理や、場所を移動したときにオブジェクトの位置などを再計算する処理などである。
　＜プログラム＞
　また、本実施例では、主に、ＡＲとＶＲとを連携したサービスを行う処理システム１の構成と動作について説明したが、これに限られず、各構成要素を備え、ＡＲとＶＲとを連携したサービスを行うための方法、およびプログラムとして構成されてもよい。
　また、処理システム１を構成する各機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
　具体的には、当該プログラムは、拡張現実に関する処理を行う第１端末装置５と通信を行う第１処理工程と、仮想現実に関する処理を行う第２端末装置７と通信を行う第２処理工程と、をコンピュータによって実現するためのプログラムである。第１処理工程は、第１端末装置５からリクエストを受信する第１受信工程と、リクエストに応じてオブジェクト記憶部１０に記憶されているオブジェクト情報を第１端末装置５に送信する第１送信工程と、を備える。第２処理工程は、オブジェクトに対する操作信号を第２端末装置７から受信する第２受信工程と、第２受信工程で受信した操作信号に対応する処理をオブジェクトに対して行い、オブジェクト記憶部１０に記憶されるオブジェクト情報に反映する第２オブジェクト処理工程と、第２オブジェクト処理工程による処理後のオブジェクト情報を第２端末装置７に送信する第２送信工程と、を備える。第１送信工程は、第２オブジェクト処理工程による処理後のオブジェクト情報を第１端末装置５に送信する。
　さらに、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短期間で動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
１　処理システム、２　処理装置、５　第１端末装置、７　第２端末装置、１０　オブジェクト記憶部、２０　第１制御部、２１　第１受信部、２２　第１送信部、２３　第１オブジェクト処理部、３０　第２制御部、３１　第２受信部、３２　第２送信部、３３　第２オブジェクト処理部、５２　カメラ、５１，７１　ディスプレイ、１００　第１環境、１０１　第２環境、１０２　第３環境、Ｎ　ネットワーク

Claims (8)

  1. 　オブジェクト情報を記憶するオブジェクト記憶部と、
    　拡張現実に関する処理を行う第１端末装置と通信を行う第１制御部と、
    　仮想現実に関する処理を行う第２端末装置と通信を行う第２制御部と、を備え、
    　前記第１制御部は、
    　　第１端末装置からリクエストを受信する第１受信部と、
    　　前記リクエストに応じて前記オブジェクト記憶部に記憶されているオブジェクト情報を第１端末装置に送信する第１送信部と、を備え、
    　前記第２制御部は、
    　　オブジェクトに対する操作信号を第２端末装置から受信する第２受信部と、
    　　前記第２受信部で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第２オブジェクト処理部と、
    　　前記第２オブジェクト処理部による処理後のオブジェクト情報を第２端末装置に送信する第２送信部と、を備え、
    　前記第１送信部は、前記第２オブジェクト処理部による処理後のオブジェクト情報を第１端末装置に送信する処理装置。
  2. 　前記第１受信部は、仮想的に表示されているオブジェクトに対する操作信号を第１端末装置から受信し、
    　前記第１制御部は、前記第１受信部で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第１オブジェクト処理部を備え、
    　前記第１送信部は、前記第１オブジェクト処理部による処理後のオブジェクト情報を第１端末装置に送信し、
    　前記第２送信部は、前記第１オブジェクト処理部による処理後のオブジェクト情報を第２端末装置に送信する請求項１記載の処理装置。
  3. 　前記オブジェクト記憶部が記憶するオブジェクト情報は、オブジェクトが表示されるマップ上の位置を示す情報を含む請求項１または２記載の処理装置。
  4. 　前記オブジェクト記憶部が記憶するオブジェクト情報は、オブジェクトの三次元の形状または状態を示す情報を含む請求項１から３の何れか一項に記載の処理装置。
  5. 　前記第１オブジェクト処理部および第２オブジェクト処理部は、前記操作信号に対応する処理に基づいて、オブジェクトの位置の変更、またはオブジェクトの状態の変更を行う請求項２に記載の処理装置。
  6. 　拡張現実に関する処理を行う第１端末装置と通信を行う第１処理工程と、
    　仮想現実に関する処理を行う第２端末装置と通信を行う第２処理工程と、を備え、
    　前記第１処理工程は、
    　　第１端末装置からリクエストを受信する第１受信工程と、
    　　前記リクエストに応じてオブジェクト記憶部に記憶されているオブジェクト情報を第１端末装置に送信する第１送信工程と、を備え、
    　前記第２処理工程は、
    　　オブジェクトに対する操作信号を第２端末装置から受信する第２受信工程と、
    　　前記第２受信工程で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第２オブジェクト処理工程と、
    　　前記第２オブジェクト処理工程による処理後のオブジェクト情報を第２端末装置に送信する第２送信工程と、を備え、
    　前記第１送信工程は、前記第２オブジェクト処理工程による処理後のオブジェクト情報を第１端末装置に送信する処理方法。
  7. 　拡張現実に関する処理を行う第１端末装置と通信を行う第１処理工程と、
    　仮想現実に関する処理を行う第２端末装置と通信を行う第２処理工程と、をコンピュータによって実現するための処理プログラムであって、
    　前記第１処理工程は、
    　　第１端末装置からリクエストを受信する第１受信工程と、
    　　前記リクエストに応じてオブジェクト記憶部に記憶されているオブジェクト情報を第１端末装置に送信する第１送信工程と、を備え、
    　前記第２処理工程は、
    　　オブジェクトに対する操作信号を第２端末装置から受信する第２受信工程と、
    　　前記第２受信工程で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第２オブジェクト処理工程と、
    　　前記第２オブジェクト処理工程による処理後のオブジェクト情報を第２端末装置に送信する第２送信工程と、を備え、
    　前記第１送信工程は、前記第２オブジェクト処理工程による処理後のオブジェクト情報を第１端末装置に送信する処理プログラム。
  8. 　オブジェクト情報を記憶するオブジェクト記憶部と、拡張現実に関する処理を行う第１端末装置と通信を行う第１制御部と、仮想現実に関する処理を行う第２端末装置と通信を行う第２制御部と、を備える処理装置と、複数の端末装置とがネットワークを介して接続されている処理システムであって、
    　前記第１制御部は、
    　　第１端末装置からリクエストを受信する第１受信部と、
    　　前記リクエストに応じて前記オブジェクト記憶部に記憶されているオブジェクト情報を第１端末装置に送信する第１送信部と、を備え、
    　前記第２制御部は、
    　　オブジェクトに対する操作信号を第２端末装置から受信する第２受信部と、
    　　前記第２受信部で受信した操作信号に対応する処理をオブジェクトに対して行い、前記オブジェクト記憶部に記憶されるオブジェクト情報に反映する第２オブジェクト処理部と、
    　　前記第２オブジェクト処理部による処理後のオブジェクト情報を第２端末装置に送信する第２送信部と、を備え、
    　前記第１送信部は、前記第２オブジェクト処理部による処理後のオブジェクト情報を第１端末装置に送信する処理システム。
PCT/JP2016/087958 2016-12-20 2016-12-20 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム Ceased WO2018116377A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/087958 WO2018116377A1 (ja) 2016-12-20 2016-12-20 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/087958 WO2018116377A1 (ja) 2016-12-20 2016-12-20 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム

Publications (1)

Publication Number Publication Date
WO2018116377A1 true WO2018116377A1 (ja) 2018-06-28

Family

ID=62626091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087958 Ceased WO2018116377A1 (ja) 2016-12-20 2016-12-20 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム

Country Status (1)

Country Link
WO (1) WO2018116377A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021163500A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP7369259B1 (ja) 2022-09-27 2023-10-25 雅史 高尾 情報同期システム、情報同期プログラム及び情報同期方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175439A (ja) * 2010-02-24 2011-09-08 Sony Corp 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP2016522463A (ja) * 2013-03-11 2016-07-28 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175439A (ja) * 2010-02-24 2011-09-08 Sony Corp 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP2016522463A (ja) * 2013-03-11 2016-07-28 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021163500A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
JP7369259B1 (ja) 2022-09-27 2023-10-25 雅史 高尾 情報同期システム、情報同期プログラム及び情報同期方法
WO2024071172A1 (ja) * 2022-09-27 2024-04-04 雅史 高尾 情報同期システム、情報同期プログラム及び情報同期方法
JP2024048002A (ja) * 2022-09-27 2024-04-08 雅史 高尾 情報同期システム、情報同期プログラム及び情報同期方法

Similar Documents

Publication Publication Date Title
JP6316387B2 (ja) 広範囲同時遠隔ディジタル提示世界
JP6470356B2 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP6342024B1 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6637650B2 (ja) ゲームプログラム、コンピュータの制御方法、情報処理装置、画像出力装置、画像出力方法および画像出力プログラム
CN114288654B (zh) 直播互动方法、装置、设备、存储介质及计算机程序产品
JP6615732B2 (ja) 情報処理装置および画像生成方法
JP6392945B1 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2021522910A (ja) 仮想オブジェクトの情報表示方法並びにその、アプリケーション・プログラム、装置、端末及びサーバ
CN109634413B (zh) 对虚拟环境进行观察的方法、设备及存储介质
US20200342683A1 (en) Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
CN112138390B (zh) 对象提示方法、装置、计算机设备及存储介质
CN117085322B (zh) 基于虚拟场景的互动观察方法、装置、设备及介质
JP2019200627A (ja) データ処理プログラム、データ処理方法、および、データ処理装置
KR20200060361A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN109806583B (zh) 用户界面显示方法、装置、设备及系统
CN111744185A (zh) 虚拟对象控制方法、装置、计算机设备及存储介质
CN113171613A (zh) 组队对局方法、装置、设备及存储介质
WO2018116377A1 (ja) 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム
JP2019008392A (ja) コンテンツ提供方法、当該方法をコンピュータに実行させるプログラム、およびコンテンツ提供装置
CN112973116B (zh) 虚拟场景画面展示方法、装置、计算机设备及存储介质
JP6952065B2 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
US11632529B2 (en) Projecting content onto water to enhance computer simulation
JP2019021324A (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP6974253B2 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20250303291A1 (en) Enabling the tracking of a remote-play client in virtual reality without additional sensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16924254

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16924254

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP