[go: up one dir, main page]

WO2025057668A1 - キャリブレーション方法及び座標変換ツール - Google Patents

キャリブレーション方法及び座標変換ツール Download PDF

Info

Publication number
WO2025057668A1
WO2025057668A1 PCT/JP2024/029471 JP2024029471W WO2025057668A1 WO 2025057668 A1 WO2025057668 A1 WO 2025057668A1 JP 2024029471 W JP2024029471 W JP 2024029471W WO 2025057668 A1 WO2025057668 A1 WO 2025057668A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate
tool
orientation
computer
calibration method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/029471
Other languages
English (en)
French (fr)
Inventor
風太 井股
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of WO2025057668A1 publication Critical patent/WO2025057668A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means

Definitions

  • the present invention relates to a calibration method and a coordinate conversion tool, and in particular to a calibration method for treating the results of pen input performed on a tablet terminal as an object in XR space, and a coordinate conversion tool for implementing the calibration method.
  • Patent Document 1 discloses a technology that enables editing of 3D objects using a tablet terminal.
  • a tracker is placed on the tablet terminal. Then, the position and orientation of the tablet terminal in real space are detected based on the position and orientation of this tracker in real space.
  • Patent Document 1 makes it difficult to easily use tablet devices with XR technology.
  • one of the objectives of the present invention is to provide a calibration method and coordinate conversion tool that enables tablet devices to be easily used in XR technology.
  • a calibration method is a calibration method executed by a computer, in which the computer calculates a conversion rule for performing a coordinate conversion process that converts first coordinates that specify a position on the surface indicated by a stylus into second coordinates that specify a position in XR space, based on the position and orientation of a coordinate conversion tool contained in an image obtained by photographing the coordinate conversion tool located on the surface of a device having a digitizer.
  • a coordinate conversion tool is a coordinate conversion tool used by a computer, which includes a two-dimensional code, and the computer calculates a conversion rule for performing a coordinate conversion process that converts first coordinates that specify a position on the surface indicated by a stylus into second coordinates that specify a position in XR space, based on the position and shape of the two-dimensional code contained in an image obtained by photographing the coordinate conversion tool fixed to the surface of a device having a digitizer.
  • a calibration method is a calibration method executed by a computer, in which the computer receives information indicating the position and orientation of a coordinate conversion tool relative to a surface of a device having a digitizer, and calculates a conversion rule for performing a coordinate conversion process that converts first coordinates that specify a position on the surface indicated by a stylus into second coordinates that specify a position in the XR space, based on the received information indicating the position and orientation of the coordinate conversion tool relative to the surface and the position and orientation of the coordinate conversion tool in the XR space.
  • a calibration method may be a calibration method executed by a computer, in which the computer receives coordinates indicating the display position of a coordinate conversion tool on a surface of a device having a digitizer, and calculates a conversion rule for performing a coordinate conversion process that converts first coordinates specifying a position on the surface indicated by a stylus into second coordinates specifying a position in the XR space, based on the received coordinates indicating the display position of the coordinate conversion tool on the surface and the position and orientation of the coordinate conversion tool in the XR space.
  • a coordinate transformation tool is a coordinate transformation tool used by a computer, and includes a position indicator configured so that a device having a digitizer can detect the position and orientation of the position indicator relative to the surface, and the computer calculates a transformation rule for performing the coordinate transformation process based on the position and orientation of the position indicator relative to the surface detected by the device having the digitizer.
  • a coordinate conversion tool may be a coordinate conversion tool used by a computer, which includes an image displayed on a surface of a device having a digitizer, and the computer obtains conversion rules for performing a coordinate conversion process that converts first coordinates that specify a position on the surface indicated by a stylus into second coordinates that specify a position in XR space, based on coordinates that indicate the display position of the image displayed on the surface.
  • FIG. 1 is a diagram showing an XR system 1 according to a first embodiment of the present invention.
  • FIG. 11 is a sequence diagram showing a process in which the computer 2 acquires a conversion rule for converting between a tablet surface coordinate system and a virtual reality space coordinate system.
  • FIG. 11 is a sequence diagram showing a process in which a computer 2 that has acquired a conversion rule displays the result of a pen input on a tablet terminal 5 as an object in an XR space.
  • FIG. 4 is a sequence diagram showing a process for updating the conversion rules acquired by the process of FIG. 3 as needed.
  • 1A is a top view of a coordinate transformation tool T2 according to a modification of the first embodiment of the present invention, and FIG.
  • FIG. 1B is a side view of the coordinate transformation tool T2 according to the modification of the first embodiment of the present invention.
  • 13A is a top view of a tablet terminal 5 and a coordinate conversion tool T3 according to a second embodiment of the present invention
  • FIG. 13B is a side view of the tablet terminal 5 and the coordinate conversion tool T3 according to the second embodiment of the present invention.
  • 11 is a sequence diagram showing a process in which the computer 2 acquires a conversion rule for converting between a tablet surface coordinate system and a virtual reality space coordinate system.
  • FIG. 13 is a top view of a tablet terminal 5 and a coordinate transformation tool T6 according to a third embodiment of the present invention.
  • 11 is a sequence diagram showing a process in which the computer 2 acquires a conversion rule for converting between a tablet surface coordinate system and a virtual reality space coordinate system.
  • FIG. 1 is a diagram showing an XR system 1 according to a first embodiment of the present invention.
  • the XR system 1 according to this embodiment is composed of a computer 2, a virtual reality display 3, multiple cameras 4, a tablet terminal 5, a pen 6, and a coordinate conversion tool T1.
  • the computer 2 is composed of a calculator 2a and an XR tracking system 2b as functional units.
  • the computer 2 may be a single computer, or may be a composite computer that functions as a single computer by combining multiple computers.
  • a two-dimensional code C (described later), shown in a speech bubble in the figure, is placed on the surface of the coordinate conversion tool T1.
  • the computer 2 is a device including a processor, a memory, and a communication device.
  • the processor executes a program stored in the memory to realize various functions of the computer 2, including the computing unit 2a and the XR tracking system 2b shown in FIG. 1.
  • the communication device is configured to communicate with the virtual reality display 3, the multiple cameras 4, and the tablet terminal 5 via wired or wireless communication, according to the control of the processor.
  • Computer 2a is a functional unit that has the function of setting an XR space based on the positions of multiple cameras 4, generating an image representing the set XR space, and supplying it to the virtual reality display 3.
  • the x1, y1, and z1 axes shown in Figure 1 indicate a virtual reality space coordinate system that defines the XR space set by calculator 2a.
  • the positions and orientations of various objects displayed in the XR space by calculator 2a are represented by six-dimensional vectors of this virtual reality space coordinate system (x1 coordinate, y1 coordinate, z1 coordinate, amount of rotation around the x1 axis, amount of rotation around the y1 axis, amount of rotation around the z1 axis).
  • the virtual reality display 3 is an XR display (head mounted display) that is worn on a human's head.
  • XR display head mounted display
  • the XR space set by the calculator 2a is a VR (Virtual Reality) space
  • a user wearing the virtual reality display 3 will recognize the virtual reality and be separated from the real world.
  • the XR space set by the calculator 2a is an AR (Augmented Reality) space or MR (Mixed Reality) space
  • a user wearing the virtual reality display 3 will recognize a space that is a mixture of virtual reality and the real world.
  • the calculator 2a also performs processing to render various 3D objects (materials) and place them within the image.
  • the 3D objects to be rendered may include 3D objects that exist in reality, such as the tablet terminal 5 shown in FIG. 1, and 3D objects that do not exist in reality.
  • a user wearing the virtual reality display 3 can view 3D objects within the XR space.
  • the rendering by the calculator 2a is performed based on the 3D object information stored in the memory.
  • the 3D object information is information that indicates the shape, position, and orientation of the 3D object in the XR space set by the calculator 2a, and is stored in the memory for each 3D object to be rendered.
  • the calculator 2a When generating an image representing the XR space, the calculator 2a first acquires the position and orientation of the virtual reality display 3. Specifically, the calculator 2a receives the position and orientation of the virtual reality display 3 from the XR tracking system 2b, which will be described later. The calculator 2a determines the user's viewpoint based on the acquired position and orientation of the virtual reality display 3, and performs rendering of 3D objects and generation of an image representing the XR space based on the determined viewpoint. This allows the user viewing the XR space through the virtual reality display 3 to see each 3D object in the same position as in real life.
  • the XR tracking system 2b is a functional unit that has the function of detecting objects (objects that exist in reality, including the virtual reality display 3) contained in the images captured by each of the multiple cameras 4, and tracking their positions and orientations.
  • the multiple cameras 4 are positioned so that they can capture images from various angles of various locations in the real space that corresponds to the XR space set by the calculator 2a. Although three cameras 4 are shown in Figure 1, in reality, more cameras 4 can be positioned.
  • the detection of an object by the XR tracking system 2b is performed by detecting an optical marker (any type of marker is acceptable as long as it is optically detectable) attached to the object, or by image recognition of the object.
  • the results of tracking by the XR tracking system 2b are stored sequentially in the memory of the calculator 2a as part of the above-mentioned 3D object information.
  • the calculator 2a renders the 3D object that actually exists based on the tracking results thus stored in the memory.
  • the tablet terminal 5 is a device (computer) having a flat tablet surface 5a, and is configured with a digitizer that detects the position of a position indicator on the tablet surface 5a.
  • the tablet surface 5a serves as both an input surface that accepts pen input and a display surface that displays images, and the tablet terminal 5 is configured to be able to display various types of data on the tablet surface 5a, including stroke data (described below) that is the result of pen input.
  • stroke data described below
  • the pen 6 is an electronic pen (stylus) having a pen-shaped shape, and is a position indicator.
  • the user performs input (pen input) to the tablet terminal 5 by sliding the tip of the pen 6 on the tablet surface 5a.
  • the specific method of pen input is not particularly limited, but for example, an electromagnetic induction (EMR) method or an active electrostatic method can be suitably used.
  • EMR electromagnetic induction
  • the tablet terminal 5 may also support input by a finger (touch input), and the specific method of touch input may be, for example, a capacitive method.
  • the tablet terminal 5 is configured with a function to sequentially detect the position of the pen 6 on the tablet surface 5a.
  • the x2 axis and y2 axis shown in FIG. 1 indicate a planar coordinate system that defines the position on the tablet surface 5a, and the position of the pen 6 detected by the tablet terminal 5 is represented by the coordinates of this planar coordinate system.
  • the tablet terminal 5 corresponding to the electromagnetic induction (EMR) method is configured with a plurality of loop coils each extending in the x2-axis direction and a plurality of loop coils each extending in the y2-axis direction.
  • the pen 6 corresponding to the electromagnetic induction (EMR) method is configured with an LC resonant circuit consisting of a coil and a capacitor connected in series.
  • the tablet terminal 5 intermittently transmits an alternating magnetic field from the tablet surface 5a by supplying an alternating current to any of the loop coils.
  • the capacitor of the pen 6 When the coil of the pen 6 enters this alternating magnetic field, the capacitor of the pen 6 is charged. When the transmission of the alternating magnetic field by the tablet terminal 5 ends, the power stored in the capacitor causes the coil of the pen 6 to transmit an alternating magnetic field as a reflected signal. The tablet terminal 5 attempts to detect this alternating magnetic field with each of the above-mentioned loop coils, and detects the position of the pen 6 within the tablet surface 5a based on the distribution of the strength of the detected alternating magnetic field.
  • the tablet terminal 5 compatible with the active electrostatic method is configured with a plurality of linear electrodes each extending in the x2-axis direction and a plurality of linear electrodes each extending in the y2-axis direction.
  • the pen 6 compatible with the active electrostatic method is configured with a pen tip electrode provided at the pen tip, a processing circuit connected to this electrode, and a battery that supplies power to the processing circuit.
  • the tablet terminal 5 transmits an uplink signal from the tablet surface 5a by supplying a signal to one of the linear electrodes.
  • the processing circuit of the pen 6 When the processing circuit of the pen 6 receives this uplink signal via the pen tip electrode, it generates a downlink signal as a response signal and transmits it from the pen tip electrode toward the tablet surface 5a.
  • the tablet terminal 5 attempts to detect this downlink signal with each of the linear electrodes, and detects the position of the pen 6 on the tablet surface 5a based on the distribution of the strength of the detected downlink signal.
  • the tablet terminal 5 is also configured with the function of acquiring various data from the pen 6.
  • This data may include a pen pressure value indicating the pressure applied to the pen tip, on/off information indicating the on/off state of a switch provided on the housing of the pen 6, and a pen ID which is identification information for the pen 6.
  • the pen 6 transmits this data by modulating the alternating magnetic field or downlink signal described above.
  • the tablet terminal 5 acquires the data transmitted by the pen 6 by demodulating the received alternating magnetic field or downlink signal.
  • the tablet terminal 5 performs processing to generate stroke data indicating the trajectory of the pen tip based on the position of the pen 6 acquired as described above and the various data received from the pen 6.
  • the stroke data is data represented by a series of coordinate data, and each piece of coordinate data may include the above-mentioned pen pressure value and on/off information in addition to planar coordinates indicating a position on the tablet surface.
  • the tablet terminal 5 stores the generated stroke data and performs processing to display it on the tablet surface 5a.
  • the calculator 2a performs a coordinate conversion process of converting the planar coordinates received from the tablet terminal 5 into coordinates in the virtual reality space coordinate system, and stores the converted stroke data in memory as one piece of the above-mentioned 3D object information, and also performs a process of rendering and placing it in the XR space. This allows the user to visually recognize the stroke data generated by pen input as a 3D object in the XR space.
  • FIG. 2 is a top view of the tablet terminal 5.
  • a user attaches a coordinate conversion tool T1 in a known position and with a known orientation on the surface of the tablet terminal 5.
  • "In a known position and with a known orientation” here means that the computer 2 has stored in advance the position and orientation of the coordinate conversion tool T1 with respect to the tablet surface 5a.
  • the computer 2 stores the position and orientation of the coordinate conversion tool T1 with respect to the tablet surface 5a using a six-dimensional vector (x2 coordinate, y2 coordinate, z2 coordinate, amount of rotation around the x2 axis, amount of rotation around the y2 axis, amount of rotation around the z2 axis) of a three-dimensional coordinate system (tablet surface coordinate system) in which the z2 axis, which is the normal direction of the tablet surface 5a, is added to the x2 axis and y2 axis in the tablet surface 5a.
  • a six-dimensional vector x2 coordinate, y2 coordinate, z2 coordinate, amount of rotation around the x2 axis, amount of rotation around the y2 axis, amount of rotation around the z2 axis
  • a three-dimensional coordinate system tablette surface coordinate system
  • the coordinate transformation tool T1 is composed of a box-shaped housing D1 and a two-dimensional code C placed on its surface.
  • the two-dimensional code C is a type of optical marker as mentioned above, and is generated, for example, based on the identification information of the coordinate transformation tool T1.
  • the two-dimensional code C is printed on the top surface of the housing D1.
  • the computer 2 uses the coordinate conversion tool T1 to perform a process (calibration) of acquiring conversion rules for converting between the tablet surface coordinate system and the virtual reality space coordinate system. This process will be described in detail below.
  • FIG. 3 is a sequence diagram showing the process by which the computer 2 acquires the conversion rule.
  • the calculator 2a, tablet terminal 5, and XR tracking system 2b are all operating in normal operation mode (step S1). That is, the XR tracking system 2b detects objects included in the images captured by each of the multiple cameras 4, tracks their positions and orientations, and sequentially stores the results in the memory of the computer 2 as part of the 3D object information.
  • the calculator 2a also generates an image representing the XR space including the rendering results of various 3D objects, and supplies it to the virtual reality display 3.
  • the tablet terminal 5 generates stroke data indicating the trajectory of the pen 6 within the tablet surface 5a, displays it on the display surface, and sequentially supplies the detected position of the pen 6 to the computer 2.
  • step S3 After the user fixes the coordinate transformation tool T1 at a known position on the tablet terminal 5 in a known orientation (step S2), the user performs a predetermined operation to transition the calculator 2a to a calibration mode (a mode in which calibration is performed) (step S3). This operation may be performed on the computer 2 or on the tablet terminal 5.
  • the calculator 2a which has received the operation of step S3, enters the calibration mode (step S4) and transmits an instruction to transition to the calibration mode to the XR tracking system 2b (step S5).
  • the XR tracking system 2b which has received an instruction to transition to the calibration mode from the calculator 2a, enters the calibration mode (step S6) and detects the position and orientation of the coordinate transformation tool T1 in the XR space (step S7). This detection is performed based on the position and shape of the two-dimensional code C contained in the images of the multiple cameras 4.
  • the XR tracking system 2b transmits a six-dimensional vector in the virtual reality space coordinate system indicating the detected position and orientation to the calculator 2a (step S8) and returns to the normal operation mode (step S9).
  • step S10 The user also inputs information about the tablet terminal 5 to be used into the computer 2 (step S10).
  • step S10 is depicted after step S3, but step S10 may be performed before steps S2 and S3.
  • the calculator 2a reads from the memory of the computer 2 a six-dimensional vector in the tablet surface coordinate system indicating the position and orientation (position and orientation relative to the tablet surface 5a) of the coordinate transformation tool T1 that has been pre-stored for that tablet terminal 5 (step S11).
  • the calculator 2a calculates a conversion rule for converting between the tablet surface coordinate system and the virtual reality space coordinate system based on the position and orientation of the coordinate conversion tool T1 read in step S11 and the position and orientation of the coordinate conversion tool T1 in the XR space received in step S8 (step S12). Specifically, a rotation matrix for converting the six-dimensional vector read in step S11 into the six-dimensional vector received in step S8 is calculated and acquired as the conversion rule.
  • the calculator 2a also determines the position and orientation of the tablet surface 5a in the XR space based on the position and orientation of the coordinate transformation tool T1 relative to the tablet surface 5a read in step S11 and the position and orientation of the coordinate transformation tool T1 in the XR space received in step S8 (step S13). Then, based on the position and orientation of the tablet surface 5a determined in step S13, an object representing the tablet terminal 5 is displayed in the XR space (step S14).
  • the calculator 2a notifies the user of the end of the calibration mode (step S15) and returns to the normal operation mode (step S16).
  • the specific method of the notification in step S15 is not particularly limited, and various methods such as display or audio notification may be adopted.
  • FIG. 4 is a sequence diagram showing the process in which the computer 2, which has acquired the conversion rules, displays the result of pen input on the tablet terminal 5 as an object in XR space.
  • the process shown in the figure is executed each time the tablet terminal 5 detects the position of the pen 6.
  • the tablet terminal 5 detects the position of the pen 6 on the tablet surface 5a as a result of the user's pen input (step S20) (step S21), and transmits planar coordinates indicating the detected pen position to the calculator 2a (step S22).
  • the calculator 2a which has received the plane coordinates indicating the position of the pen from the tablet terminal 5, performs a coordinate conversion process to convert the received plane coordinates into coordinates of the virtual reality space coordinate system (six-dimensional vector of the virtual reality space coordinate system) using the conversion rule calculated in step S12 of FIG. 3 (step S23).
  • the calculator 2a generates a six-dimensional vector of the tablet surface coordinate system by adding the z2 coordinate, the amount of rotation around the x2 axis, the amount of rotation around the y2 axis, and the amount of rotation around the z2 axis, all with a value of 0, to the plane coordinates (two-dimensional vector) indicating the position of the pen, and calculates a six-dimensional vector of the virtual reality space coordinate system by applying the conversion rule to the generated six-dimensional vector.
  • the calculator 2a uses the coordinates obtained by the conversion in step S23 to display an object indicating the trajectory of the pen 6 in the XR space (step S24). This allows the user to visually recognize the result of the pen input performed on the tablet terminal 5 as an object in the XR space.
  • FIG. 5 is a sequence diagram showing the process for continually updating the conversion rules acquired by the process in FIG. 3.
  • the computer 2 needs to execute this process.
  • the XR tracking system 2b operating in the normal operation mode periodically detects the position and orientation of the coordinate transformation tool T1 in the XR space (step S30).
  • the specific detection method may be the same as step S7 in FIG. 3.
  • the XR tracking system 2b then compares the detected position and orientation with the previously detected position and orientation to determine whether there has been a change (step S31). If there has been no change, no particular processing is performed, and if there has been a change, a six-dimensional vector in the virtual reality space coordinate system indicating the detected position and orientation is transmitted to the calculator 2a (step S32).
  • the calculator 2a may also perform the determination in step S31, and in this case, the XR tracking system 2b may constantly transmit a six-dimensional vector in the virtual reality space coordinate system indicating the detected position and orientation to the calculator 2a.
  • step S32 the calculator 2a receives a six-dimensional vector in the virtual reality space coordinate system indicating the position and orientation of the coordinate transformation tool T1 from the XR tracking system 2b. Based on the received six-dimensional vector and the six-dimensional vector in the tablet surface coordinate system indicating the position and orientation of the coordinate transformation tool T1 read in step S11 of FIG. 3, the calculator 2a updates the transformation rule for mutual conversion between the tablet surface coordinate system and the virtual reality space coordinate system (step S33). Specifically, it calculates a rotation matrix for converting the six-dimensional vector read in step S11 into the six-dimensional vector received in step S32, and reacquires the matrix as the transformation rule.
  • the calculator 2a updates the object that indicates the trajectory of the pen 6 being displayed in the XR space (step S34). Specifically, the calculator 2a updates the six-dimensional vector in the virtual reality space coordinate system that corresponds to the representative position of the object (for example, the position of the starting point of the first stroke data) according to the new conversion rules, and updates the display of the entire object based on the updated representative position.
  • the calculator 2a also redetermines the position and orientation of the tablet surface 5a in the XR space based on the position and orientation of the coordinate transformation tool T1 relative to the tablet surface 5a read in step S11 of FIG. 3 and the position and orientation of the coordinate transformation tool T1 in the XR space received in step S32 (step S35). Then, based on the position and orientation of the tablet surface 5a redetermined in step S35, it updates the object representing the tablet terminal 5 being displayed in the XR space (step S36).
  • the calculator 2a may notify the user of the update of the conversion rule (step S35). By notifying the user in this way, the user can know that the processing corresponding to the movement of the tablet terminal 5 is being performed appropriately.
  • the computer 2 can obtain the conversion rules for converting between the tablet surface coordinate system and the virtual reality space coordinate system, based on the position and orientation of the coordinate conversion tool T1 contained in the images captured by the multiple cameras 4. Therefore, it is possible to achieve calibration using an inexpensive coordinate conversion tool, compared to the case in which a light receiving sensor is used as the coordinate conversion tool as in Patent Document 1.
  • the coordinate transformation tool T1 is provided with a two-dimensional code C, so the computer 2 can obtain the position and orientation of the coordinate transformation tool T1 contained in the image based on the position and shape of the two-dimensional code C.
  • the user is assumed to attach the coordinate transformation tool T1 to a known position on the surface of the tablet terminal 5 in a known orientation.
  • a fixture may be used to more easily fix the coordinate transformation tool to the surface of the tablet terminal 5.
  • FIG. 6(a) is a top view of a coordinate conversion tool T2 according to a modified example of this embodiment
  • FIG. 6(b) is a side view of the coordinate conversion tool T2 according to this modified example.
  • FIG. 6(a) also shows a tablet terminal 5.
  • the coordinate conversion tool T2 according to this modified example differs from the coordinate conversion tool T1 according to this embodiment in that, in addition to the same housing D1 and two-dimensional code C as the coordinate conversion tool T1 according to this embodiment, the coordinate conversion tool T2 according to this modified example has a fixture E for fixing the coordinate conversion tool T2 to the tablet terminal 5.
  • the housing D1 is fixed to the surface of the fixture E in advance.
  • the specific shape of the fixture E is not particularly limited, but the fixture E shown in Figs. 6(a) and (b) is configured with an insertion cavity Ea into which the short side of the tablet terminal 5 can be fitted. This allows the user to easily fix the coordinate transformation tool T2 at a known position and in a known orientation on the surface of the tablet terminal 5 by simply fitting the tablet terminal 5 into the insertion cavity Ea.
  • the XR system 1 according to this embodiment differs from the XR system 1 according to the first embodiment in that the coordinate conversion tool includes a position indicator, and the tablet terminal 5 detects the position and orientation of the coordinate conversion tool.
  • the tablet terminal 5 is described as being compatible with the electromagnetic induction (EMR) method.
  • EMR electromagnetic induction
  • FIG. 7(a) is a top view of the tablet terminal 5 and coordinate conversion tool T3 according to this embodiment
  • FIG. 7(b) is a side view of the tablet terminal 5 and coordinate conversion tool T3 according to this embodiment.
  • the coordinate conversion tool T3 according to this embodiment like the coordinate conversion tool T1 according to the first embodiment, is configured to have a box-shaped housing D3 and a two-dimensional code C arranged on its surface.
  • the coordinate conversion tool T3 according to this embodiment is configured to further have an electromagnetic induction (EMR) type position indicator D3a inside the housing D3.
  • EMR electromagnetic induction
  • the position indicator D3a is specifically a circuit including an LC resonant circuit consisting of a coil and a capacitor connected in series.
  • the tablet terminal 5 detects the position of the position indicator D3a (i.e., the position of the coordinate transformation tool T3) on the tablet surface 5a in a manner similar to the process described above for detecting the position of the pen 6.
  • the tablet terminal 5 is also configured to detect the attitude (amount of rotation around the z2 axis) of the coordinate transformation tool T3 relative to the tablet surface 5a.
  • the coil that constitutes the position indicator D3a is arranged in the housing D3 so that it is oblique to the tablet surface 5a when the coordinate transformation tool T3 is fixed to the tablet surface 5a.
  • the tablet terminal 5 is configured to detect the amount of rotation around the z2 axis of the coordinate transformation tool T3 based on the distribution of the detection strength on the tablet surface 5a of the alternating magnetic field emitted by the position indicator D3a.
  • FIG. 8 is a sequence diagram showing the process by which computer 2 acquires conversion rules according to this embodiment. The following explanation focuses on the differences from the process shown in FIG. 3.
  • the user fixes the coordinate conversion tool T3 at any position on the tablet surface 5a in any orientation (with the two-dimensional code C on the upper surface) (step S40), and then performs a predetermined operation to transition the calculator 2a to the calibration mode (step S3).
  • step S5 the calculator 2a according to this embodiment transmits a calibration mode transition instruction not only to the XR tracking system 2b but also to the tablet terminal 5.
  • the processing performed by the XR tracking system 2b upon receiving the calibration mode transition instruction is the same as that in the example of FIG. 3 (steps S6 to S9).
  • the tablet terminal 5 upon receiving the calibration mode transition instruction enters the calibration mode (step S41) and detects the position and orientation of the coordinate transformation tool T3 relative to the tablet surface 5a (step S42). The specific method of this detection is as described above.
  • the tablet terminal 5 transmits a six-dimensional vector in the tablet surface coordinate system indicating the detected position and orientation to the calculator 2a (step S43) and returns to the normal operation mode (step S44).
  • the tablet terminal 5 sets the x2 coordinate and y2 coordinate of the elements of the six-dimensional vector transmitted in step S43 to plane coordinates indicating the position of the detected coordinate transformation tool T3, sets the rotation amount around the z2 axis of the detected coordinate transformation tool T3 to the rotation amount around the z2 axis, and sets the z2 coordinate, the rotation amount around the x2 axis, and the rotation amount around the y2 axis to 0.
  • step S43 the calculator 2a receives a six-dimensional vector in the tablet surface coordinate system indicating the position and orientation of the coordinate transformation tool T3 relative to the tablet surface 5a, and in step S8 receives a six-dimensional vector in the virtual reality space coordinate system indicating the position and orientation of the coordinate transformation tool T3 in the XR space.
  • the calculator 2a performs the same processing as steps S12 to S16 shown in FIG. 3.
  • the calculator 2a uses the six-dimensional vector in the tablet surface coordinate system received in step S43 instead of the six-dimensional vector in the tablet surface coordinate system read in step S11. This causes the transformation rule for performing the coordinate transformation processing to be calculated, and also causes an object indicating the tablet terminal 5 to be displayed in the XR space.
  • the computer 2 can obtain the transformation rules for performing coordinate transformation processing based on the position and orientation of the coordinate transformation tool T3 contained in the images captured by the multiple cameras 4. Therefore, it is possible to achieve calibration using an inexpensive coordinate transformation tool compared to the case in which a light receiving sensor is used as the coordinate transformation tool as in Patent Document 1.
  • the coordinate transformation tool T3 is provided with a two-dimensional code C, so the computer 2 can obtain the position and orientation of the coordinate transformation tool T3 contained in the image based on the position and shape of the two-dimensional code C.
  • the position indicator D3a is disposed within the coordinate conversion tool T3, the user can fix the coordinate conversion tool T3 at any position on the tablet surface 5a in any orientation. This makes it possible to reduce the burden on the user regarding the coordinate conversion tool.
  • the computer 2 also performs processing similar to the update processing shown in FIG. 5.
  • this update processing the computer 2 uses a six-dimensional vector in the tablet surface coordinate system indicating the position and orientation of the coordinate transformation tool T3 received in step S43 of FIG. 8, instead of the six-dimensional vector in the tablet surface coordinate system indicating the position and orientation of the coordinate transformation tool T1 read in step S11 of FIG. 3.
  • the coil constituting the position indicator D3a is arranged inside the housing D3 so that it is oblique to the tablet surface 5a when the coordinate transformation tool T3 is fixed to the tablet surface 5a so that the tablet terminal 5 can detect the attitude of the coordinate transformation tool T3 (amount of rotation around the z2 axis), but it is also possible to cause the tablet terminal 5 to detect the attitude of the coordinate transformation tool (amount of rotation around the z2 axis) using other methods.
  • FIG. 9(a) is a top view of a tablet terminal 5 and a coordinate conversion tool T4 according to a first modified example of this embodiment
  • FIG. 9(b) is a side view of the tablet terminal 5 and the coordinate conversion tool T4 according to this modified example.
  • the coordinate conversion tool T4 is similar to the coordinate conversion tool T3 according to this embodiment in that it is configured with a box-shaped housing D4 and a two-dimensional code C arranged on its surface, but differs from the coordinate conversion tool T3 according to this embodiment in that the housing D4 has a longer and thinner shape than the housing D3.
  • each position indicator D4a is similar to the position indicator D3a in that it is configured by a circuit including an LC resonant circuit consisting of a coil and a capacitor connected in series, but differs from the position indicator D3a in that each coil is arranged inside the housing D4 so as to be horizontal to the tablet surface 5a when the coordinate transformation tool T4 is fixed to the tablet surface 5a.
  • the coils of each position indicator D4a are arranged at a fixed distance in a direction parallel to the tablet surface 5a, as shown in FIG. 9(b).
  • the tablet terminal 5 is configured to detect the position of the coordinate transformation tool T4 on the tablet surface 5a by detecting the positions of each of the two position indicators D4a included in the coordinate transformation tool T4, and to detect the attitude of the coordinate transformation tool T4 relative to the tablet surface 5a (amount of rotation around the z2 axis).
  • the computer 2 can obtain the transformation rules for performing coordinate transformation processing.
  • Fig. 10A is a top view of a tablet terminal 5 and a coordinate conversion tool T5 according to a second modified example of the present embodiment
  • Fig. 10B is a side view of the tablet terminal 5 and the coordinate conversion tool T5 according to this modified example.
  • this modified example an example will be described in which the tablet terminal 5 is compatible with an active electrostatic system.
  • the coordinate transformation tool T5 according to this modification is similar to the coordinate transformation tool T4 according to the first modification of this embodiment in that it is configured with a long, narrow, box-shaped housing D5 and a two-dimensional code C arranged on its surface. However, it differs from the coordinate transformation tool T4 according to the first modification of this embodiment in that, instead of two position indicators D4a, two position indicators D5a, each corresponding to an active electrostatic method, are arranged inside the housing D5.
  • Each position indicator D5a specifically includes the pen tip electrode, processing circuit, and battery described above. However, the processing circuit and battery may be common to the two position indicators D5a.
  • the pen tip electrodes of each position indicator D5a are arranged at a fixed distance in a direction parallel to the tablet surface 5a, as shown in FIG. 10(b).
  • the tablet terminal 5 is configured to detect the position of the coordinate transformation tool T5 on the tablet surface 5a by detecting the positions of each of the two position indicators D5a included in the coordinate transformation tool T5, and to detect the attitude of the coordinate transformation tool T5 relative to the tablet surface 5a (amount of rotation around the z2 axis).
  • this modified example also enables the computer 2 to obtain the transformation rules for performing coordinate transformation processing, as in the present embodiment and the first modified example.
  • the XR system 1 according to this embodiment differs from the XR system 1 according to the second embodiment in that the coordinate conversion tool is configured by an image displayed on the tablet surface 5a. In other respects, it is similar to the XR system 1 according to the second embodiment, so the following description will focus on the differences with the XR system 1 according to the second embodiment.
  • FIG. 11 is a top view of the tablet terminal 5 and coordinate conversion tool T6 according to this embodiment.
  • the coordinate conversion tool T6 according to this embodiment is composed of a two-dimensional code C displayed on the tablet surface 5a. Since the coordinate conversion tool T6 is displayed by the tablet terminal 5, the tablet terminal 5 can obtain the planar coordinates indicating the display position of the coordinate conversion tool T6 on the tablet surface 5a, and the amount of rotation of the coordinate conversion tool T6 around the z2 axis.
  • FIG. 12 is a sequence diagram showing the process by which computer 2 acquires conversion rules according to this embodiment. The following explanation focuses on the differences from the process shown in FIG. 8.
  • the user first performs a predetermined operation to switch the calculator 2a to the calibration mode (step S3).
  • the processing performed by the calculator 2a and the XR tracking system 2b in response to this operation is similar to that described with reference to FIG. 8.
  • the tablet terminal 5 When the tablet terminal 5 according to this embodiment receives an instruction to transition to the calibration mode from the calculator 2a (step S5), it enters the calibration mode (step S50) and displays the coordinate conversion tool T6, which is the two-dimensional code C, at an arbitrary position on the tablet surface 5a (step S51). Then, it transmits a six-dimensional vector in the tablet surface coordinate system indicating the display position and display attitude of the coordinate conversion tool T6 to the calculator 2a (step S52) and returns to the normal operation mode (step S53).
  • the tablet terminal 5 sets the plane coordinates indicating the display position of the coordinate conversion tool T6 to the x2 coordinate and y2 coordinate of the elements of the six-dimensional vector transmitted in step S52, sets the rotation amount around the z2 axis of the coordinate conversion tool T6 to the amount of rotation around the z2 axis, and sets the z2 coordinate, the amount of rotation around the x2 axis, and the amount of rotation around the y2 axis to 0.
  • step S52 the calculator 2a receives a six-dimensional vector in the tablet surface coordinate system indicating the display position and display orientation of the coordinate transformation tool T6, and in step S8 receives a six-dimensional vector in the virtual reality space coordinate system indicating the position and orientation of the coordinate transformation tool T6 in the XR space.
  • the calculator 2a then performs the same processing as steps S12 to S16 shown in FIG. 3. As a result, the transformation rule for performing the coordinate transformation processing is calculated, and an object indicating the tablet terminal 5 is displayed in the XR space.
  • the computer 2 can obtain the transformation rules for performing coordinate transformation processing based on the position and orientation of the coordinate transformation tool T6 contained in the images captured by the multiple cameras 4. Therefore, it is possible to achieve calibration using an inexpensive coordinate transformation tool compared to the case in which a light receiving sensor is used as the coordinate transformation tool as in Patent Document 1.
  • the coordinate conversion tool T6 is configured from the two-dimensional code C displayed on the tablet surface 5a, so the computer 2 can obtain the position and orientation of the coordinate conversion tool T6 contained in the image based on the position and shape of the two-dimensional code C. Furthermore, since the user does not need to physically handle the coordinate conversion tool T6, it is possible to reduce the burden on the user regarding the coordinate conversion tool.
  • the tablet terminal 5 may transmit only the planar coordinates indicating the display position of the coordinate transformation tool T6 to the calculator 2a.
  • the tablet terminal 5 may obtain a six-dimensional vector in the tablet surface coordinate system indicating the display position and display attitude of the coordinate transformation tool T6 by generating a six-dimensional vector in the tablet surface coordinate system from the received planar coordinates.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ＸＲ技術においてタブレット端末を手軽に利用可能とすることのできるキャリブレーション方法及び座標変換ツールを提供する。 【解決手段】本発明によるキャリブレーション方法は、コンピュータによって実行されるキャリブレーション方法であって、前記コンピュータが、デジタイザを有する機器の面に位置する座標変換ツールを撮影することで得られる影像に含まれる前記座標変換ツールの位置及び姿勢に基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標をＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、キャリブレーション方法である。

Description

キャリブレーション方法及び座標変換ツール
　本発明はキャリブレーション方法及び座標変換ツールに関し、特に、タブレット端末上で行ったペン入力の結果をＸＲ空間内のオブジェクトとして取り扱うためのキャリブレーション方法と、該キャリブレーション方法を実現するための座標変換ツールとに関する。
　従来のＸＲ（eXtended Reality）技術においては、ユーザは、３Ｄコントローラを空中で操作する。
　特許文献１には、タブレット端末を用いて３Ｄオブジェクトを編集できるようにする技術が開示されている。この技術においては、タブレット端末にトラッカーが配置される。そして、このトラッカーの現実空間内における位置及び向きに基づいて現実空間内におけるタブレット端末の位置及び姿勢が検出される。
国際公開第２０１９／１０２８２５号明細書
　しかしながら、上記特許文献１に記載の技術では、ＸＲ技術においてタブレット端末を手軽に利用することが難しい。
　したがって、本発明の目的の一つは、ＸＲ技術においてタブレット端末を手軽に利用可能とすることのできるキャリブレーション方法及び座標変換ツールを提供することにある。
　本発明の一側面によるキャリブレーション方法は、コンピュータによって実行されるキャリブレーション方法であって、前記コンピュータが、デジタイザを有する機器の面に位置する座標変換ツールを撮影することで得られる影像に含まれる前記座標変換ツールの位置及び姿勢に基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標をＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、キャリブレーション方法である。
　本発明の一側面による座標変換ツールは、コンピュータによって用いられる座標変換ツールであって、二次元コードを含み、前記コンピュータは、デジタイザを有する機器の面に固定された座標変換ツールを撮影することによって得られる影像内に含まれる前記二次元コードの位置及び形状に基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標をＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、座標変換ツールである。
　本発明の他の一側面によるキャリブレーション方法は、コンピュータによって実行されるキャリブレーション方法であって、前記コンピュータが、デジタイザを有する機器の面に対する座標変換ツールの位置及び姿勢を示す情報を受信し、受信した前記面に対する座標変換ツールの位置及び姿勢を示す情報と、ＸＲ空間内における前記座標変換ツールの位置及び姿勢とに基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標を前記ＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、キャリブレーション方法である。
　本発明の他の一側面によるキャリブレーション方法は、コンピュータによって実行されるキャリブレーション方法であって、前記コンピュータが、デジタイザを有する機器の面における座標変換ツールの表示位置を示す座標を受信し、受信した前記面における座標変換ツールの表示位置を示す座標と、ＸＲ空間内における前記座標変換ツールの位置及び姿勢とに基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標を前記ＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、キャリブレーション方法であるとしてもよい。
　本発明の他の一側面による座標変換ツールは、コンピュータによって用いられる座標変換ツールであって、前記面に対する位置及び姿勢をデジタイザを有する機器が検出できるように構成された位置指示器を含み、前記コンピュータは、前記デジタイザを有する機器が検出した前記面に対する前記位置指示器の位置及び姿勢に基づき、前記座標変換処理を行うための変換規則を算出する、座標変換ツールである。
　本発明の他の一側面による座標変換ツールは、コンピュータによって用いられる座標変換ツールであって、デジタイザを有する機器の面に表示された画像を含み、前記コンピュータは、前記面に表示された前記画像の表示位置を示す座標に基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標をＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を取得する、座標変換ツールであるとしてもよい。
　本発明によれば、ＸＲ技術においてタブレット端末を手軽に利用することが可能になる。
[規則91に基づく訂正 22.08.2024]
本発明の第１の実施の形態によるＸＲシステム１を示す図である。 タブレット端末５の上面図である。 タブレット面座標系と仮想現実空間座標系とを相互に変換するための変換規則をコンピュータ２が取得するための処理を示すシーケンス図である。 変換規則を取得済みのコンピュータ２がタブレット端末５におけるペン入力の結果をＸＲ空間内のオブジェクトとして表示する処理を示すシーケンス図である。 図３の処理により取得された変換規則を随時更新していくための処理を示すシーケンス図である。 （ａ）は、本発明の第１の実施の形態の変形例による座標変換ツールＴ２の上面図であり、（ｂ）は、本発明の第１の実施の形態の変形例による座標変換ツールＴ２の側面図である。 （ａ）は、本発明の第２の実施の形態によるタブレット端末５及び座標変換ツールＴ３の上面図であり、（ｂ）は、本発明の第２の実施の形態によるタブレット端末５及び座標変換ツールＴ３の側面図である。 タブレット面座標系と仮想現実空間座標系とを相互に変換するための変換規則をコンピュータ２が取得するための処理を示すシーケンス図である。 （ａ）は、本発明の第２の実施の形態の第１の変形例によるタブレット端末５及び座標変換ツールＴ４の上面図であり、（ｂ）は、本発明の第２の実施の形態の第１の変形例によるタブレット端末５及び座標変換ツールＴ４の側面図である。 （ａ）は、本発明の第２の実施の形態の第２の変形例によるタブレット端末５及び座標変換ツールＴ５の上面図であり、（ｂ）は、本発明の第２の実施の形態の第２の変形例によるタブレット端末５及び座標変換ツールＴ５の側面図である。 本発明の第３の実施の形態によるタブレット端末５及び座標変換ツールＴ６の上面図である。 タブレット面座標系と仮想現実空間座標系とを相互に変換するための変換規則をコンピュータ２が取得するための処理を示すシーケンス図である。
　以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
　図１は、本発明の第１の実施の形態によるＸＲシステム１を示す図である。同図に示すように、本実施の形態によるＸＲシステム１は、コンピュータ２と、仮想現実ディスプレイ３と、複数のカメラ４と、タブレット端末５と、ペン６と、座標変換ツールＴ１とを有して構成される。このうちコンピュータ２は、機能部として、演算器２ａ及びＸＲトラッキングシステム２ｂを含んで構成される。なお、コンピュータ２は、１台のコンピュータであってもよいし、複数のコンピュータの結合により１台のコンピュータとして機能する複合コンピュータであってもよい。また、座標変換ツールＴ１の表面には、図中に吹き出しで表示している二次元コードＣ（後述）が配置される。
　コンピュータ２は、プロセッサ、メモリ、及び通信装置を含んで構成される装置である。プロセッサは、メモリに記憶されるプログラムを実行することによって、図１に示した演算器２ａ及びＸＲトラッキングシステム２ｂを含むコンピュータ２の各種機能を実現する役割を果たす。通信装置は、プロセッサの制御に応じ、仮想現実ディスプレイ３、複数のカメラ４、及びタブレット端末５のそれぞれと有線又は無線により相互に通信するよう構成される。
　演算器２ａは、複数のカメラ４の位置を基準とするＸＲ空間を設定するとともに、設定したＸＲ空間を表す影像を生成し、仮想現実ディスプレイ３に供給する機能を有する機能部である。図１に示したｘ１軸、ｙ１軸、ｚ１軸は、演算器２ａが設定したＸＲ空間を規定する仮想現実空間座標系を示している。演算器２ａがＸＲ空間内に表示する各種オブジェクトの位置及び姿勢は、この仮想現実空間座標系の６次元ベクトル（ｘ１座標、ｙ１座標、ｚ１座標、ｘ１軸周りの回転量、ｙ１軸周りの回転量、ｚ１軸周りの回転量）によって表される。
　仮想現実ディスプレイ３は、人間の頭部に装着して用いるＸＲディスプレイ（ヘッドマウントディスプレイ）である。一般に市販される仮想現実ディスプレイには、「透過型」又は「非透過型」、「メガネ型」又は「帽子型」など各種のものがあるが、仮想現実ディスプレイ３としては、そのいずれを用いることも可能である。演算器２ａが設定したＸＲ空間がＶＲ(Virtual Reality)空間である場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実を認識し、現実世界と切り離される。一方、演算器２ａが設定したＸＲ空間がＡＲ(Augmented Reality)空間又はＭＲ(Mixed Reality)空間である場合、仮想現実ディスプレイ３を装着したユーザは、仮想現実と現実世界とが混合した空間を認識することになる。
　演算器２ａは、様々な３Ｄオブジェクト（物体）をレンダリングし、上記影像内に配置する処理も行う。レンダリングの対象となる３Ｄオブジェクトには、図１に示したタブレット端末５のように現実にも存在する３Ｄオブジェクトと、現実には存在しない３Ｄオブジェクトとが含まれ得る。演算器２ａがこの処理を行うことの結果として、仮想現実ディスプレイ３を装着したユーザは、ＸＲ空間内において３Ｄオブジェクトを視認できるようになる。
　演算器２ａによるレンダリングは、メモリ内に記憶される３Ｄオブジェクト情報に基づいて実行される。３Ｄオブジェクト情報は、演算器２ａにより設定されたＸＲ空間における３Ｄオブジェクトの形状、位置、及び姿勢を示す情報であり、レンダリング対象の３Ｄオブジェクトごとにメモリ内に記憶される。
　演算器２ａは、ＸＲ空間を表す影像を生成するにあたり、まず初めに仮想現実ディスプレイ３の位置及び姿勢を取得する。具体的には、後述するＸＲトラッキングシステム２ｂから仮想現実ディスプレイ３の位置及び姿勢を受信すればよい。演算器２ａは、取得した仮想現実ディスプレイ３の位置及び姿勢に基づいてユーザの視点を決定し、決定した視点に基づいて、３Ｄオブジェクトのレンダリング及びＸＲ空間を表す影像の生成を行う。これにより、仮想現実ディスプレイ３を通してＸＲ空間を見るユーザは、現実の位置と同じ位置に各３Ｄオブジェクトを見ることが可能になる。
　ＸＲトラッキングシステム２ｂは、複数のカメラ４のそれぞれにより撮影された影像に含まれる物体（現実に存在する物体。仮想現実ディスプレイ３を含む）を検出し、その位置及び姿勢をトラッキングする機能を有する機能部である。複数のカメラ４は、演算器２ａによって設定されるＸＲ空間に対応する現実空間内の各所を様々な角度から撮影できるように配置される。図１には３台のカメラ４を示しているが、実際には、より多くのカメラ４が配置され得る。
　ＸＲトラッキングシステム２ｂによる物体の検出は、物体に付加された光学マーカー（光学的に検出可能な標識であれば、その種類は問わない）の検出、若しくは、物体の画像認識によって実行される。ＸＲトラッキングシステム２ｂによるトラッキングの結果は、上述した３Ｄオブジェクト情報の一部として、逐次、演算器２ａのメモリに格納される。演算器２ａは、こうしてメモリに格納されるトラッキング結果に基づき、現実に存在する３Ｄオブジェクトのレンダリングを行う。
　タブレット端末５は、平坦なタブレット面５ａを有する機器（コンピュータ）であり、タブレット面５ａにおける位置指示器の位置の検出を行うデジタイザを有して構成される。タブレット面５ａは、ペン入力を受け付ける入力面と、映像を表示する表示面とを兼ねており、タブレット端末５は、ペン入力の結果であるストロークデータ（後述）を含む各種のデータをタブレット面５ａに表示可能に構成される。ただし、本実施の形態及び後述する第２の実施の形態においては、タブレット面５ａが表示面として機能しないタイプのタブレット端末５を用いることも可能である。
　ペン６は、ペン型の形状を有する電子ペン（スタイラス）であり、位置指示器である。ユーザは、タブレット面５ａ上でペン６のペン先を摺動させることにより、タブレット端末５に対する入力（ペン入力）を行う。ペン入力の具体的な方式は特に限定されないが、例えば、電磁誘導（ＥＭＲ）方式やアクティブ静電方式を好適に用いることが可能である。また、タブレット端末５は、指による入力（タッチ入力）にも対応していることとしてもよく、タッチ入力の具体的な方式は例えば静電容量方式であってよい。
　タブレット端末５は、タブレット面５ａ内におけるペン６の位置を逐次検出する機能を有して構成される。図１に示したｘ２軸、ｙ２軸はタブレット面５ａ内の位置を規定する平面座標系を示しており、タブレット端末５が検出するペン６の位置は、この平面座標系の座標によって表される。
　ここで、ペン入力を実現するための具体的な構成及び処理について、電磁誘導（ＥＭＲ）方式とアクティブ静電方式のそれぞれを例に取り、具体的に説明する。初めに電磁誘導（ＥＭＲ）方式を用いる場合について説明すると、電磁誘導（ＥＭＲ）方式に対応するタブレット端末５は、それぞれｘ２軸方向に延設された複数のループコイルと、それぞれｙ２軸方向に延設された複数のループコイルとを有して構成される。また、電磁誘導（ＥＭＲ）方式に対応するペン６は、直列に接続されたコイルとコンデンサからなるＬＣ共振回路を有して構成される。タブレット端末５は、いずれかのループコイルに交流電流を供給することによって、タブレット面５ａから断続的に交番磁界を送出する。この交番磁界の中にペン６のコイルが入ると、ペン６のコンデンサが充電される。タブレット端末５による交番磁界の送出が終了すると、コンデンサに蓄積された電力により、反射信号としての交番磁界がペン６のコイルから送出される。タブレット端末５は、上記の各ループコイルにてこの交番磁界の検出を試み、検出された交番磁界の強度の分布に基づいて、タブレット面５ａ内におけるペン６の位置を検出する。
　次にアクティブ静電方式を用いる場合について説明すると、アクティブ静電方式に対応するタブレット端末５は、それぞれｘ２軸方向に延設された複数の線状電極と、それぞれｙ２軸方向に延設された複数の線状電極とを有して構成される。また、アクティブ静電方式に対応するペン６は、ペン先に設けられるペン先電極と、この電極に接続された処理回路と、処理回路に電力を供給するバッテリーとを有して構成される。タブレット端末５は、いずれかの線状電極に信号を供給することによって、タブレット面５ａからアップリンク信号を送信する。ペン６の処理回路は、ペン先電極を介してこのアップリンク信号を受信すると、応答信号としてのダウンリンク信号を生成し、ペン先電極からタブレット面５ａに向けて送信する。タブレット端末５は、上記の各線状電極にてこのダウンリンク信号の検出を試み、検出されたダウンリンク信号の強度の分布に基づいて、タブレット面５ａ内におけるペン６の位置を検出する。
　タブレット端末５は、ペン６から各種のデータを取得する機能も有して構成される。このデータには、ペン先に加わる圧力を示す筆圧値、ペン６の筐体に設けられたスイッチのオンオフ状態を示すオンオフ情報、ペン６の識別情報であるペンＩＤが含まれ得る。ペン６は、上述した交番磁界又はダウンリンク信号を変調することによって、これらのデータの送信を行う。タブレット端末５は、受信された交番磁界又はダウンリンク信号を復調することによって、ペン６が送信したデータを取得する。
　タブレット端末５は、以上のようにして取得したペン６の位置、ペン６から受信した各種データに基づき、ペン先の軌跡を示すストロークデータを生成する処理を行う。ストロークデータは一連の座標データによって表されるデータであり、各座標データには、タブレット面内の位置を示す平面座標の他、上述した筆圧値やオンオフ情報が含まれ得る。タブレット端末５は、生成したストロークデータを記憶するとともに、タブレット面５ａに表示する処理を行う。
　また、タブレット端末５は、ペン６の位置を検出する都度、検出した位置を示す平面座標を演算器２ａに供給する処理も行う。演算器２ａは、タブレット端末５から受信した平面座標を仮想現実空間座標系の座標に変換する座標変換処理を行い、変換後のストロークデータを上述した３Ｄオブジェクト情報の１つとしてメモリに記憶するとともに、レンダリングしてＸＲ空間内に配置する処理を行う。これによりユーザは、ペン入力により生成したストロークデータをＸＲ空間内の３Ｄオブジェクトとして視認することが可能になる。
　図２は、タブレット端末５の上面図である。同図に示すように、タブレット端末５の表面には、ユーザにより、既知の位置に既知の向きで座標変換ツールＴ１が貼り付けられる。ここでいう「既知の位置に既知の向きで」とは、タブレット面５ａに対する座標変換ツールＴ１の位置及び姿勢をコンピュータ２が予め記憶していることを意味する。コンピュータ２は、タブレット面５ａ内のｘ２軸及びｙ２軸にタブレット面５ａの法線方向であるｚ２軸を加えた立体座標系（タブレット面座標系）の６次元ベクトル（ｘ２座標、ｙ２座標、ｚ２座標、ｘ２軸周りの回転量、ｙ２軸周りの回転量、ｚ２軸周りの回転量）によって、タブレット面５ａに対する座標変換ツールＴ１の位置及び姿勢を記憶する。
　図２に示すように、座標変換ツールＴ１は、箱状の筐体Ｄ１と、その表面に配置された二次元コードＣとを有して構成される。二次元コードＣは上述した光学マーカーの一種であり、例えば座標変換ツールＴ１の識別情報に基づいて生成される。典型的な例では、二次元コードＣは筐体Ｄ１の上面に印刷される。
　図１に戻る。コンピュータ２は、上述した座標変換処理を実行するため、座標変換ツールＴ１を用いて、タブレット面座標系と仮想現実空間座標系とを相互に変換するための変換規則を取得する処理（キャリブレーション）を行う。以下、この処理について、詳しく説明する。
　図３は、コンピュータ２が上記変換規則を取得するための処理を示すシーケンス図である。同図に示すように、初期状態では、演算器２ａ、タブレット端末５、ＸＲトラッキングシステム２ｂはいずれも通常動作モードで動作している（ステップＳ１）。すなわち、ＸＲトラッキングシステム２ｂは、複数のカメラ４のそれぞれにより撮影された影像に含まれる物体を検出し、その位置及び姿勢をトラッキングするとともに、その結果を３Ｄオブジェクト情報の一部として、コンピュータ２のメモリに逐次格納する処理を行っている。また、演算器２ａは、各種の３Ｄオブジェクトのレンダリング結果を含むＸＲ空間を表す影像を生成し、仮想現実ディスプレイ３に供給する処理を行っている。タブレット端末５は、タブレット面５ａ内におけるペン６の軌跡を示すストロークデータを生成し、表示面に表示するとともに、検出したペン６の位置を逐次コンピュータ２に供給する処理を行っている。
　ユーザは、座標変換ツールＴ１をタブレット端末５の既知の位置に既知の向きで固定した後（ステップＳ２）、演算器２ａをキャリブレーションモード（キャリブレーションを行うモード）に移行させるための所定の操作を行う（ステップＳ３）。この操作は、コンピュータ２で行うものであるとしてもよいし、タブレット端末５で行うものとしてもよい。ステップＳ３の操作を受けた演算器２ａは、キャリブレーションモードにエントリするとともに（ステップＳ４）、ＸＲトラッキングシステム２ｂに対してキャリブレーションモード移行指示を送信する（ステップＳ５）。
　演算器２ａからキャリブレーションモード移行指示を受信したＸＲトラッキングシステム２ｂはキャリブレーションモードにエントリし（ステップＳ６）、ＸＲ空間内における座標変換ツールＴ１の位置及び姿勢を検出する（ステップＳ７）。この検出は、複数のカメラ４の影像内に含まれる二次元コードＣの位置及び形状に基づいて実行される。ＸＲトラッキングシステム２ｂは、検出した位置及び姿勢を示す仮想現実空間座標系の６次元ベクトルを演算器２ａに送信し（ステップＳ８）、通常動作モードに戻る（ステップＳ９）。
　ユーザはまた、使用するタブレット端末５の情報をコンピュータ２に入力する（ステップＳ１０）。図３では、ステップＳ３の後ろにステップＳ１０を描いているが、ステップＳ２，Ｓ３の前にステップＳ１０が行われることとしてもよい。情報の入力を受け付けた演算器２ａは、コンピュータ２のメモリから、そのタブレット端末５について予め記憶されている座標変換ツールＴ１の位置及び姿勢（タブレット面５ａに対する位置及び姿勢）を示すタブレット面座標系の６次元ベクトルを読み込む（ステップＳ１１）。
　次に演算器２ａは、ステップＳ１１で読み込んだ座標変換ツールＴ１の位置及び姿勢と、ステップＳ８で受信したＸＲ空間内における座標変換ツールＴ１の位置及び姿勢とに基づき、タブレット面座標系と仮想現実空間座標系とを相互に変換するための変換規則を算出する（ステップＳ１２）。具体的には、ステップＳ１１で読み込んだ６次元ベクトルをステップＳ８で受信した６次元ベクトルに変換するための回転行列を算出し、変換規則として取得すればよい。
　また、演算器２ａは、ステップＳ１１で読み込んだタブレット面５ａに対する座標変換ツールＴ１の位置及び姿勢と、ステップＳ８で受信したＸＲ空間内における座標変換ツールＴ１の位置及び姿勢とに基づき、ＸＲ空間内におけるタブレット面５ａの位置及び姿勢を決定する（ステップＳ１３）。そして、ステップＳ１３で決定したタブレット面５ａの位置及び姿勢に基づき、タブレット端末５を示すオブジェクトをＸＲ空間内に表示する（ステップＳ１４）。
　その後、演算器２ａは、ユーザに対してキャリブレーションモードの終了を通知し（ステップＳ１５）、通常動作モードに戻る（ステップＳ１６）。ステップＳ１５の通知の具体的な方法は特に限定されず、例えば表示、音声通知など各種の方法を採用し得る。
　図４は、変換規則を取得済みのコンピュータ２がタブレット端末５におけるペン入力の結果をＸＲ空間内のオブジェクトとして表示する処理を示すシーケンス図である。同図に示す処理は、タブレット端末５がペン６の位置を検出するタイミングごとに実行される。同図に示すように、タブレット端末５は、ユーザによるペン入力（ステップＳ２０）の結果としてのタブレット面５ａ内におけるペン６の位置を検出し（ステップＳ２１）、検出したペンの位置を示す平面座標を演算器２ａに対して送信する（ステップＳ２２）。
　タブレット端末５からペンの位置を示す平面座標を受信した演算器２ａは、図３のステップＳ１２で算出した変換規則を用いて、受信した平面座標を仮想現実空間座標系の座標（仮想現実空間座標系の６次元ベクトル）に変換する座標変換処理を行う（ステップＳ２３）。このとき演算器２ａは、ペンの位置を示す平面座標（２次元ベクトル）に対し、ｚ２座標、ｘ２軸周りの回転量、ｙ２軸周りの回転量、ｚ２軸周りの回転量をいずれも０の値で追加することによってタブレット面座標系の６次元ベクトルを生成し、生成した６次元ベクトルに変換規則を適用することによって、仮想現実空間座標系の６次元ベクトルを算出すればよい。演算器２ａは、ステップＳ２３の変換によって得られた座標を用いて、ペン６の軌跡を示すオブジェクトをＸＲ空間内に表示する（ステップＳ２４）。これによりユーザは、タブレット端末５上で行ったペン入力の結果を、ＸＲ空間内のオブジェクトとして視認することが可能になる。
　図５は、図３の処理により取得された変換規則を随時更新していくための処理を示すシーケンス図である。図１に例示したユーザがタブレット端末５を手に持っている場合のように、コンピュータ２が変換規則を取得した後にタブレット端末５が移動する可能性がある場合、コンピュータ２は、この処理を実行する必要がある。
　通常動作モードで動作中のＸＲトラッキングシステム２ｂは、定期的に、ＸＲ空間内における座標変換ツールＴ１の位置及び姿勢を検出する（ステップＳ３０）。具体的な検出の方法は、図３のステップＳ７と同様でよい。そしてＸＲトラッキングシステム２ｂは、検出した位置及び姿勢と、前回検出した位置及び姿勢とを比較し、変化があったかどうかを判定する（ステップＳ３１）。その結果、変化がなかった場合には特に処理を行わず、変化があった場合には、検出した位置及び姿勢を示す仮想現実空間座標系の６次元ベクトルを演算器２ａに送信する（ステップＳ３２）。なお、演算器２ａがステップＳ３１の判定を行うこととしてもよく、この場合のＸＲトラッキングシステム２ｂは、検出した位置及び姿勢を示す仮想現実空間座標系の６次元ベクトルを常に演算器２ａに送信すればよい。
　ステップＳ３２においてＸＲトラッキングシステム２ｂから座標変換ツールＴ１の位置及び姿勢を示す仮想現実空間座標系の６次元ベクトルを受信した演算器２ａは、受信した６次元ベクトルと、図３のステップＳ１１で読み込んだ座標変換ツールＴ１の位置及び姿勢を示すタブレット面座標系の６次元ベクトルとに基づき、タブレット面座標系と仮想現実空間座標系とを相互に変換するための変換規則を更新する（ステップＳ３３）。具体的には、ステップＳ１１で読み込んだ６次元ベクトルをステップＳ３２で受信した６次元ベクトルに変換するための回転行列を算出し、変換規則として再取得すればよい。
　変換規則を更新した演算器２ａは、ＸＲ空間内に表示中のペン６の軌跡を示すオブジェクトを更新する（ステップＳ３４）。具体的には、オブジェクトの代表位置（例えば、最初のストロークデータの始点の位置）に対応する仮想現実空間座標系の６次元ベクトルを新たな変換規則に従って更新し、更新後の代表位置に基づいてオブジェクト全体の表示を更新すればよい。
　また、演算器２ａは、図３のステップＳ１１で読み込んだタブレット面５ａに対する座標変換ツールＴ１の位置及び姿勢と、ステップＳ３２で受信したＸＲ空間内における座標変換ツールＴ１の位置及び姿勢とに基づき、ＸＲ空間内におけるタブレット面５ａの位置及び姿勢を再決定する（ステップＳ３５）。そして、ステップＳ３５で再決定したタブレット面５ａの位置及び姿勢に基づき、ＸＲ空間内に表示中のタブレット端末５を示すオブジェクトを更新する（ステップＳ３６）。
　演算器２ａは、ここまでの処理が終了したら、変換規則の更新をユーザに通知することとしてもよい（ステップＳ３５）。この通知を行うことにより、ユーザは、タブレット端末５の移動に応じた処理が適切に行われていることを知ることが可能になる。
　以上説明したように、本実施の形態によるＸＲシステム１によれば、コンピュータ２は、複数のカメラ４によって撮影された影像内に含まれる座標変換ツールＴ１の位置及び姿勢に基づき、タブレット面座標系と仮想現実空間座標系とを相互に変換するための変換規則を取得することができる。したがって、特許文献１のように座標変換ツールとして受光センサを用いる場合に比べ、安価な座標変換ツールによりキャリブレーションを実現することが可能になる。
　また、本実施の形態によるＸＲシステム１によれば、座標変換ツールＴ１に二次元コードＣを設けたので、コンピュータ２は、二次元コードＣの位置及び形状に基づき、影像内に含まれる座標変換ツールＴ１の位置及び姿勢を取得することが可能になる。
　なお、本実施の形態では、タブレット端末５の表面の既知の位置に既知の向きで座標変換ツールＴ１を貼り付ける作業をユーザが行うこととして説明したが、手作業でズレなく座標変換ツールＴ１を貼り付けることには、困難が伴う場合も多いと考えられる。そこで、より簡単に座標変換ツールをタブレット端末５の表面に固定できるよう、固定具を用いることとしてもよい。
　図６（ａ）は、本実施の形態の変形例による座標変換ツールＴ２の上面図であり、図６（ｂ）は、本変形例による座標変換ツールＴ２の側面図である。図６（ａ）には、タブレット端末５も示している。本変形例による座標変換ツールＴ２は、本実施の形態による座標変換ツールＴ１と同じ筐体Ｄ１及び二次元コードＣに加えて、座標変換ツールＴ２をタブレット端末５に固定するための固定具Ｅを有する点で、本実施の形態による座標変換ツールＴ１と相違する。筐体Ｄ１は、固定具Ｅの表面に予め固定される。
　固定具Ｅの具体的な形状は特に限定されないが、図６（ａ）（ｂ）に示した固定具Ｅは、タブレット端末５の短辺を嵌め込むことのできる差し込み空洞Ｅａを有して構成される。これによりユーザは、差し込み空洞Ｅａにタブレット端末５を嵌め込むだけで簡単に、タブレット端末５の表面の既知の位置に既知の向きで、座標変換ツールＴ２を固定することができるようになる。
　次に、本発明の第２の実施の形態によるＸＲシステム１について、説明する。本実施の形態によるＸＲシステム１は、座標変換ツールが位置指示器を含み、タブレット端末５が座標変換ツールの位置及び姿勢を検出する点で、第１の実施の形態によるＸＲシステム１と相違する。なお、本実施の形態においては、タブレット端末５が電磁誘導（ＥＭＲ）方式に対応するものであるとして、説明を行う。その他の点では第１の実施の形態によるＸＲシステム１と同様なので、以下では第１の実施の形態によるＸＲシステム１との相違点に着目して説明を続ける。
　図７（ａ）は、本実施の形態によるタブレット端末５及び座標変換ツールＴ３の上面図であり、図７（ｂ）は、本実施の形態によるタブレット端末５及び座標変換ツールＴ３の側面図である。図７（ａ）に示すように、本実施の形態による座標変換ツールＴ３は、第１の実施の形態による座標変換ツールＴ１と同様、箱状の筐体Ｄ３と、その表面に配置された二次元コードＣとを有して構成される。一方、図７（ｂ）に示すように、本実施の形態による座標変換ツールＴ３は、筐体Ｄ３の内部に、電磁誘導（ＥＭＲ）方式の位置指示器Ｄ３ａをさらに有して構成される。
　位置指示器Ｄ３ａは、具体的には、直列に接続されたコイルとコンデンサからなるＬＣ共振回路を含む回路である。タブレット端末５は、ペン６の位置検出について上述した処理と同様にして、タブレット面５ａ内における位置指示器Ｄ３ａの位置（すなわち、座標変換ツールＴ３の位置）を検出する。
　また、タブレット端末５は、タブレット面５ａに対する座標変換ツールＴ３の姿勢（ｚ２軸周りの回転量）も検出するように構成される。この検出を可能にするため、位置指示器Ｄ３ａを構成するコイルは、座標変換ツールＴ３をタブレット面５ａに固定した場合にタブレット面５ａに対し斜めになるように、筐体Ｄ３内に配置される。タブレット端末５は、位置指示器Ｄ３ａが送出した交番磁界のタブレット面５ａ内における検出強度の分布に基づき、座標変換ツールＴ３のｚ２軸周りの回転量を検出するよう構成される。
　図８は、本実施の形態によるコンピュータ２が変換規則を取得するための処理を示すシーケンス図である。以下、図３に示した処理との相違点に着目して説明する。
　本実施の形態においては、ユーザは、座標変換ツールＴ３をタブレット面５ａ上の任意の位置に任意の向きで（ただし、上面に二次元コードＣが来るように）固定した後（ステップＳ４０）、演算器２ａをキャリブレーションモードに移行させるための所定の操作を行う（ステップＳ３）。
　本実施の形態による演算器２ａは、ステップＳ５において、ＸＲトラッキングシステム２ｂだけでなくタブレット端末５に対しても、キャリブレーションモード移行指示を送信する。キャリブレーションモード移行指示を受信したＸＲトラッキングシステム２ｂが行う処理は、図３の例と同様である（ステップＳ６～Ｓ９）。一方、キャリブレーションモード移行指示を受信したタブレット端末５はキャリブレーションモードにエントリし（ステップＳ４１）、タブレット面５ａに対する座標変換ツールＴ３の位置及び姿勢を検出する（ステップＳ４２）。この検出の具体的な方法は、上述したとおりである。タブレット端末５は、検出した位置及び姿勢を示すタブレット面座標系の６次元ベクトルを演算器２ａに送信し（ステップＳ４３）、通常動作モードに戻る（ステップＳ４４）。なお、タブレット端末５は、ステップＳ４３で送信する６次元ベクトルの要素のうちｘ２座標及びｙ２座標には、検出した座標変換ツールＴ３の位置を示す平面座標を設定し、ｚ２軸周りの回転量には、検出した座標変換ツールＴ３のｚ２軸周りの回転量を設定し、ｚ２座標、ｘ２軸周りの回転量、ｙ２軸周りの回転量のそれぞれには０を設定すればよい。
　ステップＳ４３においてタブレット面５ａに対する座標変換ツールＴ３の位置及び姿勢を示すタブレット面座標系の６次元ベクトルを受信し、ステップＳ８においてＸＲ空間内における座標変換ツールＴ３の位置及び姿勢を示す仮想現実空間座標系の６次元ベクトルを受信した演算器２ａは、図３に示したステップＳ１２～Ｓ１６と同様の処理を行う。この場合において演算器２ａは、ステップＳ１１で読み込んだタブレット面座標系の６次元ベクトルに代え、ステップＳ４３で受信したタブレット面座標系の６次元ベクトルを用いる。これにより、座標変換処理を行うための変換規則が算出され、また、タブレット端末５を示すオブジェクトがＸＲ空間内に表示されることになる。
　以上説明したように、本実施の形態によるＸＲシステム１によっても、コンピュータ２は、複数のカメラ４によって撮影された影像内に含まれる座標変換ツールＴ３の位置及び姿勢に基づき、座標変換処理を行うための変換規則を取得することができる。したがって、特許文献１のように座標変換ツールとして受光センサを用いる場合に比べ、安価な座標変換ツールによりキャリブレーションを実現することが可能になる。
　また、本実施の形態によるＸＲシステム１によっても、座標変換ツールＴ３に二次元コードＣを設けたので、コンピュータ２は、二次元コードＣの位置及び形状に基づき、影像内に含まれる座標変換ツールＴ３の位置及び姿勢を取得することが可能になる。
　さらに、本実施の形態によるＸＲシステム１によれば、座標変換ツールＴ３内に位置指示器Ｄ３ａを配置したので、ユーザは、座標変換ツールＴ３をタブレット面５ａ上の任意の位置に任意の向きで固定することができる。したがって、座標変換ツールに関するユーザ負担を軽減することが可能になる。
　なお、本実施の形態においても、コンピュータ２は、図５に示した更新処理と同様の処理を行うことが好ましい。この更新処理においてコンピュータ２は、図３のステップＳ１１で読み込んだ座標変換ツールＴ１の位置及び姿勢を示すタブレット面座標系の６次元ベクトルに代え、図８のステップＳ４３において受信した座標変換ツールＴ３の位置及び姿勢を示すタブレット面座標系の６次元ベクトルを用いればよい。
　また、本実施の形態では、タブレット端末５が座標変換ツールＴ３の姿勢（ｚ２軸周りの回転量）を検出できるよう、位置指示器Ｄ３ａを構成するコイルを、座標変換ツールＴ３をタブレット面５ａに固定した場合にタブレット面５ａに対し斜めになるように、筐体Ｄ３内に配置する例を説明したが、他の方法によっても、タブレット端末５に座標変換ツールの姿勢（ｚ２軸周りの回転量）を検出させることは可能である。
　図９（ａ）は、本実施の形態の第１の変形例によるタブレット端末５及び座標変換ツールＴ４の上面図であり、図９（ｂ）は、本変形例によるタブレット端末５及び座標変換ツールＴ４の側面図である。これらの図に示すように、座標変換ツールＴ４は、箱状の筐体Ｄ４と、その表面に配置された二次元コードＣとを有して構成される点で、本実施の形態による座標変換ツールＴ３と同様であるが、筐体Ｄ４が筐体Ｄ３よりも細長い形状を有している点で、本実施の形態による座標変換ツールＴ３と相違する。
　また、図９（ｂ）に示すように、筐体Ｄ４の内部には、電磁誘導（ＥＭＲ）方式の位置指示器Ｄ４ａが２つ配置される。各位置指示器Ｄ４ａは、直列に接続されたコイルとコンデンサからなるＬＣ共振回路を含む回路によって構成される点では位置指示器Ｄ３ａと同様である一方、各コイルが座標変換ツールＴ４をタブレット面５ａに固定した場合にタブレット面５ａに対し水平になるように筐体Ｄ４内に配置される点で、位置指示器Ｄ３ａと相違する。各位置指示器Ｄ４ａのコイルは、図９（ｂ）に示すように、タブレット面５ａと平行な方向に一定の距離を空けて配置される。
　本変形例によるタブレット端末５は、座標変換ツールＴ４に含まれる２つの位置指示器Ｄ４ａそれぞれの位置を検出することにより、タブレット面５ａ内における座標変換ツールＴ４の位置を検出するとともに、タブレット面５ａに対する座標変換ツールＴ４の姿勢（ｚ２軸周りの回転量）を検出するよう構成される。これにより、本変形例によっても、本実施の形態と同様に、コンピュータ２は、座標変換処理を行うための変換規則を取得することが可能になる。
　また、本実施の形態では、タブレット端末５が電磁誘導（ＥＭＲ）方式によるペン入力に対応している場合の例を説明したが、タブレット端末５が他の方式によるペン入力に対応している場合であっても、本実施の形態と同様の効果を得ることは可能である。
[規則91に基づく訂正 22.08.2024]
　図１０（ａ）は、本実施の形態の第２の変形例によるタブレット端末５及び座標変換ツールＴ５の上面図であり、図１０（ｂ）は、本変形例によるタブレット端末５及び座標変換ツールＴ５の側面図である。本変形例においては、タブレット端末５がアクティブ静電方式に対応するものである場合の例を説明する。
　本変形例による座標変換ツールＴ５は、細長い箱状の筐体Ｄ５と、その表面に配置された二次元コードＣとを有して構成される点で、本実施の形態の第１の変形例による座標変換ツールＴ４と同様であるが、２つの位置指示器Ｄ４ａではなく、それぞれアクティブ静電方式に対応する２つの位置指示器Ｄ５ａが筐体Ｄ５内に配置される点で、本実施の形態の第１の変形例による座標変換ツールＴ４と相違する。
　各位置指示器Ｄ５ａは、具体的には、上述したペン先電極、処理回路、及びバッテリーを含んで構成される。ただし、処理回路及びバッテリーは、２つの位置指示器Ｄ５ａに共通のものを用いることとしてもよい。各位置指示器Ｄ５ａのペン先電極は、図１０（ｂ）に示すように、タブレット面５ａと平行な方向に一定の距離を空けて配置される。
　本変形例によるタブレット端末５は、座標変換ツールＴ５に含まれる２つの位置指示器Ｄ５ａそれぞれの位置を検出することにより、タブレット面５ａ内における座標変換ツールＴ５の位置を検出するとともに、タブレット面５ａに対する座標変換ツールＴ５の姿勢（ｚ２軸周りの回転量）を検出するよう構成される。これにより、本変形例によっても、本実施の形態及び第１の変形例と同様に、コンピュータ２は、座標変換処理を行うための変換規則を取得することが可能になる。
　次に、本発明の第３の実施の形態によるＸＲシステム１について、説明する。本実施の形態によるＸＲシステム１は、座標変換ツールがタブレット面５ａに表示された画像によって構成される点で、第２の実施の形態によるＸＲシステム１と相違する。その他の点では第２の実施の形態によるＸＲシステム１と同様なので、以下では第２の実施の形態によるＸＲシステム１との相違点に着目して説明を続ける。
　図１１は、本実施の形態によるタブレット端末５及び座標変換ツールＴ６の上面図である。同図に示すように、本実施の形態による座標変換ツールＴ６は、タブレット面５ａに表示された二次元コードＣによって構成される。座標変換ツールＴ６はタブレット端末５が表示しているものであるので、タブレット端末５は、タブレット面５ａ内における座標変換ツールＴ６の表示位置を示す平面座標、及び、座標変換ツールＴ６のｚ２軸周りの回転量を取得できる。
　図１２は、本実施の形態によるコンピュータ２が変換規則を取得するための処理を示すシーケンス図である。以下、図８に示した処理との相違点に着目して説明する。
　本実施の形態においては、ユーザは最初に、演算器２ａをキャリブレーションモードに移行させるための所定の操作を行う（ステップＳ３）。この操作を受けて演算器２ａ及びＸＲトラッキングシステム２ｂが行う処理は、図８を参照して説明したものと同様である。
　本実施の形態によるタブレット端末５は、演算器２ａからキャリブレーションモード移行指示を受信すると（ステップＳ５）、キャリブレーションモードにエントリし（ステップＳ５０）、二次元コードＣである座標変換ツールＴ６をタブレット面５ａ内の任意の位置に表示する（ステップＳ５１）。そして、座標変換ツールＴ６の表示位置及び表示姿勢を示すタブレット面座標系の６次元ベクトルを演算器２ａに送信し（ステップＳ５２）、通常動作モードに戻る（ステップＳ５３）。なお、タブレット端末５は、ステップＳ５２で送信する６次元ベクトルの要素のうちｘ２座標及びｙ２座標には、座標変換ツールＴ６の表示位置を示す平面座標を設定し、ｚ２軸周りの回転量には、座標変換ツールＴ６のｚ２軸周りの回転量を設定し、ｚ２座標、ｘ２軸周りの回転量、ｙ２軸周りの回転量のそれぞれには０を設定すればよい。
　ステップＳ５２において座標変換ツールＴ６の表示位置及び表示姿勢を示すタブレット面座標系の６次元ベクトルを受信し、ステップＳ８においてＸＲ空間内における座標変換ツールＴ６の位置及び姿勢を示す仮想現実空間座標系の６次元ベクトルを受信した演算器２ａは、図３に示したステップＳ１２～Ｓ１６と同様の処理を行う。これにより、座標変換処理を行うための変換規則が算出され、また、タブレット端末５を示すオブジェクトがＸＲ空間内に表示されることになる。
　以上説明したように、本実施の形態によるＸＲシステム１によっても、コンピュータ２は、複数のカメラ４によって撮影された影像内に含まれる座標変換ツールＴ６の位置及び姿勢に基づき、座標変換処理を行うための変換規則を取得することができる。したがって、特許文献１のように座標変換ツールとして受光センサを用いる場合に比べ、安価な座標変換ツールによりキャリブレーションを実現することが可能になる。
　また、本実施の形態によるＸＲシステム１によれば、タブレット面５ａに表示される二次元コードＣにより座標変換ツールＴ６を構成したので、コンピュータ２は、二次元コードＣの位置及び形状に基づき、影像内に含まれる座標変換ツールＴ６の位置及び姿勢を取得することが可能になる。また、ユーザは、物理的に座標変換ツールＴ６を取り扱う必要がなくなるので、座標変換ツールに関するユーザ負担を軽減することが可能になる。
　なお、本実施の形態では、ステップＳ５２においてタブレット端末５から演算器２ａに対しタブレット面座標系の６次元ベクトルを送信する例を説明したが、座標変換ツールＴ６の表示姿勢（ｚ２軸周りの回転量）が予め定められている場合には、タブレット端末５は、座標変換ツールＴ６の表示位置を示す平面座標のみを演算器２ａに送信することとしてもよい。この場合、タブレット端末５は、受信した平面座標からタブレット面座標系の６次元ベクトルを生成することにより、座標変換ツールＴ６の表示位置及び表示姿勢を示すタブレット面座標系の６次元ベクトルを取得すればよい。
　以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
１　　　　　　　　ＸＲシステム
２　　　　　　　　コンピュータ
２ａ　　　　　　　演算器
２ｂ　　　　　　　ＸＲトラッキングシステム
３　　　　　　　　仮想現実ディスプレイ
４　　　　　　　　カメラ
５　　　　　　　　タブレット端末
５ａ　　　　　　　タブレット面
６　　　　　　　　ペン
Ｃ　　　　　　　　二次元コード
Ｄ１，Ｄ３～Ｄ５　筐体
Ｄ３ａ～Ｄ５ａ　　位置指示器
Ｅ　　　　　　　　固定具
Ｅａ　　　　　　　差し込み空洞
Ｔ１～Ｔ６　　　　座標変換ツール

Claims (21)

  1. 　コンピュータによって実行されるキャリブレーション方法であって、
    　前記コンピュータが、
    　　デジタイザを有する機器の面に位置する座標変換ツールを撮影することで得られる影像に含まれる前記座標変換ツールの位置及び姿勢に基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標をＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、
    　キャリブレーション方法。
  2. 　前記座標変換ツールは二次元コードを含み、
    　前記影像に含まれる前記二次元コードの位置及び形状に基づき、前記座標変換ツールの位置及び姿勢を検出する、
    　請求項１に記載のキャリブレーション方法。
  3. 　前記座標変換ツールは、前記面に対する位置及び姿勢を前記デジタイザを有する機器が検出できるように構成された位置指示器を含み、
    　前記コンピュータは、
    　　前記面に対する前記位置指示器の位置及び姿勢を示す情報を受信し、
    　　受信した前記面に対する前記位置指示器の位置及び姿勢を示す情報に基づいて、前記座標変換処理を行うための変換規則を算出する、
    　請求項１に記載のキャリブレーション方法。
  4. 　前記デジタイザを有する機器は、前記位置指示器が送出した交番磁界を検出することにより、前記面に対する前記位置指示器の位置及び姿勢を示す情報を取得する、
    　請求項３に記載のキャリブレーション方法。
  5. 　前記デジタイザを有する機器は、前記位置指示器が送信したダウンリンク信号を検出することにより、前記面に対する前記位置指示器の位置及び姿勢を示す情報を取得する、
    　請求項３に記載のキャリブレーション方法。
  6. 　前記コンピュータは、
    　　前記面に表示された前記座標変換ツールの表示位置を示す座標を受信し、
    　　受信した前記座標変換ツールの表示位置を示す座標に基づいて、前記座標変換処理を行うための変換規則を算出する、
    　請求項１に記載のキャリブレーション方法。
  7. 　コンピュータによって実行されるキャリブレーション方法であって、
    　前記コンピュータが、
    　　デジタイザを有する機器の面に対する座標変換ツールの位置及び姿勢を示す情報を受信し、
    　　受信した前記面に対する座標変換ツールの位置及び姿勢を示す情報と、ＸＲ空間内における前記座標変換ツールの位置及び姿勢とに基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標を前記ＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、
    　キャリブレーション方法。
  8. 　前記座標変換ツールは、前記面に対する位置及び姿勢を前記デジタイザを有する機器が検出できるように構成された位置指示器を含み、
    　前記面に対する座標変換ツールの位置及び姿勢を示す情報は、前記デジタイザを有する機器が検出した前記面に対する前記位置指示器の位置及び姿勢を示す情報である、
    　請求項７に記載のキャリブレーション方法。
  9. 　前記デジタイザを有する機器は、前記位置指示器が送出した交番磁界を検出することにより、前記面に対する前記位置指示器の位置及び姿勢を示す情報を取得する、
    　請求項８に記載のキャリブレーション方法。
  10. 　前記位置指示器は、前記座標変換ツールを前記面に固定した場合に前記デジタイザを有する機器に対し斜めになるように配置されたコイルを有して構成される、
    　請求項９に記載のキャリブレーション方法。
  11. 　前記座標変換ツールは、複数の前記位置指示器を有して構成される、
    　請求項９に記載のキャリブレーション方法。
  12. 　前記デジタイザを有する機器は、前記位置指示器が送信したダウンリンク信号を検出することにより、前記面に対する前記位置指示器の位置及び姿勢を示す情報を取得する、
    　請求項８に記載のキャリブレーション方法。
  13. 　前記座標変換ツールは、複数の前記位置指示器を有して構成される、
    　請求項１２に記載のキャリブレーション方法。
  14. 　前記座標変換ツールは二次元コードを含み、
    　前記コンピュータは、
    　　前記二次元コードを撮影し、
    　　撮影することで得られる影像に含まれる前記二次元コードの位置及び形状に基づき、前記座標変換ツールの位置及び姿勢を検出する、
    　請求項７に記載のキャリブレーション方法。
  15. 　コンピュータによって実行されるキャリブレーション方法であって、
    　前記コンピュータが、
    　　デジタイザを有する機器の面における座標変換ツールの表示位置を示す座標を受信し、
    　　受信した前記面における座標変換ツールの表示位置を示す座標と、ＸＲ空間内における前記座標変換ツールの位置及び姿勢とに基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標を前記ＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、
    　キャリブレーション方法。
  16. 　前記座標変換ツールは二次元コードを含み、
    　前記コンピュータは、
    　　前記二次元コードを撮影し、
    　　撮影することで得られる影像に含まれる前記二次元コードの位置及び形状に基づき、前記座標変換ツールの位置及び姿勢を検出する、
    　請求項１５に記載のキャリブレーション方法。
  17. 　コンピュータによって用いられる座標変換ツールであって、
    　二次元コードを含み、
    　前記コンピュータは、デジタイザを有する機器の面に固定された座標変換ツールを撮影することによって得られる影像内に含まれる前記二次元コードの位置及び形状に基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標をＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を算出する、
    　座標変換ツール。
  18. 　コンピュータによって用いられる座標変換ツールであって、
    　前記面に対する位置及び姿勢をデジタイザを有する機器が検出できるように構成された位置指示器を含み、
    　前記コンピュータは、前記デジタイザを有する機器が検出した前記面に対する前記位置指示器の位置及び姿勢に基づき、前記座標変換処理を行うための変換規則を算出する、
    　座標変換ツール。
  19. 　二次元コードをさらに含み、
    　前記コンピュータは、前記座標変換ツールを撮影することによって得られる影像内に含まれる前記二次元コードの位置及び形状に基づき、前記座標変換処理を行うための変換規則を算出する、
    　請求項１８に記載の座標変換ツール。
  20. 　コンピュータによって用いられる座標変換ツールであって、
    　デジタイザを有する機器の面に表示された画像を含み、
    　前記コンピュータは、前記面に表示された前記画像の表示位置を示す座標に基づき、スタイラスによって指示される前記面内の位置を指定する第１の座標をＸＲ空間内の位置を指定する第２の座標に変換する座標変換処理を行うための変換規則を取得する、
    　座標変換ツール。
  21. 　前記画像は二次元コードを含み、
    　前記コンピュータは、前記座標変換ツールを撮影することによって得られる影像内に含まれる前記二次元コードの位置及び形状に基づき、前記座標変換処理を行うための変換規則を取得する、
    　請求項２０に記載の座標変換ツール。
PCT/JP2024/029471 2023-09-14 2024-08-20 キャリブレーション方法及び座標変換ツール Pending WO2025057668A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-149660 2023-09-14
JP2023149660 2023-09-14

Publications (1)

Publication Number Publication Date
WO2025057668A1 true WO2025057668A1 (ja) 2025-03-20

Family

ID=95022187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/029471 Pending WO2025057668A1 (ja) 2023-09-14 2024-08-20 キャリブレーション方法及び座標変換ツール

Country Status (1)

Country Link
WO (1) WO2025057668A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6359333B2 (ja) * 2014-05-09 2018-07-18 シャープ株式会社 テレコミュニケーションシステム
JP6394107B2 (ja) * 2014-06-23 2018-09-26 富士通株式会社 キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法
US10929670B1 (en) * 2019-10-21 2021-02-23 The Boeing Company Marker-to-model location pairing and registration for augmented reality applications
JP2021508109A (ja) * 2017-12-19 2021-02-25 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 頭部装着型ディスプレイデバイスおよびその方法
WO2022085395A1 (ja) * 2020-10-23 2022-04-28 株式会社ワコム コンピュータ、方法、及びプログラム
JP2023077071A (ja) * 2021-11-24 2023-06-05 Ｈｍｓ株式会社 マーカ設置方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6359333B2 (ja) * 2014-05-09 2018-07-18 シャープ株式会社 テレコミュニケーションシステム
JP6394107B2 (ja) * 2014-06-23 2018-09-26 富士通株式会社 キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法
JP2021508109A (ja) * 2017-12-19 2021-02-25 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 頭部装着型ディスプレイデバイスおよびその方法
US10929670B1 (en) * 2019-10-21 2021-02-23 The Boeing Company Marker-to-model location pairing and registration for augmented reality applications
WO2022085395A1 (ja) * 2020-10-23 2022-04-28 株式会社ワコム コンピュータ、方法、及びプログラム
JP2023077071A (ja) * 2021-11-24 2023-06-05 Ｈｍｓ株式会社 マーカ設置方法

Similar Documents

Publication Publication Date Title
JP7642748B2 (ja) 位置指示装置及びコンピュータ
CN103970265B (zh) 具有触觉反馈的增强现实用户接口
JP7671826B2 (ja) 画像生成方法及びコンピュータ並びに画像生成プログラム
TW201911133A (zh) 用於多個自由度之控制器追蹤
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
CN113227879A (zh) 用于电磁跟踪的环境电磁失真校正
CN104246664B (zh) 不显示指针的透明显示器虚拟触摸装置
CN114981700A (zh) 用于控制显微镜系统的装置、方法和计算机程序
JP7105996B2 (ja) 拡張現実環境内の使い捨てステッカー
CN108257177A (zh) 基于空间标识的定位系统与方法
CN111736689B (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
TWI793390B (zh) 資訊顯示方法及其處理裝置與顯示系統
JP2016045588A (ja) データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム
CN119421763A (zh) 使用增强现实进行机器人任务学习
CN112181138B (zh) 自适应智能头手vr系统、方法
JP2009258884A (ja) ユーザインタフェイス
WO2025057668A1 (ja) キャリブレーション方法及び座標変換ツール
CN116301321A (zh) 一种智能穿戴设备的控制方法及相关设备
CN110209270A (zh) 一种数据手套、数据手套系统、校正方法及存储介质
US20170083671A1 (en) Apparatus for maintenance support in medical technology devices
CN121219664A (zh) 校准方法以及坐标变换工具
JP7762662B2 (ja) コンピュータ、方法、及びプログラム
US20130155211A1 (en) Interactive system and interactive device thereof
US20230353860A1 (en) System, imaging apparatus, information processing apparatus, information processing method, and information processing program
WO2025258620A1 (ja) コンピュータ、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24865173

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025545558

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025545558

Country of ref document: JP