[go: up one dir, main page]

WO2015141080A1 - プロジェクタシステム及びキャリブレーションボード - Google Patents

プロジェクタシステム及びキャリブレーションボード Download PDF

Info

Publication number
WO2015141080A1
WO2015141080A1 PCT/JP2014/082684 JP2014082684W WO2015141080A1 WO 2015141080 A1 WO2015141080 A1 WO 2015141080A1 JP 2014082684 W JP2014082684 W JP 2014082684W WO 2015141080 A1 WO2015141080 A1 WO 2015141080A1
Authority
WO
WIPO (PCT)
Prior art keywords
projector
marker
cursor
calibration
function unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/082684
Other languages
English (en)
French (fr)
Inventor
俊哉 中口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chiba University NUC
Advanced Healthcare Co Ltd
Original Assignee
Chiba University NUC
Advanced Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chiba University NUC, Advanced Healthcare Co Ltd filed Critical Chiba University NUC
Priority to JP2015530234A priority Critical patent/JP5817953B1/ja
Priority to US15/126,976 priority patent/US9900570B2/en
Priority to EP14886638.7A priority patent/EP3122037A1/en
Publication of WO2015141080A1 publication Critical patent/WO2015141080A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00015—Reproducing apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00045—Methods therefor using a reference pattern designed for the purpose, e.g. a test chart
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00082—Adjusting or controlling
    • H04N1/00087—Setting or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0089—Image display device

Definitions

  • the present invention relates to calibration and registration of a projector system.
  • Patent Document 1 Since it can project unrealistic images and entertain the eyes of the audience, it is also applied to the field of entertainment (Patent Document 1).
  • the projector needs to be calibrated before using the projector.
  • the calibration of the projector is an application of the related art related to the calibration of the camera. That is, if the relationship between a space whose position is known in advance and the projection point on the image is known, camera parameters can be derived by calculation. Similarly, the calibration of the projector can be calculated if the correspondence between the projected image and the spatial point of the projection destination is known.
  • the spatial coding method is applied to obtain the correspondence between the projector and camera.
  • the structured light from the projector is projected, the space is encoded with a binary code, decoded based on the image acquired by the camera, and the correspondence between the pixels of the projector and the camera is examined. Thereby, a camera image can be converted into a projector image.
  • the above method is highly accurate because the arithmetic unit performs calibration if the projector, the camera, and the projection target are appropriately arranged and the light source is set at an appropriate position.
  • the method using a camera has a problem that causes the system to be enlarged and complicated.
  • the present invention solves the above-described problems, and an object thereof is to provide a simple projector system that can be handled by experts other than video processing technology, particularly experts in other fields.
  • the projector system of the present invention that solves the above problems includes a projector, an image processing device, an external input means, and a calibration board, and the calibration board is composed of two or more planes,
  • the plurality of calibration markers are arranged so as to form a regular array
  • the image processing device includes: a projection image coordinate system setting function unit that sets a coordinate system of a projection image of the projector; and the external input unit
  • a cursor coordinate acquisition function unit that determines the position and acquires the projection image coordinates corresponding to the cursor at the selected position; Based on the coordinate point group of the projection image of the calibration marker acquired through the cursor operation function unit and the cursor coordinate acquisition function unit, and the spatial coordinate point group of the calibration marker that is known, for each plane,
  • the projector system of the present invention that solves the above problem includes a projector, an image processing device, and external input means, and the image processing device sets a projection image coordinate system setting for setting a coordinate system of a projection image of the projector.
  • a function unit, a cursor operation function unit for operating a cursor projected from the projector based on position information from the external input unit, and a selection from the external input unit when the cursor moves to an arbitrary position Based on the command, an arbitrary position is determined as a selection position, a cursor coordinate acquisition function unit that acquires projection image coordinates corresponding to the cursor at the selection position, a lens characteristic acquisition function unit that inputs lens characteristics of the projector,
  • a spatial coordinate input function unit for inputting a spatial coordinate point group of a registration marker provided on a projection target surface; Based on the projected image coordinate point group of the registration marker, the spatial coordinate group of the registration marker, and the lens characteristic acquired via the cursor operation function unit and the cursor coordinate acquisition function unit.
  • the projector system of the present invention that solves the above problem includes a projector, an image processing device, and external input means, and the image processing device sets a projection image coordinate system setting for setting a coordinate system of a projection image of the projector.
  • a cursor coordinate acquisition function unit that acquires projection image coordinates corresponding to the cursor at the selected position based on the selection command.
  • the coordinate point group of the projection image of the calibration marker or registration marker can be acquired via the cursor operation function unit and the cursor coordinate acquisition function unit. That is, the cursor projected from the projector can be used as an intuitive coordinate input interface. As a result, calibration and registration can be easily performed without a camera.
  • the spatial coordinate input function unit further inputs a spatial coordinate point group of a target inside the projection target
  • the image processing device includes the lens characteristic, the projection target position characteristic, and the like.
  • a target projected image coordinate point group acquisition function for acquiring a target projected image coordinate point group based on the target spatial coordinate point group.
  • the image processing device is a projection image coordinate for registration marker confirmation based on the lens characteristic, the projection target position characteristic, and a spatial coordinate point group of the registration marker.
  • the spatial coordinate input function unit inputs a spatial coordinate of a confirmation marker provided on a surface of the projection target
  • the image processing device includes the lens characteristic and the projection target position.
  • a confirmation marker projection image coordinate acquisition function for acquiring the projection image coordinates of the confirmation marker based on the characteristics and the spatial coordinates of the confirmation marker;
  • the projector system of the present invention is simple and can be handled not only by specialists in video processing technology but also by specialists in other fields. As a result, existing technology can be improved by combining project mapping technology with existing technology in each field.
  • the projector system includes a projector 1, an image processing device 2, an external input unit 3, and a calibration board 4.
  • the projector 1 is a general projector that is commercially available at mass retailers. In other words, it is not a special projector used in an event using project mapping.
  • the image processing apparatus 2 is a general personal computer (personal computer) that is commercially available at mass retailers.
  • the image processing device 2 is connected to the projector 1 by wire or wirelessly.
  • a general tablet computer (tablet) commercially available from a mass retailer may be used.
  • the external input means 3 is a mouse, a trackball, a touch pad, or the like.
  • the external input means 3 is a touch panel.
  • the calibration board 4 consists of two or more planes.
  • it is a self-supporting three-plane type composed of a first plane, a second plane, and a third plane (see FIG. 3).
  • the first plane and the second plane form a convex shape in front view
  • the second plane and the third plane form a concave shape in front view. Thereby, it can respond to the shape of both unevenness.
  • a plurality of calibration markers are arranged so as to form a regular array.
  • a checkered flag pattern is attached, and each intersection of the checkered flags constitutes a calibration marker.
  • intersection of checkered flags is preferably 8 to 20 points (discussed later).
  • FIG. 1 is a functional block diagram of the image processing apparatus 2.
  • the image processing apparatus 2 includes a projection image coordinate system setting function unit 11, a cursor operation function unit 12, a cursor coordinate acquisition function unit 13, a projector characteristic acquisition function unit 14, and a lens characteristic acquisition function unit 15.
  • Projection image coordinate system setting function unit 11 inputs pixel information of projector 1 and sets a coordinate system of a projection image by projector 1. For example, a coordinate system of 1280x800 is set.
  • a cursor projected from the projector 1 is used as the coordinate input interface.
  • the cursor operation function unit 12 operates the cursor based on the position information of the mouse 3 in conjunction with the operation of the mouse 3 and the like.
  • the cursor can be positioned on the calibration marker by operating the cursor.
  • the cursor coordinate acquisition function unit 13 determines the arbitrary position as the selected position based on a selection command (for example, click of the mouse 3), and the projected image coordinates (corresponding to the cursor at the selected position) x, y).
  • a selection command for example, click of the mouse 3
  • the projected image coordinates corresponding to the cursor at the selected position
  • a coordinate point group means the coordinates of a point group or the coordinates of a marker set.
  • m PM
  • m a projected image coordinate
  • P a matrix indicating projector characteristics
  • M a spatial coordinate
  • a plurality of calibration markers are arranged on each plane on the calibration board 4 so as to form a regular array.
  • the positional relationship of regular arrangement is known. Therefore, the spatial coordinate point group M of the calibration marker is known.
  • the projector characteristic acquisition function unit 14 acquires the projector characteristic P based on the spatial coordinate point group M of the calibration marker and the coordinate point groups m 1 and m 2 of the projection image of the calibration marker for each plane.
  • the projector characteristics P contains the position characteristic P R and lens characteristics P L.
  • Lens characteristic P L is the internal parameters, the position property P R is also referred to as external parameters.
  • the lens characteristic acquisition function unit 15 removes the calibration board position characteristics P R1 and P R2 for each plane based on the projector characteristics P 1 and P 2 for each plane, and acquires the lens characteristics P L of the projector 1. Specifically, since there are five unknowns of lens characteristics (internal parameters) and six unknowns of position characteristics (external parameters), simultaneous equations for obtaining eleven unknowns are solved.
  • FIG. 2 is a processing flow of the image processing apparatus 2.
  • FIG. 3 is an operation conceptual diagram relating to calibration.
  • the pixel information (for example, 1280x800) of the projector 1 is input, and the coordinate system of the image projected by the projector 1 is set (step S11).
  • the calibration board 4 is arranged in the projection range of the projector 1.
  • the mouse 3 is operated to move the cursor in conjunction with the position of the mouse 3 (step S12-1).
  • step S12-2 The operator operates the mouse 3 while looking at the cursor, and moves the cursor onto the calibration marker. In this state, the mouse 3 is clicked to select a calibration marker (step S12-2).
  • the projection image coordinates corresponding to the calibration marker are acquired (step S12-3).
  • the lattice point spacing is 30 ⁇ 30 mm.
  • Projection image coordinates corresponding to 20 calibration markers are obtained for each of the first to third surfaces (steps S12-1 to 3 are repeated), and a coordinate point group m of the calibration marker projection image is obtained for each plane. 1 , m 2 ... Are acquired (step S12).
  • the spatial coordinate point group M of the calibration marker is known.
  • Calibration markers are given as three-dimensional coordinates.
  • Projector characteristics P 1 and P 2 are acquired for each plane based on the coordinate point group m 1 and m 2 of the projection image of the calibration marker and the spatial coordinate point group M of the calibration marker (step S12). .
  • the calibration of this embodiment was compared with the conventional method (using a camera), and the verification of accuracy was verified.
  • the accuracy was evaluated by reprojection error.
  • the reprojection error is an index indicating the accuracy of the parameter obtained by the calculation. It can be evaluated that the smaller the value, the more accurate the obtained parameter.
  • the conventional method was performed 10 times. In this embodiment, it was performed 6 times. In this experiment, errors and variations were evaluated, and the positional relationship between the projector and the calibration board (checker board) was changed each time.
  • the conventional method has a reprojection error of 0.12 to 0.15 (mm). Because of the large variation of 10 times, the expression was given a width.
  • the calibration board needs to be composed of two or more sides. More preferably, the number is 3 or more. If the number of intersections per surface is 8 to 20, accuracy can be secured.
  • the calibration in the present embodiment is to select a calibration marker with the mouse 3. Intuitive interface allows non-image processing professionals to handle it.
  • a projector 1 In addition to the calibration board 4, a projector 1, a personal computer 2, and a mouse 3 that are commercially available at mass retailers are used.
  • the calibration board 4 can also be easily created. Thereby, a system can be constructed easily.
  • the projector system includes a projector 1, an image processing device 2, and external input means 3. Although it is reasonable to add the configuration related to the registration to the configuration related to the calibration, it will be described as an independent configuration for convenience of explanation. Common components are denoted by the same reference numerals and description thereof is omitted as appropriate.
  • FIG. 5 is a functional block diagram of the image processing apparatus 2.
  • the image processing apparatus 2 includes a projected image coordinate system setting function unit 11, a cursor operation function unit 12, a cursor coordinate acquisition function unit 13, a lens characteristic acquisition function unit 15, a spatial coordinate input function unit 21, a projection target A position characteristic acquisition function unit 22 is included.
  • a target projection image coordinate point group acquisition function 23 that is a configuration related to the target image projection is also added.
  • the projection image coordinate system setting function unit 11, the cursor operation function unit 12, and the cursor coordinate acquisition function unit 13 are the same as the configuration related to calibration.
  • Lens characteristic acquisition module 15 inputs the lens characteristics P L obtained in the calibration.
  • m (P L ⁇ P R ) ⁇ M
  • P L is a matrix showing the lens characteristics (intrinsic parameters)
  • P R is a matrix indicating the position characteristic (external parameters)
  • M is the spatial coordinates.
  • a plurality of registration markers are provided in advance on the projection target surface. Therefore, it is possible to acquire a projection image coordinate point group m m registration markers through the cursor operation function section 12 and the cursor coordinate acquisition module 13.
  • the cursor projected from the projector 1 is used as a coordinate input interface.
  • the spatial coordinate input function unit 21 inputs a spatial coordinate point group M m of a plurality of registration markers provided on the surface of the projection target and a spatial coordinate point group M t of the target inside the projection target from the outside. . Incidentally, if only for the registration, it is only to obtain a spatial coordinate point group M m registration marker.
  • the projection target position characteristic acquisition module 22 a projection image coordinate point group m m registration markers, and the spatial coordinate point group M m registration markers, and lens characteristics P L, based on, the projection target position to get the characteristic P R.
  • the target projection image coordinate point cloud acquisition function 23 acquires the lens characteristics P L, and a projection target position characteristic P R, and the spatial coordinate point group M t of the target, the target of the projected image coordinate point group m t based on To do.
  • FIG. 6 is a processing flow of the image processing apparatus 2.
  • FIG. 7 is an operation conceptual diagram related to registration.
  • the pixel information (for example, 1280x800) of the projector 1 is input, and the coordinate system of the image projected by the projector 1 is set (step S21).
  • the projector 1 is arranged so that the projection target (particularly all registration markers) is within the projection range of the projector 1.
  • Projector 1 projects a cursor onto the projection target.
  • the mouse 3 is operated to move the cursor in conjunction with the position of the mouse 3 (step S22-1).
  • the operator operates the mouse 3 while looking at the cursor, and aligns the cursor on the registration marker. In this state, the mouse 3 is clicked to select a registration marker (step S12-2).
  • the projection image coordinates corresponding to the registration marker are acquired (step S22-3).
  • the dotted squares indicate the projected image coordinate system. Further, an example of obtaining a projected image coordinates m m1 corresponding to the registration marker m 1.
  • step S23 it acquires lens characteristic P L obtained in the calibration (step S23). Further, it inputs the spatial coordinate point group M m registration markers externally (step S24).
  • the registration marker is given in advance as three-dimensional coordinates.
  • a spatial coordinate point group M t of the target inside the projection target is input from the outside (step S26).
  • the spatial coordinates of the target are given in advance as three-dimensional coordinates. In addition, you may acquire together in step S24.
  • the projector 1 projects the image of the projected image coordinate point group m t of targets to be projected (step S28) (see FIG. 10).
  • ⁇ Registration confirmation> A configuration related to registration confirmation according to the present embodiment will be described. This is added to the configuration related to the registration, and the same reference numeral is given to the common configuration, and the description is omitted as appropriate.
  • FIG. 8 is a functional block diagram of the image processing apparatus 2.
  • the function block according to FIG. 5 is obtained by adding a registration marker checking projection image coordinate group reacquisition function 24.
  • Registration marker confirmation projected image coordinate group reacquisition function 24 the lens characteristics P L, and a projection target position characteristic P R, and the spatial coordinate point group M m registration markers, based on the registration markers confirmed Projective image coordinate point group mc is reacquired.
  • the registration marker projected image coordinate point group m m a registration marker confirmation projection image coordinate point group m mc, those ersatz. While registration marker projected image coordinate point group m m is obtained from the marker selected by the mouse 3, the registration markers confirmation projection image coordinate point group m mc is based vested P L, P R, to the M m Thus, the image processing apparatus 2 calculates. In other words, the registration marker projected image coordinate point group m m whereas registration result is not reflected in the registration markers confirmation projection image coordinate point group m mc, registration result is reflected .
  • the image processing apparatus 2 outputs the registration marker confirmation projection image coordinate point group mc to the projector 1.
  • the projector 1 projects an image related to the registration marker confirmation projection image coordinate point group mc onto the projection target. At this time, the color of the projected image is changed when the registration marker is selected by the cursor (step S22).
  • FIG. 9 is a functional block diagram of the image processing apparatus 2.
  • the confirmation marker projection image coordinate acquisition function 25 is added to the functional block according to FIG.
  • a confirmation marker mc is provided on the surface of the projection target (see FIG. 7).
  • Spatial coordinates M c of the confirmation marker m c is given in advance as three-dimensional coordinates.
  • Spatial coordinate input function unit 21 spatial coordinate point group M m registration markers, in addition to the spatial coordinate point group M t of the target, an external input spatial coordinates M c of the confirmation marker m c.
  • Confirmation marker projected image coordinate acquisition function 25 the lens characteristics P L, obtains the projection target object position characteristic P R, and the spatial coordinates M c of the confirmation marker, the projection image coordinates m c of the confirmation marker based on.
  • the image processing apparatus 2 outputs the projection image coordinates m c of the confirmation marker in the projector 1.
  • the projector 1 projects the image of the projected image coordinates m c of the confirmation marker in the projection target. Confirmation image, if it is projected onto the confirmation marker m c, the operator visually convinced the registration is good.
  • the target user of the present application is a person other than an expert in video processing technology. If the user does not understand the details of the image processing, the check operation 1, and himself operator only has re-projecting the registration marker projected image coordinate point group m m selected via the mouse 3 misunderstanding There is also a possibility to do. With this, the operator cannot be reassured.
  • Verifying operation 2 themselves operator has not selected, on the confirmation marker m c, since the confirmation image is projected, the confirmation image on the confirmation marker m c can understand that it is the result of image processing, the operation Can give people a sense of security.
  • the operator is an expert in each field, but his expertise in video processing technology is limited.
  • a projector 1 In addition to the calibration board 4, a projector 1, a personal computer 2, and a mouse 3 that are commercially available at mass retailers are used. That is, a system can be easily constructed. The present projection technology can be easily applied to existing technologies in other fields.
  • FIG. 10 is an outline of the first application example.
  • the internal rebar may be damaged even if there is no visual damage to the concrete structure.
  • ultrasonic inspection of the reinforcing bar is performed from the concrete surface to confirm that the reinforcing bar is healthy.
  • Calibration is performed in advance using the calibration board 4. Spatial coordinates of concrete structures and bar arrangements are created in advance based on design drawings.
  • a registration marker is provided at a predetermined position on the concrete structure surface.
  • the position information is created in advance as spatial coordinates.
  • the bar arrangement image is projected onto the concrete structure.
  • FIG. 11 is an outline of Application Example 2.
  • Calibration is performed in advance using the calibration board 4. Spatial coordinates of large religious sculptures and small religious sculptures are created in advance based on CT image information.
  • a registration marker is set at a predetermined position on the surface of a large religious sculpture. CT image information is created including this registration marker.
  • FIG. 12 is an outline of Application Example 3.
  • Calibration is performed in advance using the calibration board 4. Spatial coordinates of roads and lifelines are created in advance based on design drawings.
  • a registration marker is set at a predetermined position on the road surface.
  • the position information is created in advance as spatial coordinates.
  • the projector is installed at a high place by an aerial work vehicle.
  • the lifeline image is projected onto the road surface.
  • Sentinel lymph node biopsy has been done to confirm the progression of breast cancer.
  • a sentinel lymph node is a lymph node to which cancer cells that have entered the lymph vessel first reach, and is used to examine the presence or absence of lymphatic metastasis. Sentinel lymph nodes are identified, biopsy needles are inserted, and body tissue is collected.
  • Calibration is performed in advance using the calibration board 4. Spatial coordinates of the body surface and lymphatic vessels are created in advance based on CT image information.
  • a registration marker is provided at a predetermined position on the body surface. CT image information is created including this registration marker.
  • the arithmetic unit calibrates. In other words, it was fully automatic. Therefore, it can be said that it is a black box.
  • the projected image coordinates of the calibration marker are acquired using a cursor projected from a projector as an intuitive input interface without using a camera.
  • it is semi-automatic (semi-manual). It can be said that the judgment of the operator is partly included and is intuitive.
  • the projection target and the projection target handled by the present application are individual specific and cannot be dealt with uniformly.
  • the black boxed prior art is difficult to handle for users other than video processing technology specialists.
  • the black box technology is designed to be easy to use for amateurs, assuming the most common usage environment. As a result, if it is assumed that the environment is a general environment, it is easy for an amateur to handle. In other words, if the usage environment changes specifically as in the present application, it is a black box and cannot be handled by an amateur.
  • the present invention is semi-automatic and the operator's judgment is mixed. As a result, in the present invention, variations and errors were expected to increase.
  • the inventor quantitatively evaluated the variation and error resulting from the operator's judgment through experiments. Based on the experimental results, contrary to expectations, the present invention has been found to have an accuracy equal to or higher than that of the prior art and have little variation (detailed above). Furthermore, the experimental results were considered.
  • the high accuracy of the prior art is based on the premise that an image processing technology expert appropriately arranges a camera, a projector, an object to be projected, and a light source.
  • the experience and know-how of experts are already reflected at the time of placement setting.
  • the present invention combines ease of handling and accuracy. It is not a trade-off relationship.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Position Input By Displaying (AREA)

Abstract

映像処理技術の専門家以外のユーザが扱える簡便なプロジェクタシステムを提供する。プロジェクタシステムは、プロジェクタ１と、パソコン２と、マウス３と、キャリブレーションボード４を備える。キャリブレーションボード４には、チェッカーフラッグ模様が付されており、交点がマーカとなる。直観的な入力インターフェイスとして、プロジェクタ１からキャリブレーションボード４に投影されるカーソルを用いる。操作者は、カーソルを見ながらマウス３を操作し、カーソルをキャリブレーションマーカ上に合わせる。この状態で、マウス３をクリックし、キャリブレーションマーカを選択する。選択指令に基づいて、対応する投影画像座標を取得する。

Description

[規則37.2に基づきISAが決定した発明の名称]　プロジェクタシステム及びキャリブレーションボード
　本発明は、プロジェクタシステムのキャリブレーションおよびレジストレーションに関する。
　近年、プロジェクトマッピングに係る技術が注目されている。東京駅駅舎や大阪城などの壁面に、非現実的な映像を投影することにより、幻想的な空間を演出できる。また、ビル壁面に芸術的な映像を投影することにより、都市景観に変化を付けることができる。プロジェクトマッピングを利用したイベントは、観客の目を楽しませ、大きな集客力を見込める。これにより、大きな経済効果を期待できる。
　また、非現実的な映像を投影し、観客の目を楽しませることができる為、娯楽の分野にも適用されている（特許文献１）。
特開２０１４－０１０３６２号公報
　一方で、他の工学など実用的な分野への適用実績は少ない。
　その理由として、各工学分野や他の学問分野では、分野ごとに体系化され完成されており、全く違った分野の技術を新たに受け入れにくい、すなわち、分野の縦割りによる弊害が一因として挙げられる。他方、プロジェクトマッピング参入の敷居が高いことも要因であると思われる。
　現在のプロジェクトマッピング技術の実務では、専門知識を持った映像技術者が特殊な機械を用いている。また、映像鑑賞を目的とするため、要求される精度も高い。つまり、映像処理技術の専門家は芸術家気質の人が多く、「実用に耐え得れば充分である」という発想が起きにくい。
　したがって、映像処理技術の専門家以外の者が、プロジェクトマッピング技術を応用しようとしても、手軽に始めることができず、専門家の助けを必要とする。その結果、既存技術にプロジェクトマッピング技術を組み合わせて、あらたな技術を開発する契機になりにくい。
　例えば、プロジェクタを用いる前にプロジェクタのキャリブレーションが必要である。プロジェクタのキャリブレーションは、カメラのキャリブレーションに係る従来技術を応用したものである。すなわち、予め位置が既知の空間とその画像上の投影点の関係がわかれば、計算によりカメラパラメータを導出することができる。同様に、プロジェクタのキャリブレーションも、投影画像と投影先の空間点の対応がわかれば、計算可能である。
　プロジェクタとカメラの対応関係取得には、空間コード化法を適用する。プロジェクタからの構造光を投影して空間を２進コードで符号化し、カメラで取得した画像を基に復号化し、プロジェクタとカメラとの画素の対応を調べる。これにより、カメラ画像をプロジェクタ画像に変換することができる。
　上記手法では、プロジェクタとカメラと投影対象とを適切に配置し、適切な位置に光源を設定さえすれば、演算装置がキャリブレーションを行うため、高精度である。
　しかしながら、プロジェクタとカメラと投影対象とを適切に配置し、光源を適切に設定することは、経験が必要であり、映像処理技術の専門家以外では困難である。さらに、何回か配置を変更する必要がある。未経験者では、迅速に再配置することが困難である。
　また、カメラを用いる手法は、システムの肥大化、複雑化を招く問題があった。
　本発明は上記課題を解決するものであり、映像処理技術の専門家以外、とくに他分野の専門家が扱える簡便なプロジェクタシステムを提供することを目的とする。
　上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備え、前記キャリブレーションボードは、２以上の平面からなり、各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたキャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得するプロジェクタ特性取得機能部と、平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得するレンズ特性取得機能部と、を有する。
　上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、を備え、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、前記プロジェクタのレンズ特性を入力するレンズ特性取得機能部と、被投影対象の表面に設けられたレジストレーションマーカの空間座標点群を入力する空間座標入力機能部と、前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたレジストレーションマーカの投影画像座標点群と、前記レジストレーションマーカの空間座標群と、前記レンズ特性と、に基づいて、被投影対象位置特性を取得する被投影対象位置特性取得機能部と、を有する。
　上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、を備え、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソル操作により任意の位置が選択されたとき、前記外部入力手段からの選択指令に基づいて、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、を有する。
　上記構成により、キャリブレーションマーカまたはレジストレーションマーカの投影画像の座標点群を、カーソル操作機能部およびカーソル座標取得機能部を介して取得できる。すなわち、プロジェクタから投影されるカーソルを直観的な座標入力インターフェイスとして、利用できる。その結果、カメラなしでも、簡単に、キャリブレーションやレジストレーションができる。
　上記発明において、更に好ましくは、前記空間座標入力機能部は、被投影対象内部のターゲットの空間座標点群を更に入力し、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記ターゲットの空間座標点群と、に基づいてターゲットの投影画像座標点群を取得するターゲット投影画像座標点群取得機能と、を更に有する。
　これにより、簡単に、ターゲット画像を被投影対象に投影できる。
　上記発明において、更に好ましくは、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記レジストレーションマーカの空間座標点群と、に基づいて、レジストレーションマーカ確認用投影画像座標点群を再取得するレジストレーションマーカ確認用投影画像座標群再取得機能と、を更に有する。
　上記発明において、更に好ましくは、前記空間座標入力機能部は、被投影対象の表面に設けられた確認マーカの空間座標を入力し、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記確認マーカの空間座標と、に基づいて確認マーカの投影画像座標を取得する確認マーカ投影画像座標取得機能と、を更に有する。
　これにより、簡単に、レジストレーションが良好であることを確認できる。
　本発明のプロジェクタシステムは簡便であり、映像処理技術の専門家以外、特に他分野の専門家でも扱える。その結果、各分野の既存技術にプロジェクトマッピング技術を組み合わせることにより、既存技術を改良できる。
画像処理装置の機能ブロック図（キャリブレーション） 画像処理装置の処理フロー図（キャリブレーション） 動作概念図（キャリブレーション） 精度検証（キャリブレーション） 画像処理装置の機能ブロック図（レジストレーション） 画像処理装置の処理フロー図（レジストレーション） 動作概念図（レジストレーション） 画像処理装置の機能ブロック図（レジストレーション確認） 画像処理装置の機能ブロック図（レジストレーション確認） 適用例１ 適用例２ 適用例３
　＜キャリブレーション＞
　～構成～
　本実施形態のキャリブレーションに係る構成について説明する。プロジェクタシステムは、プロジェクタ１と、画像処理装置２と、外部入力手段３と、キャリブレーションボード４を備える。
　プロジェクタ１は、量販店で市販されている一般的なプロジェクタであることを、想定している。すなわち、プロジェクトマッピングを利用したイベント等で用いられる特殊なプロジェクタではない。
　画像処理装置２は、量販店で市販されている一般的なパーソナルコンピュータ（パソコン）であることを、想定している。画像処理装置２は、プロジェクタ１に有線または無線にて接続されている。
　画像処理装置２として、量販店で市販されている一般的なタブレット型コンピュータ（タブレット）を用いてもよい。
　画像処理装置２がパソコンである場合、外部入力手段３はマウス、トラックボール、タッチパッド等であることを、想定している。
　画像処理装置２がタブレットである場合、外部入力手段３はタッチパネルであることを、想定している。
　キャリブレーションボード４は、２以上の平面からなる。たとえば、第１平面と第２平面と第３平面とからなる自立可能な３面式である（図３参照）。
　第１平面と第２平面とは、正面視凸状を形成し、第２平面と第３平面とは、正面視凹状を形成している。これにより、凹凸両方の形状に対応できる。
　各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置されている。
　たとえば、チェッカーフラッグ模様が付されており、チェッカーフラッグの各交点がキャリブレーションマーカを構成する。
　チェッカーフラッグの交点は８～２０点であることが好ましい（検討後述）。
　図１は、画像処理装置２の機能ブロック図である。画像処理装置２は、投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、プロジェクタ特性取得機能部１４と、レンズ特性取得機能部１５と、を有する。
　投影画像座標系設定機能部１１は、プロジェクタ１の画素情報を入力し、プロジェクタ１による投影画像の座標系を設定する。たとえば、1280x800の座標系を設定する。
　本実施形態では、座標入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。
　カーソル操作機能部１２は、マウス３等の動作と連動し、マウス３の位置情報に基づいて、カーソルを操作する。カーソル操作により、カーソルをキャリブレーションマーカ上に合わせることができる。
　カーソル座標取得機能部１３は、カーソルが任意の位置にあるとき、選択指令（例えばマウス３のクリック）に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標（x,y）を取得する。カーソルを各キャリブレーションマーカ上に合わせて選択すると、各キャリブレーションマーカの投影画像座標を取得できる。
　すなわち、カーソル操作機能部１２および前記カーソル座標取得機能部１３を介して、平面ごとに、キャリブレーションマーカの投影画像の座標点群ｍ１，ｍ２を取得できる。説明の簡略化の為、２平面とする。座標点群とは、点群の座標もしくはマーカ集合の座標を意味する。
　一般に、投影画像座標と空間座標の関係は、以下のように規定される。
　ｍ＝Ｐ・Ｍ
　ただし、ｍは投影画像座標、Ｐはプロジェクタ特性を示す行列、Ｍは空間座標である。
　ここで、キャリブレーションボード４上の各平面には、複数のキャリブレーションマーカが規則正しい配列を形成するように配置されている。規則的な配列の位置関係は既知である。したがって、キャリブレーションマーカの空間座標点群Ｍは既知である。
　プロジェクタ特性取得機能部１４は、キャリブレーションマーカの空間座標点群Ｍおよび平面ごとのキャリブレーションマーカの投影画像の座標点群ｍ１，ｍ２に基づいて、プロジェクタ特性Ｐを取得する。
　プロジェクタ特性Ｐには、レンズ特性ＰＬと位置特性ＰＲとが含まれている。レンズ特性ＰＬは内部パラメータ、位置特性ＰＲは外部パラメータとも呼ばれる。
　レンズ特性取得機能部１５は、平面ごとのプロジェクタ特性Ｐ１，Ｐ２に基づいて、平面ごとのキャリブレーションボード位置特性ＰＲ１，ＰＲ２を除去し、プロジェクタ１のレンズ特性ＰＬを取得する。具体的には、レンズ特性（内部パラメータ）の未知数５個、位置特性（外部パラメータ）の未知数６個であるので、１１個の未知数を求める連立方程式を解く。
　～動作～
　本実施形態のキャリブレーションに係る動作について説明する。図２は、画像処理装置２の処理フローである。図３は、キャリブレーションに係る動作概念図である。
　プロジェクタ１の画素情報（たとえば、1280x800）を入力し、プロジェクタ１による投影画像の座標系を設定する（ステップＳ１１）。
　プロジェクタ１の投影範囲に、キャリブレーションボード４を配置する。
　プロジェクタ１よりキャリブレーションボード４にカーソルを投影する。
　マウス３を操作し、マウス３の位置に連動させて、カーソルを移動する（ステップＳ１２－１）。
　操作者は、カーソルを見ながらマウス３を操作し、カーソルをキャリブレーションマーカ上に移動させる。この状態で、マウス３をクリックし、キャリブレーションマーカを選択する（ステップＳ１２－２）。
　マウス３の選択指令に基づいて、キャリブレーションマーカに対応する投影画像座標を取得する（ステップＳ１２－３）。
　図３において、点線の四角は投影画像座標系を示唆する。
　また、図３において、キャリブレーションボード４は、３面式であり、各平面には、チェッカーフラッグ模様が付されており、チェッカーフラッグの交点は、４×５（＝２０）である。格子点間隔は３０×３０ｍｍである。
　第１面～第３面毎に２０個のキャリブレーションマーカに対応する投影画像座標を取得して（ステップＳ１２－１～３繰り返し）、各平面ごとにキャリブレーションマーカの投影画像の座標点群ｍ１，ｍ２・・・を取得する（ステップＳ１２）。
　一方、キャリブレーションマーカの空間座標点群Ｍは既知である。キャリブレーションマーカは３次元座標として与えられている。
　キャリブレーションマーカの投影画像の座標点群ｍ１，ｍ２と、キャリブレーションマーカの空間座標点群Ｍと、に基づいて、平面ごとに、プロジェクタ特性Ｐ１，Ｐ２を取得する（ステップＳ１２）。
　平面ごとのプロジェクタ特性Ｐ１，Ｐ２に基づいて、平面ごとのキャリブレーションボード位置特性ＰＲ１，ＰＲ２を除去し、共通するプロジェクタのレンズ特性ＰＬを取得する（ステップＳ１３）。
　これにより、キャリブレーションを完了する。
　～精度の検証～
　本実施形態のキャリブレーションと従来方法（カメラを用いる）とを比較し、精度の検証を検証した。再投影誤差により精度を評価した。再投影誤差は、計算で得られたパラメータの正確さを示す指標であり、この値が小さい程、得られたパラメータが正確であると評価できる。従来方法では１０回おこなった。本実施形態では各６回おこなった。本実験は誤差やバラツキを評価するものであり、毎回、プロジェクタとキャリブレーションボード（チェッカーボード）との位置関係を変化させた。
　図４に評価結果を示す。
　従来方法は、再投影誤差０．１２～０．１５（ｍｍ）であった。１０回のバラツキが大きいため、幅を持たせた表現とした。
　本実施形態のキャリブレーションの検証では、ボード平面を１面～３面と変化させた。さらに、各面毎に、チェッカー交点８点（＝４×２）、１２点（＝４×３）、１６点（＝４×４）、２０点（＝４×５）と変化させた。
　本実施形態では、実験６回において明確なバラツキはなかったため、平均値で表現した。
　１面～３面のいずれの場合も、チェッカー交点８～２０点の変化に対する明確な差異は見られなかった。この結果は、当所想定していたより、操作者による判断が充分正確であることを示唆するものである。
　一方、ボード１面の場合、従来方法と比較して精度が劣っている。ランク落ちと言われる計算誤差が発生して、実用的でない。２面の場合、従来方法と同程度の精度が得られる。３面の場合、従来方法と比較して、精度が向上している。
　したがって、キャリブレーションボードは、２面以上から構成される必要がある。３面以上であるとなお好ましい。各面あたりの交点数は８～２０であれば、精度を確保できる。
　～効果～
　上記構成及び動作による効果についてまとめる。
　本実施形態におけるキャリブレーションは、マウス３によりキャリブレーションマーカを選択するものである。直観的なインターフェイスにより、映像処理技術の専門家以外でも扱える。
　一度、キャリブレーションボードを配置すれば、何度も配置換えをする必要がない。これによりキャリブレーションにおける作業手間を軽減できる。
　カメラ不要であり、構成が簡素である。その結果、演算負荷が軽減される。
　また、カメラ不要であることにより、事前の配置設定の負担が軽減される。すなわち、プロジェクタの投影範囲にキャリブレーションボードを配置するのみである。
　従来技術と同等以上の精度が得られる。また、誤差のバラツキが少ない。
　また、キャリブレーションボード４以外は、量販店で市販されているプロジェクタ１と、パソコン２と、マウス３を用いる。キャリブレーションボード４も簡単に作成できる。これにより、簡単にシステムを構築できる。
　＜レジストレーション＞
　～構成～
　本実施形態のレジストレーションに係る構成について説明する。プロジェクタシステムは、プロジェクタ１と、画像処理装置２と、外部入力手段３を備える。キャリブレーションに係る構成に、レジストレーションに係る構成を付加することが合理的であるが、説明の便宜に為、独立した構成として説明する。共通する構成については同じ符号を付し適宜説明を省略する。
　図５は、画像処理装置２の機能ブロック図である。画像処理装置２は、投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、レンズ特性取得機能部１５と、空間座標入力機能部２１と、被投影対象位置特性取得機能部２２を有する。
　以上が、レジストレーションに係る構成であるが、図５には、ターゲット画像投影に係る構成であるターゲット投影画像座標点群取得機能２３も追記されている。
　投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、については、キャリブレーションに係る構成と共通である。レンズ特性取得機能部１５は、キャリブレーションで得られたレンズ特性ＰＬを入力する。
　一般に、投影画像座標と空間座標の関係は、以下のように規定される。
　ｍ＝（ＰＬ・ＰＲ）・Ｍ
　ただし、ｍは投影画像座標、ＰＬはレンズ特性（内部パラメータ）を示す行列、ＰＲは位置特性（外部パラメータ）を示す行列、Ｍは空間座標である。
　被投影対象表面には、予めレジストレーションマーカが複数設けられている。したがって、カーソル操作機能部１２およびカーソル座標取得機能部１３を介してレジストレーションマーカの投影画像座標点群ｍｍを取得できる。
　つまり、レジストレーションでも、座標入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。
　空間座標入力機能部２１は、被投影対象の表面に複数設けられたレジストレーションマーカの空間座標点群Ｍｍと、被投影対象内部のターゲットの空間座標点群Ｍｔと、を外部より入力する。なお、レジストレーションのためだけなら、レジストレーションマーカの空間座標点群Ｍｍを取得するのみでよい。
　被投影対象位置特性取得機能部２２は、レジストレーションマーカの投影画像座標点群ｍｍと、レジストレーションマーカの空間座標点群Ｍｍと、レンズ特性ＰＬと、に基づいて、被投影対象位置特性ＰＲを取得する。
　ターゲット投影画像座標点群取得機能２３は、レンズ特性ＰＬと、被投影対象位置特性ＰＲと、ターゲットの空間座標点群Ｍｔと、に基づいてターゲットの投影画像座標点群ｍｔを取得する。
　～動作～
　本実施形態の、レジストレーションに係る動作について説明する。図６は、画像処理装置２の処理フローである。図７は、レジストレーションに係る動作概念図である。
　プロジェクタ１の画素情報（たとえば、1280x800）を入力し、プロジェクタ１による投影画像の座標系を設定する（ステップＳ２１）。
　プロジェクタ１の投影範囲に被投影対象（特に全てのレジストレーションマーカ）が入るように、プロジェクタ１を配置する。
　プロジェクタ１より被投影対象にカーソルを投影する。
　マウス３を操作し、マウス３の位置に連動させて、カーソルを移動する（ステップＳ２２－１）。
　操作者は、カーソルを見ながらマウス３を操作し、カーソルをレジストレーションマーカ上に合わせる。この状態で、マウス３をクリックし、レジストレーションマーカを選択する（ステップＳ１２－２）。
　マウス３の選択指令に基づいて、レジストレーションマーカに対応する投影画像座標を取得する（ステップＳ２２－３）。
　図７において、点線の四角は投影画像座標系を示唆する。また、レジストレーションマーカｍ１に対応する投影画像座標ｍｍ１を取得した例である。
　図７の場合、レジストレーションマーカｍ１～ｍ５は均等に５つ設けられている。レジストレーション精度と作業手間のバランスを考慮すると、５～８点程度が好ましい。
　５点のレジストレーションマーカｍ１～ｍ５に対応する投影画像座標を取得して（ステップＳ２２－１～３繰り返し）、レジストレーションマーカの投影画像の座標点群ｍｍを取得する（ステップＳ２２）。
　一方、キャリブレーションで得られたレンズ特性ＰＬを取得する（ステップＳ２３）。また、レジストレーションマーカの空間座標点群Ｍｍを外部より入力する（ステップＳ２４）。レジストレーションマーカは予め３次元座標として与えられている。
　レジストレーションマーカの投影画像の座標点群ｍｍと、レジストレーションマーカの空間座標点群Ｍｍと、レンズ特性ＰＬと、に基づいて、被投影対象位置特性ＰＲを取得する（ステップＳ２５）。
　これにより、レジストレーションを完了する。
　ついで、本実施形態の、ターゲット画像投影に係る動作について説明する。
　被投影対象内部のターゲットの空間座標点群Ｍｔを外部より入力する（ステップＳ２６）。ターゲットの空間座標は予め３次元座標として与えられている。なお、ステップＳ２４にて併せて取得しても良い。
　レンズ特性ＰＬと、被投影対象位置特性ＰＲと、ターゲットの空間座標点群Ｍｔと、に基づいてターゲットの投影画像座標点群ｍｔを取得する（ステップＳ２７）。
　ターゲットの投影画像座標点群ｍｔをプロジェクタ１に出力する。プロジェクタ１は、ターゲットの投影画像座標点群ｍｔに係る画像を被投影対象に投影する（ステップＳ２８）（図１０参照）。
　～効果～
　レジストレーションでも、直感的な入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。すなわち、キャリブレーションで述べた効果と同等の効果が得られる。
　ところで、キャリブレーションおよび空間座標外部入力は、事前に行われている。
　操作者が実際に作業直前に行う動作は、プロジェクタ１を適切な位置に配置し、マウス３を介して数点（上記では５点）のレジストレーションマーカを選択するだけである。投影に係る作業負担を軽減することで、投影画像による補助情報を参考にしながら、本来の作業に集中できる（適用例参照）。
　＜レジストレーション確認＞
　本実施形態のレジストレーション確認に係る構成について説明する。レジストレーションに係る構成に付加するものであり、共通する構成については同じ符号を付し適宜説明を省略する。
　レジストレーション確認に係る構成として、レジストレーションマーカを用いるもの（確認動作１）と、新たに確認マーカを用いるもの（確認動作２）の２種類ある。いずれか一方でも良いし、併用しても良い。ただし、説明の便宜に為、確認動作１および確認動作２を併用した実施形態は図示を省略する。
　～確認動作１～
　図８は、画像処理装置２の機能ブロック図である。図５に係る機能ブロックにレジストレーションマーカ確認用投影画像座標群再取得機能２４を付加したものである。
　レジストレーションマーカ確認用投影画像座標群再取得機能２４は、レンズ特性ＰＬと、被投影対象位置特性ＰＲと、レジストレーションマーカの空間座標点群Ｍｍと、に基づいて、レジストレーションマーカ確認用投影画像座標点群ｍｍｃを再取得する。
　なお、レジストレーションマーカ投影画像座標点群ｍｍとレジストレーションマーカ確認用投影画像座標点群ｍｍｃとは、似て非なるものである。レジストレーションマーカ投影画像座標点群ｍｍがマウス３によるマーカ選択から得られるのに対し、レジストレーションマーカ確認用投影画像座標点群ｍｍｃは、既得のＰＬ、ＰＲ、Ｍｍとに基づいて画像処理装置２が演算するものである。言い換えると、レジストレーションマーカ投影画像座標点群ｍｍにはレジストレーション結果が反映されていないのに対し、レジストレーションマーカ確認用投影画像座標点群ｍｍｃには、レジストレーション結果が反映されている。
　画像処理装置２は、レジストレーションマーカ確認用投影画像座標点群ｍｍｃをプロジェクタ１に出力する。プロジェクタ１は、レジストレーションマーカ確認用投影画像座標点群ｍｍｃに係る画像を被投影対象に投影する。このとき、カーソルによるレジストレーションマーカ選択時（ステップＳ２２）と投影画像の色を変える。
　異なった色の確認画像が、レジストレーションマーカｍ１～ｍ５上に投影されていれば、目視により操作者はレジストレーションが良好であると確信する。
　～確認動作２～
　図９は、画像処理装置２の機能ブロック図である。図５に係る機能ブロックに確認マーカ投影画像座標取得機能２５を付加したものである。
被投影対象の表面には、レジストレーションマーカｍ１～ｍ５とは別に、確認マーカｍｃが設けられている（図７参照）。確認マーカｍｃの空間座標Ｍｃは３次元座標として予め与えられている。
　空間座標入力機能部２１は、レジストレーションマーカの空間座標点群Ｍｍ、被ターゲットの空間座標点群Ｍｔに加えて、確認マーカｍｃの空間座標Ｍｃを外部より入力する。
　確認マーカ投影画像座標取得機能２５は、レンズ特性ＰＬと、被投影対象位置特性ＰＲと、確認マーカの空間座標Ｍｃと、に基づいて確認マーカの投影画像座標ｍｃを取得する。
　画像処理装置２は、確認マーカの投影画像座標ｍｃをプロジェクタ１に出力する。プロジェクタ１は、確認マーカの投影画像座標ｍｃに係る画像を被投影対象に投影する。確認画像が、確認マーカｍｃ上に投影されていれば、目視により操作者はレジストレーションが良好であると確信する。
　ところで、本願の対象ユーザは、映像処理技術の専門家以外である。ユーザが画像処理の詳細を理解できていない場合、確認動作１では、操作者自らがマウス３を介して選択したレジストレーションマーカ投影画像座標点群ｍｍを再投影しているだけであると誤解する可能性もある。これでは、操作者に安心感を与えることができない。
　確認動作２では、操作者自らが選択していない、確認マーカｍｃ上に、確認画像が投影されるため、確認マーカｍｃ上の確認画像は画像処理による結果であることを理解でき、操作者に安心感を与えることができる。
　＜適用例＞
　～概要～
　本発明は、対象物の内部構造が既知であるが、対象物を非破壊状態のまま内部構造を可視化したいときに有用である。以下に、コンクリート内部の鉄筋の超音波探査、美術品の一般公開、交差点での道路工事、センチネルリンパ節生検への適用例について説明する。
　いずれの場合も、操作者は各分野の専門家であるが、映像処理技術に関する専門知識は乏しいものとする。
　また、キャリブレーションボード４以外は、量販店で市販されているプロジェクタ１と、パソコン２と、マウス３を用いる。すなわち、簡単にシステムを構築できる。他分野の既存技術に本願投影技術を容易に適用できる。
　～適用例１～
　図１０は、適用例１の概要である。
　地震後、目視ではコンクリート構造物に被害がない場合でも、内部の鉄筋が損傷している場合がある。これに対し、コンクリート表面から、鉄筋の超音波探査を行い、鉄筋が健全であることを確かめる。
　キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。コンクリート構造物および配筋の空間座標は、設計図面に基づいて事前に作成しておく。
　コンクリート構造物表面の所定の位置にレジストレーションマーカを設けておく。当該位置情報は事前に空間座標として作成しておく。
　以上の準備が終わり次第、配筋画像をコンクリート構造物に投影する。
　投影画像を参照しながら、対象鉄筋位置を推定し、超音波探査をおこなう。可視化することで、調査対象を特定でき、探査精度が向上する。
　調査現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、調査員は調査に集中できる。
　～適用例２～
　図１１は、適用例２の概要である。
　古文書調査により、大きな宗教彫刻の中に小さな宗教彫刻が埋設されていることがわかった。ＣＴ調査によっても埋設が裏付けされた。博物館の学芸員は、より効果的な方法で、宗教彫刻を一般公開することを考えている。
　キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。大きな宗教彫刻および小さな宗教彫刻の空間座標は、ＣＴ画像情報に基づいて事前に作成しておく。
　大きな宗教彫刻表面の所定の位置にレジストレーションマーカを設けておく。このレジストレーションマーカを含めてＣＴ画像情報を作成しておく。
　以上の準備が終わり次第、小さな宗教彫刻に係る画像を大きな宗教彫刻表面に投影する。
　投影画像により可視化することで、観者の想像力を補完し、宗教美術に知識のない一般閲覧者にも、芸術に対する理解を深めてもらうことができる。
　博物館の閲覧室では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、学芸員は一般閲覧者への説明に集中できる。
　～適用例３～
　図１２は、適用例３の概要である。
　都市の交差点には、複数のライフラインが複雑に埋設されている。ライフラインが切断されると、都市機能が麻痺する可能性もある。したがって、道路工事を行う場合は、事前に関連部門と綿密な打ち合わせを行い、慎重に道路掘削を行う。
　キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。道路およびライフラインの空間座標は、設計図面に基づいて事前に作成しておく。
　道路表面の所定の位置にレジストレーションマーカを設けておく。当該位置情報は事前に空間座標として作成しておく。プロジェクタは高所作業車により高所に設置しておく。
　以上の準備が終わり次第、ライフライン画像を道路表面に投影する。
　投影画像を参照しながら、ライフライン位置を推定し、ライフラインを避けながら慎重に道路掘削を行う。可視化することで、油圧ショベルオペレータの負担を軽減できる。
　工事現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、工事関係者は本来の工事に集中できる。
　～適用例４～
　乳癌の進行を確かめるため、センチネルリンパ節生検が行われている。センチネルリンパ節とは、リンパ管にはいった癌細胞が最初に辿りつくリンパ節であり、リンパ管転移の有無を調べるために利用される。センチネルリンパ節を同定し、生検針を挿入し、体組織を採取する。
　キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。体表およびリンパ管の空間座標は、ＣＴ画像情報に基づいて事前に作成しておく。
　体表の所定の位置にレジストレーションマーカを設けておく。このレジストレーションマーカを含めてＣＴ画像情報を作成しておく。
　以上の準備が終わり次第、リンパ管画像を体表に投影する。
　投影画像を参照しながら、リンパ管画像を推定し、生検針を挿入し、体組織を採取する。可視化することで、術者の負担を軽減できる。
　体組織採取の現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、術者は手術に集中できる。
　＜補足＞
　従来技術と本発明の相違点を噛み砕いて再度説明する。更に、相違点について検討し、明細書本文では説明しきれなかった点について補足する。
　従来技術のキャリブレーションでは、カメラを用い、カメラ、プロジェクタ、被投影対象物、光源の配置を適切に行えば、演算装置がキャリブレーションを行っていた。いわば全自動であった。したがって、ブラックボックス化されていると言える。
　本発明では、カメラを用いず、直感的な入力インターフェイスとして、プロジェクタから投影されるカーソルを用い、キャリブレーションマーカの投影画像座標を取得している。いわば、半自動（半手動）である。操作者の判断が一部入り、直感的であるといえる。
　ところで、本願が扱っている投影対象および被投影対象（適用例参照）は、個別具体的であり、画一的に対応できない。その結果、ブラックボックス化された従来技術は、映像処理技術の専門家以外のユーザには扱いづらいものであった。
　つまり、ブラックボックス化された技術は、最も一般的な使用環境を想定して、素人にも使いやすい様に設計されている。これにより、一般的使用環境と言う前提であれば、素人には扱いやすい。逆に言うと、本願のように使用環境が個別具体的に変化すると、ブラックボックス化されているため、素人では対応できない。
　一方、本願は、直感的であるため、個別具体的に使用環境が異なっても、素人でも対応できる。映像処理技術の専門家以外のユーザにも扱いやすい。
　以上のように、発明者は、全自動が万能でないことに着目した。
　しかしながら、着想段階では、扱いやすさと精度はトレードオフの関係にあるものと思われた。
　すなわち、従来技術が全自動であるのに対し、本願発明は半自動であり、操作者の判断が混じる。その結果、本願発明では、バラツキや誤差が大きくなるものと予想されていた。
　発明者は、操作者の判断から生じるバラツキや誤差を実験により定量的に評価した。実験結果に基づき、予想に反し、本願発明は従来技術と同等以上の精度を有し、かつバラツキが少ないことを見出した（詳細上記）。更に、実験結果を考察した。
　従来技術の高精度は、映像処理技術の専門家がカメラ、プロジェクタ、被投影対象物、光源を適切に配置することを前提とするものである。配置設定の時点で、既に、専門家の経験やノウハウが反映されている。
　従って、本願のように、映像処理技術の専門家以外のユーザを対象とする場合、上記のような（予想とは逆の）結果になる。
　このように、本願発明は、扱いやすさと精度を兼ね備えている。トレードオフの関係ではない。
　以上のように、発明者は、従来技術の問題点の根本原因に着目した。
　そして、本願発明者は、上記のような試行錯誤を経て、本願発明を完成させた。
　１　プロジェクタ
　２　画像処理装置
　３　外部入力手段
　４　キャリブレーションボード
　１１　投影画像座標系設定機能部
　１２　カーソル操作機能部
　１３　カーソル座標取得機能部
　１４　プロジェクタ特性取得機能部
　１５　レンズ特性取得機能部
　２１　空間座標入力機能部
　２２　被投影対象位置特性取得機能部
　２３　ターゲット投影画像座標点群取得機能
　２４　レジストレーションマーカ確認用投影画像座標群再取得機能
　２５　確認マーカ投影画像座標取得機能

Claims (12)

  1. 　プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備え、
    　前記キャリブレーションボードは、２以上の平面からなり、
    　各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、
    　前記画像処理装置は、
    　　前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、
    　　前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、
    　　前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、
    　　前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたキャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得するプロジェクタ特性取得機能部と、
    　　平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得するレンズ特性取得機能部と、
    　を有する
    　ことを特徴とするプロジェクタシステム。
  2. 　前記画像処理装置は、
    　　被投影対象の表面に複数設けられたレジストレーションマーカの空間座標点群を入力する空間座標入力機能部と、
    　　前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたレジストレーションマーカの投影画像座標点群と、前記レジストレーションマーカの空間座標点群と、前記レンズ特性と、に基づいて、被投影対象位置特性を取得する被投影対象位置特性取得機能部と、
    　を更に有する
    　ことを特徴とする請求項１記載のプロジェクタシステム。
  3. 　　前記空間座標入力機能部は、被投影対象内部のターゲットの空間座標点群を更に入力し、
    　前記画像処理装置は、
    　　前記レンズ特性と、前記被投影対象位置特性と、前記ターゲットの空間座標点群と、に基づいてターゲットの投影画像座標点群を取得するターゲット投影画像座標点群取得機能と、
    　を更に有する
    　ことを特徴とする請求項２記載のプロジェクタシステム。
  4. （レジストレーションマーカ再投影）
    　前記画像処理装置は、
    　　前記レンズ特性と、前記被投影対象位置特性と、前記レジストレーションマーカの空間座標点群と、に基づいて、レジストレーションマーカ確認用投影画像座標点群を再取得するレジストレーションマーカ確認用投影画像座標群再取得機能と、
    　を更に有する
    　ことを特徴とする請求項２記載のプロジェクタシステム。
  5. 　　前記空間座標入力機能部は、被投影対象の表面に設けられた確認マーカの空間座標を入力し、
    　前記画像処理装置は、
    　　前記レンズ特性と、前記被投影対象位置特性と、前記確認マーカの空間座標と、に基づいて確認マーカの投影画像座標を取得する確認マーカ投影画像座標取得機能と、
    　を更に有する
    　ことを特徴とする請求項２記載のプロジェクタシステム。
  6. 　プロジェクタと、画像処理装置と、外部入力手段と、を備え、
    　前記画像処理装置は、
    　　前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、
    　　前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、
    　　前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、
    　　前記プロジェクタのレンズ特性を入力するレンズ特性取得機能部と、
    　　被投影対象の表面に設けられたレジストレーションマーカの空間座標点群を入力する空間座標入力機能部と、
    　　前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたレジストレーションマーカの投影画像座標点群と、前記レジストレーションマーカの空間座標群と、前記レンズ特性と、に基づいて、被投影対象位置特性を取得する被投影対象位置特性取得機能部と、
    　を有する
    　ことを特徴とするプロジェクタシステム。
  7. 　プロジェクタと、画像処理装置と、外部入力手段と、を備え、
    　前記画像処理装置は、
    　　前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、
    　　前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、
    　　前記カーソル操作により任意の位置が選択されたとき、前記外部入力手段からの選択指令に基づいて、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、
    　を有する
    　ことを特徴とするプロジェクタシステム。
  8. 　前記キャリブレーションボードには、チェッカーフラッグ模様が付されており、
    　前記キャリブレーションマーカは、チェッカーフラッグの交点である
    　ことを特徴とする請求項１に記載のプロジェクタシステム。
  9. 　前記チェッカーフラッグの交点は８～２０点である
    　ことを特徴とする請求項８に記載のプロジェクタシステム。
  10. 　第１平面と第２平面と第３平面とからなり、
    　第１平面と第２平面とは、正面視凸状を形成し、
    　第２平面と第３平面とは、正面視凹状を形成し、
    　各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置されており、
    　前記規則的な配列の位置関係は既知である
    　ことを特徴とするキャリブレーションボード。
  11. 　プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備えるプロジェクタシステムのキャリブレーション方法であって、
    　前記キャリブレーションボードは、２以上の平面からなり、各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、
    　前記画像処理装置は、
    　　前記プロジェクタの投影画像の座標系を設定し、
    　　前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作し、
    　　前記カーソルが一のキャリブレーションマーカに移動したとき、前記外部入力手段からの選択指令に基づいて、該キャリブレーションマーカが選択されたと判断し、選択されたキャリブレーションマーカに対応する投影画像座標を取得し、
    　　前記複数のキャリブレーションマーカに対応する投影画像座標を取得して、キャリブレーションマーカの投影画像の座標点群を取得し、
    　　前記キャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得し、
    　　平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得する
    　ことを特徴とするプロジェクタシステムのキャリブレーション方法。
  12. 　プロジェクタと、画像処理装置と、外部入力手段と、を備えるプロジェクタシステムのレジストレーション方法であって、
    　前記画像処理装置は、
    　　前記プロジェクタの投影画像の座標系を設定し、
    　　前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作し、
    　　前記カーソルが被投影対象の表面に設けられた一のレジストレーションマーカに移動したとき、前記外部入力手段からの選択指令に基づいて、該レジストレーションマーカが選択されたと判断し、選択されたレジストレーションマーカに対応する投影画像座標を取得し、
    　　複数のレジストレーションマーカに対応する投影画像座標を取得して、レジストレーションマーカの投影画像の座標点群を取得し、
    　　前記プロジェクタのレンズ特性を入力し、
    　　被投影対象の表面に設けられたレジストレーションマーカの空間座標点群を入力し、
    　　前記レジストレーションマーカの投影画像座標点群と、前記レジストレーションマーカの空間座標群と、前記レンズ特性と、に基づいて、被投影対象位置特性を取得する
    　ことを特徴とするプロジェクタシステムのレジストレーション方法。
PCT/JP2014/082684 2014-03-18 2014-12-10 プロジェクタシステム及びキャリブレーションボード Ceased WO2015141080A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015530234A JP5817953B1 (ja) 2014-03-18 2014-12-10 プロジェクタシステム及びキャリブレーションボード
US15/126,976 US9900570B2 (en) 2014-03-18 2014-12-10 Projector system and calibration board
EP14886638.7A EP3122037A1 (en) 2014-03-18 2014-12-10 Projector system and calibration board

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-055068 2014-03-18
JP2014055068 2014-03-18

Publications (1)

Publication Number Publication Date
WO2015141080A1 true WO2015141080A1 (ja) 2015-09-24

Family

ID=54144076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/082684 Ceased WO2015141080A1 (ja) 2014-03-18 2014-12-10 プロジェクタシステム及びキャリブレーションボード

Country Status (4)

Country Link
US (1) US9900570B2 (ja)
EP (1) EP3122037A1 (ja)
JP (1) JP5817953B1 (ja)
WO (1) WO2015141080A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018164172A1 (ja) * 2017-03-07 2018-09-13 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム
JP2019027166A (ja) * 2017-07-31 2019-02-21 本田技研工業株式会社 作業機
CN109766001A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 一种不同mr设备坐标系的统一方法、系统及存储介质
WO2019186813A1 (ja) * 2018-03-28 2019-10-03 本田技研工業株式会社 除雪機、除雪機における投影方法、プログラムおよび記憶媒体、並びに、投影システム
JP2019185253A (ja) * 2018-04-05 2019-10-24 株式会社東芝 埋設対象物認識方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594170B2 (ja) * 2015-11-12 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法、画像投影システムおよびプログラム
CN107979748A (zh) * 2016-10-21 2018-05-01 中强光电股份有限公司 投影机、投影系统以及影像投影方法
EP3635185B1 (en) * 2017-06-09 2024-12-04 Volvo Construction Equipment AB An information system for a working machine
CN109839061B (zh) * 2017-11-24 2021-03-23 成都极米科技股份有限公司 一种镜头模组检测方法和系统
US10977775B2 (en) * 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007309660A (ja) * 2006-05-16 2007-11-29 Roland Dg Corp ３次元形状測定装置におけるキャリブレーション方法
JP2009005044A (ja) * 2007-06-21 2009-01-08 Mitsubishi Precision Co Ltd 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置
JP2009147480A (ja) * 2007-12-12 2009-07-02 Gifu Univ 投影システムの校正装置
JP2010204759A (ja) * 2009-02-27 2010-09-16 Gifu Univ 三次元像表示装置の座標校正方法
JP2011166662A (ja) * 2010-02-15 2011-08-25 Konica Minolta Business Technologies Inc 画像合成装置及び画像の位置合わせ方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909514B2 (en) * 2002-11-18 2005-06-21 Beena Vision Systems, Inc. Wheel profile inspection apparatus and method
US20110149353A1 (en) * 2009-12-18 2011-06-23 Peter Majewicz Calibration surface and platen for an image capture device
JP2014010362A (ja) 2012-06-29 2014-01-20 Sega Corp 映像演出装置
US9193211B2 (en) * 2013-05-21 2015-11-24 Muzicscape Llc Multi-page presentation and storage folder and method of use

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007309660A (ja) * 2006-05-16 2007-11-29 Roland Dg Corp ３次元形状測定装置におけるキャリブレーション方法
JP2009005044A (ja) * 2007-06-21 2009-01-08 Mitsubishi Precision Co Ltd 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置
JP2009147480A (ja) * 2007-12-12 2009-07-02 Gifu Univ 投影システムの校正装置
JP2010204759A (ja) * 2009-02-27 2010-09-16 Gifu Univ 三次元像表示装置の座標校正方法
JP2011166662A (ja) * 2010-02-15 2011-08-25 Konica Minolta Business Technologies Inc 画像合成装置及び画像の位置合わせ方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190122699A (ko) * 2017-03-07 2019-10-30 스미도모쥬기가이고교 가부시키가이샤 쇼벨 및 건설기계의 작업지원시스템
US12031301B2 (en) 2017-03-07 2024-07-09 Sumitomo Heavy Industries, Ltd. Shovel and work support system for construction machine
US11613873B2 (en) 2017-03-07 2023-03-28 Sumitomo Heavy Industries, Ltd. Shovel and work support system for construction machine
WO2018164172A1 (ja) * 2017-03-07 2018-09-13 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム
KR102455260B1 (ko) 2017-03-07 2022-10-14 스미도모쥬기가이고교 가부시키가이샤 쇼벨 및 건설기계의 작업지원시스템
JPWO2018164172A1 (ja) * 2017-03-07 2020-01-09 住友重機械工業株式会社 ショベル及び建設機械の作業支援システム
US10427601B2 (en) 2017-07-31 2019-10-01 Honda Motor Co., Ltd. Working machine
JP2019027166A (ja) * 2017-07-31 2019-02-21 本田技研工業株式会社 作業機
US11351864B2 (en) 2018-03-28 2022-06-07 Honda Motor Co., Ltd. Snowplow, projection method for snowplow, storage medium, and projection system
WO2019186813A1 (ja) * 2018-03-28 2019-10-03 本田技研工業株式会社 除雪機、除雪機における投影方法、プログラムおよび記憶媒体、並びに、投影システム
JP2019185253A (ja) * 2018-04-05 2019-10-24 株式会社東芝 埋設対象物認識方法
JP7128013B2 (ja) 2018-04-05 2022-08-30 株式会社東芝 埋設対象物認識方法
CN109766001A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 一种不同mr设备坐标系的统一方法、系统及存储介质

Also Published As

Publication number Publication date
US20170099473A1 (en) 2017-04-06
JP5817953B1 (ja) 2015-11-18
JPWO2015141080A1 (ja) 2017-04-06
EP3122037A1 (en) 2017-01-25
US9900570B2 (en) 2018-02-20

Similar Documents

Publication Publication Date Title
JP5817953B1 (ja) プロジェクタシステム及びキャリブレーションボード
Mascarenas et al. Augmented reality for next generation infrastructure inspections
Hołowko et al. Application of multi-resolution 3D techniques in crime scene documentation with bloodstain pattern analysis
Knabb et al. Scientific visualization, 3D immersive virtual reality environments, and archaeology in Jordan and the near east
EP3330928A1 (en) Image generation device, image generation system, and image generation method
Hartmann et al. A semiotic framework to understand how signs in construction process simulations convey information
CN107843913B (zh) 辐射场的3d显示方法和装置
Khairadeen Ali et al. Near real-time monitoring of construction progress: Integration of extended reality and kinect V2
JP6684029B2 (ja) 点群処理装置、および、点群処理方法
Huang et al. Developing a BIM-based visualization and interactive system for healthcare design
CN104680578A (zh) 基于bim的轴线标示方法和系统
Lieberwirth et al. Applying low budget equipment and open source software for high resolution documentation of archaeological stratigraphy and features
Petkov et al. Interactive visibility retargeting in vr using conformal visualization
Saggio et al. Augmented reality for restoration/reconstruction of artefacts with artistic or historical value
LaViola Jr et al. Virtual reality-based interactive scientific visualization environments
Gimeno et al. An augmented reality (AR) CAD system at construction sites
Hayden et al. Mobile, low-cost, and large-scale immersive data visualization environment for civil engineering applications
Tadeja et al. PhotoTwinVR: An Immersive System for Manipulation, Inspection and Dimension Measurements of the 3D Photogrammetric Models of Real-Life Structures in Virtual Reality
Pratama et al. An Overview of Generating VR Models for Disaster Zone Reconstruction Using Drone Footage
JP2004252815A (ja) 画像表示装置、画像表示方法およびプログラム
KR101028766B1 (ko) 2차원 다각형의 노드와 이미지를 이용한 3차원 건축물 데이터 생성방법
Schmidt et al. A layer-based 3d virtual environment for architectural collaboration
US12354501B2 (en) Using augmented reality for interacting with radiation data
US20250147577A1 (en) Technique for visualizing interactions with a technical device in an xr scene
JP2008009855A (ja) ３次元写真測量による施設計画システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015530234

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14886638

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15126976

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014886638

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014886638

Country of ref document: EP