[go: up one dir, main page]

WO2025041337A1 - 変状情報生成装置、変状情報生成方法及び記憶媒体 - Google Patents

変状情報生成装置、変状情報生成方法及び記憶媒体 Download PDF

Info

Publication number
WO2025041337A1
WO2025041337A1 PCT/JP2023/030534 JP2023030534W WO2025041337A1 WO 2025041337 A1 WO2025041337 A1 WO 2025041337A1 JP 2023030534 W JP2023030534 W JP 2023030534W WO 2025041337 A1 WO2025041337 A1 WO 2025041337A1
Authority
WO
WIPO (PCT)
Prior art keywords
deformation
image
information
information generating
generating device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/030534
Other languages
English (en)
French (fr)
Inventor
恭太 比嘉
一峰 小倉
和也 稲葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/030534 priority Critical patent/WO2025041337A1/ja
Publication of WO2025041337A1 publication Critical patent/WO2025041337A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • This disclosure relates to the technical fields of a deformation information generating device, a deformation information generating method, and a storage medium that generate deformation information for structures.
  • Patent Document 1 discloses an image processing device that analyzes images of cracked areas and presents a composite image of the cracked areas and the results of the image analysis.
  • Patent Document 1 makes it possible to obtain composite images and image analysis results of cracked areas without the need for expensive equipment and without complicating user operations.
  • Patent Document 1 has the problem that, when recording abnormalities, the user must manually enter image position information into a field notebook at the inspection site, resulting in a large workload in linking the abnormalities to structural parts.
  • one of the objectives of the present disclosure is to provide a deformation information generating device, a deformation information generating method, and a storage medium that generate deformation information that can identify parts of a structure in which a deformation has been detected.
  • One aspect of the deformation information generating device is as follows: a part estimation means for estimating parts of the structure included in a first image based on three-dimensional data representing the structure and the first image obtained by capturing a portion of the structure; A deformation detection means for detecting a deformation of the structure based on the first image or a second image obtained by photographing a part of the photographing range of the first image; A deformation information generating means for generating deformation information indicating at least identification information of the part in which the deformation has occurred based on the estimation result of the part and the detection result of the deformation;
  • the deformation information generating device has the above structure.
  • One aspect of the deformation information generating method is to The computer Based on three-dimensional data representing a structure and a first image capturing a portion of the structure, parts of the structure included in the first image are estimated; Detecting a deformation of the structure based on the first image or a second image obtained by capturing a part of a capturing range of the first image; generating deformation information indicating at least identification information of the part in which the deformation has occurred based on the part estimation result and the deformation detection result;
  • the present invention relates to a method for generating information on a state of an abnormality.
  • the term "computer” includes any electronic device (which may be a processor included in an electronic device), and may be configured by a plurality of electronic devices.
  • One aspect of the storage medium is Based on three-dimensional data representing a structure and a first image capturing a portion of the structure, parts of the structure included in the first image are estimated; Detecting a deformation of the structure based on the first image or a second image obtained by capturing a part of a capturing range of the first image;
  • This is a storage medium storing a program that causes a computer to execute a process of generating abnormality information indicating at least the identification information of the part in which the abnormality has occurred based on the estimation result of the part and the detection result of the abnormality.
  • One example of the effect of this disclosure is that it becomes possible to generate abnormality information that can identify parts of a structure in which an abnormality has been detected.
  • the schematic configuration of the structure inspection system is shown. 2 shows an example of a hardware configuration of a deformation information generating device. 4 is an example of a functional block of a processor of the deformation information generating device.
  • A This shows an input image for inspection taken when the road surface and road shoulder are the structures to be inspected.
  • B This is an image segmented based on the part estimation results.
  • A A mask image of the affected area based on the deformation detection results.
  • B An image in which a mask image of the affected area is superimposed on the image shown in Figure 4 (B) which has been divided into areas based on the part estimation results.
  • 1 is an example of a flowchart relating to processing executed by a deformation information generating device.
  • FIG. 2 shows a functional block diagram of a processor.
  • FIG. 2 shows a functional block diagram of a processor.
  • a specific example of the processing of the deformation detection unit will be described.
  • FIG. 2 shows a functional block diagram of a processor.
  • 13 is an example of a design drawing of a structure to be inspected that includes a part in which a defect has been detected.
  • FIG. 2 shows a functional block diagram of a processor.
  • A An example of a distant inspection image having a road surface area including a deformed area corresponding to a "crack" is shown.
  • B An example of a close-up inspection image corresponding to the distant inspection image is shown.
  • C An example of a distant inspection image clearly showing the results of identifying the correspondence relationship is shown.
  • FIG. 2 is a block diagram of a deformation information generating device. 13 is an example of a flowchart executed by the deformation information generating device.
  • System Configuration Fig. 1 shows a schematic configuration of a structure inspection system 100 according to the first embodiment.
  • the structure inspection system 100 is a system that detects abnormalities occurring in a structure to be inspected based on images of the structure, and manages information relating to the detected abnormalities.
  • the structure inspection system 100 mainly includes a abnormality information generating device 1, an input device 2, an output device 3, a storage device 4, and a camera 5 that captures an image of a structure 6 to be inspected.
  • the inspection target structure 6 is any structure that is subject to inspection, and examples of the inspection target structure 6 include bridges, tunnels, buildings, roads, etc.
  • a "structure” refers to any feature or collection of features that has multiple elements (parts).
  • deformation includes any type of damage or deterioration that has occurred to the inspection target structure 6, such as cracks, corrosion, dents, peeling, exposed rebar, water leakage, etc.
  • the deformation information generating device 1 refers to various information stored in the storage device 4, and based on the photographed image of the inspection target structure 6 generated by the camera 5, detects the presence or absence of deformation of the inspection target structure 6 in the photographed image, and generates deformation information related to the detected deformation if a deformation is detected.
  • the photographed image of the inspection target structure 6 generated by the camera 5 is an image input to the deformation information generating device 1 as an image for inspection of the inspection target structure 6 by the deformation information generating device 1, and is hereinafter also referred to as the "inspection input image Ii".
  • the deformation information generating device 1 may receive the inspection input image Ii from the camera 5, or may acquire the inspection input image Ii from a device (e.g., a device capable of data communication with the storage device 4 or the deformation information generating device 1) or a storage medium that stores the inspection input image Ii generated by the camera 5.
  • the deformation information generating device 1 may accept a user input to select an image to be used as the inspection input image Ii through the input device 2, and acquire the image designated based on the input signal generated by the input device 2 as the inspection input image Ii.
  • the deformation information generating device 1 communicates data with the input device 2, output device 3, and storage device 4 via a communication network or by direct wireless or wired communication.
  • the input device 2 is an interface that accepts input (user input) from a user who manages the inspection work of the inspection target structure 6.
  • the input device 2 may be, for example, a touch panel, a button, a keyboard, a mouse, a voice input device, or any other type of user input interface.
  • the input device 2 supplies an input signal generated based on the user input to the abnormality information generating device 1.
  • the output device 3 outputs information (which may include deformation information) relating to the inspection of the inspection target structure 6 based on the output signal supplied from the deformation information generating device 1.
  • the output signal includes at least one of a display signal and an audio signal.
  • the output device 3 displays the information based on the display signal supplied from the deformation information generating device 1, and outputs the information as audio based on the audio signal supplied from the deformation information generating device 1. Examples of the output device 3 include display devices such as a display or projector, and audio output devices such as speakers.
  • the storage device 4 is a memory that stores information used by the deformation information generating device 1.
  • the storage device 4 may be an external storage device such as a hard disk connected to or built into the deformation information generating device 1, or may be a storage medium such as a flash memory.
  • the storage device 4 may also be a server device that performs data communication with the deformation information generating device 1.
  • the storage device 4 may also be composed of multiple devices.
  • the storage device 4 functionally comprises a structure measurement data storage unit 41, a deformation detection model information storage unit 42, and a deformation information storage unit 43.
  • the structure measurement data storage unit 41 stores structure measurement data, which is data obtained by previously measuring the inspection target structure 6 in three dimensions.
  • the structure measurement data is point cloud data obtained by previously measuring the inspection target structure 6 using a distance measurement sensor such as a lidar.
  • this point cloud data may be point cloud data generated from multiple images using SfM (Structure From Motion).
  • the structure measurement data is, as an example, point cloud data, but is not limited to point cloud data and may be data representing the inspection target structure 6 using any three-dimensional model (wireframe, surface, or solid).
  • label information (also called a "part label") that serves as an identifier for the part (element) of the inspection target structure 6 to which the point belongs is linked to each point (i.e., the smallest unit of data representing a position) that represents the inspection target structure 6.
  • a part label that identifies the part to which the point belongs is linked to the data for each point in the structure measurement data.
  • the part label may be information identifying the type of part, may be unique identification information assigned to each part that constitutes the inspected structure 6, or may indicate both of these.
  • the part label may be information identifying the type of bridge part (e.g., girder, joint, or deck), or may indicate a component element number that can identify the location of the bridge in more detail.
  • the component element number is a number assigned to each component when the component is divided into its smallest constituent unit.
  • the part label may contain or be linked to information indicating the name of the part that the part label indicates.
  • the deformity detection model information storage unit 42 is information such as parameters necessary to configure the deformity detection model.
  • the deformity detection model is a machine learning model (engine) that has learned the relationship between an image and the detection result of the deformity contained in the image by machine learning. For example, when an image showing a structure is input, the deformity detection model is trained to output a detection result of an area (also called a "deformation area") showing a deformed part of the structure in the image.
  • the detection result of the deformity area output by the deformity detection model is, for example, information indicating the presence or absence of a deformity for each pixel (or may be in subpixel units; the same applies below), and the pixel with a deformity may further include information indicating the type of deformity.
  • the deformity detection model information storage unit 42 includes various parameters (including hyperparameters), such as, for example, a layer structure, a neuron structure of each layer, the number of filters and filter size in each layer, and the weight of each element of each filter.
  • the deformity detection model may be, for example, any machine learning model used in segmentation such as instance segmentation or anomaly detection.
  • Machine learning is performed in advance on the anomaly detection model using training data including multiple records that are pairs of input samples to the anomaly detection model (here, images from the camera 5) and correct answers to be output by the anomaly detection model when the sample is input (for example, data showing the presence or absence of an anomaly and the type of an anomaly for each pixel).
  • the parameters of the anomaly detection model are determined so that the error (loss) between the detection result output by the anomaly detection model when the sample is input to the anomaly detection model and the correct answer is minimized.
  • the algorithm for determining the above-mentioned parameters so as to minimize the loss may be any learning algorithm used in machine learning, such as the gradient descent method or the backpropagation method. Similarly, for other machine learning models described below, learning is performed using learning data that records pairs of input samples and correct answers to be output as described above, and learned parameters are obtained.
  • the deformation information storage unit 43 stores a database in which the deformation information generated by the deformation information generating device 1 is stored as records.
  • the deformation information includes deformation type information indicating the type of deformation and deformation position information indicating the position where the deformation occurred (deformation position), and may further include any information related to the deformation, such as the size of the deformation or the shape of the deformation.
  • the deformation position information includes at least a part label that identifies the part of the inspection target structure 6 where the deformation occurred.
  • the deformation position information may further include information indicating the position within the part indicated by the part label.
  • the deformation position information may include coordinate information of the deformation position expressed in the coordinate system used in the structure measurement data or a coordinate system that can be converted from that coordinate system (these are also called "reference coordinate systems").
  • the camera 5 is a camera that photographs the inspection target structure 6 and generates an inspection input image Ii.
  • the inspection input image Ii is, for example, an RGB image.
  • the inspection input image Ii generated by the camera 5 may be directly supplied to the abnormality information generating device 1, or may be stored in the camera 5 or an external device or storage medium connected to the camera 5 and then supplied to the abnormality information generating device 1.
  • the configuration of the structure inspection system 100 shown in FIG. 1 is one example, and various modifications may be made to the configuration.
  • the abnormality information generating device 1 may be configured integrally with at least one of the input device 2, output device 3, storage device 4, and camera 5.
  • the structure inspection system 100 may be realized by a single device. In other examples, the structure inspection system 100 may not include at least one of the input device 2 or output device 3.
  • the deformation information generation device 1 includes, as hardware, a processor 11, a memory 12, and an interface 13.
  • the processor 11, the memory 12, and the interface 13 are connected via a data bus 90.
  • the processor 11 functions as a controller (computing device) that controls the entire abnormality information generating device 1 by executing the programs stored in the memory 12.
  • the processor 11 is, for example, a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • the processor 11 may be composed of multiple processors.
  • the processor 11 is an example of a computer.
  • the memory 12 is composed of various types of volatile and non-volatile memory, such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the memory 12 also stores programs for executing the processes executed by the abnormality information generating device 1. Some of the information stored in the memory 12 may be stored in one or more external storage devices capable of communicating with the abnormality information generating device 1, or in a storage medium that is detachable from the abnormality information generating device 1.
  • the memory 12 may also function as at least a part of the storage device 4.
  • the interface 13 is an interface for electrically connecting the deformation information generating device 1 to other devices.
  • These interfaces may be wireless interfaces such as network adapters for wirelessly transmitting and receiving data to and from other devices, or may be hardware interfaces for connecting to other devices via cables or the like.
  • the hardware configuration of the deformation information generating device 1 is not limited to the configuration shown in FIG. 2.
  • the deformation information generating device 1 may include at least one of an input device 2, an output device 3, a storage device 4, and a camera 5.
  • the deformation information generating device 1 generates deformation information indicating at least the part label where a deformation has occurred based on the result of detection of the deformation area on the inspection input image Ii using the deformation detection model and the result of estimation of the part label on the inspection input image Ii estimated using the structure measurement data.
  • the deformation information generating device 1 automates the linking of the deformation and the parts of the structure without requiring manual part identification work, and efficiently obtains deformation information that can identify the part where a deformation has occurred.
  • Such deformation information is information that favorably supports the user's decision-making regarding repairs, etc. of the inspection target structure 6.
  • FIG. 3 is an example of functional blocks of the processor 11 of the deformation information generation device 1.
  • the processor 11 of the deformation information generation device 1 functionally has a camera position and orientation estimation unit 14, a parts estimation unit 15, a deformation detection unit 16, and a deformation information generation unit 17.
  • the blocks through which data is exchanged are connected by solid lines, but the combination of blocks through which data is exchanged is not limited to those shown in the figure. The same applies to the diagrams of other functional blocks described later.
  • the camera position and orientation estimation unit 14 estimates the position and orientation in the reference coordinate system of the camera 5 that acquired the inspection input image Ii based on the structure measurement data stored in the structure measurement data storage unit 41 and the inspection input image Ii. In this way, the camera position and orientation estimation unit 14 specifies the position and orientation of the camera 5 in the coordinate system used in the structure measurement data. The camera position and orientation estimation unit 14 then supplies the estimated position and orientation of the camera 5 to the part estimation unit 15.
  • the camera position and orientation estimation unit 14 identifies correspondences between points of the structure measurement data and pixels of the inspection input image Ii by matching two-dimensional (i.e., pixel-by-pixel) feature amounts extracted from an image obtained by converting the structure measurement data into a two-dimensional image with two-dimensional feature amounts extracted from the inspection input image Ii, and estimates the position and orientation of the camera 5 based on the identified correspondences.
  • Such camera position and orientation estimation methods are disclosed in, for example, the following documents, but are not limited to these. "C. Jaramillo, I. Dryanovski, R. G. Valenti and J. Xiao, "6-DoF pose localization in 3D point-cloud dense maps using a monocular camera," 2013 IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 1747-1752, 2013.”
  • the part estimation unit 15 estimates part labels corresponding to the inspection input image Ii (i.e., a two-dimensional image) based on the structure measurement data to which the part labels are linked and the estimation result of the position and orientation of the camera 5 generated by the camera position and orientation estimation unit 14. In this way, the part estimation unit 15 generates a part label estimation result (also called a "part estimation result") indicating the correspondence between the pixels of the inspection input image Ii and the part labels.
  • the part estimation result may be, for example, data indicating the part label for each pixel of the inspection input image Ii.
  • the part estimation unit 15 associates the inspection input image Ii with the part labels of the structure measurement data by projecting part labels onto the image plane of the inspection input image Ii based on the estimation result of the position and orientation of the camera 5.
  • the part estimation unit 15 associates the inspection input image Ii with the part labels of the structure measurement data by rendering the structure measurement data (point cloud data) within the angle of view of the camera 5 as a two-dimensional image based on the estimation result of the position and orientation of the camera 5.
  • the part estimation unit 15 supplies the part label estimation result to the deformation information generation unit 17.
  • the deformity detection unit 16 detects deformity areas in the inspection input image Ii based on the machine-learned deformity detection model composed of the deformity detection model information stored in the deformity detection model information storage unit 42 and the inspection input image Ii, and supplies the detection result regarding the deformity area (also called the "deformation detection result") to the deformity information generation unit 17. In this case, the deformity detection unit 16 obtains the deformity detection result based on the information output by the deformity detection model by inputting the inspection input image Ii to the deformity detection model.
  • the deformity detection result is information indicating the deformity class for each pixel, and corresponds to the segmentation result obtained by segmenting the inspection input image Ii based on the deformity class (i.e., a mask image indicating the deformity class for each pixel).
  • the "deformation class" may be a class indicating the presence or absence of a deformity, or may be a class that can identify the type of deformity when a deformity occurs in addition to the presence or absence of a deformity.
  • the anomaly detection result may be the information output by the anomaly detection model itself, or may be information that can be derived from the information output by the anomaly detection model.
  • the deformation information generating unit 17 generates deformation information based on the part estimation results generated by the part estimation unit 15 and the deformation detection results generated by the deformation detection unit 16. For example, when the deformation information generating unit 17 determines that a deformation area has been detected based on the deformation detection results, it identifies a part label corresponding to the deformation area indicated by the deformation detection results based on the part estimation results. Note that when there are multiple part labels corresponding to the deformation area, the deformation information generating unit 17 may, for example, count the part labels for each pixel of the deformation area, and when there is a part label corresponding to a predetermined percentage or more of the pixels of the deformation area, identify that part label as the part label corresponding to the deformation area. In addition, the deformation information generating unit 17 may generate coordinate information in a reference coordinate system for the deformation area, estimate the size of the deformation area, estimate the shape of the deformation area, and so on, based on various image recognition technologies.
  • the deformation information generating unit 17 generates deformation information including deformation type information indicating the type of deformation in the deformation area, deformation position information indicating part labels (and coordinate information), etc., and other information such as the size of the deformation area, and stores it in the deformation information storage unit 43.
  • the deformation information may be stored in the deformation information storage unit 43 in association with any related information such as the inspection input image Ii and shooting date and time information.
  • the deformation information generating unit 17 may store deformation information indicating that no deformation has been detected in the deformation information storage unit 43, or may not generate deformation information. In the former example, the deformation information generating unit 17 may generate deformation information indicating that no deformation has occurred in the part label indicated by the part estimation result.
  • the deformation information generating unit 17 may determine whether the deformation detection result generated by the deformation detection unit 16 is correct based on the part estimation result estimated by the part estimation unit 15. In this case, for example, table information indicating the type of deformation that may occur for each part label is stored in advance in the storage device 4 or memory 12. The deformation information generating unit 17 then determines whether the type of deformation in the detected deformation area and the part label corresponding to the deformation area are associated in the above-mentioned table information.
  • the deformation information generating unit 17 determines that the type of deformation in the detected deformation area and the part label corresponding to the deformation area are not associated in the above-mentioned table information, it determines that the deformation detection result for the deformation area was generated due to a false detection, and deletes the deformation information for the deformation detection result without storing it in the deformation information storage unit 43. On the other hand, if the deformation information generating unit 17 determines that the type of deformation in the detected deformation area and the part label corresponding to the deformation area are associated in the above-mentioned table information, etc., it determines that the deformation detection result for the deformation area is correct and stores the deformation information related to the deformation detection result in the deformation information storage unit 43.
  • abnormality information generation unit 17 determines that the above-mentioned abnormality information is due to a false detection, and deletes the abnormality information without storing it in the abnormality information storage unit 43.
  • abnormality information generation unit 17 determines that the above-mentioned abnormality information was generated based on a correct detection result, and stores the abnormality information in the abnormality information storage unit 43.
  • the components of the camera position and orientation estimation unit 14, the parts estimation unit 15, the deformation detection unit 16, and the deformation information generation unit 17 described in FIG. 3 can be realized, for example, by the processor 11 executing a program.
  • the necessary programs may be recorded in any non-volatile storage medium and installed as necessary to realize each component.
  • At least some of these components may be realized not only by software programs but also by any combination of hardware, firmware, and software.
  • At least some of these components may be realized using a user-programmable integrated circuit, such as an FPGA (Field-Programmable Gate Array) or a microcontroller. In this case, the integrated circuit may be used to realize a program consisting of the above components.
  • FPGA Field-Programmable Gate Array
  • each component may be configured by an ASSP (Application Specific Standard Production), an ASIC (Application Specific Integrated Circuit), or a quantum processor (quantum computer control chip).
  • ASSP Application Specific Standard Production
  • ASIC Application Specific Integrated Circuit
  • quantum processor quantum computer control chip
  • FIG. 4(A) shows an input image for inspection Ii captured when the road surface and road shoulder (including curbstones) are the structures 6 to be inspected.
  • the input image for inspection Ii shown in FIG. 4(A) includes a road surface area 71 corresponding to the road surface, which is the structure 6 to be inspected, and a road shoulder area 72 corresponding to the road shoulder, as well as a vegetation area 73 indicating vegetation.
  • the road surface area 71 includes a deformation area 74 where a deformation corresponding to a "crack" has occurred.
  • FIG. 4(B) shows an image segmented based on the part estimation results.
  • the part estimation unit 15 generates segments corresponding to part labels indicating the road surface, part labels indicating road shoulders, and part labels indicating vegetation, based on the camera position and orientation estimation results generated by the camera position and orientation estimation unit 14 and the structure measurement data.
  • FIG. 5(A) is a mask image of the deformed area based on the deformed area detection result generated from the inspection input image Ii shown in FIG. 4(A).
  • the deformed area detection unit 16 acquires the deformed area detection result output by the deformed area detection model when the inspection input image Ii shown in FIG. 4(A) is input to the deformed area detection model.
  • the deformed area detection unit 16 acquires a mask image indicating the deformed area in the inspection input image Ii shown in FIG. 5(A) from the deformed area detection model.
  • the pixels indicating the deformed area in the above-mentioned mask image are associated with a classification result (class) indicating that the type of deformed area is "crack".
  • Figure 5 (B) shows an image in which the mask image of the deformed area shown in Figure 5 (A) is superimposed on the image shown in Figure 4 (B) which has been divided into areas based on the part estimation results.
  • the deformation information generation unit 17 Based on the image shown in Figure 4 (B) which has been divided into areas based on the part estimation results and the mask image shown in Figure 5 (A), the deformation information generation unit 17 recognizes that the deformed area 74 is included in the segment corresponding to the part label indicating the road surface. Therefore, the deformation information generation unit 17 generates deformation information including deformation position information indicating at least the part label indicating the road surface and deformation type information indicating "crack", etc. In this way, the deformation information generation unit 17 can suitably generate deformation information that can identify the part in which a deformation has occurred.
  • Processing Flow Fig. 6 is an example of a flowchart regarding the processing executed by the deformation information generation device 1. For example, when a user input specifying an inspection input image Ii is detected, or when other processing start conditions are satisfied, the deformation information generation device 1 executes the flowchart shown in Fig. 8.
  • the deformation information generating device 1 acquires the inspection input image Ii generated by the camera 5 (step S11). Instead of acquiring the inspection input image Ii directly from the camera 5, the deformation information generating device 1 may acquire the inspection input image Ii stored in the storage device 4 or the like.
  • the deformation information generating device 1 estimates the position and orientation of the camera 5 based on the inspection input image Ii and the structure measurement data stored in the structure measurement data storage unit 41 (step S12).
  • the process of step S12 corresponds to the process executed by the camera position and orientation estimation unit 14.
  • the deformation information generating device 1 estimates the area of each part of the inspection target structure 6 included in the inspection input image Ii based on the structure measurement data with part labels and the camera position and orientation estimation result (step S13).
  • the process of step S13 corresponds to the process executed by the part estimation unit 15.
  • the abnormality information generating device 1 refers to the abnormality detection model information storage unit 42 and detects abnormality areas from the inspection input image Ii based on the abnormality detection model, which is a machine-learned model (step S14).
  • the process of step S14 corresponds to the process executed by the abnormality detection unit 16. Note that step S14 may be executed before step S12 and step S13, or may be executed in parallel with them.
  • the deformation information generating device 1 generates and outputs deformation information based on the processing results of steps S13 and S14 (step S15).
  • the deformation information generating device 1 stores the generated deformation information in the deformation information storage unit 43.
  • the deformation information generating device 1 may also generate a display signal and/or an audio signal based on the generated deformation information, and supply the generated signal to the output device 3, thereby displaying and/or outputting information related to the deformation information as audio by the output device 3.
  • the processing of step S15 corresponds to the processing executed by the deformation information generating unit 17.
  • FIG. 7 shows a functional block diagram of the processor 11.
  • the processor 11 in the first modification includes an interpolation unit 18.
  • the interpolation unit 18 interpolates the part label of a pixel (target pixel) that is not associated with a part label in the part estimation result generated by the part estimation unit 15, based on the part labels of a predetermined number of neighboring pixels that are close to the target pixel. In this case, for example, the interpolation unit 18 determines the most common part label among the predetermined number of neighboring pixels as the part label of the target pixel. Note that the interpolation unit 18 may determine the part label of the target pixel based on the part labels corresponding to the points of the structure measurement data that correspond to the neighboring pixels.
  • the deformation information generating device 1 may select a deformation detection model to be used for detecting a deformation area based on the part estimation results generated by the part estimation unit 15.
  • each anomaly detection model is trained on machine learning using training data including a plurality of records in which an image of a structure in which a target anomaly has occurred is used as a sample, and the correct answer is data indicating, for each pixel, the area in which the type of anomaly to be detected has occurred.
  • the deformity detection unit 16A determines the deformity detection model to be used based on the part estimation results obtained from the part estimation unit 15. For example, table information indicating the identification information of the deformity detection model to be applied for each type of part (or the type of expected deformity) is stored in advance in the storage device 4 or memory 12, etc., and the deformity detection unit 16A refers to the table information to determine the deformity detection model to be used from the type of part indicated by the part estimation results.
  • the structure measurement data stored in the structure measurement data storage unit 41 does not need to include information regarding part labels.
  • the part estimation model is a model that has been machine-learned in advance so that, when three-dimensional data (point cloud data) within the camera's angle of view corresponding to an image is input, the model outputs part estimation results that indicate the part class for each pixel on the image.
  • the "part class" may be, for example, a label indicating the type of part, a component element number, or any other identifier for the part.
  • the part estimation unit 15A may also generate a part estimation result by further using the inspection input image Ii.
  • the part estimation model is a machine learning model that generates a part estimation result by inputting an image and three-dimensional data corresponding to the image.
  • a known example of the architecture of such a machine learning model is BPNet (Bidirectional Projection Network).
  • the part estimation unit 15A inputs the inspection input image Ii and structure measurement data present within the angle of view of the camera 5 to such a part estimation model, and obtains a part estimation result from the part estimation model.
  • the deformation detection unit 16 of the deformation information generating device 1 may perform deformation detection using the structure measurement data stored in the structure measurement data storage unit 41 in addition to the inspection input image Ii.
  • the deformation information generating device 1 may update drawing data indicating the design drawings of the inspection target structure 6 based on the deformation information (i.e., the deformation detection results and part estimation results), and store the updated drawing data in the deformation information storage unit 43 in association with the above-mentioned deformation information.
  • the deformation information generating device 1 when converting from the structure measurement data to a design drawing (e.g., an aerial view), the deformation information generating device 1 generates corresponding location information that associates the coordinate position in the reference coordinate system or the part label before conversion with the position on the design drawing after conversion.
  • a design drawing e.g., an aerial view
  • the deformation information generating device 1 may determine the size and shape of the mark 81 to be superimposed on the design drawing based on the size information and shape information contained in the deformation information, or may extract a deformation area from the inspection input image Ii and superimpose an image of the extracted deformation area as the mark 81 on the image of the design drawing.
  • the deformation information generating device 1 can add information about deformation to drawing data that represents design drawings such as development drawings. This allows a user viewing the drawing data to easily grasp the location where the deformation has occurred on the design drawing.
  • the deformation information generating device 1 uses two inspection input images Ii, one of which includes the other, as the inspection input image Ii. This allows the deformation information generating device 1 to more accurately perform deformation detection and part estimation.
  • an image of the inspection target structure 6 photographed at a close distance i.e., corresponding to the above-mentioned "other shooting range”
  • an image of the inspection target structure 6 photographed at a long distance so as to include the shooting range of the inspection close-up image IiC (i.e., corresponding to the above-mentioned "one shooting range"
  • an image of the inspection target structure 6 photographed at a long distance so as to include the shooting range of the inspection close-up image IiC i.e., corresponding to the above-mentioned "one shooting range
  • an image of the inspection target structure 6 photographed at a long distance so as to include the shooting range of the inspection close-up image IiC i.e., corresponding to the above-mentioned "one shooting range”
  • FIG. 12 shows the functional block configuration of the processor 11 of the deformation information generating device 1.
  • the processor 11 in the second embodiment has a camera position and orientation estimation unit 14B, a part estimation unit 15B, a deformation detection unit 16B, a deformation information generating unit 17B, and a correspondence identification unit 19B.
  • the camera position and orientation estimation unit 14B estimates the position and orientation of the camera 5 that captured the inspection distant image IiF based on the structure measurement data stored in the structure measurement data storage unit 41 and the inspection distant image IiF.
  • the part estimation unit 15B estimates the part label that corresponds to the inspection distant image IiF based on the structure measurement data linked to the part label and the estimation result of the position and orientation of the camera 5 generated by the camera position and orientation estimation unit 14B.
  • the processing that the camera position and orientation estimation unit 14B and the part estimation unit 15B execute based on the inspection distant image IiF is the same as the processing that the camera position and orientation estimation unit 14 and the part estimation unit 15 execute based on the inspection input image Ii in the first embodiment.
  • the correspondence identification unit 19B identifies the correspondence between the inspection distant image IiF and the inspection close-up image IiC. In this case, the correspondence identification unit 19B identifies an area in the inspection distant image IiF that corresponds to the inspection close-up image IiC based on any image matching technology. The correspondence identification unit 19B then supplies the identification result of the above-mentioned correspondence (also called the "correspondence identification result") to the deformation information generation unit 17B. In this case, for example, the correspondence identification unit 19B supplies information indicating the pixels of the inspection distant image IiF that correspond to each pixel of the inspection close-up image IiC to the deformation information generation unit 17B as the correspondence identification result.
  • the deformation information generating unit 17B generates deformation information based on the part estimation result generated by the part estimation unit 15B, the deformation detection result generated by the deformation detection unit 16B, and the correspondence identification result generated by the correspondence identification unit 19B. For example, when the deformation information generating unit 17 determines that a deformation area has been detected based on the deformation detection result, it identifies the part label corresponding to the deformation area on the inspection close-up image IiC indicated by the deformation detection result based on the part estimation result indicating the part label on the inspection close-up image IiF and the correspondence identification result indicating the correspondence between the inspection close-up image IiF and the inspection close-up image IiC.
  • the deformation information generating unit 17B may also generate coordinate information in the reference coordinate system of the deformation area, estimate the size of the deformation area, estimate the shape of the deformation area, and so on, based on various image recognition technologies.
  • the deformation information generating unit 17B generates deformation information including deformation type information indicating the type of deformation in the deformation area, deformation position information indicating the part label (and coordinate information), and other information such as the size of the deformation area, and stores the deformation information in the deformation information storage unit 43.
  • the deformation information generating unit 17B may store deformation information indicating that no deformation was detected in the deformation information storage unit 43, or may not generate deformation information. In addition, like the deformation information generating unit 17 of the first embodiment, the deformation information generating unit 17B may correct the deformation detection result by referring to the part label.
  • FIG. 13(A) shows an example of an inspection distant view image IiF having a road surface area 71, a road shoulder area 72, and a vegetation area 73, including a deformation area 74 corresponding to a "crack," and FIG. 13(B) shows an example of an inspection close-up image IiC corresponding to the inspection distant view image IiF shown in FIG. 13(A).
  • FIG. 13(C) shows an inspection distant view image IiF that clearly shows the correspondence relationship identification result.
  • a frame 85 that forms the outer edge of the image area corresponding to the inspection close-up image IiC is clearly shown.
  • the inspection close-up image IiC corresponds to a part of the image area in the inspection distant image IiF
  • the correspondence identification unit 19B identifies the image area in the inspection distant image IiF that corresponds to the inspection close-up image IiC.
  • the inspection close-up image IiC is an image of a part where a deformation has occurred (here, the road surface) photographed from a close distance, and is an image that makes it easy for the deformation detection unit 16B to detect deformation.
  • the inspection close-up image IiC is an enlarged image of a limited part of the inspection target structure 6, and it is difficult to identify the correspondence with the structure measurement data that represents the entire inspection target structure 6, so the inspection distant image IiF is used for part estimation. Then, the deformation information generating device 1 identifies the part label that corresponds to the deformation area 74 based on the correspondence identification result and the part estimation result, and generates deformation information based on the identified part label, etc.
  • the deformation information generating device 1 can detect deformation areas with high accuracy using the inspection close-up image IiC, while also estimating parts with high accuracy by using the inspection distant image IiF.
  • each of the modified examples of the first embodiment can also be applied to the second embodiment in any combination.
  • the third Embodiment 14 is a block diagram of the deformation information generation device 1X.
  • the deformation information generation device 1X mainly includes a parts estimation unit 15X, a deformation detection unit 16X, and a deformation information generation unit 17X.
  • the deformation information generation device 1X may be composed of multiple devices.
  • the part estimation means 15X estimates parts of the structure contained in the first image based on the three-dimensional data representing the structure and the first image which is a partial photograph of the structure.
  • the part estimation means 15X may be the camera position and orientation estimation unit 14 and the part estimation unit 15 (or the camera position and orientation estimation unit 14 and the part estimation unit 15A) in the first embodiment, or the camera position and orientation estimation unit 14B and the part estimation unit 15B in the second embodiment.
  • the first image may be, for example, the inspection input image Ii in the first embodiment or the inspection distant image IiF in the second embodiment.
  • the deformation detection means 16X detects deformation of the structure based on the first image or a second image that captures a part of the capture range of the first image.
  • the deformation detection means 16X may be the deformation detection unit 16 or the deformation detection unit 16A in the first embodiment, or the deformation detection unit 16B in the second embodiment.
  • the second image may be, for example, the inspection close-up image IiC in the second embodiment.
  • the deformation information generating means 17X generates deformation information indicating at least the identification information of the part in which deformation has occurred based on the part estimation result and the deformation detection result.
  • the deformation information generating means 17X may be the deformation information generating unit 17 in the first embodiment, or may be the deformation information generating unit 17B in the second embodiment.
  • FIG. 15 is an example of a flowchart executed by the deformation information generating device 1X in the third embodiment.
  • the part estimation means 15X estimates parts of the structure included in the first image based on the three-dimensional data representing the structure and the first image capturing a portion of the structure (step S21).
  • the deformation detection means 16X detects deformation of the structure based on the first image or a second image capturing a portion of the capturing range of the first image (step S22).
  • the deformation information generating means 17X generates deformation information indicating at least the identification information of the deformed part based on the part estimation results and the deformation detection results (step S23).
  • the abnormality information generating device 1X can effectively generate abnormality information regarding the abnormality detection results linked to the part identification information.
  • Non-transitory computer readable medium includes various types of tangible storage medium.
  • Examples of non-transitory computer readable medium include magnetic storage medium (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical storage medium (e.g., magneto-optical disks), CD-ROM (Read Only Memory), CD-R, CD-R/W, and semiconductor memory (e.g., mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to a computer by various types of transitory computer readable medium.
  • Examples of transitory computer readable medium include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path, such as an electric wire or optical fiber, or via a wireless communication path.
  • [Appendix 1] a part estimation means for estimating parts of the structure included in a first image based on three-dimensional data representing the structure and the first image obtained by capturing a portion of the structure;
  • a deformation detection means for detecting a deformation of the structure based on the first image or a second image obtained by photographing a part of the photographing range of the first image;
  • a deformation information generating means for generating deformation information indicating at least identification information of the part in which the deformation has occurred based on the estimation result of the part and the detection result of the deformation;
  • a deformation information generating device having the above structure.
  • the anomaly detection means detects the anomaly based on the first image or the second image and a machine learning model,
  • the machine learning model is a model that machine-learns the relationship between an image and a detection result of an anomaly contained in the image.
  • the deformation information generating device described in Appendix 3 wherein the deformation detection means selects the machine learning model based on the estimation result of the part.
  • the part estimation means generates an estimation result of the part based on the first image
  • the anomaly detection means generates a detection result of the anomaly based on the second image
  • the deformation information generating means generates the deformation information based on information indicating the correspondence between the first image and the second image, the estimation result of the part, and the detection result of the deformation.
  • the deformation detection means generates a detection result of the deformation including information regarding the type of the deformation, The deformation information generating device described in Appendix 1, wherein the deformation information generating means generates the deformation information indicating at least identification information of the part in which the deformation has occurred and the type of the deformation.
  • the deformation information generating means determines whether the detection result of the deformation is correct based on the identification information of the part in which the deformation has occurred and the type of the deformation.
  • the part estimation means estimates identification information of the part corresponding to each pixel of the first image based on the position and orientation estimation result and identification information of the part associated with the three-dimensional data.
  • the deformation information generating device described in Appendix 1 wherein the deformation information generating means adds information indicating the detected position of the deformation in the drawing to drawing data showing a drawing of the structure.
  • [Appendix 11] Based on three-dimensional data representing a structure and a first image capturing a portion of the structure, parts of the structure included in the first image are estimated; Detecting a deformation of the structure based on the first image or a second image obtained by capturing a part of a capturing range of the first image; A storage medium storing a program that causes a computer to execute a process of generating deformation information indicating at least the identification information of the part in which the deformation has occurred based on the part estimation result and the deformation detection result.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

変状情報生成装置１Ｘは、主に、パーツ推定手段１５Ｘと、変状検出手段１６Ｘと、変状情報生成手段１７Ｘと、を有する。パーツ推定手段１５Ｘは、構造物を表す３次元データと、構造物を部分的に撮影した第１画像とに基づき、第１画像に含まれる構造物のパーツを推定する。変状検出手段１６Ｘは、第１画像または第１画像の撮影範囲の一部を撮影した第２画像に基づき、構造物の変状を検出する。変状情報生成手段１７Ｘは、パーツの推定結果と、変状の検出結果とに基づき、変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する。

Description

変状情報生成装置、変状情報生成方法及び記憶媒体
　本開示は、構造物の変状情報の生成を行う変状情報生成装置、変状情報生成方法及び記憶媒体の技術分野に関する。
　安全性の観点から橋梁、トンネル、築物などの構造物を定期的に点検し、損傷・劣化に基づく変状の有無を把握する必要がある。また、適切な修繕計画を立てるために点検で得られた構造物の変状に関する情報を適切に生成し、管理する必要がある。このような変状の検出に関し、例えば、特許文献１には、ひび割れ箇所の画像を解析し、ひび割れ箇所の合成画像及び画像解析結果を提示する画像処理装置が開示されている。
特開２０２３－７８２０５号公報
　特許文献１の手法によれば、高価な装置を必要とすることなく、かつ、ユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を得ることができる。一方、特許文献１では、変状の記録に関し、ユーザが点検現場で画像位置情報を人手により野帳に記入するため、変状と構造物のパーツの紐付けの作業負荷が大きいという問題がある。
　本開示は、上述した課題を鑑み、変状が検出された構造物のパーツを識別可能な変状情報を生成する変状情報生成装置、変状情報生成方法及び記憶媒体を提供することを目的の一つとする。
　変状情報生成装置の一の態様は、
　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定するパーツ推定手段と、
　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出する変状検出手段と、
　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する変状情報生成手段と、
を有する変状情報生成装置である。
　変状情報生成方法の一の態様は、
　コンピュータが、
　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定し、
　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出し、
　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する、
変状情報生成方法である。なお、「コンピュータ」は、あらゆる電子機器（電子機器に含まれるプロセッサであってもよい）を含み、かつ、複数の電子機器により構成されてもよい。
　記憶媒体の一の態様は、
　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定し、
　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出し、
　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体である。
　本開示における効果の一例では、変状が検出された構造物のパーツを識別可能な変状情報を生成することが可能となる。
構造物点検システムの概略構成を示す。 変状情報生成装置のハードウェア構成の一例を示す。 変状情報生成装置のプロセッサが有する機能ブロックの一例である。 （Ａ）路面及び路肩が点検対象構造物である場合に撮影された点検用入力画像を示す。　　　　　　　（Ｂ）パーツ推定結果に基づき領域分割した画像である。 （Ａ）変状検出結果に基づく変状領域のマスク画像である。　　　　　　　（Ｂ）パーツ推定結果に基づき領域分割した図４（Ｂ）に示す画像に変状領域のマスク画像を重ねた画像を示す。 変状情報生成装置が実行する処理に関するフローチャートの一例である。 プロセッサの機能ブロック図を示す。 プロセッサの機能ブロック図を示す。 変状検出部の処理の具体例を示す。 プロセッサの機能ブロック図を示す。 変状が検出されたパーツを含む点検対象構造物の設計用図面の表示例である。 プロセッサの機能ブロック図を示す。 （Ａ）「ひび」に対応する変状領域を含む路面領域を有する点検用遠景画像の一例を示す。　　　　　　　（Ｂ）点検用遠景画像に対応する点検用近景画像の一例を示す。　　　　　　　（Ｃ）対応関係特定結果を明示した点検用遠景画像を示す。 変状情報生成装置のブロック図である。 変状情報生成装置が実行するフローチャートの一例である。
　以下、図面を参照しながら、変状情報生成装置、変状情報生成方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、第１実施形態に係る構造物点検システム１００の概略構成を示す。構造物点検システム１００は、点検の対象となる構造物を撮影した画像に基づいて、当該構造物に生じている変状を検出し、検出した変状に関する情報を管理するシステムである。構造物点検システム１００は、主に、変状情報生成装置１と、入力装置２と、出力装置３と、記憶装置４と、点検対象構造物６を撮影するカメラ５と、を備える。
　点検対象構造物６は、点検の対象となる任意の構造物であり、点検対象構造物６の例には、橋梁、トンネル、建築物、道路などが含まれる。なお、「構造物」は、複数の要素（パーツ）を有する任意の地物又は地物の集合体を指す。また、「変状」には、点検対象構造物６に生じた任意の態様での損傷・劣化が含まれ、例えば、ひび、腐食、凹み、剥離、鉄筋露出、漏水などの状態を含む。
　変状情報生成装置１は、記憶装置４が記憶する各種情報を参照し、カメラ５が生成した点検対象構造物６の撮影画像に基づいて、撮影画像内での点検対象構造物６の変状の有無を検出し、変状を検出した場合には検出した変状に関する変状情報を生成する。ここで、カメラ５が生成した点検対象構造物６の撮影画像は、変状情報生成装置１が点検対象構造物６の点検用の画像として変状情報生成装置１に入力される画像であり、以後では「点検用入力画像Ｉｉ」とも呼ぶ。変状情報生成装置１は、点検用入力画像Ｉｉをカメラ５から受信してもよく、カメラ５が生成した点検用入力画像Ｉｉを記憶した装置（例えば、記憶装置４又は変状情報生成装置１とデータ通信可能な装置）又は記憶媒体から点検用入力画像Ｉｉを取得してもよい。例えば、変状情報生成装置１は、点検用入力画像Ｉｉとして使用する画像を選択するユーザ入力を入力装置２により受け付け、入力装置２が生成する入力信号に基づき指定された画像を、点検用入力画像Ｉｉとして取得してもよい。
　変状情報生成装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、出力装置３、及び記憶装置４と、データ通信を行う。
　入力装置２は、点検対象構造物６の点検作業を管理するユーザによる入力（ユーザ入力）を受け付けるインターフェースである。入力装置２は、例えば、タッチパネル、ボタン、キーボード、マウス、音声入力装置などの種々のユーザ入力用インターフェースであってもよい。入力装置２は、ユーザ入力に基づき生成した入力信号を、変状情報生成装置１へ供給する。
　出力装置３は、変状情報生成装置１から供給される出力信号に基づき、点検対象構造物６の点検に関する情報（変状情報を含んでもよい）を出力する。この場合、出力信号は、表示信号又は音声信号の少なくとも一方を含んでいる。そして、出力装置３は、変状情報生成装置１から供給される表示信号に基づいて、情報の表示を行い、変状情報生成装置１から供給される音声信号に基づいて、情報の音声出力を行う。出力装置３の例には、ディスプレイ又はプロジェクタなどの表示装置と、スピーカーなどの音声出力装置とが含まれる。
　記憶装置４は、変状情報生成装置１が使用する情報を記憶するメモリである。記憶装置４は、変状情報生成装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、変状情報生成装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。
　記憶装置４は、機能的には、構造物計測データ記憶部４１と、変状検出モデル情報記憶部４２と、変状情報記憶部４３と、を有する。
　構造物計測データ記憶部４１は、点検対象構造物６を事前に３次元計測したデータである構造物計測データを記憶する。例えば、構造物計測データは、ライダなどの測距センサにより点検対象構造物６を事前計測することで得られた点群データである。なお、この点群データは、複数の画像からＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　Ｆｒｏｍ　Ｍｏｔｉｏｎ）により生成された点群データであってもよい。また、本実施形態では、構造物計測データは、一例として、点群データであるものとするが、点群データに限られず、任意の３次元モデル（ワイヤーフレーム、サーフェス、又はソリッド）により点検対象構造物６を表したデータであってもよい。
　また、構造物計測データには、点検対象構造物６を表す点（即ち位置を表す最小単位のデータ）ごとに、当該点が属する点検対象構造物６のパーツ（要素）の識別子となるラベル情報（「パーツラベル」とも呼ぶ。）が紐付けられている。例えば、構造物計測データの点ごとのデータに当該点が属するパーツを識別するパーツラベルが紐付けられている。
　パーツラベルは、パーツの種類を識別する情報であってもよく、点検対象構造物６を構成する個々のパーツに割り当てられた固有の識別情報であってもよく、これらの両方を夫々示すものであってもよい。例えば、点検対象構造物６が橋梁である場合には、パーツラベルは、橋梁のパーツの種類（例えば、主桁、接合部、床版のいずれか）を識別する情報であってもよく、さらに詳細に橋梁の箇所を特定可能な部材要素番号を示すものであってもよい。なお、部材要素番号は、最小構成単位の部材に分けたときに各部材に割り当てられる番号である。なお、パーツラベルには、当該パーツラベルが示すパーツの名称を示す情報が含まれている、又は、紐付かれていてもよい。
　変状検出モデル情報記憶部４２は、変状検出モデルを構成するために必要なパラメータ等の情報である。変状検出モデルは、画像と、当該画像に含まれる変状の検出結果との関係を機械学習した機械学習モデル（エンジン）である。例えば、変状検出モデルは、構造物を示す画像が入力された場合に当該画像内における構造物の変状部分を示す領域（「変状領域」とも呼ぶ。）の検出結果を出力するように学習される。変状検出モデルが出力する変状領域の検出結果は、例えば、変状の有無を画素（又はサブピクセル単位であってもよい。以下同じ。）ごとに示す情報であり、変状有りの画素にはさらに変状の種類を示す情報が含まれていてもよい。変状検出モデルがニューラルネットワークにより構成される場合、変状検出モデル情報記憶部４２は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータ（ハイパーパラメータを含む）を含む。変状検出モデルは、例えば、インスタンスセグメンテーションなどのセグメンテーション又はアノマリーディテクションなどで用いられる任意の機械学習モデルであってもよい。
　ここで、変状検出モデルが深層学習モデルである場合の機械学習について補足説明する。変状検出モデルは、変状検出モデルへの入力のサンプル（ここではカメラ５の画像）と、当該サンプルが入力された場合に変状検出モデルが出力すべき正解（例えば変状の有無及び変状の種類を画素ごとに示すデータ）との組となる複数のレコードを含む訓練データを用いて機械学習が事前に行われる。この場合、サンプルが変状検出モデルに入力された場合に変状検出モデルが出力する検出結果と、正解との誤差（損失）が最小となるように、変状検出モデルのパラメータを決定する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。以後に説明する他の機械学習モデルについても同様に、上述したような入力のサンプルと出力すべき正解との組をレコードする学習データを用いて学習が行われることにより、学習済みのパラメータが得られるものとする。
　変状情報記憶部４３は、変状情報生成装置１が生成する変状情報をレコードとするデータベースを記憶する。変状情報は、変状の種類を示す変状種類情報と変状が生じた位置（変状位置）を示す変状位置情報とを含み、さらに、変状の大きさ、変状の形状などの変状に関する任意の情報を含んでもよい。変状位置情報は、変状が生じた点検対象構造物６のパーツを識別するパーツラベルを少なくとも含む。また、変状位置情報は、パーツラベルが示すパーツ内での位置を示す情報をさらに含んでもよい。例えば、変状位置情報は、構造物計測データにおいて採用される座標系又は当該座標系から座標変換可能な座標系（これらを「基準座標系」とも呼ぶ。）により表された変状位置の座標情報を含んでもよい。
　カメラ５は、点検対象構造物６を撮影するカメラであり、点検用入力画像Ｉｉを生成する。点検用入力画像Ｉｉは、例えばＲＧＢ画像である。カメラ５が生成した点検用入力画像Ｉｉは、変状情報生成装置１に直接供給されてもよく、カメラ５又はカメラ５に接続された外部装置又は記憶媒体等に記憶された後に変状情報生成装置１に供給されてもよい。
　図１に示す構造物点検システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、変状情報生成装置１は、入力装置２と、出力装置３と、記憶装置４と、カメラ５との少なくともいずれかと一体に構成されてもよい。この場合、構造物点検システム１００は、１台の装置により実現されてもよい。他の例では、構造物点検システム１００は、入力装置２又は出力装置３の少なくとも一方を備えなくともよい。
　（２）ハードウェア構成
　図２は、変状情報生成装置１のハードウェア構成を示す。変状情報生成装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス９０を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、変状情報生成装置１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、変状情報生成装置１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、変状情報生成装置１と通信可能な１又は複数の外部記憶装置により記憶されてもよく、変状情報生成装置１に対して着脱自在な記憶媒体により記憶されてもよい。また、メモリ１２は、記憶装置４の少なくとも一部として機能してもよい。
　インターフェース１３は、変状情報生成装置１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
　なお、変状情報生成装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、変状情報生成装置１は、入力装置２、出力装置３、記憶装置４、及びカメラ５の少なくともいずれかを含んでもよい。
　（３）変状情報の生成
　次に、変状情報生成装置１が実行する変状情報の生成処理の概要について説明する。概略的には、変状情報生成装置１は、変状検出モデルを用いた点検用入力画像Ｉｉ上の変状領域の検出結果と、構造物計測データを用いて推定した点検用入力画像Ｉｉ上でのパーツラベルの推定結果と、に基づき、変状が生じたパーツラベルを少なくとも示す変状情報を生成する。これにより、変状情報生成装置１は、人手でのパーツの特定作業を要することなく変状と構造物のパーツの紐づけを自動化し、変状が生じたパーツを特定可能な変状情報を効率よく取得する。このような変状情報は、点検対象構造物６の補修等に関するユーザの意思決定を好適に支援する情報となる。
　（３－１）機能ブロック
　図３は、変状情報生成装置１のプロセッサ１１が有する機能ブロックの一例である。変状情報生成装置１のプロセッサ１１は、機能的には、カメラ位置姿勢推定部１４と、パーツ推定部１５と、変状検出部１６と、変状情報生成部１７と、を有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図示されるものに限定されない。後述する他の機能ブロックの図においても同様である。
　カメラ位置姿勢推定部１４は、構造物計測データ記憶部４１に記憶された構造物計測データと、点検用入力画像Ｉｉとに基づき、点検用入力画像Ｉｉを取得したカメラ５の基準座標系での位置姿勢を推定する。これにより、カメラ位置姿勢推定部１４は、構造物計測データにおいて採用される座標系でのカメラ５の位置姿勢を特定する。そして、カメラ位置姿勢推定部１４は、カメラ５の位置姿勢の推定結果をパーツ推定部１５に供給する。
　例えば、カメラ位置姿勢推定部１４は、構造物計測データを２次元化した画像から抽出した２次元（即ち画素ごとの）特徴量と、点検用入力画像Ｉｉから抽出した２次元特徴量とを照合（マッチング）することで、構造物計測データの点と点検用入力画像Ｉｉの画素との対応関係を特定し、特定した対応関係に基づいて、カメラ５の位置姿勢を推定する。このようなカメラ位置姿勢推定手法は、例えば以下の文献に開示されているが、これに限定されない。
「C. Jaramillo, I. Dryanovski, R. G. Valenti and J. Xiao, "6-DoF pose localization in 3D point-cloud dense maps using a monocular camera," 2013 IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 1747-1752, 2013.」
　パーツ推定部１５は、パーツラベルが紐付けられた構造物計測データと、カメラ位置姿勢推定部１４が生成したカメラ５の位置姿勢の推定結果と、に基づき、点検用入力画像Ｉｉ（即ち２次元画像）に対応するパーツラベルを推定する。これにより、パーツ推定部１５は、点検用入力画像Ｉｉの画素とパーツラベルとの対応を示すパーツラベルの推定結果（「パーツ推定結果」とも呼ぶ。）を生成する。パーツ推定結果は、例えば、点検用入力画像Ｉｉの画素ごとのパーツラベルを示すデータであってもよい。
　パーツラベルの推定方法の第１の例では、パーツ推定部１５は、カメラ５の位置姿勢の推定結果に基づいて、点検用入力画像Ｉｉの画像平面上にパーツラベルを投影することで、点検用入力画像Ｉｉと構造物計測データのパーツラベルとを対応付ける。パーツラベルの推定方法の第２の例では、パーツ推定部１５は、カメラ５の位置姿勢の推定結果に基づいて、カメラ５の画角内の構造物計測データ（点群データ）を２次元画像としてレンダリングすることで，点検用入力画像Ｉｉと構造物計測データのパーツラベルとを対応付ける。パーツ推定部１５は、パーツラベルの推定結果を変状情報生成部１７に供給する。
　変状検出部１６は、変状検出モデル情報記憶部４２に記憶された変状検出モデル情報から構成される機械学習済みの変状検出モデルと、点検用入力画像Ｉｉとに基づき、点検用入力画像Ｉｉにおける変状領域を検出し、変状領域に関する検出結果（「変状検出結果」とも呼ぶ。）を変状情報生成部１７に供給する。この場合、変状検出部１６は、変状検出モデルに点検用入力画像Ｉｉを入力することで変状検出モデルが出力する情報に基づき、変状検出結果を取得する。例えば、変状検出結果は、変状のクラスを画素ごとに示す情報となり、変状のクラスに基づき点検用入力画像Ｉｉをセグメンテーションしたセグメンテーション結果（即ち、画素ごとに変状のクラスを示すマスク画像）に相当する。なお、「変状のクラス」は、変状の有無を示すクラスであってもよく、変状の有無に加えて変状が生じている場合には変状の種類を識別可能なクラスであってもよい。変状検出結果は、変状検出モデルが出力する情報そのものであってもよく、変状検出モデルが出力する情報から導出可能な情報であってもよい。
　変状情報生成部１７は、パーツ推定部１５が生成するパーツ推定結果と、変状検出部１６が生成する変状検出結果とに基づき、変状情報を生成する。例えば、変状情報生成部１７は、変状検出結果に基づき変状領域が検出されたと判定した場合、パーツ推定結果に基づき、変状検出結果が示す変状領域に対応するパーツラベルを特定する。なお、変状領域に対応するパーツラベルが複数存在する場合には、変状情報生成部１７は、例えば変状領域の画素ごとのパーツラベルの集計を行い、変状領域の所定割合以上の画素に対応するパーツラベルが存在する場合に、当該パーツラベルを変状領域に対応するパーツラベルとして特定してもよい。また、変状情報生成部１７は、変状領域の基準座標系での座標情報の生成、変状領域の大きさの推定、変状領域の形状の推定などを、種々の画像認識技術に基づき実行してもよい。
　そして、変状情報生成部１７は、変状領域の変状の種類を示す変状種類情報、パーツラベル（及び座標情報）などを示す変状位置情報、及び、変状領域の大きさなどのその他の情報を含む変状情報を生成し、変状情報記憶部４３に記憶する。なお、変状情報は、点検用入力画像Ｉｉ、撮影日時情報などの任意の関連する情報と紐付けられて変状情報記憶部４３に記憶されてもよい。
　また、変状領域が点検用入力画像Ｉｉ上に存在しないことを示す変状検出結果が得られた場合、変状情報生成部１７は、変状が検出されない旨を示す変状情報を変状情報記憶部４３に記憶してもよく、変状情報を生成しなくともよい。前者の例では、変状情報生成部１７は、パーツ推定結果が示すパーツラベルについて変状が生じていないことを示す変状情報を生成してもよい。
　また、好適な例では、変状情報生成部１７は、パーツ推定部１５が推定したパーツ推定結果に基づき、変状検出部１６が生成した変状検出結果の正誤を判定してもよい。この場合、例えば、記憶装置４又はメモリ１２には、パーツラベルごとに発生し得る変状の種類を示したテーブル情報などが予め記憶されている。そして、変状情報生成部１７は、検出された変状領域の変状の種類と、当該変状領域に対応するパーツラベルとが上述のテーブル情報等において関連付けられているか否か判定する。そして、変状情報生成部１７は、検出された変状領域の変状の種類と、当該変状領域に対応するパーツラベルとが上述のテーブル情報等において関連付けられていないと判定した場合には、当該変状領域に関する変状検出結果は誤検出により生成されたと判定し、当該変状検出結果に関する変状情報を変状情報記憶部４３に記憶することなく削除する。一方、変状情報生成部１７は、検出された変状領域の変状の種類と、当該変状領域に対応するパーツラベルとが上述のテーブル情報等において関連付けられていると判定した場合には、当該変状領域に関する変状検出結果は正しいと判定し、当該変状検出結果に関する変状情報を変状情報記憶部４３に記憶する。
　例えば、「さび」を示す変状種類情報と「コンクリート部材」を示すパーツラベルとを含む変状情報を生成し、かつ、上述のテーブル情報において「コンクリート部材」に関連付けられた変状の種類に「さび」が含まれていない場合について検討する。この場合、変状情報生成部１７は、上述の変状情報は誤検出によるものと判定し、当該変状情報を変状情報記憶部４３に記憶することなく削除する。他の例として、「ひび」を示す変状種類情報と「鉄筋部材」を示すパーツラベルとを含む変状情報を生成し、かつ、上述のテーブル情報において「鉄筋部材」に関連付けられた変状の種類に「ひび」が含まれている場合について検討する。この場合、変状情報生成部１７は、上述の変状情報は正しい検出結果に基づき生成されたと判定し、当該変状情報を変状情報記憶部４３に記憶する。
　なお、図３において説明したカメラ位置姿勢推定部１４、パーツ推定部１５、変状検出部１６、及び変状情報生成部１７の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｅ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
　（３－２）具体例
　ここで、変状領域の検出に関する具体例について図４（Ａ）、図４（Ｂ）、図５（Ａ）、及び図５（Ｂ）を参照して説明する。
　図４（Ａ）は、路面及び路肩（縁石を含む）が点検対象構造物６である場合に撮影された点検用入力画像Ｉｉを示す。図４（Ａ）に示す点検用入力画像Ｉｉには、点検対象構造物６である路面に対応する路面領域７１及び路肩に対応する路肩領域７２に加えて、植生を示す植生領域７３が含まれている。また、路面領域７１には、「ひび」に対応する変状が生じている変状領域７４が存在している。
　図４（Ｂ）は、パーツ推定結果に基づき領域分割した画像である。ここでは、パーツ推定部１５は、カメラ位置姿勢推定部１４が生成するカメラ位置姿勢推定結果と、構造物計測データとに基づき、路面を示すパーツラベルと、路肩を示すパーツラベルと、植生を示すパーツラベルとに夫々対応するセグメントを生成している。
　図５（Ａ）は、図４（Ａ）に示す点検用入力画像Ｉｉから生成した変状検出結果に基づく変状領域のマスク画像である。ここでは、変状検出部１６は、図４（Ａ）に示す点検用入力画像Ｉｉを変状検出モデルに入力した場合に変状検出モデルが出力する変状検出結果を取得する。ここでは、変状検出部１６は、図５（Ａ）に示される点検用入力画像Ｉｉ内の変状領域を示すマスク画像を変状検出モデルから取得する。また、上述のマスク画像において変状領域を示す画素には、変状の種類が「ひび」であることを示す分類結果（クラス）が紐付けられている。
　図５（Ｂ）は、パーツ推定結果に基づき領域分割した図４（Ｂ）に示す画像に、図５（Ａ）に示す変状領域のマスク画像を重ねた画像を示す。変状情報生成部１７は、パーツ推定結果に基づき領域分割した図４（Ｂ）に示す画像と、図５（Ａ）に示すマスク画像とに基づき、変状領域７４が路面を示すパーツラベルに対応するセグメントに含まれていることを認識する。よって、変状情報生成部１７は、路面を示すパーツラベルを少なくとも示す変状位置情報と「ひび」を示す変状種類情報等とを含む変状情報を生成する。このように、変状情報生成部１７は、変状が生じたパーツを識別可能な変状情報を好適に生成することができる。
　（３－３）処理フロー
　図６は、変状情報生成装置１が実行する処理に関するフローチャートの一例である。変状情報生成装置１は、例えば、点検用入力画像Ｉｉを指定するユーザ入力を検知した場合、又はその他の処理開始条件が満たされた場合に、図８に示すフローチャートを実行する。
　まず、変状情報生成装置１は、カメラ５が生成した点検用入力画像Ｉｉを取得する（ステップＳ１１）。変状情報生成装置１は、点検用入力画像Ｉｉをカメラ５から直接取得する代わりに、記憶装置４などに記憶された点検用入力画像Ｉｉを取得してもよい。
　次に、変状情報生成装置１は、点検用入力画像Ｉｉと、構造物計測データ記憶部４１に記憶された構造物計測データとに基づき、カメラ５の位置姿勢を推定する（ステップＳ１２）。ステップＳ１２の処理は、カメラ位置姿勢推定部１４が実行する処理に相当する。そして、変状情報生成装置１は、パーツラベルが付された構造物計測データとカメラの位置姿勢推定結果とに基づき、点検用入力画像Ｉｉに含まれる点検対象構造物６の各パーツの領域を推定する（ステップＳ１３）。ステップＳ１３の処理は、パーツ推定部１５が実行する処理に相当する。
　そして、変状情報生成装置１は、変状検出モデル情報記憶部４２を参照し、機械学習されたモデルである変状検出モデルに基づき、点検用入力画像Ｉｉから変状領域を検出する（ステップＳ１４）。ステップＳ１４の処理は、変状検出部１６が実行する処理に相当する。なお、ステップＳ１４は、ステップＳ１２及びステップＳ１３より前に実行されてもよく、並行して実行されてもよい。
　そして、変状情報生成装置１は、ステップＳ１３及びステップＳ１４の処理結果に基づき、変状情報の生成及び出力を行う（ステップＳ１５）。この場合、変状情報生成装置１は、生成した変状情報を変状情報記憶部４３に記憶する。また、変状情報生成装置１は、生成した変状情報に基づく表示信号又は／及び音声信号を生成し、生成した信号を出力装置３に供給することで、変状情報に関する情報を出力装置３により表示又は／及び音声出力してもよい。ステップＳ１５の処理は、変状情報生成部１７が実行する処理に相当する。
　（４）変形例
　次に、上述した実施形態の変形例について説明する。以下の変形例は任意に組み合わせて上述した実施形態に適用してもよい。
　（変形例１）
　変状情報生成装置１は、パーツ推定部１５が生成するパーツ推定結果における欠損部分を補間する処理を行ってもよい。
　図７は、プロセッサ１１の機能ブロック図を示す。変形例１におけるプロセッサ１１は、補間部１８を備える。補間部１８は、パーツ推定部１５が生成するパーツ推定結果において、パーツラベルの対応付けがされていない画素（対象画素）のパーツラベルを、当該対象画素に近接する所定個数分の近接画素のパーツラベルに基づき補間する。この場合、例えば、補間部１８は、所定個数分の近接画素のうち最も多いパーツラベルを、対象画素のパーツラベルとして決定する。なお、補間部１８は、近接画素に対応する構造物計測データの点に対応するパーツラベルに基づき、対象画素のパーツラベルを決定してもよい。
　一般に、点検用入力画像Ｉｉ上において比較した場合、構造物計測データの点の方が点検用入力画像Ｉｉの画素よりも疎となるため、画素によってはパーツ推定部１５によるパーツラベルの対応付けがなされない場合がある。この場合においても、補間部１８は、上述の補間処理を実行することで、各画素においてパーツラベルが対応付けられるようにパーツ推定結果の欠損部分を補間することができる。そして、補間部１８は、補間後のパーツ推定結果を変状情報生成部１７に供給する。この場合、変状情報生成部１７は、精緻化された対応付け結果に基づき、より高精度な変状情報を生成することができる。
　（変形例２）
　変状情報生成装置１は、パーツ推定部１５が生成するパーツ推定結果に基づき、変状領域の検出に用いる変状検出モデルを選択してもよい。
　図８は、プロセッサ１１の機能ブロック図を示す。変形例２におけるプロセッサ１１は、パーツ推定部１５からパーツ推定結果を取得する変状検出部１６Ａを備える。また、変状検出モデル情報記憶部４２には、夫々特定の変状の検出に特化するように機械学習が行われた複数の変状検出モデルのパラメータが記憶されている。
　ここで、各変状検出モデルは、夫々異なる種類の変状を検出できるように機械学習が行われ、機械学習により得られた変状検出モデルのパラメータが変状検出モデル情報記憶部４２に記憶されている。各変状検出モデルは、例えば、対象の変状が生じている構造物の画像をサンプルとし、検出対象とする種類の変状が生じている領域を画素ごとに示すデータを正解とする複数のレコードを含む訓練データにより機械学習が行われる。
　変状検出部１６Ａは、パーツ推定部１５から取得したパーツ推定結果に基づき、使用すべき変状検出モデルを決定する。例えば、パーツの種類ごとに適用すべき変状検出モデルの識別情報（又は想定される変状の種類）を示すテーブル情報が予め記憶装置４又はメモリ１２等に記憶されており、変状検出部１６Ａは、当該テーブル情報を参照して、パーツ推定結果が示すパーツの種類から使用すべき変状検出モデルを決定する。
　好適には、変状検出部１６Ａは、パーツ推定結果が示すパーツの種類ごとにパーツの画像領域を抽出した画像（「パーツ抽出画像」とも呼ぶ。）を点検用入力画像Ｉｉから生成するとよい。この場合、変状検出部１６Ａは、各パーツ抽出画像を、抽出したパーツの種類に対応する変状検出モデルに入力し、当該変状検出モデルが出力する情報を取得する。これにより変状検出部１６Ａは変状の種類ごとに高精度な変状の検出結果を得ることができる。
　図９は、変形例２における変状検出部１６Ａの処理の具体例を示す。まず、変状検出部１６Ａは、パーツ推定部１５によるパーツ推定結果に基づき、点検が必要なパーツの種類ごとにパーツの画像領域を点検用入力画像Ｉｉから抽出したパーツ抽出画像を生成する。図９の例では、変状検出部１６Ａは、パーツ推定結果に基づき、パーツ種類Ａとパーツ種類Ｂとが存在することを認識し、パーツ種類Ａのパーツの画像領域を点検用入力画像Ｉｉから抽出したパーツ抽出画像「Ｉｘ」と、パーツ種類Ｂのパーツの画像領域を点検用入力画像Ｉｉから抽出したパーツ抽出画像「Ｉｙ」と、を生成する。そして、変状検出部１６Ａは、パーツの種類ごとに適用すべき変状検出モデルの識別情報等を示すテーブル情報を参照し、パーツ種類Ａを抽出したパーツ抽出画像Ｉｘには変状「Ｘ」を検出する変状検出モデル「Ｍｘ」を使用し、パーツ種類Ｂを抽出したパーツ抽出画像Ｉｙには変状「Ｙ」を検出する変状検出モデル「Ｍｙ」を使用すべきと判定する。よって、変状検出部１６Ａは、変状検出モデルＭｘにパーツ種類Ａのパーツ抽出画像Ｉｘを入力することでパーツ抽出画像Ｉｘにおける変状検出結果を取得し、変状検出モデルＭｙにパーツ種類Ｂのパーツ抽出画像Ｉｙを入力することで当該パーツ抽出画像Ｉｙにおける変状検出結果を取得する。
　本変形例によれば、変状情報生成装置１は、点検用入力画像Ｉｉに含まれるパーツの種類ごとに適した変状検出モデルを用い、高精度な変状検出結果を得ることができる。
　なお、上述の例に代えて、パーツの種類ごとに適用すべき変状検出モデルが機械学習されていてもよい。この場合、変状検出モデル情報記憶部４２には、パーツラベルが示すパーツの種類ごとに機械学習が行われた変状検出モデルのパラメータが記憶されている。各変状検出モデルは、対象とする種類のパーツを撮影した画像をサンプルとし、当該パーツにおける変状の有無及び変状の種類を画素ごとに示すデータを正解とする複数のレコードを含む訓練データにより機械学習が行われる。
　（変形例３）
　構造物計測データ記憶部４１が記憶する構造物計測データには、パーツラベルに関する情報が含まれていなくともよい。
　図１０は、変形例３におけるプロセッサ１１の機能ブロック図を示す。プロセッサ１１は、パーツ推定部１５Ａを有する。パーツ推定部１５Ａは、ラベルが付与されていない構造物計測データと、カメラ５の位置姿勢推定結果と、点検用入力画像Ｉｉと、に基づき、パーツ推定結果を生成する。パーツ推定部１５Ａは、記憶装置４のパーツ推定モデル情報記憶部４４が記憶するパーツ推定モデル情報を参照して構成したパーツ推定モデルを用いてパーツ推定結果を生成する。この場合、パーツ推定部１５Ａは、カメラ５の位置姿勢推定結果に基づいて、カメラ５の画角内に存在する構造物計測データの部分データ（点群データ）を特定し、特定した部分データをパーツ推定モデルに入力する。そして、パーツ推定部１５Ａは、この場合にパーツ推定モデルが出力するパーツ推定結果を取得する。
　ここで、パーツ推定モデルは、例えば、ある画像に対応するカメラ画角内の３次元データ（点群データ）が入力された場合に、当該画像上での画素ごとのパーツのクラスを示すパーツ推定結果を出力するように事前に機械学習されたモデルである。「パーツのクラス」は、例えば、パーツの種類を示すラベルであってもよく、部材要素番号であってもよく、その他のパーツの任意の識別子であってもよい。
　また、パーツ推定部１５Ａは、点検用入力画像Ｉｉをさらに用いてパーツ推定結果を生成してもよい。この場合、パーツ推定モデルは、画像と、当該画像に対応する３次元データとを入力としてパーツ推定結果を生成する機械学習モデルとなる。このような機械学習モデルのアーキテクチャの例として、ＢＰＮｅｔ（Ｂｉｄｉｒｅｃｔｕｏｎａｌ　Ｐｒｏｊｅｃｔｉｏｎ　Ｎｅｔｗｏｒｋ）が知られている。パーツ推定部１５Ａは、このようなパーツ推定モデルに点検用入力画像Ｉｉとカメラ５の画角内に存在する構造物計測データとを入力し、パーツ推定結果をパーツ推定モデルから取得する。
　本変形例によれば、パーツ推定部１５Ａは、ラベルが付与されていない構造物計測データを用いた場合であっても、上述した実施形態と同様にパーツ推定結果を生成することができる。
　（変形例４）
　変状情報生成装置１の変状検出部１６は、点検用入力画像Ｉｉに加えて、構造物計測データ記憶部４１に記憶された構造物計測データをさらに用いて変状検出を行ってもよい。
　この場合、変状検出モデルは、画像と、当該画像に対応する３次元データとを入力として、画像内における変状検出結果である変状検出結果を生成する機械学習モデルとなる。このような機械学習モデルのアーキテクチャの例として、ＢＰＮｅｔが知られている。変状検出部１６は、このような変状検出モデルに点検用入力画像Ｉｉと当該点検用入力画像Ｉｉに対応する構造物計測データとを入力し、変状検出結果を変状検出モデルから取得する。
　本変形例では、モダリティの異なるデータの特徴を併用し、より高精度に変状領域の検出を行うことが可能となる。
　（変形例５）
　変状情報生成装置１は、変状情報（即ち、変状検出結果及びパーツ推定結果）に基づき、点検対象構造物６の設計用図面を示す図面データを更新し、更新後の図面データを上述の変状情報と関連付けて変状情報記憶部４３に記憶してもよい。
　この場合、図面データは、例えば、点検対象構造物６の展開図又は俯瞰図などの設計用図面の電子データ（画像その他の表示用データ）であり、構造物計測データとは別に記憶装置４に記憶されてもよく、構造物計測データから生成されてもよい。また、図面データは、パーツラベル又は基準座標系の座標位置が示す点検対象構造物６の箇所と、設計用図面上の箇所との対応箇所を示す情報である対応箇所情報を含んでいる。なお、変状情報生成装置１は、構造物計測データから図面データを生成する場合には、構造物計測データに基づき対応箇所情報を生成してもよい。この場合、変状情報生成装置１は、例えば、構造物計測データから設計用図面（例えば俯瞰図）に変換する場合に、変換前の基準座標系の座標位置又はパーツラベルと変換後の設計用図面上の位置とを対応付けた対応箇所情報を生成する。
　そして、変状情報生成装置１は、変状検出結果及びパーツ推定結果に基づき変状情報を生成した場合、変状の検出位置に対応する図面データを、変状の検出位置及び変状の種類が明示されるように更新する。例えば、変状情報生成装置１は、変状情報に含まれるパーツラベル又は座標情報に基づき、設計用図面上での変状の検出位置を特定し、特定した変状の検出位置に対応付けて、変状情報に含まれる変状種類情報に相当するテキスト情報を設計用図面に重畳する。
　図１１は、変状が検出されたパーツを含む点検対象構造物６の設計用図面の表示例である。図１１では、橋梁である点検対象構造物６の一部が示されており、床版Ａ０１～Ａ０８、横桁Ｂ０１～Ｂ１０、主桁Ｂ１１～Ｂ２２が示されている。ここでは、Ａ０１～Ａ０８、Ｂ０１～Ｂ２２は、パーツラベルとして用いられる。ここで、変状情報生成装置１は、生成した変状情報に基づき、床版Ａ０３に変状種類「変形」の変状が検出されたことを認識し、検出した変状を表すマーク８１を、変状種類を明示するテキスト情報「変状あり」と共に、変状が生じた床版Ａ０３に重畳表示する。これにより、変状情報生成装置１は、検出された変状が明示されるように図面データを好適に更新することができる。なお、変状情報生成装置１は、設計用図面に重畳するマーク８１のサイズ及び形状を、変状情報に含まれるサイズ情報及び形状情報等に基づき決定してもよく、点検用入力画像Ｉｉから変状領域を抽出し、抽出した変状領域の画像をマーク８１として設計用図面の画像に重畳してもよい。
　このように、本変形例によれば、変状情報生成装置１は、展開図などの設計用図面を表す図面データに変状に関する情報を付加することができる。これにより、図面データを閲覧するユーザは、変状が生じた箇所を設計用図面上において好適に把握することができる。
　＜第２実施形態＞
　第２実施形態では、変状情報生成装置１は、点検用入力画像Ｉｉとして、一方の撮影範囲が他方の撮影範囲を包含する２つの点検用入力画像Ｉｉを用いる。これにより、変状情報生成装置１は、変状検出及びパーツ推定をより的確に実行する。以後では、点検対象構造物６を近距離により撮影した（即ち上述の「他方の撮影範囲」に相当する）画像を、「点検用近景画像ＩｉＣ」とも呼び、点検用近景画像ＩｉＣの撮影範囲を含むように点検対象構造物６を遠距離により撮影した（即ち上述の「一方の撮影範囲」に相当する）画像を、「点検用遠景画像ＩｉＦ」とも呼ぶ。点検用近景画像ＩｉＣ及び点検用遠景画像ＩｉＦは、同一のカメラ５により生成されてもよく、２台のカメラ５により生成されてもよい。以後では、第２実施形態の変状情報生成装置１は、図２に示されるハードウェア構成を有するものとする。また、第１実施形態と同一構成要素については、適宜同一符号を付し、その説明を省略する。
　図１２は、変状情報生成装置１のプロセッサ１１の機能ブロック構成を示す。第２実施形態におけるプロセッサ１１は、カメラ位置姿勢推定部１４Ｂと、パーツ推定部１５Ｂと、変状検出部１６Ｂと、変状情報生成部１７Ｂと、対応特定部１９Ｂと、を有する。
　カメラ位置姿勢推定部１４Ｂは、構造物計測データ記憶部４１に記憶された構造物計測データと、点検用遠景画像ＩｉＦとに基づき、点検用遠景画像ＩｉＦを取得したカメラ５の位置姿勢を推定する。パーツ推定部１５Ｂは、パーツラベルが紐付けられた構造物計測データと、カメラ位置姿勢推定部１４Ｂが生成したカメラ５の位置姿勢の推定結果と、に基づき、点検用遠景画像ＩｉＦに対応するパーツラベルを推定する。カメラ位置姿勢推定部１４Ｂ及びパーツ推定部１５Ｂが点検用遠景画像ＩｉＦに基づき実行する処理は、第１実施形態において点検用入力画像Ｉｉに基づきカメラ位置姿勢推定部１４及びパーツ推定部１５が実行する処理と同一である。
　変状検出部１６Ｂは、変状検出モデル情報記憶部４２に記憶された変状検出モデル情報から構成される機械学習済みの変状検出モデルと、点検用近景画像ＩｉＣと、に基づき、点検用近景画像ＩｉＣにおける変状領域を検出し、変状検出結果を変状情報生成部１７Ｂに供給する。変状検出部１６Ｂが点検用近景画像ＩｉＣに基づき実行する処理は、第１実施形態において点検用入力画像Ｉｉに基づき変状検出部１６が実行する処理と同一である。
　対応特定部１９Ｂは、点検用遠景画像ＩｉＦと点検用近景画像ＩｉＣとの対応関係を特定する。この場合、対応特定部１９Ｂは、任意の画像マッチング技術に基づき、点検用遠景画像ＩｉＦにおける点検用近景画像ＩｉＣに対応する領域を特定する。そして、対応特定部１９Ｂは、上述の対応関係の特定結果（「対応関係特定結果」とも呼ぶ。）を変状情報生成部１７Ｂに供給する。この場合、例えば、対応特定部１９Ｂは、点検用近景画像ＩｉＣの各画素に対応する点検用遠景画像ＩｉＦの画素を示す情報を対応関係特定結果として変状情報生成部１７Ｂに供給する。
　変状情報生成部１７Ｂは、パーツ推定部１５Ｂが生成するパーツ推定結果と、変状検出部１６Ｂが生成する変状検出結果と、対応特定部１９Ｂが生成する対応関係特定結果と、に基づき、変状情報を生成する。例えば、変状情報生成部１７は、変状検出結果に基づき変状領域が検出されたと判定した場合、点検用遠景画像ＩｉＦ上でのパーツラベルを示すパーツ推定結果と、点検用遠景画像ＩｉＦと点検用近景画像ＩｉＣとの対応関係を示す対応関係特定結果とに基づき、変状検出結果が示す点検用近景画像ＩｉＣ上での変状領域に対応するパーツラベルを特定する。また、変状情報生成部１７Ｂは、変状領域の基準座標系での座標情報の生成、変状領域の大きさの推定、変状領域の形状の推定などを、種々の画像認識技術に基づき実行してもよい。そして、変状情報生成部１７Ｂは、変状領域の変状の種類を示す変状種類情報、パーツラベル（及び座標情報）などを示す変状位置情報、及び、変状領域の大きさなどのその他の情報を含む変状情報を生成し、変状情報記憶部４３に記憶する。また、変状領域が点検用入力画像Ｉｉ上に存在しないことを示す変状検出結果が得られた場合、変状情報生成部１７Ｂは、変状が検出されない旨を示す変状情報を変状情報記憶部４３に記憶してもよく、変状情報を生成しなくともよい。また、第１実施形態の変状情報生成部１７と同様に、変状情報生成部１７Ｂは、パーツラベルを参照して変状検出結果を修正してもよい。
　図１３（Ａ）は、「ひび」に対応する変状領域７４を含む路面領域７１、路肩領域７２、及び植生領域７３を有する点検用遠景画像ＩｉＦの一例を示し、図１３（Ｂ）は、図１３（Ａ）に示す点検用遠景画像ＩｉＦに対応する点検用近景画像ＩｉＣの一例を示す。また、図１３（Ｃ）は、対応関係特定結果を明示した点検用遠景画像ＩｉＦを示す。図１３（Ｃ）では、点検用近景画像ＩｉＣに対応する画像領域の外縁となる枠８５が明示されている。
　図１３（Ａ）～図１３（Ｃ）に示されるように、点検用近景画像ＩｉＣは、点検用遠景画像ＩｉＦ内の一部の画像領域に相当し、対応特定部１９Ｂは、点検用近景画像ＩｉＣに相当する点検用遠景画像ＩｉＦ内の画像領域を特定する。ここで、点検用近景画像ＩｉＣは、変状が生じたパーツ（ここでは路面）を近距離から撮影した画像となっており、変状検出部１６Ｂでの変状検出が容易な画像となっている。なお、点検用近景画像ＩｉＣは、限られた点検対象構造物６の箇所を拡大しており、点検対象構造物６の全体を表す構造物計測データとの対応関係を特定しにくいため、パーツ推定には点検用遠景画像ＩｉＦが用いられる。そして、変状情報生成装置１は、変状領域７４に対応するパーツラベルを対応関係特定結果及びパーツ推定結果に基づき特定し、特定したパーツラベル等に基づき変状情報を生成する。
　このように、第２実施形態によれば、変状情報生成装置１は、点検用近景画像ＩｉＣを用いて変状領域の検出を高精度に実行しつつ、点検用遠景画像ＩｉＦを用いることでパーツ推定についても高精度に実行することが可能となる。なお、第１実施形態の各変形例は、第２実施形態にも任意に組み合わせて適用することができる。
　＜第３実施形態＞
　図１４は、変状情報生成装置１Ｘのブロック図である。変状情報生成装置１Ｘは、主に、パーツ推定手段１５Ｘと、変状検出手段１６Ｘと、変状情報生成手段１７Ｘと、を有する。なお、変状情報生成装置１Ｘは、複数の装置により構成されてもよい。
　パーツ推定手段１５Ｘは、構造物を表す３次元データと、構造物を部分的に撮影した第１画像とに基づき、第１画像に含まれる構造物のパーツを推定する。例えば、パーツ推定手段１５Ｘは、第１実施形態におけるカメラ位置姿勢推定部１４及びパーツ推定部１５（又はカメラ位置姿勢推定部１４及びパーツ推定部１５Ａ）であってもよく、第２実施形態におけるカメラ位置姿勢推定部１４Ｂ及びパーツ推定部１５Ｂであってもよい。第１画像は、例えば、第１実施形態における点検用入力画像Ｉｉまたは第２実施形態における点検用遠景画像ＩｉＦとすることができる。
　変状検出手段１６Ｘは、第１画像または第１画像の撮影範囲の一部を撮影した第２画像に基づき、構造物の変状を検出する。例えば、変状検出手段１６Ｘは、第１実施形態における変状検出部１６又は変状検出部１６Ａであってもよく、第２実施形態における変状検出部１６Ｂであってもよい。第２画像は、例えば、第２実施形態における点検用近景画像ＩｉＣとすることができる。
　変状情報生成手段１７Ｘは、パーツの推定結果と、変状の検出結果とに基づき、変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する。例えば、変状情報生成手段１７Ｘは、第１実施形態における変状情報生成部１７であってもよく、第２実施形態における変状情報生成部１７Ｂであってもよい。
　図１５は、第３実施形態において変状情報生成装置１Ｘが実行するフローチャートの一例である。まず、パーツ推定手段１５Ｘは、構造物を表す３次元データと、構造物を部分的に撮影した第１画像とに基づき、第１画像に含まれる構造物のパーツを推定する（ステップＳ２１）。次に、変状検出手段１６Ｘは、第１画像または第１画像の撮影範囲の一部を撮影した第２画像に基づき、構造物の変状を検出する（ステップＳ２２）。変状情報生成手段１７Ｘは、パーツの推定結果と、変状の検出結果とに基づき、変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する（ステップＳ２３）。
　第３実施形態によれば、変状情報生成装置１Ｘは、パーツの識別情報と紐付けた変状の検出結果に関する変状情報を好適に生成することができる。
　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　その他、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
［付記１］
　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定するパーツ推定手段と、
　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出する変状検出手段と、
　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する変状情報生成手段と、
を有する変状情報生成装置。
［付記２］
　前記３次元データと、前記第１画像と、に基づき、前記第１画像を撮影したカメラの位置姿勢を推定するカメラ位置姿勢推定手段をさらに有し、
　前記パーツ推定手段は、前記位置姿勢の推定結果と、前記３次元データに関連付けられた前記パーツの識別情報と、に基づき、前記第１画像に含まれる前記パーツを推定する、付記１に記載の変状情報生成装置。
［付記３］
　前記変状検出手段は、前記第１画像または前記第２画像と、機械学習モデルと、に基づき、前記変状を検出し、
　前記機械学習モデルは、画像と、当該画像に含まれる変状の検出結果との関係を機械学習したモデルである、
付記１に記載の変状情報生成装置。
［付記４］
　前記変状検出手段は、前記パーツの推定結果に基づき、前記機械学習モデルを選択する、付記３に記載の変状情報生成装置。
［付記５］
　前記パーツ推定手段は、前記第１画像に基づき、前記パーツの推定結果を生成し、
　前記変状検出手段は、前記第２画像に基づき、前記変状の検出結果を生成し、
　前記変状情報生成手段は、前記第１画像と前記第２画像との対応関係を示す情報と、前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状情報を生成する、付記１に記載の変状情報生成装置。
［付記６］
　前記変状検出手段は、前記変状の種類に関する情報を含む前記変状の検出結果を生成し、
　前記変状情報生成手段は、前記変状が生じたパーツの識別情報と、当該変状の種類と、を少なくとも示す前記変状情報を生成する、付記１に記載の変状情報生成装置。
［付記７］
　前記変状情報生成手段は、前記変状が生じたパーツの識別情報と、当該変状の種類と、に基づき、当該変状の検出結果の正誤を判定する、付記６に記載の変状情報生成装置。
［付記８］
　前記パーツ推定手段は、前記位置姿勢の推定結果と、前記３次元データに関連付けられた前記パーツの識別情報と、に基づき、前記第１画像の各画素に対応する前記パーツの識別情報を推定する、付記２に記載の変状情報生成装置。
［付記９］
　前記変状情報生成手段は、前記構造物の図面を示す図面データに、前記図面における前記変状の検出位置を示す情報を付加する、付記１に記載の変状情報生成装置。
［付記１０］
　コンピュータが、
　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定し、
　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出し、
　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する、
変状情報生成方法。
［付記１１］
　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定し、
　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出し、
　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献及び非特許文献の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ｘ　変状情報生成装置
　２　入力装置
　３　出力装置
　４　記憶装置
　５　カメラ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　４１　構造物計測データ記憶部
　４２　変状検出モデル情報記憶部
　４３　変状情報記憶部
　９０　データバス
　１００　構造物点検システム

Claims (11)

  1. 　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定するパーツ推定手段と、
    　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出する変状検出手段と、
    　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する変状情報生成手段と、
    を有する変状情報生成装置。
  2. 　前記３次元データと、前記第１画像と、に基づき、前記第１画像を撮影したカメラの位置姿勢を推定するカメラ位置姿勢推定手段をさらに有し、
    　前記パーツ推定手段は、前記位置姿勢の推定結果と、前記３次元データに関連付けられた前記パーツの識別情報と、に基づき、前記第１画像に含まれる前記パーツを推定する、請求項１に記載の変状情報生成装置。
  3. 　前記変状検出手段は、前記第１画像または前記第２画像と、機械学習モデルと、に基づき、前記変状を検出し、
    　前記機械学習モデルは、画像と、当該画像に含まれる変状の検出結果との関係を機械学習したモデルである、
    請求項１に記載の変状情報生成装置。
  4. 　前記変状検出手段は、前記パーツの推定結果に基づき、前記機械学習モデルを選択する、請求項３に記載の変状情報生成装置。
  5. 　前記パーツ推定手段は、前記第１画像に基づき、前記パーツの推定結果を生成し、
    　前記変状検出手段は、前記第２画像に基づき、前記変状の検出結果を生成し、
    　前記変状情報生成手段は、前記第１画像と前記第２画像との対応関係を示す情報と、前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状情報を生成する、請求項１に記載の変状情報生成装置。
  6. 　前記変状検出手段は、前記変状の種類に関する情報を含む前記変状の検出結果を生成し、
    　前記変状情報生成手段は、前記変状が生じたパーツの識別情報と、当該変状の種類と、を少なくとも示す前記変状情報を生成する、請求項１に記載の変状情報生成装置。
  7. 　前記変状情報生成手段は、前記変状が生じたパーツの識別情報と、当該変状の種類と、に基づき、当該変状の検出結果の正誤を判定する、請求項６に記載の変状情報生成装置。
  8. 　前記パーツ推定手段は、前記位置姿勢の推定結果と、前記３次元データに関連付けられた前記パーツの識別情報と、に基づき、前記第１画像の各画素に対応する前記パーツの識別情報を推定する、請求項２に記載の変状情報生成装置。
  9. 　前記変状情報生成手段は、前記構造物の図面を示す図面データに、前記図面における前記変状の検出位置を示す情報を付加する、請求項１に記載の変状情報生成装置。
  10. 　コンピュータが、
    　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定し、
    　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出し、
    　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する、
    変状情報生成方法。
  11. 　構造物を表す３次元データと、前記構造物を部分的に撮影した第１画像とに基づき、前記第１画像に含まれる前記構造物のパーツを推定し、
    　前記第１画像または前記第１画像の撮影範囲の一部を撮影した第２画像に基づき、前記構造物の変状を検出し、
    　前記パーツの推定結果と、前記変状の検出結果と、に基づき、前記変状が生じたパーツの識別情報を少なくとも示す変状情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
PCT/JP2023/030534 2023-08-24 2023-08-24 変状情報生成装置、変状情報生成方法及び記憶媒体 Pending WO2025041337A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/030534 WO2025041337A1 (ja) 2023-08-24 2023-08-24 変状情報生成装置、変状情報生成方法及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/030534 WO2025041337A1 (ja) 2023-08-24 2023-08-24 変状情報生成装置、変状情報生成方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2025041337A1 true WO2025041337A1 (ja) 2025-02-27

Family

ID=94731976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/030534 Pending WO2025041337A1 (ja) 2023-08-24 2023-08-24 変状情報生成装置、変状情報生成方法及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2025041337A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188280A (ja) * 2008-02-08 2009-08-20 Hitachi High-Technologies Corp レビュー装置，検査領域設定支援システム、および、欠陥の画像得方法
WO2017119202A1 (ja) * 2016-01-06 2017-07-13 富士フイルム株式会社 構造物の部材特定装置及び方法
WO2018037689A1 (ja) * 2016-08-22 2018-03-01 富士フイルム株式会社 画像処理装置及び画像処理方法
WO2018155590A1 (ja) * 2017-02-24 2018-08-30 国立研究開発法人理化学研究所 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
WO2020003818A1 (ja) * 2018-06-28 2020-01-02 パナソニックＩｐマネジメント株式会社 検査装置及び検査方法
JP2020159969A (ja) * 2019-03-27 2020-10-01 三菱電機株式会社 付帯設備状態評価装置、付帯設備状態評価方法、および付帯設備状態評価プログラム
JP2020197460A (ja) * 2019-06-03 2020-12-10 株式会社インフォマティクス 構造物の検査システム、構造物の検査方法及びプログラム
JP2023025476A (ja) * 2021-08-10 2023-02-22 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009188280A (ja) * 2008-02-08 2009-08-20 Hitachi High-Technologies Corp レビュー装置，検査領域設定支援システム、および、欠陥の画像得方法
WO2017119202A1 (ja) * 2016-01-06 2017-07-13 富士フイルム株式会社 構造物の部材特定装置及び方法
WO2018037689A1 (ja) * 2016-08-22 2018-03-01 富士フイルム株式会社 画像処理装置及び画像処理方法
WO2018155590A1 (ja) * 2017-02-24 2018-08-30 国立研究開発法人理化学研究所 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
WO2020003818A1 (ja) * 2018-06-28 2020-01-02 パナソニックＩｐマネジメント株式会社 検査装置及び検査方法
JP2020159969A (ja) * 2019-03-27 2020-10-01 三菱電機株式会社 付帯設備状態評価装置、付帯設備状態評価方法、および付帯設備状態評価プログラム
JP2020197460A (ja) * 2019-06-03 2020-12-10 株式会社インフォマティクス 構造物の検査システム、構造物の検査方法及びプログラム
JP2023025476A (ja) * 2021-08-10 2023-02-22 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US11893724B2 (en) Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
Pantoja-Rosero et al. Damage-augmented digital twins towards the automated inspection of buildings
KR102256181B1 (ko) 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템
EP3690800B1 (en) Information processing apparatus, information processing method, and program
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
CN114841923B (zh) 一种基于无人机的高精度实时裂缝检测方法
CN110009614A (zh) 用于输出信息的方法和装置
CN116703835B (zh) 基于卷积神经网络与双目视觉的智能配筋检测方法及系统
CN116385421A (zh) 光伏面板检测方法、无人机和计算机可读存储介质
US12125238B2 (en) Information processing device, information processing method, and computer program product
US11922659B2 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
JP2018036226A (ja) 画像処理プログラム、画像処理方法および画像処理装置
Jayaram Computer vision applications in construction material and structural health monitoring: A scoping review
Lin et al. Visual and virtual progress monitoring in Construction 4.0
Shah et al. Condition assessment of ship structure using robot assisted 3D-reconstruction
CN119544928A (zh) 换流站阀厅无人巡检方法、装置、设备及存储介质
CN118968347A (zh) 一种结构损伤自适应识别方法及系统
KR20220095831A (ko) 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
US12223639B2 (en) Photographing guide device
Pan et al. Bolt loosening assessment using ensemble vision models for automatic localization and feature extraction with target‐free perspective adaptation
WO2025041337A1 (ja) 変状情報生成装置、変状情報生成方法及び記憶媒体
KR102588141B1 (ko) 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법
KR102621971B1 (ko) 수직형 구조물의 딥러닝 기반 3차원 외관 손상 모델 구축 시스템 및 그 방법
Lin et al. Bridge inspection with aerial robots and computer vision: A japanese national initiative

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23949793

Country of ref document: EP

Kind code of ref document: A1