[go: up one dir, main page]

WO2025004206A1 - 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 - Google Patents

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 Download PDF

Info

Publication number
WO2025004206A1
WO2025004206A1 PCT/JP2023/023905 JP2023023905W WO2025004206A1 WO 2025004206 A1 WO2025004206 A1 WO 2025004206A1 JP 2023023905 W JP2023023905 W JP 2023023905W WO 2025004206 A1 WO2025004206 A1 WO 2025004206A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscopic
image
inference
parameter
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/023905
Other languages
English (en)
French (fr)
Inventor
康夫 尾見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/023905 priority Critical patent/WO2025004206A1/ja
Publication of WO2025004206A1 publication Critical patent/WO2025004206A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • This disclosure relates to technology that can be used to present information to assist in endoscopic examinations.
  • Patent Document 1 discloses a technology in which an endoscopic device equipped with a parent endoscope and a child endoscope corrects an endoscopic image obtained from the child endoscope, and inputs the corrected endoscopic image into a diagnostic support learning model to output diagnostic support information including the presence or absence of a lesion contained in the corrected endoscopic image.
  • Patent Document 1 does not specifically disclose a method for obtaining information related to a lesion from multiple endoscopic images corresponding to multiple different viewpoints. Therefore, the technology disclosed in Patent Document 1 has the problem that, for example, the accuracy of information related to a lesion obtained from endoscopic images may decrease.
  • One objective of the present disclosure is to provide an endoscopic examination support device that can improve the accuracy of information related to lesions obtained from endoscopic images.
  • an endoscopic examination support device has an image generation means for generating a first image group including a plurality of arbitrary viewpoint endoscopic images each corresponding to a different viewpoint position using parameters obtained based on an endoscopic image including a subject inside a body cavity, or for generating a second image group including at least one arbitrary viewpoint endoscopic image corresponding to a viewpoint position different from that of the endoscopic image, and an inference means for performing inference processing related to the subject based on the first image group, or based on the endoscopic image and the second image group.
  • a method for supporting endoscopic examination uses parameters obtained based on an endoscopic image including a subject within a body cavity to generate a first image group including a plurality of arbitrary viewpoint endoscopic images each corresponding to a different viewpoint position from each other, or generates a second image group including at least one arbitrary viewpoint endoscopic image corresponding to a viewpoint position different from the viewpoint position of the endoscopic image, and performs inference regarding the subject based on the first image group or based on the endoscopic image and the second image group.
  • the recording medium records a program that causes a computer to execute a process of using parameters obtained based on an endoscopic image including a subject within a body cavity to generate a first image group including a plurality of arbitrary viewpoint endoscopic images each corresponding to a different viewpoint position from each other, or to generate a second image group including at least one arbitrary viewpoint endoscopic image corresponding to a viewpoint position different from the viewpoint position of the endoscopic image, and to make an inference related to the subject based on the first image group or based on the endoscopic image and the second image group.
  • the present disclosure makes it possible to improve the accuracy of information related to lesions obtained from endoscopic images.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an endoscopic examination system according to the present disclosure.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of an endoscopic examination support device according to the present disclosure.
  • FIG. 2 is a block diagram showing an example of a functional configuration of an endoscopic examination support device according to the present disclosure.
  • 11A and 11B are diagrams for explaining an example of parameters used in processing of the endoscopic examination support device according to the present disclosure.
  • FIG. 4 is a diagram for explaining an example of a functional configuration of an inference processing unit. 4 is a flowchart showing an example of processing performed in the endoscopic examination support device according to the present disclosure.
  • FIG. 13 is a block diagram showing another example of the functional configuration of the endoscopic examination support device according to the present disclosure.
  • FIG. 13 is a diagram for explaining another example of the functional configuration of the inference processing unit. 10 is a flowchart showing another example of processing performed in the endoscopic examination support device according to the present disclosure. FIG. 13 is a block diagram showing another example of the functional configuration of the endoscopic examination support device according to the present disclosure. 10 is a flowchart showing another example of processing performed in the endoscopic examination support device according to the present disclosure.
  • Fig. 1 is a diagram showing an example of a schematic configuration of an endoscopic examination system according to the present disclosure.
  • the endoscopic examination system 100 includes an endoscopic examination support device 1, a display device 2, and an endoscope 3 connected to the endoscopic examination support device 1.
  • the endoscopic examination support device 1 acquires from the endoscopic scope 3 an image including a time series of images obtained by imaging a subject during an endoscopic examination (hereinafter also referred to as an endoscopic image), and displays on the display device 2 a display image for confirmation by an operator such as a doctor performing the endoscopic examination. Specifically, the endoscopic examination support device 1 acquires an image of the inside of the large intestine obtained during an endoscopic examination from the endoscopic scope 3 as an endoscopic image. The endoscopic examination support device 1 also extracts one endoscopic image from the endoscopic image, and generates multiple arbitrary viewpoint endoscopic images corresponding to different viewpoint positions using parameters obtained based on the extracted one endoscopic image.
  • the endoscopic examination support device 1 also acquires information related to a lesion in one endoscopic image extracted from the endoscopic image based on the multiple arbitrary viewpoint endoscopic images.
  • the endoscopic examination support device 1 can be used to support decision-making related to the diagnosis of a lesion by a doctor.
  • the display device 2 has, for example, a liquid crystal monitor.
  • the display device 2 also displays images and the like output from the endoscopic examination support device 1.
  • the endoscope scope 3 mainly comprises an operating section 36 that allows the surgeon to input commands such as air supply, water supply, angle adjustment, and imaging instructions, a flexible shaft 37 that is inserted into the subject's organ to be examined, a tip section 38 that incorporates an endoscopic camera such as a miniature imaging element, and a connection section 39 for connecting to the endoscopic examination support device 1.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1 mainly includes a processor 11, a memory 12, an interface 13, an input unit 14, a light source unit 15, a sound output unit 16, and a database (hereinafter, referred to as "DB") 17. These elements are connected via a data bus 19.
  • DB database
  • the processor 11 executes predetermined processing by executing programs stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • the processor 11 may be composed of multiple processors.
  • the processor 11 is an example of a computer.
  • the processor 11 also performs processing such as acquiring information related to a lesion from multiple arbitrary viewpoint endoscopic images corresponding to multiple mutually different viewpoints.
  • the memory 12 is composed of various volatile memories used as working memories, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memories that store information necessary for the processing of the endoscopic examination support device 1.
  • the memory 12 may include an external storage device such as a hard disk connected to or built into the endoscopic examination support device 1, or may include a storage medium such as a removable flash memory or disk medium.
  • the memory 12 stores programs that allow the endoscopic examination support device 1 to execute each process in this embodiment.
  • the memory 12 temporarily stores a series of endoscopic images captured by the endoscope scope 3 during an endoscopic examination.
  • the interface 13 performs interface operations between the endoscopic examination support device 1 and an external device.
  • the interface 13 supplies the display image generated by the processor 11 to the display device 2.
  • the interface 13 also supplies illumination light generated by the light source unit 15 to the endoscope scope 3.
  • the interface 13 also supplies an electrical signal indicating the endoscopic video supplied from the endoscope scope 3 to the processor 11.
  • the interface 13 also supplies an endoscopic image extracted from the endoscopic video to the processor 11.
  • the interface 13 may be a communication interface such as a network adapter for communicating with an external device by wire or wirelessly, or may be a hardware interface compliant with USB (Universal Serial Bus), SATA (Serial AT Attachment), etc.
  • the input unit 14 generates an input signal in response to the operation of the surgeon.
  • the input unit 14 has at least one device, for example, a button, a touch panel, a remote controller, a foot switch, and a voice input device.
  • the light source unit 15 generates light to be supplied to the tip 38 of the endoscope 3.
  • the light source unit 15 may also incorporate a pump for sending water or air to be supplied to the endoscope 3.
  • the sound output unit 16 outputs sound based on the control of the processor 11.
  • DB17 stores endoscopic images and the like acquired during past endoscopic examinations of the subject.
  • DB17 may include an external storage device such as a hard disk connected to or built into the endoscopic examination support device 1, or may include a removable storage medium such as a flash memory.
  • DB17 may be provided on an external server, etc., and related information may be acquired from the server via communication.
  • the endoscopic examination support device 1 may also be equipped with a sensor capable of measuring the rotation and translation of the endoscopic camera, such as a magnetic sensor.
  • [Functional configuration] 3 is a block diagram showing an example of a functional configuration of the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1 has a parameter acquisition unit 21, a parameter conversion unit 22, an image generation unit 23, five inference processing units 24A to 24E, and an inference result integration unit 25.
  • the parameter acquisition unit 21 functions as a parameter acquisition means.
  • the parameter acquisition unit 21 acquires a parameter PRA that represents the viewpoint position and line of sight direction corresponding to each pixel of the endoscopic image EG, and outputs the acquired parameter PRA to the parameter conversion unit 22.
  • the endoscopic image EG is preferably an image obtained at the time when the capture button on the input unit 14 is operated, for example.
  • the endoscopic image EG may also be an image extracted from the endoscopic video at regular intervals.
  • the endoscopic image EG may also be an image having the best image quality among the endoscopic images included in the endoscopic video during a specified period from before to after the capture button on the input unit 14 is operated. In the following description, unless otherwise specified, it is assumed that the tissue corresponding to the lesion is included in the endoscopic image EG as a subject within the body cavity.
  • the parameter acquisition unit 21 sets a three-dimensional orthogonal coordinate system (hereinafter also referred to as a camera coordinate system) TCS as shown in FIG. 4, for example, in response to the input of the endoscopic image EG.
  • FIG. 4 is a diagram for explaining parameters used in the processing of the endoscopic examination support device according to the present disclosure.
  • the parameter acquisition unit 21 sets the position of the endoscopic camera when the endoscopic image EG is acquired as the origin O of the camera coordinate system TCS.
  • the parameter acquisition unit 21 also sets the horizontal direction seen from the origin O as the X-axis direction of the camera coordinate system TCS.
  • the parameter acquisition unit 21 also sets the vertical direction seen from the origin O as the Y-axis direction of the camera coordinate system TCS.
  • the parameter acquisition unit 21 also sets the depth direction seen from the origin O as the Z-axis direction of the camera coordinate system TCS.
  • the parameter acquisition unit 21 acquires coordinates P (x, y, z) in the camera coordinate system TCS as parameters representing the viewpoint position corresponding to each pixel of the endoscopic image EG (see FIG. 4).
  • the parameter acquisition unit 21 also acquires the azimuth angle ⁇ and the elevation/depression angle ⁇ when viewing the coordinate P from the origin O as parameters representing the line of sight corresponding to each pixel of the endoscopic image EG (see FIG. 4).
  • the parameter acquisition unit 21 also acquires five-dimensional parameters (x, y, z, ⁇ , ⁇ ) corresponding to each pixel of the endoscopic image EG as parameters PRA, and outputs the acquired parameters PRA to the parameter conversion unit 22.
  • the parameter acquisition unit 21 can acquire the x and y values of the parameter PRA as coordinate values corresponding to the position of each pixel included in the endoscopic image EG.
  • the parameter acquisition unit 21 can also acquire the z value of the parameter PRA as a coordinate value corresponding to a processing result obtained by performing a process such as depth estimation on the endoscopic image EG.
  • the parameter acquisition unit 21 may also acquire the z value of the parameter PRA as the same coordinate value corresponding to the position of each pixel included in the endoscopic image EG, such as an average value, a representative value, or a predetermined value.
  • the parameter acquisition unit 21 may use, for example, a method disclosed in Pierluigi Zama Ramirez, et.
  • non-patent document DH1 "Unsupervised Novel View Synthesis from a Single Image” (hereinafter referred to as non-patent document DH1).
  • the azimuth angle ⁇ of the parameter PRA can be rephrased as the left-right angle or horizontal angle when viewing the coordinate P from the origin O.
  • the elevation/depression angle ⁇ of the parameter PRA can be rephrased as the up-down angle or vertical angle when viewing the coordinate P from the origin O.
  • the parameter conversion unit 22 has a function as a parameter conversion means.
  • the parameter conversion unit 22 also has a trained conversion model 221.
  • the conversion model 221 is configured as a machine learning model trained to output four-dimensional parameters representing color and volume density in NeRF (Neural Radiance Fields) in response to input of five-dimensional parameters having the same elements as the parameter PRA.
  • NeRF Neral Radiance Fields
  • the conversion model 221 is trained to convert five-dimensional parameters having the same elements as the parameter PRA into four-dimensional parameters representing color and volume density in NeRF.
  • the conversion model 221 is also trained to convert five-dimensional parameters having the same elements as the parameter PRA into four-dimensional parameters representing color and volume density in NeRF.
  • the conversion model 221 is trained to convert five-dimensional parameters having the same elements as the parameter PRA into four-dimensional parameters representing color and volume density in NeRF. al, "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis” (hereinafter referred to as non-patent document DH2).
  • the learning data when learning the conversion model 221 data including a plurality of lesion model images obtained by photographing a lesion model imitating the shape of an actual lesion at a plurality of different angles.
  • the learning data when learning the conversion model 221 data including a plurality of simulation images obtained by changing the angle of the actual lesion included in the image to a plurality of different angles.
  • the parameter conversion unit 22 inputs the parameters PRA (x, y, z, ⁇ , ⁇ ) obtained by the parameter acquisition unit 21 to the conversion model 221 to obtain four-dimensional parameters (R, G, B, ⁇ ) representing the color and volume density in the NeRF as parameters PRB, and outputs the obtained parameters PRB to the image generation unit 23.
  • the parameter conversion unit 22 can obtain the R value of the parameter PRB as a pixel value representing the magnitude of the red component at the viewpoint position and line of sight direction corresponding to the parameter PRA.
  • the parameter conversion unit 22 can obtain the G value of the parameter PRB as a pixel value representing the magnitude of the green component at the viewpoint position and line of sight direction corresponding to the parameter PRA.
  • the parameter conversion unit 22 can obtain the B value of the parameter PRB as a pixel value representing the magnitude of the blue component at the viewpoint position and line of sight direction corresponding to the parameter PRA.
  • the parameter conversion unit 22 can obtain the ⁇ value of the parameter PRB as a density value representing the volume density at the viewpoint position and line of sight direction corresponding to the parameter PRA.
  • the volume density mentioned above can also be rephrased as opacity.
  • the parameter conversion unit 22 can convert the parameter PRA to the parameter PRB using the conversion model 221 that has been trained to output parameters representing color and volume density in response to input of a parameter having the same elements as the parameter PRA.
  • the image generating unit 23 functions as an image generating means.
  • the image generating unit 23 uses the parameters PRB obtained by the parameter converting unit 22 to perform volume rendering processing according to a combination of a preset azimuth angle ⁇ p and elevation/depression angle ⁇ p, thereby generating five arbitrary viewpoint endoscopic images corresponding to five different viewpoint positions.
  • the image generating unit 23 distributes the five arbitrary viewpoint endoscopic images generated as described above to the five inference processing units 24A to 24E one by one. In other words, the image generating unit 23 exclusively outputs the five arbitrary viewpoint endoscopic images generated as described above to the five inference processing units 24A to 24E one by one.
  • the image generating unit 23 may use the method disclosed in non-patent document DH2 when performing the volume rendering processing described above, or may use other methods.
  • the endoscopic image EGN is output to the inference processing unit 24A
  • the endoscopic image EGL is output to the inference processing unit 24B
  • the endoscopic image EGR is output to the inference processing unit 24C
  • the endoscopic image EGD is output to the inference processing unit 24D
  • the endoscopic image EGU is output to the inference processing unit 24E.
  • the five inference processing units 24A to 24E have the same functions.
  • the five inference processing units 24A to 24E have the function of inference means that performs inference processing based on the endoscopic images EGN, EGL, EGR, EGD, and EGU.
  • FIG. 5 is a diagram for explaining an example of the functional configuration of the inference processing unit.
  • the inference processing unit 24A is configured to perform inference processing corresponding to the input signal NS generated in the input unit 14 as processing for the endoscopic image EGN obtained from the image generating unit 23, and output the inference result ERN obtained by the inference processing to the inference result integration unit 25. Specifically, for example, when the input signal NS related to the detection of a lesion is generated in the input unit 14, the inference processing unit 24A performs inference processing for detecting the presence or absence of a lesion in the endoscopic image EGN.
  • the inference processing unit 24A when the input signal NS related to the diagnosis of a lesion is generated in the input unit 14, the inference processing unit 24A performs inference processing for evaluating the neoplasticity or non-neoplasticity of a lesion included in the endoscopic image EGN. Also, for example, when the input signal NS related to the measurement of the size of a lesion is generated in the input unit 14, the inference processing unit 24A performs inference processing for estimating the size of a lesion included in the endoscopic image EGN. Also, as shown in FIG. 5, the inference processing unit 24A has a detection model 241, a classification model 242, and a size estimation model 243.
  • the detection model 241 is configured as a machine learning model trained to perform inference processing to detect the presence or absence of a lesion in an endoscopic image input from the outside, and to output the inference result obtained by the inference processing.
  • an inference result can be obtained that can identify the presence or absence of a lesion in an endoscopic image and the position of the lesion in the endoscopic image.
  • an inference result can be obtained in which a relatively high score is assigned when a lesion is included in an endoscopic image, and a relatively low score is assigned when a lesion is not included in an endoscopic image.
  • the classification model 242 is configured as a machine learning model trained to perform inference processing to evaluate the neoplastic or non-neoplastic nature of lesions contained in endoscopic images input from the outside, and to output the inference results obtained by the inference processing.
  • the classification model 242 for example, it is possible to obtain an inference result that can identify whether a lesion contained in an endoscopic image is neoplastic or non-neoplastic.
  • the configuration of the classification model 242 described above it is possible to obtain an inference result in which the sum of a score indicating the neoplastic nature of a lesion contained in an endoscopic image and a score indicating the non-neoplastic nature of the lesion is 1.
  • the inference processing unit 24B is configured to perform inference processing corresponding to the input signal NS generated in the input unit 14 as processing for the endoscopic image EGL obtained from the image generation unit 23, and to output the inference result ERL obtained by the inference processing to the inference result integration unit 25.
  • the inference processing unit 24B also has a detection model 241, a classification model 242, and a size estimation model 243 similar to those of the inference processing unit 24A. Therefore, the inference processing unit 24B can perform the same inference processing as the inference processing unit 24A in response to the input signal NS generated in the input unit 14.
  • the inference processing unit 24C is configured to perform inference processing corresponding to the input signal NS generated in the input unit 14 as processing for the endoscopic image EGR obtained from the image generation unit 23, and to output the inference result ERR obtained by the inference processing to the inference result integration unit 25.
  • the inference processing unit 24C also has a detection model 241, a classification model 242, and a size estimation model 243 similar to those of the inference processing unit 24A. Therefore, the inference processing unit 24C can perform the same inference processing as the inference processing unit 24A in response to the input signal NS generated in the input unit 14.
  • the inference processing units 24A to 24E can obtain five inference results by performing inference processing individually for each of the five arbitrary viewpoint endoscopic images.
  • the inference results ERN, ERL, ERR, ERD, and ERU will also be referred to as the five inference results.
  • the inference result integration unit 25 obtains the inference result that accounts for the majority of the five inference results as the integrated inference result. Such processing by the inference result integration unit 25 can be treated as processing corresponding to hard voting.
  • the inference result integration unit 25 obtains an integrated inference result based on the sum of the scores included in each of the five inference results. Specifically, for example, when five inference results are obtained by an inference process using the detection model 241, the inference result integration unit 25 obtains an integrated inference result depending on whether the sum of the scores included in each of the five inference results is higher than a predetermined value.
  • the inference result integration unit 25 obtains an integrated inference result based on the result of comparing the sum of the scores indicating the neoplastic nature of the lesions included in each of the five inference results with the sum of the scores indicating the non-neoplastic nature of the lesions included in each of the five inference results. Also, for example, when five inference results are obtained by an inference process using the size estimation model 243, the inference result integration unit 25 obtains an integrated inference result depending on whether the sum of the scores included in each of the five inference results is higher than a predetermined value. These processes of the inference result integration unit 25 can be treated as processes corresponding to soft voting.
  • the inference result integration unit 25 can obtain, as the final inference result ERF corresponding to the endoscopic image EG, either an inference result that a lesion is present in the endoscopic image EG, or an inference result that a lesion is not present in the endoscopic image EG.
  • the inference result integration unit 25 can obtain, as the final inference result ERF corresponding to the endoscopic image EG, either an inference result that the lesion included in the endoscopic image EG is neoplastic, or an inference result that the lesion included in the endoscopic image EG is non-neoplastic.
  • the inference result integration unit 25 can obtain, as the final inference result ERF corresponding to the endoscopic image EG, either an inference result that the lesion included in the endoscopic image EG is larger than a predetermined size, or an inference result that the lesion included in the endoscopic image EG is equal to or smaller than the predetermined size.
  • the inference result integration unit 25 can obtain a final inference result corresponding to the endoscopic image EG by integrating multiple inference results obtained by performing inference processing individually on each of the multiple arbitrary viewpoint endoscopic images. Also, as described above, the inference result integration unit 25 can integrate multiple inference results by performing processing corresponding to either hard voting or soft voting.
  • the endoscopic examination support device 1 may perform processing for presenting the final estimation result ERF to the surgeon. Specifically, for example, when the final inference result ERF is obtained through inference processing using the detection model 241, a frame indicating the position of the lesion in the endoscopic image EG may be displayed. Also, for example, when the final inference result ERF is obtained through inference processing using the classification model 242, text information indicating the state of the lesion contained in the endoscopic image EG may be displayed. Also, for example, when the final inference result ERF is obtained through inference processing using the size estimation model 243, text information indicating the size of the lesion contained in the endoscopic image EG may be displayed.
  • the image generating unit 23 may be configured to generate p arbitrary viewpoint endoscopic images corresponding to p (p ⁇ 2) different viewpoint positions.
  • p inference processing units having the same function as the inference processing unit 24A may be provided in the endoscopic examination support device 1.
  • the endoscopic image EG may be input to the inference processing unit 24A instead of the endoscopic image EGN.
  • the image generating unit 23 may use the parameter PRB to generate an image group including (p-1) arbitrary viewpoint endoscopic images corresponding to each of (p-1) viewpoint positions different from the viewpoint position of the endoscopic image EG.
  • p inference processing units having the same function as the inference processing unit 24A are provided in the endoscopic examination support device 1.
  • the p inference processing units can perform inference processing based on the endoscopic image EG and the (p-1) arbitrary viewpoint endoscopic images.
  • the inference result integration unit 25 can integrate multiple inference results obtained by individually performing inference processing on the endoscopic image EG and the (p-1) arbitrary viewpoint endoscopic images, thereby obtaining a final inference result corresponding to the endoscopic image EG.
  • FIG. 6 is a flowchart showing an example of processing performed in the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1 acquires five-dimensional parameters that represent the viewpoint position and line of sight direction corresponding to each pixel of the endoscopic image (step S11).
  • the endoscopic examination support device 1 performs processing using the conversion model 221 to convert the five-dimensional parameters obtained in step S11 into four-dimensional parameters representing color and volume density in the NeRF (step S12).
  • the endoscopic examination support device 1 performs a volume rendering process using the four-dimensional parameters obtained in step S12 to generate a plurality of endoscopic images corresponding to a plurality of different viewpoint positions (step S13). Note that in step S13, the endoscopic examination support device 1 may generate an endoscopic image having the same viewpoint position as the viewpoint position of the endoscopic image that was the subject of processing in step S11.
  • the endoscopic examination support device 1 performs an inference process individually on each of the multiple endoscopic images generated in step S13, thereby acquiring multiple inference results corresponding to each of the multiple endoscopic images (step S14).
  • the endoscopic examination support device 1 can perform processing using any one of the detection model 241, the classification model 242, and the size estimation model 243 as the inference process in step S14.
  • the endoscopic examination support device 1 performs a process for integrating the multiple inference results obtained by the inference process of step S14 (step S15).
  • the endoscopic examination support device 1 can selectively perform a process corresponding to either hard voting or soft voting as the process of step S15.
  • the endoscopic examination support device 1 acquires the integrated estimation result obtained in step S15 as the final inference result corresponding to the endoscopic image processed in step S11, and outputs the acquired final estimation result (step S16).
  • multiple inference results can be obtained by performing inference processing individually on multiple endoscopic images corresponding to multiple different viewpoint positions, and a final inference result can be obtained by integrating the multiple inference results. Therefore, according to this embodiment, it is possible to improve the accuracy of the inference result obtained by performing inference processing related to detecting the presence or absence of a lesion in an endoscopic image, for example. Furthermore, according to this embodiment, it is possible to improve the accuracy of the inference result obtained by performing inference processing related to the diagnosis (classification) of a lesion included in an endoscopic image, for example. Furthermore, it is possible to improve the accuracy of the inference result obtained by performing inference processing related to estimating the size of a lesion included in an endoscopic image, for example. Therefore, according to this embodiment, it is possible to improve the accuracy of information related to lesions obtained from endoscopic images.
  • FIG. 7 is a block diagram showing another example of the functional configuration of the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1A has a hardware configuration similar to that of the endoscopic examination support device 1. As shown in FIG. 7, the endoscopic examination support device 1A also has a parameter acquisition unit 21, a parameter conversion unit 22, an image generation unit 23, and an inference processing unit 27.
  • the endoscopic images EGN, EGL, EGR, EGD, and EGU are also referred to as the five endoscopic images.
  • the image generation unit 23 generates five endoscopic images using a method similar to that described in the first embodiment, and outputs the five endoscopic images thus generated to the inference processing unit 27.
  • the inference processing unit 27 has a function as an inference means.
  • the inference processing unit 27 is configured to perform an inference process corresponding to the input signal NS generated in the input unit 14 as a process for the five endoscopic images obtained from the image generating unit 23, and to output the overall inference result ERV obtained by the inference process to the outside.
  • the inference processing unit 27 performs an inference process for detecting the presence or absence of a lesion in each of the five endoscopic images when, for example, an input signal NS related to the detection of a lesion is generated in the input unit 14.
  • the inference processing unit 27 also performs an inference process for evaluating the neoplasticity and non-neoplasticity of the lesion contained in each of the five endoscopic images when, for example, an input signal NS related to the diagnosis of a lesion is generated in the input unit 14.
  • the inference processing unit 27 also performs an inference process for estimating the size of the lesion contained in each of the five endoscopic images when, for example, an input signal NS related to the measurement of the size of the lesion is generated in the input unit 14.
  • the inference processing unit 27 also has a detection model 271, a classification model 272, and a size estimation model 273, as shown in FIG. 8.
  • FIG. 8 is a diagram illustrating another example of the functional configuration of the inference processing unit.
  • the detection model 271 is configured as a machine learning model trained to perform inference processing to detect the presence or absence of a lesion in each of multiple endoscopic images simultaneously input from the outside, and to output an overall inference result obtained by the inference processing. With such a configuration of the detection model 271, it is possible to obtain, as the overall inference result, either an inference result that a lesion is present in the endoscopic image, or an inference result that a lesion is not present in the endoscopic image.
  • the classification model 272 is configured as a machine learning model trained to perform inference processing to evaluate the neoplastic or non-neoplastic nature of lesions contained in each of multiple endoscopic images simultaneously input from the outside, and to output an overall inference result obtained by the inference processing. With such a configuration of the classification model 272, it is possible to obtain, as the overall inference result, either an inference result that the lesion contained in the endoscopic image is neoplastic, or an inference result that the lesion contained in the endoscopic image is non-neoplastic.
  • the size estimation model 273 is configured as a machine learning model trained to perform an inference process to estimate the size of the lesion contained in each of multiple endoscopic images simultaneously input from the outside, and to output an overall inference result obtained by the inference process.
  • the size estimation model 273 it is possible to obtain, as the overall inference result, either an inference result that the lesion contained in the endoscopic image is larger than a predetermined size, or an inference result that the lesion contained in the endoscopic image is equal to or smaller than the predetermined size.
  • the aforementioned predetermined size is desirably set to, for example, 5 mm.
  • the inference processing unit 27 when the inference processing unit 27 performs inference processing using the detection model 271, for example, the inference processing unit 27 can obtain, as the overall inference result ERV corresponding to the endoscopic image EG, either an inference result that a lesion is present in the endoscopic image EG, or an inference result that a lesion is not present in the endoscopic image EG.
  • the inference processing unit 27 when the inference processing unit 27 performs inference processing using the classification model 272, for example, the inference processing unit 27 can obtain, as the overall inference result ERV corresponding to the endoscopic image EG, either an inference result that the lesion included in the endoscopic image EG is neoplastic, or an inference result that the lesion included in the endoscopic image EG is non-neoplastic.
  • the inference processing unit 27 when the inference processing unit 27 performs inference processing using the size estimation model 273, for example, the inference processing unit 27 can obtain, as the overall inference result ERV corresponding to the endoscopic image EG, either an inference result that the lesion included in the endoscopic image EG is larger than a predetermined size, or an inference result that the lesion included in the endoscopic image EG is equal to or smaller than the predetermined size.
  • the endoscopic examination support device 1 may perform processing for presenting the overall inference result ERV to the surgeon. Specifically, for example, when the overall inference result ERV is obtained through inference processing using the detection model 271, a frame indicating the position of the lesion in the endoscopic image EG may be displayed. Also, for example, when the overall inference result ERV is obtained through inference processing using the classification model 272, text information indicating the state of the lesion contained in the endoscopic image EG may be displayed. Also, for example, when the overall inference result ERV is obtained through inference processing using the size estimation model 273, text information indicating the size of the lesion contained in the endoscopic image EG may be displayed.
  • the endoscopic image EG may be input to the inference processing unit 27 instead of the endoscopic image EGN.
  • the image generating unit 23 may use the parameter PRB to generate q arbitrary viewpoint endoscopic images corresponding to q (q ⁇ 1) viewpoint positions different from the viewpoint position of the endoscopic image EG.
  • the inference processing unit 27 can obtain a comprehensive inference result by performing inference processing based on the endoscopic image EG and the q arbitrary viewpoint endoscopic images.
  • FIG. 9 is a flowchart showing another example of processing performed in the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1A performs steps S31 to S33 similar to steps S11 to S13 in the first embodiment.
  • the endoscopic examination support device 1A performs inference processing using the multiple endoscopic images generated in step S33 at once to obtain a comprehensive inference result corresponding to the endoscopic image that was the subject of processing in step S31 (step S34).
  • the endoscopic examination support device 1A can perform processing using any one of the detection model 271, classification model 272, and size estimation model 273 as the inference processing in step S34.
  • the endoscopic examination support device 1A outputs the overall estimation result obtained in step S34 (step S35).
  • a comprehensive inference result can be obtained by performing inference processing at once using multiple endoscopic images corresponding to multiple different viewpoint positions. Therefore, according to this embodiment, it is possible to improve the accuracy of the inference result obtained by performing inference processing related to detecting the presence or absence of a lesion in an endoscopic image, for example. Furthermore, according to this embodiment, it is possible to improve the accuracy of the inference result obtained by performing inference processing related to diagnosing (classifying) a lesion included in an endoscopic image, for example. Furthermore, it is possible to improve the accuracy of the inference result obtained by performing inference processing related to estimating the size of a lesion included in an endoscopic image, for example. Therefore, according to this embodiment, it is possible to improve the accuracy of information related to lesions obtained from endoscopic images.
  • FIG. 10 is a block diagram showing another example of the functional configuration of the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 500 has the same hardware configuration as the endoscopic examination support device 1.
  • the endoscopic examination support device 500 also has an image generation means 501 and an inference means 502.
  • the image generating means 501 can be realized, for example, by using the functions of the image generating unit 23 in the first embodiment.
  • the inference means 502 can be realized, for example, by using the functions of the inference processing units 24A to 24E in the first embodiment, or the inference processing unit 27 in the second embodiment.
  • FIG. 11 is a flowchart showing another example of processing performed in the endoscopic examination support device according to the present disclosure.
  • the image generating means 501 uses parameters obtained based on an endoscopic image including a subject inside a body cavity to generate a first image group including a plurality of arbitrary viewpoint endoscopic images each corresponding to a different viewpoint position (step S51). Alternatively, the image generating means 501 uses parameters obtained based on an endoscopic image including a subject inside a body cavity to generate a second image group including at least one arbitrary viewpoint endoscopic image corresponding to a viewpoint position different from the viewpoint position of the endoscopic image (step S51).
  • the inference means 502 performs inference processing related to the subject based on the first image group (step S52). Alternatively, the inference means 502 performs inference processing related to the subject based on the endoscopic images and the second image group (step S52).
  • Appendix 1 an image generating means for generating a first image group including a plurality of arbitrary viewpoint endoscopic images corresponding to different viewpoint positions using parameters obtained based on an endoscopic image including a subject inside a body cavity, or for generating a second image group including at least one arbitrary viewpoint endoscopic image corresponding to a viewpoint position different from that of the endoscopic image; an inference means for performing an inference process related to the subject based on the first image group or based on the endoscopic image and the second image group; An endoscopic examination support device having the same.
  • An endoscopic examination support device according to claim 1, further comprising an integration means for integrating multiple inference results obtained by performing the inference processing individually on each of the multiple arbitrary viewpoint endoscopic images included in the first image group, thereby acquiring a final inference result corresponding to the endoscopic image.
  • the endoscopic examination support device of Appendix 1 further has an integration means for integrating multiple inference results obtained by performing the inference processing individually on the endoscopic image and the at least one arbitrary viewpoint endoscopic image included in the second image group, thereby obtaining a final inference result corresponding to the endoscopic image.
  • a parameter acquiring means for acquiring first parameters representing a viewpoint position and a line of sight direction corresponding to each pixel of the endoscopic image; and a parameter conversion means for converting the first parameter into a second parameter, 2.
  • Appendix 7 The endoscopic examination support device of Appendix 6, wherein the parameter conversion means converts the first parameter into the second parameter by using a machine learning model trained to output parameters representing color and volume density in response to input of a parameter having the same element as the first parameter.
  • Appendix 9 using parameters obtained based on an endoscopic image including a subject inside a body cavity, generating a first image group including a plurality of arbitrary viewpoint endoscopic images each corresponding to a different viewpoint position from each other, or generating a second image group including at least one arbitrary viewpoint endoscopic image corresponding to a viewpoint position different from the viewpoint position of the endoscopic image;
  • Reference Signs List 1 1A Endoscopic examination support device 2
  • Display device 3 Endoscope scope 11
  • Processor 12 Memory 13 Interface 21
  • Parameter acquisition unit 22 Parameter conversion unit 23
  • Inference processing unit 25 Inference result integration unit 100 Endoscopic examination system

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡検査支援装置において、画像生成手段は、体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成する、または、内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成する。推論手段は、第１の画像群に基づき、または、内視鏡画像及び第２の画像群に基づき、被写体に係る推論処理を行う。内視鏡検査支援装置は、医師による病変の診断に係る意思決定支援に用いることができる。

Description

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
　本開示は、内視鏡検査を支援するための情報の提示に利用可能な技術に係る。
　内視鏡検査を支援するための技術が提案されている。
　具体的には、例えば、特許文献１には、親内視鏡及び子内視鏡を備える内視鏡装置において、当該子内視鏡から得られた内視鏡画像を補正し、補正後の内視鏡画像を診断支援学習モデルに入力することにより、当該補正後の内視鏡画像に含まれる病変の有無等を含む診断支援情報を出力する技術が開示されている。
特開２０２２－１７５０３７号公報
　しかし、特許文献１には、互いに異なる複数の視点各々に対応する複数の内視鏡画像から病変に係る情報を得るための手法について特に開示されていない。そのため、特許文献１に開示された技術によれば、例えば、内視鏡画像から得られる病変に係る情報の精度が低下してしまう場合がある、という課題が生じている。
　本開示の１つの目的は、内視鏡画像から得られる病変に係る情報の精度を向上させることが可能な内視鏡検査支援装置を提供することにある。
　本開示の一つの観点では、内視鏡検査支援装置は、体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成する、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成する画像生成手段と、前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論処理を行う推論手段と、を有する。
　本開示の他の観点では、内視鏡検査支援方法は、体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成し、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成し、前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論を行う。
　本開示のさらに他の観点では、記録媒体は、体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成し、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成し、前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論を行う処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、内視鏡画像から得られる病変に係る情報の精度を向上させることができる。
本開示に係る内視鏡検査システムの概略構成の一例を示す図。 本開示に係る内視鏡検査支援装置のハードウェア構成の一例を示すブロック図。 本開示に係る内視鏡検査支援装置の機能構成の一例を示すブロック図。 本開示に係る内視鏡検査支援装置の処理に用いられるパラメータの一例を説明するための図。 推論処理部の機能構成の一例を説明するための図。 本開示に係る内視鏡検査支援装置において行われる処理の一例を示すフローチャート。 本開示に係る内視鏡検査支援装置の機能構成の他の例を示すブロック図。 推論処理部の機能構成の他の例を説明するための図。 本開示に係る内視鏡検査支援装置において行われる処理の他の例を示すフローチャート。 本開示に係る内視鏡検査支援装置の機能構成の他の例を示すブロック図。 本開示に係る内視鏡検査支援装置において行われる処理の他の例を示すフローチャート。
　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［システム構成］
　図１は、本開示に係る内視鏡検査システムの概略構成の一例を示す図である。内視鏡検査システム１００は、図１に示すように、内視鏡検査支援装置１と、表示装置２と、内視鏡検査支援装置１に接続された内視鏡スコープ３と、を備える。
　内視鏡検査支援装置１は、内視鏡検査中に被写体を撮像することにより得られた時系列な画像を含む映像（以下、内視鏡映像とも称する）を内視鏡スコープ３から取得し、内視鏡検査を行う医師等の術者が確認するための表示画像を表示装置２に表示させる。具体的には、内視鏡検査支援装置１は、内視鏡検査中に得られた大腸の内部の映像を、内視鏡映像として内視鏡スコープ３から取得する。また、内視鏡検査支援装置１は、内視鏡映像から一の内視鏡画像を抽出し、当該抽出した一の内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を生成する。また、内視鏡検査支援装置１は、複数の任意視点内視鏡画像に基づき、内視鏡映像から抽出した一の内視鏡画像における病変に係る情報を取得する。内視鏡検査支援装置１は、医師による病変の診断に係る意思決定支援に用いることができる。
　表示装置２は、例えば、液晶モニタ等を有している。また、表示装置２は、内視鏡検査支援装置１から出力される表示画像等を表示する。
　内視鏡スコープ３は、主に、術者が送気、送水、アングル調整、撮影指示などの入力を行うための操作部３６と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮影素子などの内視鏡カメラを内蔵した先端部３８と、内視鏡検査支援装置１と接続するための接続部３９と、を有する。
　［ハードウェア構成］
　図２は、本開示に係る内視鏡検査支援装置のハードウェア構成の一例を示すブロック図である。内視鏡検査支援装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、データベース（以下、「ＤＢ」と記す。）１７と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。なお、プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。また、プロセッサ１１は、互いに異なる複数の視点各々に対応する複数の任意視点内視鏡画像から病変に係る情報を取得する処理等を行う。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び内視鏡検査支援装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリやディスク媒体などの記憶媒体を含んでもよい。メモリ１２には、内視鏡検査支援装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の内視鏡映像を一時的に記憶する。
　インターフェース１３は、内視鏡検査支援装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示画像を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する照明光を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡映像を示す電気信号をプロセッサ１１に供給する。また、インターフェース１３は、内視鏡映像から抽出した内視鏡画像をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、術者の操作に応じた入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、フットスイッチ、及び、音声入力装置等のうちの少なくとも１つの装置を有している。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　ＤＢ１７は、被検者の過去の内視鏡検査により取得された内視鏡映像などを記憶している。ＤＢ１７は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ１７を内視鏡検査システム１００内に備える代わりに、外部のサーバなどにＤＢ１７を設け、通信により当該サーバから関連情報を取得するようにしてもよい。
　なお、内視鏡検査支援装置１は、磁気式センサなど、内視鏡カメラの回転および並進を計測可能なセンサを備えていてもよい。
　［機能構成］
　図３は、本開示に係る内視鏡検査支援装置の機能構成の一例を示すブロック図である。内視鏡検査支援装置１は、図３に示すように、パラメータ取得部２１と、パラメータ変換部２２と、画像生成部２３と、５つの推論処理部２４Ａ～２４Ｅと、推論結果統合部２５と、を有している。
　パラメータ取得部２１は、パラメータ取得手段としての機能を有している。また、パラメータ取得部２１は、内視鏡画像ＥＧの各画素に対応する視点位置及び視線方向を表すパラメータＰＲＡを取得し、当該取得したパラメータＰＲＡをパラメータ変換部２２へ出力する。
　内視鏡画像ＥＧは、例えば、入力部１４の撮影ボタンが操作されたタイミングにおいて得られた画像であることが望ましい。また、内視鏡画像ＥＧは、例えば、内視鏡映像から一定期間毎に抽出された画像であってもよい。また、内視鏡画像ＥＧは、例えば、入力部１４の撮影ボタンの操作前から操作後までの所定期間の内視鏡映像に含まれる各内視鏡画像の中で最良の画質を有する画像であってもよい。なお、以降においては、特に言及のない限り、病変に相当する組織が体腔内の被写体として内視鏡画像ＥＧに含まれているものとして説明を行う。
　ここで、パラメータ取得部２１において行われる処理の具体例について説明する。
　パラメータ取得部２１は、内視鏡画像ＥＧの入力に応じ、例えば、図４に示すような３次元直交座標系（以降、カメラ座標系とも称する）ＴＣＳを設定する。図４は、本開示に係る内視鏡検査支援装置の処理に用いられるパラメータを説明するための図である。
　具体的には、パラメータ取得部２１は、内視鏡画像ＥＧが取得された際の内視鏡カメラの位置をカメラ座標系ＴＣＳの原点Ｏとして設定する。また、パラメータ取得部２１は、原点Ｏから見た水平方向をカメラ座標系ＴＣＳのＸ軸方向として設定する。また、パラメータ取得部２１は、原点Ｏから見た垂直方向をカメラ座標系ＴＣＳのＹ軸方向として設定する。また、パラメータ取得部２１は、原点Ｏから見た奥行方向をカメラ座標系ＴＣＳのＺ軸方向として設定する。
　パラメータ取得部２１は、内視鏡画像ＥＧの各画素に対応する視点位置を表すパラメータとして、カメラ座標系ＴＣＳにおける座標Ｐ（ｘ，ｙ，ｚ）を取得する（図４参照）。また、パラメータ取得部２１は、内視鏡画像ＥＧの各画素に対応する視線方向を表すパラメータとして、原点Ｏから座標Ｐを見た場合の方位角α及び仰俯角βを取得する（図４参照）。また、パラメータ取得部２１は、内視鏡画像ＥＧの各画素に対応する５次元のパラメータ（ｘ，ｙ，ｚ，α，β）をパラメータＰＲＡとして取得し、当該取得したパラメータＰＲＡをパラメータ変換部２２へ出力する。
　パラメータ取得部２１は、パラメータＰＲＡのｘ及びｙの値を、内視鏡画像ＥＧに含まれる各画素の位置に対応する座標値として取得することができる。また、パラメータ取得部２１は、パラメータＰＲＡのｚの値を、例えば、内視鏡画像ＥＧに対して深度推定等の処理を施すことにより得られた処理結果に対応する座標値として取得することができる。また、パラメータ取得部２１は、パラメータＰＲＡのｚの値を、例えば、平均値、代表値及び所定値等のような、内視鏡画像ＥＧに含まれる各画素の位置に対応する同一の座標値として取得してもよい。また、パラメータ取得部２１は、パラメータＰＲＡのｚの値の算出に際し、例えば、Ｐｉｅｒｌｕｉｇｉ　Ｚａｍａ　Ｒａｍｉｒｅｚ，　ｅｔ．ａｌ，「Ｕｎｓｕｐｅｒｖｉｓｅｄ　Ｎｏｖｅｌ　Ｖｉｅｗ　Ｓｙｎｔｈｅｓｉｓ　ｆｒｏｍ　ａ　Ｓｉｎｇｌｅ　Ｉｍａｇｅ」（以降、非特許文献ＤＨ１と称する）に開示された手法を用いてもよい。また、パラメータＰＲＡの方位角αは、原点Ｏから座標Ｐを見た場合の左右方向の角度または水平方向の角度と言い換えることができる。また、パラメータＰＲＡの仰俯角βは、原点Ｏから座標Ｐを見た場合の上下方向の角度または垂直方向の角度と言い換えることができる。
　パラメータ変換部２２は、パラメータ変換手段としての機能を有している。また、パラメータ変換部２２は、学習済の変換モデル２２１を有している。変換モデル２２１は、パラメータＰＲＡと同一の要素を有する５次元のパラメータの入力に応じ、ＮｅＲＦ（Ｎｅｕｒａｌ　Ｒａｄｉａｎｃｅ　Ｆｉｅｌｄｓ）における色及び体積密度を表す４次元のパラメータが出力されるように学習された機械学習モデルとして構成されている。換言すると、変換モデル２２１は、パラメータＰＲＡと同一の要素を有する５次元のパラメータを、ＮｅＲＦにおける色及び体積密度を表す４次元のパラメータに変換するように学習されている。また、変換モデル２２１は、例えば、非特許文献ＤＨ１、及び、Ｂｅｎ　Ｍｉｌｄｅｎｈａｌｌ，　ｅｔ．ａｌ，「ＮｅＲＦ：　Ｒｅｐｒｅｓｅｎｔｉｎｇ　Ｓｃｅｎｅｓ　ａｓ　Ｎｅｕｒａｌ　Ｒａｄｉａｎｃｅ　Ｆｉｅｌｄｓ　ｆｏｒ　Ｖｉｅｗ　Ｓｙｎｔｈｅｓｉｓ」（以降、非特許文献ＤＨ２と称する）に開示された手法を用いて構築することができる。また、本実施形態によれば、変換モデル２２１の学習を行う際の学習データとして、例えば、実際の病変の形状等を模した病変模型を互いに異なる複数のアングルで撮影することにより得られた複数の病変模型画像を含むデータが用いられることが望ましい。また、本実施形態によれば、変換モデル２２１の学習を行う際の学習データとして、例えば、画像に含まれる実際の病変のアングルを互いに異なる複数のアングルに変化させることにより得られた複数のシミュレーション画像を含むデータが用いられることが望ましい。また、本実施形態によれば、変換モデル２２１の学習を行う際の学習データとして、少なくとも１つの病変模型画像と、少なくとも１つのシミュレーション画像と、を含むデータが用いられてもよい。
　パラメータ変換部２２は、パラメータ取得部２１により得られたパラメータＰＲＡ（ｘ，ｙ，ｚ，α，β）を変換モデル２２１に入力することにより、ＮｅＲＦにおける色及び体積密度を表す４次元のパラメータ（Ｒ，Ｇ，Ｂ，σ）をパラメータＰＲＢとして取得し、当該取得したパラメータＰＲＢを画像生成部２３へ出力する。
　パラメータ変換部２２は、パラメータＰＲＢのＲの値を、パラメータＰＲＡに対応する視点位置及び視線方向における赤成分の大きさを表す画素値として取得することができる。また、パラメータ変換部２２は、パラメータＰＲＢのＧの値を、パラメータＰＲＡに対応する視点位置及び視線方向における緑成分の大きさを表す画素値として取得することができる。また、パラメータ変換部２２は、パラメータＰＲＢのＢの値を、パラメータＰＲＡに対応する視点位置及び視線方向における青成分の大きさを表す画素値として取得することができる。また、パラメータ変換部２２は、パラメータＰＲＢのσの値を、パラメータＰＲＡに対応する視点位置及び視線方向における体積密度を表す密度値として取得することができる。また、前述の体積密度は、不透明度と言い換えることができる。
　以上に述べたように、パラメータ変換部２２は、パラメータＰＲＡと同一の要素を有するパラメータの入力に応じ、色及び体積密度を表すパラメータを出力するように学習された変換モデル２２１を用い、当該パラメータＰＲＡをパラメータＰＲＢに変換することができる。
　画像生成部２３は、画像生成手段としての機能を有している。また、画像生成部２３は、パラメータ変換部２２により得られたパラメータＰＲＢを用い、予め設定された方位角αｐ及び仰俯角βｐの組合せに応じたボリュームレンダリング処理を行うことにより、互いに異なる５つの視点位置各々に対応する５つの任意視点内視鏡画像を生成する。また、画像生成部２３は、前述のように生成した５つの任意視点内視鏡画像を５つの推論処理部２４Ａ～２４Ｅに１つずつ分配する。換言すると、画像生成部２３は、前述のように生成した５つの任意視点内視鏡画像を、５つの推論処理部２４Ａ～２４Ｅへ１つずつ排他的に出力する。なお、画像生成部２３は、前述のボリュームレンダリング処理を行う際に、非特許文献ＤＨ２に開示された手法を用いてもよく、または、他の手法を用いてもよい。
　ここで、画像生成部２３の処理により生成される任意視点内視鏡画像の具体例について説明する。
　画像生成部２３は、例えば、パラメータ変換部２２により得られたパラメータＰＲＢを用い、（αｐ，βｐ）＝（０°，０°）の組合せに応じたボリュームレンダリング処理を行う。このような処理によれば、画像生成部２３は、内視鏡画像ＥＧに含まれる被写体を、当該内視鏡画像ＥＧの視点位置と同一の位置から見た内視鏡画像ＥＧＮを生成することができる。
　画像生成部２３は、例えば、パラメータ変換部２２により得られたパラメータＰＲＢを用い、（αｐ，βｐ）＝（＋１０°，０°）の組合せに応じたボリュームレンダリング処理を行う。このような処理によれば、画像生成部２３は、内視鏡画像ＥＧに含まれる被写体を、当該内視鏡画像ＥＧの視点位置に対して左方向にずれた位置から見た内視鏡画像ＥＧＬを生成することができる。
　画像生成部２３は、例えば、パラメータ変換部２２により得られたパラメータＰＲＢを用い、（αｐ，βｐ）＝（－１０°，０°）の組合せに応じたボリュームレンダリング処理を行う。このような処理によれば、画像生成部２３は、内視鏡画像ＥＧに含まれる被写体を、当該内視鏡画像ＥＧの視点位置に対して右方向にずれた位置から見た内視鏡画像ＥＧＲを生成することができる。
　画像生成部２３は、例えば、パラメータ変換部２２により得られたパラメータＰＲＢを用い、（αｐ，βｐ）＝（０°，＋１０°）の組合せに応じたボリュームレンダリング処理を行う。このような処理によれば、画像生成部２３は、内視鏡画像ＥＧに含まれる被写体を、当該内視鏡画像ＥＧの視点位置に対して下方向にずれた位置から見た内視鏡画像ＥＧＤを生成することができる。
　画像生成部２３は、例えば、パラメータ変換部２２により得られたパラメータＰＲＢを用い、（αｐ，βｐ）＝（０°，－１０°）の組合せに応じたボリュームレンダリング処理を行う。このような処理によれば、画像生成部２３は、内視鏡画像ＥＧに含まれる被写体を、当該内視鏡画像ＥＧの視点位置に対して上方向にずれた位置から見た内視鏡画像ＥＧＵを生成することができる。
　以上に述べたように、画像生成部２３は、体腔内の被写体を含む内視鏡画像ＥＧに基づいて得られたパラメータＰＲＢを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む画像群を生成することができる。
　ここで、本実施形態においては、内視鏡画像ＥＧＮが推論処理部２４Ａへ出力され、内視鏡画像ＥＧＬが推論処理部２４Ｂへ出力され、内視鏡画像ＥＧＲが推論処理部２４Ｃへ出力され、内視鏡画像ＥＧＤが推論処理部２４Ｄへ出力され、かつ、内視鏡画像ＥＧＵが推論処理部２４Ｅへ出力された場合を例に挙げて説明を行う。また、本実施形態においては、図５に示すように、５つの推論処理部２４Ａ～２４Ｅが互いに同一の機能を有している。具体的には、５つの推論処理部２４Ａ～２４Ｅは、内視鏡画像ＥＧＮ、ＥＧＬ、ＥＧＲ、ＥＧＤ及びＥＧＵに基づいて推論処理を行う推論手段としての機能を有している。そのため、以降においては、推論処理部２４Ａの機能についての説明を主に行う一方で、推論処理部２４Ｂ～２４Ｅの機能についての説明を適宜省略するものとする。図５は、推論処理部の機能構成の一例を説明するための図である。
　推論処理部２４Ａは、画像生成部２３から得られた内視鏡画像ＥＧＮに対する処理として、入力部１４において生成された入力信号ＮＳに対応する推論処理を行い、当該推論処理により得られた推論結果ＥＲＮを推論結果統合部２５へ出力するように構成されている。具体的には、推論処理部２４Ａは、例えば、入力部１４において病変の検出に係る入力信号ＮＳが生成された際に、内視鏡画像ＥＧＮにおける病変の有無を検出するための推論処理を行う。また、推論処理部２４Ａは、例えば、入力部１４において病変の診断に係る入力信号ＮＳが生成された際に、内視鏡画像ＥＧＮに含まれる病変の腫瘍性及び非腫瘍性を評価するための推論処理を行う。また、推論処理部２４Ａは、例えば、入力部１４において病変のサイズの計測に係る入力信号ＮＳが生成された際に、内視鏡画像ＥＧＮに含まれる病変のサイズを推定するための推論処理を行う。また、推論処理部２４Ａは、図５に示すように、検出モデル２４１と、分類モデル２４２と、サイズ推定モデル２４３と、を有している。
　検出モデル２４１は、外部から入力された内視鏡画像における病変の有無を検出するための推論処理を行い、当該推論処理により得られた推論結果を出力するように学習された機械学習モデルとして構成されている。このような検出モデル２４１の構成によれば、例えば、内視鏡画像における病変の有無と、当該内視鏡画像における病変の位置と、を特定可能な推論結果を得ることができる。また、前述のような検出モデル２４１の構成によれば、例えば、病変が内視鏡画像に含まれている場合に相対的に高いスコアが付与され、かつ、病変が内視鏡画像に含まれていない場合に相対的に低いスコアが付与されるような推論結果を得ることができる。
　分類モデル２４２は、外部から入力された内視鏡画像に含まれる病変の腫瘍性及び非腫瘍性を評価するための推論処理を行い、当該推論処理により得られた推論結果を出力するように学習された機械学習モデルとして構成されている。このような分類モデル２４２の構成によれば、例えば、内視鏡画像に含まれる病変が腫瘍性または非腫瘍性のいずれに該当するかを特定可能な推論結果を得ることができる。また、前述の分類モデル２４２の構成によれば、例えば、内視鏡画像に含まれる病変の腫瘍性を示すスコアと、当該病変の非腫瘍性を示すスコアと、の合計が１になるような推論結果を得ることができる。
　サイズ推定モデル２４３は、外部から入力された内視鏡画像に含まれる病変のサイズを推定するための推論処理を行い、当該推論処理により得られた推論結果を出力するように学習された機械学習モデルとして構成されている。このようなサイズ推定モデル２４３の構成によれば、例えば、内視鏡画像に含まれる病変が所定のサイズよりも大きい否かを特定可能な推論結果を得ることができる。また、前述のサイズ推定モデル２４３の構成によれば、例えば、内視鏡画像に含まれている病変のサイズが所定のサイズより大きい場合に相対的に高いスコアが付与され、かつ、当該病変のサイズが当該所定のサイズ以下である場合に相対的に低いスコアが付与されるような推論結果を得ることができる。なお、前述の所定のサイズは、例えば、５ｍｍに設定されていることが望ましい。
　推論処理部２４Ｂは、画像生成部２３から得られた内視鏡画像ＥＧＬに対する処理として、入力部１４において生成された入力信号ＮＳに対応する推論処理を行い、当該推論処理により得られた推論結果ＥＲＬを推論結果統合部２５へ出力するように構成されている。また、推論処理部２４Ｂは、推論処理部２４Ａと同様の検出モデル２４１、分類モデル２４２及びサイズ推定モデル２４３を有している。そのため、推論処理部２４Ｂは、入力部１４において生成された入力信号ＮＳに応じ、推論処理部２４Ａと同様の推論処理を行うことができる。
　推論処理部２４Ｃは、画像生成部２３から得られた内視鏡画像ＥＧＲに対する処理として、入力部１４において生成された入力信号ＮＳに対応する推論処理を行い、当該推論処理により得られた推論結果ＥＲＲを推論結果統合部２５へ出力するように構成されている。また、推論処理部２４Ｃは、推論処理部２４Ａと同様の検出モデル２４１、分類モデル２４２及びサイズ推定モデル２４３を有している。そのため、推論処理部２４Ｃは、入力部１４において生成された入力信号ＮＳに応じ、推論処理部２４Ａと同様の推論処理を行うことができる。
　推論処理部２４Ｄは、画像生成部２３から得られた内視鏡画像ＥＧＤに対する処理として、入力部１４において生成された入力信号ＮＳに対応する推論処理を行い、当該推論処理により得られた推論結果ＥＲＤを推論結果統合部２５へ出力するように構成されている。また、推論処理部２４Ｄは、推論処理部２４Ａと同様の検出モデル２４１、分類モデル２４２及びサイズ推定モデル２４３を有している。そのため、推論処理部２４Ｄは、入力部１４において生成された入力信号ＮＳに応じ、推論処理部２４Ａと同様の推論処理を行うことができる。
　推論処理部２４Ｅは、画像生成部２３から得られた内視鏡画像ＥＧＵに対する処理として、入力部１４において生成された入力信号ＮＳに対応する推論処理を行い、当該推論処理により得られた推論結果ＥＲＵを推論結果統合部２５へ出力するように構成されている。また、推論処理部２４Ｅは、推論処理部２４Ａと同様の検出モデル２４１、分類モデル２４２及びサイズ推定モデル２４３を有している。そのため、推論処理部２４Ｅは、入力部１４において生成された入力信号ＮＳに応じ、推論処理部２４Ａと同様の推論処理を行うことができる。
　以上に述べたように、推論処理部２４Ａ～２４Ｅは、５つの任意視点内視鏡画像各々に対して個別に推論処理を行うことにより、５つの推論結果を得ることができる。
　推論結果統合部２５は、推論処理部２４Ａから出力される推論結果ＥＲＮと、推論処理部２４Ｂから出力される推論結果ＥＲＬと、推論処理部２４Ｃから出力される推論結果ＥＲＲと、推論処理部２４Ｄから出力される推論結果ＥＲＤと、推論処理部２４Ｅから出力される推論結果ＥＲＵと、を統合するための処理を行う。また、推論結果統合部２５は、前述の処理により得られた統合後の推論結果を内視鏡画像ＥＧに対応する最終的な推論結果ＥＲＦとして取得し、当該取得した最終的な推定結果ＥＲＦを外部へ出力する。
　ここで、推論結果統合部２５において行われる処理の具体例について説明する。なお、以降においては、説明の便宜のため、推論結果ＥＲＮ、ＥＲＬ、ＥＲＲ、ＥＲＤ及びＥＲＵを５つの推論結果とも称する。
　推論結果統合部２５は、５つの推論結果において過半数を占める推論結果を統合後の推論結果として取得する。このような推論結果統合部２５の処理は、ｈａｒｄ　ｖｏｔｉｎｇに対応する処理として扱うことができる。
　または、推論結果統合部２５は、５つの推論結果各々に含まれるスコアの合計値に基づいて統合後の推定結果を取得する。具体的には、例えば、検出モデル２４１を用いた推論処理により５つの推論結果が得られた場合には、推論結果統合部２５は、当該５つの推論結果各々に含まれるスコアの合計値が所定値よりも高いか否かに応じて統合後の推定結果を取得する。また、例えば、分類モデル２４２を用いた推論処理により５つの推論結果が得られた場合には、推論結果統合部２５は、当該５つの推論結果各々に含まれる病変の腫瘍性を示すスコアの合計値と、当該５つの推論結果各々に含まれる病変の非腫瘍性を示すスコアの合計値と、を比較した結果に基づいて統合後の推定結果を取得する。また、例えば、サイズ推定モデル２４３を用いた推論処理により５つの推論結果が得られた場合には、推論結果統合部２５は、当該５つの推論結果各々に含まれるスコアの合計値が所定値よりも高いか否かに応じて統合後の推定結果を取得する。これらの推論結果統合部２５の処理は、ｓｏｆｔ　ｖｏｔｉｎｇに対応する処理として扱うことができる。
　以上の具体例に述べた処理によれば、例えば、検出モデル２４１を用いた推論処理により５つの推論結果が得られた場合には、推論結果統合部２５は、内視鏡画像ＥＧに対応する最終的な推論結果ＥＲＦとして、当該内視鏡画像ＥＧに病変が存在するという推論結果、または、当該内視鏡画像ＥＧに病変が存在しないという推論結果のいずれかを得ることができる。また、以上の具体例に述べた処理によれば、例えば、分類モデル２４２を用いた推論処理により５つの推論結果が得られた場合には、推論結果統合部２５は、内視鏡画像ＥＧに対応する最終的な推論結果ＥＲＦとして、当該内視鏡画像ＥＧに含まれる病変が腫瘍性であるという推論結果、または、当該内視鏡画像ＥＧに含まれる病変が非腫瘍性であるという推論結果のいずれかを得ることができる。また、以上の具体例に述べた処理によれば、例えば、サイズ推定モデル２４３を用いた推論処理により５つの推論結果が得られた場合には、推論結果統合部２５は、内視鏡画像ＥＧに対応する最終的な推論結果ＥＲＦとして、当該内視鏡画像ＥＧに含まれる病変が所定のサイズよりも大きいという推論結果、または、当該内視鏡画像ＥＧに含まれる病変が当該所定のサイズ以下であるという推論結果のいずれかを得ることができる。
　以上に述べたように、推論結果統合部２５は、複数の任意視点内視鏡画像各々に対して個別に推論処理を行うことにより得られた複数の推論結果を統合することにより、内視鏡画像ＥＧに対応する最終的な推論結果を取得することができる。また、以上に述べたように、推論結果統合部２５は、ｈａｒｄ　ｖｏｔｉｎｇ及びｓｏｆｔ　ｖｏｔｉｎｇのうちのいずれか一方に対応する処理を行うことにより、複数の推論結果を統合することができる。
　本実施形態によれば、最終的な推定結果ＥＲＦを術者に提示するための処理が内視鏡検査支援装置１において行われるようにしてもよい。具体的には、例えば、検出モデル２４１を用いた推論処理を経て最終的な推論結果ＥＲＦが得られた場合には、内視鏡画像ＥＧ内における病変の位置を示す枠が表示されるようにしてもよい。また、例えば、分類モデル２４２を用いた推論処理を経て最終的な推論結果ＥＲＦが得られた場合には、内視鏡画像ＥＧに含まれる病変の状態を示す文字情報が表示されるようにしてもよい。また、例えば、サイズ推定モデル２４３を用いた推論処理を経て最終的な推論結果ＥＲＦが得られた場合には、内視鏡画像ＥＧに含まれる病変のサイズを示す文字情報が表示されるようにしてもよい。
　本実施形態によれば、画像生成部２３が、互いに異なるｐ（ｐ≧２）個の視点位置各々に対応するｐ個の任意視点内視鏡画像を生成するように構成されていればよい。また、このような場合においては、ｐ個の任意視点内視鏡画像各々に対して個別に推論処理を行うために、推論処理部２４Ａと同様の機能を有するｐ個の推論処理部が内視鏡検査支援装置１に設けられていればよい。
　本実施形態によれば、内視鏡画像ＥＧＮの代わりに、内視鏡画像ＥＧが推論処理部２４Ａに入力されるようにしてもよい。また、このような場合には、画像生成部２３が、パラメータＰＲＢを用い、内視鏡画像ＥＧの視点位置とは異なる（ｐ－１）個の視点位置各々に対応する（ｐ－１）個の任意視点内視鏡画像を含む画像群を生成するようにすればよい。また、前述のような場合には、内視鏡画像ＥＧと、（ｐ－１）個の任意視点内視鏡画像と、に対して個別に推論処理を行うために、推論処理部２４Ａと同様の機能を有するｐ個の推論処理部が内視鏡検査支援装置１に設けられていればよい。また、前述のような場合には、ｐ個の推論処理部は、内視鏡画像ＥＧと、（ｐ－１）個の任意視点内視鏡画像と、に基づいて推論処理を行うことができる。また、前述のような場合には、推論結果統合部２５は、内視鏡画像ＥＧと、（ｐ－１）個の任意視点内視鏡画像と、に対して個別に推論処理を行うことにより得られた複数の推論結果を統合することにより、当該内視鏡画像ＥＧに対応する最終的な推論結果を取得することができる。
　本実施形態によれば、ｈａｒｄ　ｖｏｔｉｎｇに対応する処理が推論結果統合部２５において行われる場合には、奇数個の推論結果が推論結果統合部２５に入力されるようにすることが望ましい。
　［処理フロー］
　続いて、内視鏡検査支援装置１において行われる処理の流れについて説明する。図６は、本開示に係る内視鏡検査支援装置において行われる処理の一例を示すフローチャートである。
　まず、内視鏡検査支援装置１は、内視鏡画像の各画素に対応する視点位置及び視線方向を表す５次元のパラメータを取得する（ステップＳ１１）。
　次に、内視鏡検査支援装置１は、変換モデル２２１を用いた処理を行うことにより、ステップＳ１１において得られた５次元のパラメータを、ＮｅＲＦにおける色及び体積密度を表す４次元のパラメータに変換する（ステップＳ１２）。
　続いて、内視鏡検査支援装置１は、ステップＳ１２において得られた４次元のパラメータを用いてボリュームレンダリング処理を行うことにより、互いに異なる複数の視点位置各々に対応する複数の内視鏡画像を生成する（ステップＳ１３）。なお、内視鏡検査支援装置１は、ステップＳ１３において、ステップＳ１１の処理対象となった内視鏡画像の視点位置と同じ視点位置の内視鏡画像を生成するものであってもよい。
　続いて、内視鏡検査支援装置１は、ステップＳ１３において生成した複数の内視鏡画像各々に対して個別に推論処理を行うことにより、当該複数の内視鏡画像各々に対応する複数の推論結果を取得する（ステップＳ１４）。本実施形態によれば、内視鏡検査支援装置１は、ステップＳ１４の推論処理として、検出モデル２４１、分類モデル２４２及びサイズ推定モデル２４３のうちのいずれか１つを用いた処理を行うことができる。
　続いて、内視鏡検査支援装置１は、ステップＳ１４の推論処理により得られた複数の推論結果を統合するための処理を行う（ステップＳ１５）。本実施形態によれば、内視鏡検査支援装置１は、ステップＳ１５の処理として、ｈａｒｄ　ｖｏｔｉｎｇ及びｓｏｆｔ　ｖｏｔｉｎｇのうちのいずれか一方に対応する処理を選択的に行うことができる。
　最後に、内視鏡検査支援装置１は、ステップＳ１５により得られた統合後の推定結果を、ステップＳ１１の処理対象となった内視鏡画像に対応する最終的な推論結果として取得し、当該取得した最終的な推定結果を出力する（ステップＳ１６）。
　以上に述べたように、本実施形態によれば、互いに異なる複数の視点位置各々に対応する複数の内視鏡画像各々に対して個別に推論処理を行うことにより複数の推論結果を取得し、当該複数の推論結果を統合することにより最終的な推論結果を取得することができる。そのため、本実施形態によれば、例えば、内視鏡画像における病変の有無の検出に係る推論処理を行うことにより得られる推論結果の精度を向上させることができる。また、本実施形態によれば、例えば、内視鏡画像に含まれる病変の診断（分類）に係る推論処理を行うことにより得られる推論結果の精度を向上させることができる。また、例えば、内視鏡画像に含まれる病変のサイズ推定に係る推論処理を行うことにより得られる推論結果の精度を向上させることができる。従って、本実施形態によれば、内視鏡画像から得られる病変に係る情報の精度を向上させることができる。
　＜第２実施形態＞
　続いて、本開示の第２実施形態について説明する。なお、以降においては、簡単のため、既述の処理等を適用可能な部分に関する具体的な説明を適宜省略するものとする。
　図７は、本開示に係る内視鏡検査支援装置の機能構成の他の例を示すブロック図である。内視鏡検査支援装置１Ａは、内視鏡検査支援装置１と同様のハードウェア構成を有している。また、内視鏡検査支援装置１Ａは、図７に示すように、パラメータ取得部２１と、パラメータ変換部２２と、画像生成部２３と、推論処理部２７と、を有している。なお、以降においては、説明の便宜のため、内視鏡画像ＥＧＮ、ＥＧＬ、ＥＧＲ、ＥＧＤ及びＥＧＵを５つの内視鏡画像とも称する。
　画像生成部２３は、第１実施形態において述べた方法同様の方法を用いて５つの内視鏡画像を生成し、当該生成した５つの内視鏡画像を推論処理部２７へ出力する。
　推論処理部２７は、推論手段としての機能を有している。また、推論処理部２７は、画像生成部２３から得られた５つの内視鏡画像に対する処理として、入力部１４において生成された入力信号ＮＳに対応する推論処理を行い、当該推論処理により得られた総合的な推論結果ＥＲＶを外部へ出力するように構成されている。具体的には、推論処理部２７は、例えば、入力部１４において病変の検出に係る入力信号ＮＳが生成された際に、５つの内視鏡画像各々における病変の有無を検出するための推論処理を行う。また、推論処理部２７は、例えば、入力部１４において病変の診断に係る入力信号ＮＳが生成された際に、５つの内視鏡画像各々に含まれる病変の腫瘍性及び非腫瘍性を評価するための推論処理を行う。また、推論処理部２７は、例えば、入力部１４において病変のサイズの計測に係る入力信号ＮＳが生成された際に、５つの内視鏡画像各々に含まれる病変のサイズを推定するための推論処理を行う。また、推論処理部２７は、図８に示すように、検出モデル２７１と、分類モデル２７２と、サイズ推定モデル２７３と、を有している。図８は、推論処理部の機能構成の他の例を説明するための図である。
　検出モデル２７１は、外部から同時に入力された複数の内視鏡画像各々における病変の有無を検出するための推論処理を行い、当該推論処理により得られた総合的な推論結果を出力するように学習された機械学習モデルとして構成されている。このような検出モデル２７１の構成によれば、総合的な推論結果として、内視鏡画像に病変が存在するという推論結果、または、内視鏡画像に病変が存在しないという推論結果のいずれかを得ることができる。
　分類モデル２７２は、外部から同時に入力された複数の内視鏡画像各々に含まれる病変の腫瘍性及び非腫瘍性を評価するための推論処理を行い、当該推論処理により得られた総合的な推論結果を出力するように学習された機械学習モデルとして構成されている。このような分類モデル２７２の構成によれば、総合的な推論結果として、内視鏡画像に含まれる病変が腫瘍性であるという推論結果、または、内視鏡画像に含まれる病変が非腫瘍性であるという推論結果のいずれかを得ることができる。
　サイズ推定モデル２７３は、外部から同時に入力された複数の内視鏡画像各々に含まれる病変のサイズを推定するための推論処理を行い、当該推論処理により得られた総合的な推論結果を出力するように学習された機械学習モデルとして構成されている。このようなサイズ推定モデル２７３の構成によれば、総合的な推論結果として、内視鏡画像に含まれる病変が所定のサイズよりも大きいという推論結果、または、内視鏡画像に含まれる病変が当該所定のサイズ以下であるという推論結果のいずれかを得ることができる。なお、前述の所定のサイズは、例えば、５ｍｍに設定されていることが望ましい。
　以上に述べた処理によれば、推論処理部２７は、例えば、検出モデル２７１を用いた推論処理を行った場合には、内視鏡画像ＥＧに対応する総合的な推論結果ＥＲＶとして、当該内視鏡画像ＥＧに病変が存在するという推論結果、または、当該内視鏡画像ＥＧに病変が存在しないという推論結果のいずれかを得ることができる。また、以上に述べた処理によれば、推論処理部２７は、例えば、分類モデル２７２を用いた推論処理を行った場合には、内視鏡画像ＥＧに対応する総合的な推論結果ＥＲＶとして、当該内視鏡画像ＥＧに含まれる病変が腫瘍性であるという推論結果、または、当該内視鏡画像ＥＧに含まれる病変が非腫瘍性であるという推論結果のいずれかを得ることができる。また、以上に述べた処理によれば、推論処理部２７は、例えば、サイズ推定モデル２７３を用いた推論処理を行った場合には、内視鏡画像ＥＧに対応する総合的な推論結果ＥＲＶとして、当該内視鏡画像ＥＧに含まれる病変が所定のサイズよりも大きいという推論結果、または、当該内視鏡画像ＥＧに含まれる病変が当該所定のサイズ以下であるという推論結果のいずれかを得ることができる。
　本実施形態によれば、総合的な推論結果ＥＲＶを術者に提示するための処理が内視鏡検査支援装置１において行われるようにしてもよい。具体的には、例えば、検出モデル２７１を用いた推論処理を経て総合的な推論結果ＥＲＶが得られた場合には、内視鏡画像ＥＧ内における病変の位置を示す枠が表示されるようにしてもよい。また、例えば、分類モデル２７２を用いた推論処理を経て総合的な推論結果ＥＲＶが得られた場合には、内視鏡画像ＥＧに含まれる病変の状態を示す文字情報が表示されるようにしてもよい。また、例えば、サイズ推定モデル２７３を用いた推論処理を経て総合的な推論結果ＥＲＶが得られた場合には、内視鏡画像ＥＧに含まれる病変のサイズを示す文字情報が表示されるようにしてもよい。
　本実施形態によれば、内視鏡画像ＥＧＮの代わりに、内視鏡画像ＥＧが推論処理部２７に入力されるようにしてもよい。また、このような場合には、画像生成部２３が、パラメータＰＲＢを用い、内視鏡画像ＥＧの視点位置とは異なるｑ（ｑ≧１）個の視点位置に対応するｑ個の任意視点内視鏡画像を生成するようにすればよい。また、前述のような場合には、推論処理部２７は、内視鏡画像ＥＧと、ｑ個の任意視点内視鏡画像と、に基づいて推論処理を行うことにより、総合的な推論結果を得ることができる。
　［処理フロー］
　続いて、内視鏡検査支援装置１Ａにおいて行われる処理の流れについて説明する。図９は、本開示に係る内視鏡検査支援装置において行われる処理の他の例を示すフローチャートである。
　内視鏡検査支援装置１Ａは、ステップＳ３１～ステップＳ３３における処理として、第１実施形態のステップＳ１１～Ｓ１３と同様の処理を行う。
　続いて、内視鏡検査支援装置１Ａは、ステップＳ３３において生成した複数の内視鏡画像を一度に用いて推論処理を行うことにより、ステップＳ３１の処理対象となった内視鏡画像に対応する総合的な推論結果を取得する（ステップＳ３４）。本実施形態によれば、内視鏡検査支援装置１Ａは、ステップＳ３４の推論処理として、検出モデル２７１、分類モデル２７２及びサイズ推定モデル２７３のうちのいずれか１つを用いた処理を行うことができる。
　最後に、内視鏡検査支援装置１Ａは、ステップＳ３４により得られた総合的な推定結果を出力する（ステップＳ３５）。
　以上に述べたように、本実施形態によれば、互いに異なる複数の視点位置各々に対応する複数の内視鏡画像を一度に用いて推論処理を行うことにより総合的な推論結果を取得することができる。そのため、本実施形態によれば、例えば、内視鏡画像における病変の有無の検出に係る推論処理を行うことにより得られる推論結果の精度を向上させることができる。また、本実施形態によれば、例えば、内視鏡画像に含まれる病変の診断（分類）に係る推論処理を行うことにより得られる推論結果の精度を向上させることができる。また、例えば、内視鏡画像に含まれる病変のサイズ推定に係る推論処理を行うことにより得られる推論結果の精度を向上させることができる。従って、本実施形態によれば、内視鏡画像から得られる病変に係る情報の精度を向上させることができる。
　＜第３実施形態＞
　図１０は、本開示に係る内視鏡検査支援装置の機能構成の他の例を示すブロック図である。
　本実施形態に係る内視鏡検査支援装置５００は、内視鏡検査支援装置１と同様のハードウェア構成を有している。また、内視鏡検査支援装置５００は、画像生成手段５０１と、推論手段５０２と、を有している。
　画像生成手段５０１は、例えば、第１実施形態の画像生成部２３が有する機能を用いて実現することができる。また、推論手段５０２は、例えば、第１実施形態の推論処理部２４Ａ～２４Ｅ、または、第２実施形態の推論処理部２７が有する機能を用いて実現することができる。
　図１１は、本開示に係る内視鏡検査支援装置において行われる処理の他の例を示すフローチャートである。
　画像生成手段５０１は、体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成する（ステップＳ５１）。または、画像生成手段５０１は、体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、当該内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成する（ステップＳ５１）。
　推論手段５０２は、第１の画像群に基づき、被写体に係る推論処理を行う（ステップＳ５２）。または、推論手段５０２は、内視鏡画像及び第２の画像群に基づき、被写体に係る推論処理を行う（ステップＳ５２）。
　本実施形態によれば、内視鏡画像から得られる病変に係る情報の精度を向上させることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成する、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成する画像生成手段と、
　前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論処理を行う推論手段と、
　を有する内視鏡検査支援装置。
　（付記２）
　前記第１の画像群に含まれる前記複数の任意視点内視鏡画像各々に対して個別に前記推論処理を行うことにより得られた複数の推論結果を統合することにより、前記内視鏡画像に対応する最終的な推論結果を取得する統合手段をさらに有する付記１の内視鏡検査支援装置。
　（付記３）
　前記統合手段は、ｈａｒｄ　ｖｏｔｉｎｇ及びｓｏｆｔ　ｖｏｔｉｎｇのうちのいずれか一方に対応する処理を行うことにより、前記複数の推論結果を統合する付記２の内視鏡検査支援装置。
　（付記４）
　前記内視鏡画像と、前記第２の画像群に含まれる前記少なくとも１つの任意視点内視鏡画像と、に対して個別に前記推論処理を行うことにより得られた複数の推論結果を統合することにより、前記内視鏡画像に対応する最終的な推論結果を取得する統合手段をさらに有する付記１の内視鏡検査支援装置。
　（付記５）
　前記統合手段は、ｈａｒｄ　ｖｏｔｉｎｇ及びｓｏｆｔ　ｖｏｔｉｎｇのうちのいずれか一方に対応する処理を行うことにより、前記複数の推論結果を統合する付記４の内視鏡検査支援装置。
　（付記６）
　前記内視鏡画像の各画素に対応する視点位置及び視線方向を表す第１のパラメータを取得するパラメータ取得手段と、
　前記第１のパラメータを第２のパラメータに変換するパラメータ変換手段と、をさらに有し、
　前記画像生成手段は、前記第２のパラメータを用いて前記第１の画像群または前記第２の画像群を生成する付記１の内視鏡検査支援装置。
　（付記７）
　前記パラメータ変換手段は、前記第１のパラメータと同一の要素を有するパラメータの入力に応じ、色及び体積密度を表すパラメータを出力するように学習された機械学習モデルを用い、前記第１のパラメータを前記第２のパラメータに変換する付記６の内視鏡検査支援装置。
　（付記８）
　体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成し、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成し、
　前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論を行う内視鏡検査支援方法。
　（付記９）
　体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成し、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成し、
　前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論を行う処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
　１，１Ａ　内視鏡検査支援装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　２１　パラメータ取得部
　２２　パラメータ変換部
　２３　画像生成部
　２４Ａ、２４Ｂ、２４Ｃ、２４Ｄ、２４Ｅ、２７　推論処理部
　２５　推論結果統合部
　１００　内視鏡検査システム

Claims (9)

  1. 　体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成する、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成する画像生成手段と、
    　前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論処理を行う推論手段と、
    　を有する内視鏡検査支援装置。
  2. 　前記第１の画像群に含まれる前記複数の任意視点内視鏡画像各々に対して個別に前記推論処理を行うことにより得られた複数の推論結果を統合することにより、前記内視鏡画像に対応する最終的な推論結果を取得する統合手段をさらに有する請求項１に記載の内視鏡検査支援装置。
  3. 　前記統合手段は、ｈａｒｄ　ｖｏｔｉｎｇ及びｓｏｆｔ　ｖｏｔｉｎｇのうちのいずれか一方に対応する処理を行うことにより、前記複数の推論結果を統合する請求項２に記載の内視鏡検査支援装置。
  4. 　前記内視鏡画像と、前記第２の画像群に含まれる前記少なくとも１つの任意視点内視鏡画像と、に対して個別に前記推論処理を行うことにより得られた複数の推論結果を統合することにより、前記内視鏡画像に対応する最終的な推論結果を取得する統合手段をさらに有する請求項１に記載の内視鏡検査支援装置。
  5. 　前記統合手段は、ｈａｒｄ　ｖｏｔｉｎｇ及びｓｏｆｔ　ｖｏｔｉｎｇのうちのいずれか一方に対応する処理を行うことにより、前記複数の推論結果を統合する請求項４に記載の内視鏡検査支援装置。
  6. 　前記内視鏡画像の各画素に対応する視点位置及び視線方向を表す第１のパラメータを取得するパラメータ取得手段と、
    　前記第１のパラメータを第２のパラメータに変換するパラメータ変換手段と、をさらに有し、
    　前記画像生成手段は、前記第２のパラメータを用いて前記第１の画像群または前記第２の画像群を生成する請求項１に記載の内視鏡検査支援装置。
  7. 　前記パラメータ変換手段は、前記第１のパラメータと同一の要素を有するパラメータの入力に応じ、色及び体積密度を表すパラメータを出力するように学習された機械学習モデルを用い、前記第１のパラメータを前記第２のパラメータに変換する請求項６に記載の内視鏡検査支援装置。
  8. 　体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成し、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成し、
    　前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論を行う内視鏡検査支援方法。
  9. 　体腔内の被写体を含む内視鏡画像に基づいて得られたパラメータを用い、互いに異なる視点位置各々に対応する複数の任意視点内視鏡画像を含む第１の画像群を生成し、または、前記内視鏡画像の視点位置とは異なる視点位置に対応する少なくとも１つの任意視点内視鏡画像を含む第２の画像群を生成し、
    　前記第１の画像群に基づき、または、前記内視鏡画像及び前記第２の画像群に基づき、前記被写体に係る推論を行う処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2023/023905 2023-06-28 2023-06-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 Pending WO2025004206A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/023905 WO2025004206A1 (ja) 2023-06-28 2023-06-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/023905 WO2025004206A1 (ja) 2023-06-28 2023-06-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2025004206A1 true WO2025004206A1 (ja) 2025-01-02

Family

ID=93937810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/023905 Pending WO2025004206A1 (ja) 2023-06-28 2023-06-28 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2025004206A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11337845A (ja) * 1998-05-25 1999-12-10 Mitsubishi Electric Corp 内視鏡装置
WO2017109997A1 (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2019087969A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
WO2019220801A1 (ja) * 2018-05-15 2019-11-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
WO2021234907A1 (ja) * 2020-05-21 2021-11-25 日本電気株式会社 画像処理装置、制御方法及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11337845A (ja) * 1998-05-25 1999-12-10 Mitsubishi Electric Corp 内視鏡装置
WO2017109997A1 (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2019087969A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 内視鏡システム、報知方法、及びプログラム
WO2019220801A1 (ja) * 2018-05-15 2019-11-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
WO2021234907A1 (ja) * 2020-05-21 2021-11-25 日本電気株式会社 画像処理装置、制御方法及び記憶媒体

Similar Documents

Publication Publication Date Title
JP6594133B2 (ja) 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2014136579A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
JP7071240B2 (ja) 検査支援装置、方法およびプログラム
JP7557425B2 (ja) 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
JP2008029520A (ja) 医療用画像処理装置及び医療用画像処理方法
JP2018153346A (ja) 内視鏡位置特定装置、方法およびプログラム
JP7023196B2 (ja) 検査支援装置、方法およびプログラム
CN115281584A (zh) 柔性内窥镜机器人控制系统及柔性内窥镜机器人模拟方法
US10049480B2 (en) Image alignment device, method, and program
WO2025004206A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
JP7023195B2 (ja) 検査支援装置、方法およびプログラム
US20240122444A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20250078260A1 (en) Image determination device, image determination method, and recording medium
WO2025104800A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP7750418B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、プログラム
US20240138651A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2024195100A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024121886A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
da Rocha 3D Uterine Cavity Reconstruction for Computer-Assisted Hysteroscopy
WO2025032671A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23943604

Country of ref document: EP

Kind code of ref document: A1