[go: up one dir, main page]

WO2025104800A1 - 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 - Google Patents

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 Download PDF

Info

Publication number
WO2025104800A1
WO2025104800A1 PCT/JP2023/040881 JP2023040881W WO2025104800A1 WO 2025104800 A1 WO2025104800 A1 WO 2025104800A1 JP 2023040881 W JP2023040881 W JP 2023040881W WO 2025104800 A1 WO2025104800 A1 WO 2025104800A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
endoscopic image
endoscopic
depth
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/040881
Other languages
English (en)
French (fr)
Inventor
弘泰 齊賀
直人 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/040881 priority Critical patent/WO2025104800A1/ja
Publication of WO2025104800A1 publication Critical patent/WO2025104800A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • This disclosure relates to technology that can be used to present information to assist in endoscopic examinations.
  • Patent Document 1 discloses a technology that generates a scale that indicates the actual size of the area observed by an endoscope, synthesizes the generated scale with an endoscopic image, and displays it on a display device.
  • One objective of the present disclosure is to provide an endoscopic examination support device that can present information regarding the exact size of a lesion discovered during an endoscopic examination.
  • an endoscopic examination support device has an actual depth acquisition means for acquiring actual depth information indicating the actual depth for each pixel position of an endoscopic image based on relative depth information indicating the relative depth for each pixel position of the endoscopic image and reference object information indicating the position and size of a reference object in the endoscopic image, a three-dimensional model generation means for generating a three-dimensional model according to the actual depth information, a lesion area identification means for identifying an area in the three-dimensional model corresponding to a lesion detected from the endoscopic image as a lesion area, and an information presentation means for presenting information related to the actual size of the lesion contained in the lesion area.
  • an endoscopic examination support method is a computer-executed endoscopic examination support method, which acquires actual depth information indicating the actual depth for each pixel position of an endoscopic image based on relative depth information indicating the relative depth for each pixel position of an endoscopic image and reference object information indicating the position and size of a reference object within the endoscopic image, generates a three-dimensional model according to the actual depth information, identifies an area in the three-dimensional model that corresponds to a lesion detected from the endoscopic image as a lesion area, and presents information related to the actual size of the lesion contained in the lesion area.
  • the recording medium records a program that causes a computer to execute a process of acquiring actual depth information indicating the actual depth for each pixel position of an endoscopic image based on relative depth information indicating the relative depth for each pixel position of the endoscopic image and reference object information indicating the position and size of a reference object in the endoscopic image, generating a three-dimensional model according to the actual depth information, identifying an area in the three-dimensional model that corresponds to a lesion detected from the endoscopic image as a lesion area, and presenting information related to the actual size of the lesion contained in the lesion area.
  • This disclosure makes it possible to present information regarding the exact size of lesions discovered during endoscopic examinations.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscopic examination system according to the present disclosure.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of an endoscopic examination support device according to the present disclosure.
  • FIG. 2 is a block diagram showing an example of a functional configuration of an endoscopic examination support device according to the present disclosure.
  • 1 is a diagram showing an example of an endoscopic image included in a display image generated by an endoscopic examination support device according to the present disclosure.
  • 13A and 13B are diagrams showing other examples of endoscopic images included in a display image generated by the endoscopic examination support device according to the present disclosure.
  • 13A and 13B are diagrams showing other examples of endoscopic images included in a display image generated by the endoscopic examination support device according to the present disclosure.
  • FIG. 4 is a flowchart showing an example of processing performed in the endoscopic examination support device according to the present disclosure.
  • 13A and 13B are diagrams showing other examples of endoscopic images included in a display image generated by the endoscopic examination support device according to the present disclosure.
  • FIG. 13 is a block diagram showing another example of the functional configuration of the endoscopic examination support device according to the present disclosure.
  • 10 is a flowchart showing another example of processing performed in the endoscopic examination support device according to the present disclosure.
  • Fig. 1 is a diagram showing a schematic configuration of an endoscopic examination system according to the present disclosure.
  • the endoscopic examination system 100 includes an endoscopic examination support device 1, a display device 2, and an endoscope 3 connected to the endoscopic examination support device 1.
  • the endoscopic examination support device 1 acquires from the endoscope scope 3 a video (hereinafter also referred to as an endoscopic video) including time-series images obtained by capturing an image of a subject during an endoscopic examination, and displays on the display device 2 a display image for a user such as a doctor performing the endoscopic examination to confirm. Specifically, the endoscopic examination support device 1 acquires an image of the inside of the large intestine obtained during the endoscopic examination as an endoscopic video from the endoscope scope 3. The endoscopic examination support device 1 also estimates the distance from the current position of the endoscopic camera provided at the tip 38 of the endoscope scope 3 to the position of each pixel included in the endoscopic image as a relative depth based on the endoscopic image extracted from the endoscopic video.
  • a video hereinafter also referred to as an endoscopic video
  • the endoscopic examination support device 1 also detects a reference object from the endoscopic image, and acquires a depth in real space (hereinafter also referred to as a real depth) corresponding to the relative depth of each pixel included in the endoscopic image using the position and size of the reference object in the endoscopic image.
  • the endoscopic examination support device 1 also generates a three-dimensional model according to the structure of the large intestine (intestinal tract) by performing three-dimensional reconstruction based on the real depth and the camera parameters of the endoscopic camera.
  • the endoscopic examination support device 1 also performs processing to detect lesions from the endoscopic image.
  • the endoscopic examination support device 1 also identifies an area in the three-dimensional model that corresponds to a lesion detected from the endoscopic image as a lesion area, and acquires information related to the actual size of the lesion contained in the lesion area as lesion size information.
  • the endoscopic examination support device 1 also generates a display image based on the endoscopic image and the lesion size information, and outputs the generated display image to the display device 2.
  • the endoscopic examination support device 1 can be used to support the decision-making of a user diagnosing a lesion.
  • the display device 2 has, for example, a liquid crystal monitor.
  • the display device 2 also displays images and the like output from the endoscopic examination support device 1.
  • the endoscope scope 3 mainly comprises an operation unit 36 that allows the user to input commands such as air supply, water supply, angle adjustment, and imaging instructions, a flexible shaft 37 that is inserted into the subject's organ to be examined, a tip 38 that incorporates an endoscopic camera such as an imaging element, and a connection unit 39 for connecting to the endoscopic examination support device 1.
  • the endoscopic camera can obtain endoscopic images by capturing images of the inside of the large intestine, which is a tubular organ.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1 mainly includes a processor 11, a memory 12, an interface 13, an input unit 14, a light source unit 15, a sound output unit 16, and a database (hereinafter, referred to as "DB") 17. These elements are connected via a data bus 19.
  • DB database
  • the processor 11 executes predetermined processing by executing programs stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • the processor 11 may be composed of multiple processors.
  • the processor 11 is an example of a computer.
  • the processor 11 also performs processing such as acquiring the actual depth corresponding to the relative depth of each pixel included in the endoscopic image.
  • the memory 12 is composed of various volatile memories used as working memories, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memories that store information necessary for the processing of the endoscopic examination support device 1.
  • the memory 12 may include an external storage device such as a hard disk connected to or built into the endoscopic examination support device 1, or may include a storage medium such as a removable flash memory or disk medium.
  • the memory 12 stores programs that allow the endoscopic examination support device 1 to execute each process in this embodiment.
  • the memory 12 temporarily stores a series of endoscopic images captured by the endoscope scope 3 during an endoscopic examination.
  • the interface 13 performs interface operations between the endoscopic examination support device 1 and an external device.
  • the interface 13 supplies the display image generated by the processor 11 to the display device 2.
  • the interface 13 also supplies illumination light generated by the light source unit 15 to the endoscope scope 3.
  • the interface 13 also supplies an electrical signal indicating the endoscopic video supplied from the endoscope scope 3 to the processor 11.
  • the interface 13 also supplies an endoscopic image extracted from the endoscopic video to the processor 11.
  • the interface 13 may be a communication interface such as a network adapter for communicating with an external device by wire or wirelessly, or may be a hardware interface compliant with USB (Universal Serial Bus), SATA (Serial AT Attachment), etc.
  • the input unit 14 generates an input signal in response to a user's operation.
  • the input unit 14 has at least one device selected from the group consisting of a button, a touch panel, a remote controller, a foot switch, and a voice input device.
  • the light source unit 15 generates light to be supplied to the tip 38 of the endoscope 3.
  • the light source unit 15 may also incorporate a pump for sending water or air to be supplied to the endoscope 3.
  • the sound output unit 16 outputs sound based on the control of the processor 11.
  • DB17 stores endoscopic images and the like acquired during past endoscopic examinations of the subject.
  • DB17 may include an external storage device such as a hard disk connected to or built into the endoscopic examination support device 1, or may include a removable storage medium such as a flash memory.
  • DB17 may be provided on an external server, etc., and related information may be acquired from the server via communication.
  • the endoscopic examination support device 1 may also be equipped with a sensor capable of measuring the rotation and translation of the endoscopic camera, such as a magnetic sensor.
  • [Functional configuration] 3 is a block diagram showing an example of a functional configuration of the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1 includes a relative depth acquisition unit 21, a reference object detection unit 22, an actual depth acquisition unit 23, a three-dimensional reconstruction unit 24, a lesion detection unit 25, a lesion area identification unit 26, a lesion size acquisition unit 27, and a display image generation unit 28.
  • the relative depth acquisition unit 21 performs a process of estimating the relative depth SD corresponding to each pixel position included in the endoscopic image EG using a trained image recognition model, etc. Specifically, the relative depth acquisition unit 21 can acquire a relatively large value as the relative depth SD of each pixel included in the endoscopic image EG, for example, for pixels at positions estimated to be far away from the endoscopic camera. Furthermore, the relative depth acquisition unit 21 can acquire a relatively small value as the relative depth SD of each pixel included in the endoscopic image EG, for example, for pixels at positions estimated to be close to the endoscopic camera.
  • the relative depth acquisition unit 21 acquires relative depth information SDJ indicating the relative depth SD for each pixel position of the endoscopic image EG.
  • the relative depth acquisition unit 21 can acquire, as the relative depth information SDJ, a monochrome image having pixel values corresponding to the relative depth SD for each pixel position of the endoscopic image EG, for example, by inputting the endoscopic image EG into a trained machine learning model.
  • the relative depth information SDJ corresponds to an output image obtained by inputting the endoscopic image EG into a trained machine learning model.
  • the relative depth acquisition unit 21 outputs the relative depth information SDJ to the actual depth acquisition unit 23.
  • the reference object detection unit 22 detects a reference object RB contained in the endoscopic image EG. Specifically, the reference object detection unit 22 detects, for example, a jet of water ejected forward from the water outlet of the tip portion 38 in response to the operation of a specific button provided on the input unit 14 as the reference object RB.
  • the reference object detection unit 22 acquires reference object information RBJ as information indicating the position and size of the reference object RB within the endoscopic image EG, and outputs the acquired reference object information RBJ to the actual depth acquisition unit 23.
  • the real depth acquisition unit 23 functions as a real depth acquisition means.
  • the real depth acquisition unit 23 acquires a value expressed in units of distance in real space, such as millimeters and centimeters, as the real depth RD. Note that a specific example of a method for acquiring a real depth RD corresponding to a relative depth SD will be described later.
  • the real depth acquisition unit 23 acquires real depth information RDJ indicating the real depth RD for each pixel position of the endoscopic image EG. Specifically, the real depth acquisition unit 23 can acquire the real depth information RDJ by, for example, linking the real depth RD to each pixel of the monochrome image included in the relative depth information SDJ. In addition, the real depth acquisition unit 23 outputs the real depth information RDJ to the three-dimensional restoration unit 24.
  • the three-dimensional restoration unit 24 functions as a three-dimensional model generating means.
  • the three-dimensional restoration unit 24 performs three-dimensional restoration processing based on the actual depth information RDJ obtained from the actual depth acquisition unit 23 and the camera parameters of the endoscope camera provided at the tip 38, thereby generating a three-dimensional model TDM corresponding to the structure of the large intestine (intestinal tract) during endoscopic examination.
  • the camera parameters mentioned above may include, for example, a distortion coefficient and a focal length.
  • the three-dimensional restoration unit 24 may perform bundle adjustment using, for example, multiple actual depth information RDJ corresponding to each of the multiple endoscopic images EG.
  • the three-dimensional restoration unit 24 outputs the three-dimensional model TDM to the lesion area identification unit 26.
  • the lesion detection unit 25 performs processing to detect a lesion LE from the endoscopic image EG using a trained image recognition model, etc.
  • the lesion detection unit 25 also acquires lesion detection information DCJ as information indicating the position and size of the lesion LE in the endoscopic image EG, and outputs the acquired lesion detection information DCJ to the lesion area identification unit 26.
  • Lesion area identification unit 26 functions as a lesion area identification means.
  • lesion area identification unit 26 identifies lesion area DA by performing processing using three-dimensional model TDM obtained from three-dimensional reconstruction unit 24 and lesion detection information DCJ obtained from lesion detection unit 25.
  • lesion area identification unit 26 identifies, for example, an area in three-dimensional model TDM corresponding to lesion LE indicated by lesion detection information DCJ as lesion area DA.
  • lesion area identification unit 26 identifies an area in three-dimensional model TDM corresponding to lesion LE detected from endoscopic image EG as lesion area DA.
  • lesion area identification unit 26 acquires lesion area information DAJ as information indicating the position and size of lesion area DA, and outputs the acquired lesion area information DAJ to lesion size acquisition unit 27.
  • Lesion size acquisition unit 27 performs processing using lesion area information DAJ obtained from lesion area identification unit 26 to acquire lesion size information LSJ as information indicating the actual size of the lesion LE contained in lesion area DA.
  • lesion size acquisition unit 27 outputs lesion size information LSJ to display image generation unit 28.
  • lesion size information LSJ may contain the same information as the information contained in lesion area information DAJ.
  • Display image generating unit 28 functions as an information presentation means. Furthermore, if display image generating unit 28 is able to acquire lesion size information LSJ from lesion size acquiring unit 27, it generates a display image HG based on the endoscopic image EG and the lesion size information LSJ, and outputs the generated display image HG to display device 2. Furthermore, if display image generating unit 28 is unable to acquire lesion size information LSJ from lesion size acquiring unit 27, for example because a lesion could not be detected from endoscopic image EG, it generates a display image HG including endoscopic image EG without using the lesion size information LSJ, and outputs the generated display image HG to display device 2.
  • FIG. 4 is a diagram showing an example of an endoscopic image included in a display image generated by the endoscopic examination support device according to the present disclosure.
  • FIG. 5 is a diagram showing another example of an endoscopic image included in a display image generated by the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1 can obtain an endoscopic image EGB as shown in FIG. 5, for example.
  • the endoscopic image EGB includes the lesion LES and the jet water stream JWS. Note that in the present disclosure, for convenience of illustration, the area in the endoscopic image where the jet water stream JWS exists is shown by a black pattern.
  • the relative depth acquisition unit 21 acquires relative depth information SDJB indicating the relative depth SDB for each pixel position of the endoscopic image EGB, and outputs the acquired relative depth information SDBJ to the actual depth acquisition unit 23.
  • the relative depth information SDBJ includes, for example, a monochrome image having pixel values corresponding to the relative depth SDB for each pixel position of the endoscopic image EGB.
  • the reference object detection unit 22 detects the jet water stream JWS contained in the endoscopic image EGB as a reference object RBB.
  • the reference object detection unit 22 also acquires reference object information RBBJ as information indicating the position and size of the jet water stream JWS within the endoscopic image EGB, and outputs the acquired reference object information RBJB to the actual depth acquisition unit 23.
  • the actual depth acquisition unit 23 performs processing using the relative depth information SDBJ and the reference object information RBBJ to acquire the actual depth RDB corresponding to each relative depth SDB included in the relative depth information SDBJ.
  • the actual depth acquisition unit 23 uses information contained in the reference object information RBBJ to acquire a pixel position PPJ corresponding to the arrival position of the jet water stream JWS in the endoscopic image EGB and a pixel number PCJ corresponding to the width of the tip of the jet water stream JWS when it reaches the arrival position (see FIG. 5).
  • the arrival position of the jet water stream JWS can be rephrased as the position where the tip of the jet water stream JWS contacts the inner wall of the large intestine.
  • the actual depth acquisition unit 23 also acquires an actual depth RDBX corresponding to the relative depth SDBX of the pixel position PPJ by applying the coordinate values XJ and YJ of the pixel position PPJ and the pixel number PCJ to a predetermined regression equation RE.
  • the predetermined regression equation RE can be obtained, for example, by applying multiple regression analysis to measurement data obtained by measuring the actual depth while changing the pixel position corresponding to the arrival position of the jet water stream in the endoscopic image and the pixel number corresponding to the width of the tip of the jet water stream when it reaches the arrival position.
  • the actual depth acquisition unit 23 may acquire, for example, the actual depth RDBX corresponding to a combination of the coordinate values XJ and YJ and the number of pixels PCJ from the aforementioned measurement data.
  • the actual depth acquisition unit 23 can calculate the actual depth RDBY by multiplying the ratio of the relative depth SDBY to the relative depth SDBX by the actual depth RDBX.
  • the actual depth acquisition unit 23 can acquire, for example, the pixel values at pixel positions PPJ and PPY of the monochrome image contained in the relative depth information SDBJ as the relative depths SDBX and SDBY.
  • the real depth acquisition unit 23 uses the method described above to calculate the real depth RDB corresponding to each relative depth SDB included in the relative depth information SDBJ.
  • the real depth acquisition unit 23 also acquires real depth information RDBJ indicating the real depth RDB for each pixel position of the endoscopic image EGB by linking the real depth RDB calculated using the method described above to each pixel of the monochrome image included in the relative depth information SDBJ.
  • the real depth acquisition unit 23 also outputs the real depth information RDBJ to the 3D restoration unit 24.
  • the real depth acquisition unit 23 can acquire real depth information RDBJ based on the relative depth information SDBJ and the reference object information RBJ. Also, according to the process described above, the real depth acquisition unit 23 can acquire real depth RDBX corresponding to the relative depth SDBX of the pixel position PPJ by performing a calculation using the pixel position PPJ and the number of pixels PCJ. Also, according to the process described above, the real depth acquisition unit 23 can acquire real depth RDB corresponding to the relative depth SDB at each pixel position other than the pixel position PPJ by performing a calculation using the relationship between the relative depth SDBX and real depth RDBX at the pixel position PPJ.
  • the three-dimensional reconstruction unit 24 generates a three-dimensional model TDMB by performing three-dimensional reconstruction processing based on the actual depth information RDBJ and the camera parameters of the endoscope camera provided at the tip 38, and outputs the generated three-dimensional model TDMB to the lesion area identification unit 26.
  • the three-dimensional reconstruction unit 24 can generate a three-dimensional model according to the actual depth information RDBJ.
  • the lesion detection unit 25 performs processing to detect the LES lesion from the endoscopic image EGB using a trained image recognition model, etc.
  • the lesion detection unit 25 also acquires lesion detection information DCBJ as information indicating the position and size of the LES lesion within the endoscopic image EGB, and outputs the acquired lesion detection information DCBJ to the lesion area identification unit 26.
  • Lesion area identification unit 26 identifies the area in the three-dimensional model TDMB corresponding to the lesion LES indicated by the lesion detection information DCBJ as the lesion area DAB. In other words, lesion area identification unit 26 identifies the area in the three-dimensional model TDMB corresponding to the lesion LES detected from the endoscopic image EGB as the lesion area DAB. In addition, lesion area identification unit 26 acquires lesion area information DABJ as information indicating the position and size of the lesion area DAB, and outputs the acquired lesion area information DABJ to lesion size acquisition unit 27.
  • Lesion size acquisition unit 27 acquires a line segment LN connecting the two most distant positions in lesion area DAB indicated by lesion area information DABJ. In addition, lesion size acquisition unit 27 calculates the actual length LA of the major axis of the lesion LES contained in lesion area DAB by performing a calculation using the length of line segment LN. In addition, lesion size acquisition unit 27 acquires lesion size information LSBJ including the position and size of lesion area DAB, line segment LN, and actual length LA, and outputs the acquired lesion size information LSBJ to display image generation unit 28.
  • the lesion size acquisition unit 27 can acquire the line segment LN indicating the position of the long axis of the lesion LES and the actual length LA of the long axis of the lesion LES as information indicating the actual size of the lesion LES contained in the lesion area DAB. Also, according to the processing described above, the lesion size acquisition unit 27 can acquire the line segment LN indicating the position of the long axis of the lesion LES contained in the lesion area DAB.
  • the display image generating unit 28 superimposes the line segment LN included in the lesion size information LSJB on the lesion LES of the endoscopic image EGB.
  • the display image generating unit 28 also generates a rectangular frame RF according to the position and size of the lesion area DAB included in the lesion size information LSBJ, and superimposes the frame RF around the lesion LES of the endoscopic image EGB.
  • the display image generating unit 28 also generates a character string corresponding to the actual length LA included in the lesion size information LSJB, and superimposes the character string near the frame RF.
  • the display image generating unit 28 can generate a display image HGC including an endoscopic image EGC as shown in FIG. 6, for example, and output the generated display image HGC to the display device 2.
  • the endoscopic image EGC includes the lesion LES, the jet water flow LWS, the frame RF, the line segment LN, and a character string indicating the actual length LA.
  • the display image generating unit 28 can present information related to the actual size of the lesion LES included in the lesion area DAB.
  • the display image generating unit 28 can present information related to the actual size of the lesion LES by superimposing the line segment LN indicating the position of the major axis of the lesion LES and a character string indicating the actual length LA of the major axis of the lesion LES on the endoscopic image EGB. Furthermore, according to the above-described processing, the display image generating unit 28 can generate a frame RF corresponding to the lesion area DAS and superimpose the generated frame RF around the lesion LES in the endoscopic image EGB.
  • Figure 6 is a diagram showing another example of an endoscopic image included in a display image generated by the endoscopic examination support device according to the present disclosure.
  • the endoscopic image EGC in FIG. 6 allows the user to intuitively grasp the position of the LES lesion contained in the endoscopic image EGC and the position of the long axis of the LES lesion. Furthermore, the endoscopic image EGC in FIG. 6 allows the user to grasp that the actual length of the long axis of the LES lesion is 18 mm.
  • FIG. 7 is a flowchart showing an example of processing performed in the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 1 acquires relative depth information indicating the relative depth for each pixel position of the endoscopic image (step S11).
  • the endoscopic examination support device 1 detects a reference object contained in the endoscopic image used in the processing of step S11, and obtains reference object information indicating the position and size of the reference object within the endoscopic image (step S12).
  • the endoscopic examination support device 1 performs processing using the relative depth information obtained in step S11 and the reference object information obtained in step S12 to obtain actual depth information indicating the actual depth for each pixel position of the endoscopic image used in the processing of step S11 (step S13).
  • the endoscopic examination support device 1 performs a 3D restoration process based on the actual depth information obtained in step S13 and the camera parameters of the endoscopic camera to generate a 3D model corresponding to the structure of the large intestine (intestinal tract) during the endoscopic examination (step S14).
  • the endoscopic examination support device 1 detects a lesion from the endoscopic image used in the processing of step S11, and obtains lesion detection information indicating the position and size of the lesion in the endoscopic image (step S15).
  • the endoscopic examination support device 1 identifies, as the lesion area, the area in the three-dimensional model obtained in step S14 that corresponds to the lesion indicated by the lesion detection information obtained in step S15, and obtains lesion area information indicating the position and size of the lesion area (step S16).
  • the endoscopic examination support device 1 performs processing using the lesion area information obtained in step S16 to obtain lesion size information indicating the actual size of the lesion contained in the lesion area (step S17).
  • the endoscopic examination support device 1 generates a display image based on the endoscopic image used in the processing of step S11 and the lesion size information obtained in step S17, and outputs the generated display image to the display device 2 (step S18).
  • a three-dimensional model corresponding to the actual depth for each pixel position of an endoscopic image is generated, and an area in the three-dimensional model corresponding to a lesion detected from the endoscopic image can be identified as a lesion area. Also, as described above, according to this embodiment, information indicating the actual size of a lesion contained in the lesion area in the aforementioned three-dimensional model can be obtained, and an image corresponding to the obtained information can be displayed. Therefore, according to this embodiment, it is possible to present information regarding the exact size of a lesion discovered during an endoscopic examination.
  • the display image generating unit 28 may generate a display image including a line segment indicating the position of the tip of the jet water stream in the endoscopic image, a character string corresponding to the actual depth of the arrival position of the jet water stream in the endoscopic image, and a character string corresponding to the width of the water outlet from which the jet water stream is ejected, based on, for example, the reference object information obtained from the reference object detecting unit 22 and the actual depth information obtained from the actual depth acquiring unit 23. According to such processing, the display image generating unit 28 can generate a display image including an endoscopic image EGP as shown in Fig. 8.
  • the reference object detection unit 22 may detect, as a reference, a treatment tool, such as a biopsy forceps, which is in contact with the inner wall of the large intestine while protruding forward from the forceps opening of the tip portion 38.
  • the reference object detection unit 22 may also acquire reference object information indicating the position and size of the non-movable part of the tip portion of the treatment tool in the endoscopic image.
  • the actual depth acquisition unit 23 can acquire the actual depth corresponding to the relative depth of the pixel position by performing a calculation similar to that in the case of the jet water stream, using, for example, the pixel position and the number of pixels of the non-movable part of the tip portion of the treatment tool in the endoscopic image.
  • the non-movable part of the tip portion of the treatment tool may include, for example, the shaft of the treatment tool.
  • the reference object detection unit 22 may detect an artificial object, such as a hemostatic clip, that is placed in contact with the inner wall of the large intestine as the reference object RB.
  • the reference object detection unit 22 may also acquire reference object information indicating the position and size of a predetermined portion of the artificial object in the endoscopic image.
  • the actual depth acquisition unit 23 can acquire the actual depth corresponding to the relative depth of the pixel position by performing a calculation similar to that in the case of the jet water stream, using, for example, the pixel position and the number of pixels of the predetermined portion of the artificial object in the endoscopic image.
  • FIG. 9 is a block diagram showing another example of the functional configuration of the endoscopic examination support device according to the present disclosure.
  • the endoscopic examination support device 500 has the same hardware configuration as the endoscopic examination support device 1.
  • the endoscopic examination support device 500 also has an actual depth acquisition means 511, a three-dimensional model generation means 512, a lesion area identification means 513, and an information presentation means 514.
  • the actual depth acquisition means 511 can be realized, for example, by using the functions possessed by the actual depth acquisition unit 23.
  • the three-dimensional model generation means 512 can be realized, for example, by using the functions possessed by the three-dimensional restoration unit 24.
  • the lesion area identification means 513 can be realized, for example, by using the functions possessed by the lesion area identification unit 26.
  • the information presentation means 514 can be realized, for example, by using the functions possessed by the display image generation unit 28.
  • FIG. 10 is a flowchart showing another example of processing performed in the endoscopic examination support device according to the present disclosure.
  • the actual depth acquisition means 511 acquires actual depth information indicating the actual depth for each pixel position of the endoscopic image based on relative depth information indicating the relative depth for each pixel position of the endoscopic image and reference object information indicating the position and size of a reference object within the endoscopic image (step S51).
  • the three-dimensional model generating means 512 generates a three-dimensional model according to the actual depth information (step S52).
  • the lesion area identification means 513 identifies the area in the three-dimensional model that corresponds to the lesion detected from the endoscopic image as the lesion area (step S53).
  • the information presentation means 514 presents information regarding the actual size of the lesion contained in the lesion area (step S54).
  • an actual depth acquisition means for acquiring actual depth information indicating the actual depth for each pixel position of the endoscopic image based on relative depth information indicating the relative depth for each pixel position of the endoscopic image and reference object information indicating the position and size of a reference object within the endoscopic image; a three-dimensional model generating means for generating a three-dimensional model according to the actual depth information; a lesion area identifying means for identifying an area in the three-dimensional model corresponding to a lesion detected from the endoscopic image as a lesion area; an information presenting means for presenting information relating to an actual size of the lesion included in the lesion area; An endoscopic examination support device having the same.
  • (Appendix 2) 2. The endoscopic examination support device of claim 1, wherein the information presenting means presents information related to the actual size of the lesion by superimposing a first line segment indicating a position of a long diameter of the lesion and a first character string indicating an actual length of the long diameter of the lesion on the endoscopic image.
  • Appendix 4 The endoscopic examination support device of Appendix 2, wherein when the reference object is a jet water stream ejected from the tip of the endoscope, the information presentation means superimposes on the endoscopic image a second line segment indicating the position of the tip of the jet water stream in the endoscopic image, a second character string corresponding to the actual depth of the arrival position of the jet water stream in the endoscopic image, and a third character string corresponding to the width of the water outlet from which the jet water stream is ejected.
  • Appendix 5 The endoscopic examination support device of Appendix 1, wherein when the reference object is a jet water stream ejected from the tip of an endoscope, the actual depth acquisition means acquires an actual depth corresponding to the relative depth of the pixel position by performing a calculation using a pixel position corresponding to the arrival position of the jet water stream in the endoscopic image and a number of pixels corresponding to the width of the tip of the jet water stream when it reaches the arrival position.
  • Appendix 6 The endoscopic examination support device of Appendix 5, wherein the actual depth acquisition means acquires an actual depth corresponding to the relative depth at each pixel position other than the pixel position of the endoscopic image by performing a calculation using the relationship between the relative depth and the actual depth at the pixel position of the endoscopic image.
  • Appendix 7 The endoscopic examination support device of Appendix 1, wherein when the reference object is a treatment tool protruding from the tip of the endoscope and in contact with the inner wall of a tubular organ, the actual depth acquisition means performs a calculation using the pixel position and pixel number of the non-movable part of the tip of the treatment tool in the endoscopic image to acquire an actual depth corresponding to the relative depth of the pixel position.
  • Appendix 8 An endoscopic examination support device of Appendix 1, wherein the relative depth information corresponds to an output image obtained by inputting the endoscopic image into a trained machine learning model.
  • a computer-implemented method for assisting endoscopy comprising the steps of: obtaining actual depth information indicating an actual depth for each pixel position of the endoscopic image based on relative depth information indicating a relative depth for each pixel position of the endoscopic image and reference object information indicating a position and a size of a reference object in the endoscopic image; generating a three-dimensional model according to the actual depth information; Identifying a region of the three-dimensional model corresponding to the lesion detected from the endoscopic image as a lesion region; An endoscopic examination support method that presents information related to an actual size of the lesion contained in the lesion area.
  • Appendix 12 The endoscopic examination support method of Appendix 10, in which, when the reference object is a jet water stream ejected from the tip of an endoscope, a second line segment indicating the position of the tip of the jet water stream in the endoscopic image, a second character string corresponding to the actual depth of the arrival position of the jet water stream in the endoscopic image, and a third character string corresponding to the width of the water outlet port from which the jet water stream is ejected are superimposed on the endoscopic image.
  • An endoscopic examination support method according to claim 9, wherein when the reference object is a jet water stream ejected from the tip of an endoscope, an actual depth corresponding to the relative depth of a pixel position is obtained by performing a calculation using a pixel position corresponding to the arrival position of the jet water stream in the endoscopic image and a number of pixels corresponding to the width of the tip of the jet water stream when it reaches the arrival position.
  • Appendix 14 An endoscopic examination support method of appendix 13, which obtains an actual depth corresponding to the relative depth at each pixel position other than the pixel position of the endoscopic image by performing a calculation using the relationship between the relative depth and the actual depth at the pixel position of the endoscopic image.
  • (Appendix 15) obtaining actual depth information indicating an actual depth for each pixel position of the endoscopic image based on relative depth information indicating a relative depth for each pixel position of the endoscopic image and reference object information indicating a position and a size of a reference object in the endoscopic image; generating a three-dimensional model according to the actual depth information; Identifying a region of the three-dimensional model corresponding to the lesion detected from the endoscopic image as a lesion region; A recording medium having recorded thereon a program for causing a computer to execute a process for presenting information relating to the actual size of the lesion contained in the lesion area.
  • a recording medium having recorded thereon a program for causing a computer to execute a process of presenting information relating to the actual size of the lesion by superimposing, on the endoscopic image, a first line segment indicating the position of the long diameter of the lesion and a first character string indicating the actual length of the long diameter of the lesion.
  • a recording medium according to claim 16 having recorded thereon a program for causing a computer to execute a process of generating a frame corresponding to the lesion area and superimposing the generated frame around the lesion in the endoscopic image.
  • Appendix 18 A recording medium according to Appendix 16, having recorded thereon a program for causing a computer to execute a process of superimposing, on an endoscopic image, a second line segment indicating the position of the tip of the jet water stream in the endoscopic image, a second character string corresponding to the actual depth of the arrival position of the jet water stream in the endoscopic image, and a third character string corresponding to the width of the water outlet port from which the jet water stream is ejected, when the reference object is a jet water stream ejected from the tip of an endoscope.
  • appendix 19 The endoscopic examination support method of appendix 15, having recorded thereon a program for causing a computer to execute a process of obtaining an actual depth corresponding to a relative depth of a pixel position by performing a calculation using a pixel position corresponding to a position at which the jet water stream reaches in the endoscopic image and a number of pixels corresponding to a width of the tip of the jet water stream when it reaches the position at which the reference object is a jet water stream ejected from the tip of an endoscope.
  • Appendix 20 A recording medium of Appendix 19, having recorded thereon a program that causes a computer to execute a process of obtaining an actual depth corresponding to the relative depth at each pixel position other than the pixel position of the endoscopic image by performing a calculation using the relationship between the relative depth and actual depth at the pixel position of the endoscopic image.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡検査支援装置において、実深度取得手段は、内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、内視鏡画像の画素位置毎の実深度を示す実深度情報を取得する。３次元モデル生成手段は、実深度情報に応じた３次元モデルを生成する。病変領域特定手段は、３次元モデルにおける内視鏡画像から検出された病変に対応する領域を病変領域として特定する。情報提示手段は、病変領域に含まれる病変の実サイズに係る情報を提示する。内視鏡検査支援装置は、病変の診断を行うユーザの意思決定支援に用いることができる。

Description

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
　本開示は、内視鏡検査を支援するための情報を提示する際に利用可能な技術に係る。
　内視鏡検査を支援するための情報を提示する技術が従来知られている。
　具体的には、例えば、特許文献１には、内視鏡スコープによる被観察領域の現実のサイズを表す目盛りを生成し、当該生成した目盛りを内視鏡画像に合成して表示装置に表示する技術が開示されている。
特開２０１６－１８２１６１号公報
　ここで、特許文献１に開示された技術によれば、被観察領域の現実のサイズを把握するために、内視鏡画像に合成された目盛りを目視で確認する必要が生じる。そのため、特許文献１に開示された技術によれば、例えば、被観察領域に病変が含まれる場合に、当該病変の正確なサイズを把握することが困難である、という課題が生じている。
　本開示の１つの目的は、内視鏡検査時に発見された病変の正確なサイズに係る情報を提示することが可能な内視鏡検査支援装置を提供することにある。
　本開示の一つの観点では、内視鏡検査支援装置は、内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得する実深度取得手段と、前記実深度情報に応じた３次元モデルを生成する３次元モデル生成手段と、前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定する病変領域特定手段と、前記病変領域に含まれる前記病変の実サイズに係る情報を提示する情報提示手段と、を有する。
　本開示の他の観点では、内視鏡検査支援方法は、コンピュータが実行する内視鏡検査支援方法であって、内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得し、前記実深度情報に応じた３次元モデルを生成し、前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定し、前記病変領域に含まれる前記病変の実サイズに係る情報を提示する。
　本開示のさらに他の観点では、記録媒体は、内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得し、前記実深度情報に応じた３次元モデルを生成し、前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定し、前記病変領域に含まれる前記病変の実サイズに係る情報を提示する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、内視鏡検査時に発見された病変の正確なサイズに係る情報を提示することができる。
本開示に係る内視鏡検査システムの概略構成を示す図。 本開示に係る内視鏡検査支援装置のハードウェア構成の一例を示すブロック図。 本開示に係る内視鏡検査支援装置の機能構成の一例を示すブロック図。 本開示に係る内視鏡検査支援装置により生成される表示画像に含まれる内視鏡画像の一例を示す図。 本開示に係る内視鏡検査支援装置により生成される表示画像に含まれる内視鏡画像の内視鏡画像の他の例を示す図。 本開示に係る内視鏡検査支援装置により生成される表示画像に含まれる内視鏡画像の内視鏡画像の他の例を示す図。 本開示に係る内視鏡検査支援装置において行われる処理の一例を示すフローチャート。 本開示に係る内視鏡検査支援装置により生成される表示画像に含まれる内視鏡画像の他の例を示す図。 本開示に係る内視鏡検査支援装置の機能構成の他の例を示すブロック図。 本開示に係る内視鏡検査支援装置において行われる処理の他の例を示すフローチャート。
　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［システム構成］
　図１は、本開示に係る内視鏡検査システムの概略構成を示す図である。内視鏡検査システム１００は、図１に示すように、内視鏡検査支援装置１と、表示装置２と、内視鏡検査支援装置１に接続された内視鏡スコープ３と、を備える。
　内視鏡検査支援装置１は、内視鏡検査中に被写体を撮像することにより得られた時系列な画像を含む映像（以下、内視鏡映像とも称する）を内視鏡スコープ３から取得し、内視鏡検査を行う医師等のユーザが確認するための表示画像を表示装置２に表示させる。具体的には、内視鏡検査支援装置１は、内視鏡検査中に得られた大腸の内部の映像を、内視鏡映像として内視鏡スコープ３から取得する。また、内視鏡検査支援装置１は、内視鏡映像から抽出した内視鏡画像に基づき、内視鏡スコープ３の先端部３８に設けられた内視鏡カメラの現在位置から当該内視鏡画像に含まれる各画素の位置までの距離を相対深度として推定する。また、内視鏡検査支援装置１は、内視鏡画像から参照物を検出し、当該内視鏡画像内における当該参照物の位置及びサイズを用い、当該内視鏡画像に含まれる各画素の相対深度に対応する実空間における深度（以降、実深度とも称する）を取得する。また、内視鏡検査支援装置１は、実深度と、内視鏡カメラのカメラパラメータと、に基づいて３次元復元を行うことにより、大腸（の腸管）の構造に応じた３次元モデルを生成する。また、内視鏡検査支援装置１は、内視鏡画像から病変を検出する処理を行う。また、内視鏡検査支援装置１は、３次元モデルにおける内視鏡画像から検出された病変に対応する領域を病変領域として特定し、当該病変領域に含まれる当該病変の実サイズに係る情報を病変サイズ情報として取得する。また、内視鏡検査支援装置１は、内視鏡画像と、病変サイズ情報と、に応じた表示画像を生成し、当該生成した表示画像を表示装置２へ出力する。内視鏡検査支援装置１は、病変の診断を行うユーザの意思決定支援に用いることができる。
　表示装置２は、例えば、液晶モニタ等を有している。また、表示装置２は、内視鏡検査支援装置１から出力される表示画像等を表示する。
　内視鏡スコープ３は、主に、ユーザが送気、送水、アングル調整、撮影指示などの入力を行うための操作部３６と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、撮像素子などの内視鏡カメラを内蔵した先端部３８と、内視鏡検査支援装置１と接続するための接続部３９と、を有する。内視鏡カメラは、管腔臓器である大腸の内部を撮像することにより、内視鏡画像を得ることができる。
　［ハードウェア構成］
　図２は、本開示に係る内視鏡検査支援装置のハードウェア構成の一例を示すブロック図である。内視鏡検査支援装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、データベース（以下、「ＤＢ」と記す。）１７と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。なお、プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。また、プロセッサ１１は、内視鏡画像に含まれる各画素の相対深度に対応する実深度を取得する処理等を行う。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び内視鏡検査支援装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリやディスク媒体などの記憶媒体を含んでもよい。メモリ１２には、内視鏡検査支援装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の内視鏡映像を一時的に記憶する。
　インターフェース１３は、内視鏡検査支援装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示画像を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する照明光を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡映像を示す電気信号をプロセッサ１１に供給する。また、インターフェース１３は、内視鏡映像から抽出した内視鏡画像をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、ユーザの操作に応じた入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、フットスイッチ、及び、音声入力装置等のうちの少なくとも１つの装置を有している。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　ＤＢ１７は、被検者の過去の内視鏡検査により取得された内視鏡映像などを記憶している。ＤＢ１７は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ１７を内視鏡検査システム１００内に備える代わりに、外部のサーバなどにＤＢ１７を設け、通信により当該サーバから関連情報を取得するようにしてもよい。
　なお、内視鏡検査支援装置１は、磁気式センサなど、内視鏡カメラの回転および並進を計測可能なセンサを備えていてもよい。
　［機能構成］
　図３は、本開示に係る内視鏡検査支援装置の機能構成の一例を示すブロック図である。内視鏡検査支援装置１は、図３に示すように、相対深度取得部２１と、参照物検出部２２と、実深度取得部２３と、３次元復元部２４と、病変検出部２５と、病変領域特定部２６と、病変サイズ取得部２７と、表示画像生成部２８と、を有している。
　相対深度取得部２１は、学習済の画像認識モデル等を用い、内視鏡画像ＥＧに含まれる各画素位置に対応する相対深度ＳＤを推定する処理を行う。具体的には、相対深度取得部２１は、例えば、内視鏡画像ＥＧに含まれる各画素のうち、内視鏡カメラからの距離が遠いと推定される位置の画素については、当該画素の相対深度ＳＤとして相対的に大きな値を取得することができる。また、相対深度取得部２１は、例えば、内視鏡画像ＥＧに含まれる各画素のうち、内視鏡カメラからの距離が近いと推定される位置の画素については、当該画素の相対深度ＳＤとして相対的に小さな値を取得することができる。
　相対深度取得部２１は、内視鏡画像ＥＧの画素位置毎の相対深度ＳＤを示す相対深度情報ＳＤＪを取得する。具体的には、相対深度取得部２１は、例えば、内視鏡画像ＥＧを学習済の機械学習モデルに入力することにより、当該内視鏡画像ＥＧの画素位置毎の相対深度ＳＤに応じた画素値を有するモノクロ画像を相対深度情報ＳＤＪとして取得することができる。すなわち、相対深度情報ＳＤＪは、内視鏡画像ＥＧを学習済の機械学習モデルに入力することにより得られる出力画像に相当する。また、相対深度取得部２１は、相対深度情報ＳＤＪを実深度取得部２３へ出力する。
　参照物検出部２２は、内視鏡画像ＥＧに含まれる参照物ＲＢを検出する。具体的には、参照物検出部２２は、例えば、入力部１４に設けられた所定のボタンの操作に応じて先端部３８の送水口から前方へ噴出するジェット水流を参照物ＲＢとして検出する。
　参照物検出部２２は、内視鏡画像ＥＧ内における参照物ＲＢの位置及びサイズを示す情報として参照物情報ＲＢＪを取得し、当該取得した参照物情報ＲＢＪを実深度取得部２３へ出力する。
　実深度取得部２３は、実深度取得手段としての機能を有している。また、相対深度取得部２１から得られた相対深度情報ＳＤＪと、参照物検出部２２から得られた参照物情報ＲＢＪと、を用いた処理を行うことにより、当該相対深度情報ＳＤＪに含まれる各相対深度ＳＤに対応する実深度ＲＤを取得する。具体的には、実深度取得部２３は、実深度ＲＤとして、例えば、ミリメートル及びセンチメートル等のような、実空間における距離の単位で表される値を取得する。なお、相対深度ＳＤに対応する実深度ＲＤを取得する方法の具体例については、後程説明する。
　実深度取得部２３は、内視鏡画像ＥＧの画素位置毎の実深度ＲＤを示す実深度情報ＲＤＪを取得する。具体的には、実深度取得部２３は、例えば、相対深度情報ＳＤＪに含まれるモノクロ画像の各画素に対して実深度ＲＤを紐づけることにより実深度情報ＲＤＪを取得することができる。また、実深度取得部２３は、実深度情報ＲＤＪを３次元復元部２４へ出力する。
　３次元復元部２４は、３次元モデル生成手段としての機能を有している。また、３次元復元部２４は、実深度取得部２３から得られた実深度情報ＲＤＪと、先端部３８に設けられた内視鏡カメラのカメラパラメータと、に基づいて３次元復元処理を行うことにより、内視鏡検査時の大腸（の腸管）の構造に応じた３次元モデルＴＤＭを生成する。なお、前述のカメラパラメータには、例えば、歪み係数及び焦点距離等を含めることができる。また、３次元復元部２４は、３次元モデルＴＤＭを生成する際に、例えば、複数の内視鏡画像ＥＧ各々に対応する複数の実深度情報ＲＤＪを用いてバンドル調整を行ってもよい。また、３次元復元部２４は、３次元モデルＴＤＭを病変領域特定部２６へ出力する。
　病変検出部２５は、学習済の画像認識モデル等を用い、内視鏡画像ＥＧから病変ＬＥを検出する処理を行う。また、病変検出部２５は、内視鏡画像ＥＧ内における病変ＬＥの位置及びサイズを示す情報として病変検出情報ＤＣＪを取得し、当該取得した病変検出情報ＤＣＪを病変領域特定部２６へ出力する。
　病変領域特定部２６は、病変領域特定手段としての機能を有している。また、病変領域特定部２６は、３次元復元部２４から得られた３次元モデルＴＤＭと、病変検出部２５から得られた病変検出情報ＤＣＪと、を用いた処理を行うことにより、病変領域ＤＡを特定する。具体的には、病変領域特定部２６は、例えば、３次元モデルＴＤＭにおける病変検出情報ＤＣＪにより示される病変ＬＥに対応する領域を病変領域ＤＡとして特定する。換言すると、病変領域特定部２６は、３次元モデルＴＤＭにおける内視鏡画像ＥＧから検出された病変ＬＥに対応する領域を病変領域ＤＡとして特定する。また、病変領域特定部２６は、病変領域ＤＡの位置及びサイズを示す情報として病変領域情報ＤＡＪを取得し、当該取得した病変領域情報ＤＡＪを病変サイズ取得部２７へ出力する。
　病変サイズ取得部２７は、病変領域特定部２６から得られた病変領域情報ＤＡＪを用いた処理を行うことにより、病変領域ＤＡに含まれる病変ＬＥの実サイズを示す情報として病変サイズ情報ＬＳＪを取得する。また、病変サイズ取得部２７は、病変サイズ情報ＬＳＪを表示画像生成部２８へ出力する。なお、病変サイズ情報ＬＳＪを取得する方法の具体例については、後程説明する。また、病変サイズ情報ＬＳＪには、病変領域情報ＤＡＪに含まれる情報と同じ情報が含まれていてもよい。
　表示画像生成部２８は、情報提示手段としての機能を有している。また、表示画像生成部２８は、病変サイズ取得部２７から病変サイズ情報ＬＳＪを取得できた場合には、内視鏡画像ＥＧと、当該病変サイズ情報ＬＳＪと、に応じた表示画像ＨＧを生成し、当該生成した表示画像ＨＧを表示装置２へ出力する。また、表示画像生成部２８は、例えば、内視鏡画像ＥＧから病変を検出できなかった等の理由により、病変サイズ取得部２７から病変サイズ情報ＬＳＪを取得できなかった場合には、当該病変サイズ情報ＬＳＪを用いずに内視鏡画像ＥＧを含む表示画像ＨＧを生成し、当該生成した表示画像ＨＧを表示装置２へ出力する。
　［具体例］
　続いて、本開示に係る具体例について説明する。
　図４は、本開示に係る内視鏡検査支援装置により生成される表示画像に含まれる内視鏡画像の一例を示す図である。図５は、本開示に係る内視鏡検査支援装置により生成される表示画像に含まれる内視鏡画像の他の例を示す図である。ユーザは、例えば、図４に示すような内視鏡画像ＥＧＡに含まれる病変ＬＥＳを発見した際に、入力部１４の所定のボタンを押下することにより、先端部３８の送水口から前方へジェット水流を噴出させる。このようなユーザの操作によれば、内視鏡検査支援装置１は、例えば、図５に示すような内視鏡画像ＥＧＢを取得することができる。内視鏡画像ＥＧＢには、病変ＬＥＳと、ジェット水流ＪＷＳと、が含まれている。なお、本開示においては、図示の便宜のため、内視鏡画像内におけるジェット水流ＪＷＳが存在する領域を黒色のパターンで示すものとする。
　相対深度取得部２１は、内視鏡画像ＥＧＢの画素位置毎の相対深度ＳＤＢを示す相対深度情報ＳＤＪＢを取得し、当該取得した相対深度情報ＳＤＢＪを実深度取得部２３へ出力する。相対深度情報ＳＤＢＪには、例えば、内視鏡画像ＥＧＢの画素位置毎の相対深度ＳＤＢに応じた画素値を有するモノクロ画像が含まれている。
　参照物検出部２２は、内視鏡画像ＥＧＢに含まれるジェット水流ＪＷＳを参照物ＲＢＢとして検出する。また、参照物検出部２２は、内視鏡画像ＥＧＢ内におけるジェット水流ＪＷＳの位置及びサイズを示す情報として参照物情報ＲＢＢＪを取得し、当該取得した参照物情報ＲＢＪＢを実深度取得部２３へ出力する。
　実深度取得部２３は、相対深度情報ＳＤＢＪと、参照物情報ＲＢＢＪと、を用いた処理を行うことにより、当該相対深度情報ＳＤＢＪに含まれる各相対深度ＳＤＢに対応する実深度ＲＤＢを取得する。
　ここで、相対深度ＳＤＢに対応する実深度ＲＤＢを取得する方法の具体例について説明する。
　実深度取得部２３は、参照物情報ＲＢＢＪに含まれる情報を用い、内視鏡画像ＥＧＢ内におけるジェット水流ＪＷＳの到達位置に相当する画素位置ＰＰＪと、当該到達位置に到達した際のジェット水流ＪＷＳの先端部の幅に相当する画素数ＰＣＪと、を取得する（図５参照）。本具体例においては、ジェット水流ＪＷＳの到達位置を、当該ジェット水流ＪＷＳの先端部が大腸の内壁に接触した位置と言い替えることができる。また、実深度取得部２３は、画素位置ＰＰＪの座標値ＸＪ及びＹＪと、画素数ＰＣＪと、を所定の回帰式ＲＥに適用することにより、当該画素位置ＰＰＪの相対深度ＳＤＢＸに対応する実深度ＲＤＢＸを取得する。所定の回帰式ＲＥは、例えば、内視鏡画像内におけるジェット水流の到達位置に相当する画素位置と、当該到達位置に到達した際のジェット水流の先端部の幅に相当する画素数と、を変化させつつ実深度を測定して得られた測定データに対して重回帰分析を適用することにより求めることができる。なお、実深度取得部２３は、所定の回帰式ＲＥを用いて実深度ＲＤＢＸを取得する代わりに、例えば、座標値ＸＪ及びＹＪと、画素数ＰＣＪと、の組合せに該当する実深度ＲＤＢＸを前述の測定データの中から取得するものであってもよい。
　実深度取得部２３は、内視鏡画像ＥＧＢの画素位置ＰＰＪにおける相対深度ＳＤＢＸと実深度ＲＤＢＸとの関係を用い、当該内視鏡画像ＥＧＢの当該画素位置ＰＰＪ以外の各画素位置における相対深度ＳＤＢに対応する実深度ＲＤＢを算出する。具体的には、例えば、ＳＤＢＸ＝５０であり、ＲＤＢＸ＝Ｎミリメートルであり、かつ、画素位置ＰＰＪとは異なる画素位置ＰＰＹにおける相対深度ＳＤＢＹが３０である場合に、実深度取得部２３は、Ｎ×（３０／５０）を計算することにより、当該画素位置ＰＰＹにおける実深度ＲＤＢＹを算出する。すなわち、実深度取得部２３は、相対深度ＳＤＢＸに対する相対深度ＳＤＢＹの割合を実深度ＲＤＢＸに対して乗じることにより、実深度ＲＤＢＹを算出することができる。なお、実深度取得部２３は、例えば、相対深度情報ＳＤＢＪに含まれるモノクロ画像の画素位置ＰＰＪ及びＰＰＹにおける画素値を、相対深度ＳＤＢＸ及びＳＤＢＹとして取得することができる。
　実深度取得部２３は、以上に述べた方法を用い、相対深度情報ＳＤＢＪに含まれる各相対深度ＳＤＢに対応する実深度ＲＤＢを算出する。また、実深度取得部２３は、相対深度情報ＳＤＢＪに含まれるモノクロ画像の各画素に対し、以上に述べた方法を用いて算出した実深度ＲＤＢを紐づけることにより、内視鏡画像ＥＧＢの画素位置毎の実深度ＲＤＢを示す実深度情報ＲＤＢＪを取得する。また、実深度取得部２３は、実深度情報ＲＤＢＪを３次元復元部２４へ出力する。
　以上に述べた処理によれば、実深度取得部２３は、相対深度情報ＳＤＢＪと、参照物情報ＲＢＪと、に基づき、実深度情報ＲＤＢＪを取得することができる。また、以上に述べた処理によれば、実深度取得部２３は、画素位置ＰＰＪと、画素数ＰＣＪと、を用いた演算を行うことにより、当該画素位置ＰＰＪの相対深度ＳＤＢＸに対応する実深度ＲＤＢＸを取得することができる。また、以上に述べた処理によれば、実深度取得部２３は、画素位置ＰＰＪにおける相対深度ＳＤＢＸと実深度ＲＤＢＸとの関係を用いた演算を行うことにより、当該画素位置ＰＰＪ以外の各画素位置における相対深度ＳＤＢに対応する実深度ＲＤＢを取得することができる。
　３次元復元部２４は、実深度情報ＲＤＢＪと、先端部３８に設けられた内視鏡カメラのカメラパラメータと、に基づいて３次元復元処理を行うことにより３次元モデルＴＤＭＢを生成し、当該生成した３次元モデルＴＤＭＢを病変領域特定部２６へ出力する。すなわち、３次元復元部２４は、実深度情報ＲＤＢＪに応じた３次元モデルを生成することができる。
　病変検出部２５は、学習済の画像認識モデル等を用い、内視鏡画像ＥＧＢから病変ＬＥＳを検出する処理を行う。また、病変検出部２５は、内視鏡画像ＥＧＢ内における病変ＬＥＳの位置及びサイズを示す情報として病変検出情報ＤＣＢＪを取得し、当該取得した病変検出情報ＤＣＢＪを病変領域特定部２６へ出力する。
　病変領域特定部２６は、３次元モデルＴＤＭＢにおける病変検出情報ＤＣＢＪにより示される病変ＬＥＳに対応する領域を病変領域ＤＡＢとして特定する。換言すると、病変領域特定部２６は、３次元モデルＴＤＭＢにおける内視鏡画像ＥＧＢから検出された病変ＬＥＳに対応する領域を病変領域ＤＡＢとして特定する。また、病変領域特定部２６は、病変領域ＤＡＢの位置及びサイズを示す情報として病変領域情報ＤＡＢＪを取得し、当該取得した病変領域情報ＤＡＢＪを病変サイズ取得部２７へ出力する。
　病変サイズ取得部２７は、病変領域情報ＤＡＢＪにより示される病変領域ＤＡＢにおける最も離れた２つの位置を結ぶ線分ＬＮを取得する。また、病変サイズ取得部２７は、線分ＬＮの長さを用いた演算を行うことにより、病変領域ＤＡＢに含まれる病変ＬＥＳの長径の実長ＬＡを算出する。また、病変サイズ取得部２７は、病変領域ＤＡＢの位置及びサイズと、線分ＬＮと、実長ＬＡと、を含む病変サイズ情報ＬＳＢＪを取得し、当該取得した病変サイズ情報ＬＳＢＪを表示画像生成部２８へ出力する。
　以上に述べた処理によれば、病変サイズ取得部２７は、病変領域ＤＡＢに含まれる病変ＬＥＳの実サイズを示す情報として、当該病変ＬＥＳの長径の位置を示す線分ＬＮと、当該病変ＬＥＳの長径の実長ＬＡと、を取得することができる。また、以上に述べた処理によれば、病変サイズ取得部２７は、病変領域ＤＡＢに含まれる病変ＬＥＳの長径の位置を示す線分ＬＮを取得することができる。
　表示画像生成部２８は、病変サイズ情報ＬＳＪＢに含まれる線分ＬＮを内視鏡画像ＥＧＢの病変ＬＥＳに重畳する。また、表示画像生成部２８は、病変サイズ情報ＬＳＢＪに含まれる病変領域ＤＡＢの位置及びサイズに応じた矩形の枠ＲＦを生成し、当該枠ＲＦを内視鏡画像ＥＧＢの病変ＬＥＳの周囲に重畳する。また、表示画像生成部２８は、病変サイズ情報ＬＳＪＢに含まれる実長ＬＡに対応する文字列を生成し、当該文字列を枠ＲＦの近傍に重畳する。
　以上に述べた処理によれば、表示画像生成部２８は、例えば、図６に示すような内視鏡画像ＥＧＣを含む表示画像ＨＧＣを生成し、当該生成した表示画像ＨＧＣを表示装置２へ出力することができる。内視鏡画像ＥＧＣには、病変ＬＥＳと、ジェット水流ＬＷＳと、枠ＲＦと、線分ＬＮと、実長ＬＡを示す文字列と、が含まれている。また、以上に述べた処理によれば、表示画像生成部２８は、病変領域ＤＡＢに含まれる病変ＬＥＳの実サイズに係る情報を提示することができる。また、以上に述べた処理によれば、表示画像生成部２８は、病変ＬＥＳの長径の位置を示す線分ＬＮと、当該病変ＬＥＳの長径の実長ＬＡを示す文字列と、を内視鏡画像ＥＧＢに対して重畳することにより、当該病変ＬＥＳの実サイズに係る情報を提示することができる。また、以上に述べた処理によれば、表示画像生成部２８は、病変領域ＤＡＳに応じた枠ＲＦを生成し、当該生成した枠ＲＦを内視鏡画像ＥＧＢにおける病変ＬＥＳの周囲に重畳することができる。図６は、本開示に係る内視鏡検査支援装置により生成される表示画像に含まれる内視鏡画像の他の例を示す図である。
　図６の内視鏡画像ＥＧＣによれば、ユーザは、内視鏡画像ＥＧＣに含まれる病変ＬＥＳの位置と、当該病変ＬＥＳの長径の位置と、を直感的に把握することができる。また、図６の内視鏡画像ＥＧＣによれば、ユーザは、病変ＬＥＳの長径の実長が１８ｍｍであることを把握することができる。
　［処理フロー］
　続いて、内視鏡検査支援装置１において行われる処理の流れについて説明する。図７は、本開示に係る内視鏡検査支援装置において行われる処理の一例を示すフローチャートである。
　まず、内視鏡検査支援装置１は、内視鏡画像の画素位置毎の相対深度を示す相対深度情報を取得する（ステップＳ１１）。
　次に、内視鏡検査支援装置１は、ステップＳ１１の処理に用いた内視鏡画像に含まれる参照物を検出し、当該内視鏡画像内における当該参照物の位置及びサイズを示す参照物情報を取得する（ステップＳ１２）。
　続いて、内視鏡検査支援装置１は、ステップＳ１１により得られた相対深度情報と、ステップＳ１２により得られた参照物情報と、を用いた処理を行うことにより、ステップＳ１１の処理に用いた内視鏡画像の画素位置毎の実深度を示す実深度情報を取得する（ステップＳ１３）。
　続いて、内視鏡検査支援装置１は、ステップＳ１３により得られた実深度情報と、内視鏡カメラのカメラパラメータと、に基づいて３次元復元処理を行うことにより、内視鏡検査時の大腸（の腸管）の構造に応じた３次元モデルを生成する（ステップＳ１４）。
　続いて、内視鏡検査支援装置１は、ステップＳ１１の処理に用いた内視鏡画像から病変を検出し、当該内視鏡画像内における当該病変の位置及びサイズを示す病変検出情報を取得する（ステップＳ１５）。
　続いて、内視鏡検査支援装置１は、ステップＳ１４により得られた３次元モデルにおけるステップＳ１５により得られた病変検出情報により示される病変に対応する領域を病変領域として特定し、当該病変領域の位置及びサイズを示す病変領域情報を取得する（ステップＳ１６）。
　続いて、内視鏡検査支援装置１は、ステップＳ１６により得られた病変領域情報を用いた処理を行うことにより、病変領域に含まれる病変の実サイズを示す病変サイズ情報を取得する（ステップＳ１７）。
　続いて、内視鏡検査支援装置１は、ステップＳ１１の処理に用いた内視鏡画像と、ステップＳ１７により得られた病変サイズ情報と、に応じた表示画像を生成し、当該生成した表示画像を表示装置２へ出力する（ステップＳ１８）。
　以上に述べたように、本実施形態によれば、内視鏡画像の画素位置毎の実深度に応じた３次元モデルを生成し、当該３次元モデルにおける当該内視鏡画像から検出された病変に対応する領域を病変領域として特定することができる。また、以上に述べたように、本実施形態によれば、前述の３次元モデルにおける病変領域に含まれる病変の実サイズを示す情報を取得し、当該取得した情報に応じた画像を表示することができる。そのため、本実施形態によれば、内視鏡検査時に発見された病変の正確なサイズに係る情報を提示することができる。
　［変形例］
　以下、本実施形態に対する変形例を説明する。なお、以降においては、簡単のため、既述の処理等を適用可能な部分に関する具体的な説明を適宜省略する。
　（変形例１）
　表示画像生成部２８は、例えば、参照物検出部２２から得られた参照物情報と、実深度取得部２３から得られた実深度情報と、に基づき、内視鏡画像におけるジェット水流の先端部の位置を示す線分と、当該内視鏡画像における当該ジェット水流の到達位置の実深度に対応する文字列と、当該ジェット水流が噴出する送水口の幅に対応する文字列と、を含む表示画像を生成するものであってもよい。このような処理によれば、表示画像生成部２８は、例えば、図８に示すような内視鏡画像ＥＧＰを含む表示画像を生成することができる。具体的には、表示画像生成部２８は、例えば、内視鏡画像ＥＧＣに対し、ジェット水流ＪＷＳの先端部の位置を示す線分ＬＰと、当該ジェット水流ＪＷＳの到達位置の実深度ＲＤＢＸに対応する文字列と、当該ジェット水流ＪＷＳが噴出する送水口の幅ＷＰを示す文字列と、を重畳することにより、内視鏡画像ＥＧＰを生成することができる。また、表示画像生成部２８は、前述のように生成した内視鏡画像ＥＧＰを含む表示画像を生成し、当該生成した表示画像を表示装置２へ出力することができる。図８は、本開示に係る内視鏡検査支援装置により生成される表示画像に含まれる内視鏡画像の他の例を示す図である。
　（変形例２）
　参照物検出部２２は、ジェット水流の代わりに、例えば、生検鉗子等のような、先端部３８の鉗子口から前方へ突出した状態で大腸の内壁に接触している処置具を参照物として検出するようにしてもよい。また、参照物検出部２２は、内視鏡画像内における処置具の先端部の非可動部の位置及びサイズを示す参照物情報を取得するようにしてもよい。このような場合において、実深度取得部２３は、例えば、内視鏡画像内における処置具の先端部の非可動部の画素位置及び画素数を用い、ジェット水流の場合と同様の演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得することができる。なお、処置具の先端部の非可動部には、例えば、当該処置具のシャフトを含めることができる。
　（変形例３）
　参照物検出部２２は、ジェット水流の代わりに、例えば、止血クリップ等のような、大腸の内壁に接触した状態で配置されている人工物を参照物ＲＢとして検出するようにしてもよい。また、参照物検出部２２は、内視鏡画像内における人工物の所定の部分の位置及びサイズを示す参照物情報を取得するようにしてもよい。このような場合において、実深度取得部２３は、例えば、内視鏡画像内における人工物の所定の部分の画素位置及び画素数を用い、ジェット水流の場合と同様の演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得することができる。
　＜第２実施形態＞
　図９は、本開示に係る内視鏡検査支援装置の機能構成の他の例を示すブロック図である。
　内視鏡検査支援装置５００は、内視鏡検査支援装置１と同様のハードウェア構成を有している。また、内視鏡検査支援装置５００は、実深度取得手段５１１と、３次元モデル生成手段５１２と、病変領域特定手段５１３と、情報提示手段５１４と、を有している。
　実深度取得手段５１１は、例えば、実深度取得部２３が有する機能を用いて実現することができる。また、３次元モデル生成手段５１２は、例えば、３次元復元部２４が有する機能を用いて実現することができる。また、病変領域特定手段５１３は、例えば、病変領域特定部２６が有する機能を用いて実現することができる。また、情報提示手段５１４は、例えば、表示画像生成部２８が有する機能を用いて実現することができる。
　図１０は、本開示に係る内視鏡検査支援装置において行われる処理の他の例を示すフローチャートである。
　実深度取得手段５１１は、内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得する（ステップＳ５１）。
　３次元モデル生成手段５１２は、実深度情報に応じた３次元モデルを生成する（ステップＳ５２）。
　病変領域特定手段５１３は、３次元モデルにおける内視鏡画像から検出された病変に対応する領域を病変領域として特定する（ステップＳ５３）。
　情報提示手段５１４は、病変領域に含まれる病変の実サイズに係る情報を提示する（ステップＳ５４）。
　本実施形態によれば、内視鏡検査時に発見された病変の正確なサイズに係る情報を提示することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得する実深度取得手段と、
　前記実深度情報に応じた３次元モデルを生成する３次元モデル生成手段と、
　前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定する病変領域特定手段と、
　前記病変領域に含まれる前記病変の実サイズに係る情報を提示する情報提示手段と、
　を有する内視鏡検査支援装置。
　（付記２）
　前記情報提示手段は、前記病変の長径の位置を示す第１の線分と、前記病変の長径の実長を示す第１の文字列と、を前記内視鏡画像に対して重畳することにより、前記病変の実サイズに係る情報を提示する付記１の内視鏡検査支援装置。
　（付記３）
　前記情報提示手段は、前記病変領域に応じた枠を生成し、当該生成した枠を前記内視鏡画像における前記病変の周囲に重畳する付記２の内視鏡検査支援装置。
　（付記４）
　前記情報提示手段は、前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像における当該ジェット水流の先端部の位置を示す第２の線分と、前記内視鏡画像における当該ジェット水流の到達位置の実深度に対応する第２の文字列と、当該ジェット水流が噴出する送水口の幅に対応する第３の文字列と、を前記内視鏡画像に重畳する付記２の内視鏡検査支援装置。
　（付記５）
　前記実深度取得手段は、前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像内における当該ジェット水流の到達位置に相当する画素位置と、当該到達位置に到達した際の当該ジェット水流の先端部の幅に相当する画素数と、を用いた演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得する付記１の内視鏡検査支援装置。
　（付記６）
　前記実深度取得手段は、前記内視鏡画像の前記画素位置における相対深度と実深度との関係を用いた演算を行うことにより、前記内視鏡画像の前記画素位置以外の各画素位置における相対深度に対応する実深度を取得する付記５の内視鏡検査支援装置。
　（付記７）
　前記実深度取得手段は、前記参照物が内視鏡の先端部から突出した状態で管腔臓器の内壁に接触している処置具である場合に、前記内視鏡画像内における当該処置具の先端部の非可動部の画素位置及び画素数を用いた演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得する付記１の内視鏡検査支援装置。
　（付記８）
　前記相対深度情報は、前記内視鏡画像を学習済の機械学習モデルに入力することにより得られる出力画像に相当する付記１の内視鏡検査支援装置。
　（付記９）
　コンピュータが実行する内視鏡検査支援方法であって、
　内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得し、
　前記実深度情報に応じた３次元モデルを生成し、
　前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定し、
　前記病変領域に含まれる前記病変の実サイズに係る情報を提示する内視鏡検査支援方法。
　（付記１０）
　前記病変の長径の位置を示す第１の線分と、前記病変の長径の実長を示す第１の文字列と、を前記内視鏡画像に対して重畳することにより、前記病変の実サイズに係る情報を提示する付記９の内視鏡検査支援方法。
　（付記１１）
　前記病変領域に応じた枠を生成し、当該生成した枠を前記内視鏡画像における前記病変の周囲に重畳する付記１０の内視鏡検査支援方法。
　（付記１２）
　前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像における当該ジェット水流の先端部の位置を示す第２の線分と、前記内視鏡画像における当該ジェット水流の到達位置の実深度に対応する第２の文字列と、当該ジェット水流が噴出する送水口の幅に対応する第３の文字列と、を前記内視鏡画像に重畳する付記１０の内視鏡検査支援方法。
　（付記１３）
　前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像内における当該ジェット水流の到達位置に相当する画素位置と、当該到達位置に到達した際の当該ジェット水流の先端部の幅に相当する画素数と、を用いた演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得する付記９の内視鏡検査支援方法。
　（付記１４）
　前記内視鏡画像の前記画素位置における相対深度と実深度との関係を用いた演算を行うことにより、前記内視鏡画像の前記画素位置以外の各画素位置における相対深度に対応する実深度を取得する付記１３の内視鏡検査支援方法。
　（付記１５）
　内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得し、
　前記実深度情報に応じた３次元モデルを生成し、
　前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定し、
　前記病変領域に含まれる前記病変の実サイズに係る情報を提示する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　（付記１６）
　前記病変の長径の位置を示す第１の線分と、前記病変の長径の実長を示す第１の文字列と、を前記内視鏡画像に対して重畳することにより、前記病変の実サイズに係る情報を提示する処理をコンピュータに実行させるプログラムを記録した付記１５の記録媒体。
　（付記１７）
　前記病変領域に応じた枠を生成し、当該生成した枠を前記内視鏡画像における前記病変の周囲に重畳する処理をコンピュータに実行させるプログラムを記録した付記１６の記録媒体。
　（付記１８）
　前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像における当該ジェット水流の先端部の位置を示す第２の線分と、前記内視鏡画像における当該ジェット水流の到達位置の実深度に対応する第２の文字列と、当該ジェット水流が噴出する送水口の幅に対応する第３の文字列と、を前記内視鏡画像に重畳する処理をコンピュータに実行させるプログラムを記録した付記１６の記録媒体。
　（付記１９）
　前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像内における当該ジェット水流の到達位置に相当する画素位置と、当該到達位置に到達した際の当該ジェット水流の先端部の幅に相当する画素数と、を用いた演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得する処理をコンピュータに実行させるプログラムを記録した付記１５の内視鏡検査支援方法。
　（付記２０）
　前記内視鏡画像の前記画素位置における相対深度と実深度との関係を用いた演算を行うことにより、前記内視鏡画像の前記画素位置以外の各画素位置における相対深度に対応する実深度を取得する処理をコンピュータに実行させるプログラムを記録した付記１９の記録媒体。
　以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。また、上述した付記１に従属する付記２～８に記載した構成の一部または全ては、付記９及び付記１５に対しても付記２～８と同様の従属関係により従属し得る。さらには、付記１、付記９及び付記１５に限らず、上述した各実施の形態から逸脱しない範囲において、様々なハードウェア、ソフトウェア、ソフトウェアを記録するための種々の記録手段、またはシステムに対しても同様に、付記として記載した構成の一部または全てを従属させ得る。
　１　内視鏡検査支援装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　２１　相対深度取得部
　２２　参照物検出部
　２３　実深度取得部
　２４　３次元復元部
　２５　病変検出部
　２６　病変領域特定部
　２７　病変サイズ取得部
　２８　表示画像生成部

Claims (20)

  1. 　内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得する実深度取得手段と、
    　前記実深度情報に応じた３次元モデルを生成する３次元モデル生成手段と、
    　前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定する病変領域特定手段と、
    　前記病変領域に含まれる前記病変の実サイズに係る情報を提示する情報提示手段と、
    　を有する内視鏡検査支援装置。
  2. 　前記情報提示手段は、前記病変の長径の位置を示す第１の線分と、前記病変の長径の実長を示す第１の文字列と、を前記内視鏡画像に対して重畳することにより、前記病変の実サイズに係る情報を提示する請求項１に記載の内視鏡検査支援装置。
  3. 　前記情報提示手段は、前記病変領域に応じた枠を生成し、当該生成した枠を前記内視鏡画像における前記病変の周囲に重畳する請求項２に記載の内視鏡検査支援装置。
  4. 　前記情報提示手段は、前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像における当該ジェット水流の先端部の位置を示す第２の線分と、前記内視鏡画像における当該ジェット水流の到達位置の実深度に対応する第２の文字列と、当該ジェット水流が噴出する送水口の幅に対応する第３の文字列と、を前記内視鏡画像に重畳する請求項２に記載の内視鏡検査支援装置。
  5. 　前記実深度取得手段は、前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像内における当該ジェット水流の到達位置に相当する画素位置と、当該到達位置に到達した際の当該ジェット水流の先端部の幅に相当する画素数と、を用いた演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得する請求項１に記載の内視鏡検査支援装置。
  6. 　前記実深度取得手段は、前記内視鏡画像の前記画素位置における相対深度と実深度との関係を用いた演算を行うことにより、前記内視鏡画像の前記画素位置以外の各画素位置における相対深度に対応する実深度を取得する請求項５に記載の内視鏡検査支援装置。
  7. 　前記実深度取得手段は、前記参照物が内視鏡の先端部から突出した状態で管腔臓器の内壁に接触している処置具である場合に、前記内視鏡画像内における当該処置具の先端部の非可動部の画素位置及び画素数を用いた演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得する請求項１に記載の内視鏡検査支援装置。
  8. 　前記相対深度情報は、前記内視鏡画像を学習済の機械学習モデルに入力することにより得られる出力画像に相当する請求項１に記載の内視鏡検査支援装置。
  9. 　コンピュータが実行する内視鏡検査支援方法であって、
    　内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得し、
    　前記実深度情報に応じた３次元モデルを生成し、
    　前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定し、
    　前記病変領域に含まれる前記病変の実サイズに係る情報を提示する内視鏡検査支援方法。
  10. 　前記病変の長径の位置を示す第１の線分と、前記病変の長径の実長を示す第１の文字列と、を前記内視鏡画像に対して重畳することにより、前記病変の実サイズに係る情報を提示する請求項９に記載の内視鏡検査支援方法。
  11. 　前記病変領域に応じた枠を生成し、当該生成した枠を前記内視鏡画像における前記病変の周囲に重畳する請求項１０に記載の内視鏡検査支援方法。
  12. 　前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像における当該ジェット水流の先端部の位置を示す第２の線分と、前記内視鏡画像における当該ジェット水流の到達位置の実深度に対応する第２の文字列と、当該ジェット水流が噴出する送水口の幅に対応する第３の文字列と、を前記内視鏡画像に重畳する請求項１０に記載の内視鏡検査支援方法。
  13. 　前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像内における当該ジェット水流の到達位置に相当する画素位置と、当該到達位置に到達した際の当該ジェット水流の先端部の幅に相当する画素数と、を用いた演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得する請求項９に記載の内視鏡検査支援方法。
  14. 　前記内視鏡画像の前記画素位置における相対深度と実深度との関係を用いた演算を行うことにより、前記内視鏡画像の前記画素位置以外の各画素位置における相対深度に対応する実深度を取得する請求項１３に記載の内視鏡検査支援方法。
  15. 　内視鏡画像の画素位置毎の相対深度を示す相対深度情報と、当該内視鏡画像内における参照物の位置及びサイズを示す参照物情報と、に基づき、当該内視鏡画像の画素位置毎の実深度を示す実深度情報を取得し、
    　前記実深度情報に応じた３次元モデルを生成し、
    　前記３次元モデルにおける前記内視鏡画像から検出された病変に対応する領域を病変領域として特定し、
    　前記病変領域に含まれる前記病変の実サイズに係る情報を提示する処理をコンピュータに実行させるプログラムを記録した記録媒体。
  16. 　前記病変の長径の位置を示す第１の線分と、前記病変の長径の実長を示す第１の文字列と、を前記内視鏡画像に対して重畳することにより、前記病変の実サイズに係る情報を提示する処理をコンピュータに実行させるプログラムを記録した請求項１５に記載の記録媒体。
  17. 　前記病変領域に応じた枠を生成し、当該生成した枠を前記内視鏡画像における前記病変の周囲に重畳する処理をコンピュータに実行させるプログラムを記録した請求項１６に記載の記録媒体。
  18. 　前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像における当該ジェット水流の先端部の位置を示す第２の線分と、前記内視鏡画像における当該ジェット水流の到達位置の実深度に対応する第２の文字列と、当該ジェット水流が噴出する送水口の幅に対応する第３の文字列と、を前記内視鏡画像に重畳する処理をコンピュータに実行させるプログラムを記録した請求項１６に記載の記録媒体。
  19. 　前記参照物が内視鏡の先端部から噴出するジェット水流である場合に、前記内視鏡画像内における当該ジェット水流の到達位置に相当する画素位置と、当該到達位置に到達した際の当該ジェット水流の先端部の幅に相当する画素数と、を用いた演算を行うことにより、当該画素位置の相対深度に対応する実深度を取得する処理をコンピュータに実行させるプログラムを記録した請求項１５に記載の記録媒体。
  20. 　前記内視鏡画像の前記画素位置における相対深度と実深度との関係を用いた演算を行うことにより、前記内視鏡画像の前記画素位置以外の各画素位置における相対深度に対応する実深度を取得する処理をコンピュータに実行させるプログラムを記録した請求項１９に記載の記録媒体。
PCT/JP2023/040881 2023-11-14 2023-11-14 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 Pending WO2025104800A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/040881 WO2025104800A1 (ja) 2023-11-14 2023-11-14 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/040881 WO2025104800A1 (ja) 2023-11-14 2023-11-14 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2025104800A1 true WO2025104800A1 (ja) 2025-05-22

Family

ID=95742381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/040881 Pending WO2025104800A1 (ja) 2023-11-14 2023-11-14 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2025104800A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008194156A (ja) * 2007-02-09 2008-08-28 Hoya Corp 電子内視鏡装置
JP2016182161A (ja) * 2015-03-25 2016-10-20 富士フイルム株式会社 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体
WO2018051680A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2019017018A1 (ja) * 2017-07-18 2019-01-24 富士フイルム株式会社 内視鏡装置及び計測支援方法
US20200342628A1 (en) * 2019-04-28 2020-10-29 Ankon Technologies Co., Ltd Method for measuring objects in digestive tract based on imaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008194156A (ja) * 2007-02-09 2008-08-28 Hoya Corp 電子内視鏡装置
JP2016182161A (ja) * 2015-03-25 2016-10-20 富士フイルム株式会社 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体
WO2018051680A1 (ja) * 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
WO2019017018A1 (ja) * 2017-07-18 2019-01-24 富士フイルム株式会社 内視鏡装置及び計測支援方法
US20200342628A1 (en) * 2019-04-28 2020-10-29 Ankon Technologies Co., Ltd Method for measuring objects in digestive tract based on imaging system

Similar Documents

Publication Publication Date Title
US20170296032A1 (en) Branching structure determination apparatus, method, and program
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
WO2014136579A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP7589738B2 (ja) 画像処理装置、制御方法及びプログラム
US20180263527A1 (en) Endoscope position specifying device, method, and program
JP2023552032A (ja) 医療処置中に未検査領域を識別するためのデバイス、システム、及び方法
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
US20250281022A1 (en) Endoscopy support device, endoscopy support method, and recording medium
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
US20250000329A1 (en) Information processing device, information processing method, and recording medium
WO2025104800A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP6745748B2 (ja) 内視鏡位置特定装置、その作動方法およびプログラム
JP7768398B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、プログラム
JP7647873B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2024195100A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP7750418B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、プログラム
WO2024028924A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP7609278B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2024121886A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20250166297A1 (en) Image processing apparatus, image processing method, and storage medium
US20240138651A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2025032671A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024195020A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20250241514A1 (en) Image display device, image display method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23958811

Country of ref document: EP

Kind code of ref document: A1