[go: up one dir, main page]

WO2018230099A1 - 内視鏡システム、内視鏡システムの作動方法 - Google Patents

内視鏡システム、内視鏡システムの作動方法 Download PDF

Info

Publication number
WO2018230099A1
WO2018230099A1 PCT/JP2018/013155 JP2018013155W WO2018230099A1 WO 2018230099 A1 WO2018230099 A1 WO 2018230099A1 JP 2018013155 W JP2018013155 W JP 2018013155W WO 2018230099 A1 WO2018230099 A1 WO 2018230099A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
section
cross
endoscope
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/013155
Other languages
English (en)
French (fr)
Inventor
秋本　俊也
聡一 生熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to CN201880038751.9A priority Critical patent/CN110769731B/zh
Publication of WO2018230099A1 publication Critical patent/WO2018230099A1/ja
Priority to US16/713,319 priority patent/US11432707B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to an endoscope system for estimating a three-dimensional shape in a subject based on an image acquired by an endoscope and position information and posture information of the endoscope, and an operation method of the endoscope system.
  • An endoscope system that estimates a three-dimensional shape in a subject based on an image acquired by an endoscope and position information and posture information of the endoscope has been conventionally proposed.
  • Japanese Patent Application Laid-Open No. 2003-225195 discloses a monitor device for a flexible endoscope provided with a bending state display means for detecting a bending state of a flexible insertion portion and displaying it on a monitor screen.
  • Organ shape display means for displaying the shape of the organ to be inserted in the insertion portion on the monitor screen together with the bending state of the insertion portion, and organ shape correction for correcting the shape of the organ displayed on the monitor screen according to an external input Providing means.
  • Japanese Unexamined Patent Publication No. 2009-213627 discloses the following contents.
  • the patient is swallowed with a capsule endoscope (CE), and an endoscopy is performed.
  • the doctor selects CE image data (point of interest image data) of a site to be observed (point of interest) suspected of having a lesion from the CE image data obtained by CE.
  • the doctor selects CE image data of the site to be observed in the middle of the endoscope insertion path from the mouth to the point of interest.
  • endoscopy using a balloon endoscope (BE) it is determined whether or not the BE image data obtained by BE is similar to each point image data previously selected by the doctor. . Thereby, it is detected by detecting which point the tip of the BE has reached, that is, the relative position of the tip.
  • BE balloon endoscope
  • the position of a point group constituting the shape of the organ is estimated, and this estimated position generally includes an error.
  • a subject having a surface shape (a shape such as a plane or a curved surface) is estimated as a subject having a lumen shape, for example.
  • a subject having a surface shape a shape such as a plane or a curved surface
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an endoscope system and an operation method of the endoscope system that can increase the reliability of the estimated three-dimensional shape in the subject. It is said.
  • An endoscope system includes an endoscope that captures an image of a subject and acquires an image, a position and orientation information acquisition unit that acquires position information and posture information of the endoscope, and the image
  • a three-dimensional position estimation unit that estimates a relative three-dimensional position of the target portion in the subject as viewed from the endoscope, the relative three-dimensional position, the position information, and the posture information;
  • a cross section that is a plane that intersects the core line of the region that includes the trajectory that the endoscope has passed based on the position information, and a shape estimation unit that estimates a three-dimensional shape in the subject
  • a determination unit that determines an erroneously estimated portion in the three-dimensional shape based on a shape characteristic of the shape cross-section that is a portion that intersects the cross-section of the three-dimensional shape.
  • An operation method of an endoscope system is an operation method of an endoscope system including an endoscope that captures an image of a subject and acquires an image, and the position and orientation information acquisition unit includes: The position information and posture information of the endoscope are acquired, and a three-dimensional position estimation unit estimates a relative three-dimensional position of the target portion in the subject viewed from the endoscope based on the image. The shape estimating unit estimates the three-dimensional shape in the subject based on the relative three-dimensional position, the position information and the posture information, and the cross-section generating unit is based on the position information.
  • a cross section that is a plane that intersects a core line of a region that includes a trajectory through which the endoscope has passed is generated, and the determination unit is based on a shape characteristic of the cross section of the three-dimensional shape that is a portion that intersects the cross section.
  • the mis-estimated part in the three-dimensional shape To.
  • FIG. 3 is a block diagram illustrating a configuration of a three-dimensional image generation unit in the first embodiment.
  • the chart which shows a mode that it observes, inserting an endoscope in the said Embodiment 1, and estimating a three-dimensional position and also estimating a three-dimensional shape.
  • 3 is a flowchart showing the operation of the endoscope system in the first embodiment.
  • 5 is a flowchart showing a shape correction process in the first embodiment.
  • 5 is a flowchart showing a shape cross-section calculation process in the first embodiment.
  • vertical to a core wire is calculated.
  • vertical to a core wire is calculated.
  • FIG. 1 The figure which shows a mode that the connection line segment which connects the center point of an intersection line segment and the locus
  • FIG. 2 The flowchart which shows the process of the shape correction in Embodiment 2 of this invention.
  • the angle formed between the center vector from the locus center of gravity to the center point of each intersection line segment and the projection normal vector obtained by projecting the normal vector of each polygon including each intersection line segment onto the cross section is The figure which shows the example which is less than an angle threshold value.
  • the figure which shows the example which the angle which a center vector and a projection normal vector make in the said Embodiment 2 is more than an angle threshold value.
  • a connecting line segment that connects a trajectory point that is the intersection of the cross section and the trajectory of the endoscope and the center point of the intersecting line segment is calculated, and the calculated connecting line segment is an intersection line of the shape cross section.
  • action of the endoscope system in Embodiment 4 of this invention. 10 is a flowchart showing display color change processing in the fourth embodiment.
  • FIG. 4 An example in which it is determined that there is no erroneous estimation of the shape in the determination based on the angle formed by the projection normal vectors, the linear distance between the center points, and the path along the shape cross section between the center points.
  • FIG. 4 an example in which it is determined that there is an erroneous estimation of the shape based on the angle formed by the projection normal vectors, the linear distance between the center points, and the path along the shape cross section between the center points.
  • FIG. The flowchart which shows the process of the shape correction in Embodiment 5 of this invention.
  • FIG. 1 is a block diagram showing the configuration of an endoscope system.
  • the endoscope system includes an endoscope 1, a processing system 2, a light source 3, and a display device 4.
  • the processing system 2 and the light source 3 are separated from each other, but may be integrated.
  • the endoscope 1 is an image acquisition device that captures an image of a subject and acquires an image, and includes an imaging unit 11, an irradiation unit 12, an operation unit 13, and a position / orientation detection unit 14 that is a measurement unit. I have. Among these, the imaging unit 11, the irradiation unit 12, and the position / orientation detection unit 14 are disposed, for example, at the distal end of the insertion unit of the endoscope 1, and the operation unit 13 is connected to the proximal side of the insertion unit.
  • the renal pelvic kidney goblet (see FIG. 8 and the like) is taken as an example of the subject.
  • the subject is not limited to this, and a wide variety of subjects can be used for endoscopic observation. Can be applied.
  • the irradiation unit 12 irradiates illumination light transmitted from the light source 3 through, for example, a light guide toward the inside of the subject.
  • the irradiation unit 12 may be configured as a light emission source such as an LED, and the illumination light may be emitted by the power supplied from the light source 3.
  • the imaging unit 11 includes an imaging element 11a, forms an optical image inside the subject irradiated with illumination light by an objective optical system, performs photoelectric conversion by the imaging element 11a, and generates a captured image. And get.
  • the operation unit 13 is used to perform various operations related to the endoscope 1 such as a bending operation of a bending portion when an imaging portion is provided with a bending portion.
  • the position / orientation detection unit 14 detects the position of the distal end portion of the insertion portion of the endoscope 1 and outputs a position detection signal, and detects the direction in which the distal end portion of the insertion portion of the endoscope 1 faces to detect the orientation. Output a signal.
  • the position / orientation detection unit 14 detects coordinates of three axes (xyz axes) that are spatial coordinates and angles around the three axes based on, for example, a magnetic field, and is also called a 6D sensor or the like.
  • the processing system 2 controls the endoscope 1 and the light source 3 and processes a captured image acquired from the endoscope 1 to generate image data for display. Further, the processing system 2 estimates a three-dimensional position p (see FIG. 4 and the like) in the subject based on the acquired image, and guides the three-dimensional image in the subject based on the estimated three-dimensional position p, for example. It is generated as an image and output to the display device 4.
  • the processing system 2 includes an image processing unit 21, a three-dimensional position estimation unit 22, a three-dimensional image generation unit 23, an image composition output unit 24, and a control unit 25.
  • the image processing unit 21 performs various types of image processing such as synchronization processing (or demosaicing processing), white balance processing, color matrix processing, and gamma conversion processing on the captured image output from the imaging unit 11, An endoscopic image is generated.
  • synchronization processing or demosaicing processing
  • white balance processing or color matrix processing
  • gamma conversion processing on the captured image output from the imaging unit 11, An endoscopic image is generated.
  • the three-dimensional position estimator 22 selects a target in the subject 9 (see FIG. 4 and the like) based on an image (a captured image acquired by the image sensor 11a or an endoscopic image processed by the image processor 21). A relative three-dimensional position of the portion viewed from the endoscope 1 is estimated.
  • the three-dimensional position estimation unit 22 determines the subject from the distance between the endoscope 1 and the subject, more specifically, from the distal end portion of the endoscope 1 (the distal end portion of the insertion portion) based on the image. Estimate the distance to the target part.
  • the three-dimensional position estimation unit 22 estimates the distance from the distal end portion of the endoscope 1 to the target portion of the subject based on the image.
  • the distance to the target portion of the subject can be estimated according to the luminance of the image (the luminance of the target portion shown in the image).
  • the present invention is not limited to this.
  • the distance between the endoscope 1 and the subject is determined based on the phase difference between a plurality of images obtained from the plurality of imaging units. You may make it calculate.
  • a distance image sensor based on a pattern irradiation method or a TOF (Time Of Flight) method may be provided in the endoscope system so that the distance between the endoscope 1 and the subject is calculated. Good.
  • the three-dimensional position estimation unit 22 is viewed from the distal end of the endoscope 1 based on the estimated distance and the position of the target portion in the image (the position of the pixel in which the target portion is reflected in the image).
  • the relative three-dimensional position (relative three-dimensional position) of the target portion is estimated.
  • the configuration of the objective optical system of the endoscope 1 is known, and information such as the angle of view is known in advance.
  • the orientation of the target portion viewed from the distal end portion of the endoscope 1 can be known from the position of the pixel in which the target portion is reflected in the image acquired by the endoscope 1. Therefore, it is possible to know the distance and orientation of the target portion viewed from the distal end portion of the endoscope 1, that is, the relative three-dimensional position of the target portion with respect to the endoscope 1 (three-dimensional position in the relative coordinate system).
  • the 3D image generation unit 23 generates a 3D shape image corresponding to the reliability using the relative 3D position estimated by the 3D position estimation unit 22 based on the control of the control unit 25.
  • FIG. 3 is a block diagram illustrating a configuration of the three-dimensional image generation unit 23.
  • the three-dimensional image generation unit 23 includes a shape estimation unit 23a, a shape correction unit 23b, and a display mode change unit 23c.
  • the shape estimator 23a calculates the relative 3D position estimated by the 3D position estimator 22 and the position / orientation information acquisition unit (the position / orientation detector 14 and the position / orientation calculator 28 shown in FIG. 1 or the position shown in FIG. 2). Based on the position information and posture information of the endoscope 1 acquired by the posture estimation unit 29), the three-dimensional position p of the target portion in the absolute coordinate system such as the treatment room is estimated.
  • the shape estimation unit 23a determines the three-dimensional shape 31 (FIG. 4 etc.) in the subject 9 based on the three-dimensional position p of the target portion (this three-dimensional position p is generally acquired with respect to a plurality of points). Estimate). Specifically, the shape estimation unit 23a uses a known method such as a ball-pivoting algorithm based on the three-dimensional position p of the target portion, for example, see the polygon 31p (see FIG. 10, FIG. 11, etc.). ) And a three-dimensional shape image composed of a plurality of polygons 31p (this three-dimensional shape image may indicate only the shape by connecting a plurality of polygons 31p, It is also possible to create an image with a pasted endoscope image.
  • a known method such as a ball-pivoting algorithm based on the three-dimensional position p of the target portion, for example, see the polygon 31p (see FIG. 10, FIG. 11, etc.).
  • the shape correcting unit 23b uses the three-dimensional shape 31 estimated by the shape estimating unit 23a as an erroneously estimated portion determined by the determining unit 27 described later (an erroneously estimated portion of the three-dimensional shape 31 estimated by the shape estimating unit 23a). Delete from.
  • the display mode changing unit 23c replaces the erroneously estimated portion determined by the determining unit 27 with another portion (an erroneously estimated portion) in the three-dimensional shape 31 estimated by the shape estimating unit 23a.
  • the display mode is different from that of the portion not determined to be, for example, a different display color.
  • the display mode changing unit 23c is not limited to functioning as a display color changing unit that changes the display color, and can be identified by changing the display mode between an erroneously estimated portion and a portion that has not been determined to be erroneously estimated. Anything to do.
  • the display mode changing unit 23c may vary the luminance between the erroneously estimated portion and the portion that has not been determined to be erroneously estimated, or may add a specific pattern to the erroneously estimated portion.
  • the shape correcting unit 23b and the display mode changing unit 23c function alternatively, for example, and when the erroneously estimated portion is deleted, the shape correcting unit 23b functions to display the display mode changing unit. 23c does not function, and when the erroneously estimated portion is left without being deleted, the display mode changing unit 23c functions and the shape correcting unit 23b does not function.
  • the image composition output unit 24 arranges the endoscopic image generated by the image processing unit 21 and the three-dimensional shape image generated by the three-dimensional image generation unit 23 side by side into a single image and displays the image on the display device 4. Output.
  • the user inserts and removes the endoscope 1 through the display device 4 while using the three-dimensional shape image as a guide, and observes the inside of the subject with the endoscope image to perform examinations and treatments. It can be carried out.
  • the control unit 25 is connected to the image processing unit 21, the three-dimensional position estimation unit 22, the three-dimensional image generation unit 23, and the image composition output unit 24 described above, and controls the entire processing system 2 while The mirror 1 is also controlled, and the light source 3 is turned on / off and the amount of light is also controlled.
  • the control unit 25 includes a cross-section generation unit 26, a determination unit 27, and a position / orientation calculation unit 28.
  • the cross-section generator 26 intersects the core wire 1 c of the region 1 a containing the trajectory 1 t through which the endoscope 1 has passed based on the position information of the endoscope 1.
  • the determination unit 27 determines an erroneously estimated portion in the three-dimensional shape 31 based on the shape characteristic of the shape section 31c (see FIG. 8 and the like) that is a portion that intersects the section 32 of the three-dimensional shape 31.
  • the erroneously estimated portion is a portion where the reliability in the three-dimensional shape 31 is lower than a predetermined value. Therefore, the determination unit 27 determines the reliability of the three-dimensional shape 31.
  • the position / orientation calculation unit 28 generates position information and posture information of the distal end portion of the endoscope 1 based on the position detection signal and the direction detection signal detected by the position / orientation detection unit 14. That is, the position / orientation detection unit 14 and the position / orientation calculation unit 28 constitute a position / orientation information acquisition unit that acquires position information and orientation information of the endoscope 1.
  • the position information and posture information of the endoscope 1 acquired by the position and posture calculation unit 28 are output to the three-dimensional image generation unit 23.
  • the shape estimation unit 23a of the three-dimensional image generation unit 23 estimates the three-dimensional position p of the target portion in the absolute coordinate system from the relative three-dimensional position estimated by the three-dimensional position estimation unit 22, the position and orientation The position information and posture information of the endoscope 1 acquired by the calculation unit 28 are used.
  • the light source 3 generates illumination light to irradiate the subject, and includes a light source aperture 3a that controls the amount of illumination light by limiting the light passage range.
  • the display device 4 displays the image including the endoscopic image and the three-dimensional shape image output from the image composition output unit 24 so as to be observable.
  • FIG. 2 is a block diagram showing a modified example of the configuration of the endoscope system.
  • a position / orientation estimation unit 29 is provided in the control unit 25 of the processing system 2 in place of the position / orientation detection unit 14 and the position / orientation calculation unit 28 of FIG. It is provided as a position and orientation information acquisition unit that acquires information and orientation information.
  • a technique for estimating position information and posture information of the endoscope 1 from an image or the like is known in addition to a technique for detecting by a sensor or the like. Therefore, the position / orientation estimation unit 29 estimates the position and orientation of the endoscope 1 by performing calculations and the like based on the image obtained by the endoscope 1, for example, and obtains position information and orientation information. It is supposed to be.
  • the acquired position information and posture information of the endoscope 1 are used for the estimation of the three-dimensional position p by the shape estimation unit 23a, as described above.
  • FIG. 4 is a chart showing how the observation is performed while the endoscope 1 is inserted, the three-dimensional position p is estimated, and further, the three-dimensional shape 31 is estimated.
  • the first column to the fourth column are called in order from left to right.
  • the endoscope 1 has a visual field 1v corresponding to the configuration of the objective optical system, and an image of the subject 9 that falls within the visual field 1v is acquired as an endoscopic image.
  • the three-dimensional position estimation unit 22 estimates a relative three-dimensional position, and based on the relative three-dimensional position, the shape estimation unit 23a of the three-dimensional image generation unit 23 calculates the absolute coordinates. Estimate the dimension position p.
  • the three-dimensional position p estimated in this way does not coincide with the actual position of the subject 9 as shown in the second column of FIG. 4, and an error has occurred due to various factors.
  • the three-dimensional image generation unit 23 estimates the three-dimensional shape 31.
  • the estimated three-dimensional shape 31 has a double structure in which the wall portion in the subject 9 to be a single curved surface has different distances (when viewed three-dimensionally, the wall This is an example in which an erroneously estimated portion is generated in the estimated three-dimensional shape 31.
  • FIG. 5 is a flowchart showing the operation of the endoscope system.
  • imaging conditions for acquiring an image for example, a light source aperture value of the light source aperture 3a that controls the amount of illumination light irradiated to the subject, a gain of the image sensor 11a that acquires the image, and the like are set. (Step S1).
  • the image pickup device 11a picks up an image and acquires the position information and posture information of the distal end portion of the endoscope 1 at the time when the image is acquired as the position and orientation detection unit 14 and the position and posture calculation unit 28 (or position and posture). Obtained by the estimation unit 29) (step S2).
  • the 3D position estimation unit 22 and the shape estimation unit 23a of the 3D image generation unit 23 estimate the 3D position p (step S3).
  • control unit 25 determines whether or not to proceed to the shape calculation process (step S4).
  • the control unit 25 determines whether or not to proceed to the shape calculation process depending on whether or not a predetermined number of images having at least one of position information and posture information and shooting conditions are acquired. Is to judge.
  • step S5 when it is determined that the process does not proceed to the shape calculation yet, the imaging position and posture are changed by the endoscope 1 being advanced and retracted in the insertion direction, the imaging conditions are changed, After performing at least one of these (step S5), it returns to step S2 mentioned above, acquires the next image etc., and performs the process mentioned above.
  • the shape estimation unit 23a of the three-dimensional image generation unit 23 performs the three-dimensional shape 31 based on the estimated plurality of three-dimensional positions p. Is estimated as a shape in which a plurality of polygons 31p are connected (step S6).
  • the estimated three-dimensional shape 31 is subjected to shape correction processing as will be described later with reference to FIG. 6 to display the corrected image on the display device 4 (step S7).
  • the control unit 25 determines whether to end the process (step S8).
  • step S2 the process returns to step S2 to acquire the next image, and if it is determined that the process is finished, this process is finished.
  • FIG. 6 is a flowchart showing the shape correction process in step S7 of FIG.
  • step S11 a shape cross-section calculation process is performed (step S11).
  • FIG. 7 is a flowchart showing the shape cross-section calculation process in step S11 of FIG. 6, and FIG. 8 shows the calculation of the core wire 1c of the region 1a containing the trajectory 1t through which the endoscope 1 has passed, and further the core wire It is a graph which shows a mode that the cross section 32 perpendicular
  • the first column to the fourth column are called in order from left to right.
  • the step numbers in FIG. 8 correspond to the step numbers in FIGS.
  • the cross section generation unit 26 calculates a trajectory 1t that the endoscope 1 has passed, and further, an area 1a that includes the trajectory 1t (see the second column in FIG. 8). Calculate (step S21).
  • a trajectory 1t is generated.
  • the trajectory 1t can be known based on the position information of the distal end portion of the endoscope 1 acquired by the position / orientation detection unit 14 and the position / orientation calculation unit 28 (or the position / orientation estimation unit 29).
  • the cross-section generator 26 calculates the core wire 1c of the region 1a as shown in the third column of FIG. 8 (step S22), and divides the calculated core wire 1c at regular intervals (every constant length) ( Step S23).
  • generation part 26 makes the plane 32 which includes the division
  • the cross-section generator 26 calculates each cross-line segment 31s, which is an intersection line between each polygon 31p constituting the three-dimensional shape 31 and the cross-section 32, as the shape cross-section 31c (step S25).
  • FIG. 9 is a diagram showing an example of the positional relationship between the estimated three-dimensional shape 31 and the cross section 32 perpendicular to the core wire 1c.
  • the shape cross section 31c is a portion of the three-dimensional shape 31 that intersects the cross section 32 as described above.
  • FIG. 10 is a diagram showing an intersection line segment 31s that is an intersection line of the cross section 32 perpendicular to the core line 1c and one polygon 31p. Since the polygon 31p is a plane forming a polygon, the intersecting line segment 31s is a line segment forming a straight line. Accordingly, the shape cross section 31c forms a broken line that connects a plurality of intersecting line segments 31s, which are intersecting lines of the cross section 32 and the polygon 31p.
  • step S25 When the process of step S25 is thus performed, the process returns to the process shown in FIG.
  • the determination unit 27 calculates a trajectory point Pt (see FIG. 17 and the like) that is an intersection of the cross section 32 and the trajectory 1t of the endoscope 1.
  • a trajectory barycentric point Gt (see FIGS. 11, 12, etc.), which is the barycentric point of the point Pt, is calculated (step S12).
  • the locus centroid point Gt is calculated as the centroid point of the plurality of locus points Pt. However, if there is one locus point Pt on the cross section 32, that one locus point Pt becomes the locus centroid point Gt.
  • the determination unit 27 generates a connecting line segment 33 that connects the locus center-of-gravity point Gt and the center point 31a that is the midpoint of the intersecting line segment 31s, for each intersecting line segment 31s that forms the shape cross section 31c. Each is performed (step S13).
  • FIG. 11 is a diagram showing a state in which a connecting line segment 33 that connects the center point 31a of the intersecting line segment 31s and the locus gravity center point Gt on the cross section 32 perpendicular to the core line 1c is generated. If the process which produces
  • FIG. 12 is a diagram showing an intersecting line segment 31 s of the shape cross section 31 c intersecting with the connecting line segment 33.
  • the example shown in FIG. 12 shows a state in which the cross section 32 exists in the portion of the three-dimensional shape 31 where the surface shape as shown in FIG. 9 is erroneously estimated as the lumen shape.
  • the determination unit 27 determines whether or not the polygon 31p including the intersection line segment 31s is an erroneously estimated portion.
  • the intersecting line segment 31 s of the shape cross section 31 c in the region EP surrounded by the dotted line intersects with the connecting line segment 33.
  • the determination unit 27 has an error in the polygon 31p including the intersecting line segment 31s intersecting the connecting line segment 33 (polygon 31p in which the intersecting line segment 31s is in the area EP) as shown in FIG. It is determined that the estimated portion.
  • the determination unit 27 converts the connecting line segment 33 having both ends of the trajectory point Pt that is the intersection of the cross section 32 and the trajectory 1t and the center point 31a of the crossing line segment 31s to each of the plurality of crossing line segments 31s. And the polygon 31p including the intersecting line segment 31s that intersects the connecting line segment 33 except at both ends of the connecting line segment 33 is determined as an erroneously estimated portion.
  • the determination unit 27 when there are a plurality of trajectory points Pt on one cross section 32, the determination unit 27 generates a connecting line segment 33 with the trajectory center point Gt, which is the center of gravity of the plurality of trajectory points Pt, as one end, and erroneous estimation The part is being judged.
  • the shape correcting unit 23b in the three-dimensional image generating unit 23 determines the polygon 31p (intersecting line segment 31s) including the intersecting line segment 31s intersecting with the connecting line segment 33, which is determined to be an erroneously estimated part by the determining unit 27. Is deleted in the region EP (step S14).
  • the erroneously estimated portion is deleted by the shape correcting unit 23b, but instead, the display mode of the erroneously estimated portion may be changed by the display mode changing unit 23c as described above.
  • step S14 the process returns to the process shown in FIG.
  • the cross section 32 that intersects the core line 1c of the region 1a that includes the trajectory 1t that the endoscope 1 has passed through is generated, and the shape that is a portion that intersects the cross section 32 of the three-dimensional shape 31 Since the erroneously estimated portion in the three-dimensional shape 31 is determined based on the shape characteristics of the cross section 31c, the erroneously estimated portion is deleted to correct the three-dimensional shape 31, or the erroneously estimated portion of the three-dimensional shape 31 is corrected. It is possible to display so that the user can be identified, and the reliability of the estimated three-dimensional shape 31 in the subject can be increased.
  • the three-dimensional shape 31 is estimated as a shape in which a plurality of polygons 31p are connected, a known algorithm such as the above-described ball-pivoting algorithm can be used effectively.
  • intersection line segment 31s that is the intersection line of the cross section 32 and the polygon 31p. It is determined whether or not the polygon 31p including the intersection line segment 31s is an erroneously estimated portion. It is possible to perform processing with a light load.
  • a connecting line segment 33 having both ends of the trajectory point Pt that is the intersection of the cross section 32 and the trajectory 1t of the endoscope 1 and the center point 31a of the intersecting line segment 31s is represented by each of the plurality of intersecting line segments 31s. Since the polygon 31p including the intersecting line segment 31s that intersects the connecting line segment 33 other than both ends of the connecting line segment 33 is determined to be an erroneously estimated portion, the portion that should be the surface shape is the lumen. An erroneously estimated portion in the three-dimensional shape 31 erroneously estimated as a shape can be appropriately determined.
  • a connecting line segment 33 is generated with the trajectory barycentric point Gt, which is the center of gravity of the plural trajectory points Pt, as one end, and an erroneously estimated portion is determined.
  • the determined erroneously estimated portion is deleted from the three-dimensional shape 31, a more appropriate image of the three-dimensional shape 31 can be observed.
  • the user when changing the display mode of the erroneously estimated portion, the user can recognize the erroneously estimated portion at a glance.
  • FIG. 13 is a flowchart showing the shape correction processing.
  • the configuration and basic operation of the endoscope system of the present embodiment are the same as those of the first embodiment described above, but this embodiment differs from the first embodiment described above in the determination method of the erroneous estimation portion. It has become.
  • step S7 When the process shown in FIG. 13 is entered in step S7 in FIG. 5, the shape cross section 31c is calculated in step S11, and the locus center point Gt is calculated in step S12.
  • the determination unit 27 determines the center vector 33v (FIGS. 14 and 15) from the locus centroid point Gt, which is the centroid of the locus point Pt, which is the intersection of the cross section 32 and the locus 1t, to the center point 31a of the intersection line segment 31s. Etc.) is generated for each of the plurality of intersecting line segments 31s (step S31).
  • the determination unit 27 intersects a projection normal vector 34 (see FIGS. 14 and 15, etc.) obtained by projecting the normal vector of each polygon 31 p including each intersection line segment 31 s constituting the shape section 31 c onto the section 32. It is generated for each of the polygons 31p including the line segment 31s (step S32). It is assumed that the projection normal vector 34 is given a direction toward the outer diameter direction of the cross section 31c having a closed curve as shown in FIGS.
  • the determination unit 27 calculates an angle formed by the center vector 33v and the projection normal vector 34 for each polygon 31p (step S33).
  • FIG. 14 shows a projection method in which a center vector 33v from the locus centroid point Gt to the center point 31a of each intersection line segment 31s and a normal vector of each polygon 31p including each intersection line segment 31s are projected onto the cross section 32. It is a figure which shows the example whose angle made with the line vector 34 is less than angle threshold value (theta) 1th.
  • FIG. 15 is a diagram illustrating an example in which the angle formed by the center vector 33v and the projection normal vector 34 is equal to or greater than the angle threshold ⁇ 1th.
  • the determination unit 27 determines that the polygon 31p including the intersecting line segment 31s whose angle formed by the center vector 33v and the projection normal vector 34 is equal to or larger than the angle threshold ⁇ 1th as shown in the region EP of FIG. To do. Then, the shape correcting unit 23b in the three-dimensional image generating unit 23 deletes the polygon 31p determined by the determining unit 27 as an erroneously estimated portion (the polygon 31p in which the intersecting line segment 31s is in the region EP) ( Step S34).
  • step S34 the process returns to the process shown in FIG.
  • the same effect as that of the first embodiment described above can be obtained, and the center vector 33v from the locus centroid Gt to the center point 31a of the intersection line segment 31s and the normal vector of the polygon 31p. Since the polygon 31p including the intersecting line segment 31s whose angle formed by the projection normal vector 34 projected onto the cross section 32 and the angle formed by the angle threshold ⁇ 1th or more is determined as an erroneously estimated portion, simple processing by vector calculation is performed. Is possible.
  • FIG. 16 and 17 show the third embodiment of the present invention, and FIG. 16 is a flowchart showing the shape correction processing.
  • the configuration and basic operation of the endoscope system of the present embodiment are the same as those of the first embodiment described above, but this embodiment differs from the first embodiment described above in the determination method of the erroneous estimation portion. It has become.
  • step S7 of FIG. 5 the shape cross section 31c is calculated in step S11.
  • the determination unit 27 calculates a trajectory point Pt that is an intersection of the cross section 32 and the trajectory 1t of the endoscope 1 (step S41).
  • the determination unit 27 determines, for each of the plurality of locus points Pt, the intersection line segments 31s that form the locus point Pt and the shape section 31c.
  • a connecting line segment 33 connecting the center point 31a is calculated (step S42).
  • the determination unit 27 determines the polygon 31p including the intersecting line segment 31s intersecting with the connecting line segment 33 as shown in the area EP of FIG. Thereafter, the shape correcting unit 23b in the three-dimensional image generating unit 23 deletes the polygon 31p determined by the determining unit 27 to be an erroneously estimated portion (the polygon 31p in which the intersecting line segment 31s is in the region EP) ( Step S43).
  • step S43 the process returns to the process shown in FIG.
  • FIG. 17 illustrates a calculated connecting line segment 33 by calculating a connecting line segment 33 that connects the trajectory point Pt that is the intersection of the cross section 32 and the trajectory 1t of the endoscope 1 and the center point 31a of the intersecting line segment 31s. It is a figure which shows a mode that cross
  • the same effects as those of the first embodiment described above can be obtained, and when there are a plurality of locus points Pt on one cross section 32, the plurality of locus points Pt are connected to each other. Since the line segment 33 is generated and the erroneously estimated portion is determined, the erroneously estimated portion can be appropriately determined even when the locus centroid point Gt is inside the shape cross section 31c.
  • the determination method of the third embodiment is used. If it does not intersect the minute 31s, the determination method may be appropriately switched according to the positions of the trajectory barycenter Gt and the trajectory point Pt, such as using the determination method of the first embodiment.
  • FIG. 18 is a flowchart showing the operation of the endoscope system.
  • the configuration and basic operation of the endoscope system of the present embodiment are the same as those of the first embodiment described above, but this embodiment differs from the first embodiment described above in the determination method of the erroneous estimation portion. It has become.
  • a display mode for example, a display color is used. It is intended to change.
  • step S1 to S4 When the processing of the endoscope system shown in FIG. 18 is started, the processing of steps S1 to S4 described above is performed, and the processing of step S5 or step S6 is performed according to the determination result of step S4.
  • Step S6 the display color change process as described with reference to FIG. 19 is performed thereafter, and an image in which the display color of the erroneously estimated portion is changed is displayed on the display device 4.
  • Step S7A the control unit 25 determines whether or not to end the process in Step S8. If it is determined that the process is not ended, the process returns to Step S2 to acquire the next image. If it is determined, the process is terminated.
  • FIG. 19 is a flowchart showing the display color changing process in step S7A of FIG.
  • the determination unit 27 uses the projected normal vector 34 (see FIG. 20) obtained by projecting the normal vector of each polygon 31p including the intersecting line segments 31s constituting the shape section 31c onto the section 32, and the intersecting line segment 31s. Is generated for each of the polygons 31p including (step S51).
  • the determination unit 27 calculates an angle formed by the projection normal vectors 34 with respect to all combinations of the pair of polygons 31p in the plurality of polygons 31p (step S52).
  • the determination unit 27 determines that the angle formed by the projection normal vectors 34 is equal to or greater than the angle threshold ⁇ 2th, the straight line distance between the center points 31a of the intersection line segment 31s is less than the first threshold L1th, and A pair of polygons 31p whose path along the cross section 31c between the center points 31a of the intersecting line segment 31s is equal to or larger than the second threshold L2th larger than the first threshold L1th is determined to be an erroneous estimation portion.
  • first threshold value L1th and the second threshold value L2th are both positive values, and the second threshold value L2th is, for example, half or less of the total road (one-way road) along the shape cross section 31c. is there.
  • FIG. 20 is a determination based on the angle formed by the projection normal vectors 34, the linear distance between the center points 31a, and the path along the shape cross section 31c between the center points 31a.
  • FIG. 21 is a diagram showing an example of determination, and FIG. 21 is a determination based on the angle formed by the projection normal vectors 34, the linear distance between the center points 31a, and the path along the shape section 31c between the center points 31a. It is a figure which shows the example determined with there being a misestimation.
  • the reason why the three-dimensional shape 31 that should be a surface shape is erroneously estimated as a lumen shape is due to, for example, an estimation error when estimating the distance from the distal end portion of the endoscope 1 to the target portion of the subject.
  • This estimation error is generally expected to be smaller than the distance from the distal end portion of the endoscope 1 to the target portion of the subject (so-called measurement error is smaller than the measurement value).
  • the estimated three-dimensional shape 31 is close to the actual shape of the subject 9.
  • the shape cross section 31c forming the closed curve is along the shape cross section 31c. It is thought that there is a place where the straight line distance is close to the opposite part of the road. In a place where the linear distance is close, it is considered that the projection normal vector 34 is directed in the approximately opposite direction.
  • the erroneous estimation portion is determined by integrating the determination results of the three conditions as described above.
  • the display mode changing unit 23c of the three-dimensional image generating unit 23 selects the polygon 31p determined to be an erroneously estimated portion (step S53).
  • the display mode changing unit 23c changes the display color of the selected polygon 31p to a color different from the display color of the polygon 31p that has not been determined to be an erroneously estimated portion (step S54).
  • the display device 4 displays a three-dimensional image in which the erroneously estimated portion has a different color.
  • step S54 When the process of step S54 described above is performed, the process returns to the process shown in FIG.
  • the erroneously estimated portion may be deleted by the shape correcting unit 23b instead of changing the erroneously estimated portion to a different color by the display mode changing unit 23c.
  • the deletion of the erroneous estimation portion or the different color of the erroneous estimation portion may be performed.
  • the angle formed by the projection normal vectors 34 is equal to or greater than the angle threshold ⁇ 2th, the straight line distance between the center points 31a is less than the first threshold L1th, and the center point
  • the user can recognize the misestimated portion at a glance.
  • the reliability of the three-dimensional shape 31 in the subject can be increased.
  • FIG. 22 and 23 show the fifth embodiment of the present invention, and FIG. 22 is a flowchart showing the shape correction processing.
  • an erroneously estimated portion is determined based on the trajectory center of gravity point Gt, and in the above-described third embodiment, an erroneously estimated portion is determined based on the trajectory point Pt. On the other hand, in the fifth embodiment, the erroneously estimated portion is determined based on the point 1cp where the core wire 1c intersects the cross section 32.
  • step S7 of FIG. 5 the shape cross section 31c is calculated in step S11.
  • the determination unit 27 calculates the center points 31a of all the intersecting line segments 31s constituting the shape cross section 31c (step S61).
  • the determination unit 27 calculates a center centroid point Ga (see FIG. 23), which is the centroid of all the center points 31a (step S62).
  • the determination unit 27 generates a straight line that passes through the central barycentric point Ga and the central point 31a of each intersecting line segment 31s for each of the plurality of intersecting line segments 31s, and each straight line and each of the shape cross sections 31c.
  • An intersection is calculated (step S63).
  • the shape cross section 31c forms a closed curve
  • the straight line and the shape cross section 31c have at least two intersections, and one of the two intersections is the center point 31a.
  • the shape cross section 31c is a closed curve that is convex to the outer diameter side, which is similar to a circle or an ellipse
  • the central barycentric point Ga is assumed to be inside the shape cross section 31c.
  • an intersection 31b (see FIG. 23) on the opposite side of the center point 31a with respect to the center of gravity point Ga is calculated.
  • the determination unit 27 determines a straight line distance between the two points where the straight line intersects the shape cross section 31c (the distance between the cross points, specifically, the center point 31a and the center point 31a opposite to the center point 31a). A straight line distance from the intersection 31b on the side is calculated for each straight line (step S64).
  • FIG. 23 shows a polygon close to a point 1cp where the core line 1c intersects the section 32 when the straight line distance between the two points where the straight line passing through the center of gravity point Ga intersects the shape section 31c is equal to or less than the threshold L3th. It is a figure which shows the example of the area
  • the determination unit 27 has two polygons 31p each having two intersections intersecting the straight line whose distance between the intersections is equal to or less than the threshold L3th (a polygon 31p having a center point 31a and a polygon 31p having an intersection point 31b). ), The polygon 31p closer to the point 1cp where the core line 1c and the cross section 32 intersect (polygon 31p including the intersecting line segment 31s as shown in the region EP of FIG. 23) is determined as an erroneously estimated portion.
  • An example of the value of the threshold L3th is about twice the diameter of the insertion portion of the endoscope 1, but is not limited to this, and any appropriate value may be used.
  • the shape correcting unit 23b in the three-dimensional image generating unit 23 deletes the polygon 31p determined to be an erroneously estimated portion by the determining unit 27 (however, as described above, a warning is given with a different display mode). (Step S65).
  • step S65 the process returns to the process shown in FIG.
  • two polygons that have substantially the same effects as those of the first embodiment described above, and that the distance between the intersections where the straight line passing through the center of gravity point Ga intersects the shape section 31c is equal to or less than the threshold L3th. Since the polygon 31p closer to the core line 1c (point 1cp) in 31p is determined to be an erroneously estimated portion, the polygon 31p closer to the tip of the endoscope 1 out of the two polygons 31p. Can be appropriately determined as an erroneous estimation portion.
  • each unit may be a processor configured as an electronic circuit, or may be each circuit unit in a processor configured by an integrated circuit such as an FPGA (Field Programmable Gate Gate Array).
  • a processor constituted by one or more CPUs may execute the functions of each unit by reading and executing a processing program recorded on a recording medium.
  • the endoscope system is mainly described.
  • an operation method for operating the endoscope system as described above may be used, or a process for causing a computer to perform the same process as the endoscope system. It may be a program, a non-temporary recording medium readable by a computer for recording the processing program, or the like.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various aspects of the invention can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Abstract

被検体の画像を取得する内視鏡（１）と、内視鏡（１）の位置および姿勢情報を取得する位置方位検出部（１４）および位置姿勢算出部（２８）と、画像と、位置および姿勢情報と、に基づいて、被検体の３次元形状を推定する３次元位置推定部（２２）および３次元画像生成部（２３）と、位置情報に基づいて、内視鏡が通過した軌跡に交差する断面を生成する断面生成部（２６）と、断面上の３次元形状の形状特性に基づき誤推定部分を判定する判定部（２７）と、を備える内視鏡システム。

Description

内視鏡システム、内視鏡システムの作動方法
　本発明は、内視鏡により取得した画像と内視鏡の位置情報および姿勢情報とに基づいて被検体内の３次元形状を推定する内視鏡システム、内視鏡システムの作動方法に関する。
　内視鏡により取得した画像と、内視鏡の位置情報および姿勢情報とに基づいて、被検体内の３次元形状を推定する内視鏡システムは、従来より提案されている。
　例えば、日本国特開２００３－２２５１９５号公報には、フレキシブルな挿入部の屈曲状態を検出してそれをモニタ画面に表示させる屈曲状態表示手段が設けられた可撓性内視鏡のモニタ装置において、挿入部の挿入対象である臓器の形状を挿入部の屈曲状態と共にモニタ画面に表示させる臓器形状表示手段と、モニタ画面に表示されている臓器の形状を外部入力に応じて補正する臓器形状補正手段とを設けることが記載されている。
　また、日本国特開２００９－２１３６２７号公報には、次のような内容が記載されている。最初に患者にカプセル内視鏡（ＣＥ）を嚥下させ、内視鏡検査を行う。医師は、ＣＥで得られたＣＥ画像データの中から、病変部の疑いのある被観察部位（着目ポイント）のＣＥ画像データ（着目ポイント画像データ）を選択する。この選択後に医師は、口部から着目ポイントへ至る内視鏡挿入経路の途中の被観察部位のＣＥ画像データを選択する。バルーン内視鏡（ＢＥ）を用いた内視鏡検査が開始されたら、ＢＥで得られたＢＥ画像データと、先に医師により選択された各ポイント画像データとが類似しているか否か判定する。これにより、ＢＥの先端部が各ポイントのいずれまで到達したかを検出することで、即ち先端部の相対的な位置が検出される。
　ところで、内視鏡画像から臓器の形状を推定する際には、まず臓器の形状を構成する点群の位置を推定するが、この推定位置には一般に誤差が含まれている。そして、推定位置に誤差が含まれている点群から臓器の形状を推定すると、面形状（平面や曲面などの形状）なす被検体が、例えば管腔形状をなす被検体として形状推定されてしまうことがある。従って、こうした形状の誤推定を低減することが求められている。
　本発明は上記事情に鑑みてなされたものであり、推定された被検体内の３次元形状の信頼度を高めることができる内視鏡システム、内視鏡システムの作動方法を提供することを目的としている。
　本発明の一態様による内視鏡システムは、被検体内を撮像して画像を取得する内視鏡と、前記内視鏡の位置情報および姿勢情報を取得する位置姿勢情報取得部と、前記画像に基づいて、前記被検体内における対象部分の、前記内視鏡から見た相対３次元位置を推定する３次元位置推定部と、前記相対３次元位置と、前記位置情報および前記姿勢情報と、に基づいて、前記被検体内の３次元形状を推定する形状推定部と、前記位置情報に基づいて、前記内視鏡が通過した軌跡を内包する領域の芯線に交差する平面である断面を生成する断面生成部と、前記３次元形状の、前記断面と交差する部分である形状断面の形状特性に基づいて、前記３次元形状における誤推定部分を判定する判定部と、を備える。
　本発明の他の態様による内視鏡システムの作動方法は、被検体内を撮像して画像を取得する内視鏡を備える内視鏡システムの作動方法であって、位置姿勢情報取得部が、前記内視鏡の位置情報および姿勢情報を取得し、３次元位置推定部が、前記画像に基づいて、前記被検体内における対象部分の、前記内視鏡から見た相対３次元位置を推定し、形状推定部が、前記相対３次元位置と、前記位置情報および前記姿勢情報と、に基づいて、前記被検体内の３次元形状を推定し、断面生成部が、前記位置情報に基づいて、前記内視鏡が通過した軌跡を内包する領域の芯線に交差する平面である断面を生成し、判定部が、前記３次元形状の、前記断面と交差する部分である形状断面の形状特性に基づいて、前記３次元形状における誤推定部分を判定する。
本発明の実施形態１における内視鏡システムの構成を示すブロック図。 上記実施形態１における内視鏡システムの構成の変形例を示すブロック図。 上記実施形態１における３次元画像生成部の構成を示すブロック図。 上記実施形態１において、内視鏡を挿入しながら観察を行って、３次元位置を推定し、さらに３次元形状を推定する様子を示す図表。 上記実施形態１における内視鏡システムの作用を示すフローチャート。 上記実施形態１における形状修正の処理を示すフローチャート。 上記実施形態１における形状断面算出の処理を示すフローチャート。 上記実施形態１において、内視鏡が通過した軌跡を内包する領域の芯線を算出して、さらに芯線に垂直な断面を算出する様子を示す図表。 上記実施形態１において、推定された３次元形状と芯線に垂直な断面との位置関係の例を示す図。 上記実施形態１において、芯線に垂直な断面と１つのポリゴンとの交線である交差線分を示す図。 上記実施形態１において、交差線分の中心点と、芯線に垂直な断面上の軌跡重心点と、を結ぶ連結線分を生成する様子を示す図。 上記実施形態１において、連結線分と交差する形状断面の交差線分を示す図。 本発明の実施形態２における形状修正の処理を示すフローチャート。 上記実施形態２において、軌跡重心点から各交差線分の中心点へ向かう中心ベクトルと、各交差線分を含む各ポリゴンの法線ベクトルを断面に投影した投影法線ベクトルと、のなす角度が角度閾値未満である例を示す図。 上記実施形態２において、中心ベクトルと投影法線ベクトルとのなす角度が角度閾値以上である例を示す図。 本発明の実施形態３における形状修正の処理を示すフローチャート。 上記実施形態３において、断面と内視鏡の軌跡との交点である軌跡点と、交差線分の中心点とを結ぶ連結線分を算出して、算出した連結線分が形状断面の交差線分と交差する様子を示す図。 本発明の実施形態４における内視鏡システムの作用を示すフローチャート。 上記実施形態４における表示色変更の処理を示すフローチャート。 上記実施形態４において、投影法線ベクトル同士がなす角度と中心点間の直線距離と中心点間の形状断面に沿った道のりとに基づく判定で、形状の誤推定がないと判定される例を示す図。 上記実施形態４において、投影法線ベクトル同士がなす角度と中心点間の直線距離と中心点間の形状断面に沿った道のりとに基づく判定で、形状の誤推定があると判定される例を示す図。 本発明の実施形態５における形状修正の処理を示すフローチャート。 上記実施形態５において、中心重心点を通る直線が形状断面と交差する２点間の直線距離が、閾値以下であるときの芯線と断面とが交差する点に近いポリゴンの領域の例を示す図。
　以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
　図１から図１２は本発明の実施形態１を示したものであり、図１は内視鏡システムの構成を示すブロック図である。
　この内視鏡システムは、内視鏡１と、処理システム２と、光源３と、表示装置４と、を備えている。なお、図１に示す例では処理システム２と光源３とを別体としているが、一体であっても構わない。
　内視鏡１は、被検体内を撮像して画像を取得する画像取得装置であり、撮像部１１と、照射部１２と、操作部１３と、計測部である位置方位検出部１４と、を備えている。これら内の撮像部１１、照射部１２、および位置方位検出部１４は例えば内視鏡１の挿入部の先端部に配置され、操作部１３は挿入部の手元側に連設されている。
　なお、本実施形態においては、被検体として腎臓の腎盂腎杯（図８等参照）を例に挙げるが、これに限定されるものではなく、内視鏡観察が可能な被検体であれば広く適用することができる。
　照射部１２は、光源３から例えばライトガイドを介して伝送された照明光を、被検体の内部へ向けて照射する。ただし、照射部１２をＬＥＤ等の発光源として構成し、光源３から供給された電力により照明光を発光する構成としても構わない。
　撮像部１１は、撮像素子１１ａを備え、照明光を照射された被検体の内部の光学像を対物光学系により結像して撮像素子１１ａにより光電変換を行うことで撮像し、撮像画像を生成して取得する。
　操作部１３は、画像の撮影、挿入部に湾曲部が設けられている場合には湾曲部の湾曲操作などの内視鏡１に係る各種の操作を行うためのものである。
　位置方位検出部１４は、内視鏡１の挿入部の先端部の位置を検出して位置検出信号を出力すると共に、内視鏡１の挿入部の先端部が向く方向を検出して方位検出信号を出力する。この位置方位検出部１４は、空間座標である３軸（ｘｙｚ軸）の座標および３軸周りの角度を例えば磁界などに基づいて検出するものとなっており、６Ｄセンサなどとも呼ばれる。
　処理システム２は、内視鏡１および光源３を制御すると共に、内視鏡１から取得された撮像画像を処理して、表示用の画像データを生成するものである。さらに、処理システム２は、取得した画像に基づいて被検体内の３次元位置ｐ（図４等参照）を推定し、推定した３次元位置ｐに基づいて被検体内の３次元画像を例えばガイド画像として生成し、表示装置４へ出力するようになっている。
　この処理システム２は、画像処理部２１と、３次元位置推定部２２と、３次元画像生成部２３と、画像合成出力部２４と、制御部２５と、を備えている。
　画像処理部２１は、撮像部１１から出力された撮像画像に、例えば、同時化処理（あるいはデモザイキング処理）、ホワイトバランス処理、カラーマトリクス処理、ガンマ変換処理などの各種の画像処理を行って、内視鏡画像を生成する。
　３次元位置推定部２２は、画像（撮像素子１１ａにより取得された撮像画像、あるいは画像処理部２１により処理された内視鏡画像）に基づいて、被検体９（図４等参照）内における対象部分の、内視鏡１から見た相対３次元位置を推定する。
　具体的に、３次元位置推定部２２は、画像に基づいて、内視鏡１と被検体との距離、より具体的には内視鏡１の先端部（挿入部の先端部）から被検体の対象部分までの距離を推定する。
　ここに、３次元位置推定部２２が、画像に基づいて、内視鏡１の先端部から被検体の対象部分までの距離を推定する方法の一例としては、次の方法が挙げられる。
　被検体の各部位の光反射率が同一であると仮定すると、照射部１２から照射され、被検体で反射されて戻ってくる戻り光は、内視鏡１の先端部からの距離が遠いほど暗くなり、逆に距離が近いほど明るくなる。そこで、画像の輝度（画像に写っている対象部分の輝度）に応じて被検体の対象部分までの距離を推定することができる。
　なお、ここでは画像の輝度に基づいて内視鏡１と被検体との距離を推定する方法を説明したが、これに限定されるものではない。例えば、内視鏡１が視差を有する複数の撮像部を備える構成の場合には、複数の撮像部から得られた複数の画像の位相差に基づいて内視鏡１と被検体との距離を算出するようにしてもよい。または、パターン照射方式あるいはＴＯＦ（Time Of Flight）方式などに基づいた距離画像センサを内視鏡システムが備えるように構成して、内視鏡１と被検体との距離を算出するようにしてもよい。
　また、３次元位置推定部２２は、推定した距離と、画像における対象部分の位置（画像中における対象部分が写っている画素の位置）と、に基づいて、内視鏡１の先端から見た対象部分の相対的な３次元位置（相対３次元位置）を推定するようになっている。
　ここに、内視鏡１の対物光学系の構成は既知であり、画角などの情報は予め分かっている。このときには、内視鏡１により取得された画像中における対象部分が写っている画素の位置によって、内視鏡１の先端部から見た対象部分の方位を知ることができる。従って、内視鏡１の先端部から見た対象部分の距離および方位、すなわち、内視鏡１に対する対象部分の相対３次元位置（相対座標系における３次元位置）を知ることができる。
　３次元画像生成部２３は、制御部２５の制御に基づき、３次元位置推定部２２により推定された相対３次元位置を用いて、信頼度に応じた３次元形状画像を生成する。
　ここで、図３は、３次元画像生成部２３の構成を示すブロック図である。
　この３次元画像生成部２３は、形状推定部２３ａと、形状修正部２３ｂと、表示態様変更部２３ｃと、を備えている。
　形状推定部２３ａは、３次元位置推定部２２により推定された相対３次元位置と、位置姿勢情報取得部（図１に示す位置方位検出部１４および位置姿勢算出部２８、または図２に示す位置姿勢推定部２９）により取得された内視鏡１の位置情報および姿勢情報と、に基づいて、処置室内等の絶対座標系における対象部分の３次元位置ｐを推定する。
　さらに、形状推定部２３ａは、対象部分の３次元位置ｐ（この３次元位置ｐは、一般に、複数の点に関して取得される）に基づいて、被検体９内の３次元形状３１（図４等参照）を推定する。具体的に、形状推定部２３ａは、対象部分の３次元位置ｐに基づいて、例えばボール・ピボーティング（Ball-Pivoting）アルゴリズムなどの公知の方法を用いてポリゴン３１ｐ（図１０、図１１等参照）を算出し、複数のポリゴン３１ｐにより構成される３次元形状画像（この３次元形状画像は、複数のポリゴン３１ｐの連結により形状のみを示すものであってもよいし、さらに各ポリゴン３１ｐに内視鏡画像を貼り付けたものであっても構わない）を生成する。
　形状修正部２３ｂは、後述する判定部２７により判定された誤推定部分（形状推定部２３ａにより推定された３次元形状３１の誤推定部分）を、形状推定部２３ａにより推定された３次元形状３１から削除する。
　表示態様変更部２３ｃは、後述する実施形態４で説明するように、判定部２７により判定された誤推定部分を、形状推定部２３ａにより推定された３次元形状３１における他の部分（誤推定部分と判定されなかった部分）とは異なる表示態様、例えば異なる表示色にする。
　なお、表示態様変更部２３ｃは、表示色を変更する表示色変更部として機能するに限るものではなく、誤推定部分と誤推定と判定されなかった部分とで表示態様を異ならせて識別可能とするものであればよい。例えば、表示態様変更部２３ｃは、誤推定部分と誤推定と判定されなかった部分とで輝度を異ならせてもよいし、誤推定部分に特定の模様を付しても構わない。
　ここに、形状修正部２３ｂと表示態様変更部２３ｃとは、例えば択一的に機能するようになっており、誤推定部分を削除する場合には形状修正部２３ｂが機能して表示態様変更部２３ｃは機能せず、誤推定部分を削除せずに残す場合には表示態様変更部２３ｃが機能して形状修正部２３ｂは機能しないようになっている。
　画像合成出力部２４は、画像処理部２１により生成された内視鏡画像と、３次元画像生成部２３により生成された３次元形状画像とを、例えば並べて１つの画像に合成し表示装置４へ出力する。これにより、ユーザは、表示装置４を介して、３次元形状画像をガイドとしながら内視鏡１の挿入や抜脱を行い、内視鏡画像により被検体内を観察して検査や処置等を行うことができる。
　制御部２５は、上述した画像処理部２１、３次元位置推定部２２、３次元画像生成部２３、および画像合成出力部２４と接続されていて、処理システム２の全体を制御すると共に、内視鏡１の制御、および光源３のオン／オフや光量などの制御も行うものである。
　この制御部２５は、断面生成部２６と、判定部２７と、位置姿勢算出部２８と、を備えている。
　断面生成部２６は、後で図８を参照して説明するように、内視鏡１の位置情報に基づいて、内視鏡１が通過した軌跡１ｔを内包する領域１ａの芯線１ｃに交差する（好ましくは垂直な）平面である断面３２を生成する。
　判定部２７は、３次元形状３１の、断面３２と交差する部分である形状断面３１ｃ（図８等参照）の形状特性に基づいて、３次元形状３１における誤推定部分を判定する。ここに、誤推定部分は、３次元形状３１における信頼度が所定値よりも低い部分である。従って、判定部２７は、３次元形状３１の信頼度を判定するものともなっている。
　位置姿勢算出部２８は、位置方位検出部１４により検出された位置検出信号および方位検出信号に基づいて、内視鏡１の先端部の位置情報および姿勢情報を生成する。つまり、位置方位検出部１４および位置姿勢算出部２８は、内視鏡１の位置情報および姿勢情報を取得する位置姿勢情報取得部を構成している。
　位置姿勢算出部２８により取得された内視鏡１の位置情報および姿勢情報は、３次元画像生成部２３へ出力される。こうして、３次元画像生成部２３の形状推定部２３ａは、３次元位置推定部２２により推定された相対３次元位置から、絶対座標系における対象部分の３次元位置ｐを推定する際に、位置姿勢算出部２８により取得された内視鏡１の位置情報および姿勢情報を用いるようになっている。
　光源３は、被検体へ照射する照明光を発生するものであり、光の通過範囲を制限することで照明光の光量を制御する光源絞り３ａを備えている。
　表示装置４は、画像合成出力部２４から出力された、内視鏡画像と３次元形状画像とを含む画像を、観察可能に表示する。
　次に、図２は、内視鏡システムの構成の変形例を示すブロック図である。
　この図２に示す変形例においては、図１の位置方位検出部１４および位置姿勢算出部２８に代えて、処理システム２の制御部２５内に位置姿勢推定部２９が、内視鏡１の位置情報および姿勢情報を取得する位置姿勢情報取得部として設けられている。
　内視鏡１の位置情報および姿勢情報は、センサ等により検出する技術以外に、画像等から推定する技術が知られている。そこで、この位置姿勢推定部２９は、例えば、内視鏡１により取得された画像に基づいて、演算等を行うことにより内視鏡１の位置および姿勢を推定し、位置情報および姿勢情報を取得するものとなっている。取得した内視鏡１の位置情報および姿勢情報が、形状推定部２３ａによる３次元位置ｐの推定に用いられるのは上述と同様である。
　続いて、図４は、内視鏡１を挿入しながら観察を行って、３次元位置ｐを推定し、さらに３次元形状３１を推定する様子を示す図表である。なお、図４において、左から右に向かって順に、第１欄～第４欄と呼ぶものとする。
　図４の第１欄に示すように、内視鏡１は、対物光学系の構成に応じた視野１ｖをもっており、視野１ｖ内に入る被検体９の画像が内視鏡画像として取得される。
　こうして取得された内視鏡画像に基づいて、３次元位置推定部２２が相対３次元位置を推定し、相対３次元位置に基づいて３次元画像生成部２３の形状推定部２３ａが絶対座標における３次元位置ｐを推定する。こうして推定された３次元位置ｐは、図４の第２欄に示すように、実際の被検体９の位置とは一致せず、各種の要因により誤差が生じたものとなっている。
　内視鏡１を挿入しながら、内視鏡画像を取得して３次元位置ｐを推定することにより、図４の第３欄に示すように、被検体９に対して推定された３次元位置ｐの情報が複数集まる。
　こうして集まった複数の３次元位置ｐの情報に基づいて、３次元画像生成部２３は、３次元形状３１の推定を行う。図４の第４欄に示す例では、推定された３次元形状３１は、１つの曲面となるべき被検体９内の壁部が、距離の異なる２重の構造（立体的に見ると、壁部付近における偽管腔形状の構造）となっているように推定されており、推定した３次元形状３１に誤推定部分が生じた例となっている。
　図５は、内視鏡システムの作用を示すフローチャートである。
　この処理を開始すると、画像を取得するための撮影条件、例えば、被検体へ照射する照明光の光量を制御する光源絞り３ａの光源絞り値、画像を取得する撮像素子１１ａのゲインなどを設定する（ステップＳ１）。
　そして、撮像素子１１ａにより画像を撮像して取得すると共に、画像を取得した時点における内視鏡１の先端部の位置情報および姿勢情報を位置方位検出部１４および位置姿勢算出部２８（あるいは位置姿勢推定部２９）により取得する（ステップＳ２）。
　すると、取得した画像と、位置情報および姿勢情報と、に基づいて、３次元位置推定部２２および３次元画像生成部２３の形状推定部２３ａが３次元位置ｐを推定する（ステップＳ３）。
　次に、制御部２５は、形状算出の処理に進むか否かを判定する（ステップＳ４）。ここでは例えば、位置情報および姿勢情報と、撮影条件と、の少なくとも一方が異なる画像が所定の数だけ取得されたか否か、等に応じて、形状算出の処理に進むか否かを制御部２５が判定するようになっている。
　ここで、まだ形状算出の処理に進まないと判定された場合には、内視鏡１が挿入方向に進退されることにより撮影位置および姿勢が変化することと、撮影条件を変化させることと、の少なくとも一方を行ってから（ステップＳ５）、上述したステップＳ２へ戻って次の画像等を取得し上述したような処理を行う。
　こうして、ステップＳ４において、形状算出の処理に進むと判定された場合には、推定された複数の３次元位置ｐに基づいて、３次元画像生成部２３の形状推定部２３ａが、３次元形状３１を、複数のポリゴン３１ｐを連結した形状として推定する（ステップＳ６）。
　さらに、推定した３次元形状３１に対して、後で図６を参照して説明するような形状修正の処理を行って修正後の画像を表示装置４に表示してから（ステップＳ７）、この処理を終了するか否かを制御部２５が判定する（ステップＳ８）。
　ここで、まだ終了しないと判定された場合にはステップＳ２へ戻って次の画像の取得を行い、終了すると判定された場合には、この処理を終える。
　図６は、図５のステップＳ７における形状修正の処理を示すフローチャートである。
　この処理を開始すると、形状断面算出の処理を行う（ステップＳ１１）。
　ここで、図７は、図６のステップＳ１１における形状断面算出の処理を示すフローチャート、図８は、内視鏡１が通過した軌跡１ｔを内包する領域１ａの芯線１ｃを算出して、さらに芯線１ｃに垂直な断面３２を算出する様子を示す図表である。なお、図８において、左から右に向かって順に、第１欄～第４欄と呼ぶものとする。また、図８のステップ番号は、図５および図７のステップ番号に対応している。
　図７に示す形状断面算出の処理に入ると、断面生成部２６は、内視鏡１が通過した軌跡１ｔを算出し、さらに軌跡１ｔを内包する領域１ａ（図８の第２欄参照）を算出する（ステップＳ２１）。
　ここに、上述したステップＳ２～Ｓ５の処理を繰り返して行うことで、内視鏡１の先端部が移動して、図８の第１欄に示すような内視鏡１の先端部が通過した軌跡１ｔが生じる。この軌跡１ｔは、位置方位検出部１４および位置姿勢算出部２８（あるいは位置姿勢推定部２９）により取得された内視鏡１の先端部の位置情報に基づいて知ることができる。
　次に、断面生成部２６は、図８の第３欄に示すような領域１ａの芯線１ｃを算出し（ステップＳ２２）、算出した芯線１ｃを一定間隔（一定の長さ毎）に分割する（ステップＳ２３）。
　そして、断面生成部２６は、芯線１ｃの分割位置を含み、芯線１ｃに交差する（本実施形態においては、芯線１ｃに垂直な）平面を、図８の第４欄に示すような断面３２として算出する（ステップＳ２４）。従って、断面生成部２６は、芯線１ｃに垂直な断面３２を、芯線１ｃに沿って一定間隔毎に複数生成している。
　さらに、断面生成部２６は、３次元形状３１を構成する各ポリゴン３１ｐと断面３２との交線である各交差線分３１ｓを形状断面３１ｃとして算出する（ステップＳ２５）。
　図９は、推定された３次元形状３１と芯線１ｃに垂直な断面３２との位置関係の例を示す図である。
　形状断面３１ｃは、上述したように、３次元形状３１の、断面３２と交差する部分である。
　また、図１０は、芯線１ｃに垂直な断面３２と１つのポリゴン３１ｐとの交線である交差線分３１ｓを示す図である。ポリゴン３１ｐは多角形をなす平面であるために、交差線分３１ｓは直線をなす線分となる。従って、形状断面３１ｃは、断面３２とポリゴン３１ｐとの交線である交差線分３１ｓを複数連結した折れ線をなす。
　こうしてステップＳ２５の処理を行ったら、図６に示す処理にリターンする。
　図６のステップＳ１１において形状断面３１ｃが算出されると、判定部２７は、断面３２と内視鏡１の軌跡１ｔとの交点である軌跡点Ｐｔ（図１７等参照）を算出し、さらに軌跡点Ｐｔの重心点である軌跡重心点Ｇｔ（図１１、図１２等参照）を算出する（ステップＳ１２）。
　なお、内視鏡観察は内視鏡１を進退しながら行われるために、軌跡点Ｐｔは複数ある（従って、複数の軌跡点Ｐｔの重心点として軌跡重心点Ｇｔが算出される）と見込まれるが、もし断面３２上における軌跡点Ｐｔが１つである場合には、その１つの軌跡点Ｐｔが軌跡重心点Ｇｔとなる。
　そして、判定部２７は、軌跡重心点Ｇｔと、交差線分３１ｓの中点である中心点３１ａとを結ぶ連結線分３３を生成することを、形状断面３１ｃを構成する各交差線分３１ｓについてそれぞれ行う（ステップＳ１３）。
　ここに、図１１は、交差線分３１ｓの中心点３１ａと、芯線１ｃに垂直な断面３２上の軌跡重心点Ｇｔと、を結ぶ連結線分３３を生成する様子を示す図である。形状断面３１ｃを構成する各交差線分３１ｓに対して連結線分３３を生成する処理を行うと、例えば図１２に示すような複数の連結線分３３が得られる。ここに、図１２は、連結線分３３と交差する形状断面３１ｃの交差線分３１ｓを示す図である。
　図１２に示す例は、図９に示したような、面形状であるべきところが管腔形状として誤推定された３次元形状３１の部分に断面３２があるときの様子を示している。判定部２７は、交差線分３１ｓに基づいて、交差線分３１ｓを含むポリゴン３１ｐが誤推定部分であるか否かを判定するようになっている。そして図１２に示す例では、点線で囲む領域ＥＰにある形状断面３１ｃの交差線分３１ｓは、連結線分３３と交差している。そこで、本実施形態の判定部２７は、この図１２に示すような、連結線分３３と交差する交差線分３１ｓを含むポリゴン３１ｐ（交差線分３１ｓが領域ＥＰ内にあるポリゴン３１ｐ）が誤推定部分であると判定するようになっている。
　すなわち、判定部２７は、断面３２と軌跡１ｔとの交点である軌跡点Ｐｔと、交差線分３１ｓの中心点３１ａと、を両端とする連結線分３３を、複数の交差線分３１ｓのそれぞれに対して生成し、連結線分３３の両端以外において連結線分３３と交差する交差線分３１ｓを含むポリゴン３１ｐを、誤推定部分と判定する。
　このとき、判定部２７は、１つの断面３２上に軌跡点Ｐｔが複数ある場合には、複数の軌跡点Ｐｔの重心である軌跡重心点Ｇｔを一端として連結線分３３を生成し、誤推定部分の判定を行っている。
　そして、３次元画像生成部２３内の形状修正部２３ｂは、判定部２７により誤推定部分であると判定された、連結線分３３と交差する交差線分３１ｓを含むポリゴン３１ｐ（交差線分３１ｓが領域ＥＰ内にあるポリゴン３１ｐ）を、削除する（ステップＳ１４）。なお、ここでは形状修正部２３ｂにより誤推定部分を削除したが、これに代えて、上述したように誤推定部分の表示態様を表示態様変更部２３ｃにより変更しても構わない。
　こうしてステップＳ１４の処理を行ったら、図５に示す処理にリターンする。
　このような実施形態１によれば、内視鏡１が通過した軌跡１ｔを内包する領域１ａの芯線１ｃに交差する断面３２を生成し、３次元形状３１の断面３２と交差する部分である形状断面３１ｃの形状特性に基づいて、３次元形状３１における誤推定部分を判定するようにしたために、誤推定部分を削除して３次元形状３１を修正する、あるいは３次元形状３１の誤推定部分をユーザが識別可能となるように表示する等が可能となり、推定された被検体内の３次元形状３１の信頼度を高めることができる。
　また、３次元形状３１を、複数のポリゴン３１ｐを連結した形状として推定する場合には、上述したボール・ピボーティング（Ball-Pivoting）アルゴリズムなどの公知のアルゴリズムを有効に利用することができる。
　そして、断面３２とポリゴン３１ｐとの交線である交差線分３１ｓに基づいて、交差線分３１ｓを含むポリゴン３１ｐが誤推定部分であるか否かを判定することで、２次元面内での負荷の軽い処理を行うことが可能となる。
　さらに、断面３２と内視鏡１の軌跡１ｔとの交点である軌跡点Ｐｔと、交差線分３１ｓの中心点３１ａと、を両端とする連結線分３３を、複数の交差線分３１ｓのそれぞれに対して生成し、連結線分３３の両端以外において連結線分３３と交差する交差線分３１ｓを含むポリゴン３１ｐを、誤推定部分と判定するようにしたために、面形状であるべきところが管腔形状として誤推定された３次元形状３１における誤推定部分を、適切に判定することができる。
　加えて、１つの断面３２上に軌跡点Ｐｔが複数ある場合には、複数の軌跡点Ｐｔの重心である軌跡重心点Ｇｔを一端として連結線分３３を生成し、誤推定部分の判定を行うようにしたために、複数の軌跡点Ｐｔのそれぞれを一端として連結線分３３を生成する場合よりも処理負荷を軽減しながら、適切な結果を得ることができる。
　また、芯線１ｃに垂直な断面３２を芯線１ｃに沿って一定間隔毎に複数生成するようにしたために、誤推定部分となるポリゴンを適切に抽出することができる。
　さらに、判定された誤推定部分を３次元形状３１から削除するようにしたために、より適切な３次元形状３１の画像を観察することが可能となる。一方、誤推定部分の表示態様を変更する場合には、ユーザが誤推定部分を一目で認識することが可能となる。
［実施形態２］
　図１３から図１５は本発明の実施形態２を示したものであり、図１３は形状修正の処理を示すフローチャートである。
　この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　本実施形態の内視鏡システムの構成や基本的な作用は上述した実施形態１と同様であるが、本実施形態は、上述した実施形態１に対して、誤推定部分の判定方法を異ならせたものとなっている。
　図５のステップＳ７において図１３に示す処理に入ると、ステップＳ１１により形状断面３１ｃを算出し、ステップＳ１２により軌跡重心点Ｇｔを算出する。
　次に、判定部２７は、断面３２と軌跡１ｔとの交点である軌跡点Ｐｔの重心である軌跡重心点Ｇｔから、交差線分３１ｓの中心点３１ａへ向かう中心ベクトル３３ｖ（図１４、図１５等参照）を、複数の交差線分３１ｓのそれぞれに対して生成する（ステップＳ３１）。
　さらに、判定部２７は、形状断面３１ｃを構成する各交差線分３１ｓを含む各ポリゴン３１ｐの法線ベクトルを断面３２に投影した投影法線ベクトル３４（図１４、図１５等参照）を、交差線分３１ｓを含むポリゴン３１ｐのそれぞれに対して生成する（ステップＳ３２）。なお、投影法線ベクトル３４は、図１４および図１５に示すような閉曲線をなす形状断面３１ｃの、外径方向へ向かうように方向が与えられているものとする。
　そして、判定部２７は、ポリゴン３１ｐ毎に、中心ベクトル３３ｖと投影法線ベクトル３４とがなす角度を算出する（ステップＳ３３）。
　ここに、図１４は、軌跡重心点Ｇｔから各交差線分３１ｓの中心点３１ａへ向かう中心ベクトル３３ｖと、各交差線分３１ｓを含む各ポリゴン３１ｐの法線ベクトルを断面３２に投影した投影法線ベクトル３４と、のなす角度が角度閾値θ１ｔｈ未満である例を示す図である。
　一方、図１５は、中心ベクトル３３ｖと投影法線ベクトル３４とのなす角度が角度閾値θ１ｔｈ以上である例を示す図である。
　判定部２７は、図１５の領域ＥＰに示すような、中心ベクトル３３ｖと投影法線ベクトル３４とがなす角度が角度閾値θ１ｔｈ以上である交差線分３１ｓを含むポリゴン３１ｐを、誤推定部分と判定する。そして、３次元画像生成部２３内の形状修正部２３ｂは、判定部２７により誤推定部分であると判定されたポリゴン３１ｐ（交差線分３１ｓが領域ＥＰ内にあるポリゴン３１ｐ）を、削除する（ステップＳ３４）。
　こうしてステップＳ３４の処理を行ったら、図５に示す処理にリターンする。
　このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、軌跡重心点Ｇｔから交差線分３１ｓの中心点３１ａへ向かう中心ベクトル３３ｖと、ポリゴン３１ｐの法線ベクトルを断面３２に投影した投影法線ベクトル３４と、がなす角度が角度閾値θ１ｔｈ以上である交差線分３１ｓを含むポリゴン３１ｐを、誤推定部分と判定するようにしたために、ベクトル演算による簡単な処理が可能となる。
［実施形態３］
　図１６および図１７は本発明の実施形態３を示したものであり、図１６は形状修正の処理を示すフローチャートである。
　この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　本実施形態の内視鏡システムの構成や基本的な作用は上述した実施形態１と同様であるが、本実施形態は、上述した実施形態１に対して、誤推定部分の判定方法を異ならせたものとなっている。
　図５のステップＳ７において図１６に示す処理に入ると、ステップＳ１１により形状断面３１ｃを算出する。
　次に、判定部２７は、断面３２と内視鏡１の軌跡１ｔとの交点である軌跡点Ｐｔを算出する（ステップＳ４１）。
　そして、判定部２７は、１つの断面３２上に軌跡点Ｐｔが複数ある場合には、複数の軌跡点Ｐｔのそれぞれに対して、軌跡点Ｐｔと形状断面３１ｃを構成する各交差線分３１ｓの中心点３１ａとを結ぶ連結線分３３を算出する（ステップＳ４２）。
　続いて、判定部２７は、図１７の領域ＥＰに示すような、連結線分３３と交差する交差線分３１ｓを含むポリゴン３１ｐを、誤推定部分と判定する。その後、３次元画像生成部２３内の形状修正部２３ｂは、判定部２７により誤推定部分であると判定されたポリゴン３１ｐ（交差線分３１ｓが領域ＥＰ内にあるポリゴン３１ｐ）を、削除する（ステップＳ４３）。
　こうしてステップＳ４３の処理を行ったら、図５に示す処理にリターンする。
　図１７は、断面３２と内視鏡１の軌跡１ｔとの交点である軌跡点Ｐｔと、交差線分３１ｓの中心点３１ａとを結ぶ連結線分３３を算出して、算出した連結線分３３が形状断面３１ｃの交差線分３１ｓと交差する様子を示す図である。
　図１７に示す例では、軌跡点Ｐｔは３つあり、軌跡重心点Ｇｔは形状断面３１ｃの内部にある。このような場合には、軌跡重心点Ｇｔを一端とする連結線分３３が交差線分３１ｓと交差することはなく、上述した実施形態１の動作では、誤推定部分がないと判定されることになってしまう。
　これに対して、３つある軌跡点Ｐｔの内の少なくとも１つが閉曲線をなす形状断面３１ｃの外部にあれば、形状断面３１ｃの外部にある軌跡点Ｐｔと、交差線分３１ｓの中心点３１ａとを結ぶ連結線分３３は、両端以外において、形状断面３１ｃの何れか一部を構成する交差線分３１ｓと交差する。
　このような実施形態３によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、１つの断面３２上に軌跡点Ｐｔが複数ある場合に、複数の軌跡点Ｐｔのそれぞれに対して連結線分３３を生成し、誤推定部分の判定を行うようにしたために、軌跡重心点Ｇｔが形状断面３１ｃの内部にある場合でも、誤推定部分を適切に判定することが可能となる。
　なお、各断面毎に軌跡重心点Ｇｔと軌跡点Ｐｔとを結んだ線分を求めて、求めた線分が、交差線分３１ｓと交差する場合は実施形態３の判定方法を用い、交差線分３１ｓと交差しない場合は実施形態１の判定方法を用いるというように、軌跡重心点Ｇｔと軌跡点Ｐｔの位置に応じて判定方法を適宜切り替えてもよい。
［実施形態４］
　図１８から図２１は本発明の実施形態４を示したものであり、図１８は内視鏡システムの作用を示すフローチャートである。
　この実施形態４において、上述の実施形態１～３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　本実施形態の内視鏡システムの構成や基本的な作用は上述した実施形態１と同様であるが、本実施形態は、上述した実施形態１に対して、誤推定部分の判定方法を異ならせたものとなっている。
　また、上述した実施形態１～３においては、誤推定部分であると判定されたポリゴン３１ｐを削除することを主に説明したが、本実施形態は、削除する代わりに、表示態様、例えば表示色を変更するようにしたものとなっている。
　図１８に示す内視鏡システムの処理を開始すると、上述したステップＳ１～Ｓ４の処理を行い、ステップＳ４の判定結果に応じてステップＳ５またはステップＳ６の処理を行う。
　ステップＳ６の処理を行った場合には、その後に、図１９を参照して説明するような表示色変更の処理を行って、誤推定部分の表示色を変更した画像を表示装置４に表示してから（ステップＳ７Ａ）、ステップＳ８により制御部２５がこの処理を終了するか否かを判定し、終了しないと判定された場合にはステップＳ２へ戻って次の画像の取得を行い、終了すると判定された場合にはこの処理を終える。
　図１９は、図１８のステップＳ７Ａにおける表示色変更の処理を示すフローチャートである。
　この処理を開始すると、ステップＳ１１により形状断面３１ｃを算出する。
　次に、判定部２７は、形状断面３１ｃを構成する各交差線分３１ｓを含む各ポリゴン３１ｐの法線ベクトルを断面３２に投影した投影法線ベクトル３４（図２０参照）を、交差線分３１ｓを含むポリゴン３１ｐのそれぞれに対して生成する（ステップＳ５１）。
　続いて、判定部２７は、複数のポリゴン３１ｐにおける、一対のポリゴン３１ｐの組み合わせの全てに対して、投影法線ベクトル３４同士がなす角度を算出する（ステップＳ５２）。
　さらに、判定部２７は、投影法線ベクトル３４同士がなす角度が角度閾値θ２ｔｈ以上であり、かつ、交差線分３１ｓの中心点３１ａ間の直線距離が第１の閾値Ｌ１ｔｈ未満であり、かつ、交差線分３１ｓの中心点３１ａ間の形状断面３１ｃに沿った道のりが第１の閾値Ｌ１ｔｈよりも大きい第２の閾値Ｌ２ｔｈ以上である一対のポリゴン３１ｐを、誤推定部分であると判定する。
　なお、第１の閾値Ｌ１ｔｈおよび第２の閾値Ｌ２ｔｈは何れも正の値であり、かつ、第２の閾値Ｌ２ｔｈは、形状断面３１ｃに沿った全道のり（１周の道のり）の例えば半分以下である。
　ここで、図２０は、投影法線ベクトル３４同士がなす角度と中心点３１ａ間の直線距離と中心点３１ａ間の形状断面３１ｃに沿った道のりとに基づく判定で、形状の誤推定がないと判定される例を示す図、図２１は、投影法線ベクトル３４同士がなす角度と中心点３１ａ間の直線距離と中心点３１ａ間の形状断面３１ｃに沿った道のりとに基づく判定で、形状の誤推定があると判定される例を示す図である。
　面形状であるべき３次元形状３１が、管腔形状として誤推定されるのは、例えば内視鏡１の先端部から被検体の対象部分までの距離を推定するときの推定誤差に起因する。この推定誤差は、一般的に、内視鏡１の先端部から被検体の対象部分までの距離よりも小さい（いわゆる、測定値よりも測定誤差の方が小さい）と期待されるために、この場合に、推定された３次元形状３１は、実際の被検体９の形状に近接していることになる。
　すなわち、誤推定部分がないと判定される図２０に示す場合に比べて、誤推定部分があると判定される図２１に示す場合には、閉曲線をなす形状断面３１ｃの、形状断面３１ｃに沿った道のりにおける反対側部分に直線距離が近接した場所があると考えられる。そしてこの直線距離が近接した場所においては、投影法線ベクトル３４は概略反対方向を向いていると考えられる。
　このために本実施形態においては、上述したような３つの条件の判定結果を総合することにより、誤推定部分の判定を行うようにしている。
　なお、この図２１に示す例では、形状断面３１ｃを構成する全ての交差線分３１ｓが領域ＥＰ内にあり、全ての交差線分３１ｓを含むポリゴン３１ｐが誤推定部分であると判定されている。
　その後、３次元画像生成部２３の表示態様変更部２３ｃが、誤推定部分であると判定されたポリゴン３１ｐを選択する（ステップＳ５３）。
　そして、表示態様変更部２３ｃが、選択したポリゴン３１ｐの表示色を、誤推定部分であると判定されなかったポリゴン３１ｐの表示色とは異なる色に変更する（ステップＳ５４）。こうして、表示装置４には、誤推定部分が異なる色となっている３次元画像が表示される。
　上述したステップＳ５４の処理を行ったら、図１８に示す処理にリターンする。
　また、本実施形態において、表示態様変更部２３ｃにより誤推定部分を異なる色とするのに代えて、形状修正部２３ｂにより誤推定部分を削除しても構わない。同様に、上述あるいは後述する各実施形態において、誤推定部分を削除することと、誤推定部分を異なる色とすることと、の何れを行ってもよい。
　このような実施形態４によれば、投影法線ベクトル３４同士がなす角度が角度閾値θ２ｔｈ以上であり、かつ、中心点３１ａ間の直線距離が第１の閾値Ｌ１ｔｈ未満であり、かつ、中心点３１ａ間の形状断面３１ｃに沿った道のりが第２の閾値Ｌ２ｔｈ以上である一対のポリゴン３１ｐを、誤推定部分と判定することによっても、上述した実施形態１とほぼ同様の効果を奏することができる。
　さらに、誤推定部分を、３次元形状３１における他の部分とは異なる表示態様（例えば、異なる表示色）にして警告することにより、ユーザが誤推定部分を一目で認識することが可能となり、推定された被検体内の３次元形状３１の信頼度を高めることができる。
［実施形態５］
　図２２および図２３は本発明の実施形態５を示したものであり、図２２は形状修正の処理を示すフローチャートである。
　この実施形態５において、上述の実施形態１～４と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　上述した実施形態１，２は軌跡重心点Ｇｔに基づき誤推定部分の判定を行い、上述した実施形態３は軌跡点Ｐｔに基づき誤推定部分の判定を行っていた。これに対して、本実施形態５は、芯線１ｃが断面３２と交差する点１ｃｐに基づき、誤推定部分の判定を行うものとなっている。
　図５のステップＳ７において図２２に示す処理に入ると、ステップＳ１１により形状断面３１ｃを算出する。
　次に、判定部２７は、形状断面３１ｃを構成する全ての交差線分３１ｓの中心点３１ａをそれぞれ算出する（ステップＳ６１）。
　続いて、判定部２７は、全ての中心点３１ａの重心である中心重心点Ｇａ（図２３参照）を算出する（ステップＳ６２）。
　さらに、判定部２７は、中心重心点Ｇａと各交差線分３１ｓの中心点３１ａとを通る直線を、複数の交差線分３１ｓのそれぞれに対して生成し、各直線と形状断面３１ｃとの各交点を算出する（ステップＳ６３）。ここに、形状断面３１ｃが閉曲線をなす場合には、直線と形状断面３１ｃとは少なくとも２点の交点をもち、２点の交点の内の一方は中心点３１ａである。さらに、形状断面３１ｃが円や楕円に類似する、外径側に凸の閉曲線である場合には、中心重心点Ｇａは形状断面３１ｃの内側にあると想定される。このために、ここでは例えば、中心重心点Ｇａを挟んで中心点３１ａと反対側にある交点３１ｂ（図２３参照）を算出することになる。
　そして、判定部２７は、直線が形状断面３１ｃと交差する２点間の直線距離（交点間距離であり、具体的には、中心点３１ａと、中心重心点Ｇａを挟んで中心点３１ａの反対側にある交点３１ｂと、の直線距離）を、各直線に対してそれぞれ算出する（ステップＳ６４）。
　ここに、図２３は、中心重心点Ｇａを通る直線が形状断面３１ｃと交差する２点間の直線距離が、閾値Ｌ３ｔｈ以下であるときの芯線１ｃと断面３２とが交差する点１ｃｐに近いポリゴン３１ｐの領域ＥＰの例を示す図である。
　その後、判定部２７は、交点間距離が閾値Ｌ３ｔｈ以下となる、直線と交差する２つ交点をぞれぞれもつ２つのポリゴン３１ｐ（中心点３１ａをもつポリゴン３１ｐ、および交点３１ｂをもつポリゴン３１ｐ）の内の、芯線１ｃと断面３２とが交差する点１ｃｐに近い方のポリゴン３１ｐ（図２３の領域ＥＰに示すような交差線分３１ｓを含むポリゴン３１ｐ）を、誤推定部分と判定する。なお、閾値Ｌ３ｔｈの値の一例としては、内視鏡１の挿入部の直径の２倍程度が挙げられるが、これに限らず、任意の適切な値を用いて構わない。そして、３次元画像生成部２３内の形状修正部２３ｂは、判定部２７により誤推定部分であると判定されたポリゴン３１ｐを、削除する（ただし、上述したように表示態様を異ならせて警告しても構わない）（ステップＳ６５）。
　こうしてステップＳ６５の処理を行ったら、図５に示す処理にリターンする。
　このような実施形態５によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、中心重心点Ｇａを通る直線が形状断面３１ｃと交差する交点間距離が閾値Ｌ３ｔｈ以下となる２つのポリゴン３１ｐの内の、芯線１ｃ（点１ｃｐ）に近い方のポリゴン３１ｐを誤推定部分と判定するようにしたために、２つのポリゴン３１ｐの内の、内視鏡１の先端部に近い方のポリゴン３１ｐを、誤推定部分として適切に判定することができる。
　なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。あるいは、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。
　また、上述では主として内視鏡システムについて説明したが、内視鏡システムを上述したように作動させる作動方法であってもよいし、コンピュータに内視鏡システムと同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
　本出願は、２０１７年６月１５日に日本国に出願された特願２０１７－１１７９９１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (12)

  1. 　被検体内を撮像して画像を取得する内視鏡と、
    　前記内視鏡の位置情報および姿勢情報を取得する位置姿勢情報取得部と、
    　前記画像に基づいて、前記被検体内における対象部分の、前記内視鏡から見た相対３次元位置を推定する３次元位置推定部と、
    　前記相対３次元位置と、前記位置情報および前記姿勢情報と、に基づいて、前記被検体内の３次元形状を推定する形状推定部と、
    　前記位置情報に基づいて、前記内視鏡が通過した軌跡を内包する領域の芯線に交差する平面である断面を生成する断面生成部と、
    　前記３次元形状の、前記断面と交差する部分である形状断面の形状特性に基づいて、前記３次元形状における誤推定部分を判定する判定部と、
    　を備えたことを特徴とする内視鏡システム。
  2. 　前記形状推定部は、前記３次元形状を、複数のポリゴンを連結した形状として推定するものであり、
    　前記形状断面は、前記断面と前記ポリゴンとの交線である交差線分を連結した折れ線をなし、
    　前記判定部は、前記交差線分に基づいて、前記交差線分を含む前記ポリゴンが前記誤推定部分であるか否かを判定することを特徴とする請求項１に記載の内視鏡システム。
  3. 　前記判定部は、前記断面と前記軌跡との交点である軌跡点と、前記交差線分の中心点と、を両端とする連結線分を、複数の前記交差線分のそれぞれに対して生成し、前記連結線分の両端以外において前記連結線分と交差する前記交差線分を含む前記ポリゴンを、前記誤推定部分と判定することを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記判定部は、１つの断面上に前記軌跡点が複数ある場合には、複数の前記軌跡点の重心である軌跡重心点を一端として前記連結線分を生成し、前記誤推定部分の判定を行うことを特徴とする請求項３に記載の内視鏡システム。
  5. 　前記判定部は、１つの断面上に前記軌跡点が複数ある場合には、複数の前記軌跡点のそれぞれに対して前記連結線分を生成し、前記誤推定部分の判定を行うことを特徴とする請求項３に記載の内視鏡システム。
  6. 　前記判定部は、前記断面と前記軌跡との交点である軌跡点の重心である軌跡重心点から、前記交差線分の中心点へ向かう中心ベクトルを、複数の前記交差線分のそれぞれに対して生成すると共に、前記ポリゴンの法線ベクトルを前記断面に投影した投影法線ベクトルを、前記交差線分を含む前記ポリゴンのそれぞれに対して生成し、前記中心ベクトルと前記投影法線ベクトルとがなす角度が角度閾値以上である前記交差線分を含む前記ポリゴンを、前記誤推定部分と判定することを特徴とする請求項２に記載の内視鏡システム。
  7. 　前記判定部は、前記ポリゴンの法線ベクトルを前記断面に投影した投影法線ベクトルを、前記交差線分を含む前記ポリゴンのそれぞれに対して生成し、前記投影法線ベクトル同士がなす角度が角度閾値以上であり、かつ、前記交差線分の中心点間の直線距離が第１の閾値未満であり、かつ、前記交差線分の中心点間の前記形状断面に沿った道のりが前記第１の閾値よりも大きい第２の閾値以上である一対の前記ポリゴンを、前記誤推定部分と判定することを特徴とする請求項２に記載の内視鏡システム。
  8. 　前記判定部は、前記形状断面を構成する全ての前記交差線分の中心点の重心である中心重心点を算出し、前記中心重心点と前記交差線分の中心点とを通る直線を、複数の前記交差線分のそれぞれに対して生成し、前記直線が前記形状断面と交差する２点間の直線距離が閾値以下となる、前記直線と交差する２つの前記ポリゴンの内の、前記芯線に近い方の前記ポリゴンを、前記誤推定部分と判定することを特徴とする請求項２に記載の内視鏡システム。
  9. 　前記断面生成部は、前記芯線に垂直な断面を、前記芯線に沿って一定間隔毎に複数生成することを特徴とする請求項１に記載の内視鏡システム。
  10. 　前記判定部により判定された誤推定部分を、前記形状推定部により推定された前記３次元形状から削除する形状修正部をさらに備えることを特徴とする請求項１に記載の内視鏡システム。
  11. 　前記判定部により判定された誤推定部分を、前記形状推定部により推定された前記３次元形状における他の部分とは異なる表示態様にする表示態様変更部をさらに備えることを特徴とする請求項１に記載の内視鏡システム。
  12. 　被検体内を撮像して画像を取得する内視鏡を備える内視鏡システムの作動方法であって、
    　位置姿勢情報取得部が、前記内視鏡の位置情報および姿勢情報を取得し、
    　３次元位置推定部が、前記画像に基づいて、前記被検体内における対象部分の、前記内視鏡から見た相対３次元位置を推定し、
    　形状推定部が、前記相対３次元位置と、前記位置情報および前記姿勢情報と、に基づいて、前記被検体内の３次元形状を推定し、
    　断面生成部が、前記位置情報に基づいて、前記内視鏡が通過した軌跡を内包する領域の芯線に交差する平面である断面を生成し、
    　判定部が、前記３次元形状の、前記断面と交差する部分である形状断面の形状特性に基づいて、前記３次元形状における誤推定部分を判定することを特徴とする内視鏡システムの作動方法。
PCT/JP2018/013155 2017-06-15 2018-03-29 内視鏡システム、内視鏡システムの作動方法 Ceased WO2018230099A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880038751.9A CN110769731B (zh) 2017-06-15 2018-03-29 内窥镜系统、内窥镜用处理系统、图像处理方法
US16/713,319 US11432707B2 (en) 2017-06-15 2019-12-13 Endoscope system, processor for endoscope and operation method for endoscope system for determining an erroneous estimation portion

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-117991 2017-06-15
JP2017117991 2017-06-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/713,319 Continuation US11432707B2 (en) 2017-06-15 2019-12-13 Endoscope system, processor for endoscope and operation method for endoscope system for determining an erroneous estimation portion

Publications (1)

Publication Number Publication Date
WO2018230099A1 true WO2018230099A1 (ja) 2018-12-20

Family

ID=64658657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/013155 Ceased WO2018230099A1 (ja) 2017-06-15 2018-03-29 内視鏡システム、内視鏡システムの作動方法

Country Status (3)

Country Link
US (1) US11432707B2 (ja)
CN (1) CN110769731B (ja)
WO (1) WO2018230099A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3590408A1 (en) * 2018-07-04 2020-01-08 Fujifilm Corporation Endoscope apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4179954B1 (en) * 2020-10-27 2024-08-14 RIVERFIELD Inc. Surgery assisting device
CN114782470B (zh) * 2022-06-22 2022-09-13 浙江鸿禾医疗科技有限责任公司 消化道的三维全景识别定位方法、存储介质和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075702A (ja) * 2010-10-01 2012-04-19 Fujifilm Corp 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム
JP5354494B2 (ja) * 2009-04-21 2013-11-27 国立大学法人 千葉大学 ３次元画像生成装置、３次元画像生成方法、及びプログラム
JP2017012765A (ja) * 2009-09-23 2017-01-19 ライトラボ・イメージング・インコーポレーテッド 管腔形態および血管抵抗測定データ収集のシステム、装置および方法
WO2017057330A1 (ja) * 2015-09-28 2017-04-06 オリンパス株式会社 内視鏡システム及び画像処理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438937B2 (ja) * 1994-03-25 2003-08-18 オリンパス光学工業株式会社 画像処理装置
DE69514238T2 (de) * 1994-08-19 2000-05-11 Biosense Inc., Orangeburg Medizinisches diagnose-, behandlungs- und darstellungssystem
AU7079198A (en) * 1997-04-25 1998-11-24 Amada Metrecs Company, Limited Method of discriminating shape errors of free-form curved surface
JP4017877B2 (ja) 2002-02-01 2007-12-05 ペンタックス株式会社 可撓性内視鏡のモニター装置
JP4142460B2 (ja) * 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP4832927B2 (ja) * 2006-03-14 2011-12-07 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
JP4914634B2 (ja) * 2006-04-19 2012-04-11 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
WO2007129616A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
JP5219129B2 (ja) * 2007-03-20 2013-06-26 国立大学法人静岡大学 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム
JP5291955B2 (ja) 2008-03-10 2013-09-18 富士フイルム株式会社 内視鏡検査システム
JP5161013B2 (ja) * 2008-09-18 2013-03-13 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
US9509977B2 (en) * 2012-03-28 2016-11-29 Olympus Corporation Image processing system and microscope system including the same
JP6112879B2 (ja) * 2013-01-28 2017-04-12 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP5715312B2 (ja) * 2013-03-27 2015-05-07 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5687811B1 (ja) * 2013-04-15 2015-03-25 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP5815156B2 (ja) * 2013-07-02 2015-11-17 オリンパス株式会社 医療機器
JP6397269B2 (ja) * 2013-09-06 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法
JP2015156937A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
JP2017070523A (ja) * 2015-10-07 2017-04-13 ソニー株式会社 光源制御装置、光源制御方法、プログラム、および手術用システム
JP6218991B2 (ja) * 2015-11-13 2017-10-25 オリンパス株式会社 内視鏡の状態推定装置の作動方法および内視鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5354494B2 (ja) * 2009-04-21 2013-11-27 国立大学法人 千葉大学 ３次元画像生成装置、３次元画像生成方法、及びプログラム
JP2017012765A (ja) * 2009-09-23 2017-01-19 ライトラボ・イメージング・インコーポレーテッド 管腔形態および血管抵抗測定データ収集のシステム、装置および方法
JP2012075702A (ja) * 2010-10-01 2012-04-19 Fujifilm Corp 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム
WO2017057330A1 (ja) * 2015-09-28 2017-04-06 オリンパス株式会社 内視鏡システム及び画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3590408A1 (en) * 2018-07-04 2020-01-08 Fujifilm Corporation Endoscope apparatus
US11399707B2 (en) 2018-07-04 2022-08-02 Fujifilm Corporation Endoscope apparatus

Also Published As

Publication number Publication date
CN110769731B (zh) 2022-02-25
CN110769731A (zh) 2020-02-07
US20200154987A1 (en) 2020-05-21
US11432707B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
JP5715311B2 (ja) 内視鏡システム
JP6478136B1 (ja) 内視鏡システム、内視鏡システムの作動方法
JP5715312B2 (ja) 内視鏡システム
EP2888991B1 (en) Endoscope system
CN104780826B (zh) 内窥镜系统
JP5160699B2 (ja) 医療機器
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
US20180214006A1 (en) Image processing apparatus and image processing method
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
US11432707B2 (en) Endoscope system, processor for endoscope and operation method for endoscope system for determining an erroneous estimation portion
JP5354494B2 (ja) ３次元画像生成装置、３次元画像生成方法、及びプログラム
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
US9345394B2 (en) Medical apparatus
US11903561B2 (en) Surgical systems and devices, and methods for configuring surgical systems and performing endoscopic procedures, including ERCP procedures
KR102313319B1 (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
WO2022202400A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2022202520A1 (ja) 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム
CN117241718A (zh) 内窥镜系统、内腔构造计算系统以及内腔构造信息的制作方法
JP2020151467A (ja) 内視鏡プロセッサおよび内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18818296

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18818296

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP