[go: up one dir, main page]

WO2025009009A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2025009009A1
WO2025009009A1 PCT/JP2023/024564 JP2023024564W WO2025009009A1 WO 2025009009 A1 WO2025009009 A1 WO 2025009009A1 JP 2023024564 W JP2023024564 W JP 2023024564W WO 2025009009 A1 WO2025009009 A1 WO 2025009009A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
processor
image processing
boundary information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/024564
Other languages
English (en)
French (fr)
Inventor
正法 三井
康子 池上
宗憲 福西
紘介 甕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to PCT/JP2023/024564 priority Critical patent/WO2025009009A1/ja
Publication of WO2025009009A1 publication Critical patent/WO2025009009A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an image processing device, an image processing method, and an image processing program.
  • Patent Documents 1 and 2 Systems for supporting endoscopic surgery are known in the past (see, for example, Patent Documents 1 and 2).
  • Patent Document 1 an image showing the tip of a treatment tool and the distance from the tip of the treatment tool to the cutting site are synthesized into a three-dimensional image of the organ, and the synthesized three-dimensional image is displayed.
  • Patent Document 2 the shape of a tubular organ such as the large intestine is calculated from a three-dimensional image, the shape of an endoscope is calculated, and the observation position of the endoscope within the organ is estimated based on the correspondence between the shape of the endoscope and the shape of the organ.
  • Patent Documents 1 and 2 three-dimensional images are used that are acquired using a three-dimensional diagnostic imaging device such as a CT device or an MRI device. Therefore, an examination using a three-dimensional diagnostic imaging device is required before endoscopic surgery.
  • the present invention has been made in consideration of the above-mentioned circumstances, and aims to provide an image processing device, an image processing method, and an image processing program that can generate information necessary to support surgery without requiring a three-dimensional image diagnostic device such as a CT device or an MRI device.
  • One aspect of the present invention is an image processing device that processes images captured by an endoscope, the image processing device including a processor, which generates a three-dimensional image of a subject from a first image, associates the position of boundary information of a lesion contained in a second image with a second image, and associates the position of the boundary information associated with the second image with the three-dimensional image, the first image and the second image being two-dimensional images of the subject captured by an endoscope, and the first image being an image captured prior to capturing the second image.
  • Another aspect of the present invention is an image processing method for processing an image captured by an endoscope, the image processing method including generating a three-dimensional image of a subject from a first image, associating a position of boundary information of a lesion contained in a second image with a second image, and associating the position of the boundary information associated with the second image with the three-dimensional image, the first image and the second image being two-dimensional images of the subject captured by an endoscope, and the first image being an image captured prior to capturing the second image.
  • Another aspect of the present invention is an image processing program that causes a processor to execute an image processing method for processing an image captured by an endoscope, the image processing method including generating a three-dimensional image of the subject from a first image, associating a position of boundary information of a lesion contained in the second image with a second image, and associating the position of the boundary information associated with the second image with the three-dimensional image, the first image and the second image being two-dimensional images of the subject captured by an endoscope, and the first image being an image captured prior to capturing the second image.
  • the present invention has the advantage of being able to generate the information necessary to assist with surgery without the need for a three-dimensional imaging diagnostic device such as a CT or MRI device.
  • FIG. 1 is an overall configuration diagram of an endoscope system according to a first embodiment.
  • 3 is a flowchart of an image processing method according to the first embodiment.
  • 2B is a flowchart illustrating an example of step S6 in the image processing method of FIG. 2A.
  • 2B is a flowchart illustrating another example of step S6 in the image processing method of FIG. 2A.
  • FIG. 1 is a diagram illustrating the procedure for ESD of the stomach.
  • FIG. 2 shows the first image in a time series.
  • FIG. 2 shows a three-dimensional image generated from a first image in a time series.
  • FIG. 13 is a diagram showing a three-dimensional image associated with boundary information. 13 is a diagram illustrating boundary information associated with a second image.
  • FIG. 13 is a diagram showing a third image including a treatment tool.
  • FIG. 13 is a diagram showing a third image for explaining an example of support information.
  • FIG. 13 is a diagram showing an example of a third image of a near field of view.
  • FIG. 4 is a diagram showing an example of navigation information and a composite image.
  • 10 is a flowchart of an image processing method according to a second embodiment.
  • 8 is a flowchart illustrating a first example of steps S15 and S16 in the image processing method of FIG. 7.
  • FIG. 8B is a diagram for explaining image processing in FIG. 8A.
  • 8 is a flowchart illustrating a second example of steps S15 and S16 in the image processing method of FIG. 7.
  • FIG. 9B is a diagram for explaining image processing in FIG. 9A.
  • FIG. 8 is a flowchart illustrating a third example of steps S15 and S16 in the image processing method of FIG. 7.
  • FIG. 10B is a diagram for explaining image processing in FIG. 10A.
  • 13 is a flowchart of an image processing method according to a third embodiment.
  • FIG. 11 is a diagram showing an example of progress information.
  • FIG. 11 is a diagram showing another example of the progress information.
  • FIG. 11 is a diagram showing another example of the progress information.
  • FIG. 11 is a diagram showing another example of the progress information.
  • an image processing device 1 is applied to an endoscope system 100 .
  • the endoscope system 100 includes an endoscope 2, an image processing device 1 that processes images captured by the endoscope 2, and a display device 3.
  • the endoscope 2 is a typical monocular endoscope, and has a channel (not shown) into which the treatment tool 4 is inserted.
  • the endoscope 2 has a two-dimensional camera 2a at its tip, which includes an image sensor and an objective lens.
  • the two-dimensional image of the subject taken by the camera 2a is input from the endoscope 2 through the image processing device 1 to the display device 3, and is displayed on the display device 3.
  • the image processing device 1 generates support information for supporting the surgeon in appropriately operating the treatment tool 4 from two-dimensional images captured by the endoscope 2 before and during endoscopic surgery, and outputs the support information.
  • the image processing device 1 includes a processor 11 such as a central processing unit, a memory 12 such as a RAM (Random Access Memory), a storage unit 13, and a user interface 14.
  • the storage unit 13 is a computer-readable non-transitory recording medium such as a hard disk drive or a ROM (read-only memory).
  • the storage unit 13 stores an image processing program 13a for causing the processor 11 to execute an image processing method described below.
  • the storage unit 13 also stores data necessary for image processing, such as optical design data for the endoscope 2.
  • the user interface 14 has input devices such as a mouse, a keyboard, a touch panel, etc. A user such as an operator can input information to the image processing device 1 through the user interface 14 by operating the input devices.
  • the image processing method of this embodiment includes a step S1 of acquiring a first image A of a subject S, a step S2 of generating a three-dimensional (3D) image D of the subject S from the first image A, a step S3 of matching the position of boundary information E of the lesion T to a second image B of the subject S, a step S4 of matching the position of the boundary information E to the 3D image D, a step S5 of receiving a third image C of the subject S, a step S6 of calculating the position of the treatment tool 4 in the 3D image D based on the third image C, a step S7 of determining the positional relationship between the treatment tool 4 and the boundary information E, and a step S8 of outputting support information according to the determination result. Steps S1 and S2 are performed before the endoscopic surgery, and steps S3 to S8 are performed during the endoscopic surgery.
  • FIG. 3 illustrates a general procedure for ESD (endoscopic submucosal dissection) of a stomach (subject) S, which is an example of an endoscopic surgery to which the image processing method is applied.
  • ESD endoscopic submucosal dissection
  • markings M indicating the area to be resected are made around the lesion T (Step I).
  • multiple dot-shaped markings M are made in a circular arrangement.
  • a drug U is locally injected into the submucosa to elevate the lesion T (Step II), the mucosa is incised along the outside of the markings M with a treatment tool 4 such as a knife (Step III), and the lesion T is dissected (Step IV).
  • the local injection, incision, and dissection are repeated multiple times until the entire lesion T is dissected.
  • the processor 11 acquires time-series two-dimensional images of the stomach S as the first image A (step S1).
  • the first image A is an image taken by the endoscope 2 during the endoscopic examination.
  • an image during the endoscopic examination is stored in the memory unit 13, and the processor 11 acquires the first image A by reading out the first image A from the memory unit 13.
  • the endoscope 2 used during the endoscopic examination may be the same as the endoscope 2 used in the endoscopic surgery, or it may be different.
  • the processor 11 generates a 3D image D of the stomach S from the time-series first images A using a known 3D reconstruction technique such as SLAM (Simultaneous Localization and Mapping) or SfM (Structure from Motion) (step S2).
  • SLAM Simultaneous Localization and Mapping
  • SfM Structure from Motion
  • the position in the 3D image D of the camera 2a corresponding to each first image A is calculated.
  • the position of the camera 2a may be stored in the memory unit 13 for use in step S6 described below.
  • the processor 11 After the start of surgery, the processor 11 generates boundary information E on the second image B, calculates the position of the boundary information E on the second image B, and associates the calculated position with the second image B (step S3).
  • the second image B is a two-dimensional image of the stomach S captured by the endoscope 2 during surgery.
  • the boundary information E is information that indicates the position of the boundary of the lesion T that is to be resected.
  • the processor 11 generates an incision line along the boundary of the lesion T as boundary information E based on a user's input.
  • the user uses the user interface 14 to mark the incision line E surrounding the row of markings M on the second image B of a wide field of view including the entire lesion T and markings M.
  • the processor 11 captures the second image B on which the incision line E is marked, and calculates the position of the incision line E in the second image B.
  • the processor 11 may use other methods to generate the boundary information E. For example, the processor 11 may detect markings M from the wide-field second image B and generate a sequence of the markings M as the boundary information.
  • the processor 11 outputs support information according to the determination result of step S7 (step S8).
  • the support information is information that supports the surgeon in operating the treatment tool 4 so that the position or movement direction of the treatment tool 4 is appropriate for the incision line E. Based on the support information, the surgeon can recognize whether the operation of the treatment tool 4 is appropriate for the incision line E.
  • an example of support information is a warning indicating that the tip 4a is inside the incision line E. If the tip 4a is inside the incision line E, the processor 11 causes the display device 3 to display a warning F or causes the speaker to output a warning sound. In FIG. 5C, a frame indicating the warning F is displayed on the edge of the third image C. On the other hand, if the tip 4a is outside the incision line E, the processor 11 does not output a warning (see FIG. 5B). Based on the warning output, the surgeon recognizes that the tip 4a is inside the incision line E and corrects the position of the tip 4a in a direction away from the lesion T.
  • the 3D image D is generated from a two-dimensional first image A captured by a general monocular endoscope 2 prior to endoscopic surgery. Therefore, there is no need for examination with a three-dimensional image diagnostic device such as a CT device or MRI device prior to endoscopic surgery. Furthermore, there is no need to use a special endoscope for endoscopic examination.
  • the current positions of the camera 2a and the tip 4a during endoscopic surgery in the 3D image D are calculated using the two-dimensional second image B. That is, no sensor is required for detecting the positions of the camera 2a and the treatment tool 4. Therefore, the above image processing method can be realized using a general endoscope 2 and a general treatment tool 4 in endoscopic surgery.
  • a technique for detecting the current positions of an endoscope and a treatment tool inside a body using sensors mounted on the endoscope and the treatment tool, respectively for example, JP 2013-202313 A and JP 2014-230612 A. This technique cannot be applied to general endoscopes and general treatment tools that are not equipped with sensors.
  • the processor 11 may correct the shift in the position of the treatment tool 4 in the third image C due to distortion aberration of the third image C, and calculate the position of the tip 4a in the 3D image D using the corrected position of the treatment tool 4.
  • FIG. 2C shows an example of step S6 including correction of the position of the treatment tool 4.
  • the processor 11 calculates an offset amount of each position in the third image C caused by the distortion aberration based on the distortion correction coefficient and the optical design data of the endoscope 2, and generates a conversion table based on the offset amount (step S65).
  • the conversion table is a table that converts each position in the third image C into a corrected position.
  • Step S65 may be executed at any timing before step S63, or the conversion table may be stored in advance in the storage unit 13.
  • the processor 11 calculates the corrected position of the treatment tool 4 using a conversion table from the position of the treatment tool 4 detected in step S61 (step S66), and calculates the relative position between the camera 2a and the tip 4a based on the corrected position of the treatment tool 4 (step S62). According to this configuration, the calculation of the position of the tip 4a in the 3D image D and the determination of the positional relationship between the treatment tool 4 and the incision line E can be performed with higher accuracy.
  • an image processing apparatus, an image processing method, and an image processing program according to a second embodiment of the present invention will be described.
  • This embodiment differs from the first embodiment in that the image processing device 1 provides the surgeon during surgery with navigation information for navigating the direction of incision by the treatment tool 4.
  • configurations different from the first embodiment will be described, and configurations common to the first embodiment will be denoted by the same reference numerals and description thereof will be omitted.
  • the image processing device 1 of this embodiment is applied to an endoscope system 100, similar to the first embodiment, and includes a processor 11, a memory 12, a storage unit 13, and a user interface .
  • the mucosa is incised along the outside of the row of markings M.
  • the surgeon brings the tip of the endoscope 2 close to the mucosa to observe the incised area under magnification. Therefore, as shown in FIG. 6A, the field of view of the third image C during the incision is narrow, and there may be only one or two markings M in the third image C, or no markings M at all. In such cases, the surgeon may not know the direction in which to make the incision.
  • FIG. 7 shows an image processing method according to this embodiment executed by the processor 11.
  • the image processing method includes steps S1, S2, S13 of associating the position of boundary information E of the lesion T with a second image B of the subject S, S14 of receiving a third image C of the subject S, S15 of associating the position of the boundary information E with the third image C, S16 of calculating the position of the boundary information E outside the field of view of the third image C, S17 of generating navigation information G, and S18 of outputting the third image C together with the navigation information G.
  • Steps S1 and S2 are as described in the first embodiment, and are performed before surgery using the first image A obtained during endoscopic examination.
  • Steps S13 to S18 are performed during ESD surgery.
  • the second image B is a wide-field image that includes the entire lesion T and markings M.
  • the processor 11 detects the multiple markings M arranged in a ring shape in the second image B as boundary information E, for example using a known image recognition technique, and calculates the position of each marking M in the second image B (step S13).
  • the processor 11 may determine the second image B in which the markings M are detected, based on input from a user, for example a surgeon.
  • the processor 11 receives in real time the image input from the endoscope 2 to the image processing device 1 as the third image C (step S14), and executes steps S15 to S18 using the current third image C.
  • the processor 11 receives in real time the image input from the endoscope 2 to the image processing device 1 as the third image C (step S14), and executes steps S15 to S18 using the current third image C.
  • the surgeon brings the tip of the endoscope 2 close to the marking M and observes the incision in a magnified manner.
  • the third image C is an image with a close-up field of view narrower than the field of view of the second image B.
  • the processor 11 associates the position of the marking M in the second image B with the third image C via the 3D image D (step S15), and calculates the position of the marking Mout outside the field of view (near field of view) of the third image C (step S16).
  • the processor 11 associates the position of the boundary information E in the second image B with the 3D image D (S152, S152). Specifically, the processor 11 performs matching between the second image B and the 3D image D, and calculates the position of the second image B in the 3D image D (step S151). Next, the processor 11 projects the marking M detected in step S13 onto the 3D image D based on the position calculated in step S151, and calculates the position of the marking M in the 3D image D (step S152).
  • the processor 11 associates the position of the third image C with the 3D image D. Specifically, the processor 11 performs matching between the third image C and the 3D image D, and calculates the position of the third image C in the 3D image D (step S153). Through steps S151, S152, and S153, the position of the boundary information E is associated with the third image C on the 3D image D. Next, the processor 11 identifies a marking Mout that is located outside the near field of view of the third image C and adjacent to the near field of view based on the position of the marking M calculated in steps S152 and S153 and the position of the third image C (step S16).
  • steps S15 and S16 show a second example of steps S15 and S16.
  • the processor 11 associates the position of the boundary information E in the second image B with the 3D image D (S152, S152).
  • the processor 11 associates the position of the third image C with the 3D image D' to which the marking M is projected and the position of the boundary information E is associated (step S154).
  • the processor 11 performs matching between the third image C and the 3D image D', and calculates the position of the third image C in the 3D image D'.
  • the position of the boundary information E is associated with the third image C on the 3D image D'.
  • the processor 11 specifies the marking Mout based on the position of the marking M and the position of the third image C calculated in steps S152 and S154 (step S16).
  • the processor 11 associates the position of the third image C with the second image B via the 3D image D. Specifically, the processor 11 performs steps S151 and S153 in the same manner as in the first example. By steps S151 and S153, the position of the boundary information E is associated with the third image C.
  • the processor 11 calculates the position of the third image C in the second image B based on the positions of the images B and C calculated in steps S151 and S153 (step S155).
  • the processor 11 identifies the marking Mout based on the position of the marking M and the position of the third image C calculated in steps S13 and S155 (step S16).
  • the matching in steps S151, S153, and S154 may be performed based on landmarks, which are characteristic points in each of images B, C, and D.
  • processor 11 may detect the position, type, and feature amount of one or more landmarks in each of images B, C, and D, create a proximity graph from the landmarks for each of images B, C, and D, and perform matching between the images using the proximity graph.
  • the processor 11 Following step S16, the processor 11 generates navigation information G (step S17) and outputs the third image C together with the navigation information G to the display device 3 for display (step S18).
  • the navigation information G is a display indicating the position or direction of the marking Mout calculated in step S16, for example, a display such as an arrow pointing toward the marking Mout, or a display positioned at the position of the marking Mout.
  • the processor 11 may generate a composite image H in which the navigation information G is composited outside the third image C, and display the composite image H on the display device 3.
  • the display G indicating the direction is positioned between the marking M in the third image C and the marking Mout.
  • the surgeon can grasp boundary information E outside the field of view of the third image C based on navigation information G outside the third image C, and recognize the direction in which the incision should be made.
  • the above image processing method can be realized using a general endoscope 2 and a general treatment tool 4 in endoscopic surgery.
  • an image processing apparatus, an image processing method, and an image processing program according to a third embodiment of the present invention will be described.
  • This embodiment differs from the first embodiment in that the image processing device 1 provides the surgeon with progress information during surgery that indicates the progress of treatment by the treatment tool 4.
  • configurations different from the first embodiment will be described, and configurations common to the first embodiment will be denoted by the same reference numerals and description thereof will be omitted.
  • the image processing device 1 of this embodiment is applied to an endoscope system 100, similar to the first embodiment, and includes a processor 11, a memory 12, a storage unit 13, and a user interface .
  • the resection of the lesion T is carried out in stages by repeatedly performing local injection of drugs, incision of the mucosa, and dissection of the lesion T. It can be difficult for an inexperienced surgeon to judge the timing to move from incision to dissection. Furthermore, the larger the lesion T, the more difficult it is for the surgeon to grasp the progress of the procedure.
  • FIG. 11 shows an image processing method according to this embodiment executed by the processor 11.
  • the image processing method includes steps S1, S2, S23 of associating the position of boundary information E of the lesion T with a second image B of the subject S, S24 of associating the position of the boundary information E with the 3D image D, S25 of receiving a third image C of the subject S, S26 of determining whether the treatment tool 4 in the third image C is performing treatment, S27 of calculating the position of the treatment tool 4 in the 3D image D based on the third image C, S28 of determining the progress of the treatment, S29 of generating progress information I, and S30 of outputting the third image C together with the progress information I.
  • Steps S1 and S2 are as described in the first embodiment, and are performed before surgery using the first image A obtained during endoscopic examination.
  • Steps S23 to S30 are performed during ESD surgery.
  • Steps S23 and S24 are the same as steps S3 and S4, respectively, in the first embodiment.
  • the boundary information E is an incision line to be incised by the treatment tool 4.
  • the processor 11 receives the third image C input from the endoscope 2 to the image processing device 1 in real time (step S25), and executes steps S26 to S30 using the current third image C.
  • the processor 11 determines whether or not the treatment tool 4 is performing treatment based on at least the position of the treatment tool 4 in the third image C (step S26). For example, if the treatment tool 4 is an energy device such as an electric scalpel, the mucosa is incised only when power is supplied to the treatment tool 4 and the treatment tool 4 is in contact with the mucosa. The processor 11 determines that treatment is being performed when the treatment tool 4 is in contact with the mucosa and power is being supplied to the treatment tool 4. Therefore, the processor 11 may obtain information indicating whether the treatment tool 4 is in contact with the mucosa and information indicating whether power is being supplied to the treatment tool 4 in step S26, as necessary.
  • step S26 If it is determined that the treatment tool 4 is not performing treatment (NO in step S26), the processor 11 then proceeds to step S28.
  • the processor 11 calculates the position of the tip 4a in the third image C at that time based on the third image C (step S27). The calculation of the tip 4a in the 3D image D is performed in the same manner as in step S6 in the first embodiment.
  • the processor 11 may calculate the position of the tip 4a using other methods. For example, the processor 11 may detect the treatment tool 4 in the third image C using a known image recognition technology, and calculate the position of the tip 4a in the 3D image D by matching between the third image C and the 3D image D.
  • processor 11 determines the progress of the treatment based on the position of incision line E associated with 3D image D in step S23 and the position of tip 4a calculated in step S27 (step S28). For example, processor 11 stores the position of tip 4a calculated in step S23, thereby obtaining information on the position of the already incised part. Processor 11 determines the part of incision line E that has already been incised based on a comparison between the stored position of tip 4a and the position of incision line E.
  • the processor 11 generates progress information I indicating the progress of the incision (step S29).
  • an example of the progress information I is a figure representing an incision line E.
  • the progress information may be a 3D image D in which the figure I is superimposed on the position of the incision line E.
  • a part that has already been incised and a part that has not yet been incised are displayed in different modes (e.g., in different colors).
  • Fig. 12A in order to indicate the difference in the modes, the part that has been incised is shown with a solid line, and the part that has not yet been incised is shown with a dotted line.
  • the 3D image D including the figure I may be divided into multiple regions D1, D2.
  • the processor 11 selects one region including the position of the tip 4a from the multiple regions D1, D2, and displays the selected region so that it can be distinguished from the other regions.
  • the landscape-oriented 3D image D is divided into a left region D1 and a right region D2, and a frame is added to the selected left region D1.
  • another example of the progress information I is a display including a numerical value of the ratio of the length of the incised portion to the total length of the incision line E.
  • another example of the progress information I is a progress bar.
  • the processor 11 outputs the third image C together with the progress information I to the display device 3 for display (step S30). For example, as shown in Figures 12A to 12D, the progress information I is displayed on the display device 3 alongside the third image C.
  • the surgeon can know the progress of the incision based on the progress information I. This allows the surgeon to smoothly proceed with the treatment by determining the timing to proceed to the next step, such as dissection, and thus allows the surgeon to perform appropriate treatment.
  • the above image processing method can be realized using a general endoscope 2 and a general treatment tool 4 in endoscopic surgery.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置は、プロセッサを備える。プロセッサは、第１画像から被検体の３次元画像を生成し（Ｓ２）、第２画像に含まれる病変部の境界情報の位置を第２画像に対応付け（Ｓ３）、第２画像に対応付けられた境界情報の位置を３次元画像に対応付ける（Ｓ４）。第１画像および第２画像は、内視鏡によって撮影された被検体の２次元画像であり、第１画像は、第２画像の撮影に先立って撮影された画像である。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。
　従来、内視鏡手術を支援するシステムが知られている（例えば、特許文献１，２参照。）。特許文献１において、処置具の先端を示す画像と処置具の先端から切削部位までの距離とが臓器の３次元画像に合成され、合成された３次元画像が表示される。特許文献２において、大腸等の管腔の臓器の形状が３次元画像から算出され、内視鏡の形状が算出され、内視鏡の形状と臓器の形状との対応関係に基づいて臓器内の内視鏡の観察位置が推定される。
特開２０１３－２０２３１３号公報 特開２０１４－２３０６１２号公報
　特許文献１，２において、ＣＴ装置またはＭＲＩ装置等のような３次元画像診断装置を用いて取得された３次元画像が使用される。したがって、内視鏡手術の前に、３次元画像診断装置を使用した検査が必要となる。
　本発明は、上述した事情に鑑みてなされたものであって、ＣＴ装置またはＭＲＩ装置のような３次元画像診断装置を必要とすることなく、手術の支援に必要な情報を生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
　本発明の一態様は、内視鏡によって撮影された画像を処理する画像処理装置であって、プロセッサを備え、該プロセッサが、第１画像から被検体の３次元画像を生成し、第２画像に該第２画像に含まれる病変部の境界情報の位置を対応付け、前記第２画像に対応付けられた前記境界情報の位置を前記３次元画像に対応付け、前記第１画像および前記第２画像は、内視鏡によって撮影された前記被検体の２次元画像であり、前記第１画像は、前記第２画像の撮影に先立って撮影された画像である、画像処理装置である。
　本発明の他の態様は、内視鏡によって撮影された画像を処理する画像処理方法であって、第１画像から被検体の３次元画像を生成すること、第２画像に該第２画像に含まれる病変部の境界情報の位置を対応付けること、および、前記第２画像に対応付けられた前記境界情報の位置を前記３次元画像に対応付けること、を含み、前記第１画像および前記第２画像は、内視鏡によって撮影された前記被検体の２次元画像であり、前記第１画像は、前記第２画像の撮影に先立って撮影された画像である、画像処理方法である。
　本発明の他の態様は、内視鏡によって撮影された画像を処理する画像処理方法をプロセッサに実行させる画像処理プログラムであって、前記画像処理方法が、第１画像から被検体の３次元画像を生成すること、第２画像に該第２画像に含まれる病変部の境界情報の位置を対応付けること、および、前記第２画像に対応付けられた前記境界情報の位置を前記３次元画像に対応付けること、を含み、前記第１画像および前記第２画像は、内視鏡によって撮影された前記被検体の２次元画像であり、前記第１画像は、前記第２画像の撮影に先立って撮影された画像である、画像処理プログラムである。
　本発明によれば、ＣＴ装置またはＭＲＩ装置のような３次元画像診断装置を必要とすることなく、手術の支援に必要な情報を生成することができるという効果を奏する。
第１実施形態に係る内視鏡システムの全体構成図である。 第１実施形態に係る画像処理方法のフローチャートである。 図２Ａの画像処理方法におけるステップＳ６の一例を説明するフローチャートである。 図２Ａの画像処理方法におけるステップＳ６の他の例を説明するフローチャートである。 胃のＥＳＤの手順を説明する図である。 時系列の第１画像を示す図である。 時系列の第１画像から生成される３次元画像を示す図である。 境界情報が対応付けられた３次元画像を示す図である。 第２画像に対応付けられる境界情報を説明する図である。 処置具を含む第３画像を示す図である。 支援情報の一例を説明する第３画像を示す図である。 近接視野の第３画像の一例を示す図である。 ナビゲーション情報および合成画像の一例を示す図である。 第２実施形態に係る画像処理方法のフローチャートである。 図７の画像処理方法におけるステップＳ１５，Ｓ１６の第１の例を説明するフローチャートである。 図８Ａにおける画像処理を説明する図である。 図７の画像処理方法におけるステップＳ１５，Ｓ１６の第２の例を説明するフローチャートである。 図９Ａにおける画像処理を説明する図である。 図７の画像処理方法におけるステップＳ１５，Ｓ１６の第３の例を説明するフローチャートである。 図１０Ａにおける画像処理を説明する図である。 第３実施形態に係る画像処理方法のフローチャートである。 進捗情報の一例を示す図でる。 進捗情報の他の例を示す図でる。 進捗情報の他の例を示す図でる。 進捗情報の他の例を示す図でる。
（第１実施形態）
　本発明の第１実施形態に係る画像処理装置、画像処理方法および画像処理プログラムについて図面を参照して説明する。
　図１に示されるように、本実施形態に係る画像処理装置１は、内視鏡システム１００に適用される。
　内視鏡システム１００は、内視鏡２と、内視鏡２によって撮影された画像を処理する画像処理装置１と、表示装置３と、を備える。
　内視鏡２は、一般的な単眼の内視鏡であり、処置具４が挿入されるチャネル（図示略）を有する。内視鏡２は、撮像素子および対物レンズ等を含む２次元のカメラ２ａをその先端に有する。カメラ２ａによって撮影された被検体の２次元画像は、内視鏡２から画像処理装置１を通して表示装置３に入力され、表示装置３に表示される。
　画像処理装置１は、内視鏡手術の前および最中に内視鏡２によって撮影された２次元画像から、術者による処置具４の適切な操作を支援するための支援情報を生成し、支援情報を出力する。
　具体的には、画像処理装置１は、中央演算処理装置のようなプロセッサ１１と、ＲＡＭ（Random　Access　Memory）のようなメモリ１２と、記憶部１３と、ユーザインタフェース１４と、を備える。
　記憶部１３は、例えばハードディスクドライブまたはＲＯＭ（read-only　memory）のような、コンピュータ読み取り可能な非一時的な記録媒体である。記憶部１３は、後述する画像処理方法をプロセッサ１１に実行させるための画像処理プログラム１３ａを記憶している。また、記憶部１３は、内視鏡２の光学設計データ等の画像処理に必要なデータを記憶している。
　ユーザインタフェース１４は、マウス、キーボードおよびタッチパネル等の入力デバイスを有する。術者等のユーザは、入力デバイスを操作することによって、ユーザインタフェース１４を通して画像処理装置１に情報を入力することができる。
　次に、プロセッサ１１が実行する画像処理方法について説明する。
　図２Ａに示されるように、本実施形態に係る画像処理方法は、被検体Ｓの第１画像Ａを取得するステップＳ１と、第１画像Ａから被検体Ｓの３次元（３Ｄ）画像Ｄを生成するステップＳ２と、病変部Ｔの境界情報Ｅの位置を被検体Ｓの第２画像Ｂに対応付けるステップＳ３と、境界情報Ｅの位置を３Ｄ画像Ｄに対応付けるステップＳ４と、被検体Ｓの第３画像Ｃを受信するステップＳ５と、第３画像Ｃに基づいて処置具４の３Ｄ画像Ｄ内での位置を算出するステップＳ６と、処置具４と境界情報Ｅとの間の位置関係を判定するステップＳ７と、判定結果に応じた支援情報を出力するステップＳ８と、を含む。
　ステップＳ１，Ｓ２は内視鏡手術前に実行され、ステップＳ３～Ｓ８は内視鏡手術中に実行される。
　図３は、画像処理方法が適用される内視鏡手術の一例である胃（被検体）ＳのＥＳＤ（内視鏡的粘膜下層剥離術）の一般的な手順を説明している。
　ＥＳＤにおいて、病変部Ｔの周囲に、切除すべき範囲を示すマーキングＭが付される（（ステップＩ）。図３において、環状に配列する複数のドット状のマーキングＭが付されている。次に、病変部Ｔを隆起させるために粘膜下層に薬剤Ｕが局所的に注入され（ステップＩＩ）、マーキングＭの外側に沿って粘膜がナイフ等の処置具４によって切開され（ステップＩＩＩ）、病変部Ｔが剥離される（ステップＩＶ）。局注、切開および剥離は、病変部Ｔの全部が剥離されるまで複数回繰り返される。
　図４Ａに示されるように、プロセッサ１１は、胃Ｓの時系列の２次元画像を第１画像Ａとして取得する（ステップＳ１）。一般に、ＥＳＤの手術に先立ち、胃Ｓの内視鏡検査が行われる。第１画像Ａは、内視鏡検査時に内視鏡２によって撮影された画像である。例えば、内視鏡検査時の画像が記憶部１３に記憶され、プロセッサ１１は、記憶部１３から第１画像Ａを読み出すことによって第１画像Ａを取得する。内視鏡検査時に使用される内視鏡２は、内視鏡手術において使用される内視鏡２と同一であってもよく、異なっていてもよい。
　次に、図４Ｂに示されるように、プロセッサ１１は、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）またはＳｆＭ（Structure　from　Motion）等の公知の３次元再構成技術を使用して、時系列の第１画像Ａから胃Ｓの３Ｄ画像Ｄを生成する（ステップＳ２）。３Ｄ画像Ｄの３次元再構成の処理において、各第１画像Ａに対応するカメラ２ａの３Ｄ画像Ｄ内での位置が算出される。カメラ２ａの位置は、後述するステップＳ６において使用するために記憶部１３に記憶されてもよい。
　手術開始後、プロセッサ１１は、第２画像Ｂ上に境界情報Ｅを生成し、第２画像Ｂ上での境界情報Ｅの位置を算出し、算出された位置を第２画像Ｂに対応付ける（ステップＳ３）。第２画像Ｂは、手術中に内視鏡２によって撮影される胃Ｓの２次元画像である。境界情報Ｅは、切除対象である病変部Ｔの境界の位置を示す情報である。
　例えば、図５Ａに示されるように、プロセッサ１１は、ユーザの入力に基づいて、病変部Ｔの境界に沿う切開ラインを境界情報Ｅとして生成する。ユーザは、ユーザインタフェース１４を使用して、病変部ＴおよびマーキングＭの全体を含む広視野の第２画像Ｂ上に、マーキングＭの列を囲む切開ラインＥをマーキングする。プロセッサ１１は、切開ラインＥがマーキングされた第２画像Ｂを取り込み、第２画像Ｂ内での切開ラインＥの位置を算出する。
　プロセッサ１１は、他の方法によって境界情報Ｅを生成してもよい。例えば、プロセッサ１１は、広視野の第２画像ＢからマーキングＭを検出し、マーキングＭの列を境界情報として生成してもよい。
　次に、図４Ｃに示されるように、プロセッサ１１は、第２画像Ｂに対応付けられた境界情報Ｅの位置を３Ｄ画像Ｄに対応付ける（ステップＳ４）。例えば、プロセッサ１１は、第２画像Ｂと３Ｄ画像Ｄとの間のマッチングを行い、３Ｄ画像Ｄ内での切開ラインＥの位置を算出する。
　ステップＳ４の後、プロセッサ１１は、内視鏡２から画像処理装置１に入力される画像を第３画像Ｃとしてリアルタイムに受信する（ステップＳ５）。したがって、第３画像Ｃは、第２画像Ｂの後に内視鏡２によって撮影された２次元画像である。プロセッサ１１は、現在の第３画像Ｃを用いてステップＳ６～Ｓ８を実行する。
　図５Ｂに示されるように、粘膜の切開が開始されると、処置具４が内視鏡２の視野内に配置される。プロセッサ１１は、処置具４とカメラ２ａとの間の相対位置が一定であるという特性に基づき、第３画像Ｃを使用して処置具４の先端４ａの３Ｄ画像Ｄ内の位置を算出する（ステップＳ６）。
　図２Ｂは、ステップＳ６の具体例を示している。
　処置中、処置具４は内視鏡２と一体的に移動する。したがって、第３画像Ｃ内の背景領域（処置具４以外の領域）は複数の第３画像Ｃ間で移動するが、処置具４は、複数の第３画像Ｃ間で移動しない。プロセッサ１１は、時系列の少なくとも２つの第３画像Ｃ間で静止している静止領域を処置具４として検出する（ステップＳ６１）。
　次に、プロセッサ１１は、第３画像Ｃ内の処置具４の位置および内視鏡２の光学設計データに基づき、カメラ２ａと先端４ａとの間の相対位置を算出する（ステップＳ６２）。
　次に、プロセッサ１１は、第３画像Ｃに基づいて、３Ｄ画像Ｄ内での現在のカメラ２ａの位置を算出する（ステップＳ６３）。例えば、プロセッサ１１は、第３画像Ｃと３Ｄ画像Ｄとの間のマッチングを行うことによって３Ｄ画像Ｄ内での第３画像Ｃの位置を算出し、第３画像Ｃの位置から３Ｄ画像Ｄ内でのカメラ２ａを算出する。プロセッサ１１は、ステップＳ２において算出されたカメラ２ａの位置を用いて、３Ｄ画像Ｄ内でのカメラ２ａの位置を算出してもよい。
　次に、プロセッサ１１は、ステップＳ６１，Ｓ６２において算出された相対位置およびカメラ２ａの位置に基づいて、３Ｄ画像Ｄ内での先端４ａの位置を算出する（ステップＳ６４）。
　次に、プロセッサ１１は、ステップＳ４において３Ｄ画像Ｄに対応付けられた境界情報Ｅの位置と、ステップＳ６において算出された先端４ａの位置とに基づいて、切開ラインＥに対する処置具４の位置が適切であるか否か、例えば、先端４ａが切開ラインＥの外側にあるか内側にあるか、を判定する（ステップＳ７）。
　次に、プロセッサ１１は、ステップＳ７の判定結果に応じて支援情報を出力する（ステップＳ８）。支援情報は、処置具４の位置または移動方向が切開ラインＥに対して適切となるように、術者による処置具４の操作を支援する情報である。術者は、支援情報に基づいて、処置具４の操作が切開ラインＥに対して適切であるか否かを認識することができる。
　図５Ｃに示されるように、支援情報の一例は、先端４ａが切開ラインＥの内側にあることを示す警告である。先端４ａが切開ラインＥの内側にある場合、プロセッサ１１は、警告Ｆを表示装置３に表示させるか、または、警告音をスピーカから出力させる。図５Ｃにおいて、警告Ｆを示すフレームが第３画像Ｃの縁に表示される。一方、先端４ａが切開ラインＥの外側にある場合、プロセッサ１１は、警告を出力しない（図５Ｂ参照。）。術者は、警告が出力されたことに基づいて先端４ａが切開ラインＥの内側に入っていることを認識し、病変部Ｔから離れる方向に先端４ａの位置を修正する。
　ＥＳＤにおいて、病変部Ｔの全体を確実に切除するために、病変部Ｔの境界の外側を切開することが重要である。しかし、一般的に、胃の病変部Ｔの境界は不明瞭であることが多い。また、切開時には、切開部分を拡大観察するため第３画像Ｃの視野は狭く、マーキングＭまたは病変部Ｔに対する先端４ａの位置を第３画像Ｃのみに基づいて認識することが難しいことがある。
　本実施形態によれば、切開ラインＥに対する処置具４の位置が判定され、切開ラインＥに対して処置具４が不適切な位置に配置されているとき、例えば、先端４ａが切開ラインＥ内に位置するとき、そのことが警告のような支援情報Ｆによって術者に報知される。これにより、切開ラインＥの外側を確実に切開するように、術者による処置具４の操作を支援することができる。
　また、本実施形態によれば、３Ｄ画像Ｄは、内視鏡手術に先立って一般的な単眼の内視鏡２によって撮影された２次元の第１画像Ａから生成される。したがって、内視鏡手術前のＣＴ装置またはＭＲＩ装置等の３次元画像診断装置の検査が不要である。また、内視鏡検査において、特殊な内視鏡の使用も不要である。
　また、本実施形態によれば、内視鏡手術中のカメラ２ａおよび先端４ａの３Ｄ画像Ｄ内での現在の位置は、２次元の第２画像Ｂを用いて算出される。すなわち、カメラ２ａおよび処置具４の位置を検出するためのセンサは不要である。したがって、内視鏡手術において一般的な内視鏡２および一般的な処置具４を使用して、上記の画像処理方法を実現することができる。
　従来、内視鏡および処置具のそれぞれに搭載されたセンサを使用して、体内での内視鏡および処置具の現在の位置を検出する技術が知られている（例えば、特開２０１３－２０２３１３号公報および特開２０１４－２３０６１２号公報）。この技術は、センサが搭載されていない一般的な内視鏡および一般的な処置具に適用することができない。
　本実施形態において、プロセッサ１１は、第３画像Ｃの歪曲収差に因る第３画像Ｃ内の処置具４の位置のずれを補正し、処置具４の補正された位置を用いて３Ｄ画像Ｄ内での先端４ａの位置を算出してもよい。
　図２Ｃは、処置具４の位置の補正を含むステップＳ６の一例を示している。
　プロセッサ１１は、歪曲収差の補正係数および内視鏡２の光学設計データに基づいて歪曲収差に因る第３画像Ｃの各位置のオフセット量を算出し、オフセット量に基づいて変換テーブルを生成する（ステップＳ６５）。変換テーブルは、第３画像Ｃ内の各位置を補正された位置へ変換するテーブルである。ステップＳ６５は、ステップＳ６３の前の任意のタイミングで実行されてもよく、変換テーブルが記憶部１３に予め記憶されていてもよい。
　プロセッサ１１は、ステップＳ６１において検出された処置具４の位置から、変換テーブルを用いて処置具４の補正された位置を算出し（ステップＳ６６）、補正された処置具４の位置に基づき、カメラ２ａと先端４ａとの間の相対位置を算出する（ステップＳ６２）。
　この構成によれば、３Ｄ画像Ｄ内での先端４ａの位置の算出および処置具４と切開ラインＥとの間の位置関係の判定を、より高い精度で行うことができる。
（第２実施形態）
　次に、本発明の第２実施形態に係る画像処理装置、画像処理方法および画像処理プログラムについて説明する。
　本実施形態は、画像処理装置１が、処置具４による切開の方向をナビゲートするナビゲーション情報を手術中に術者に提供する点において、第１実施形態と異なる。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に画像処理装置１は、第１実施形態と同様、内視鏡システム１００に適用され、プロセッサ１１、メモリ１２、記憶部１３およびユーザインタフェース１４を備える。
　前述したように、胃のＥＳＤにおいて、間隔を空けて配列する複数のマーキングＭが付され、その後、マーキングＭの列の外側に沿って粘膜が切開される。切開時、術者は、切開部分を拡大観察するために内視鏡２の先端を粘膜に近接させる。したがって、図６Ａに示されるように、切開時の第３画像Ｃの視野は狭く、第３画像Ｃ内にマーキングＭが１つまたは２つしかない、または、マーキングＭが１つもないことがある。このような場合、術者は、切開すべき方向が分からなくなることがある。
　図７は、プロセッサ１１が実行する本実施形態に係る画像処理方法を示している。
　画像処理方法は、ステップＳ１と、ステップＳ２と、病変部Ｔの境界情報Ｅの位置を被検体Ｓの第２画像Ｂに対応付けるステップＳ１３と、被検体Ｓの第３画像Ｃを受信するステップＳ１４と、境界情報Ｅの位置を第３画像Ｃに対応付けるステップＳ１５と、第３画像Ｃの視野の外側の境界情報Ｅの位置を算出するステップＳ１６と、ナビゲーション情報Ｇを生成するステップＳ１７と、第３画像Ｃをナビゲーション情報Ｇと一緒に出力するステップＳ１８と、を含む。
　ステップＳ１，Ｓ２は、第１実施形態において説明した通りであり、内視鏡検査時の第１画像Ａを使用して手術前に実行される。ステップＳ１３～Ｓ１８は、ＥＳＤの手術中に実行される。
　第２画像Ｂは、病変部ＴおよびマーキングＭの全体を含む広視野の画像である。プロセッサ１１は、例えば公知の画像認識技術等を使用して、第２画像Ｂ内の環状に配列する複数のマーキングＭを境界情報Ｅとして検出し、第２画像Ｂ内での各マーキングＭの位置を算出する（ステップＳ１３）。プロセッサ１１は、マーキングＭを検出する第２画像Ｂを、例えば術者等のユーザの入力に基づいて決定してもよい。
　ステップＳ１３の後、プロセッサ１１は、内視鏡２から画像処理装置１に入力される画像を第３画像Ｃとしてリアルタイムに受信し（ステップＳ１４）、現在の第３画像Ｃを用いてステップＳ１５～Ｓ１８を実行する。粘膜の切開時、術者は、内視鏡２の先端をマーキングＭに近付け、切開部分を拡大観察する。第３画像Ｃは、第２画像Ｂの視野よりも狭い近接視野の画像である。
　プロセッサ１１は、３Ｄ画像Ｄを介して、第２画像Ｂ内のマーキングＭの位置を第３画像Ｃに対応付け（ステップＳ１５）、第３画像Ｃの視野（近接視野）の外側のマーキングＭｏｕｔの位置を算出する（ステップＳ１６）。
　図８Ａおよび図８Ｂは、ステップＳ１５，Ｓ１６の第１の例を示している。
　プロセッサ１１は、第２画像Ｂ内の境界情報Ｅの位置を３Ｄ画像Ｄに対応付ける（Ｓ１５２，Ｓ１５２）。具体的には、プロセッサ１１は、第２画像Ｂと３Ｄ画像Ｄとの間のマッチングを行い、３Ｄ画像Ｄ内の第２画像Ｂの位置を算出する（ステップＳ１５１）。次に、プロセッサ１１は、ステップＳ１５１において算出された位置に基づいて、ステップＳ１３において検出されたマーキングＭを３Ｄ画像Ｄ上に投影し、３Ｄ画像Ｄ内のマーキングＭの位置を算出する（ステップＳ１５２）。
　次に、プロセッサ１１は、第３画像Ｃの位置を３Ｄ画像Ｄに対応付ける。具体的には、プロセッサ１１は、第３画像Ｃと３Ｄ画像Ｄとの間のマッチングを行い、３Ｄ画像Ｄ内の第３画像Ｃの位置を算出する（ステップＳ１５３）。ステップＳ１５１，Ｓ１５２，Ｓ１５３により、３Ｄ画像Ｄ上において、境界情報Ｅの位置が第３画像Ｃに対応付けられる。
　次に、プロセッサ１１は、ステップＳ１５２，Ｓ１５３において算出されたマーキングＭの位置および第３画像Ｃの位置に基づいて、第３画像Ｃの近接視野の外側に位置し近接視野に隣接するマーキングＭｏｕｔを特定する（ステップＳ１６）。
　図９Ａおよび図９Ｂは、ステップＳ１５，Ｓ１６の第２の例を示している。
　プロセッサ１１は、第１の例と同様に、第２画像Ｂ内の境界情報Ｅの位置を３Ｄ画像Ｄに対応付ける（Ｓ１５２，Ｓ１５２）。
　次に、プロセッサ１１は、第３画像Ｃの位置を、マーキングＭが投影され境界情報Ｅの位置が対応付けられた３Ｄ画像Ｄ’に対応付ける（ステップＳ１５４）。具体的には、プロセッサ１１は、第３画像Ｃと３Ｄ画像Ｄ’との間のマッチングを行い、３Ｄ画像Ｄ’内の第３画像Ｃの位置を算出する。ステップＳ１５１，Ｓ１５２，Ｓ１５４により、３Ｄ画像Ｄ’上において、境界情報Ｅの位置が第３画像Ｃに対応付けられる
　次に、プロセッサ１１は、ステップＳ１５２，Ｓ１５４において算出されたマーキングＭの位置および第３画像Ｃの位置に基づいて、マーキングＭｏｕｔを特定する（ステップＳ１６）。
　図１０Ａおよび図１０Ｂは、ステップＳ１５，Ｓ１６の第３の例を示している。
　プロセッサ１１は、３Ｄ画像Ｄを介して第３画像Ｃの位置を第２画像Ｂに対応付ける。具体的には、プロセッサ１１は、第１の例と同様に、ステップＳ１５１およびステップＳ１５３を行う。ステップＳ１５１，Ｓ１５３により、境界情報Ｅの位置が第３画像Ｃに対応付けられる。
　次に、プロセッサ１１は、ステップＳ１５１，Ｓ１５３おいて算出された画像Ｂ，Ｃの位置に基づいて、第２画像Ｂ内の第３画像Ｃの位置を算出する（ステップＳ１５５）。
　次に、プロセッサ１１は、ステップＳ１３，Ｓ１５５において算出されたマーキングＭの位置および第３画像Ｃの位置に基づいて、マーキングＭｏｕｔを特定する（ステップＳ１６）。
　ステップＳ１５１，Ｓ１５３，Ｓ１５４のマッチングは、各画像Ｂ，Ｃ，Ｄ内の特徴点であるランドマークに基づいて行われてもよい。例えば、プロセッサ１１は、各画像Ｂ，Ｃ，Ｄから１以上のランドマークの位置、種類および特徴量を検出し、各画像Ｂ，Ｃ，Ｄについてランドマークから近接グラフを作成し、近接グラフを用いて画像間のマッチングを行ってもよい。
　ステップＳ１６に続き、プロセッサ１１は、ナビゲーション情報Ｇを生成し（ステップＳ１７）、第３画像Ｃをナビゲーション情報Ｇと一緒に表示装置３に出力し表示させる（ステップＳ１８）。ナビゲーション情報Ｇは、ステップＳ１６において算出されたマーキングＭｏｕｔの位置または方向を示す表示であり、例えば、矢印のようなマーキングＭｏｕｔの方を向く表示、または、マーキングＭｏｕｔの位置に配置される表示である。図６Ｂに示されるように、プロセッサ１１は、第３画像Ｃの外側にナビゲーション情報Ｇが合成された合成画像Ｈを生成し、合成画像Ｈを表示装置３に表示させてもよい。図６Ｂにおいて、方向を示す表示Ｇは、第３画像Ｃ内のマーキングＭと、マーキングＭｏｕｔと、の間に配置されている。
　図６Ａに示されるように、第３画像Ｃ内のマーキングＭが２つのみである場合、術者は、左のマーキングＭから右のマーキングＭまで切開した後、どちらの方向に向かって切開を進めるべきかを、第３画像Ｃのみから判断することは難しい。
　本実施形態によれば、術者は、第３画像Ｃの外側のナビゲーション情報Ｇに基づき、第３画像Ｃの視野の外側の境界情報Ｅを把握し、切開すべき方向を認識することができる。
　また、第１実施形態と同様に、本実施形態によれば、内視鏡手術前のＣＴ装置またはＭＲＩ装置等の３次元画像診断装置の検査が不要であると共に、内視鏡検査において、特殊な内視鏡の使用も不要である。また、本実施形態によれば、内視鏡手術において一般的な内視鏡２および一般的な処置具４を使用して、上記の画像処理方法を実現することができる。
（第３実施形態）
　次に、本発明の第３実施形態に係る画像処理装置、画像処理方法および画像処理プログラムについて説明する。
　本実施形態は、画像処理装置１が、処置具４による処置の進捗を表す進捗情報を手術中に術者に提供する点において、第１実施形態と異なる。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に画像処理装置１は、第１実施形態と同様、内視鏡システム１００に適用され、プロセッサ１１、メモリ１２、記憶部１３およびユーザインタフェース１４を備える。
　前述したように、胃のＥＳＤにおいて、薬剤の局注、粘膜の切開および病変部Ｔの剥離の繰り返しによって、病変部Ｔの切除が段階的に進められる。熟練していない術者にとって、切開から剥離に進むタイミングの判断が難しいことがある。また、病変部Ｔが大きい程、術者は、処置の進捗を把握することが困難になる。
　図１１は、プロセッサ１１が実行する本実施形態に係る画像処理方法を示している。
　画像処理方法は、ステップＳ１と、ステップＳ２と、病変部Ｔの境界情報Ｅの位置を被検体Ｓの第２画像Ｂに対応付けるステップＳ２３と、境界情報Ｅの位置を３Ｄ画像Ｄに対応付けるステップＳ２４と、被検体Ｓの第３画像Ｃを受信するステップＳ２５と、第３画像Ｃ内の処置具４が処置を行っているか否かを判定するステップＳ２６と、第３画像Ｃに基づいて処置具４の３Ｄ画像Ｄ内での位置を算出するステップＳ２７と、処置の進捗を判定するステップＳ２８と、進捗情報Ｉを生成するステップＳ２９と、第３画像Ｃを進捗情報Ｉと一緒に出力するステップＳ３０と、を含む。
　ステップＳ１，Ｓ２は、第１実施形態において説明した通りであり、内視鏡検査時の第１画像Ａを使用して手術前に実行される。ステップＳ２３～Ｓ３０は、ＥＳＤの手術中に実行される。
　ステップＳ２３，Ｓ２４は、第１実施形態のステップＳ３，Ｓ４とそれぞれ同一である。境界情報Ｅは、処置具４によって切開すべき切開ラインである。
　ステップＳ２４の後、プロセッサ１１は、内視鏡２から画像処理装置１に入力される第３画像Ｃをリアルタイムに受信し（ステップＳ２５）、現在の第３画像Ｃを用いてステップＳ２６～Ｓ３０を実行する。
　プロセッサ１１は、少なくとも、第３画像Ｃ内の処置具４の位置に基づいて、処置具４が処置を行っているいか否かを判定する（ステップＳ２６）。例えば、処置具４が電気メスのようなエネルギデバイスである場合、処置具４に電力が供給されかつ処置具４が粘膜に接触しているときのみ、粘膜が切開される。プロセッサ１１は、処置具４が粘膜に接触し、かつ、処置具４に電力が供給されているときに、処置が行われていると判定する。したがって、プロセッサ１１は、必要に応じて、処置具４が粘膜に接触しているか否かの情報と、処置具４に電力が供給されているか否かを示す情報と、ステップＳ２６において取得してもよい。
　処置具４が処置を行っていないと判定された場合（ステップＳ２６のＮＯ）、プロセッサ１１は、次にステップＳ２８に進む。
　処置具４が処置を行っていると判定された場合（ステップＳ２６のＹＥＳ）、プロセッサ１１は、そのときの先端４ａの第３画像Ｃ内での位置を第３画像Ｃに基づいて算出する（ステップＳ２７）。３Ｄ画像Ｄ内での先端４ａの算出は、第１実施形態のステップＳ６と同様に行われる。プロセッサ１１は、他の方法を用いて先端４ａの位置を算出してもよい。例えば、プロセッサ１１は、公知の画像認識技術を使用して第３画像Ｃ内の処置具４を検出し、第３画像Ｃと３Ｄ画像Ｄとの間のマッチングによって３Ｄ画像Ｄ内の先端４ａの位置を算出してもよい。
　次に、プロセッサ１１は、ステップＳ２３において３Ｄ画像Ｄに対応付けられた切開ラインＥの位置と、ステップＳ２７において算出された先端４ａの位置と、に基づいて、処置の進捗を判定する（ステップＳ２８）。例えば、プロセッサ１１は、ステップＳ２３において算出された先端４ａの位置を蓄積し、それにより、既に切開された位置の情報を得る。プロセッサ１１は、蓄積された先端４ａの位置と切開ラインＥの位置との対比に基づいて、切開ラインＥの内、既に切開された部分を判定する。
　次に、プロセッサ１１は、切開の進捗を表す進捗情報Ｉを生成する（ステップＳ２９）。
　図１２Ａに示されるように、進捗情報Ｉの一例は、切開ラインＥを表す図形である。進捗情報は、切開ラインＥの位置に図形Ｉが重畳された３Ｄ画像Ｄであってもよい。図形Ｉにおいて、すでに切開された部分と、まだ切開されていない部分とが、相互に異なる態様で（例えば、異なる色で）表示される。図１２Ａにおいて、態様の違いを表すために、切開された部分は実線で示され、切開されていない部分は点線で示されている。
　図１２Ｂに示されるように、図形Ｉを含む３Ｄ画像Ｄは、複数の領域Ｄ１，Ｄ２に分割されてもよい。この場合、プロセッサ１１は、複数の領域Ｄ１，Ｄ２の中から、先端４ａの位置を含む１つの領域を選択し、選択された領域を他の領域とは識別可能に表示する。図１２Ｂにおいて、横長の３Ｄ画像Ｄが左領域Ｄ１と右領域Ｄ２とに分割され、選択されている左領域Ｄ１に枠が付される。この構成によれば、大きい病変部Ｔ等の場合に、術者は、第３画像Ｃと図形Ｉにおける現在の切開位置とを容易に比較することができる。
　図１２Ｃに示されるように、進捗情報Ｉの他の例は、切開ラインＥの全長に対する、切開された部分の長さの比率の数値を含む表示である。
　図１２Ｄに示されるように、進捗情報Ｉの他の例は、プログレスバーである。
　次に、プロセッサ１１は、第３画像Ｃを進捗情報Ｉと一緒に表示装置３に出力し表示させする（ステップＳ３０）。例えば、図１２Ａ～図１２Ｄに示されるように、進捗情報Ｉは、第３画像Ｃと並んで表示装置３に表示される。
　前述したように、ＥＳＤの手術中、近接視野の第３画像Ｃのみに基づいて処置の進捗を把握することが難しい。
　本実施形態によれば、術者は、進捗情報Ｉに基づいて切開の進捗を知ることができる。これにより、術者は、剥離等の次の手順に進むタイミングを見極めてスムーズに処置を進めることができ、適切な処置を行うことができる。
　また、第１実施形態と同様に、本実施形態によれば、内視鏡手術前のＣＴ装置またはＭＲＩ装置等の３次元画像診断装置の検査が不要であると共に、内視鏡検査において、特殊な内視鏡の使用も不要である。また、本実施形態によれば、内視鏡手術において一般的な内視鏡２および一般的な処置具４を使用して、上記の画像処理方法を実現することができる。
　以上、本発明の実施形態およびその変形例について説明したが、本発明はこれに限定されるものではなく、本発明の要旨を逸脱しない範囲で適宜変更可能である。
　例えば、本発明の画像処理装置および画像処理方法は、ＥＳＤの手術の他に、病変部の境界に沿って組織を切開する他の内視鏡手術にも適用することができる。
　また、第１画像Ａは、内視鏡検査時の画像に限らず、第２画像Ｂに先立って任意のタイミングで内視鏡２によって撮影される２次元画像であってもよい。例えば、内視鏡手術において、プロセッサ１１は、被検体の時系列の第１画像Ａを取得し、３Ｄ画像Ｄを生成し、その後、第２画像Ｂを用いた処理を実行してもよい。
１　画像処理装置
２　内視鏡
２ａ　カメラ
３　表示装置
４　処置具
４ａ　先端
１１　プロセッサ
１３　記憶部
１３ａ　画像処理プログラム
Ａ　第１画像
Ｂ　第２画像
Ｃ　第３画像
Ｄ　３次元画像
Ｅ　切開ライン（境界情報）
Ｆ　警告（支援情報）
Ｇ　ナビゲーション情報
Ｈ　合成画像
Ｉ　進捗情報
Ｓ　被検体
Ｔ　病変部
Ｍ　マーキング

Claims (14)

  1. 　内視鏡によって撮影された画像を処理する画像処理装置であって、
    　プロセッサを備え、
    　該プロセッサが、
    　第１画像から被検体の３次元画像を生成し、
    　第２画像に該第２画像に含まれる病変部の境界情報の位置を対応付け、
    　前記第２画像に対応付けられた前記境界情報の位置を前記３次元画像に対応付け、
    　前記第１画像および前記第２画像は、内視鏡によって撮影された前記被検体の２次元画像であり、前記第１画像は、前記第２画像の撮影に先立って撮影された画像である、画像処理装置。
  2. 　前記プロセッサが、さらに、
    　第３画像内の処置具と内視鏡のカメラとの間の相対位置を前記第３画像に基づいて算出し、前記第３画像は、前記第２画像の撮影の後に前記内視鏡によって撮影された２次元画像であり、
    　前記第３画像に基づいて前記３次元画像内での前記カメラの位置を算出し、
    　前記相対位置と前記３次元画像内での前記カメラの位置とに基づいて、前記３次元画像内での前記処置具の位置を算出し、
    　前記３次元画像に対応付けられた前記境界情報の位置と、前記３次元画像内での処置具の位置とに基づいて、前記処置具と前記境界情報との間の位置関係を判定し、
    　判定結果に応じた支援情報を出力する、請求項１に記載の画像処理装置。
  3. 　前記プロセッサが、前記３次元画像の生成において算出される前記カメラの位置を用いて、前記３次元画像内での前記カメラの位置を算出する、請求項２に記載の画像処理装置。
  4. 　前記プロセッサが、前記相対位置の算出において、時系列の前記第３画像間で静止している領域を前記処置具として検出する、請求項２に記載の画像処理装置。
  5. 　前記プロセッサが、歪曲収差に因る前記第３画像内の前記処置具の位置のずれを補正し、補正された前記処置具の位置に基づいて前記相対位置を算出する、請求項２に記載の画像処理装置。
  6. 　前記プロセッサが、前記第２画像内の前記境界情報を検出することによって前記境界情報の位置を前記第２画像に対応付け、前記第２画像が、前記病変部の全体を含む広視野の画像であり、
    　前記プロセッサが、さらに、
    　前記３次元画像を介して、前記第２画像内の前記境界情報の位置を第３画像に対応付け、該第３画像は、前記第２画像の撮影の後に前記内視鏡によって撮影された前記第２画像よりも狭い視野の２次元画像であり、
    　前記第３画像の視野の外側の前記境界情報の位置を算出し、
    　前記第３画像を、前記視野の外側の境界情報に関するナビゲーション情報と一緒に出力する、請求項１に記載の画像処理装置。
  7. 　前記プロセッサが、前記３次元画像に前記第３画像の位置を対応付け、前記３次元画像に対応付けられた前記境界情報の位置と前記第３画像の位置とに基づいて、前記視野の外側の境界情報の位置を算出する、請求項６に記載の画像処理装置。
  8. 　前記プロセッサが、
    　前記３次元画像、前記第２画像および前記第３画像の各々から特徴点を検出し、
    　前記第２画像の前記特徴点および前記３次元画像の前記特徴点に基づいて、前記第２画像の位置を前記３次元画像に対応付け、
    　前記第３画像の前記特徴点および前記３次元画像の前記特徴点に基づいて、前記第３画像の位置を前記３次元画像に対応付ける、請求項７に記載の画像処理装置。
  9. 　前記ナビゲーション情報が、前記第３画像の視野の外側に位置し該視野に隣接する前記境界情報の位置または方向を示す表示である、請求項６に記載の画像処理装置。
  10. 　前記境界情報が、処置具によって処置すべきラインであり、
    　前記プロセッサが、さらに、
    　第３画像内の前記処置具が処置を行っているか否かを判定し、前記第３画像は、前記第２画像の撮影の後に前記内視鏡によって撮影された２次元画像であり、
    　前記処置具が処置を行っていると判定された場合、そのときの前記処置具の前記３次元画像内での位置を前記第３画像に基づいて算出し、
    　前記３次元画像に対応付けられた前記ラインの位置と前記３次元画像内での前記処置具の位置とに基づいて、処置の進捗を判定し、
    　前記第３画像を前記処置の進捗を表す進捗情報と一緒に出力する、請求項１に記載の画像処理装置。
  11. 　前記進捗情報が、前記ラインを表す図形であり、該図形において、処置された部分と、まだ処置されていない部分とが、相互に異なる態様で表示される、請求項１０に記載の画像処理装置。
  12. 　前記進捗情報が、前記ラインの全長に対する、処置された部分の長さの比率の数値を含む、請求項１０に記載の画像処理装置。
  13. 　内視鏡によって撮影された画像を処理する画像処理方法であって、
    　第１画像から被検体の３次元画像を生成すること、
    　第２画像に該第２画像に含まれる病変部の境界情報の位置を対応付けること、および、
    　前記第２画像に対応付けられた前記境界情報の位置を前記３次元画像に対応付けること、を含み、
    　前記第１画像および前記第２画像は、内視鏡によって撮影された前記被検体の２次元画像であり、前記第１画像は、前記第２画像の撮影に先立って撮影された画像である、画像処理方法。
  14. 　内視鏡によって撮影された画像を処理する画像処理方法をプロセッサに実行させる画像処理プログラムであって、
    　前記画像処理方法が、
    　第１画像から被検体の３次元画像を生成すること、
    　第２画像に該第２画像に含まれる病変部の境界情報の位置を対応付けること、および、
    　前記第２画像に対応付けられた前記境界情報の位置を前記３次元画像に対応付けること、を含み、
    　前記第１画像および前記第２画像は、内視鏡によって撮影された前記被検体の２次元画像であり、前記第１画像は、前記第２画像の撮影に先立って撮影された画像である、画像処理プログラム。
PCT/JP2023/024564 2023-07-03 2023-07-03 画像処理装置、画像処理方法および画像処理プログラム Pending WO2025009009A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/024564 WO2025009009A1 (ja) 2023-07-03 2023-07-03 画像処理装置、画像処理方法および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/024564 WO2025009009A1 (ja) 2023-07-03 2023-07-03 画像処理装置、画像処理方法および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2025009009A1 true WO2025009009A1 (ja) 2025-01-09

Family

ID=94171878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024564 Pending WO2025009009A1 (ja) 2023-07-03 2023-07-03 画像処理装置、画像処理方法および画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2025009009A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2007260144A (ja) * 2006-03-28 2007-10-11 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
JP2012235983A (ja) * 2011-05-13 2012-12-06 Olympus Medical Systems Corp 医療用画像表示システム
WO2020195877A1 (ja) * 2019-03-25 2020-10-01 ソニー株式会社 医療システム、信号処理装置、及び、信号処理方法
WO2022190366A1 (ja) * 2021-03-12 2022-09-15 オリンパス株式会社 内視鏡用形状計測システムおよび内視鏡用形状計測方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2007260144A (ja) * 2006-03-28 2007-10-11 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
JP2012235983A (ja) * 2011-05-13 2012-12-06 Olympus Medical Systems Corp 医療用画像表示システム
WO2020195877A1 (ja) * 2019-03-25 2020-10-01 ソニー株式会社 医療システム、信号処理装置、及び、信号処理方法
WO2022190366A1 (ja) * 2021-03-12 2022-09-15 オリンパス株式会社 内視鏡用形状計測システムおよび内視鏡用形状計測方法

Similar Documents

Publication Publication Date Title
JP4698966B2 (ja) 手技支援システム
JP4009639B2 (ja) 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
JP2006218129A (ja) 手術支援システム
CN111317568B (zh) 胸部成像、距离测量、手术感知以及通知系统和方法
EP3298949B1 (en) Image processing apparatus, image processing method, and surgical system
JP2015505502A (ja) 血管ツリー画像内での見えない分岐部の検出
JP2009279251A (ja) 医療機器
JP2010274044A (ja) 手術支援装置、手術支援方法及び手術支援プログラム
JP2009056239A (ja) 内視鏡装置
JP4875416B2 (ja) 医用ガイドシステム
JP2020531099A (ja) 手術処置中に関心地点を空間的に場所特定する方法
US20210030510A1 (en) Surgery system, image processor, and image processing method
JP4365630B2 (ja) 手術支援装置
JP2006198032A (ja) 手術支援システム
JP4323288B2 (ja) 挿入支援システム
WO2023162657A1 (ja) 医療支援装置、医療支援装置の作動方法及び作動プログラム
JP2002253480A (ja) 医療処置補助装置
JP2006320427A (ja) 内視鏡手術支援システム
WO2023126754A1 (en) Three-dimensional model reconstruction
US12183448B2 (en) Medical image processing apparatus, trocar, medical observation system, image processing method, and computer readable recording medium
JP4022192B2 (ja) 挿入支援システム
JP4493383B2 (ja) 手技支援システム
WO2025009009A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20220148209A1 (en) Medical system, signal processing device, and signal processing method
Oguma et al. Ultrasound image overlay onto endoscopic image by fusing 2D-3D tracking of laparoscopic ultrasound probe

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23944263

Country of ref document: EP

Kind code of ref document: A1