[go: up one dir, main page]

WO2021171817A1 - 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム - Google Patents

内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム Download PDF

Info

Publication number
WO2021171817A1
WO2021171817A1 PCT/JP2021/000927 JP2021000927W WO2021171817A1 WO 2021171817 A1 WO2021171817 A1 WO 2021171817A1 JP 2021000927 W JP2021000927 W JP 2021000927W WO 2021171817 A1 WO2021171817 A1 WO 2021171817A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
image
treatment
image data
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/000927
Other languages
English (en)
French (fr)
Inventor
裕哉 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN202180015801.3A priority Critical patent/CN115135224B/zh
Priority to JP2022503143A priority patent/JP7314394B2/ja
Publication of WO2021171817A1 publication Critical patent/WO2021171817A1/ja
Priority to US17/812,042 priority patent/US12458207B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an endoscopy support device that supports endoscopic examinations, an endoscopy support method, and an endoscopy support program.
  • Patent Document 1 describes a configuration for generating an inspection transition screen in which events extracted due to changes in the state values of inspection data are arranged in chronological order.
  • Patent Document 2 a developed image that virtually represents a state in which the luminal organ is cut open along the extending direction and unfolded is generated from a plurality of endoscopic images in which the inner surface of the luminal organ is photographed.
  • the configuration to be used is described.
  • a source coil is provided in a biopsy forceps which is a treatment tool, and a biopsy position is recorded by using an ON state of a biopsy operation signal as a trigger to perform a biopsy in a desired examination area in a body cavity.
  • a biopsy operation signal as a trigger to perform a biopsy in a desired examination area in a body cavity.
  • the timing at which the treatment such as biopsy is performed can be grasped, but the treatment such as biopsy is performed. It is not easy to grasp the location where it was made.
  • the state of the inner surface of the luminal organ can be grasped, but the place where the treatment such as biopsy is performed cannot be grasped. ..
  • Patent Document 3 does not disclose the means for solving the above-mentioned problems.
  • the present invention has been made in view of the above circumstances, and is an endoscopy support device, an endoscopy support method, and endoscopy that make it possible to easily grasp the location where treatment has been performed in endoscopy.
  • the purpose is to provide an endoscopy support program.
  • the endoscopy support device of the present invention has a processor and a memory, and the memory is obtained by a plurality of imagings of the endoscope with the endoscope inserted in the subject.
  • the plurality of captured image data and the treatment information indicating the treatment performed by using the endoscope in the above state are stored, and the processor stores the plurality of captured image data and the treatment information based on the plurality of captured image data and the treatment information.
  • a developed image in the subject obtained by synthesizing a plurality of captured image data, and a developed image with information indicating a position in the subject in which the treatment has been performed is generated, and the generated developed image is generated.
  • the image is displayed on the display device.
  • the endoscopy support method of the present invention includes a plurality of captured image data obtained by a plurality of imagings of the endoscope in a state where the endoscope is inserted in the subject, and the above-mentioned in the above-mentioned state.
  • the subject obtained by storing the treatment information indicating the treatment performed using the endoscope and synthesizing the plurality of captured image data based on the plurality of captured image data and the above-mentioned treatment information.
  • It is a developed image that generates a developed image with information indicating a position in the subject on which the above-mentioned treatment has been performed, and displays the generated developed image on a display device.
  • the endoscopy support program of the present invention includes a plurality of captured image data obtained by a plurality of imagings of the endoscope in a state where the endoscope is inserted in the subject, and the above-mentioned contents in the above state.
  • the subject obtained by storing the treatment information indicating the treatment performed using the endoscope and synthesizing the plurality of captured image data based on the plurality of captured image data and the above-mentioned treatment information.
  • an endoscopy support device an endoscopy support method, and an endoscopy support program that make it possible to easily grasp the location where a procedure has been performed in endoscopy. can.
  • FIG. 1 It is a figure which shows an example of the whole system in a hospital system. It is a figure which shows the schematic structure of the endoscope department system in the system shown in FIG. It is a block diagram which shows the internal structure of the client PC 22 in the endoscope department system 20 shown in FIG. It is a figure which shows an example of the basic screen of the application of a client PC 22. It is a figure which shows an example of an endoscope device 24. It is a schematic diagram which shows the internal structure of the endoscope apparatus 24 shown in FIG. It is a figure which shows an example of the spectrum of the light generated by the light source apparatus 5 shown in FIG. It is a flowchart which shows an example of the still image generation processing by an image processing apparatus 23. It is a figure which shows an example of the endoscopy and the large intestine development image.
  • FIG. 1 is a diagram showing an example of the overall configuration of the in-hospital system.
  • the system shown in FIG. 1 includes a hospital information system (HIS: Hospital Information System) 10, an endoscopic department system 20, a pathological department system 30, a medical image storage system 40, and another department system 50.
  • LAN Local Area Network
  • HIS10 is a comprehensive system including a medical office accounting system, a medical appointment system, a medical information system, etc., and has an electronic medical record database and the like.
  • the electronic medical record database stores electronic medical records that record medical information of patients.
  • examination request information information regarding an examination request (order) when an examination request is made to the endoscopy department from another clinical department is issued
  • the information is endoscopically performed via HIS10. It is transmitted to the mirror department system 20.
  • the examination request information includes, for example, patient information, order key information ("order number”, “date and time of occurrence”, etc.), request source information ("request department name”, “request doctor name”, “request date”, etc.), order information ("request date”, etc.). "Requested disease name”, “inspection purpose”, “inspection type”, “inspection item”, “inspection site”, “comment”, etc.), inspection reservation information ("inspection date”, “implementation time”, etc.), etc. are included.
  • Patient information is information about a patient and includes patient-specific information such as "patient ID”, "patient name”, “date of birth”, “age”, “gender”, "inpatient / outpatient classification”, etc. ..
  • the endoscope department system 20 is a system for managing the endoscope department.
  • the pathology department system 30 is a system for managing the pathology department.
  • the medical image storage system 40 is a system that electronically stores, searches, and analyzes inspection images from medical image diagnostic devices such as an endoscope device, CT (Computed Tomography), and MRI (Magnetic Resonance Imaging).
  • the medical image storage system 40 may be, for example, a PACS (Picture Archiving and Communication Systems) or another system capable of storing medical images.
  • the other department system 50 is a system for managing other departments.
  • FIG. 2 is a diagram showing a schematic configuration of an endoscopy department system in the system shown in FIG.
  • the endoscopy department includes a reception 20A, a pretreatment room 20B, a plurality of endoscopy rooms (hereinafter referred to as examination rooms) 20C, a cleaning room 20D, and a conference room 20E.
  • Reception 20A is a place where inspections are accepted.
  • the pretreatment room 20B is a room for conducting an interview and pretreatment before endoscopy.
  • the examination room 20C is a room for performing endoscopy.
  • the cleaning room 20D is a room for cleaning the scope and the like used for the endoscopy.
  • the endoscope department system 20 shown in FIG. 2 includes an endoscope department server 21, a plurality of client PCs (Personal Computers) 22, an image processing device 23, an endoscope device 24, a cleaning management device 25, and the like.
  • a washing machine 26 is provided.
  • the endoscope department server 21, the plurality of client PCs 22, the image processing device 23, and the cleaning management device 25 are connected to the LAN 27 in the department.
  • the in-department LAN 27 is connected to the in-hospital LAN 60.
  • the endoscopy support device of the present invention can be applied to the image processing device 23 as an example.
  • the endoscope device 24 includes an insertion unit (scope) having an image pickup element at the tip thereof, and inputs continuous captured image data obtained by continuous shooting of the image pickup element to the image processing device 23.
  • insertion unit scope
  • a configuration example of the endoscope device 24 will be described later in FIG.
  • the image processing device 23 is connected to the endoscope device 24 in the examination room 20C in which the image processing device 23 is installed.
  • the captured image data obtained by the continuous shooting of the endoscope device 24 is continuously input to the image processing device 23.
  • the image processing device 23 generates a still image based on the photographed image data satisfying a specific condition among the photographed image data continuously input from the endoscope device 24.
  • the image processing device 23 performs analysis by AI (Artificial Intelligence) based on the captured image data input from the endoscope device 24. Then, the image processing device 23 generates a still image based on the captured image data at the time based on the analysis result among the captured image data continuously input from the endoscope device 24.
  • AI Artificial Intelligence
  • the image processing device 23 reaches a singular point (anus, circumflex, etc.) at the tip of the scope of the endoscope device 24 by image recognition based on captured image data input from the endoscope device 24. When it is detected, a plurality of captured image data from that time point is extracted. Then, the image processing device 23 generates a still image for each of the extracted plurality of captured image data.
  • the image processing device 23 detects the implementation of the treatment using the endoscope of the endoscope device 24 by image recognition based on the captured image data input from the endoscope device 24, the captured image at that time is detected. Extract the data.
  • This procedure is, for example, a procedure such as a biopsy using biopsy forceps provided in the endoscope of the endoscope device 24.
  • the biopsy forceps are reflected in the image of the captured image data. Therefore, the image processing device 23 can detect the biopsy using the biopsy forceps by detecting the biopsy forceps reflected in the image by image recognition based on the captured image data.
  • the image processing device 23 adds shooting time information indicating the internal time of the image processing device 23 when the still image is obtained to the generated still image.
  • the image processing device 23 When the endoscopy support device of the present invention is applied to the image processing device 23, the image processing device 23 includes a plurality of captured image data obtained by a plurality of imagings of the endoscopy device 24 and the endoscopy device. The treatment information indicating the treatment performed using the 24 and the treatment information are stored. Further, the image processing device 23 is a developed image in the subject obtained by synthesizing a plurality of captured image data based on the stored plurality of captured image data and treatment information, and the above treatment is performed. A developed image with information indicating the position in the subject is generated. Then, the image processing device 23 causes another display device (for example, the display unit 22b of the client PC 22) to display the generated developed image. The processing of these image processing devices 23 will be described later.
  • the image processing device 23 transmits the generated still image, shooting time, and developed image to the endoscope department server 21 via the department LAN 27.
  • the still image and the shooting time information transmitted by the image processing device 23 are stored by the medical image storage system 40 shown in FIG. 1 under the control of the endoscope department server 21, for example.
  • the washing machine 26 and the washing management device 25 are installed in the washing room 20D.
  • the washing machine 26 is a device for cleaning the scope and the like used for the endoscopy.
  • the cleaning management device 25 is connected to the cleaning machine 26 and is a computer for registering information such as cleaning history by the cleaning machine 26 in the endoscope department server 21.
  • the endoscope department server 21 is a computer that controls the client PC 22, the image processing device 23, and the cleaning management device 25 in an integrated manner.
  • a database DB is built in the endoscope department server 21, and various information (inspection request information, inspection result information, etc.) is stored in this database DB.
  • a predetermined application program is installed on the client PC 22, and this program enables reference and editing of data recorded in the database DB, registration of data in the database, and the like.
  • FIG. 3 is a block diagram showing an internal configuration of the client PC 22 in the endoscope department system 20 shown in FIG.
  • the client PC 22 includes an input unit 22a, a display unit 22b, a recording unit 22c, a transmission / reception unit 22d, and a control unit 22e.
  • the input unit 22a is an input means for performing various inputs, and is composed of an input device such as a keyboard and a touch panel, and a pointing device such as a mouse and a trackball.
  • the display unit 22b is a display for displaying various images, reports, and the like, and is composed of an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), and the like.
  • LCD Liquid Crystal Display
  • CRT Cathode Ray Tube
  • the recording unit 22c is composed of a hard disk or the like for recording various data.
  • the transmission / reception unit 22d is composed of a transmission / reception interface circuit and the like, and executes a process of transmitting / receiving various instructions, various requests, and various data via the intra-department LAN 27.
  • the control unit 22e includes various processors that execute programs to perform processing, a RAM (Random Access Memory), and a ROM (Read Only Memory).
  • a RAM Random Access Memory
  • ROM Read Only Memory
  • programmable logic which is a processor whose circuit configuration can be changed after manufacturing
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed for executing a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit), is included.
  • the structure of these various processors is an electric circuit that combines circuit elements such as semiconductor elements.
  • the control unit 22e may be composed of one of various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). You may.
  • the control unit 22e controls each unit of the client PC 22 according to the above program, various requests transmitted from the outside via the intra-department LAN 27, instruction information input from the input unit 22a, and the like.
  • the image processing device 23 is composed of, for example, the transmission / reception unit 22d and the control unit 22e shown in FIG. In this case, the image processing device 23 communicates with the endoscope device 24 and the endoscope department server 21 by the transmission / reception unit 22d. Further, the image processing device 23 analyzes the captured image data by the control unit 22e.
  • FIG. 4 is a diagram showing an example of the basic screen of the application of the client PC 22.
  • the control unit 22e acquires the basic screen data from the database DB and displays the basic screen shown in FIG. 4 on the display unit 22b.
  • the client PC 22 is, for example, the client PC 22 in the examination room 20C, but is not limited to this, and may be another client PC 22 shown in FIG.
  • This basic screen is for area A that displays a list of inspection request information (partially excerpted information), area B that displays various operation buttons, and inspection request information selected in the list of area A. It is composed of an area C for displaying a valid launcher.
  • processing items such as "visit”, “reception”, “inspection”, and “accounting” are provided for each inspection request information, and the processing indicated by each processing item for each inspection request information is completed. When this is done, a " ⁇ " mark is displayed for each processing item.
  • the data for displaying this mark is registered in the database DB by the endoscopy department server 21 when each process is completed. For example, when the inspection based on the inspection request information is completed, the endoscope department server 21 registers the information indicating that the inspection is completed in the database DB in association with the inspection request information. As a result, a " ⁇ " mark is displayed in the processing item of "inspection". Information on whether or not each process has been completed may be manually input, or may be automatically notified from the client PC 22 or the endoscope device 24.
  • This application has an “image display” button C1 as an operation button, and the “image display” button C1 is displayed in the area C of the basic screen shown in FIG.
  • This "image display” button C1 is a button for displaying a captured image obtained by an inspection based on the inspection request information selected from the list of the area A.
  • the control unit 22e of the client PC 22 periodically acquires data for displaying this basic screen from the database DB and displays it on the display unit 22b.
  • FIG. 5 is a diagram showing an example of the endoscope device 24.
  • the endoscope device 24 includes an endoscope 1, a control device 4 to which the endoscope 1 is connected, and a light source device 5.
  • the control device 4 includes a display device 7 that displays an image taken by imaging the inside of the subject with the endoscope 1, and an input unit 6 that is an interface for inputting various information to the control device 4. And are connected.
  • the control device 4 controls the endoscope 1, the light source device 5, and the display device 7.
  • the display device 7 has a display surface in which display pixels are arranged in a two-dimensional manner, and pixel data constituting the image data is drawn on each display pixel of the display surface, so that an image based on the image data is drawn. Is displayed.
  • the display device 7 constitutes a display unit that switches the display image in response to a command from the control device 4.
  • the endoscope 1 is a tubular member extending in one direction and is provided at an insertion portion 110 inserted into a subject and a proximal end portion of the insertion portion 110. Observation mode switching operation, imaging recording operation, forceps operation, An operation unit 11 provided with an operation member for performing air supply / water supply operation, suction operation, etc., an angle knob 12 provided adjacent to the operation unit 11, an endoscope 1, a control device 4 and a light source device.
  • a forceps hole for inserting a biopsy forceps for collecting a biological tissue such as a cell or a polyp, and for air supply and water supply.
  • Various channels such as a channel and a suction channel are provided.
  • the insertion portion 110 is composed of a flexible soft portion 10A, a curved portion 10B provided at the tip of the flexible portion 10A, and a hard tip portion 10C provided at the tip of the curved portion 10B.
  • the curved portion 10B is configured to be bendable by rotating the angle knob 12.
  • the curved portion 10B can be curved in an arbitrary direction and an arbitrary angle according to the part of the subject in which the endoscope 1 is used, and the tip portion 10C can be directed in a desired direction.
  • FIG. 6 is a schematic view showing the internal configuration of the endoscope device 24 shown in FIG.
  • FIG. 7 is a diagram showing an example of a spectrum of light generated by the light source device 5 shown in FIG.
  • the light source device 5 can irradiate the illumination light by switching between normal light and special light.
  • Normal light is light having an emission spectrum suitable for recognition by humans such as doctors, such as white light.
  • the special light is light having an emission spectrum suitable for analysis by a computer such as IEE (Image-Enhanced Endoscopy), which has an emission spectrum different from that of normal light.
  • the light source device 5 includes a light source processor 151, a light source unit 152, and an optical path coupling unit 154.
  • the light source processor 151 is connected to the system control unit 44 of the control device 4, and controls the light source unit 152 based on a command from the system control unit 44.
  • the light source unit 152 has, for example, a plurality of semiconductor light sources, each of which is turned on or off, and when the light source unit 152 is turned on, the amount of light emitted from each semiconductor light source is controlled to emit illumination light that illuminates the observation target.
  • the light source unit 152 includes a V-LED (Violet Light Emitting Diet) 152a, a B-LED (Blue Light Emitting Diode) 152b, a G-LED (Green Light Emitting Diode) 152c, and an R-LED (Red).
  • Emitting Diet It has a four-color LED of 152d.
  • the light source processor 151 independently controls V-LED152a, B-LED152b, G-LED152c, and R-LED152d to independently control purple light V, blue light B, green light G, or red light R, respectively. It is possible to emit light by changing the amount of light.
  • the V-LED152a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED152b generates blue light B having a center wavelength of 450 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED152c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED152d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source processor 151 emits white light having a light amount ratio of Vc: Bc: Gc: Rc among purple light V, blue light B, green light G, and red light R when irradiated with normal light.
  • each LED 152a to 52d is controlled.
  • the light source processor 151 has a light amount ratio of Vs: Bs: Gs: Rs with purple light V, blue light B, green light G, and red light R as short-wavelength narrow-band light when irradiated with special light.
  • the LEDs 152a to 52d are controlled so as to emit the special light.
  • the light amount ratio Vs: Bs: Gs: Rs is different from the light amount ratio Vc: Bc: Gc: Rc used when irradiating normal light, and is appropriately determined according to the purpose of observation. For example, when emphasizing superficial blood vessels, it is preferable to make Vs larger than other Bs, Gs, Rs, and when emphasizing mesopelagic blood vessels, Gs is made larger than other Vs, Gs, Rs. It is also preferable to increase the size.
  • the optical path coupling unit 154 combines the lights emitted from the V-LED152a, B-LED152b, G-LED152c, and R-LED152d, and emits the combined light as illumination light.
  • the illumination light emitted from the optical path coupling portion 154 of the light source portion 152 enters the light guide 153 described later built in the universal cord 13, and passes through the illumination lens 150 provided at the tip portion 10C of the insertion portion 110. The subject is illuminated.
  • the tip portion 10C of the endoscope 1 includes an imaging optical system including an objective lens 121 and a lens group 122, an imaging element 123 that images a subject through the imaging optical system, a memory 125 such as a RAM, and a communication interface (I). / F) 126, an image pickup driving unit 127, and a light guide 153 for guiding the illumination light emitted from the light source unit 152 to the illumination lens 150 are provided.
  • the image sensor 123 constitutes the image pickup unit of the present invention.
  • the light guide 153 extends from the tip portion 10C to the connector portion 13A of the universal cord 13. With the connector portion 13A of the universal cord 13 connected to the light source device 5, the illumination light emitted from the light source portion 152 of the light source device 5 can be incident on the light guide 153.
  • the image sensor 123 As the image sensor 123, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like is used. In the present embodiment, the image sensor 123 is a CMOS that uses a rolling shutter.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 123 has a light receiving surface in which a plurality of pixels are arranged two-dimensionally, and the optical image formed on the light receiving surface by the above imaging optical system is converted into an electric signal (imaging signal) in each pixel. do. Then, the image pickup device 123 converts the converted image pickup signal from an analog signal into a digital signal having a predetermined number of bits, and outputs the image pickup signal converted into the digital signal to the memory 125.
  • the image pickup device 123 for example, one equipped with a color filter such as a primary color or a complementary color is used.
  • the image sensor 123 may be arranged at the tip portion 10C in a state where the light receiving surface is perpendicular to the optical axis Ax of the objective lens 121, or the light receiving surface is parallel to the optical axis Ax of the objective lens 121. It may be arranged in the tip portion 10C in such a state.
  • the image pickup optical system provided in the endoscope 1 includes optical members (including the above lens group 122) such as a lens and a prism on the optical path of light from the subject between the image pickup element 123 and the objective lens 121. It is composed of an objective lens 121.
  • the imaging optical system may be composed of only the objective lens 121.
  • the memory 125 temporarily records the digital image pickup signal output from the image sensor 123.
  • the communication I / F 126 is connected to the communication interface (I / F) 41 of the control device 4.
  • the communication I / F 126 transmits the image pickup signal recorded in the memory 125 to the control device 4 through the signal line in the universal code 13.
  • the image pickup drive unit 127 is connected to the system control unit 44 of the control device 4 via the communication I / F 126.
  • the image pickup drive unit 127 drives the image pickup element 123 and the memory 125 based on a command from the system control unit 44 received by the communication I / F 126.
  • the control device 4 includes a communication I / F 41 connected to the communication I / F 126 of the endoscope 1 by a universal code 13, a signal processing unit 42, a display controller 43, a system control unit 44, a recording medium 45, and the like. To be equipped.
  • the communication I / F 41 receives the image pickup signal transmitted from the communication I / F 126 of the endoscope 1 and transmits it to the signal processing unit 42.
  • the signal processing unit 42 has a built-in memory for temporarily recording the image pickup signal received from the communication I / F 41, and processes the image pickup image signal which is a set of the image pickup signals recorded in the memory (demosaic processing, gamma correction processing, etc.). Image processing) to generate captured image information in a format capable of recognition processing and the like.
  • the captured image information generated by the signal processing unit 42 is recorded on a recording medium 45 such as a hard disk or a flash memory.
  • the display controller 43 causes the display device 7 to display an captured image based on the captured image information generated by the signal processing unit 42.
  • the coordinates of each pixel data constituting the captured image information generated by the signal processing unit 42 are managed in association with the coordinates of any of the display pixels constituting the display surface of the display device 7.
  • the system control unit 44 controls each part of the control device 4 and sends a command to the image pickup drive unit 127 of the endoscope 1 and the light source processor 151 of the light source device 5 to control the entire endoscope device 24 in an integrated manner. do.
  • the system control unit 44 controls the image pickup device 123 via the image pickup drive unit 127.
  • the system control unit 44 controls the light source unit 152 via the light source processor 151.
  • the system control unit 44 and the signal processing unit 42 include various processors that execute programs to perform processing, RAM, and ROM.
  • a CPU As various processors, a CPU, a general-purpose processor that executes a program to perform various processes, a programmable logic device that is a processor whose circuit configuration can be changed after manufacturing such as FPGA, or a specific process such as ASIC is executed.
  • a dedicated electric circuit or the like which is a processor having a circuit configuration specially designed for the purpose of making the processor, is included.
  • the structure of these various processors is an electric circuit that combines circuit elements such as semiconductor elements.
  • the system control unit 44 and the signal processing unit 42 may be composed of one of various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a CPU and an FPGA). It may be composed of a combination of).
  • FIG. 8 is a flowchart showing an example of a still image generation process by the image processing device 23.
  • the image processing device 23 to which the endoscopy support device of the present invention is applied executes, for example, the process shown in FIG.
  • a case will be described in which the endoscope 1 (scope) is inserted from the anus in the subject to reach the ileocecal region, and then the endoscope 1 is slowly pulled out while observing the large intestine.
  • the image processing device 23 starts the analysis of the captured image data continuously input from the endoscope device 24 by AI (step S81). Specifically, this analysis is image recognition based on captured image data. For example, the image processing device 23 detects the arrival of the tip of the endoscope 1 at a singular point based on this image recognition, or detects the biopsy forceps reflected in the image to detect the execution of the biopsy. To do.
  • This singularity is a specific site in the large intestine, such as the ascending colon, transverse colon, descending colon, sigmoid colon, and rectum.
  • the image processing apparatus 23 determines whether or not the arrival of the tip of the endoscope 1 at the ileocecal portion is detected based on the result of the analysis started in step S81 (step S82), and the ileocecal valve 23 is determined. Wait until the arrival at the unit is detected (step S82: No loop).
  • step S82 When the arrival at the ileocecal region is detected in step S82 (step S82: Yes), the image processing apparatus 23 moves to the singular point at the tip of the endoscope 1 based on the result of the analysis started in step S81. It is determined whether or not the arrival of the above is detected (step S83).
  • step S83 When the arrival at the singular point is detected in step S83 (step S83: Yes), the image processing device 23 takes a still image based on the captured image data input from the endoscope device 24 at that time, and captures the still image.
  • the shooting time information indicating the shooting time of the image data and the shooting time information are generated (step S84), and the process returns to step S83.
  • the generation of the still image and the shooting time information in step S84 may be performed at a plurality of times after the arrival at the singular point is detected.
  • step S83 If the arrival at the singular point is not detected in step S83 (step S83: No), whether or not the image processing apparatus 23 has detected the execution of the biopsy based on the result of the analysis started in step S81. (Step S85).
  • step S85 When the execution of the biopsy is detected in step S85 (step S85: Yes), the image processing device 23 sets the still image based on the captured image data input from the endoscope device 24 at that time, and the captured image.
  • the shooting time information indicating the shooting time of the data and the shooting time information are generated (step S86), and the process returns to step S83.
  • the generation of the still image and the shooting time information in step S86 may be performed at a plurality of times after the biopsy is detected.
  • step S85: No the image processing apparatus 23 transfers the tip of the endoscope 1 to the anus based on the result of the analysis started in step S81. It is determined whether or not the arrival is detected (step S87). If the arrival at the anus is not detected (step S87: No), the image processing device 23 returns to step S83.
  • step S87: Yes the image processing device 23 generates a large intestine development image based on a plurality of captured image data input from the endoscope device 24 (step S87: Yes).
  • Step S88 This large intestine expansion image virtually represents the state in which the large intestine of the subject is cut open along the extending direction and expanded, and can be generated by synthesizing a plurality of still images based on imaging in the large intestine. can.
  • a specific example of the expanded large intestine image will be described with reference to FIG.
  • the image processing device 23 generates a large intestine development image based on the still images generated in steps S84 and S86.
  • the image processing device 23 receives from the endoscope device 24 during the period from the detection of the tip of the endoscope 1 reaching the ileocecal region to the detection of the tip of the endoscope 1 reaching the anus.
  • a large intestine expansion image may be generated based on at least a part of the input captured image data. That is, the image processing device 23 generates a still image for generating a large intestine expansion image, in addition to the still images generated in steps S84 and S86, based on the captured image data acquired from the endoscope device 24. May be good.
  • the image processing device 23 adds the biopsy position information indicating the position where the biopsy was performed to the large intestine expansion image generated in step S88 (step S89).
  • the biopsy position information is, for example, an image indicating the position where the biopsy was performed in the expanded large intestine image. A specific example of the biopsy position information will be described with reference to FIG.
  • the image processing device 23 transmits the large intestine expansion image to which the biopsy position information is added in step S89, the still image generated in steps S84 and S86, and the imaging time information to the endoscopy department server 21 ( Step S90), the series of processes is completed.
  • the large intestine development image or the like generated by the image processing device 23 can be displayed on the display device of another device (for example, the display unit 22b of the client PC 22).
  • these information transmitted to the endoscopy department server 21 in step S90 are stored by the medical image storage system 40 shown in FIG. 1, and are displayed by, for example, the client PC 22.
  • the client PC 22 A specific example of the display by the client PC 22 will be described with reference to FIG.
  • FIG. 9 is a diagram showing an example of endoscopy and large intestine development image.
  • the horizontal axis T1 shows a time series from the start to the end of endoscopy.
  • the insertion of the tip of the endoscope 1 into the subject was started at time t1 (examination start). Further, at time t2 after time t1, the tip of the endoscope 1 reached the ileocecal region of the subject (reaching the ileocecal region).
  • the image processing device 23 detects the execution of the biopsy by recognizing the reflection of the biopsy forceps based on the captured image data from the endoscope device 24. Then, the image processing device 23 automatically acquires a still image at time t3 based on the detection result.
  • the image processing device 23 detects the execution of the biopsy by recognizing the reflection of the biopsy forceps based on the captured image data from the endoscope device 24. Then, the image processing device 23 automatically acquires a still image at time t4 based on the detection result.
  • the image processing device 23 reaches the singular point in the large intestine at the tip of the endoscope 1 based on the captured image data from the endoscope device 24. It also generates a still image when it detects.
  • the image processing device 23 adds shooting time information indicating the internal time of the image processing device 23 when the still image is obtained to the generated still image.
  • the image processing device 23 generates a large intestine expansion image based on the captured image data obtained from the endoscope device 24, and adds biopsy position information to the generated large intestine expansion image.
  • the still image, the imaging time information, and the large intestine development image generated by these image processing devices 23 are stored by the medical image storage system 40 as described above.
  • the client PC 22 receives an image display instruction (for example, pressing the “image display” button C1 shown in FIG. 4) for the endoscopy shown in FIG. 9, the client PC 22 receives the medical image storage system. Based on the still image, the imaging time information, and the large intestine development image stored by 40, for example, the image 90 shown in FIG. 9 is displayed by the display unit 22b.
  • an image display instruction for example, pressing the “image display” button C1 shown in FIG. 4
  • the client PC 22 receives the medical image storage system.
  • the imaging time information, and the large intestine development image stored by 40 for example, the image 90 shown in FIG. 9 is displayed by the display unit 22b.
  • the image 90 includes a large intestine development image 91, a thumbnail 92, a thumbnail 93, a biopsy mark 93a, a biopsy location mark 91a, and a biopsy frequency notification unit 94.
  • the large intestine expansion image 91 is, for example, the large intestine expansion image generated by the image processing device 23 in step S88 of FIG.
  • the image processing device 23 generates a large intestine development image 91 by superimposing and synthesizing the generated still images for the overlapping portions.
  • the large intestine unfolded image 91 is a unfolded image obtained by synthesizing each still image based on the photographed image data whose imaging time is from time t2 to time t5.
  • the left end of the large intestine expansion image 91 is a portion photographed at time t2
  • the right end of the large intestine expansion image 91 is a portion photographed at time t5.
  • the large intestine expansion image 91 has regions of the ascending colon, the transverse colon, the descending colon, the sigmoid colon, and the rectum in order from the left end.
  • the biopsy location mark 91a is an example of biopsy position information added to the large intestine development image by the image processing device 23 in step S89 shown in FIG. 8, for example.
  • the image processing device 23 sets the portion of the large intestine development image 91 that was taken at the time when the biopsy was detected, based on the shooting time information of each still image used to generate the large intestine development image 91. Overlay the biopsy site mark 91a. As a result, the biopsy location mark 91a is added to the position where the biopsy was performed in the large intestine development image 91.
  • the thumbnail 92 is, for example, a thumbnail (reduced image) of a still image generated by the image processing device 23 together with the shooting time information in step S84 of FIG.
  • the thumbnail 93 is, for example, a thumbnail of a still image generated by the image processing device 23 together with the shooting time information in step S86 of FIG.
  • the image processing device 23 corresponds to the target thumbnail of the large intestine expanded image 91 based on the shooting time information of each still image used for generating the large intestine expanded image 91.
  • the part taken at the time when the still image was taken is specified, and the target still image is placed above the specified part.
  • an image 90 including thumbnails 92 and 93 associated with the large intestine expanded image 91 according to the imaging time is generated.
  • the client PC 22 When the client PC 22 receives a selection operation for selecting one of the displayed thumbnails 92 and 93 (for example, clicking on the thumbnails 92 and 93), the client PC 22 selects a still image corresponding to the thumbnail of the thumbnails 92 and 93 for which the selection operation is accepted. It is displayed on the display unit 22b.
  • the still image corresponding to this thumbnail may be displayed superimposed on the image 90, may be displayed in place of the image 90, or may be displayed side by side with the image 90.
  • the thumbnail 93 of the still image obtained in response to the detection of the execution of the biopsy is provided with the biopsy mark 93a indicating that the still image is the still image at the time of the biopsy. May be good. As a result, it is possible to easily grasp that the thumbnail 93 of the thumbnails 92 and 93 corresponds to the still image at the time of performing the biopsy.
  • the client PC 22 may display the number of biopsies performed (for example, the number of thumbnails 93) on the biopsy number notification unit 94.
  • the client PC 22 sets the number of biopsies performed twice (biopsy: 2 times) as the number of biopsies notification unit. It is displayed in 94.
  • the image processing device 23 to which the endoscopy support device of the present invention is applied it is obtained by a plurality of imagings of the endoscope 1 while the endoscope 1 is inserted in the subject.
  • the subject obtained by synthesizing the above-mentioned plurality of photographed image data based on the plurality of photographed image data obtained and the treatment information indicating the treatment performed by using the endoscope 1 in that state. It is possible to display the developed image on the client PC 22 with the information indicating the position in the subject to which the above-mentioned treatment has been performed.
  • the user who sees this developed image can easily grasp the state of the inner surface of the subject into which the endoscope 1 is inserted, and further, the developed image shows the position in the subject where the above treatment is performed. Since the information indicating the above is added, it is possible to easily grasp the place where the treatment such as biopsy was performed in the endoscopy.
  • each information generated by the image processing device 23 is stored in the medical image storage system 40 and the client PC 22 displays the image 90 or the like based on each information stored by the medical image storage system 40 has been described. It is not limited to such a configuration.
  • each information generated by the image processing device 23 may be stored in the endoscope department server 21, and the client PC 22 may display the image 90 or the like based on each information stored by the endoscope department server 21. good.
  • the configuration for displaying the developed image on the display unit 22b of the client PC 22 has been described, the configuration is not limited to such a configuration.
  • the developed image may be displayed on the display device 7 of the endoscope device 24 or another display device (not shown).
  • the biopsy using the biopsy forceps of the endoscope 1 has been described, but the treatment using the endoscope 1 is not limited to this.
  • the treatment using the endoscope 1 may be excision of a polyp or the like.
  • the expanded image is not limited to this.
  • a gastric expansion image that virtually represents a state in which the stomach of the subject is cut open along the extending direction and expanded is displayed.
  • the endoscopy support device of the present invention can also be applied to a device other than the image processing device 23.
  • the endoscopy support device of the present invention can also be applied to an endoscopy device 24, an endoscopy department server 21, a medical image storage system 40, and the like.
  • the endoscopy support device described above stores a still image obtained by taking a picture of the endoscope, and stores the still image.
  • the processor generates the developed image associated with the still image. Endoscopy support device.
  • the still image is an endoscopy support device including a still image obtained according to a detection result based on the captured image data of a procedure using the endoscope.
  • the endoscopy support device is an endoscopy support device including a still image obtained according to a detection result based on the captured image data of reaching a specific part in the subject at the tip of the endoscope.
  • the endoscopy support device according to any one of (1) to (4).
  • the plurality of captured image data are a plurality of captured image data obtained after the arrival of the tip of the endoscope at the end of the inspection region in the subject is detected, that is, endoscopic examination support. Device.
  • the endoscopy support device according to any one of (1) to (5).
  • the memory stores the plurality of captured image data and the treatment information in association with the time information. Based on the time information, the processor generates the developed image with information indicating the position in the subject in which the treatment has been performed. Endoscopy support device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡検査において処置が実施された個所を容易に把握可能にする画像選択支援装置を提供する。　内視鏡検査支援装置は、内視鏡が被検体内に挿入されている状態において内視鏡の複数回の撮影により得られた複数の撮影画像データと、その状態において内視鏡を用いて行われた処置を示す処置情報と、をメモリに記憶する。そして、内視鏡検査支援装置は、記憶した複数の撮影画像データ及び処置情報に基づいて、複数の撮影画像データを合成して得た被検体内の大腸展開画像（９１）であって、処置が行われた被検体内の位置を示す生検個所マーク（９１ａ）を付した大腸展開画像（９１）を生成し、生成した大腸展開画像（９１）を表示装置に表示させる。

Description

内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム
　本発明は、内視鏡による検査を支援する内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラムに関する。
　従来、内視鏡による検査時に、内視鏡により得られた画像を撮影時刻と関連付けて表示する構成が知られている。例えば、特許文献１には、検査データの状態値の変化により抽出されたイベントを時系列に配置した検査推移画面を生成する構成が記載されている。
　また、特許文献２には、管腔臓器の内表面が撮影された複数の内視鏡画像から、管腔臓器を延在方向に沿って切り開いて展開した状態を仮想的に表す展開画像を生成する構成が記載されている。
　また、特許文献３には、処置具である生検鉗子にソースコイルを設け、生検操作信号のＯＮ状態をトリガとして生検位置を記録することで、体腔内の所望の検査領域における生検を実施した位置を自動的に記録する構成が記載されている。
日本国特開２０１７－８６６８５号公報 日本国特開２０１６－４３０３３号公報 日本国特開２００６－２８０５９２号公報
　しかしながら、上記の従来技術では、内視鏡検査において生検等の処置が実施された個所を容易に把握することができない。特に、大腸の内表面は、画像のみで観察部位を判断することが困難であるため、生検等の処置を大腸内のいずれの個所で実施したかを把握することは困難である。
　例えば、特許文献１のように、抽出されたイベントを時系列に配置した検査推移画面を表示する構成では、生検等の処置が実施されたタイミングは把握できるが、生検等の処置が実施された個所を把握することは容易でない。
　また、特許文献２のように、管腔臓器の展開画像を生成する構成では、管腔臓器の内表面の状態は把握できるが、生検等の処置が実施された個所を把握することはできない。
　また、特許文献３にも、上記のような課題を解決する手段は開示されていない。
　本発明は、上記事情に鑑みてなされたものであり、内視鏡検査において処置が実施された個所を容易に把握可能にする内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラムを提供することを目的とする。
　本発明の内視鏡検査支援装置は、プロセッサとメモリとを有し、上記メモリが、内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、上記プロセッサが、上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、生成した上記展開画像を表示装置に表示させるものである。
　本発明の内視鏡検査支援方法は、内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、生成した上記展開画像を表示装置に表示させるものである。
　本発明の内視鏡検査支援プログラムは、内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、生成した上記展開画像を表示装置に表示させる処理をコンピュータに実行させるためのものである。
　本発明によれば、内視鏡検査において処置が実施された個所を容易に把握可能にする内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラムを提供することができる。
病院内システム全体構成の一例を示す図である。 図１に示すシステムにおける内視鏡部門システムの概略構成を示す図である。 図２に示す内視鏡部門システム２０におけるクライアントＰＣ２２の内部構成を示すブロック図である。 クライアントＰＣ２２のアプリケーションの基本画面の一例を示す図である。 内視鏡装置２４の一例を示す図である。 図５に示す内視鏡装置２４の内部構成を示す模式図である。 図６に示した光源装置５が発生させる光のスペクトルの一例を示す図である。 画像処理装置２３による静止画像の生成処理の一例を示すフローチャートである。 内視鏡検査及び大腸展開画像の一例を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
（実施形態の一例）
　図１は、病院内システム全体構成の一例を示す図である。図１に示すシステムは、病院情報システム（ＨＩＳ：Ｈｏｓｐｉｔａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）１０と、内視鏡部門システム２０と、病理部門システム３０と、医用画像保管システム４０と、他部門システム５０とを備え、これらは院内ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）６０に接続されて相互に連携可能となっている。
　ＨＩＳ１０は、医療事務会計システム、診療予約システム、診療情報システム等を含む包括的なシステムであり、電子カルテデータベース等を有する。電子カルテデータベースには、患者の診療情報を記録した電子カルテが保管される。
　他の診療科から内視鏡部門に対して検査依頼が行われる場合の検査の依頼（オーダ）に関する情報（以下、検査依頼情報という）が発行されると、その情報がＨＩＳ１０を介して内視鏡部門システム２０に送信される。
　検査依頼情報には、例えば、患者情報、オーダーキー情報（「オーダ番号」「発生日時」等）、依頼元情報（「依頼科名」「依頼医師名」「依頼日」等）、オーダ情報（「依頼病名」「検査目的」「検査種別」「検査項目」「検査部位」「コメント」等）、検査予約情報（「検査日」「実施時刻」等）等が含まれる。患者情報は、患者に関する情報であり、患者固有の情報である「患者ＩＤ」、「患者氏名」、「生年月日」、「年齢」、「性別」、「入院／外来区分」等が含まれる。
　内視鏡部門システム２０は、内視鏡部門の管理を行うためのシステムである。
　病理部門システム３０は、病理部門の管理を行うためのシステムである。
　医用画像保管システム４０は、内視鏡装置、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）等の医療画像診断装置からの検査画像を電子的に保存、検索、解析するシステムである。医用画像保管システム４０は、例えばＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍｓ）であってもよいし、医療用画像を保存可能な他のシステムであってもよい。
　他部門システム５０は、その他の部門の管理を行うためのシステムである。
　図２は、図１に示すシステムにおける内視鏡部門システムの概略構成を示す図である。内視鏡部門には、受付２０Ａと、前処置室２０Ｂと、複数の内視鏡検査室（以下、検査室）２０Ｃと、洗浄室２０Ｄと、カンファレンス室２０Ｅとが含まれる。
　受付２０Ａは、検査の受付を行う場所である。前処置室２０Ｂは、内視鏡検査の前に行う問診及び前処置を行うための部屋である。検査室２０Ｃは、内視鏡検査を行うための部屋である。洗浄室２０Ｄは、内視鏡検査に用いたスコープ等の洗浄を行うための部屋である。
　図２に示す内視鏡部門システム２０は、内視鏡部門サーバ２１と、複数のクライアントＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）２２と、画像処理装置２３と、内視鏡装置２４と、洗浄管理装置２５と、洗浄機２６とを備える。内視鏡部門サーバ２１、複数のクライアントＰＣ２２、画像処理装置２３、及び洗浄管理装置２５は部門内ＬＡＮ２７に接続されている。部門内ＬＡＮ２７は院内ＬＡＮ６０に接続されている。本発明の内視鏡検査支援装置は、一例としては画像処理装置２３に適用することができる。
　内視鏡装置２４は、先端に撮像素子を有する挿入部（スコープ）を備え、撮像素子の連続撮影により得られる連続した撮影画像データを画像処理装置２３へ入力する。内視鏡装置２４の構成例については図５において後述する。
　画像処理装置２３は、画像処理装置２３が設置される検査室２０Ｃの内視鏡装置２４に接続されている。画像処理装置２３には、内視鏡装置２４の連続撮影により得られる撮影画像データが連続して入力される。画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データのうち、特定の条件を満たす撮影画像データに基づく静止画像を生成する。
　具体的には、画像処理装置２３は、内視鏡装置２４から入力される撮影画像データに基づいてＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）による解析を行う。そして、画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データのうち、解析の結果に基づく時の撮影画像データに基づく静止画像を生成する。
　例えば、画像処理装置２３は、内視鏡装置２４から入力される撮影画像データに基づく画像認識により、内視鏡装置２４のスコープの先端の特異点（肛門や回盲部等）への到達を検知すると、その時点からの複数の撮影画像データを抽出する。そして、画像処理装置２３は、抽出した複数の撮影画像データのそれぞれについて静止画像を生成する。
　また、画像処理装置２３は、内視鏡装置２４から入力される撮影画像データに基づく画像認識により、内視鏡装置２４の内視鏡を用いた処置の実施を検知すると、その時点の撮影画像データを抽出する。この処置は、例えば、内視鏡装置２４の内視鏡に設けられた生検鉗子を用いた生検等の処置である。生検鉗子を用いた生検が行われると、撮影画像データの画像に生検鉗子が映り込む。このため、画像処理装置２３は、撮影画像データに基づく画像認識により、画像に映り込んだ生検鉗子を検知することにより、生検鉗子を用いた生検を検知することができる。
　また、画像処理装置２３は、生成する静止画像に、その静止画像が得られた時の画像処理装置２３の内部時刻を示す撮影時刻情報を付加する。
　本発明の内視鏡検査支援装置を画像処理装置２３に適用する場合、画像処理装置２３は、内視鏡装置２４の複数回の撮影により得られた複数の撮影画像データと、内視鏡装置２４を用いて行われた処置を示す処置情報と、を記憶する。また、画像処理装置２３は、記憶した複数の撮影画像データ及び処置情報に基づいて、複数の撮影画像データを合成して得た被検体内の展開画像であって、上記の処置が行われた被検体内の位置を示す情報を付した展開画像を生成する。そして、画像処理装置２３は、生成した展開画像を他の表示装置（例えばクライアントＰＣ２２の表示部２２ｂ）に表示させる。これらの画像処理装置２３の処理については後述する。
　画像処理装置２３は、生成した静止画像、撮影時刻及び展開画像を、部門内ＬＡＮ２７を介して内視鏡部門サーバ２１へ送信する。画像処理装置２３によって送信された静止画像及び撮影時刻情報は、例えば、内視鏡部門サーバ２１の制御により、図１に示した医用画像保管システム４０によって保管される。
　洗浄機２６と洗浄管理装置２５は洗浄室２０Ｄに設置されている。洗浄機２６は、内視鏡検査に用いたスコープ等の洗浄を行う機器である。
　洗浄管理装置２５は、洗浄機２６に接続されており、洗浄機２６による洗浄履歴等の情報を内視鏡部門サーバ２１に登録するためのコンピュータである。
　内視鏡部門サーバ２１は、クライアントＰＣ２２、画像処理装置２３、及び洗浄管理装置２５を統括制御するコンピュータである。内視鏡部門サーバ２１には、データベースＤＢが内蔵されており、このデータベースＤＢに各種情報（検査依頼情報、検査結果情報等）が格納される。
　クライアントＰＣ２２には、所定のアプリケーションプログラムがインストールされており、このプログラムにより、データベースＤＢに記録されているデータの参照及び編集、データベースへのデータの登録等が可能となっている。
　図３は、図２に示す内視鏡部門システム２０におけるクライアントＰＣ２２の内部構成を示すブロック図である。図３に示すように、クライアントＰＣ２２は、入力部２２ａ、表示部２２ｂ、記録部２２ｃ、送受信部２２ｄ、及び制御部２２ｅで構成される。
　入力部２２ａは、各種入力を行うための入力手段であり、キーボード、タッチパネル等の入力デバイスや、マウス・トラックボール等のポインティングデバイスから構成されている。
　表示部２２ｂは、画像、レポート等の各種表示を行うためのディスプレイであり、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）などで構成されている。
　記録部２２ｃは、各種データを記録するためのハードディスク等で構成されている。
　送受信部２２ｄは、送受信インタフェース回路などから構成され、各種指示、各種要求、及び各種データを、部門内ＬＡＮ２７を介して送受信する処理を実行する。
　制御部２２ｅは、プログラムを実行して処理を行う各種のプロセッサと、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を含む。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　制御部２２ｅは、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　制御部２２ｅは、上記プログラム、部門内ＬＡＮ２７を介し外部から送信される各種の要求、及び入力部２２ａから入力される指示情報などに従ってクライアントＰＣ２２の各部の制御を行う。
　クライアントＰＣ２２の内部構成について説明したが、画像処理装置２３は、例えば、図３に示した送受信部２２ｄ、及び制御部２２ｅで構成される。この場合に、画像処理装置２３は、送受信部２２ｄにより内視鏡装置２４や内視鏡部門サーバ２１との間で通信を行う。また、画像処理装置２３は、制御部２２ｅにより撮影画像データの解析を行う。
　図４は、クライアントＰＣ２２のアプリケーションの基本画面の一例を示す図である。ユーザがクライアントＰＣ２２でアプリケーションを立ち上げてログインすると、制御部２２ｅは、基本画面データをデータベースＤＢから取得し、図４に示した基本画面を表示部２２ｂに表示させる。なお、クライアントＰＣ２２は、例えば検査室２０ＣのクライアントＰＣ２２であるが、これに限らず図２に示した他のクライアントＰＣ２２であってもよい。
　この基本画面は、検査依頼情報（一部を抜粋した情報）の一覧リストを表示する領域Ａと、各種操作ボタンを表示する領域Ｂと、領域Ａのリストで選択された検査依頼情報に対して有効なランチャーを表示する領域Ｃとで構成されている。
　領域Ａのリストには、各検査依頼情報に対して“来院”“受付”“検査”“会計”等の処理項目が設けられ、各検査依頼情報に対して各処理項目で示される処理が終了した場合に、各処理項目に“○”印が表示されるようになっている。
　この印を表示するためのデータについては、各処理が終了したときに、内視鏡部門サーバ２１によってデータベースＤＢに登録される。例えば、内視鏡部門サーバ２１は、検査依頼情報に基づく検査が終了すると、検査が終了したことを示す情報を該検査依頼情報に対応付けてデータベースＤＢに登録する。これにより、“検査”の処理項目に“○”印が表示されるようになる。各処理が終了したかどうかの情報は、手動で入力してもよいし、クライアントＰＣ２２や内視鏡装置２４から自動的に通知できるようにしてもよい。
　このアプリケーションは操作ボタンとして“画像表示”ボタンＣ１を有し、“画像表示”ボタンＣ１は図４に示した基本画面の領域Ｃに表示される。この“画像表示”ボタンＣ１は、領域Ａのリストから選択した検査依頼情報に基づく検査により得られた撮影画像を表示するためのボタンである。
　クライアントＰＣ２２の制御部２２ｅは、この基本画面を表示するためのデータをデータベースＤＢから定期的に取得し、表示部２２ｂに表示させる。
　図５は、内視鏡装置２４の一例を示す図である。図５に示すように、内視鏡装置２４は、内視鏡１と、この内視鏡１が接続される制御装置４及び光源装置５と、を備える。
　制御装置４には、内視鏡１によって被検体内を撮像して得られる撮像画像等を表示する表示装置７と、制御装置４に対して各種情報を入力するためのインタフェースである入力部６と、が接続されている。制御装置４は、内視鏡１、光源装置５、及び表示装置７を制御する。
　表示装置７は、表示画素が二次元状に配列された表示面を有し、この表示面の各表示画素に、画像データを構成する画素データが描画されることで、この画像データに基づく画像の表示が行われる。表示装置７は、制御装置４からの指令に応じて表示画像を切り替える表示部を構成する。
　内視鏡１は、一方向に延びる管状部材であって被検体内に挿入される挿入部１１０と、挿入部１１０の基端部に設けられ、観察モード切替操作、撮像記録操作、鉗子操作、送気送水操作、及び吸引操作等を行うための操作部材が設けられた操作部１１と、操作部１１に隣接して設けられたアングルノブ１２と、内視鏡１を制御装置４と光源装置５にそれぞれ着脱自在に接続するコネクタ部１３Ａ，１３Ｂを含むユニバーサルコード１３と、を含む。
　なお、図５では省略されているが、操作部１１及び挿入部１１０の内部には、細胞又はポリープ等の生体組織を採取するための生検鉗子を挿入する鉗子孔、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。
　挿入部１１０は、可撓性を有する軟性部１０Ａと、軟性部１０Ａの先端に設けられた湾曲部１０Ｂと、湾曲部１０Ｂの先端に設けられた硬質の先端部１０Ｃとから構成される。
　湾曲部１０Ｂは、アングルノブ１２の回動操作により湾曲自在に構成されている。この湾曲部１０Ｂは、内視鏡１が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部１０Ｃを所望の方向に向けることができる。
　図６は、図５に示す内視鏡装置２４の内部構成を示す模式図である。図７は、図６に示した光源装置５が発生させる光のスペクトルの一例を示す図である。
　光源装置５は、照明光として、通常光と特殊光とを切り替えて照射可能である。通常光は、白色光等の、医師等の人間による認識に適した発光スペクトルを有する光である。特殊光は、通常光とは発光スペクトルが異なる、ＩＥＥ（Ｉｍａｇｅ－Ｅｎｈａｎｃｅｄ　Ｅｎｄｏｓｃｏｐｙ：画像強調観察）等のコンピュータによる解析に適した発光スペクトルを有する光である。
　具体的には、光源装置５は、光源用プロセッサ１５１と、光源部１５２と、光路結合部１５４と、を備える。光源用プロセッサ１５１は、制御装置４のシステム制御部４４と接続されており、システム制御部４４からの指令に基づいて光源部１５２を制御する。
　光源部１５２は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部１５２は、Ｖ－ＬＥＤ（Ｖｉｏｌｅｔ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）１５２ａ、Ｂ－ＬＥＤ（Ｂｌｕｅ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）１５２ｂ、Ｇ－ＬＥＤ（Ｇｒｅｅｎ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）１５２ｃ、及びＲ－ＬＥＤ（Ｒｅｄ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）１５２ｄの４色のＬＥＤを有する。
　光源用プロセッサ１５１は、Ｖ－ＬＥＤ１５２ａ、Ｂ－ＬＥＤ１５２ｂ、Ｇ－ＬＥＤ１５２ｃ、及びＲ－ＬＥＤ１５２ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。図７に示すように、Ｖ－ＬＥＤ１５２ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ１５２ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ１５２ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ１５２ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
　また、光源用プロセッサ１５１は、通常光の照射時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ１５２ａ～５２ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。
　また、光源用プロセッサ１５１は、特殊光の照射時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ１５２ａ～５２ｄを制御する。
　光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、通常光の照射時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましい。
　光路結合部１５４は、Ｖ－ＬＥＤ１５２ａ、Ｂ－ＬＥＤ１５２ｂ、Ｇ－ＬＥＤ１５２ｃ、及びＲ－ＬＥＤ１５２ｄから出射される各光を結合し、結合した光を照明光として出射する。光源部１５２の光路結合部１５４から出射された照明光は、ユニバーサルコード１３に内蔵された後述のライトガイド１５３に入射し、挿入部１１０の先端部１０Ｃに設けられた照明用レンズ１５０を通って被写体に照射される。
　内視鏡１の先端部１０Ｃには、対物レンズ１２１及びレンズ群１２２を含む撮像光学系と、この撮像光学系を通して被写体を撮像する撮像素子１２３と、ＲＡＭ等のメモリ１２５と、通信インタフェース（Ｉ／Ｆ）１２６と、撮像駆動部１２７と、光源部１５２から出射された照明光を照明用レンズ１５０に導くためのライトガイド１５３と、が設けられている。撮像素子１２３は、本発明の撮像部を構成する。
　ライトガイド１５３は、先端部１０Ｃからユニバーサルコード１３のコネクタ部１３Ａまで延びている。ユニバーサルコード１３のコネクタ部１３Ａが光源装置５に接続された状態で、光源装置５の光源部１５２から出射される照明光がライトガイド１５３に入射可能な状態となる。
　撮像素子１２３は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。本実施形態においては、撮像素子１２３は、ローリングシャッタを用いるＣＭＯＳである。
　撮像素子１２３は、複数の画素が二次元状に配置された受光面を有し、上記の撮像光学系によりこの受光面に結像された光学像を各画素において電気信号（撮像信号）に変換する。そして、撮像素子１２３は、変換した撮像信号をアナログ信号から所定のビット数のデジタル信号に変換し、デジタル信号に変換した撮像信号をメモリ１２５に出力する。撮像素子１２３は、例えば原色又は補色等のカラーフィルタを搭載するものが用いられる。
　撮像素子１２３は、対物レンズ１２１の光軸Ａｘに対して受光面が垂直となる状態で先端部１０Ｃに配置されていてもよいし、対物レンズ１２１の光軸Ａｘに対して受光面が平行となる状態で先端部１０Ｃに配置されていてもよい。
　内視鏡１に設けられる撮像光学系は、撮像素子１２３と対物レンズ１２１との間における被写体からの光の光路上にあるレンズ、プリズム等の光学部材（上記のレンズ群１２２を含む）と、対物レンズ１２１と、によって構成される。撮像光学系は、対物レンズ１２１のみで構成される場合もある。
　メモリ１２５は、撮像素子１２３から出力されたデジタルの撮像信号を一時的に記録する。
　通信Ｉ／Ｆ１２６は、制御装置４の通信インタフェース（Ｉ／Ｆ）４１と接続される。通信Ｉ／Ｆ１２６は、メモリ１２５に記録された撮像信号を、ユニバーサルコード１３内の信号線を通して制御装置４に伝送する。
　撮像駆動部１２７は、通信Ｉ／Ｆ１２６を介して制御装置４のシステム制御部４４と接続されている。撮像駆動部１２７は、通信Ｉ／Ｆ１２６で受信されるシステム制御部４４からの指令に基づいて、撮像素子１２３及びメモリ１２５を駆動する。
　制御装置４は、ユニバーサルコード１３によって内視鏡１の通信Ｉ／Ｆ１２６と接続される通信Ｉ／Ｆ４１と、信号処理部４２と、表示コントローラ４３と、システム制御部４４と、記録媒体４５と、を備える。
　通信Ｉ／Ｆ４１は、内視鏡１の通信Ｉ／Ｆ１２６から伝送されてきた撮像信号を受信して信号処理部４２に伝達する。
　信号処理部４２は、通信Ｉ／Ｆ４１から受けた撮像信号を一時記録するメモリを内蔵しており、メモリに記録された撮像信号の集合である撮像画像信号を処理（デモザイク処理又はガンマ補正処理等の画像処理）して、認識処理等が可能な形式の撮像画像情報を生成する。信号処理部４２によって生成された撮像画像情報は、ハードディスク又はフラッシュメモリ等の記録媒体４５に記録される。
　表示コントローラ４３は、信号処理部４２によって生成された撮像画像情報に基づく撮像画像を表示装置７に表示させる。信号処理部４２によって生成された撮像画像情報を構成する各画素データの座標は、表示装置７の表示面を構成するいずれかの表示画素の座標と対応付けて管理されている。
　システム制御部４４は、制御装置４の各部を制御すると共に、内視鏡１の撮像駆動部１２７と光源装置５の光源用プロセッサ１５１とに指令を送り、内視鏡装置２４の全体を統括制御する。例えば、システム制御部４４は、撮像駆動部１２７を介して撮像素子１２３の制御を行う。また、システム制御部４４は、光源用プロセッサ１５１を介して光源部１５２の制御を行う。
　システム制御部４４や信号処理部４２は、プログラムを実行して処理を行う各種のプロセッサと、ＲＡＭと、ＲＯＭを含む。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス、又はＡＳＩＣ等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　システム制御部４４や信号処理部４２は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　図８は、画像処理装置２３による静止画像の生成処理の一例を示すフローチャートである。本発明の内視鏡検査支援装置を適用した画像処理装置２３は、例えば図８に示す処理を実行する。ここでは、内視鏡１（スコープ）を被検体内の肛門から挿入して回盲部まで到達させた後、内視鏡１をゆっくりと引き抜きながら観察を行う大腸検査を行う場合について説明する。
　まず、画像処理装置２３は、内視鏡装置２４から連続して入力される撮影画像データのＡＩによる解析を開始する（ステップＳ８１）。この解析は、具体的には、撮影画像データに基づく画像認識である。例えば、画像処理装置２３は、この画像認識に基づいて、内視鏡１の先端の特異点への到達を検知したり、画像に映り込んだ生検鉗子を検出して生検の実施を検知したりする。この特異点は、例えば、上行結腸、横行結腸、下行結腸、Ｓ字結腸、及び直腸などの大腸内の特定部位である。
　次に、画像処理装置２３は、ステップＳ８１により開始した解析の結果に基づいて、内視鏡１の先端の回盲部への到達を検知したか否かを判断し（ステップＳ８２）、回盲部への到達を検知するまで待つ（ステップＳ８２：Ｎｏのループ）。
　ステップＳ８２において、回盲部への到達を検知した場合（ステップＳ８２：Ｙｅｓ）は、画像処理装置２３は、ステップＳ８１により開始した解析の結果に基づいて、内視鏡１の先端の特異点への到達を検知したか否かを判断する（ステップＳ８３）。
　ステップＳ８３において、特異点への到達を検知した場合（ステップＳ８３：Ｙｅｓ）は、画像処理装置２３は、そのときに内視鏡装置２４から入力された撮影画像データに基づく静止画像と、その撮影画像データの撮影時刻を示す撮影時刻情報と、を生成し（ステップＳ８４）、ステップＳ８３へ戻る。ステップＳ８４による静止画像及び撮影時刻情報の生成は、特異点への到達が検知された後の複数の時刻において行われてもよい。
　ステップＳ８３において、特異点への到達を検知していない場合（ステップＳ８３：Ｎｏ）は、画像処理装置２３は、ステップＳ８１により開始した解析の結果に基づいて、生検の実施を検知したか否かを判断する（ステップＳ８５）。
　ステップＳ８５において、生検の実施を検知した場合（ステップＳ８５：Ｙｅｓ）は、画像処理装置２３は、そのときに内視鏡装置２４から入力された撮影画像データに基づく静止画像と、その撮影画像データの撮影時刻を示す撮影時刻情報と、を生成し（ステップＳ８６）、ステップＳ８３へ戻る。ステップＳ８６による静止画像及び撮影時刻情報の生成は、生検の実施が検知された後の複数の時刻において行われてもよい。
　ステップＳ８５において、生検の実施を検知していない場合（ステップＳ８５：Ｎｏ）は、画像処理装置２３は、ステップＳ８１により開始した解析の結果に基づいて、内視鏡１の先端の肛門への到達を検知したか否かを判断する（ステップＳ８７）。肛門への到達を検知していない場合（ステップＳ８７：Ｎｏ）は、画像処理装置２３は、ステップＳ８３へ戻る。
　ステップＳ８７において、肛門への到達を検知した場合（ステップＳ８７：Ｙｅｓ）は、画像処理装置２３は、内視鏡装置２４から入力された複数の撮影画像データに基づいて大腸展開画像を生成する（ステップＳ８８）。この大腸展開画像は、被検体の大腸を延在方向に沿って切り開いて展開した状態を仮想的に表すものであり、大腸内の撮影に基づく複数の静止画像を合成することにより生成することができる。大腸展開画像の具体例については図９において説明する。
　例えば、画像処理装置２３は、ステップＳ８４，Ｓ８６により生成した静止画像に基づいて大腸展開画像を生成する。又は、画像処理装置２３は、内視鏡１の先端の回盲部への到達を検知してから内視鏡１の先端の肛門への到達を検知するまでの期間に内視鏡装置２４から入力された撮影画像データの少なくとも一部に基づいて大腸展開画像を生成してもよい。すなわち、画像処理装置２３は、ステップＳ８４，Ｓ８６により生成する静止画像とは別に、大腸展開画像を生成するための静止画像を、内視鏡装置２４から取得した撮影画像データに基づいて生成してもよい。
　次に、画像処理装置２３は、生検が実施された位置を示す生検位置情報を、ステップＳ８８により生成した大腸展開画像に付加する（ステップＳ８９）。生検位置情報は、例えば、大腸展開画像における、生検が実施された位置を指し示す画像等である。生検位置情報の具体例については図９において説明する。
　次に、画像処理装置２３は、ステップＳ８９により生検位置情報を付加した大腸展開画像と、ステップＳ８４，Ｓ８６により生成した静止画像及び撮影時刻情報とを、内視鏡部門サーバ２１へ送信し（ステップＳ９０）、一連の処理を終了する。これにより、画像処理装置２３が生成した大腸展開画像等を、他の装置の表示装置（例えばクライアントＰＣ２２の表示部２２ｂ）に表示させることができる。
　すなわち、ステップＳ９０により内視鏡部門サーバ２１へ送信されたこれらの情報は、図１に示した医用画像保管システム４０によって保管され、例えばクライアントＰＣ２２によって表示させる。クライアントＰＣ２２による表示の具体例について、図９において説明する。
　図９は、内視鏡検査及び大腸展開画像の一例を示す図である。図９において、横軸Ｔ１は、内視鏡検査の開始から終了までの時系列を示している。
　横軸Ｔ１に示すように、図９に示す例においては、時刻ｔ１に被検体への内視鏡１の先端の挿入が開始された（検査開始）。また、時刻ｔ１より後の時刻ｔ２において、内視鏡１の先端が被検体の回盲部に到達した（回盲部到達）。
　時刻ｔ２以降、内視鏡１の先端を被検体から引き抜きながら観察が行われる。そして、時刻ｔ２より後の時刻ｔ３と、時刻ｔ３より後の時刻ｔ４と、のそれぞれにおいて、内視鏡１の生検鉗子を用いた生検が実施された。
　時刻ｔ３において、画像処理装置２３は、内視鏡装置２４からの撮影画像データに基づいて生検鉗子の映り込みを認識することにより生検の実施を検知する。そして、画像処理装置２３は、この検知結果に基づいて、時刻ｔ３における静止画像を自動的に取得する。
　同様に、時刻ｔ４において、画像処理装置２３は、内視鏡装置２４からの撮影画像データに基づいて生検鉗子の映り込みを認識することにより生検の実施を検知する。そして、画像処理装置２３は、この検知結果に基づいて、時刻ｔ４における静止画像を自動的に取得する。
　また、時刻ｔ４の後の時刻ｔ５において、内視鏡１の先端が被検体の肛門に到達し、内視鏡１が被検体から抜き去られた（検査終了）。
　また、画像処理装置２３は、生検の実施を検知した場合に加えて、内視鏡装置２４からの撮影画像データに基づいて、内視鏡１の先端の、大腸内の特異点への到達を検知した時の静止画像も生成する。
　また、画像処理装置２３は、生成する静止画像に、その静止画像が得られた時の画像処理装置２３の内部時刻を示す撮影時刻情報を付加する。
　また、画像処理装置２３は、内視鏡装置２４から得られた撮影画像データに基づいて大腸展開画像を生成し、生成した大腸展開画像に生検位置情報を付加する。
　これらの画像処理装置２３により生成された静止画像、撮影時刻情報及び大腸展開画像は、上記のように医用画像保管システム４０によって保管される。
　その後、例えばクライアントＰＣ２２において、図９に示す内視鏡検査について画像の表示の指示（例えば図４に示した“画像表示”ボタンＣ１の押下）を受け付けると、そのクライアントＰＣ２２は、医用画像保管システム４０によって保管された静止画像、撮影時刻情報及び大腸展開画像に基づいて、例えば図９に示す画像９０を表示部２２ｂにより表示する。
　画像９０は、大腸展開画像９１と、サムネイル９２と、サムネイル９３と、生検マーク９３ａと、生検個所マーク９１ａと、生検回数通知部９４と、を含む。
　大腸展開画像９１は、例えば図８のステップＳ８８において画像処理装置２３により生成された大腸展開画像である。例えば、画像処理装置２３は、生成した各静止画像を、互いに重複する部分については重ねて合成することにより大腸展開画像９１を生成する。
　例えば、大腸展開画像９１は、撮影時刻が時刻ｔ２から時刻ｔ５までの撮影画像データに基づく各静止画像を合成して得られた展開画像である。図９において、大腸展開画像９１の左端は時刻ｔ２に撮影された部分であり、大腸展開画像９１の右端は時刻ｔ５に撮影された部分である。具体的に、大腸展開画像９１は、左端から順に、上行結腸、横行結腸、下行結腸、Ｓ字結腸、及び直腸の各領域を有する。
　生検個所マーク９１ａは、例えば図８に示したステップＳ８９において画像処理装置２３により大腸展開画像に付加される生検位置情報の一例である。例えば、画像処理装置２３は、大腸展開画像９１の生成に用いた各静止画像の撮影時刻情報に基づいて、大腸展開画像９１のうち、生検の実施が検知された時刻に撮影された部分に生検個所マーク９１ａを重ねる。これにより、大腸展開画像９１のうち生検が実施された位置に生検個所マーク９１ａが付加される。
　サムネイル９２は、例えば図８のステップＳ８４において画像処理装置２３により撮影時刻情報とともに生成された静止画像のサムネイル（縮小画像）である。サムネイル９３は、例えば図８のステップＳ８６において画像処理装置２３により撮影時刻情報とともに生成された静止画像のサムネイルである。
　サムネイル９２，９３のそれぞれを対象として、例えば、画像処理装置２３は、大腸展開画像９１の生成に用いた各静止画像の撮影時刻情報に基づいて、大腸展開画像９１のうち、対象のサムネイルに対応する静止画像が撮影された時刻に撮影された部分を特定し、特定した部分の上側に、対象の静止画像を配置する。これにより、撮影時刻により大腸展開画像９１と対応付けられたサムネイル９２，９３を含む画像９０が生成される。
　クライアントＰＣ２２は、表示したサムネイル９２，９３のいずれかを選択する選択操作（例えばサムネイル９２，９３のクリック等）を受け付けると、サムネイル９２，９３のうち選択操作を受け付けたサムネイルに対応する静止画像を表示部２２ｂに表示する。このサムネイルに対応する静止画像は、画像９０に重ねて表示されてもよいし、画像９０に代えて表示されてもよいし、画像９０と並べて表示されてもよい。
　また、サムネイル９２，９３のうち、生検の実施の検知に応じて得られた静止画像のサムネイル９３には、生検の実施時の静止画像であることを示す生検マーク９３ａを付してもよい。これにより、サムネイル９２，９３のうちサムネイル９３が、生検の実施時の静止画像に対応することを容易に把握することができる。
　また、クライアントＰＣ２２は、実施された生検の回数（例えばサムネイル９３の数）を生検回数通知部９４に表示してもよい。図９に示す例では、時刻ｔ３，ｔ４において生検の実施が検知されているため、クライアントＰＣ２２は、実施された生検の回数として２回（生検：２回）を生検回数通知部９４に表示している。
　このように、本発明の内視鏡検査支援装置を適用した画像処理装置２３によれば、内視鏡１が被検体内に挿入されている状態において内視鏡１の複数回の撮影により得られた複数の撮影画像データと、その状態において内視鏡１を用いて行われた処置を示す処置情報と、に基づいて、上記の複数の撮影画像データを合成して得た被検体内の展開画像であって、上記の処置が行われた被検体内の位置を示す情報を付した展開画像をクライアントＰＣ２２に表示させることができる。
　これにより、この展開画像を見たユーザは、内視鏡１を挿入した被検体の内表面の状態を容易に把握でき、さらにその展開画像には上記の処置が行われた被検体内の位置を示す情報が付加されているため、内視鏡検査において生検等の処置が実施された個所を容易に把握することができる。
（変形例）
　画像処理装置２３によって生成した各情報を医用画像保管システム４０に保管し、医用画像保管システム４０によって保管される各情報に基づいてクライアントＰＣ２２が画像９０等の表示を行う構成について説明したが、このような構成に限らない。例えば、画像処理装置２３によって生成した各情報を内視鏡部門サーバ２１に保管し、内視鏡部門サーバ２１によって保管される各情報に基づいてクライアントＰＣ２２が画像９０等の表示を行う構成としてもよい。
　また、展開画像をクライアントＰＣ２２の表示部２２ｂに表示させる構成について説明したが、このような構成に限らない。例えば、展開画像を、内視鏡装置２４の表示装置７や、不図示の他の表示装置に表示させる構成としてもよい。
　また、内視鏡１を用いた処置の具体例として、内視鏡１の生検鉗子を用いた生検について説明したが、内視鏡１を用いた処置はこれに限らない。例えば、内視鏡１を用いた処置は、ポリープ等の切除などであってもよい。
　また、展開画像の例として大腸展開画像について説明したが、展開画像はこれに限らない。例えば、内視鏡装置２４により被検体の胃の検査を行う場合には、被検体の胃を延在方向に沿って切り開いて展開した状態を仮想的に表す胃展開画像が表示される。
　本発明の内視鏡検査支援装置を画像処理装置２３に適用する構成について説明したが、本発明の内視鏡検査支援装置は画像処理装置２３以外の装置に適用することもできる。例えば、本発明の内視鏡検査支援装置は、内視鏡装置２４、内視鏡部門サーバ２１、医用画像保管システム４０などに適用することもできる。
　以上説明したように、本明細書には次の事項が開示されている。
（１）
　プロセッサとメモリとを有し、
　上記メモリが、
　内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
　上記プロセッサが、
　上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、
　生成した上記展開画像を表示装置に表示させる、
　内視鏡検査支援装置。
（２）
　（１）記載の内視鏡検査支援装置であって、
　上記メモリが、上記内視鏡の撮影により得られた静止画像を記憶し、
　上記プロセッサが、上記静止画像と対応付けた上記展開画像を生成する、
　内視鏡検査支援装置。
（３）
　（２）記載の内視鏡検査支援装置であって、
　上記静止画像は、上記内視鏡を用いた処置の上記撮影画像データに基づく検知結果に応じて得られた静止画像を含む、内視鏡検査支援装置。
（４）
　（２）又は（３）記載の内視鏡検査支援装置であって、
　上記静止画像は、上記内視鏡の先端部の上記被検体内の特定部位への到達の上記撮影画像データに基づく検知結果に応じて得られた静止画像を含む、内視鏡検査支援装置。
（５）
　（１）から（４）のいずれか１つに記載の内視鏡検査支援装置であって、
　上記複数の撮影画像データは、上記被検体内の検査領域の端部への上記内視鏡の先端部の到達が検知されてから得られた複数の撮影画像データである、内視鏡検査支援装置。
（６）
　（１）から（５）のいずれか１つに記載の内視鏡検査支援装置であって、
　上記メモリが、上記複数の撮影画像データ及び上記処置情報を時刻情報と対応付けて記憶し、
　上記プロセッサが、上記時刻情報に基づいて、上記処置が行われた上記被検体内の位置を示す情報を付した上記展開画像を生成する、
　内視鏡検査支援装置。
（７）
　（１）から（５）のいずれか１つに記載の内視鏡検査支援装置であって、
　上記プロセッサが、上記内視鏡を用いた上記処置の実施を上記撮影画像データに基づいて検知した結果に基づいて、上記処置が行われた上記被検体内の位置を示す情報を付した上記展開画像を生成する、内視鏡検査支援装置。
（８）
　内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
　上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、
　生成した上記展開画像を表示装置に表示させる、
　内視鏡検査支援方法。
（９）
　内視鏡が被検体内に挿入されている状態において上記内視鏡の複数回の撮影により得られた複数の撮影画像データと、上記状態において上記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
　上記複数の撮影画像データ及び上記処置情報に基づいて、上記複数の撮影画像データを合成して得た上記被検体内の展開画像であって、上記処置が行われた上記被検体内の位置を示す情報を付した展開画像を生成し、
　生成した上記展開画像を表示装置に表示させる、
　処理をコンピュータに実行させるための内視鏡検査支援プログラム。
　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２０年２月２７日出願の日本特許出願（特願２０２０－０３２３１３）に基づくものであり、その内容は本出願の中に参照として援用される。
　１　内視鏡
　４　制御装置
　５　光源装置
　６，２２ａ　入力部
　７　表示装置
　１０　ＨＩＳ
　１０Ａ　軟性部
　１０Ｂ　湾曲部
　１０Ｃ　先端部
　１１　操作部
　１２　アングルノブ
　１３　ユニバーサルコード
　１３Ａ　コネクタ部
　１３Ｂ　コネクタ部１３Ａ
　２０　内視鏡部門システム
　２０Ａ　受付
　２０Ｂ　前処置室
　２０Ｃ　検査室
　２０Ｄ　洗浄室
　２０Ｅ　カンファレンス室
　２１　内視鏡部門サーバ
　２２　クライアントＰＣ
　２２ｂ　表示部
　２２ｃ　記録部
　２２ｄ　送受信部
　２２ｅ　制御部
　２３　画像処理装置
　２４　内視鏡装置
　２５　洗浄管理装置
　２６　洗浄機
　２７　部門内ＬＡＮ
　３０　病理部門システム
　４０　医用画像保管システム
　４１，１２６　通信Ｉ／Ｆ
　４２　信号処理部
　４３　表示コントローラ
　４４　システム制御部
　４５　記録媒体
　５０　他部門システム
　６０　院内ＬＡＮ
　９０　画像
　９１　大腸展開画像
　９１ａ　生検個所マーク
　９２，９３　サムネイル
　９３ａ　生検マーク
　９４　生検回数通知部
　１１０　挿入部
　１２１　対物レンズ
　１２２　レンズ群
　１２３　撮像素子
　１２５　メモリ
　１２７　撮像駆動部
　１５０　照明用レンズ
　１５１　光源用プロセッサ
　１５２　光源部
　１５２ａ　Ｖ－ＬＥＤ
　１５２ｂ　Ｂ－ＬＥＤ
　１５２ｃ　Ｇ－ＬＥＤ
　１５２ｄ　Ｒ－ＬＥＤ
　１５３　ライトガイド
　１５４　光路結合部
　ｔ１～ｔ５　時刻
　Ｃ１　ボタン
 

Claims (9)

  1. 　プロセッサとメモリとを有し、
    　前記メモリが、
    　内視鏡が被検体内に挿入されている状態において前記内視鏡の複数回の撮影により得られた複数の撮影画像データと、前記状態において前記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
    　前記プロセッサが、
    　前記複数の撮影画像データ及び前記処置情報に基づいて、前記複数の撮影画像データを合成して得た前記被検体内の展開画像であって、前記処置が行われた前記被検体内の位置を示す情報を付した展開画像を生成し、
    　生成した前記展開画像を表示装置に表示させる、
    　内視鏡検査支援装置。
  2. 　請求項１記載の内視鏡検査支援装置であって、
    　前記メモリが、前記内視鏡の撮影により得られた静止画像を記憶し、
    　前記プロセッサが、前記静止画像と対応付けた前記展開画像を生成する、
    　内視鏡検査支援装置。
  3. 　請求項２記載の内視鏡検査支援装置であって、
    　前記静止画像は、前記内視鏡を用いた処置の前記撮影画像データに基づく検知結果に応じて得られた静止画像を含む、内視鏡検査支援装置。
  4. 　請求項２又は３記載の内視鏡検査支援装置であって、
    　前記静止画像は、前記内視鏡の先端部の前記被検体内の特定部位への到達の前記撮影画像データに基づく検知結果に応じて得られた静止画像を含む、内視鏡検査支援装置。
  5. 　請求項１から４のいずれか１項記載の内視鏡検査支援装置であって、
    　前記複数の撮影画像データは、前記被検体内の検査領域の端部への前記内視鏡の先端部の到達が検知されてから得られた複数の撮影画像データである、内視鏡検査支援装置。
  6. 　請求項１から５のいずれか１項記載の内視鏡検査支援装置であって、
    　前記メモリが、前記複数の撮影画像データ及び前記処置情報を時刻情報と対応付けて記憶し、
    　前記プロセッサが、前記時刻情報に基づいて、前記処置が行われた前記被検体内の位置を示す情報を付した前記展開画像を生成する、
    　内視鏡検査支援装置。
  7. 　請求項１から５のいずれか１項記載の内視鏡検査支援装置であって、
    　前記プロセッサが、前記内視鏡を用いた前記処置の実施を前記撮影画像データに基づいて検知した結果に基づいて、前記処置が行われた前記被検体内の位置を示す情報を付した前記展開画像を生成する、内視鏡検査支援装置。
  8. 　内視鏡が被検体内に挿入されている状態において前記内視鏡の複数回の撮影により得られた複数の撮影画像データと、前記状態において前記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
    　前記複数の撮影画像データ及び前記処置情報に基づいて、前記複数の撮影画像データを合成して得た前記被検体内の展開画像であって、前記処置が行われた前記被検体内の位置を示す情報を付した展開画像を生成し、
    　生成した前記展開画像を表示装置に表示させる、
    　内視鏡検査支援方法。
  9. 　内視鏡が被検体内に挿入されている状態において前記内視鏡の複数回の撮影により得られた複数の撮影画像データと、前記状態において前記内視鏡を用いて行われた処置を示す処置情報と、を記憶し、
    　前記複数の撮影画像データ及び前記処置情報に基づいて、前記複数の撮影画像データを合成して得た前記被検体内の展開画像であって、前記処置が行われた前記被検体内の位置を示す情報を付した展開画像を生成し、
    　生成した前記展開画像を表示装置に表示させる、
    　処理をコンピュータに実行させるための内視鏡検査支援プログラム。
     
PCT/JP2021/000927 2020-02-27 2021-01-13 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム Ceased WO2021171817A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180015801.3A CN115135224B (zh) 2020-02-27 2021-01-13 内窥镜检查辅助装置、内窥镜检查辅助方法及计算机可读记录介质
JP2022503143A JP7314394B2 (ja) 2020-02-27 2021-01-13 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム
US17/812,042 US12458207B2 (en) 2020-02-27 2022-07-12 Endoscopic examination support device, endoscopic examination support method, and endoscopic examination support program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020032313 2020-02-27
JP2020-032313 2020-02-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/812,042 Continuation US12458207B2 (en) 2020-02-27 2022-07-12 Endoscopic examination support device, endoscopic examination support method, and endoscopic examination support program

Publications (1)

Publication Number Publication Date
WO2021171817A1 true WO2021171817A1 (ja) 2021-09-02

Family

ID=77489953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000927 Ceased WO2021171817A1 (ja) 2020-02-27 2021-01-13 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム

Country Status (4)

Country Link
US (1) US12458207B2 (ja)
JP (1) JP7314394B2 (ja)
CN (1) CN115135224B (ja)
WO (1) WO2021171817A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006280592A (ja) * 2005-03-31 2006-10-19 Olympus Medical Systems Corp 処置支援装置
JP2017528175A (ja) * 2014-07-02 2017-09-28 コヴィディエン リミテッド パートナーシップ ３ｄのナビゲーションの間に距離および向きのフィードバックを提供するシステムおよび方法
US20180060524A1 (en) * 2016-08-31 2018-03-01 Covidien Lp Pathway planning for use with a navigation planning and procedure system
WO2018096680A1 (ja) * 2016-11-28 2018-05-31 オリンパス株式会社 情報呈示システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4493383B2 (ja) * 2004-04-01 2010-06-30 オリンパス株式会社 手技支援システム
AU2006238292B2 (en) * 2005-03-31 2010-04-15 Olympus Medical Systems Corp. Surgery assisting apparatus and treatment assisting apparatus
WO2007105495A1 (ja) * 2006-03-13 2007-09-20 Olympus Medical Systems Corp. 散乱媒質内部観察装置、撮像システム、撮像方法及び内視鏡装置
US9247865B2 (en) * 2006-05-31 2016-02-02 National University Corporation Chiba University Three-dimensional-image forming device, three dimensional-image forming method and program
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
WO2015049962A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡システム
JPWO2015056471A1 (ja) * 2013-10-17 2017-03-09 オリンパス株式会社 内視鏡装置及び内視鏡を用いた検査方法
JP6161073B2 (ja) * 2014-08-22 2017-07-12 富士フイルム株式会社 展開画像生成装置、方法、及びプログラム、並びに画像情報記憶装置
JP2017086685A (ja) * 2015-11-13 2017-05-25 オリンパス株式会社 内視鏡業務支援システム
JP2017205343A (ja) * 2016-05-19 2017-11-24 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
KR20200024209A (ko) * 2017-07-12 2020-03-06 소니 주식회사 촬상 장치 및 화상 생성 방법
US11525666B2 (en) * 2018-05-18 2022-12-13 Northwestern University Spectral contrast optical coherence tomography angiography
WO2020084999A1 (ja) * 2018-10-25 2020-04-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006280592A (ja) * 2005-03-31 2006-10-19 Olympus Medical Systems Corp 処置支援装置
JP2017528175A (ja) * 2014-07-02 2017-09-28 コヴィディエン リミテッド パートナーシップ ３ｄのナビゲーションの間に距離および向きのフィードバックを提供するシステムおよび方法
US20180060524A1 (en) * 2016-08-31 2018-03-01 Covidien Lp Pathway planning for use with a navigation planning and procedure system
WO2018096680A1 (ja) * 2016-11-28 2018-05-31 オリンパス株式会社 情報呈示システム

Also Published As

Publication number Publication date
JPWO2021171817A1 (ja) 2021-09-02
CN115135224A (zh) 2022-09-30
US20220338717A1 (en) 2022-10-27
JP7314394B2 (ja) 2023-07-25
CN115135224B (zh) 2025-08-19
US12458207B2 (en) 2025-11-04

Similar Documents

Publication Publication Date Title
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
US8617058B2 (en) Displaying image data from a scanner capsule
JP7737529B2 (ja) 内視鏡情報管理システム
JP5459423B2 (ja) 診断システム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN102753078A (zh) 图像显示装置以及胶囊型内窥镜系统
JPWO2014061554A1 (ja) 画像処理装置及び画像処理方法
JP7314394B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム
US20240382067A1 (en) Medical assistance system and medical assistance method
JP2008188096A (ja) 医用画像管理システム、データ管理方法
US20230414069A1 (en) Medical support system and medical support method
WO2024257329A1 (ja) 医療支援装置、医療支援システムおよびプログラム
JP7427766B2 (ja) 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
EP4091532B1 (en) Medical image processing device, endoscope system, diagnosis assistance method, and program
WO2025027838A1 (ja) 医療支援装置、医療支援システムおよび医療支援方法
US20240136034A1 (en) Information processing apparatus, information processing method, endoscope system, and report creation support device
WO2023166647A1 (ja) 医療支援システムおよび画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761416

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503143

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21761416

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202180015801.3

Country of ref document: CN