WO2024257329A1 - 医療支援装置、医療支援システムおよびプログラム - Google Patents
医療支援装置、医療支援システムおよびプログラム Download PDFInfo
- Publication number
- WO2024257329A1 WO2024257329A1 PCT/JP2023/022380 JP2023022380W WO2024257329A1 WO 2024257329 A1 WO2024257329 A1 WO 2024257329A1 JP 2023022380 W JP2023022380 W JP 2023022380W WO 2024257329 A1 WO2024257329 A1 WO 2024257329A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- endoscope
- information
- subject
- medical support
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Definitions
- This disclosure relates to a medical support device, a medical support system, and a program that provide endoscopic medical support.
- endoscopic examinations may end without inserting the endoscope into the body of a subject such as a patient.
- the present disclosure has been made in consideration of the above, and aims to provide a medical support device, medical support system, and program that can transfer valid medical information according to the usage status of the endoscope.
- the medical support device disclosed herein is a medical support device equipped with a processor, and the processor acquires usage status information regarding the usage status of an endoscope up to the observation of a predetermined observation site on a subject, determines whether the endoscope has reached the observation site based on the usage status information, generates handover information for a report regarding the observation of the observation site based on the determination result of whether the endoscope has reached the observation site and the usage status information, and records the handover information.
- the usage status information further includes insertion information indicating whether or not the endoscope has been inserted into the subject's body based on a group of image data captured by the endoscope, and the processor determines whether or not the endoscope has been inserted into the subject's body based on the insertion information, and if it is determined that the endoscope has not been inserted into the subject's body, generates the handover information indicating that the endoscope has not been inserted into the subject's body.
- the usage status information further includes operation information of the surgeon on an operation unit equipped on the endoscope, and when it is determined that the endoscope has not been inserted into the subject's body, the processor generates the handover information indicating that the endoscope has not been inserted into the subject's body based on the operation information.
- the usage information further includes cleaning history information regarding the cleaning history of the endoscope, and the handover information indicating that the endoscope has not been inserted into the subject's body is generated based on the operation information and the cleaning history information.
- the usage status information further includes detection result information that detects multiple organs and parts based on a group of image data captured by inserting the endoscope into the subject, and the processor determines whether the endoscope has reached the observation site based on the insertion information and the detection result information, and if it determines that the endoscope has not reached the observation site, generates the handover information to the effect that the endoscope has not been inserted into the observation site.
- the usage information further includes feature region detection information indicating whether or not a feature region has been detected inside the subject based on the image data group captured by the endoscope, and when the processor determines that the endoscope has reached the observation site, it determines whether or not the feature region has been detected based on the feature region detection information, and when the processor determines that the endoscope has reached the observation site and determines that the feature region has been detected, it generates the handover information indicating that an abnormality has occurred in the subject, whereas when the processor determines that the endoscope has reached the observation site and determines that the feature region has not been detected, it generates the handover information indicating that the subject is normal.
- the usage status information further includes release information related to a history of release signals from an operating member provided on the endoscope, and the processor determines whether or not a still image is present based on the release information, and if it is determined that a still image is present, generates the handover information indicating that a still image is present.
- the medical support device acquires a group of image data generated by the endoscope continuously capturing images, and classifies the group of image data into a first group of image data from when the endoscope reaches inside the subject's body and a second group of image data from when the endoscope is inserted inside the subject's body, and the detection result information is based on the second group of image data.
- the medical support system is a medical support system including an endoscope, a control device for controlling the endoscope, an imaging diagnostic device, and a medical support device, in which the endoscope includes an insertion section that can be inserted into a subject, and a tip section that is provided at the tip of the insertion section and that sequentially generates image data groups by continuously capturing images of multiple observation sites set in advance for the subject, and outputs the image data groups to the control device, and the imaging diagnostic device uses the image data groups and an inference model that has previously learned the characteristics of organs and parts to generate detection result information that detects each of the multiple observation sites for the image data groups and outputs the detection result information to the control device, and the medical support device includes a processor, which acquires usage status information regarding the usage status of the endoscope until the endoscope observes the predetermined observation site for the subject, determines whether the endoscope has reached the observation site based on the usage status information, generates handover information for a report regarding the observation of the observation site based on
- the program according to the present disclosure is a program executed by a medical support device having a processor, and causes the processor to acquire usage status information regarding the usage status of an endoscope up to the observation of a predetermined observation site on a subject, determine whether or not the endoscope has reached the observation site based on the usage status information, generate handover information for a report regarding the observation of the observation site based on the determination result of whether or not the endoscope has reached the observation site and the usage status information, and record the handover information.
- the present disclosure has the effect of enabling the transfer of valid medical information according to the usage status of the endoscope.
- FIG. 1 is a diagram showing the overall configuration of a medical support system according to an embodiment.
- FIG. 2 is a block diagram showing the functional configuration of the main parts of an endoscope and a control device according to an embodiment.
- FIG. 3 is a block diagram showing a functional configuration of an imaging diagnostic apparatus according to an embodiment.
- FIG. 4 is a block diagram illustrating a functional configuration of a medical support device according to an embodiment.
- FIG. 5 is a flowchart showing an outline of the process executed by the medical support system according to the embodiment.
- FIG. 6 is a diagram showing an example of a list of observation orders of organs/sites and report items.
- FIG. 7 is a diagram showing another example of a list of observation orders of organs/sites and report items.
- FIG. 8 is a flowchart showing an outline of the endoscopic imaging process in FIG.
- FIG. 9 is a flowchart showing an outline of the report creation process in FIG.
- FIG. 10 is a diagram illustrating an overview when a discrimination unit included in a medical support device according to an embodiment discriminates an image data group into first image data and a second image data group.
- FIG. 11 is a diagram illustrating an example of a handover information table in which each condition generated by a generating unit included in a medical support device according to an embodiment is associated with handover contents.
- FIG. 12 is a flow chart showing an outline of the uninspected process in FIG.
- FIG. 1 is a diagram showing the overall configuration of a medical support system according to an embodiment.
- the medical support system 1 shown in Fig. 1 continuously captures images of the inside of a subject, such as a human or animal, by inserting an insertion section 21 of an endoscope 2 from the mouth to the esophagus or from the anus to the large intestine of the subject, and displays a group of captured image data in chronological order on a display device 3.
- the image diagnostic device 5 detects (recognizes or estimates) characteristic areas including organs, parts, the insertion speed of the insertion part 21, and polyps or cancers at multiple observation sites shown in the image data based on a group of image data input from the control device 4 and an inference model (trained model) trained using training data previously captured of the subject's organs, parts, lesions, etc., and outputs this detection result to the control device 4.
- CAD Computer Aided Detection
- the medical support system 1 also acquires image data groups input from the control device 4 to the medical support device 6 via the network N100, and detection result information including the detection results (estimated results) of the image diagnostic device 5, and records the acquired image data and detection result information in association with each other.
- the medical support system 1 then outputs various data in response to requests from the laptop computer 7 of the surgeon, etc., via the network N100.
- report information such as a test report on the subject by the surgeon or the like is created on the laptop computer 7, and this report information is output to the medical support device 6 and recorded. After that, the surgeon diagnoses the subject and conducts a conference, etc. based on the report information and the diagnostic results of the living cells obtained by biopsy during observation of the subject.
- the medical support system 1 includes an endoscope 2, a display device 3, a control device 4, an image diagnostic device 5, and a medical support device 6.
- the endoscope 2 continuously generates image data (RAW data) by capturing images of the inside of the subject, and sequentially outputs this image data to the control device 4.
- the endoscope 2 includes an insertion section 21, an operation section 22, and a universal cord 23.
- the insertion section 21 is at least partially flexible and is inserted into the subject. As shown in FIG. 1, the insertion section 21 includes a tip section 24 provided at the tip of the insertion section 21, a bending section 25 connected to the base end side (operation section 22 side) of the tip section 24 and configured to be bendable, and a long flexible tube section 26 connected to the base end side of the bending section 25 and having flexibility.
- the operation unit 22 is connected to the base end portion of the insertion unit 21.
- the operation unit 22 receives various operations on the endoscope 2. As shown in FIG. 1, the operation unit 22 is provided with a curved knob 221, an insertion port 222, and a number of operation members 223.
- the bending knob 221 is configured to be rotatable in response to a user operation by a user such as a surgeon. By rotating, the bending knob 221 operates a bending mechanism (not shown) such as a metal or resin wire arranged inside the insertion section 21. As a result, the bending section 25 is bent.
- the insertion port 222 is connected to a treatment tool channel (not shown), which is a duct extending from the tip of the insertion section 21, and is an insertion port for inserting a treatment tool or the like into the treatment tool channel from outside the endoscope 2.
- the multiple operating members 223 are composed of buttons and the like that accept various operations by users such as surgeons, and output operation signals corresponding to the various operations to the control device 4 via the universal cord 23.
- Examples of the various operations include a release operation that instructs the endoscope 2 to capture a still image, and an operation that switches the observation mode of the endoscope 2 to a normal light observation mode or a special observation mode.
- the universal cord 23 extends from the operation section 22 in a direction different from the direction in which the insertion section 21 extends, and is a cord on which a light guide 231 (see FIG. 2) made of optical fiber or the like, a first signal line 232 (see FIG. 2) for transmitting the image data described above, and a second signal line 233 (see FIG. 2) for transmitting the operation signal described above, etc. are arranged.
- a first connector section 27 is provided at the base end of the universal cord 23.
- the first connector section 27 is detachably connected to the control device 4.
- the display device 3 is composed of a display monitor such as a liquid crystal or organic EL (Electro Luminescence) display monitor, and under the control of the control device 4, displays an image based on image data that has been image-processed by the control device 4, as well as various information related to the endoscope 2.
- a display monitor such as a liquid crystal or organic EL (Electro Luminescence) display monitor
- the control device 4 is realized using a processor, which is a processing device having hardware such as a GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), or CPU (Central Processing Unit), and a memory, which is a temporary storage area used by the processor.
- the control device 4 comprehensively controls the operation of each part of the endoscope 2 according to the program recorded in the memory.
- the image diagnostic device 5 uses the image data group input from the control device 4 and a trained model trained in advance with training data to detect (estimate) characteristic areas (abnormal areas or lesion candidate areas) including organs, parts, the insertion speed of the insertion part 21, and polyps or cancers that appear in the image data, and outputs detection result information that associates this detection result with the detection time to the control device 4.
- the image diagnostic device 5 is realized using a processor, which is a processing device having hardware such as a GPU, FPGA, or CPU, and a memory, which is a temporary storage area used by the processor.
- the medical support device 6 sequentially records various data input from the control device 4 and the recognition results of the image diagnostic device 5, and transmits data in response to a request from the laptop computer 7.
- the medical support device 6 is realized using a processor, which is a processing device having hardware such as a GPU, FPGA, or CPU, and a memory, which is a temporary storage area used by the processor. Furthermore, the medical support device 6 is configured using a HDD (Hard Disk Drive), SSD (Solid State Drive), etc.
- FIG. 2 is a block diagram showing the functional configuration of the main parts of the endoscope 2 and the control device 4.
- the endoscope 2 and the control device 4 will be described in that order, and then the image diagnostic device 5 and the medical support device 6 will be described.
- the endoscope 2 includes an illumination optical system 201, an imaging optical system 202, an imaging element 203, an A/D conversion unit 204, a P/S conversion unit 205, an imaging recording unit 206, and an imaging control unit 207.
- each of the illumination optical system 201, the imaging optical system 202, the imaging element 203, the A/D conversion unit 204, the P/S conversion unit 205, the imaging recording unit 206, and the imaging control unit 207 is disposed within the tip portion 24.
- the illumination optical system 201 is composed of one or more lenses, and irradiates the illumination light supplied from the light guide 231 toward the subject.
- the imaging optical system 202 is composed of one or more lenses, and focuses light such as reflected light from the subject, return light from the subject, and fluorescent light emitted by the subject, to form an image of the subject on the light receiving surface of the image sensor 203.
- the imaging optical system 202 can change the focal length and angle of view by moving the lens along the optical axis direction O1.
- the image sensor 203 is configured using a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor in which one of the color filters constituting a Bayer array (RGGB) is arranged on each of a plurality of pixels arranged in a two-dimensional matrix.
- the image sensor 203 receives the subject image formed by the imaging optical system 202 under the control of the imaging control unit 207, and performs photoelectric conversion to generate an image (analog signal).
- the image sensor 203 may be configured integrally with an image sensor and a TOF (Time Of Flight) sensor that acquires subject distance information (hereinafter referred to as depth map information) using a TOF method.
- TOF Time Of Flight
- the depth map information is information that detects the subject distance from the position of the image sensor 203 (the position of the tip 24) to the corresponding position on the observation target corresponding to the pixel position in the captured image for each pixel position.
- the configuration for generating the depth map information is not limited to the above-mentioned TOF sensor, and an image sensor including a phase difference sensor may also be used.
- the depth map information and the captured image will be collectively referred to as image data.
- the image sensor 203 outputs the image data to the A/D conversion unit 204.
- the A/D conversion unit 204 is configured using an A/D conversion circuit, etc. Under the control of the imaging control unit 207, the A/D conversion unit 204 performs A/D conversion processing on the analog image data input from the imaging element 203, and outputs the result to the P/S conversion unit 205.
- the P/S conversion unit 205 is constructed using a P/S conversion circuit, etc., and under the control of the imaging control unit 207, performs parallel/serial conversion on the digital image data input from the A/D conversion unit 204, and outputs it to the control device 4 via the first signal line 232.
- an E/O conversion unit that converts image data into an optical signal may be provided, and the image data may be output to the control device 4 by the optical signal.
- the image data may be transmitted to the control device 4 by wireless communication such as Wi-Fi (Wireless Fidelity) (registered trademark).
- the imaging and recording unit 206 is composed of a non-volatile memory or a volatile memory, and records various information related to the endoscope 2 (for example, pixel information of the imaging element 203).
- the imaging and recording unit 206 also records various setting data and control parameters transmitted from the control device 4 via the second signal line 233.
- the imaging control unit 207 is realized using a TG (Timing Generator), a processor which is a processing device having hardware such as a CPU, and a memory which is a temporary storage area used by the processor.
- the imaging control unit 207 controls the operation of each of the imaging element 203, the A/D conversion unit 204, and the P/S conversion unit 205 based on the setting data received from the control device 4 via the second signal line 233.
- the control device 4 includes a focusing lens 401, a first light source unit 402, a second light source unit 403, a light source control unit 404, an S/P conversion unit 405, an image processing unit 406, an input unit 407, a recording unit 408, a communication unit 409, and a control unit 410.
- the condenser lens 401 condenses the light emitted by each of the first light source unit 402 and the second light source unit 403, and emits the light to the light guide 231.
- the first light source unit 402 emits visible white light (normal light) under the control of the light source control unit 404, and supplies the white light as illumination light to the light guide 231.
- This first light source unit 402 is configured using a collimator lens, a white LED (Light Emitting Diode) lamp, a driving driver, and the like.
- the first light source unit 402 may be configured using a red LED lamp, a green LED lamp, and a blue LED lamp that emit light simultaneously to supply visible white light.
- the first light source unit 402 may also be configured using a halogen lamp, a xenon lamp, and the like.
- the special light is light used for narrow band imaging (NBI) using narrow band light including 390 to 445 nm and 530 to 550 nm.
- the special light may be amber light (600 nm and 630 nm) used for red dichromatic imaging (RDI) other than narrow band light.
- the light source control unit 404 is realized using a processor having hardware such as an FPGA or a CPU, and a memory that is a temporary storage area used by the processor.
- the light source control unit 404 controls the light emission timing and light emission time of each of the first light source unit 402 and the second light source unit 403 based on control data input from the control unit 410.
- the S/P conversion unit 405 Under the control of the control unit 410, the S/P conversion unit 405 performs serial/parallel conversion on the image data received from the endoscope 2 via the first signal line 232, and outputs the data to the image processing unit 406. If the endoscope 2 outputs image data as an optical signal, an O/E conversion unit that converts an optical signal into an electrical signal may be provided instead of the S/P conversion unit 405. Also, if the endoscope 2 transmits image data via wireless communication, a communication module capable of receiving wireless signals may be provided instead of the S/P conversion unit 405.
- the image processing unit 406 is realized by using a processor having hardware such as a GPU or FPGA, and a memory that is a temporary storage area used by the processor. Under the control of the control unit 410, the image processing unit 406 performs a predetermined image processing on the image data of the parallel data input from the S/P conversion unit 405, and outputs the result to the display device 3. Examples of the predetermined image processing include demosaic processing, white balance processing, gain adjustment processing, gamma correction processing, and format conversion processing.
- the input unit 407 is configured using a mouse, foot switch, keyboard, buttons, switches, a touch panel, etc., and accepts user operations by a user such as a surgeon, and outputs an operation signal corresponding to the user operation to the control unit 410.
- the recording unit 408 is configured using a recording medium such as a volatile memory, a non-volatile memory, an SSD (Solid State Drive), an HDD (Hard Disk Drive), a memory card, etc.
- the recording unit 408 records data including various parameters necessary for the operation of the control device 4 and the endoscope 2.
- the recording unit 408 also has a program recording unit 408a that records various programs for operating the endoscope 2 and the control device 4, an image data recording unit 408b that records image data, and a usage information recording unit 408c that records usage information.
- the image data recording unit 408b records the image data group and still image data generated by the endoscope 2 successively capturing images of multiple observation sites on the subject, in association with patient information, etc.
- the usage information recording unit 408c records usage information.
- the usage information includes detection result information input from the image diagnostic device 5, the detection time of this detection result, still image data, the imaging time when this still image data was captured, cleaning history information related to the cleaning history of the endoscope 2, and patient information.
- the still image data is image data captured by the imaging element 203 when imaging is instructed by a release signal input from the operation unit 22, and is image data with a higher resolution than the live view images sequentially generated by the imaging element 203.
- the communication unit 409 under the control of the control unit 410, transmits various information to the imaging diagnostic device 5 and the medical support device 6 via the network N100, and receives various information from the imaging diagnostic device 5 and the medical support device 6 and outputs it to the control unit 410. Specifically, under the control of the control unit 410, the communication unit 409 transmits a group of temporally continuous image data that has been subjected to image processing by the image processing unit 406 to the imaging diagnostic device 5, receives detection results including organs, parts, characteristic regions, etc. detected in the imaging diagnostic device 5, and outputs them to the control unit 410.
- the communication unit 41 transmits detection result information including image data groups, still image data, and detection results of the imaging diagnostic device 5 to the medical support device 6, and receives patient information of the subject, observation information indicating the observation order of the observation points during the examination of the subject, etc. from the medical support device 6.
- the communication unit 409 is configured using a communication module, etc.
- the control unit 410 corresponds to the second processor of the present disclosure.
- This control unit 410 is realized using a second processor, which is a processing device having hardware such as an FPGA or a CPU, and a memory, which is a temporary storage area used by the second processor.
- the control unit 410 comprehensively controls each unit constituting the endoscope 2 and the control device 4.
- the control unit 410 has an imaging control unit 410a, an acquisition unit 410b, a determination unit 410c, a display control unit 410d, and a communication control unit 410e.
- the imaging control unit 410a controls the imaging of the endoscope 2.
- the imaging control unit 410a generates a group of image data that is continuous in time by having the endoscope 2 capture images continuously. Furthermore, when a release signal is input from the operation unit 22, the imaging control unit 410a causes the image sensor 203 to capture still image data.
- the acquisition unit 410b acquires image data from the endoscope 2 via the S/P conversion unit 405 or image processing unit 406, and records the data in the image data recording unit 408b.
- the acquisition unit 410b also acquires detection result information from the image diagnostic device 5 via the communication unit 409, and records the information in the usage status information recording unit 408c.
- the determination unit 410c determines whether the tip 24 of the endoscope 2 has reached the final site based on the observation order information of the final site set in the observation order for report creation and the site in the subject detected by the imaging diagnostic device 5, and records this determination result in the usage status information recording unit 408c as one piece of usage status information.
- the determination unit 410c also determines whether the final site has not yet been imaged, and records this determination result in the usage status information recording unit 408c as one piece of usage status information. Specifically, the determination unit 410c determines whether still image data capturing the final site of the organ/site set in the observation order (insertion order) in the report item in the usage status information recording unit 408c is recorded in the image data recording unit 408b.
- the display control unit 410d causes the display device 3 to display information indicating that the tip 24 of the endoscope 2 has reached the final destination within the subject.
- the communication control unit 410e causes the communication unit 409 to transmit various information to the medical support device 6 via the network N100, and causes the communication unit 409 to receive various information from the medical support device 6.
- Fig. 3 is a block diagram showing the functional configuration of the diagnostic imaging device 5.
- the diagnostic imaging device 5 shown in Fig. 3 includes a communication unit 51, an input unit 52, a recording unit 53, a display unit 54, and a control unit 55.
- the communication unit 51 Under the control of the control unit 55, the communication unit 51 receives from the control device 4 via the network N100 a group of image data generated by the endoscope 2 and organ/part order information indicating the observation order of the organs/parts in the subject, i.e. the patient, and outputs these to the control unit 55. Also, under the control of the control unit 55, the communication unit 51 outputs to the control device 4 via the network N100 detection result information including the detection result of the subject's organs, etc., input from the control unit 55, and the detection time when this detection result was detected.
- the communication unit 51 is configured using a communication module, etc.
- the input unit 52 is configured using buttons, switches, a touch panel, etc., and accepts various inputs and outputs them to the control unit 55.
- the recording unit 53 is configured using a recording medium such as a volatile memory, a non-volatile memory, an SSD, an HDD, a memory card, etc.
- the recording unit 53 records data including various parameters etc. required for the operation of the image diagnostic device 5.
- the recording unit 53 also has a program recording unit 531 that records various programs for operating the image diagnostic device 5, an observation order recording unit 532, and an inference model recording unit 533.
- the observation order recording unit 532 records observation order information input from the medical support device 6 (described later) during observation of a subject using the endoscope 2, in which the observation order of multiple observation locations such as pre-set organs and parts is set.
- the inference model recording unit 533 records an inference model used to detect organs, parts, and characteristic areas based on image data.
- the inference model takes image data from the endoscope 2 as input, and outputs the organs, parts, and characteristic areas contained in the image data.
- This inference model is a model generated by machine learning using artificial intelligence (AI (Artificial Intelligence)), for example.
- AI Artificial Intelligence
- the inference model is a model such as deep learning that learns using teacher data in which image data of a subject is given characteristic areas such as the subject's organs, parts, and lesions, and outputs the organs, parts, and characteristic areas contained in the image data.
- the display unit 54 displays various information related to the imaging diagnostic device 5 under the control of the control unit 55.
- the display unit 54 is configured using a liquid crystal display, an organic EL display, etc.
- the control unit 55 is realized using a processor having hardware such as an FPGA or a CPU, and a memory that is a temporary storage area used by the processor.
- the control unit 55 comprehensively controls each unit that constitutes the medical support device 6.
- the control unit 55 has an acquisition unit 551, an organ/part detection unit 552, and a detection time acquisition unit 553.
- the acquisition unit 551 acquires image data generated sequentially by the endoscope 2 from the control device 4 via the communication unit 51 in chronological order.
- the organ/part detection unit 552 detects the organs/parts and characteristic regions of the subject contained in the image data based on the image data sequentially acquired by the acquisition unit 551 and the inference model recorded by the inference model recording unit 533.
- the detection time acquisition unit 553 acquires the detection time when the organ/part detection unit 552 detects the organ/part and characteristic area of the subject contained in the image data. For example, the detection time acquisition unit 553 acquires as the detection time the time measured by a TG (not shown) when the organ/part detection unit 552 detects the organ/part and characteristic area of the subject contained in the image data.
- Fig. 4 is a block diagram showing the functional configuration of the medical support device 6.
- the medical support device 6 shown in Fig. 4 includes a communication unit 61, a display unit 62, an input unit 63, a database 64 (hereinafter simply referred to as "DB 64"), a program recording unit 65, and a control unit 66.
- DB 64 database 64
- the communication unit 61 transmits various information to the control device 4 and the image diagnostic device 5 via the network N100, and receives various information from the control device 4 and the image diagnostic device 5.
- the communication unit 61 is configured using a communication module.
- the display unit 62 displays various information related to the medical support device 6 under the control of the control unit 66.
- the display unit 62 is configured using a liquid crystal display, an organic EL display, etc.
- the input unit 63 accepts various inputs in response to external operations and outputs them to the control unit 66.
- the input unit 63 is configured using buttons, a keyboard, switches, a touch panel, etc.
- DB64 records various information.
- DB64 is configured using a HDD, SSD, etc.
- DB64 has a patient information DB641, an endoscope DB642, an image data DB643, a usage status information DB644, an observation order information DB645, a report item DB646, a handover information DB647, a report information DB648, and an operator information DB649.
- Patient information DB641 records, for each patient, a patient ID that identifies the patient, the patient's date of birth, the patient's doctor, the patient's address, and the patient's allergy information.
- the endoscope DB 642 records, for each endoscope 2, the type of endoscope 2, the endoscope ID, the repair history of the endoscope 2, the maintenance status of the endoscope 2, cleaning history information relating to the cleaning history of the endoscope 2, the usage history and planned usage information of the endoscope 2.
- the image data DB 643 records a group of image data captured by the endoscope 2 in association with each patient ID or each surgeon ID.
- the usage status information DB 644 records usage status information related to the usage status of the endoscope 2 up to the observation of a predetermined observation site on the subject.
- the usage status information includes insertion information indicating whether or not the endoscope 2 has been inserted into the body of the subject based on the image data group captured by the endoscope 2, operation information of the operator on the operation unit 22 provided in the endoscope 2, cleaning history information related to the cleaning history of the endoscope 2, detection result information in which the imaging diagnostic device 5 detects multiple organs and parts of the subject based on the image data group captured by the endoscope 2, characteristic area detection information indicating whether or not the imaging diagnostic device 5 has detected a characteristic area inside the subject's body based on the image data group captured by the endoscope 2, and release information related to the history of release signals from the operation member 223 provided in the endoscope 2.
- the observation order information DB 645 records the observation order of organs and parts using the endoscope 2, which is set for each facility or surgeon ID.
- the report item DB 646 records the report items for the endoscope 2 that are set for each facility or each surgeon ID.
- the handover information DB 647 records handover information for handing over to the subject's report information generated by the medical support device 6 described below.
- the report information DB 648 records, for each patient ID or each surgeon ID, the report information generated by the endoscope 2 by the surgeon (radiography reader) and the report information automatically generated by the medical support device 6 in association with each other.
- the surgeon information DB 649 records the name, position, affiliation, and contact information for each surgeon ID.
- the program recording unit 65 is configured using volatile memory, non-volatile memory, SSD, etc., and records various programs for operating the medical support device 6.
- the control unit 66 corresponds to the first processor according to the present disclosure.
- This control unit 66 is realized using a first processor having hardware such as an FPGA or a CPU, and a memory that is a temporary storage area used by the first processor.
- the control unit 66 comprehensively controls each unit that constitutes the medical support device 6.
- the control unit 66 has an acquisition unit 661, a discrimination unit 662, a determination unit 663, a generation unit 664, a recording control unit 665, and a creation unit 666.
- the acquisition unit 661 acquires image data groups and usage status information from the control device 4 via the network N100.
- the discrimination unit 662 discriminates between a first image data group captured during observation of a predetermined observation site and a second image data group captured after observation of the predetermined observation site based on the image data group acquired by the acquisition unit 661 and the usage status information.
- the determination unit 663 determines whether the endoscope 2 has reached the observation site based on the usage status information acquired by the acquisition unit 661. Specifically, the determination unit 663 determines whether the tip 24 of the endoscope 2 has been inserted into the subject's body based on the first image data group determined by the discrimination unit 662 and the usage status information. The determination unit 663 also determines whether the endoscope 2 has been inserted into the subject's body based on the insertion information included in the usage status information. Furthermore, the determination unit 663 determines whether the endoscope 2 has reached a preset observation site (final arrival site) based on the insertion information and detection result information included in the usage status information.
- the determination unit 663 determines whether a characteristic region has been detected in the subject's body based on the characteristic region detection information included in the usage status information. Furthermore, the determination unit 663 determines whether a still image is present based on the release information included in the usage status information.
- the generating unit 664 generates handover information for a report on the observation of the subject's observation site based on the result of the determination by the determining unit 663 as to whether or not the observation site has been reached by the endoscope 2 and the usage status information. Details of the handover information generated by the generating unit 664 will be described later.
- the recording control unit 665 records the handover information generated by the generation unit 664 in the handover information DB 647. In this case, the recording control unit 665 associates the handover information with the patient information or the surgeon information and records it in the handover information DB 647.
- the creation unit 666 creates report information for the subject based on the operation information from the input unit 63 or laptop computer 7, the image data group and usage status information acquired by the acquisition unit 661, the patient information, and the related information generated by the generation unit 664, and records this report information in the report information DB 648 by linking it to the patient information (patient ID) or the surgeon information (surgeon ID).
- the control unit 66 determines whether or not the endoscope 2 is connected to the medical support system 1 by connecting the endoscope 2 to the control device 4 via the network N100 (step S101). Specifically, the control unit 66 determines whether or not an endoscope ID identifying the endoscope 2 has been input from the control device 4 via the network N100, and determines that the endoscope 2 is connected to the medical support system 1 if an endoscope ID identifying the endoscope 2 has been input from the control device 4.
- step S101: Yes If the control unit 66 determines that the endoscope 2 is connected to the medical support system 1 by connecting the endoscope 2 to the control device 4 (step S101: Yes), the medical support system 1 proceeds to step S102. On the other hand, if the control unit 66 determines that the endoscope 2 is not connected to the control device 4 and is not connected to the medical support system 1 (step S101: No), the medical support system 1 ends this process.
- control unit 66 accepts the setting of the observation order of the subject's organs and parts input from the laptop computer 7 or the control device 4, and accepts input of the observation order information DB 645 and the patient's name, etc., and records them in the patient information DB 641 (step S102).
- the control unit 66 accepts input of patient information including the patient's (subject's) name, the subject's patient ID (subject ID) and various information of the patient's (subject's) date of birth, the type of endoscope 2 used to examine the subject (subject), the surgeon ID identifying the doctor in charge, the type of report item, the contents of the report item, the patient's examination reservation contents (examination date and time), pre-examination consent form, interview results, consent form, advance registration, etc., and records this accepted patient information in the patient information DB 641. Furthermore, the control unit 66 records observation order information regarding the observation order when observing organs and parts with the endoscope 2 in the observation order information DB 645 based on the operation contents input from the surgeon's laptop computer 7, etc.
- FIG. 6 shows an example of a list of organ/site observation orders and report items.
- FIG. 7 shows another example of a list of organ/site observation orders and report items.
- the tip 24 of the insertion section 21 of the endoscope 2 (hereinafter simply referred to as "tip 24") is inserted from outside the subject's body into the body, and the order in which each organ/site is observed by the endoscope 2 is set for each surgeon (doctor) or facility.
- the order "9" is set for the organ/site "ileum.”
- the report item tables W2 and W4 items are set in correspondence with the report type.
- the item "reached area” is set for the report type "lower endoscopy report.”
- the reached area is the organ or area of the observation site that the tip 24 was able to reach within the subject.
- the pattern Q1 shown in FIG. 6 has been set.
- step S103 the control unit 66 displays a consistency check and advice between the patient, who is the subject, and the endoscope 2 on the display device 3 or the laptop computer 7 based on the patient information input in step S102, the past report information recorded in the report information DB 648 linked to the patient information, and the endoscope information recorded in the endoscope DB 642 via the network N100.
- the control unit 66 checks the consistency of the setting contents of the endoscope 2 used to observe the patient based on the patient information, the past report information recorded in the report information DB 648 linked to the patient information, and the endoscope information recorded in the endoscope DB 642.
- control unit 66 judges whether the type of endoscope 2 used to observe the patient is suitable for observation according to the observation order of organs and parts, the type of report items, and the examination reservation contents. In this case, when the control unit 66 judges that the type or setting contents of the endoscope 2 incompatible with the observation of the patient is incompatible, it displays a warning on the display device 3 or the laptop computer 7.
- control unit 66 determines whether or not the endoscope 2 is uncleaned based on the usage information recorded in the usage information recording unit 408c, the endoscope information recorded in the endoscope DB 642, and the handover information recorded in the handover information DB 647, and if the endoscope 2 is uncleaned, displays a warning on the display device 3 or laptop computer 7. This allows the surgeon or the like to recognize that the endoscope 2 connected to the control device 4 is unsuitable for observing a patient.
- the control unit 66 also displays handover information such as the presence or absence of allergies in the current patient, the surgeon's findings during the previous observation of the patient, and the tumor and areas of the patient that were monitored in the previous observation as advice on the display device 3 or laptop computer 7, based on the patient information, report information including past handover information recorded in the report information DB 648 linked to the patient information, and the endoscope information recorded in the endoscope DB 642. This allows the surgeon to understand the handover details given to the patient by the previous surgeon or report creator.
- handover information such as the presence or absence of allergies in the current patient, the surgeon's findings during the previous observation of the patient, and the tumor and areas of the patient that were monitored in the previous observation as advice on the display device 3 or laptop computer 7, based on the patient information, report information including past handover information recorded in the report information DB 648 linked to the patient information, and the endoscope information recorded in the endoscope DB 642. This allows the surgeon to understand the handover details given to the patient by the previous surgeon or report creator.
- control unit 66 determines whether or not imaging of the subject with the endoscope 2 has started from the control device 4 or the endoscope 2 via the network N100 (step S104). Specifically, when the control unit 66 receives image data or a start-up signal indicating that the endoscope 2 has started from the control device 4 via the network N100, it determines that imaging of the subject with the endoscope 2 has started.
- step S104 If the control unit 66 determines that imaging of the subject with the endoscope 2 has begun (step S104: Yes), the medical support system 1 proceeds to step S105, which will be described later. On the other hand, if the control unit 66 determines that imaging of the subject with the endoscope 2 has not begun (step S104: No), the medical support system 1 proceeds to step S107, which will be described later.
- step S105 the medical support system 1 executes an endoscopic imaging process in which the endoscope 2 is inserted into the subject and observation is performed. Details of the endoscopic imaging process will be described later. After step S105, the medical support system 1 proceeds to step S106.
- the control unit 66 determines whether the imaging of the subject by the endoscope 2 has ended from the control device 4 or the endoscope 2 via the network N100 (step S106). Specifically, when the control unit 66 receives a stop signal from the control device 4 via the network N100 indicating that the reception of image data has stopped or that the endoscope 2 has stopped, the control unit 66 determines that the imaging of the subject by the endoscope 2 has stopped. When the control unit 66 determines that the imaging of the subject by the endoscope 2 has stopped (step S106: Yes), the medical support system 1 proceeds to step S107 described below. On the other hand, when the control unit 66 determines that the imaging of the subject by the endoscope 2 has not stopped (step S106: No), the medical support system 1 returns to step S105.
- step S107 the control unit 66 determines whether or not a report creator such as a doctor or image reader has started creating a report using the laptop computer 7 via the network N100. Specifically, the control unit 66 determines whether or not a request signal has been received from the laptop computer 7 requesting specific patient information and detection result information including image data groups from the endoscope 2 linked to this patient information, still image data, and detection results from the image diagnostic device 5. If the control unit 66 determines that the report creator has started creating a report using the laptop computer 7 (step S107: Yes), the medical support system 1 proceeds to step S108, which will be described later. On the other hand, if the control unit 66 determines that the report creator has not started creating a report using the laptop computer 7 (step S107: No), the medical support system 1 proceeds to step S113.
- a report creator such as a doctor or image reader
- step S108 the medical support system 1 executes a report creation process to create a report based on the observation results of the subject. Details of the report creation process will be described later.
- the control unit 66 judges via the network N100 whether the creator of the report, such as the doctor who performs the image reading, has finished creating the report using the laptop computer 7 (step S109). Specifically, the control unit 66 judges whether an end signal for ending the report creation has been received from the laptop computer 7, and if an end signal has been received, it judges that the report creation has ended. On the other hand, if an end signal has not been received, it judges that the report creation has not ended. If the control unit 66 judges that the creator of the report, such as the doctor who performs the image reading, has finished creating the report using the laptop computer 7 (step S109: Yes), the medical support system 1 proceeds to step S110. On the other hand, if the control unit 66 judges that the creator of the report, such as the doctor who performs the image reading, has not finished creating the report using the laptop computer 7 (step S109: No), the medical support system 1 returns to step S106.
- step S110 the control unit 66 determines whether the laptop computer 7 or the control device 4 has terminated the connection to the medical support device 6 via the network N100. If the control unit 66 determines that the laptop computer 7 or the control device 4 has terminated the connection to the medical support device 6 (step S110: Yes), the medical support system 1 proceeds to step S115, which will be described later. On the other hand, if the control unit 66 determines that the laptop computer 7 or the control device 4 has not terminated the connection to the medical support device 6 (step S110: No), the medical support system 1 proceeds to step S111, which will be described later.
- step S111 the control unit 66 determines whether the endoscope 2 connected to the control device 4 has been changed based on the endoscope ID that identifies the endoscope 2 input from the control device 4 via the network N100. If the control unit 66 determines that the endoscope 2 connected to the control device 4 has been changed (step S111: Yes), the medical support system 1 proceeds to step S112, which will be described later. On the other hand, if the control unit 66 determines that the endoscope 2 connected to the control device 4 has not been changed (step S111: No), the medical support system 1 returns to step S102.
- step S112 the control device 4 switches the setting parameters of the endoscope 2 based on the endoscope ID of the connected endoscope 2. Specifically, the control device 4 switches image processing parameters, such as white balance parameters, based on the endoscope ID of the connected endoscope 2. After step S112, the medical support system 1 returns to step S102.
- step S113 the control unit 66 determines whether the laptop computer 7 or the control device 4 has terminated the connection to the medical support device 6 via the network N100. If the control unit 66 determines that the laptop computer 7 or the control device 4 has terminated the connection to the medical support device 6 (step S113: Yes), the medical support system 1 proceeds to step S114, which will be described later. On the other hand, if the control unit 66 determines that the laptop computer 7 or the control device 4 has not terminated the connection to the medical support device 6 (step S113: No), the medical support system 1 returns to step S101, which will be described later.
- step S114 the medical support system 1 executes unexamined processing when the endoscope 2 has not been inserted into the subject. Details of the unexamined processing will be described later. After step S114, the medical support system 1 proceeds to step S115.
- the control unit 66 determines whether or not to end observation of the subject with the endoscope 2 or report creation with the laptop computer 7 (step S115). If the control unit 66 determines that observation of the subject with the endoscope 2 or report creation with the laptop computer 7 is to be ended (step S115: Yes), the medical support system 1 ends this process. On the other hand, if the control unit 66 determines that observation of the subject with the endoscope 2 or report creation with the laptop computer 7 is not to be ended (step S115: No), the medical support system 1 returns to step S102.
- Fig. 8 is a flowchart showing an outline of the endoscopic image capturing process.
- the control unit 410 starts imaging with the endoscope 2, recording of image data captured by the endoscope 2, detection of whether or not a subject has been inserted by the imaging diagnostic device 5, and detection of organs and parts by the imaging diagnostic device 5 (step S201).
- the imaging control unit 410a causes the endoscope 2 to start imaging.
- the communication control unit 410e outputs image data (live view images) generated by the endoscope 2 sequentially capturing images to the imaging diagnostic device 5 in chronological order.
- the imaging diagnostic device 5 starts detection of organs and parts contained in the image data, whether or not the tip 24 of the endoscope 2 has been inserted, and characteristic areas based on the image data input from the control device 4 and the inference model, and outputs this detection result information to the control device 4.
- the acquisition unit 410b generates usage status information that associates the detection result information input from the image diagnostic device 5, the endoscope ID of the endoscope 2, and the patient information input from the medical support device 6 or the input unit 407, and starts recording this usage status information in the usage status information recording unit 408c.
- the determination unit 410c determines whether or not the tip 24 of the endoscope 2 has been inserted into the subject's body based on the detection result of the imaging diagnostic device 5 acquired by the acquisition unit 410b (step S202). Specifically, if the detection result of the imaging diagnostic device 5 acquired by the acquisition unit 410b includes the anus or oral cavity, it determines that the tip 24 of the endoscope 2 has been inserted into the subject's body. If the determination unit 410c determines that the tip 24 of the endoscope 2 has been inserted into the subject's body (step S202: Yes), the control device 4 proceeds to step S203, which will be described later. On the other hand, if the determination unit 410c determines that the tip 24 of the endoscope 2 has not been inserted into the subject's body (step S202: No), the control device 4 proceeds to step S216, which will be described later.
- step S203 the acquisition unit 410b records the insertion result, which indicates that the tip 24 of the endoscope 2 has been inserted into the subject's body and is detected by the image diagnostic device 5, in the usage status information recording unit 408c.
- the determination unit 410c determines whether or not the surgeon has operated the operation unit 22 (step S204). If the determination unit 410c determines that the surgeon has operated the operation unit 22 (step S204: Yes), the control device 4 proceeds to step S205, which will be described later. On the other hand, if the determination unit 410c determines that the surgeon has not operated the operation unit 22 (step S204: No), the control device 4 proceeds to step S208, which will be described later.
- step S205 the determination unit 410c determines whether the operation by the surgeon was an imaging operation. Specifically, when a release signal is input from the operation unit 22, the determination unit 410c determines that the surgeon has performed an imaging operation on the operation unit 22. When the control unit 410 determines that the surgeon has performed an imaging operation on the operation unit 22 (step S205: Yes), the control device 4 proceeds to step S206, which will be described later. On the other hand, when the determination unit 410c determines that the surgeon has not performed an imaging operation on the operation unit 22 (step S205: No), the control device 4 proceeds to step S207, which will be described later.
- step S206 the imaging control unit 410a causes the imaging element 203 to capture a still image (still image data). Specifically, the imaging control unit 410a records in the image data recording unit 408b a still image file that associates the still image data generated by the imaging element 203 with the imaging time at which the imaging element 203 captured the still image data. At this time, the communication control unit 410e outputs the still image file to the medical support device 6 via the network N100.
- the still image data is an image with a higher resolution (more pixels) than the live view image data (e.g., a 4K image).
- the control device 4 proceeds to step S208.
- step S207 the acquisition unit 410b acquires operation information related to the operation contents performed by the surgeon on the operation unit 22, and records the operation information in the usage status information recording unit 408c.
- the operation contents include a water supply operation of the endoscope 2 and a change operation to change the angle of view of the imaging optical system 202. Of course, it may also include an operation using a treatment such as an energy device (not shown).
- the control device 4 proceeds to step S208.
- the determination unit 410c determines whether or not the tip 24 of the endoscope 2 has reached the final destination based on the observation order information of the final destination set in the observation order for report creation (see, for example, Part 1Q1 of FIG. 6) and the subject's part detected by the image diagnostic device 5 (step S208). Specifically, when the final destination set in the observation order is the ileum, the determination unit 410c determines that the tip 24 of the endoscope 2 has reached the final destination when the image diagnostic device 5 detects that the part detected is the ileum, whereas the determination unit 410c determines that the tip 24 of the endoscope 2 has not reached the final destination when the part detected by the image diagnostic device 5 is not the ileum.
- step S208: Yes the control device 4 proceeds to step S209, which will be described later.
- step S208: No the control device 4 proceeds to step S213, which will be described later.
- the display control unit 410d causes the display device 3 to display information indicating that the tip 24 of the endoscope 2 has reached the final destination site within the subject. For example, the display control unit 410d notifies the surgeon by causing the display device 3 to display information indicating that the tip 24 of the endoscope 2 has reached the "ileum", which is set as the final destination site. This allows the surgeon to understand that the tip 24 of the endoscope 2 has reached the final destination site set in the observation order.
- the acquisition unit 410b acquires the detection result information of the organ/site recognized by the image diagnostic device 5 and the detection time when the tip 24 of the endoscope 2 reaches the final destination site, and records them in the usage information recording unit 408c (step S210). In this case, the acquisition unit 410b associates the detection result of detecting the final destination site with this detection time and records them in the usage information recording unit 408c.
- the determination unit 410c determines whether or not the imaging diagnostic device 5 has detected a characteristic region from the image data group generated by the endoscope 2 based on the detection result detected by the imaging diagnostic device 5 (step S211). If the determination unit 410c determines that the imaging diagnostic device 5 has detected a characteristic region from the image data group generated by the endoscope 2 (step S211: Yes), the control device 4 proceeds to step S212, which will be described later. On the other hand, if the determination unit 410c determines that the imaging diagnostic device 5 has not detected a characteristic region from the image data group generated by the endoscope 2 (step S211: No), the control device 4 proceeds to step S213, which will be described later.
- step S212 the acquisition unit 410b records the characteristic area detected by the image diagnostic device 5 and the detection time when the image diagnostic device 5 detected the characteristic area in the usage information recording unit 408c.
- the determination unit 410c determines whether or not the tip 24 of the endoscope 2 has been removed from the subject's body based on the detection result from the imaging diagnostic device 5. If the determination unit 410c determines that the tip 24 of the endoscope 2 has been removed from the subject's body (step S213: Yes), the control device 4 proceeds to step S214, which will be described later. On the other hand, if the determination unit 410c determines that the tip 24 of the endoscope 2 has not been removed from the subject's body (step S213: No), the control device 4 returns to step S204 described above.
- step S214 the control unit 410 records the external removal time when the tip portion 24 of the endoscope 2 is removed from the subject's body as usage status information in the usage status information recording unit 408c based on the detection result from the imaging diagnostic device 5.
- control unit 410 stops the imaging of the endoscope 2, the recording of the image data captured by the endoscope 2, the detection of the presence or absence of the insertion of the subject by the image diagnostic device 5, and the detection of the organ or part by the image diagnostic device 5 (step S215).
- the control device 4 ends this process and returns to the main routine of FIG. 5.
- step S216 the determination unit 410c determines whether or not the surgeon has operated the operation unit 22. If the determination unit 410c determines that the surgeon has operated the operation unit 22 (step S216: Yes), the control device 4 proceeds to step S217, which will be described later. On the other hand, if the determination unit 410c determines that the surgeon has not operated the operation unit 22 (step S216: No), the control device 4 proceeds to step S220, which will be described later.
- step S217 the determination unit 410c determines whether the operation by the surgeon was an imaging operation. Specifically, when a release signal is input from the operation unit 22, the determination unit 410c determines that the surgeon has performed an imaging operation on the operation unit 22. When the control unit 410 determines that the surgeon has performed an imaging operation on the operation unit 22 (step S217: Yes), the control device 4 proceeds to step S218, which will be described later. On the other hand, when the determination unit 410c determines that the surgeon has not performed an imaging operation on the operation unit 22 (step S217: No), the control device 4 proceeds to step S219, which will be described later.
- step S218 the imaging control unit 410a causes the imaging element 203 to capture a still image (still image data). Specifically, the imaging control unit 410a records in the image data recording unit 408b a still image file that associates the still image data generated by the imaging element 203 with the imaging time at which the imaging element 203 captured the still image data. At this time, the communication control unit 410e outputs the still image file to the medical support device 6 via the network N100.
- the still image data is an image with a higher resolution (more pixels) than the live view image data (e.g., a 4K image).
- the control device 4 proceeds to step S220.
- step S219 the acquisition unit 410b acquires the operation contents performed by the surgeon on the operation unit 22 and records them in the usage information recording unit 408c.
- the operation contents include a water supply operation for the endoscope 2 and a change operation for changing the angle of view of the imaging optical system 202. Of course, it may also include operations using treatments such as an energy device (not shown).
- the control device 4 proceeds to step S220.
- step S220 the determination unit 410c determines whether a predetermined time (e.g., 5 minutes) has elapsed since the endoscope 2 started capturing images. If the determination unit 410c determines that the predetermined time has elapsed since the endoscope 2 started capturing images (step S207: Yes), the control device 4 proceeds to step S215.
- a predetermined time e.g., 5 minutes
- the control device 4 proceeds to step S215.
- This situation is assumed to be caused by some abnormality occurring in the subject. For example, the subject is in poor physical condition and is unable to insert the endoscope 2, the endoscope 2 is not cleaned, and the endoscope 2 is being imaged or started up for maintenance.
- the acquisition unit 410b records information indicating that the endoscope 2 has not been inserted into the subject as usage status information in the usage status information recording unit 408c.
- the determination unit 410c determines that the predetermined time has not elapsed since the endoscope 2 started capturing images (step S207: No)
- the control device 4 returns to step S202.
- Fig. 9 is a flow chart showing an outline of the report creation process.
- the acquisition unit 661 acquires image data groups and usage status information from the control device 4 via the network N100 (step S301).
- the discrimination unit 662 discriminates between a first image data group captured during observation of a predetermined observation area and a second image data group captured after observation of the predetermined observation area based on the image data group acquired by the acquisition unit 661 and the usage status information (step S302).
- FIG. 10 is a schematic diagram showing an overview of how the discrimination unit 662 discriminates an image data group into a first image data group and a second image data group.
- the endoscope 2 is inserted into the subject's body by the surgeon, and captures and generates a first image data group D1 consisting of multiple image data until the tip 24 reaches the observation site, and captures and generates a second image data group D2 consisting of multiple image data even after the tip reaches the observation site.
- the surgeon when the surgeon inserts the tip 24 of the endoscope 2 (lower endoscope) from outside the subject's body into the body, in order to reduce the pain of the subject, the surgeon wants to insert the tip 24 to the specified observation site as soon as possible, but some kind of trouble may occur that prevents the tip 24 from being inserted to the desired observation site due to the subject's poor physical condition, a tumor occurring in the subject's lumen causing a large blockage, or the endoscope 2 not being cleaned.
- the first image data group D1 includes an image data group D3 of uninserted image data outside the body until the tip 24 is inserted into the subject's body due to the subject's poor physical condition or the endoscope 2 not being cleaned.
- the discrimination unit 662 discriminates between the first image data group D1 and the second image data group D2 based on the image data group acquired by the acquisition unit 661, the cleaning history information included in the usage status information, the presence or absence of insertion into the body, and the organ/site detection result information.
- step S303 the determination unit 663 determines whether or not the tip 24 of the endoscope 2 has been inserted into the subject's body based on the first image data group determined by the discrimination unit 662 and the usage status information. If the determination unit 663 determines that the tip 24 of the endoscope 2 has been inserted into the subject's body (step S303: Yes), the medical support device 6 proceeds to step S304, which will be described later. On the other hand, if the determination unit 663 determines that the tip 24 of the endoscope 2 has not been inserted into the subject's body (step S304: No), the medical support device 6 proceeds to step S307, which will be described later.
- step S304 the determination unit 663 determines whether the tip 24 of the endoscope 2 has reached the predetermined observation site based on the usage status information. Specifically, the determination unit 663 determines whether the tip 24 of the endoscope 2 has reached the predetermined observation site based on the detection result information detected by the image diagnostic device 5 and the observation order table W1 (see pattern Q1 in FIG. 6) included in the usage status information. For example, if the innermost organ/site in the observation order table H1 is "ileum”, the observation order is "9", and the detection result by the image diagnostic device 5 includes "ileum", the determination unit 663 determines that the tip 24 of the endoscope 2 has reached the predetermined observation site.
- step S304: Yes If the determination unit 663 determines that the tip 24 of the endoscope 2 has reached the predetermined observation site (step S304: Yes), the medical support device 6 proceeds to step S305 described later. On the other hand, if the determination unit 663 determines that the tip 24 of the endoscope 2 has not reached the predetermined observation site (step S304: No), the medical support device 6 proceeds to step S306, which will be described later.
- step S305 the generation unit 664 generates handover information based on the second image data group and the usage status information and records the handover information in the handover information DB 647.
- FIG. 11 is a diagram showing an example of a handover information table in which each condition generated by the generation unit 664 is associated with handover content.
- each condition is recorded in association with the handover content.
- the generation unit 664 refers to the handover information table T1 and generates handover information based on the detection results detected by the imaging diagnostic device 5 contained in the usage history information, the second image data group, the insertion information, the operation information, and the cleaning information. For example, when the insertion information of the detection result is "inside the body”, the site determination result is “reached the observation site”, the characteristic region detection result is “present”, the operation information is “present”, and the still image is “present”, the generation unit 664 generates "characteristic region present” as handover information indicating that a lesion such as a tumor has occurred in the subject.
- the generation unit 664 generates "No abnormality (still image forgotten (still image not taken))" as handover information, indicating that there is no abnormality in the subject.
- the generation unit 664 references the handover information table T1 and generates handover information based on the second image data group included in the usage history information, the detection results detected by the imaging diagnostic device 5, the insertion information, the operation information, and the cleaning information. After step S305, the medical support device 6 proceeds to step S308, which will be described later.
- step S306 the generating unit 664 generates handover information based on the second image data group and the usage status information.
- the generating unit 664 references the handover information table T1 in FIG. 11 and generates handover information based on the second image data group and the usage status information. For example, when the insertion information of the detection result is "inside the body”, the site determination result is "not reached the observation site”, the operation information is "present", and there is a still image "present”, the generating unit 664 generates "stenosis” as handover information indicating that a stenosis has occurred in the subject due to a tumor or the like.
- step S307 the medical support device 6 proceeds to step S308, which will be described later.
- the generating unit 664 refers to the handover information table T1 in FIG. 11 and generates handover information based on the first image data group and the usage status information. For example, if the insertion information of the detection result is "not inserted", the operation information is "present”, the still image is “present”, and the cleaning history is “present”, the generating unit 664 generates "test (usable)" as handover information, which indicates testing or maintenance by the surgeon or the technician who maintains the endoscope 2.
- the generating unit 664 If the insertion information of the detection result is "not inserted”, the operation information is “absent”, the still image is “absent”, and the cleaning history is “present”, the generating unit 664 generates "poor health, pretreatment” as handover information, which indicates poor health of the subject or allergy due to pretreatment. If the insertion information of the detection result is “not inserted”, the operation information is “present”, the still image is “absent”, and the cleaning history is “absent”, the generating unit 664 generates "not cleaned” as handover information, which indicates that the endoscope 2 has not been cleaned. After step S307, the medical support device 6 proceeds to step S308, which will be described later.
- step S308 the recording control unit 665 records the handover information generated by the generation unit 664 in the handover information DB 647.
- the recording control unit 665 records the handover information in the handover information DB 647 in association with the patient information or the surgeon information.
- the creation unit 666 creates a report for the subject based on the operation information from the input unit 63 or laptop computer 7, the image data group and usage information acquired by the acquisition unit 661, the patient information, and the handover information generated by the generation unit 664 (step S309). Specifically, the creation unit 666 creates report information (examination report) including the determination result of the site reached by the tip 24 of the endoscope 2 and handover information for the subject when conducting a conference or the like based on the operation information and usage information, and records this report information in the report information DB 648 in association with the patient information or the operator information. After step S308, the medical support device 6 returns to the main routine of FIG. 5.
- Fig. 12 is a flow chart showing an outline of the uninspected process.
- the creation unit 666 records the settings of the subject to be observed, the patient name, etc., and the details of the non-observation in the patient information DB 641 as history (step S401).
- the details of the non-observation include, for example, discontinuation due to a sudden deterioration in the subject's physical condition, discontinuation due to an allergic reaction to a prior injection, the type of endoscope 2 being incompatible with the subject (patient), the endoscope 2 not being properly maintained, the endoscope 2 malfunctioning, the endoscope 2 not being cleaned, etc.
- the generating unit 664 refers to the handover information table T1 in FIG. 11 and generates handover information based on the first image data group and the usage status information (step S402). For example, when the insertion information of the detection result is "not inserted”, the operation information is "none", the still image is “none”, and the cleaning history is "present”, the generating unit 664 generates "poor health, pretreatment” as handover information indicating the subject's poor health or allergy due to pretreatment.
- the recording control unit 665 records the handover information generated by the generation unit 664 in the handover information DB 647 (step S403).
- the creation unit 666 creates report information about the subject that was left unobserved by the endoscope 2 based on the operation information from the input unit 63 or laptop computer 7 and the handover information about the content that was left unobserved by the endoscope 2, and records this report information in the report information DB 648 in association with the patient information or the surgeon information (step S404). This allows the surgeon to understand the content that was left unobserved the next time he or she reads the patient's report information. After step S402, the medical support device 6 returns to the main routine of FIG. 5.
- the generating unit 664 generates handover information for a report on the observation of the subject's observation site based on the result of the determination by the determining unit 663 as to whether the endoscope 2 has reached the observation site and the usage status information acquired by the acquiring unit 661, and the recording control unit 665 records the handover information generated by the generating unit 664 in the handover information DB 647, so that valid medical information can be passed on according to the usage status of the endoscope 2.
- the generation unit 664 when the determination unit 663 determines that the endoscope 2 has not been inserted into the subject's body, the generation unit 664 generates handover information to the effect that the endoscope 2 has not been inserted into the subject's body, so that clinical data that can be used as a reference when observing the next subject can be left behind.
- the generation unit 664 when the determination unit 663 determines that the endoscope 2 has not been inserted into the subject's body, the generation unit 664 generates handover information indicating that the endoscope 2 has not been inserted into the subject's body based on the operation information included in the usage status information, so that information can be retained as to whether or not the use is temporary, such as for imaging due to maintenance.
- the generation unit 664 generates handover information indicating that the endoscope 2 has not been inserted into the subject's body based on the operation information and cleaning history information included in the usage status information, so that information indicating that the endoscope 2 has not been cleaned can be retained.
- the generation unit 664 when the determination unit 663 determines that the endoscope 2 has not reached the observation site, the generation unit 664 generates handover information to the effect that the endoscope 2 was not inserted into the observation site, so that medical information can be left behind to the effect that the endoscope 2 could not be inserted due to the subject's symptoms, such as stenosis or residual material.
- the generation unit 664 when the determination unit 663 determines that the endoscope 2 has reached the observation site, and when it determines that a characteristic region of the subject has been detected, the generation unit 664 generates handover information to the effect that an abnormality has occurred in the subject.
- the determination unit 663 determines that the endoscope 2 has reached the observation site, and when it determines that a characteristic region of the subject has not been detected, it generates handover information to the effect that the subject is normal, so that medical information can be retained.
- the generation unit 664 when the determination unit 663 determines that a still image exists, the generation unit 664 generates handover information indicating that a still image exists, so that medical information regarding the subject's tumor or characteristic regions can be used in conferences, etc.
- Various inventions can be formed by appropriately combining multiple components disclosed in the medical support system according to the embodiment of the present disclosure described above. For example, some components may be deleted from all the components described in the medical support system according to the embodiment of the present disclosure described above. Furthermore, the components described in the medical support system according to the embodiment of the present disclosure described above may be appropriately combined.
- the "unit” described above can be read as “means” or “circuit.”
- the control unit can be read as control means or control circuit.
- the program executed by the medical support system is provided in the form of file data in an installable or executable format recorded on a computer-readable recording medium such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), USB medium, or flash memory.
- a computer-readable recording medium such as a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), USB medium, or flash memory.
- the program executed by the medical support system may be configured to be stored on a computer connected to a network such as the Internet and provided by downloading it via the network.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
内視鏡の被検体における体内の挿入情報に関わらず、有効な医療情報を残すことができる医療支援装置、医療支援システムおよびプログラムを提供する。医療支援装置はプロセッサを備える。プロセッサは、内視鏡が被検体に対して予め定められた観察部位の観察までに至るまでの使用状況に関する使用状況情報を取得し、前記使用状況情報に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、前記内視鏡による前記観察部位に到達したか否かの判定結果と、前記使用状況情報と、に基づいて、前記観察部位の観察に関するレポート用の引継情報を生成し、前記引継情報を記録する。
Description
本開示は、内視鏡の医療支援を行う医療支援装置、医療支援システムおよびプログラムに関する。
従来、内視鏡において、大量の画像群から体内を撮像した体内画像を抽出する技術が知られている(例えば特許文献1を参照)。この技術では、画像に含まれる画素値の色成分情報に基づいて、体内画像か否かの判定することによって大量の画像群から体内画像を抽出する。
また、内視鏡検査マネージメントシステムにおいて、複数の画像から代表画像を選択した際に、臓器の入力を可能とすることで、撮像時または撮像直後に、どの臓器で撮像されたことを示す情報を入力することで、臓器数に応じた保険点数のカウントを効率よく行う技術が知られている(例えば特許文献2を参照)。
ところで、内視鏡検査では、内視鏡を患者等の被検体の体内に挿入することなく、終了する場合がある。
しかしながら、上述した特許文献1,2では、内視鏡が体内に挿入された後の画像に対して情報を付加する。このため、上述した特許文献1,2では、内視鏡が体外にあり、挿入できなかった場合または被検体の体内内における所望の観察部位まで内視鏡を挿入できなかった場合等の使用状況によっては、内視鏡レポートを読影する読影者や別日に同じ被検体を行う術者に対して、何ら有効な医療情報を引き継ぐことができなった。
本開示は、上記に鑑みてなされたものであって、内視鏡の使用状況に応じて、有効な医療情報を引き継ぐことができる医療支援装置、医療支援システムおよびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る医療支援装置は、プロセッサを備える医療支援装置であって、前記プロセッサは、内視鏡が被検体に対して予め定められた観察部位の観察までに至るまでの使用状況に関する使用状況情報を取得し、前記使用状況情報に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、前記内視鏡による前記観察部位に到達したか否かの判定結果と、前記使用状況情報と、に基づいて、前記観察部位の観察に関するレポート用の引継情報を生成し、前記引継情報を記録する。
また、本開示に係る医療支援装置は、上記開示において、前記使用状況情報は、前記内視鏡が撮像した画像データ群に基づく前記被検体における体内への挿入の有無を示す挿入情報をさらに含み、前記プロセッサは、前記挿入情報に基づいて、前記内視鏡が前記被検体の体内に挿入されたか否かを判定し、前記内視鏡が前記被検体の体内に挿入されていないと判定された場合、前記内視鏡が前記被検体における体内の挿入に至らなかった旨の前記引継情報を生成する。
また、本開示に係る医療支援装置は、上記開示において、前記使用状況情報は、前記内視鏡が備える操作部に対する術者の操作情報をさらに含み、前記プロセッサは、前記内視鏡が前記被検体の体内に挿入されていないと判定された場合、前記操作情報に基づいて、前記内視鏡が前記被検体における体内の挿入に至らなかった旨の前記引継情報を生成する。
また、本開示に係る医療支援装置は、上記開示において、前記使用状況情報は、前記内視鏡の洗浄履歴に関する洗浄履歴情報をさらに含み、前記操作情報と、前記洗浄履歴情報と、に基づいて、前記内視鏡が前記被検体における体内の挿入に至らなかった旨の前記引継情報を生成する。
また、本開示に係る医療支援装置は、上記開示において、前記使用状況情報は、前記内視鏡が前記被検体に挿入されることによって撮像した画像データ群に基づく複数の臓器および部位を検出した検出結果情報をさらに含み、前記プロセッサは、前記挿入情報と、前記検出結果情報と、に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、前記内視鏡が前記観察部位に到達していないと判定した場合、前記内視鏡が前記観察部位まで挿入に至らなかった旨の前記引継情報を生成する。
また、本開示に係る医療支援装置は、上記開示において、前記使用状況情報は、前記内視鏡が撮像した画像データ群に基づく前記被検体における体内の特徴領域を検出したか否かを示す特徴領域検出情報をさらに含み、前記プロセッサは、前記内視鏡が前記観察部位に到達したと判定した場合において、前記特徴領域検出情報に基づいて、前記特徴領域が検出されたか否かを判定し、前記内視鏡が前記観察部位に到達したと判定した場合において、前記特徴領域が検出されたと判定したとき、前記被検体に異常が生じていると旨の前記引継情報を生成する一方、前記内視鏡が前記観察部位に到達したと判定した場合において、前記特徴領域が検出されていないと判定したとき、前記被検体が正常である旨の前記引継情報を生成する。
また、本開示に係る医療支援装置は、上記開示において、前記使用状況情報は、前記内視鏡が備える操作部材からのレリーズ信号の履歴に関するレリーズ情報をさらに含み、前記プロセッサは、前記レリーズ情報に基づいて、静止画像があるか否かを判定し、前記静止画像があると判定された場合、前記静止画像がある旨の前記引継情報を生成する。
また、本開示に係る医療支援装置は、上記開示において、前記内視鏡が連続的に撮像することによって生成した画像データ群を取得し、前記画像データ群に対して、前記内視鏡が前記被検体の体内に至るまでの第1の画像データ群と、前記内視鏡が前記被検体の体内に挿入後の第2の画像データ群と、に判別し、前記検出結果情報は、前記第2の画像データ群に基づくものである。
また、本開示に係る医療支援システムは、内視鏡と、前記内視鏡を制御する制御装置と、画像診断装置と、医療支援装置と、を備える医療支援システムであって、前記内視鏡は、被検体に挿入可能な挿入部と、前記挿入部の先端に設けられ、前記被検体に対して予め設定された複数の観察部位を連続的に撮像することによって画像データ群を順次生成して前記制御装置へ出力する先端部と、を備え、前記画像診断装置は、前記画像データ群と、予め臓器および部位の特徴を学習した推論モデルと、を用いて、前記画像データ群に対して、前記複数の観察部位それぞれを検出した検出結果情報を生成して前記制御装置へ出力し、前記医療支援装置は、プロセッサを備え、前記プロセッサは、前記内視鏡が前記被検体に対して予め定められた観察部位の観察までに至るまでの使用状況に関する使用状況情報を取得し、前記使用状況情報に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、前記内視鏡による前記観察部位に到達したか否かの判定結果と、前記使用状況情報と、に基づいて、前記観察部位の観察に関するレポート用の引継情報を生成し、前記引継情報を記録する。
また、本開示に係るプログラムは、プロセッサを備える医療支援装置が実行するプログラムであって、前記プロセッサに、内視鏡が被検体に対して予め定められた観察部位の観察までに至るまでの使用状況に関する使用状況情報を取得し、前記使用状況情報に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、前記内視鏡による前記観察部位に到達したか否かの判定結果と、前記使用状況情報と、に基づいて、前記観察部位の観察に関するレポート用の引継情報を生成し、前記引継情報を記録する、ことを実行させる。
本開示によれば、内視鏡の使用状況に応じて、有効な医療情報を引き継ぐことができるという効果を奏する。
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
〔医療支援システムの全体構成〕
図1は、一実施の形態に係る医療支援システムの全体構成を示す図である。図1に示す医療支援システム1は、内視鏡2の挿入部21を、人または動物等の被検体の口から食道または被検体の肛門から大腸へ挿入することによって被検体内を連続的に撮像し、この撮像した画像データ群を時系列に沿って表示画像を表示装置3に表示する。
図1は、一実施の形態に係る医療支援システムの全体構成を示す図である。図1に示す医療支援システム1は、内視鏡2の挿入部21を、人または動物等の被検体の口から食道または被検体の肛門から大腸へ挿入することによって被検体内を連続的に撮像し、この撮像した画像データ群を時系列に沿って表示画像を表示装置3に表示する。
さらに、医療支援システム1は、画像診断装置5(CAD:Computer Aided Detection)が制御装置4から入力される画像データ群と、予め被検体の臓器、部位および病変等を撮像した学習データを用いて学習された推論モデル(学習済みモデル)と、に基づいて、画像データに写る複数の観察部位の臓器、部位、挿入部21の挿入速度およびポリープまたは癌等を含む特徴領域を検出(認識または推定)し、この検出結果を制御装置4へ出力する。医者等の術者は、表示装置3に表示される表示画像および画像診断装置5の検出結果(推定結果)を確認しながら、被検体の観察および処置を行う。
また、医療支援システム1は、医療支援装置6がネットワークN100を経由して制御装置4から入力される画像データ群と、画像診断装置5の検出結果(推定結果)を含む検出結果情報と、を取得し、この取得した画像データと、検出結果情報と、を対応付けて記録する。そして、医療支援システム1は、ネットワークN100を経由して術者等のラップトップパソコン7からの要求に応じて各種データを出力する。
さらにまた、医療支援システム1は、ラップトップパソコン7において術者等による被検体の検査報告書等のレポート情報が作成され、このレポート情報が医療支援装置6に出力されて記録される。その後、術者は、レポート情報や被検体の観察時に生検で取得した生体細胞の診断結果等に基づいて被検体の診断およびカンファレンス等を行う。
図1に示すように、医療支援システム1は、内視鏡2と、表示装置3と、制御装置4と、画像診断装置5と、医療支援装置6と、を備える。
内視鏡2は、被検体内を撮像することによって画像データ(RAWデータ)を連続的に生成し、この画像データを制御装置4へ順次出力する。内視鏡2は、図1に示すように、挿入部21と、操作部22と、ユニバーサルコード23と、を備える。
挿入部21は、少なくとも一部が可撓性を有し、被検体内に挿入される。挿入部21は、図1に示すように、当該挿入部21の先端に設けられた先端部24と、当該先端部24の基端側(操作部22側)に連結され、湾曲可能に構成された湾曲部25と、当該湾曲部25の基端側に連結され、可撓性を有する長尺状の可撓管部26と、を備える。
操作部22は、挿入部21における基端部分に対して接続されている。操作部22は、内視鏡2に対する各種の操作を受け付ける。この操作部22には、図1に示すように、湾曲ノブ221と、挿入口222と、複数の操作部材223と、が設けられている。
湾曲ノブ221は、術者等のユーザによるユーザ操作に応じて回動可能に構成されている。そして、湾曲ノブ221は、回動することによって、挿入部21内に配設された金属製または樹脂製のワイヤ等の湾曲機構(図示略)を動作させる。これによって、湾曲部25は、湾曲する。
挿入口222は、挿入部21の先端から延在した管路である処置具チャンネル(図示略)に連通し、内視鏡2の外部から当該処置具チャンネルに対して処置具等を挿通するための挿入口である。
複数の操作部材223は、術者等のユーザによる各種操作を受け付けるボタン等によって構成され、ユニバーサルコード23を経由することによって、当該各種操作に応じた操作信号を制御装置4へ出力する。当該各種操作としては、内視鏡2による静止画像の撮像を指示するレリーズ操作、内視鏡2の観察モードを通常光観察モード、または、特殊観察モードに切り替える操作等を例示することができる。
ユニバーサルコード23は、操作部22から挿入部21の延在方向とは異なる方向に延在し、光ファイバ等によって構成されたライトガイド231(図2参照)、および、上述した画像データを伝送する第1の信号線232(図2参照)、上述した操作信号等を伝送する第2の信号線233(図2参照)等が配設されたコードである。そして、ユニバーサルコード23の基端には、図1に示すように、第1のコネクタ部27が設けられている。第1のコネクタ部27は、制御装置4に対して着脱自在に接続される。
表示装置3は、液晶または有機EL(Electro Luminescence)等の表示モニタによって構成され、制御装置4による制御の下、当該制御装置4において画像処理が施された画像データに基づく表示画像、および内視鏡2に関する各種情報を表示する。
制御装置4は、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、またはCPU(Central Processing Unit)等のハードウェアを有する処理装置であるプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。制御装置4は、メモリに記録されたプログラムに従って、内視鏡2の各部の動作を統括的に制御する。
画像診断装置5(CAD)は、制御装置4から入力される画像データ群と、予め学習データで学習された学習済みモデルと、を用いて画像データに写る臓器、部位、挿入部21の挿入速度およびポリープまたは癌等を含む特徴領域(異常領域または病変候補領域)を検出(推定)し、この検出結果と検出時刻とを対応付けた検出結果情報を制御装置4へ出力する。画像診断装置5は、GPU、FPGA、またはCPU等のハードウェアを有する処理装置であるプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。
医療支援装置6は、制御装置4から入力される各種データおよび画像診断装置5の認識結果を逐次記録し、ラップトップパソコン7からの要求に応じたデータを送信する。医療支援装置6は、GPU、FPGA、またはCPU等のハードウェアを有する処理装置であるプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。さらに、医療支援装置6は、HDD(Hard Disk Drive)およびSSD(Solid State Drive)等を用いて構成される。
〔医療支援システムの要部の機能構成〕
次に、上述した医療支援システム1の要部の機能構成について説明する。
図2は、内視鏡2および制御装置4の要部の機能構成を示すブロック図である。以下では、内視鏡2および制御装置4の順で説明後、画像診断装置5および医療支援装置6について説明する。
次に、上述した医療支援システム1の要部の機能構成について説明する。
図2は、内視鏡2および制御装置4の要部の機能構成を示すブロック図である。以下では、内視鏡2および制御装置4の順で説明後、画像診断装置5および医療支援装置6について説明する。
〔内視鏡の機能構成〕
まず、内視鏡2の構成について説明する。
図2に示すように、内視鏡2は、照明光学系201と、撮像光学系202と、撮像素子203と、A/D変換部204と、P/S変換部205と、撮像記録部206と、撮像制御部207と、を備える。ここで、照明光学系201、撮像光学系202、撮像素子203、A/D変換部204、P/S変換部205、撮像記録部206および撮像制御部207の各々は、先端部24内に配置されている。
まず、内視鏡2の構成について説明する。
図2に示すように、内視鏡2は、照明光学系201と、撮像光学系202と、撮像素子203と、A/D変換部204と、P/S変換部205と、撮像記録部206と、撮像制御部207と、を備える。ここで、照明光学系201、撮像光学系202、撮像素子203、A/D変換部204、P/S変換部205、撮像記録部206および撮像制御部207の各々は、先端部24内に配置されている。
照明光学系201は、1または複数のレンズ等によって構成され、ライトガイド231から供給された照明光を被写体に向けて照射する。
撮像光学系202は、1または複数のレンズ等によって構成され、被写体から反射された反射光、当該被写体からの戻り光、当該被写体が発光した蛍光等の光を集光することによって被写体像を撮像素子203の受光面上に結像する。また、撮像光学系202は、光軸方向O1に沿ってレンズが移動することによって焦点距離および画角を変更可能である。
撮像素子203は、2次元マトリクス状に配置されてなる複数の画素の各々に、ベイヤー配列(RGGB)を構成するカラーフィルタのいずれか1つが配置されてなるCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)のイメージセンサを用いて構成される。撮像素子203は、撮像制御部207による制御のもと、撮像光学系202によって結像された被写体像を受光し、光電変換を行って撮像画像(アナログ信号)を生成する。なお、本実施の形態では、撮像素子203は、イメージセンサとTOF(Time Of Flight)方式で被写体距離情報(以下、デプスマップ情報と記載)を取得するTOFセンサとが一体的に構成されたものであってもよい。デプスマップ情報とは、撮像素子203の位置(先端部24の位置)から撮像画像における画素位置に対応する観察対象上の対応位置までの被写体距離が画素位置毎に検出された情報である。なお、デプスマップ情報を生成する構成としては、上述したTOFセンサに限らず、位相差センサを含むイメージセンサ等を採用しても構わない。以下では、デプスマップ情報および撮像画像を纏めて画像データと記載する。撮像素子203は、画像データをA/D変換部204へ出力する。
A/D変換部204は、A/D変換回路等を用いて構成される。A/D変換部204は、撮像制御部207による制御のもと、撮像素子203から入力されたアナログの画像データに対してA/D変換処理を行い、P/S変換部205へ出力する。
P/S変換部205は、P/S変換回路等を用いて構成され、撮像制御部207による制御の下、A/D変換部204から入力されたデジタルの画像データをパラレル/シリアル変換を行い、第1の信号線232を経由することによって制御装置4へ出力する。
なお、P/S変換部205の代わりに、画像データを光信号に変換するE/O変換部を設け、当該光信号によって制御装置4へ画像データを出力する構成としてもよい。また、例えばWi-Fi(Wireless Fidelity)(登録商標)等の無線通信によって画像データを制御装置4へ送信する構成としても構わない。
なお、P/S変換部205の代わりに、画像データを光信号に変換するE/O変換部を設け、当該光信号によって制御装置4へ画像データを出力する構成としてもよい。また、例えばWi-Fi(Wireless Fidelity)(登録商標)等の無線通信によって画像データを制御装置4へ送信する構成としても構わない。
撮像記録部206は、不揮発性メモリや揮発性メモリによって構成され、内視鏡2に関する各種情報(例えば撮像素子203の画素情報)を記録する。また、撮像記録部206は、第2の信号線233を経由することによって制御装置4から伝送されてくる各種設定データおよび制御用のパラメータを記録する。
撮像制御部207は、TG(Timing Generator)と、CPU等のハードウェアを有する処理装置であるプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。撮像制御部207は、第2の信号線233を経由することによって制御装置4から受信した設定データに基づいて、撮像素子203、A/D変換部204、およびP/S変換部205の各々の動作を制御する。
〔制御装置の構成〕
次に、制御装置4の構成について説明する。
図2に示すように、制御装置4は、集光レンズ401と、第1の光源部402と、第2の光源部403と、光源制御部404と、S/P変換部405と、画像処理部406と、入力部407と、記録部408と、通信部409と、制御部410と、を備える。
次に、制御装置4の構成について説明する。
図2に示すように、制御装置4は、集光レンズ401と、第1の光源部402と、第2の光源部403と、光源制御部404と、S/P変換部405と、画像処理部406と、入力部407と、記録部408と、通信部409と、制御部410と、を備える。
集光レンズ401は、第1の光源部402および第2の光源部403の各々が発光した光を集光し、ライトガイド231へ出射する。
第1の光源部402は、光源制御部404による制御のもと、可視光である白色光(通常光)を発光することによってライトガイド231へ当該白色光を照明光として供給する。この第1の光源部402は、コリメートレンズ、白色LED(Light Emitting Diode)ランプ、および駆動ドライバ等を用いて構成される。なお、第1の光源部402としては、赤色LEDランプ、緑色LEDランプ、および青色LEDランプを用いて同時に発光することによって可視光の白色光を供給しても構わない。また、第1の光源部402としては、ハロゲンランプやキセノンランプ等によって構成しても構わない。
第2の光源部403は、光源制御部404による制御の下、所定の波長帯域を有する特殊光を発光することによってライトガイド231へ特殊光を照明光として供給する。ここで、特殊光とは、390~445nmおよび530~550nmを含む狭帯域光による狭帯域光観察(NBI:Narrow band Imaging)に用いられる光である。もちろん、特殊光として、狭帯域光以外にも、赤色光観察(RDI:Red dichromatic Imaging)に用いられるアンバー色の光(600nmおよび630nm)であってもよい。
光源制御部404は、FPGAまたはCPU等のハードウェアを有するプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。光源制御部404は、制御部410から入力される制御データに基づいて、第1の光源部402および第2の光源部403の各々の発光タイミングおよび発光時間等を制御する。
S/P変換部405は、制御部410による制御のもと、第1の信号線232を経由することによって内視鏡2から受信した画像データに対してシリアル/パラレル変換を行い、画像処理部406へ出力する。なお、内視鏡2が光信号で画像データを出力する場合、S/P変換部405の代わりに、光信号を電気信号に変換するO/E変換部を設けても構わない。また、内視鏡2が無線通信によって画像データを送信する場合、S/P変換部405の代わりに、無線信号を受信可能な通信モジュールを設けても構わない。
画像処理部406は、GPUまたはFPGA等のハードウェアを有するプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。画像処理部406は、制御部410による制御の下、S/P変換部405から入力されたパラレルデータの画像データに所定の画像処理を施し、表示装置3へ出力する。ここで、所定の画像処理としては、デモザイク処理、ホワイトバランス処理、ゲイン調整処理、γ補正処理、およびフォーマット変換処理等を例示することができる。
入力部407は、マウス、フットスイッチ、キーボード、ボタン、スイッチ、およびタッチパネル等を用いて構成され、術者等のユーザによるユーザ操作を受け付け、当該ユーザ操作に応じた操作信号を制御部410へ出力する。
記録部408は、揮発性メモリ、不揮発性メモリ、SSD(Solid State Drive)およびHDD(Hard Disk Drive)等やメモリカード等の記録媒体を用いて構成される。そして、記録部408は、制御装置4および内視鏡2の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部408は、内視鏡2および制御装置4を動作させるための各種プログラムを記録するプログラム記録部408aと、画像データを記録する画像データ記録部408bと、使用状況情報を記録する使用状況情報記録部408cと、を有する。
画像データ記録部408bは、制御部410の制御のもと、内視鏡2が被検体に対して複数の観察部位を連続的に撮像することによって生成した画像データ群および静止画像データを、患者情報等に対応付けて記録する。
使用状況情報記録部408cは、使用状況情報を記録する。ここで、使用状況情報には、画像診断装置5から入力される検出結果情報と、この検出結果の検出時刻と、静止画像データと、この静止画像データを撮像した撮像時刻と、内視鏡2の洗浄履歴に関する洗浄履歴情報と、患者情報と、が含まれる。静止画像データとは、操作部22から入力されるレリーズ信号によって撮像を指示された際に、撮像素子203が撮像した画像データであって、撮像素子203が順次生成するライブビュー画像より解像度が高い画像データである。
通信部409は、制御部410の制御のもと、画像診断装置5およびネットワークN100を経由して医療支援装置6へ各種情報を送信するとともに、画像診断装置5および医療支援装置6から各種情報を受信して制御部410へ出力する。具体的には、通信部409は、制御部410の制御のもと、画像処理部406が画像処理を施した時間的に連続する画像データ群を画像診断装置5へ送信し、画像診断装置5において検出された臓器、部位、および特徴領域等を含む検出結果を受信して制御部410へ出力する。また、通信部41は、制御部410の制御のもと、画像データ群、静止画像データおよび画像診断装置5の検出結果を含む検出結果情報を医療支援装置6へ送信し、医療支援装置6から被検体の患者情報、被検体の検査時における観察箇所の観察順を示す観察情報等を受信する。通信部409は、通信モジュール等を用いて構成される。
制御部410は、本開示に係る第2のプロセッサに相当する。この制御部410は、FPGAまたはCPU等のハードウェアを有する処理装置である第2のプロセッサと、当該第2のプロセッサが使用する一時的な記憶域であるメモリを用いて実現される。そして、制御部410は、内視鏡2および制御装置4を構成する各部を統括的に制御する。制御部410は、撮像制御部410aと、取得部410bと、判定部410cと、表示制御部410dと、通信制御部410eと、を有する。
撮像制御部410aは、内視鏡2の撮像を制御する。撮像制御部410aは、内視鏡2に連続的に撮像させることによって時間的に連続する画像データ群を生成させる。また、撮像制御部410aは、操作部22からレリーズ信号が入力された場合、撮像素子203に静止画像データを撮像させる。
取得部410bは、S/P変換部405または画像処理部406を経由して、内視鏡2から画像データを取得して画像データ記録部408bに記録する。また、取得部410bは、通信部409を経由して画像診断装置5から検出結果情報を取得して使用状況情報記録部408cに記録する。
判定部410cは、レポート作成の観察順番で設定された最終到達部位の観察順番情報と、画像診断装置5が検出した被検体における部位と、に基づいて、内視鏡2の先端部24が最終到達部位に到達したか否かを判定し、この判定結果を使用状況情報の一つとして使用状況情報記録部408cに記録する。また、判定部410cは、最終到達部位が未撮像であるか否かを判定し、この判定結果を使用状況情報の一つとして使用状況情報記録部408cに記録する。具体的には、判定部410cは、使用状況情報記録部408cにレポート項目における観察順番(挿入順番)で設定された臓器・部位の最終到達部位を撮像した静止画像データが画像データ記録部408bに記録されているか否かを判定する。
表示制御部410dは、判定部410cによって内視鏡2の先端部24が最終到達部位に到達したと判定された場合、内視鏡2の先端部24が被検体内の最終到達部位に到達したことを示す情報を表示装置3に表示させる。
通信制御部410eは、ネットワークN100を経由して、通信部409に各種情報を医療支援装置6へ送信させるとともに、医療支援装置6からの各種情報を通信部409に受信させる。
〔画像診断装置の機能構成〕
次に、画像診断装置5の機能構成について説明する。図3は、画像診断装置5の機能構成を示すブロック図である。図3に示す画像診断装置5は、通信部51と、入力部52と、記録部53と、表示部54と、制御部55と、を備える。
次に、画像診断装置5の機能構成について説明する。図3は、画像診断装置5の機能構成を示すブロック図である。図3に示す画像診断装置5は、通信部51と、入力部52と、記録部53と、表示部54と、制御部55と、を備える。
通信部51は、制御部55の制御のもと、ネットワークN100を経由して制御装置4から内視鏡2が生成した画像データ群および患者である被検体内の臓器・部位の観察順番を示す臓器・部位順番情報を受信して制御部55へ出力する。また、通信部51は、制御部55の制御のもと、ネットワークN100を経由して、制御部55から入力される被検体の臓器等を検出した検出結果と、この検出結果を検出した検出時刻と、を含む検出結果情報を制御装置4へ出力する。通信部51は、通信モジュール等を用いて構成される。
入力部52は、ボタン、スイッチおよびタッチパネル等を用いて構成され、各種の入力を受け付けて制御部55へ出力する。
記録部53は、揮発性メモリ、不揮発性メモリ、SSDおよびHDD等やメモリカード等の記録媒体を用いて構成される。記録部53は、画像診断装置5の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部53は、画像診断装置5を動作させるための各種プログラムを記録するプログラム記録部531と、観察順番記録部532と、推論モデル記録部533と、を有する。
観察順番記録部532は、後述する医療支援装置6から入力された内視鏡2による被検体の観察時に、予め設定された臓器や部位等の複数の観察箇所の観察順番が設定された観察順番情報を記録する。
推論モデル記録部533は、画像データに基づいて臓器、部位および特徴領域を検出するために用いられる推論モデルを記録する。ここで、推論モデルは、入力を内視鏡2の画像データとし、出力を画像データに含まれる臓器、部位および特徴領域を出力するものである。この推論モデルは、例えば人工知能(AI(Artificial Intelligence))を用いた機械学習によって生成されたモデルである。具体的に、推論モデルは、被検体を撮像した画像データに被検体の臓器、部位および病変等の特徴領域を付与した教師データを用いて学習し、画像データに含まれる臓器、部位および特徴領域を出力する深層学習等のモデルである。
表示部54は、制御部55の制御のもと、画像診断装置5に関する各種情報を表示する。表示部54は、液晶ディスプレイや有機ELディスプレイ等を用いて構成される。
制御部55は、FPGAまたはCPU等のハードウェアを有するプロセッサと、当該プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。そして、制御部55は、医療支援装置6を構成する各部を統括的に制御する。制御部55は、取得部551と、臓器・部位検出部552と、検出時刻取得部553と、を有する。
取得部551は、通信部51を経由して制御装置4から内視鏡2が順次生成する画像データを時系列に沿って取得する。
臓器・部位検出部552は、取得部551が順次取得する画像データと、推論モデル記録部533が記録する推論モデルと、に基づいて、画像データに含まれる被検体の臓器・部位および特徴領域を検出する。
検出時刻取得部553は、臓器・部位検出部552が画像データに含まれる被検体の臓器・部位および特徴領域を検出した際の検出時刻を取得する。例えば、検出時刻取得部553は、臓器・部位検出部552が画像データに含まれる被検体の臓器・部位および特徴領域を検出した際に、図示しないTGが計時する時刻を検出時刻として取得する。
〔医療支援装置の機能構成〕
次に、医療支援装置6の機能構成について説明する。図4は、医療支援装置6の機能構成を示すブロック図である。図4に示す医療支援装置6は、通信部61と、表示部62と、入力部63と、データベース64(以下、単に「DB64」と表記)と、プログラム記録部65と、制御部66と、を備える。
次に、医療支援装置6の機能構成について説明する。図4は、医療支援装置6の機能構成を示すブロック図である。図4に示す医療支援装置6は、通信部61と、表示部62と、入力部63と、データベース64(以下、単に「DB64」と表記)と、プログラム記録部65と、制御部66と、を備える。
通信部61は、制御部66の制御のもと、ネットワークN100を経由して、制御装置4および画像診断装置5へ各種情報を送信するとともに、制御装置4および画像診断装置5から各種情報を受信する。通信部61は、通信モジュールを用いて構成される。
表示部62は、制御部66の制御のもと、医療支援装置6に関する各種情報を表示する。表示部62は、液晶ディスプレイや有機ELディスプレイ等を用いて構成される。
入力部63は、外部からの操作に応じて、各種の入力を受け付けて制御部66へ出力する。入力部63は、ボタン、キーボード、スイッチおよびタッチパネル等を用いて構成される。
DB64は、各種情報を記録する。DB64は、HDDおよびSSD等を用いて構成される。DB64は、患者情報DB641と、内視鏡DB642と、画像データDB643と、使用状況情報DB644と、観察順番情報DB645と、レポート項目DB646と、引継情報DB647と、レポート情報DB648と、術者情報DB649と、を有する。
患者情報DB641は、患者毎に、患者を識別する患者ID、患者の生年月日、患者の担当医、住所および患者のアレルギー情報を記録する。
内視鏡DB642は、内視鏡2毎に、内視鏡2の種別、内視鏡ID、内視鏡2の修理履歴、内視鏡2の整備状況(メンテナンス状況)、内視鏡2の洗浄履歴に関する洗浄履歴情報、内視鏡2の使用履歴および使用予定情報を記録する。
画像データDB643は、患者ID毎または術者ID毎に、内視鏡2で撮像された画像データ群を対応付けて記録する。
使用状況情報DB644は、内視鏡2が被検体に対して予め定められた観察部位の観察までに至るまでの使用状況に関する使用状況情報を記録する。ここで、使用状況情報には、内視鏡2が撮像した画像データ群に基づく前記被検体における体内への挿入の有無を示す挿入情報と、内視鏡2が備える操作部22に対する術者の操作情報と、内視鏡2の洗浄履歴に関する洗浄履歴情報と、画像診断装置5が内視鏡2によって撮像された画像データ群に基づいて被検体における複数の臓器および部位を検出した検出結果情報と、画像診断装置5が内視鏡2によって撮像された画像データ群に基づいて被検体における体内の特徴領域を検出したか否かを示す特徴領域検出情報と、内視鏡2が備える操作部材223からのレリーズ信号の履歴に関するレリーズ情報と、が含まれる。
観察順番情報DB645は、施設毎または術者ID毎に設定された内視鏡2による臓器・部位の観察順番を記録する。
レポート項目DB646は、施設毎または術者ID毎に設定された内視鏡2によるレポート項目を記録する。
引継情報DB647は、後述する医療支援装置6が生成した被検体のレポート情報に、引き継ぐための引継情報を記録する。
レポート情報DB648は、患者ID毎または術者ID毎に、術者(読影者)によって作成された内視鏡2によるレポート情報および医療支援装置6が自動的に生成したレポート情報を対応付けて記録する。
術者情報DB649は、術者ID毎に、氏名、役職、所属および連絡先を対応付けて記録する。
プログラム記録部65は、揮発性メモリ、不揮発性メモリおよびSSD等を用いて構成され、医療支援装置6を動作させるための各種プログラムを記録する。
制御部66は、本開示に係る第1のプロセッサに相当する。この制御部66は、FPGAまたはCPU等のハードウェアを有する第1のプロセッサと、当該第1のプロセッサが使用する一時的な記憶域であるメモリを用いて実現される。そして、制御部66は、医療支援装置6を構成する各部を統括的に制御する。制御部66は、取得部661と、判別部662と、判定部663と、生成部664と、記録制御部665と、作成部666と、を有する。
取得部661は、ネットワークN100を経由して制御装置4から画像データ群および使用状況情報を取得する。
判別部662は、取得部661が取得した画像データ群と、使用状況情報と、に基づいて、予め定められた観察部位の観察時に撮像された第1の画像データと、予め定められた観察部位の観察後に撮像された第2の画像データ群と、を判別する。
判定部663は、取得部661が取得した使用状況情報に基づいて、内視鏡2が観察部位に到達したか否かを判定する。具体的には、判定部663は、判別部662が判別した第1の画像データ群と、使用状況情報と、に基づいて、内視鏡2の先端部24が被検体の体内に挿入されたか否かを判定する。また、判定部663は、使用状況情報に含まれる挿入情報に基づいて、内視鏡2が被検体の体内に挿入されたか否かを判定する。さらに、判定部663は、使用状況情報に含まれる挿入情報と検出結果情報と、に基づいて、内視鏡2が予め設定された観察部位(最終到達部位)に到達したか否かを判定する。判定部663は、内視鏡2が観察部位に到達したと判定した場合において、使用状況情報に含まれる特徴領域検出情報に基づいて、被検体の体内において特徴領域が検出されたか否かを判定する。さらにまた、判定部663は、使用状況情報に含まれるレリーズ情報に基づいて、静止画像があるか否かを判定する。
生成部664は、判定部663が判定した内視鏡2による観察部位に到達したか否かの判定結果と、使用状況情報と、に基づいて、被検体の観察部位の観察に関するレポート用の引継情報を生成する。なお、生成部664が生成する引継情報の詳細については、後述する。
記録制御部665は、生成部664が生成した引継情報を引継情報DB647に記録する。この場合、記録制御部665は、引継情報に患者情報または術者情報を対応付けて引継情報DB647に記録する。
作成部666は、作成部666は、入力部63またはラップトップパソコン7からの操作情報と、取得部661が取得した画像データ群および使用状況情報と、患者情報と、生成部664が生成した関連情報と、に基づいて、被検体に対するレポート情報を作成し、このレポート情報を患者情報(患者ID)または術者情報(術者ID)に紐付けてレポート情報DB648に記録する。
〔医療支援システムの処理〕
次に、医療支援システム1が実行する処理の概要について説明する。図5は、医療支援システム1が実行する処理の概要を示すフローチャートである。
次に、医療支援システム1が実行する処理の概要について説明する。図5は、医療支援システム1が実行する処理の概要を示すフローチャートである。
図5に示すように、まず、制御部66は、ネットワークN100を経由して、制御装置4に内視鏡2が接続されることによって内視鏡2が医療支援システム1に接続されたか否かを判定する(ステップS101)。具体的には、制御部66は、ネットワークN100を経由して制御装置4から入力される内視鏡2を識別する内視鏡IDが入力されたか否かを判定し、制御装置4から内視鏡2を識別する内視鏡IDが入力された場合、内視鏡2が医療支援システム1に接続されたと判定する。
制御部66によって制御装置4に内視鏡2が接続されることによって内視鏡2が医療支援システム1に接続されたと判定された場合(ステップS101:Yes)、医療支援システム1は、ステップS102へ移行する。これに対して、制御部66によって制御装置4に内視鏡2が接続されず、内視鏡2が医療支援システム1に接続されていないと判定された場合(ステップS101:No)、医療支援システム1は、本処理を終了する。
続いて、制御部66は、ラップトップパソコン7または制御装置4から入力される被検体の臓器・部位の観察順番の設定を受け付けて観察順番情報DB645および患者名等の入力を受け付けて患者情報DB641に記録する(ステップS102)。具体的には、制御部66は、術者のラップトップパソコン7等から入力される操作内容に基づいて、患者(被検体)の氏名、被検体の患者ID(被検体ID)および患者(被検体)の生年月日等の各種情報、被検体(被検体)の検査に用いる内視鏡2の種別、担当医を識別する術者ID、レポート項目の種別、レポート項目の内容、患者の検査予約内容(検査日時)、検査前同意書、問診結果、同意書、事前登録等を含む患者情報の入力を受け付け、この受け付けた患者情報を患者情報DB641に記録する。さらに、制御部66は、術者のラップトップパソコン7等から入力される操作内容に基づいて、内視鏡2による臓器・部位の観察時の観察順番に関する観察順番情報を観察順番情報DB645に記録する。
図6は、臓器・部位の観察順番およびレポート項目の一覧の一例を示す図である。図7は、臓器・部位の観察順番およびレポート項目の一覧の別の一例を示す図である。
図6に示すパターンQ1および図7に示すパターンQ2の臓器・部位の観察順番テーブルW1,W3には、内視鏡2が備える挿入部21の先端部24(以下、単に「先端部24」という)が被検体の体外から体内に挿入され、内視鏡2による各臓器・各部位の観察の順番が術者毎(医師毎)または施設毎によって設定されている。例えば、臓器・部位の観察順番テーブルW1には、臓器・部位「回腸」に、順番「9」が設定されている。
同様に、レポート項目テーブルW2,W4には、レポート種別に項目を対応付けて設定されている。例えば、レポート項目テーブルW2には、レポート種別「下部内視鏡レポート」に、項目「到達部位」が設定されている。ここで、到達部位とは、先端部24が被検体内で到達できた観察箇所の臓器・部位である。なお、以下においては、図6に示すパターンQ1が設定されたものとして説明する。
図5に戻り、ステップS103以降の説明を続ける。
ステップS103において、制御部66は、ネットワークN100を経由して、ステップS102において入力された患者情報と、この患者情報に紐付くレポート情報DB648に記録された過去のレポート情報と、内視鏡DB642に記録された内視鏡情報と、に基づいて、被検体である患者と内視鏡2との整合性確認およびアドバイスを表示装置3またはラップトップパソコン7に表示させる。具体的には、制御部66は、患者情報と、この患者情報に紐付くレポート情報DB648に記録された過去のレポート情報と、内視鏡DB642に記録された内視鏡情報と、に基づいて、患者の観察に用いる内視鏡2の設定内容の整合を確認する。例えば、制御部66は、患者の観察に用いる内視鏡2に設定された臓器・部位の観察時の観察順番、レポート項目の種別および検査予約内容に応じた観察に適合する内視鏡2の種別であるか否かの整合性確認の判定を行う。この場合において、制御部66は、患者の観察に不適合な内視鏡2の種別または設定内容が不適合と判定したとき、表示装置3またはラップトップパソコン7に警告を表示する。さらに、制御部66は、使用状況情報記録部408cに記録された使用状況情報と、内視鏡DB642に記録された内視鏡情報と、引継情報DB647に記録に記録された引継情報と、に基づいて、内視鏡2が未洗浄であるか否かを判定し、内視鏡2が未洗浄である場合、表示装置3またはラップトップパソコン7に警告を表示する。これにより、術者等は、制御装置4に接続した内視鏡2が患者の観察に不適合なものと認識することができる。
ステップS103において、制御部66は、ネットワークN100を経由して、ステップS102において入力された患者情報と、この患者情報に紐付くレポート情報DB648に記録された過去のレポート情報と、内視鏡DB642に記録された内視鏡情報と、に基づいて、被検体である患者と内視鏡2との整合性確認およびアドバイスを表示装置3またはラップトップパソコン7に表示させる。具体的には、制御部66は、患者情報と、この患者情報に紐付くレポート情報DB648に記録された過去のレポート情報と、内視鏡DB642に記録された内視鏡情報と、に基づいて、患者の観察に用いる内視鏡2の設定内容の整合を確認する。例えば、制御部66は、患者の観察に用いる内視鏡2に設定された臓器・部位の観察時の観察順番、レポート項目の種別および検査予約内容に応じた観察に適合する内視鏡2の種別であるか否かの整合性確認の判定を行う。この場合において、制御部66は、患者の観察に不適合な内視鏡2の種別または設定内容が不適合と判定したとき、表示装置3またはラップトップパソコン7に警告を表示する。さらに、制御部66は、使用状況情報記録部408cに記録された使用状況情報と、内視鏡DB642に記録された内視鏡情報と、引継情報DB647に記録に記録された引継情報と、に基づいて、内視鏡2が未洗浄であるか否かを判定し、内視鏡2が未洗浄である場合、表示装置3またはラップトップパソコン7に警告を表示する。これにより、術者等は、制御装置4に接続した内視鏡2が患者の観察に不適合なものと認識することができる。
また、制御部66は、患者情報と、この患者情報に紐付くレポート情報DB648に記録された過去の引継情報を含むレポート情報と、内視鏡DB642に記録された内視鏡情報と、に基づいて、現在の患者のアレルギーの有無、前回の患者の観察時における術者の所見、前回の患者の腫瘍や経過観察とした部位等の引継情報をアドバイスとして表示装置3またはラップトップパソコン7に表示させる。これにより、術者等は、患者に対する前回の術者やレポート作成者の申し送り内容を把握することができる。
続いて、制御部66は、ネットワークN100を経由して、制御装置4または内視鏡2から被検体に対する内視鏡2の撮像を開始したか否かを判定する(ステップS104)。具体的には、制御部66は、ネットワークN100を経由して制御装置4から画像データまたは内視鏡2が起動したことを示す起動信号を受信した場合、被検体に対する内視鏡2の撮像を開始したと判定する。
制御部66によって被検体に対する内視鏡2の撮像を開始したと判定された場合(ステップS104:Yes)、医療支援システム1は、後述するステップS105へ移行する。これに対して、制御部66によって被検体に対する内視鏡2の撮像を開始していないと判定された場合(ステップS104:No)、医療支援システム1は、後述するステップS107へ移行する。
ステップS105において、医療支援システム1は、被検体に内視鏡2を挿入して観察する内視鏡撮像処理を実行する。なお、内視鏡撮像処理の詳細は、後述する。ステップS105の後、医療支援システム1は、ステップS106へ移行する。
続いて、制御部66は、ネットワークN100を経由して、制御装置4または内視鏡2から被検体に対する内視鏡2の撮像を終了したか否かを判定する(ステップS106)。具体的には、制御部66は、ネットワークN100を経由して制御装置4から画像データの受信が停止または内視鏡2が停止したことを示す停止信号を受信した場合、被検体に対する内視鏡2の撮像を停止したと判定する。制御部66によって被検体に対する内視鏡2の撮像を停止したと判定された場合(ステップS106:Yes)、医療支援システム1は、後述するステップS107へ移行する。これに対して、制御部66によって被検体に対する内視鏡2の撮像を停止していないと判定された場合(ステップS106:No)、医療支援システム1は、ステップS105へ戻る。
ステップS107において、制御部66は、ネットワークN100を経由して、医者や読影等のレポート作成者がラップトップパソコン7によるレポート作成を開始したか否かを判定する。具体的には、制御部66は、ラップトップパソコン7から所定の患者情報、および、この患者情報に紐付く内視鏡2による画像データ群、静止画像データおよび画像診断装置5による検出結果を含む検出結果情報と、を要求する要求信号を受信したか否かを判定する。制御部66によってレポート作成者がラップトップパソコン7によるレポート作成を開始したと判定された場合(ステップS107:Yes)、医療支援システム1は、後述するステップS108へ移行する。これに対して、制御部66によってレポート作成射がラップトップパソコン7によるレポート作成を開始していないと判定された場合(ステップS107:No)、医療支援システム1は、ステップS113へ移行する。
ステップS108において、医療支援システム1は、被検体の観察結果に基づくレポート作成を行うレポート作成処理を実行する。なお、レポート作成処理の詳細は、後述する。
続いて、制御部66は、ネットワークN100を経由して、読影を行う医者等のレポートを作成する作成者がラップトップパソコン7によるレポート作成を終了したか否かを判定する(ステップS109)。具体的には、制御部66は、ラップトップパソコン7からレポート作成を終了する終了信号を受信したか否かを判定し、終了信号を受信した場合、レポート作成を終了したと判定する一方、終了信号を受信していない場合、レポート作成を終了していないと判定する。制御部66によって読影を行う医者等のレポートを作成する作成者がラップトップパソコン7によるレポート作成を終了したと判定された場合(ステップS109:Yes)、医療支援システム1は、ステップS110へ移行する。これに対して、制御部66によって読影を行う医者等のレポートを作成する作成者がラップトップパソコン7によるレポート作成を終了していないと判定した場合(ステップS109:No)、医療支援システム1は、ステップS106へ戻る。
ステップS110において、制御部66は、ネットワークN100を経由して、ラップトップパソコン7または制御装置4が医療支援装置6への接続を終了したか否かを判定する。制御部66によってラップトップパソコン7または制御装置4が医療支援装置6への接続を終了したと判定された場合(ステップS110:Yes)、医療支援システム1は、後述するステップS115へ移行する。これに対して、制御部66によってラップトップパソコン7または制御装置4が医療支援装置6への接続を終了していないと判定された場合(ステップS110:No)、医療支援システム1は、後述するステップS111へ移行する。
ステップS111において、制御部66は、ネットワークN100を経由して、制御装置4から入力される内視鏡2を識別する内視鏡IDに基づいて、制御装置4に接続された内視鏡2が変更されたか否かを判定する。制御部66によって制御装置4に接続された内視鏡2が変更されたと判定された場合(ステップS111:Yes)、医療支援システム1は、後述するステップS112へ移行する。これに対して、制御部66によって制御装置4に接続された内視鏡2が変更されていないと判定された場合(ステップS111:No)、医療支援システム1は、ステップS102へ戻る。
ステップS112において、制御装置4は、接続される内視鏡2の内視鏡IDに基づいて、内視鏡2の設定パラメータを切り替える。具体的には、制御装置4は、接続される内視鏡2の内視鏡IDに基づいて、画像処理のパラメータ、例えばホワイトバランスのパラメータ等を切り替える。ステップS112の後、医療支援システム1は、ステップS102へ戻る。
ステップS113において、制御部66は、ネットワークN100を経由して、ラップトップパソコン7または制御装置4が医療支援装置6への接続を終了したか否かを判定する。制御部66によってラップトップパソコン7または制御装置4が医療支援装置6への接続を終了したと判定された場合(ステップS113:Yes)、医療支援システム1は、後述するステップS114へ移行する。これに対して、制御部66によってラップトップパソコン7または制御装置4が医療支援装置6への接続を終了していないと判定された場合(ステップS113:No)、医療支援システム1は、後述するステップS101へ戻る。
ステップS114において、医療支援システム1は、内視鏡2が被検体に対して未挿入であった場合の未検査処理を実行する。なお、未検査処理の詳細は、後述する。ステップS114の後、医療支援システム1は、ステップS115へ移行する。
続いて、制御部66は、内視鏡2による被検体の観察またはラップトップパソコン7によるレポート作成を終了するか否かを判定する(ステップS115)。制御部66によって内視鏡2による被検体の観察またはラップトップパソコン7によるレポート作成を終了すると判定された場合(ステップS115:Yes)、医療支援システム1は、本処理を終了する。これに対して、制御部66によって内視鏡2による被検体の観察またはラップトップパソコン7によるレポート作成を終了しないと判定された場合(ステップS115:No)、医療支援システム1は、ステップS102へ戻る。
〔内視鏡撮像処理の概要〕
次に、図5のステップS105において説明した内視鏡撮像処理の詳細について説明する。図8は、内視鏡撮像処理の概要を示すフローチャートである。
次に、図5のステップS105において説明した内視鏡撮像処理の詳細について説明する。図8は、内視鏡撮像処理の概要を示すフローチャートである。
図8に示すように、まず、制御部410は、内視鏡2の撮像、内視鏡2が撮像した画像データの記録、画像診断装置5による被検体の挿入の有無検出、画像診断装置5による臓器・部位の部位検出を開始する(ステップS201)。具体的には、撮像制御部410aは、内視鏡2に撮像を開始させる。この場合において、通信制御部410eは、内視鏡2が順次撮像して生成した画像データ(ライブビュー画像)を時系列に沿って画像診断装置5に出力する。このとき、画像診断装置5は、制御装置4から入力される画像データと、推論モデルと、に基づいて、画像データに含まれる臓器・部位、内視鏡2の先端部24の挿入有無および特徴領域の検出を開始し、この検出結果情報を制御装置4へ出力する。この場合、取得部410bは、画像診断装置5から入力される検出結果情報と、内視鏡2の内視鏡IDと、医療支援装置6または入力部407から入力された患者情報と、を対応付けた使用業況情報を生成し、この使用業況情報を使用状況情報記録部408cに記録することを開始する。
判定部410cは、取得部410bが取得した画像診断装置5の検出結果に基づいて、内視鏡2の先端部24が被検体の体内に挿入されたか否かを判定する(ステップS202)。具体的には、取得部410bが取得した画像診断装置5の検出結果に肛門または口腔が含まれている場合、内視鏡2の先端部24が被検体の体内に挿入されたと判定する。判定部410cによって内視鏡2の先端部24が被検体の体内に挿入されたと判定された場合(ステップS202:Yes)、制御装置4は、後述するステップS203へ移行する。これに対して、判定部410cによって内視鏡2の先端部24が被検体の体内に挿入されていないと判定された場合(ステップS202:No)、制御装置4は、後述するステップS216へ移行する。
ステップS203において、取得部410bは、画像診断装置5によって検出された内視鏡2の先端部24が被検体の体内に挿入されたことを示す挿入結果を使用状況情報記録部408cに記録する。
続いて、判定部410cは、術者が操作部22に対して操作を行ったか否かを判定する(ステップS204)。判定部410cによって術者が操作部22に対して操作を行ったと判定された場合(ステップS204:Yes)、制御装置4は、後述するステップS205へ移行する。これに対して、判定部410cによって術者が操作部22に対して操作を行っていないと判定された場合(ステップS204:No)、制御装置4は、後述するステップS208へ移行する。
ステップS205において、判定部410cは、術者の操作が撮像操作であったか否かを判定する。具体的には、判定部410cは、操作部22からレリーズ信号が入力された場合、術者が操作部22に対して撮像操作を行ったと判定する。制御部410によって術者が操作部22に対して撮像操作を行ったと判定された場合(ステップS205:Yes)、制御装置4は、後述するステップS206へ移行する。これに対して、判定部410cによって術者が操作部22に対して撮像操作を行っていないと判定された場合(ステップS205:No)、制御装置4は、後述するステップS207へ移行する。
ステップS206において、撮像制御部410aは、撮像素子203に静止画像(静止画像データ)を撮像させる。具体的には、撮像制御部410aは、撮像素子203が生成した静止画像データと、撮像素子203が静止画像データを撮像した撮像時刻と、を対応付けた静止画像ファイルを画像データ記録部408bに記録する。このとき、通信制御部410eは、ネットワークN100を経由して、静止画像ファイルを医療支援装置6へ出力する。ここで、静止画像データとは、ライブビュー画像データ(例えば4K画像)より解像度(画素数が多い)が高い画像である。ステップS206の後、制御装置4は、ステップS208へ移行する。
ステップS207において、取得部410bは、術者が操作部22に対して操作を行った操作内容に関する操作情報を取得して使用状況情報記録部408cに記録する。ここで、操作内容には、内視鏡2の送水操作、撮像光学系202の画角を変更する変更操作が含まれる。もちろん、図示しないエネルギーデバイス等の処置を用いた操作等を含めてもよい。ステップS207の後、制御装置4は、ステップS208へ移行する。
続いて、判定部410cは、レポート作成の観察順番で設定された最終到達部位の観察順番情報(例えば図6のパート1Q1を参照)と、画像診断装置5が検出した被検体の部位と、に基づいて、内視鏡2の先端部24が最終到達部位に到達したか否かを判定する(ステップS208)。具体的には、判定部410cは、観察順番で設定された最終到達部位が回腸の場合において、画像診断装置5が検出した部位が回腸であると検出したとき、内視鏡2の先端部24が最終到達部位に到達したと判定する一方、画像診断装置5が検出した部位が回腸でないとき、内視鏡2の先端部24が最終到達部位に到達していないと判定する。判定部410cによって内視鏡2の先端部24が最終到達部位に到達したと判定された場合(ステップS208:Yes)、制御装置4は、後述するステップS209へ移行する。これに対して、判定部410cによって内視鏡2の先端部24が最終到達部位に到達していないと判定された場合(ステップS208:No)、制御装置4は、後述するステップS213へ移行する。
ステップS209において、表示制御部410dは、内視鏡2の先端部24が被検体内の最終到達部位に到達したことを示す情報を表示装置3に表示させる。例えば、表示制御部410dは、内視鏡2の先端部24が最終到達部位に設定された「回腸」に到達したことを示す情報を表示装置3に表示させることによって、術者に通知する。これにより、術者は、内視鏡2の先端部24が観察順番で設定した最終到達部位に到達したことを把握することができる。
続いて、取得部410bは、画像診断装置5が認識した臓器・部位の検出結果情報と、内視鏡2の先端部24が最終到達部位に到達した検出時刻と、を取得して使用状況情報記録部408cに記録する(ステップS210)。この場合、取得部410bは、最終到達部位を検出した検出結果と、この検出時刻と、を対応付けて使用状況情報記録部408cに記録する。
その後、判定部410cは、画像診断装置5が検出した検出結果に基づいて、画像診断装置5が内視鏡2によって生成された画像データ群から特徴領域を検出したか否かを判定する(ステップS211)。判定部410cによって画像診断装置5が内視鏡2によって生成された画像データ群から特徴領域を検出したと判定された場合(ステップS211:Yes)、制御装置4は、後述するステップS212へ移行する。これに対して、判定部410cによって画像診断装置5が内視鏡2によって生成された画像データ群から特徴領域を検出していないと判定された場合(ステップS211:No)、制御装置4は、後述するステップS213へ移行する。
ステップS212において、取得部410bは、画像診断装置5が検出した特徴領域と、画像診断装置5が特徴領域を検出した検出時刻と、を使用状況情報記録部408cに記録する。
続いて、判定部410cは、画像診断装置5からの検出結果に基づいて、内視鏡2の先端部24が被検体の体内から抜去されたか否かを判定する。判定部410cによって内視鏡2の先端部24が被検体の体内から抜去されたと判定された場合(ステップS213:Yes)、制御装置4は、後述するステップS214へ移行する。これに対して、判定部410cによって内視鏡2の先端部24が被検体の体内から抜去されていないと判定された場合(ステップS213:No)、制御装置4は、上述したステップS204へ戻る。
ステップS214において、制御部410は、画像診断装置5からの検出結果に基づいて、内視鏡2の先端部24が被検体の体内から抜去した体外抜去時刻を使用状況情報として使用状況情報記録部408cに記録する。
続いて、制御部410は、内視鏡2の撮像、内視鏡2が撮像した画像データの記録、画像診断装置5による被検体の挿入の有無検出および画像診断装置5による臓器・部位の部位検出を停止する(ステップS215)。ステップS215の後、制御装置4は、本処理を終了し、図5のメインルーチンへ戻る。
ステップS216において、判定部410cは、術者が操作部22に対して操作を行ったか否かを判定する。判定部410cによって術者が操作部22に対して操作を行ったと判定された場合(ステップS216:Yes)、制御装置4は、後述するステップS217へ移行する。これに対して、判定部410cによって術者が操作部22に対して操作を行っていないと判定された場合(ステップS216:No)、制御装置4は、後述するステップS220へ移行する。
ステップS217において、判定部410cは、術者の操作が撮像操作であったか否かを判定する。具体的には、判定部410cは、操作部22からレリーズ信号が入力された場合、術者が操作部22に対して撮像操作を行ったと判定する。制御部410によって術者が操作部22に対して撮像操作を行ったと判定された場合(ステップS217:Yes)、制御装置4は、後述するステップS218へ移行する。これに対して、判定部410cによって術者が操作部22に対して撮像操作を行っていないと判定された場合(ステップS217:No)、制御装置4は、後述するステップS219へ移行する。
ステップS218において、撮像制御部410aは、撮像素子203に静止画像(静止画像データ)を撮像させる。具体的には、撮像制御部410aは、撮像素子203が生成した静止画像データと、撮像素子203が静止画像データを撮像した撮像時刻と、を対応付けた静止画像ファイルを画像データ記録部408bに記録する。このとき、通信制御部410eは、ネットワークN100を経由して、静止画像ファイルを医療支援装置6へ出力する。ここで、静止画像データとは、ライブビュー画像データ(例えば4K画像)より解像度(画素数が多い)が高い画像である。ステップS218の後、制御装置4は、ステップS220へ移行する。
ステップS219において、取得部410bは、術者が操作部22に対して操作を行った操作内容を取得して使用状況情報記録部408cに記録する。ここで、操作内容には、内視鏡2の送水操作、撮像光学系202の画角を変更する変更操作が含まれる。もちろん、図示しないエネルギーデバイス等の処置を用いた操作等を含めてもよい。ステップS219の後、制御装置4は、ステップS220へ移行する。
ステップS220において、判定部410cは、内視鏡2が撮像を開始してから所定時間(例えば5分)経過したか否かを判定する。判定部410cによって内視鏡2が撮像を開始してから所定時間経過したと判定された場合(ステップS207:Yes)、制御装置4は、ステップS215へ移行する。この状況は、被検体に何らかの異常が生じたことが想定される。例えば、被検体が体調不良等により、内視鏡2を挿入することができない状況、内視鏡2が未洗浄である場合、内視鏡2に対して整備に伴う撮像や起動確認等である。この場合、取得部410bは、内視鏡2が被検体に対して未挿入であったことを示す情報を使用状況情報として使用状況情報記録部408cに記録する。これに対して、判定部410cによって内視鏡2が撮像を開始してから所定時間経過していないと判定された場合(ステップS207:No)、制御装置4は、ステップS202へ戻る。
〔レポート作成処理の詳細〕
次に、図5のステップS108におけるレポート作成処理の詳細について説明する。図9は、レポート作成処理の概要を示すフローチャートである。
次に、図5のステップS108におけるレポート作成処理の詳細について説明する。図9は、レポート作成処理の概要を示すフローチャートである。
図9に示すように、まず、取得部661は、ネットワークN100を経由して制御装置4から画像データ群および使用状況情報を取得する(ステップS301)。
続いて、判別部662は、取得部661が取得した画像データ群と、使用状況情報と、に基づいて、予め定められた観察部位の観察時に撮像された第1の画像データと、予め定められた観察部位の観察後に撮像された第2の画像データ群と、を判別する(ステップS302)。
図10は、判別部662が画像データ群を第1の画像データと、第2の画像データ群と、に判別する際の概要を模式的に示す図である。
内視鏡2は、術者が被検体の体内へ挿入し、先端部24が観察部位まで到達するまで、複数の画像データで構成される第1の画像データ群D1を撮像して生成し、観察部位に到達後も、複数の画像データで構成される第2の画像データ群D2を撮像して生成する。この場合、術者は、内視鏡2(下部内視鏡)の先端部24を被検体の体外から体内へ挿入する場合において、被検体への苦痛を和らげるため、先端部24を所定の観察部位へなるべく早く挿入したいが、患者である被検体の体調不良が生じたり、被検体の管腔内に発生した腫瘍が大きく閉塞することで先に挿入できなかったり、内視鏡2が未洗浄であっったりして、先端部24を所望の観察部位へ挿入できない何らかのトラブルが発生する場合がある。さらに、第1の画像データ群D1には、被検体の体調不良や内視鏡2の未洗浄によって被検体の体内に挿入されるまでの、体外での未挿入の画像データ群D3が含まれる。
そこで、図10に示すように、判別部662は、取得部661が取得した画像データ群と、使用状況情報に含まれる洗浄履歴情報、体内挿入の有無情報および臓器・部位の検出結果情報に基づいて、第1の画像データ群D1と、第2の画像データ群D2と、を判別する。
図9に戻り、ステップS303以降の説明を続ける。
ステップS303において、判定部663は、判別部662が判別した第1の画像データ群と、使用状況情報と、に基づいて、内視鏡2の先端部24が被検体の体内に挿入されたか否かを判定する。判定部663によって内視鏡2の先端部24が被検体の体内に挿入されたと判定された場合(ステップS303:Yes)、医療支援装置6は、後述するステップS304へ移行する。これに対して、判定部663によって内視鏡2の先端部24が被検体の体内に挿入されていないと判定された場合(ステップS304:No)、医療支援装置6は、後述するステップS307へ移行する。
ステップS303において、判定部663は、判別部662が判別した第1の画像データ群と、使用状況情報と、に基づいて、内視鏡2の先端部24が被検体の体内に挿入されたか否かを判定する。判定部663によって内視鏡2の先端部24が被検体の体内に挿入されたと判定された場合(ステップS303:Yes)、医療支援装置6は、後述するステップS304へ移行する。これに対して、判定部663によって内視鏡2の先端部24が被検体の体内に挿入されていないと判定された場合(ステップS304:No)、医療支援装置6は、後述するステップS307へ移行する。
ステップS304において、判定部663は、使用状況情報に基づいて、内視鏡2の先端部24が予め設定された観察部位に到達したか否かを判定する。具体的には、判定部663は、画像診断装置5が検出した検出結果情報と、使用状況情報に含まれる観察順番テーブルW1(図6のパターンQ1を参照)と、に基づいて、内視鏡2の先端部24が予め設定された観察部位に到達したか否かを判定する。例えば、判定部663は、観察順番テーブルH1における最奥の臓器・部位が「回腸」、かつ、観察順番が「9」であり、画像診断装置5による検出結果に「回腸」がある場合、内視鏡2の先端部24が予め設定された観察部位に到達したと判定する。判定部663によって内視鏡2の先端部24が予め設定された観察部位に到達したと判定された場合(ステップS304:Yes)、医療支援装置6は、後述するステップS305へ移行する。これに対して、判定部663によって内視鏡2の先端部24が予め設定された観察部位に到達していないと判定された場合(ステップS304:No)、医療支援装置6は、後述するステップS306へ移行する。
ステップS305において、生成部664は、第2の画像データ群と、使用状況情報と、に基づいて、引継情報を生成して引継情報DB647に記録する。
図11は、生成部664が生成する各条件と引継内容とを対応付けた引継情報テーブルの一例を示す図である。図11に示す引継情報テーブルT1には、各条件と引継内容とを対応付けて記録されている。
具体的には、生成部664は、引継情報テーブルT1を参照し、使用履歴情報に含まれる画像診断装置5が検出した検出結果と、第2の画像データ群と、挿入情報と、操作情報と、洗浄情報と、に基づいて、引継情報を生成する。例えば、生成部664は、検出結果の挿入情報が「体内」、部位判定結果が「観察部位に到達」、特徴領域検出結果が「あり」、操作情報が「あり」、かつ、静止画像が「あり」の場合、被検体に腫瘍等の病変が生じていることを示す「特徴領域あり」を引継情報として生成する。
また、生成部664は、検出結果の挿入情報が「体内」、部位判定結果が「観察部位に到達」、特徴領域検出結果が「なし」、操作情報が「なし」、かつ、静止画像が「なし」の場合、被検体に異常なしであることを示す「異常なし(静止画像忘れ(静止画像未撮影))」を引継情報として生成する。
このように、生成部664は、引継情報テーブルT1を参照し、使用履歴情報に含まれる第2の画像データ群と、画像診断装置5が検出した検出結果と、挿入情報と、操作情報と、洗浄情報と、に基づいて、引継情報を生成する。ステップS305の後、医療支援装置6は、後述するステップS308へ移行する。
ステップS306において、生成部664は、第2の画像データ群と、使用状況情報と、に基づいて、引継情報を生成する。この場合、生成部664は、図11の引継情報テーブルT1を参照し、第2の画像データ群と、使用状況情報と、に基づいて、引継情報を生成する。例えば、生成部664は、検出結果の挿入情報が「体内」、部位判定結果が「観察部位に未到達」、操作情報が「あり」、静止画像「あり」の場合、被検体に腫瘍等により狭窄が生じていることを示す「狭窄」を引継情報として生成する。ステップS307の後、医療支援装置6は、後述するステップS308へ移行する。
ステップS307において、生成部664は、図11の引継情報テーブルT1を参照し、第1の画像データ群と、使用状況情報と、に基づいて、引継情報を生成する。例えば、生成部664は、検出結果の挿入情報が「未挿入」、操作情報が「あり」、静止画像「あり」、かつ、洗浄履歴が「あり」の場合、術者または内視鏡2を整備する技術者によるテストやメンテナンスを示す「テスト(使用可能)」を引継情報として生成する。また、生成部664は、検出結果の挿入情報が「未挿入」、操作情報が「なし」、静止画像「なし」、かつ、洗浄履歴が「あり」の場合、被検体の体調不良または前処理によるアレルギーを示す「体調不良、前処理」を引継情報として生成する。また、生成部664は、検出結果の挿入情報が「未挿入」、操作情報が「あり」、静止画像「なし」、かつ、洗浄履歴が「なし」の場合、内視鏡2が未洗浄であることを示す「未洗浄」を引継情報として生成する。ステップS307の後、医療支援装置6は、後述するステップS308へ移行する。
ステップS308において、記録制御部665は、生成部664が生成した引継情報を引継情報DB647に記録する。この場合、記録制御部665は、引継情報を患者情報または術者情報に対応付けて引継情報DB647に記録する。
続いて、作成部666は、入力部63またはラップトップパソコン7からの操作情報と、取得部661が取得した画像データ群および使用状況情報と、患者情報と、生成部664が生成した引継情報と、に基づいて、被検体に対するレポート情報を作成するレポート作成を行う(ステップS309)。具体的には、作成部666は、操作情報と、使用状況情報と、に基づいて、内視鏡2の先端部24の到達部位の判定結果と、被検体に対するカンファレンス等で行う際の引継情報と、を含むレポート情報(検査報告書)を作成し、このレポート情報を患者情報または術者情報に対応付けてレポート情報DB648に記録する。ステップS308の後、医療支援装置6は、図5のメインルーチンへ戻る。
〔未検査処理の概要〕
次に、図5のステップS114において説明した未検査処理の詳細について説明する。図12は、未検査処理の概要を示すフローチャートである。
次に、図5のステップS114において説明した未検査処理の詳細について説明する。図12は、未検査処理の概要を示すフローチャートである。
図12に示すように、作成部666は、ラップトップパソコン7または制御装置4から入力される内容に基づいて、観察対象となる被検体の設定・患者名等の設定結果および未観察に至った内容を履歴として患者情報DB641に記録する(ステップS401)。具体的には、未観察に至った内容とは、例えば被検体の体調悪化による急変による中止、事前注射によるアレルギー反応による中止、内視鏡2の種別が被検体(患者)に不適合、内視鏡2の未整備、内視鏡2の故障、内視鏡2の未洗浄等である。
続いて、生成部664は、図11の引継情報テーブルT1を参照し、第1の画像データ群と、使用状況情報と、に基づいて、引継情報を生成する(ステップS402)。例えば、生成部664は、生成部664は、検出結果の挿入情報が「未挿入」、操作情報が「なし」、静止画像「なし」、かつ、洗浄履歴が「あり」の場合、被検体の体調不良または前処理によるアレルギーを示す「体調不良、前処理」を引継情報として生成する。
その後、記録制御部665は、生成部664が生成した引継情報を引継情報DB647に記録する(ステップS403)。
続いて、作成部666は、入力部63またはラップトップパソコン7からの操作情報と、内視鏡2の未観察に至った内容の引継情報と、に基づいて、被検体に対して内視鏡2の未観察に至ったレポート情報を作成し、このレポート情報を患者情報または術者情報に対応付けてレポート情報DB648に記録する(ステップS404)。これにより、次回以降に術者が患者のレポート情報を読影した際に、未観察に至った内容を把握することができる。ステップS402の後、医療支援装置6は、図5のメインルーチンへ戻る。
以上説明した一実施の形態によれば、生成部664が判定部663によって判定された内視鏡2による観察部位に到達したか否かの判定結果と、取得部661が取得した使用状況情報と、に基づいて、被検体の観察部位の観察に関するレポート用の引継情報を生成し、記録制御部665が生成部664によって生成された引継情報を引継情報DB647に記録するため、内視鏡2の使用状況に応じて、有効な医療情報を引き継ぐことができる。
また、一実施の形態によれば、生成部664が判定部663によって内視鏡2が被検体の体内に挿入されていないと判定された場合、内視鏡2が被検体における体内の挿入に至らなかった旨の引継情報を生成するため、次の被検体の観察時に参考となる臨床データを残すことができる。
また、一実施の形態によれば、生成部664が判定部663によって内視鏡2が被検体の体内に挿入されていないと判定された場合、使用状況情報に含まれる操作情報に基づいて、内視鏡2が被検体における体内の挿入に至らなかった旨の引継情報を生成するため、メンテナンスによる撮像等の一時的な利用であるか否かの情報を残すことができる。
また、一実施の形態によれば、生成部664が使用状況情報に含まれる操作情報と洗浄履歴情報とに基づいて、内視鏡2が被検体における体内の挿入に至らなかった旨の引継情報を生成するため、内視鏡2が未洗浄である旨の情報を残すことができる。
また、一実施の形態によれば、生成部664が判定部663によって内視鏡2が観察部位に到達していないと判定された場合、内視鏡2が観察部位まで挿入に至らなかった旨の引継情報を生成ため、被検体の症状、例えば狭窄や残留物等によって挿入できなかった旨の医学的な情報を残すことができる。
また、一実施の形態によれば、判定部663によって内視鏡2が観察部位に到達したと判定した場合において、被検体の特徴領域が検出されたと判定したとき、生成部664が被検体に異常が生じていると旨の引継情報を生成する一方、判定部663が内視鏡2が観察部位に到達したと判定した場合において、被検体の特徴領域が検出されていないと判定したとき、被検体が正常である旨の引継情報を生成するため、医学的な情報を残すことができる。
また、一実施の形態によれば、生成部664が判定部663によって静止画像があると判定された場合、静止画像がある旨の引継情報を生成するため、被検体の腫瘍や特徴領域に関する医学的な情報をカンファレンス等で用いることができる。
上述した本開示の一実施の形態に係る医療支援システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る医療支援システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る医療支援システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の一実施の形態に係る医療支援システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本開示の一実施の形態に係る医療支援システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本開示の一実施の形態に係る医療支援システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1 医療支援システム
2 内視鏡
3 表示装置
4 制御装置
5 画像診断装置
6 医療支援装置
7 ラップトップパソコン
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
64 データベース
65,531 プログラム記録部
66,410 制御部
410a 撮像制御部
410b,661 取得部
410c,663 判定部
410d 表示制御部
410e 通信制御部
622 判別部
663 判定部
664 生成部
665 記録制御部
666 作成部
641 患者情報DB
642 内視鏡DB
643 画像データDB
644 使用状況情報DB
645 観察順番情報DB
646 レポート項目DB
647 関連情報DB
648 レポート情報DB
649 術者情報DB
2 内視鏡
3 表示装置
4 制御装置
5 画像診断装置
6 医療支援装置
7 ラップトップパソコン
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
64 データベース
65,531 プログラム記録部
66,410 制御部
410a 撮像制御部
410b,661 取得部
410c,663 判定部
410d 表示制御部
410e 通信制御部
622 判別部
663 判定部
664 生成部
665 記録制御部
666 作成部
641 患者情報DB
642 内視鏡DB
643 画像データDB
644 使用状況情報DB
645 観察順番情報DB
646 レポート項目DB
647 関連情報DB
648 レポート情報DB
649 術者情報DB
Claims (10)
- プロセッサを備える医療支援装置であって、
前記プロセッサは、
内視鏡が被検体に対して予め定められた観察部位の観察までに至るまでの使用状況に関する使用状況情報を取得し、
前記使用状況情報に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、
前記内視鏡による前記観察部位に到達したか否かの判定結果と、前記使用状況情報と、に基づいて、前記観察部位の観察に関するレポート用の引継情報を生成し、
前記引継情報を記録する、
医療支援装置。 - 請求項1に記載の医療支援装置であって、
前記使用状況情報は、
前記内視鏡が撮像した画像データ群に基づく前記被検体における体内への挿入の有無を示す挿入情報をさらに含み、
前記プロセッサは、
前記挿入情報に基づいて、前記内視鏡が前記被検体の体内に挿入されたか否かを判定し、
前記内視鏡が前記被検体の体内に挿入されていないと判定された場合、前記内視鏡が前記被検体における体内の挿入に至らなかった旨の前記引継情報を生成する、
医療支援装置。 - 請求項2に記載の医療支援装置であって、
前記使用状況情報は、
前記内視鏡が備える操作部に対する術者の操作情報をさらに含み、
前記プロセッサは、
前記内視鏡が前記被検体の体内に挿入されていないと判定された場合、前記操作情報に基づいて、前記内視鏡が前記被検体における体内の挿入に至らなかった旨の前記引継情報を生成する、
医療支援装置。 - 請求項3に記載の医療支援装置であって、
前記使用状況情報は、
前記内視鏡の洗浄履歴に関する洗浄履歴情報をさらに含み、
前記操作情報と、前記洗浄履歴情報と、に基づいて、前記内視鏡が前記被検体における体内の挿入に至らなかった旨の前記引継情報を生成する、
医療支援装置。 - 請求項4に記載の医療支援装置であって、
前記使用状況情報は、
前記内視鏡が前記被検体に挿入されることによって撮像した画像データ群に基づく複数の臓器および部位を検出した検出結果情報をさらに含み、
前記プロセッサは、
前記挿入情報と、前記検出結果情報と、に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、
前記内視鏡が前記観察部位に到達していないと判定した場合、前記内視鏡が前記観察部位まで挿入に至らなかった旨の前記引継情報を生成する、
医療支援装置。 - 請求項5に記載の医療支援装置であって、
前記使用状況情報は、
前記内視鏡が撮像した画像データ群に基づく前記被検体における体内の特徴領域を検出したか否かを示す特徴領域検出情報をさらに含み、
前記プロセッサは、
前記内視鏡が前記観察部位に到達したと判定した場合において、前記特徴領域検出情報に基づいて、前記特徴領域が検出されたか否かを判定し、
前記内視鏡が前記観察部位に到達したと判定した場合において、前記特徴領域が検出されたと判定したとき、前記被検体に異常が生じていると旨の前記引継情報を生成する一方、前記内視鏡が前記観察部位に到達したと判定した場合において、前記特徴領域が検出されていないと判定したとき、前記被検体が正常である旨の前記引継情報を生成する、
医療支援装置。 - 請求項6に記載の医療支援装置であって、
前記使用状況情報は、
前記内視鏡が備える操作部材からのレリーズ信号の履歴に関するレリーズ情報をさらに含み、
前記プロセッサは、
前記レリーズ情報に基づいて、静止画像があるか否かを判定し、
前記静止画像があると判定された場合、前記静止画像がある旨の前記引継情報を生成する、
医療支援装置。 - 請求項7に記載の医療支援装置であって、
前記内視鏡が連続的に撮像することによって生成した画像データ群を取得し、
前記画像データ群に対して、前記内視鏡が前記被検体の体内に至るまでの第1の画像データ群と、前記内視鏡が前記被検体の体内に挿入後の第2の画像データ群と、に判別し、
前記検出結果情報は、
前記第2の画像データ群に基づくものである、
医療支援装置。 - 内視鏡と、
前記内視鏡を制御する制御装置と、
画像診断装置と、
医療支援装置と、
を備える医療支援システムであって、
前記内視鏡は、
被検体に挿入可能な挿入部と、
前記挿入部の先端に設けられ、前記被検体に対して予め設定された複数の観察部位を連続的に撮像することによって画像データ群を順次生成して前記制御装置へ出力する先端部と、
を備え、
前記画像診断装置は、
前記画像データ群と、予め臓器および部位の特徴を学習した推論モデルと、を用いて、前記画像データ群に対して、前記複数の観察部位それぞれを検出した検出結果情報を生成して前記制御装置へ出力し、
前記医療支援装置は、
プロセッサを備え、
前記プロセッサは、
前記内視鏡が前記被検体に対して予め定められた観察部位の観察までに至るまでの使用状況に関する使用状況情報を取得し、
前記使用状況情報に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、
前記内視鏡による前記観察部位に到達したか否かの判定結果と、前記使用状況情報と、に基づいて、前記観察部位の観察に関するレポート用の引継情報を生成し、
前記引継情報を記録する、
医療支援システム。 - プロセッサを備える医療支援装置が実行するプログラムであって、
前記プロセッサに、
内視鏡が被検体に対して予め定められた観察部位の観察までに至るまでの使用状況に関する使用状況情報を取得し、
前記使用状況情報に基づいて、前記内視鏡が前記観察部位に到達したか否かを判定し、
前記内視鏡による前記観察部位に到達したか否かの判定結果と、前記使用状況情報と、に基づいて、前記観察部位の観察に関するレポート用の引継情報を生成し、
前記引継情報を記録する、
ことを実行させる、
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2023/022380 WO2024257329A1 (ja) | 2023-06-16 | 2023-06-16 | 医療支援装置、医療支援システムおよびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2023/022380 WO2024257329A1 (ja) | 2023-06-16 | 2023-06-16 | 医療支援装置、医療支援システムおよびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024257329A1 true WO2024257329A1 (ja) | 2024-12-19 |
Family
ID=93851698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2023/022380 Pending WO2024257329A1 (ja) | 2023-06-16 | 2023-06-16 | 医療支援装置、医療支援システムおよびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2024257329A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240161288A1 (en) * | 2022-11-11 | 2024-05-16 | Fujifilm Corporation | Endoscope system, operation method of endoscope system, and processor |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012137705A1 (ja) * | 2011-04-01 | 2012-10-11 | オリンパスメディカルシステムズ株式会社 | 受信装置及びカプセル型内視鏡システム |
| JP2014161374A (ja) * | 2013-02-21 | 2014-09-08 | Olympus Corp | 被検体挿入システム |
| WO2018069992A1 (ja) * | 2016-10-12 | 2018-04-19 | オリンパス株式会社 | 挿入システム |
| WO2018116572A1 (ja) * | 2016-12-22 | 2018-06-28 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
| WO2020070818A1 (ja) * | 2018-10-03 | 2020-04-09 | オリンパス株式会社 | 内視鏡装置及び観察時間計測方法 |
| JP2020171525A (ja) * | 2019-04-11 | 2020-10-22 | 株式会社ラムテック | 画像分析装置及び画像分析プログラム |
| WO2021024301A1 (ja) * | 2019-08-02 | 2021-02-11 | Hoya株式会社 | コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法 |
| JP2021037356A (ja) * | 2020-12-01 | 2021-03-11 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法 |
| JP2022137276A (ja) * | 2018-11-22 | 2022-09-21 | 富士フイルム株式会社 | 内視鏡関連業務システム |
| WO2023282144A1 (ja) * | 2021-07-07 | 2023-01-12 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置 |
| WO2023089718A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| WO2023095208A1 (ja) * | 2021-11-24 | 2023-06-01 | オリンパス株式会社 | 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法 |
-
2023
- 2023-06-16 WO PCT/JP2023/022380 patent/WO2024257329A1/ja active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012137705A1 (ja) * | 2011-04-01 | 2012-10-11 | オリンパスメディカルシステムズ株式会社 | 受信装置及びカプセル型内視鏡システム |
| JP2014161374A (ja) * | 2013-02-21 | 2014-09-08 | Olympus Corp | 被検体挿入システム |
| WO2018069992A1 (ja) * | 2016-10-12 | 2018-04-19 | オリンパス株式会社 | 挿入システム |
| WO2018116572A1 (ja) * | 2016-12-22 | 2018-06-28 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
| WO2020070818A1 (ja) * | 2018-10-03 | 2020-04-09 | オリンパス株式会社 | 内視鏡装置及び観察時間計測方法 |
| JP2022137276A (ja) * | 2018-11-22 | 2022-09-21 | 富士フイルム株式会社 | 内視鏡関連業務システム |
| JP2020171525A (ja) * | 2019-04-11 | 2020-10-22 | 株式会社ラムテック | 画像分析装置及び画像分析プログラム |
| WO2021024301A1 (ja) * | 2019-08-02 | 2021-02-11 | Hoya株式会社 | コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法 |
| JP2021037356A (ja) * | 2020-12-01 | 2021-03-11 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法 |
| WO2023282144A1 (ja) * | 2021-07-07 | 2023-01-12 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置 |
| WO2023089718A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| WO2023095208A1 (ja) * | 2021-11-24 | 2023-06-01 | オリンパス株式会社 | 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240161288A1 (en) * | 2022-11-11 | 2024-05-16 | Fujifilm Corporation | Endoscope system, operation method of endoscope system, and processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7346285B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム | |
| JP5026886B2 (ja) | 医療装置及びこの医療装置を備えた医療システム | |
| JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
| US12143755B2 (en) | Endoscope system, and image processing apparatus and image processing method used in endoscope system | |
| WO2020054543A1 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| JP4009583B2 (ja) | 医療用画像記録システム | |
| JPWO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
| JP7775047B2 (ja) | 内視鏡システム、医療画像処理装置及びその作動方法 | |
| JP5593008B1 (ja) | 画像処理装置及び画像処理方法 | |
| WO2024257329A1 (ja) | 医療支援装置、医療支援システムおよびプログラム | |
| US20240382067A1 (en) | Medical assistance system and medical assistance method | |
| CN115135224B (zh) | 内窥镜检查辅助装置、内窥镜检查辅助方法及计算机可读记录介质 | |
| WO2024257330A1 (ja) | 医療支援装置、医療支援システムおよびプログラム | |
| US11978209B2 (en) | Endoscope system, medical image processing device, and operation method therefor | |
| JP7335976B2 (ja) | 内視鏡システム、制御プログラム、及び表示方法 | |
| WO2022230607A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
| WO2025027838A1 (ja) | 医療支援装置、医療支援システムおよび医療支援方法 | |
| JP7427766B2 (ja) | 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム | |
| EP4091532B1 (en) | Medical image processing device, endoscope system, diagnosis assistance method, and program | |
| JP7607803B2 (ja) | 医療支援システム、レポート作成支援方法および情報処理装置 | |
| JP7470776B2 (ja) | 内視鏡システム、制御方法、及び制御プログラム | |
| WO2024166310A1 (ja) | 医療用装置、医療用システム、学習装置、医療用装置の作動方法およびプログラム | |
| WO2023195103A1 (ja) | 検査支援システムおよび検査支援方法 | |
| WO2024166308A1 (ja) | 医療用装置、医療用システム、学習装置、医療用装置の作動方法およびプログラム | |
| CN119697493A (zh) | 控制装置、已学习模型生成装置和生成方法、医疗辅助方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23941631 Country of ref document: EP Kind code of ref document: A1 |