WO2018116573A1 - 内視鏡挿入形状観測装置 - Google Patents
内視鏡挿入形状観測装置 Download PDFInfo
- Publication number
- WO2018116573A1 WO2018116573A1 PCT/JP2017/035875 JP2017035875W WO2018116573A1 WO 2018116573 A1 WO2018116573 A1 WO 2018116573A1 JP 2017035875 W JP2017035875 W JP 2017035875W WO 2018116573 A1 WO2018116573 A1 WO 2018116573A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display
- body outline
- unit
- outline image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
- A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
- A61B5/7445—Display arrangements, e.g. multiple display units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
- A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
Definitions
- the present invention relates to an endoscope insertion shape observation apparatus that observes an insertion state of an endoscope.
- An endoscope apparatus is a medical device having an elongated flexible insertion section, and an operator can insert the insertion section into a subject and observe the inside of the subject.
- An endoscopic image in the subject imaged by the endoscope can be displayed on a monitor.
- an apparatus that can know the insertion state of the endoscope at the time of insertion of the endoscope, a plurality of transmission coils incorporated in the insertion portion, a receiving antenna comprising a plurality of sense coils arranged in the coil block, An endoscope insertion shape observation apparatus having a monitor on which an insertion shape of an insertion portion is displayed has been developed.
- various endoscope insertion shape observation devices disclosed in Japanese Patent Laid-Open No. 8-542, Japanese Patent Laid-Open No. 2004-358095, Japanese Patent Laid-Open No. 2006-296576, and the like have been proposed. .
- the conventional endoscope insertion shape observation device displays an insertion shape image indicating in what shape the endoscope insertion portion is inserted in the body cavity, and the endoscope insertion portion is the body cavity. It does not indicate at which position in.
- the operator who operates the endoscope determines the endoscope in the body cavity based on the insertion shape image displayed on the monitor, the hand operation feeling at the time of insertion of the endoscope insertion portion, the endoscope image at the time of insertion, and the like.
- the insertion state of the insertion part is imagined. However, it is not easy for an unskilled surgeon to imagine the insertion state, and it is difficult for an unskilled surgeon to know where in the body cavity the endoscope insertion portion is inserted. There was a problem.
- the present invention provides an endoscope insertion shape observation that allows an operator to grasp the insertion position and shape in a body cavity relatively easily by displaying a body outline image according to the insertion state of the endoscope insertion portion.
- An object is to provide an apparatus.
- An endoscope insertion shape observation device generates an insertion shape image indicating an insertion shape, an insertion shape detection portion that detects an insertion shape of the insertion portion, an insertion shape that is inserted into a subject, and the insertion shape
- An insertion shape image generation unit a body outline image generation unit that generates a body outline image representing the body outline of the subject, and the insertion shape image and the body outline image on the display screen of the display unit,
- a display control unit that controls to display the insertion unit simultaneously in a positional relationship corresponding to the positional relationship in the subject body cavity.
- FIG. 3 is a block diagram showing an example of a specific configuration of the probe 21.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- the block diagram which shows the 2nd Embodiment of this invention.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- the block diagram which shows the 3rd Embodiment of this invention.
- Explanatory drawing which shows an example of the selection method of the body outline image of the body outline image generation part 49.
- FIG. Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- the block diagram which shows the 4th Embodiment of this invention.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor. Explanatory drawing for demonstrating a modification.
- the block diagram which shows the 5th Embodiment of this invention.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- the block diagram which shows the 6th Embodiment of this invention.
- Explanatory drawing which shows an example of the determination method of a patient's dimension, and the production
- Explanatory drawing which shows the insertion state display image displayed on the display screen of the monitor.
- the block diagram which shows the 7th Embodiment of this invention The block diagram which shows the example which can solve the problem of the display of a loop part.
- Explanatory drawing which shows the example of the insertion shape image displayed on the display screen of the monitor.
- the block diagram which shows the other example which can solve the problem in which the confirmation of a loop part is difficult.
- Explanatory drawing which shows the example of the insertion shape image displayed on the display screen of the monitor.
- Explanatory drawing which shows the example of the insertion shape image displayed on the display screen of the monitor Explanatory drawing which shows the example of the insertion shape image displayed on the display screen of the monitor.
- Explanatory drawing which shows the example of the viewpoint display displayed on the display screen of the monitor.
- Explanatory drawing which shows the example of the viewpoint display displayed on the display screen of the monitor.
- FIG. 1 is a block diagram showing an endoscope insertion shape observation apparatus according to the first embodiment of the present invention.
- FIG. 2 is a configuration diagram showing the overall configuration of the medical system including the endoscope insertion shape observation device of FIG.
- FIG. 3 is an explanatory diagram for explaining a method of using the endoscope insertion shape observation apparatus.
- an insertion shape image indicating the insertion shape of the endoscope is displayed, and a body outline image representing the outline of the human body is displayed.
- the present embodiment allows the operator to intuitively grasp the insertion position and shape in the body cavity by aligning and displaying the insertion shape image and the body outline image. .
- the medical system 1 includes an endoscope apparatus 2 and an endoscope insertion shape observation apparatus 3.
- the endoscope device 2 includes an endoscope 4, a light source device 11, a video processor 12, and a monitor 5.
- the endoscope 4 is an elongated and flexible insertion portion 4b that is inserted into the body cavity of the subject P, which is the subject, and an operation that is connected to the proximal end of the insertion portion 4b and is provided with various operating devices.
- FIG. 2 shows an example in which the light source device 11 and the video processor 12 are placed on a medical trolley 9.
- the monitor 5 is attached to a movable arm provided in the medical trolley 9.
- the endoscope 4 can be hooked on a hook of a medical trolley 9.
- FIG. 3 shows a state where the insertion portion 4b is inserted into the large intestine from the anus of the subject P lying on the bed 6 for examination.
- FIG. 3 shows a state where the operator O holds the operation unit 4a and the insertion unit 4b of the endoscope 4 connected to the video processor 12 on the medical trolley 9 by the cable 4c.
- the light source device 11 generates illumination light for illuminating the subject. Illumination light from the light source device 11 is guided to the distal end portion of the insertion portion 4b by a light guide inserted into the insertion portion 4b of the endoscope 4, and is irradiated on the subject from the distal end portion of the insertion portion 4b.
- An imaging element (not shown) is arranged at the distal end of the insertion portion 4b, and reflected light (return light) from the subject reflected by the subject is formed as a subject optical image on the light receiving surface of the imaging element. It is like that.
- the image sensor is driven and controlled by the video processor 12, converts the subject optical image into an image signal, and outputs the image signal to the video processor 12.
- the video processor 12 has an image signal processing unit (not shown).
- the image signal processing unit receives an image signal from the image sensor, performs signal processing, and outputs the endoscope image after the signal processing to the monitor 5. To do. In this way, as shown in FIG. 1, the endoscope image 5b of the subject is displayed on the display screen 5a of the monitor 5.
- a bending portion is provided at the distal end of the insertion portion 4b, and the bending portion is driven to bend by a bending knob 4d provided in the operation portion 4a.
- the surgeon can push the insertion portion 4b into the body cavity while operating the bending knob 4d to bend the bending portion.
- the endoscope insertion shape observation device 3 for observing the insertion state of the insertion portion 4b includes a control unit 10, an insertion state detection probe 21, a receiving antenna 7, and a monitor 50. Composed. As shown in FIG. 3, the monitor 50 is arranged at a position where the operator O who inserts the insertion portion 4b into the patient P can observe.
- the control unit 10 of the endoscope insertion shape observation device 3 is placed on the medical trolley 9, and an insertion state detection probe 21 is inserted into the insertion portion 4b as described later.
- the receiving antenna 7 is connected to the control unit 10 by a cable 8c.
- FIG. 4 is a block diagram showing an example of a specific configuration of the probe 21.
- the probe 21 is inserted into a treatment instrument insertion channel (not shown) in the insertion portion 4b.
- a plurality of transmission coils 24-1, 24-2,... (Hereinafter simply referred to as transmission coils 24 when there is no need to distinguish each) is attached to the probe 21 along the probe axis, for example, at predetermined intervals. ing.
- a plurality of transmission coils 24-1, 24-2,... At a predetermined interval in the axial direction of the insertion portion 4b. Will be placed.
- the transmitting coil 24 is incorporated in the insertion portion 4b of the endoscope 4 by inserting and fixing the probe 21 in the treatment instrument insertion channel of the endoscope 4, but direct endoscope
- the transmitter coil 24 may be incorporated in the insertion portion 4b of the mirror 4.
- the receiving antenna 7 has a plurality of coil blocks (not shown), and is disposed on the side of the bed 6, for example.
- Each coil block of the receiving antenna 7 is composed of, for example, three sense coils wound in three directions so that the respective coil surfaces are orthogonal to each other, and the entire receiving antenna 7 has, for example, four coil blocks. That is, twelve sense coils are arranged.
- Each sense coil detects a signal proportional to the strength of the magnetic field of the axial component orthogonal to the coil surface.
- the coil block receives a generated magnetic field, converts it into a voltage signal, and outputs this voltage signal as a detection result.
- the operation state of the probe 21 and the receiving antenna 7 is controlled by the control unit 10.
- control unit 10 is provided with a control unit 31.
- the control unit 31 can be configured by a processor using a CPU or the like, for example, and may operate based on a program stored in a memory (not shown).
- the control unit 31 controls the entire control unit 10.
- a memory (not shown) stores not only a program describing the processing of the control unit 31 but also data used for position calculation described later.
- the control unit 31 controls the transmission unit 32.
- the transmission unit 32 is configured by, for example, an FPGA or the like, and is controlled by the control unit 31 to generate and output, for example, a sine wave signal for driving the probe 21.
- the transmission unit 32 is controlled by the control unit 31 and can individually supply a sine wave to each coil 24 of the probe 21. That is, the control unit 31 can control which transmission coil 24 of the probe 21 is supplied with the sine wave.
- Each transmission coil 24 is supplied with a high-frequency sine wave from the control unit 10 via the I / F 25 (FIG. 4). Each transmission coil 24 emits an electromagnetic wave with a magnetic field to the surroundings when a high-frequency sine wave is applied.
- the control unit 10 can sequentially drive the transmission coils 24-1, 24-2,... At an appropriate time interval, for example, every several milliseconds. Further, the control unit 10 can individually designate the timing at which each of the transmission coils 24-1, 24-2,.
- the receiving antenna 7 receives the magnetic field generated by the transmitting coil 24 by the sense coil and converts it into a voltage signal.
- the receiving antenna 7 gives this voltage signal to the receiving unit 33 of the control unit 10 as a detection result.
- the receiving unit 33 is given a signal from the receiving antenna 7, performs predetermined signal processing such as amplification processing, and then outputs the signal to the position calculating unit 34.
- the position calculation unit 34 is configured by, for example, a DSP, performs frequency extraction processing (Fourier transform: FFT) on input digital data, and detects a magnetic field of a frequency component corresponding to the high-frequency sine wave of each transmission coil 24.
- the information is separated and extracted into information, and the spatial position coordinates of each transmission coil 24 provided in the probe 21 are calculated from each digital data of the separated magnetic field detection information.
- the calculation result of the position coordinates by the position calculation unit 34 is supplied to the scope model generation unit 35.
- the scope model generation unit 35 as an insertion shape image generation unit connects the position coordinates of each transmission coil 24 to generate a linear image as an insertion shape image.
- the insertion shape image generated by the scope model generation unit 35 is given to the scope model display unit 36.
- the scope model display unit 36 generates display data for displaying the insertion shape image generated by the scope model generation unit 35 on the monitor 50 and outputs the display data to the display control unit 37.
- the display control unit 37 displays the insertion shape image on the display screen of the monitor 50 based on the input display data.
- the monitor 50 can be composed of, for example, an LCD or the like, and displays an insertion shape image based on the relative positional relationship between the transmission coil 24 and the reception antenna 7 based on display data.
- the display data of the insertion shape image generated by the scope model display unit 36 is generated using a coordinate system (hereinafter referred to as a measurement coordinate system) based on the position of the antenna 7.
- the display control unit 37 performs coordinate conversion for displaying the inserted shape image at a predetermined position on the display screen of the monitor 50. That is, the display control unit 37 performs coordinate conversion for converting the measurement coordinate system into the display coordinate system for the input display data.
- the display control unit 37 can display the insertion shape image at a predetermined position on the display screen of the monitor 50 in a predetermined direction and size. Further, the display position, orientation, and size of the insertion shape image can be changed by the operator's operation.
- the operation panel 38 can receive a user operation by an operator or the like and can output an operation signal based on the user operation to the control unit 31. With this operation panel 38, the operator can designate a change in the size of the inserted shape image.
- the control unit 31 instructs the display control unit 31 to change the size of the insertion shape image based on the user operation
- the display control unit 37 changes the size of the insertion shape image displayed on the monitor 50.
- the control unit 10 is provided with a body outline image generation unit 39 that outputs display data of a body outline image corresponding to the detected operation content when an operation by the operation panel 38 is detected.
- the body outline image refers to a human body diagram, an anatomical chart, or the like that can indicate a body shape of the patient itself or a body shape such as a physique.
- the body outline image may be a schematic image to the extent that the body shape can be recognized, or a detailed image including an image portion of an organ such as an intestinal tract model of the large intestine.
- the body outline image need not be limited to a 2D image, and a technique capable of utilizing a stereoscopic view such as a 3D image may be employed.
- the body outline image generation unit 39 holds display data of the body outline image in a memory (not shown), and is controlled by the control unit 31 to output the display data of the body outline image to the display control unit 37. Good. Further, the body outline image generation unit 39 holds display data of a plurality of body outline images in a memory, and outputs the display data of one body outline image selected by the control of the control unit 31 to the display control unit 37. It may be.
- the body outline image generation unit 39 may hold display data of a plurality of body outline images from the smallest S size to the largest XXL size in the memory, and the control unit 31 sets the BMI / height value of the patient.
- the display data of the body outline image having the size based on the selected size may be selected and output to the display control unit 37.
- the body outline image generation unit 39 may be configured to generate a body outline image based on the height and waist size of the patient. Further, the body outline image generation unit 39 may be configured to generate a body outline image including the navel and diaphragm of the human body based on anatomical information.
- a predetermined position (hereinafter referred to as a body outline image) corresponding to a predetermined position of the subject (hereinafter referred to as a subject reference position).
- the body outline image and the insertion shape image are simultaneously set in a state in which a predetermined position of the insertion shape image corresponding to the subject reference position (hereinafter referred to as the insertion shape image reference position) is matched. It is supposed to be displayed.
- the position of the anus of the subject P is set from the spatial position coordinates calculated by the position calculation unit 34.
- a marker 41 is employed.
- the marker 41 includes a transmission coil (not shown), and a high-frequency sine wave is applied from the transmission unit 32 to the transmission coil.
- the marker 41 generates a magnetic field when a high-frequency sine wave is applied from the transmission unit 32. This magnetic field is received by the reception antenna 7, and the detection result of the reception antenna 7 is supplied to the position calculation unit 34 via the reception unit 33. Thereby, the position calculation part 34 can acquire the position coordinate of the marker 41 in a measurement coordinate system.
- the control unit 31 controls the transmission unit 32 to output a high-frequency sine wave to the marker 41, so that the position calculation unit 34 sends the anus.
- the position coordinates of the position can be obtained.
- the position coordinates are supplied to the anal position setting unit 40.
- the anus position setting unit 40 holds the position coordinates of the anus position of the subject P and outputs it to the display control unit 37.
- the control unit 31 controls the transmission unit 32 so as to output a high-frequency sine wave to the marker 41 at a predetermined timing, thereby setting the anus position.
- the unit 40 holds the position coordinates of the anal position at the timing of the subject P (hereinafter referred to as anal position coordinates). Thereby, even when the anus position of the subject P changes, information on the actual anus position is given to the display control unit 37.
- the display control unit 37 displays the body outline image on the display screen in a state where the body outline image reference position is matched with a predetermined position on the display screen of the monitor 50 (hereinafter referred to as display reference position). For example, the display control unit 37 sets the display reference position to the lowermost end in the center in the left-right direction of the display screen, and the body position so that the anal position of the body outline image (body outline image reference position) is located at this display reference position. Display an outline image. In addition, the display control unit 37 displays the insertion shape image so that the image portion corresponding to the anal position of the insertion shape image is positioned at the lowermost end portion in the center in the left-right direction of the display screen, which is the display reference position.
- the anus position of the subject P is obtained using the marker 41, but the anus position may be obtained using the probe 21 inserted into the insertion portion 4b.
- the control unit 31 causes the transmitting unit 32 to apply a high-frequency sine wave to the coil at the tip of the probe 21 by operating the operation panel 38 or the like. Good.
- the magnetic field generated by this coil is received by the reception antenna 7, and the detection result of the reception antenna 7 is supplied to the position calculation unit 34 via the reception unit 33.
- the position calculation part 34 can acquire the coil position of the probe tip in the measurement coordinate system, that is, the anal position coordinate.
- FIG. 5 is a flowchart for explaining the operation of the first embodiment.
- 6A and 6B are explanatory diagrams showing an insertion state display image displayed on the display screen of the monitor 50.
- FIGS. 26A to 26C are explanatory diagrams showing viewpoint display displayed on the display screen of the monitor 50.
- FIG. FIG. 27 is an explanatory diagram showing a multi-screen insertion state display image displayed on the display screen of the monitor 50.
- the endoscope insertion shape observation device 3 obtains three-dimensional position coordinates of the plurality of transmission coils 24 of the probe 21 built in the insertion portion 4b at predetermined time intervals. That is, the control unit 31 of the control unit 10 controls the transmission unit 32 to supply high-frequency signals to the transmission coils 24-1, 24-2,. The transmission coils 24-1, 24-2,... Supplied with the high-frequency signal generate electromagnetic waves with a magnetic field. This magnetic field is received by each coil block of the receiving antenna 7, and a detection result corresponding to the magnetic field strength is taken into the position calculating unit 34 via the receiving unit 33 of the control unit 10.
- the position calculation unit 34 is provided with information on the drive timing of each transmission coil 24-1, 24-2,... From the control unit 31, and the coil block of each transmission coil 24-1, 24-2,. From the detection results, the three-dimensional position coordinates of the transmitting coils 24-1, 24-2,... Are obtained according to a known position estimation algorithm.
- the position coordinates are supplied to the scope model generation unit 35, and the scope model generation unit 35 generates an insertion shape image based on the position coordinates.
- the probe 21 is inserted into the treatment instrument insertion channel of the insertion portion 4b, and each transmission coil 24 is disposed at a known position at a predetermined interval along the shape of the insertion portion 4b. That is, the position of each transmission coil 24 indicates a discrete position of the insertion portion 4b.
- the scope model generation unit 35 generates an insertion shape image corresponding to the schematic shape of the insertion unit 4b by interpolating the discrete positions. This inserted shape image is obtained in the measurement coordinate system.
- the scope model generation unit 35 gives the generated insertion shape image to the scope model display unit 36.
- the scope model display unit 36 generates display data based on the inserted shape image and outputs the display data to the display control unit 37.
- the display control unit 37 displays the insertion shape image on the display screen 50 b of the monitor 50.
- FIG. 6A shows an insertion state display image 61 displayed on the display screen 50b in this case.
- An insertion shape image 63 is displayed in the insertion state display image 61.
- An insertion state display image 61 in FIG. 6A shows an example in which an insertion shape image 63 is displayed with reference to a reference position 62 described later.
- the control unit 31 determines whether or not the body outline display mode is set in step S1 of FIG. The control unit 31 ends the process when the body outline display mode is not set, and registers the anus position coordinates in step S2 when it is set.
- control unit 31 controls the transmission unit 32 to apply a high frequency sine wave to the marker 41.
- the marker 41 generates an electromagnetic wave with a magnetic field, and this magnetic field is received by each coil block of the receiving antenna 7.
- the detection result corresponding to the magnetic field strength is taken into the position calculation unit 34 from the reception antenna 7 via the reception unit 33 of the control unit 10.
- the position calculation unit 34 acquires the anal position coordinates in the measurement coordinate system of the marker 41 from the detection result based on the magnetic field generated by the marker 41 according to a known position estimation algorithm.
- the anal position coordinates are given to the anus position setting unit 40 and held.
- the control unit 31 determines whether or not the anal position coordinate is registered in step S3, and controls each unit to perform the registration operation of the anal position coordinate in step S2 until the registration is performed. Is registered, the process proceeds to step S4.
- step S4 the control unit 31 controls the body outline image generation unit 39 using the operation panel 38 to generate a body outline image.
- the display data of the body outline image is supplied to the display control unit 37.
- the display control unit 37 is also provided with anus position coordinates from the anus position setting unit 40 and an insertion shape image 63 from the scope model display unit 36.
- the display control unit 37 is controlled by the control unit 31 so that the insertion position image 63 is positioned such that the anal position coordinates are positioned at the display reference position 62 at the lowermost end of the horizontal center on the display screen 50b of the monitor 50, for example.
- the body outline image 65 are displayed.
- the display control unit 37 displays the insertion shape image 63 so that the portion of the anal position coordinate in the measurement coordinate system among the parts of the insertion shape image 63 matches the reference position 62. Further, the display control unit 37 displays the body outline image 65 so that the image portion corresponding to the anus of the body outline image 65 matches the reference position 62 (step S5).
- FIG. 6B shows an insertion state display image 61 displayed on the display screen 50b in this case.
- the insertion state display image 61 in FIG. 6B is a composite image in which the insertion shape image 63 and the body outline image 65 are aligned at the reference position 62.
- the body outline image 65 includes a line image 65a representing the outline of the human body, an image 65b representing the navel portion of the human body, and an image 65c representing the diaphragm.
- the insertion shape image 63 and the body outline image 65 are the reference position on the display screen 50b that represents the portion of the insertion shape image 63 located at the anus position and the anus position in the body outline image 65.
- the insertion shape image 63 and the body outline image 65 can be combined and displayed with a relatively small amount of calculation processing.
- the body outline image generation unit 39 does not generate the body outline image 65 by measuring the actual subject P, and the size of the body outline image 65 corresponds to the insertion shape image 63. Not exclusively.
- the control unit 31 can perform vertical / left / right / left / right display position adjustment, enlargement / reduction, tilt, and viewpoint switching of the body outline image 65 by the operator's operation. It is determined whether or not an adjustment mode is designated. Note that the viewpoint indicates from which direction the displayed insertion shape image 63 is the insertion shape of the endoscope. When the display adjustment mode is designated, the control unit 31 displays operation buttons (adjustment buttons) for these adjustments on, for example, an LCD screen (not shown) of the operation panel 38 (step S7).
- the display control unit 37 displays the viewpoint position indicating the current display viewpoint position together with the insertion shape image 63 from the scope model display unit 36 on the display screen 50b of the monitor 50.
- 77b and a viewpoint display including a body marker 77a that allows the position of the patient to be known at a glance are displayed.
- 26A shows that the viewpoint is the front of the subject P by the body marker 77a and the viewpoint position display 77b
- FIG. 26B shows that the viewpoint is the right side of the subject P by the body marker 77a and the viewpoint position display 77b
- FIG. 26C shows that the viewpoint is the left side surface of the subject P by the body marker 77a and the viewpoint position display 77b.
- 26A to 26C show an example in which the body outline image 65 is not displayed, but the body outline image 65 may be displayed during the viewpoint display.
- FIG. 27 shows an example in which an insertion state display image including a viewpoint display is displayed on a multi-screen.
- the display control unit 37 not only can switch and display the insertion state display images viewed from different viewpoints, but can also simultaneously display the insertion state display images viewed from different viewpoints. It is also possible to display the viewpoint display in the display image.
- an insertion state display image 74d viewed from the abdomen side of the patient P is displayed on the left side of the display screen 50b of the monitor 50, and an insertion state display image viewed from the right body side of the patient P is displayed on the right side of the display screen 50b.
- 74e is displayed as an example.
- the insertion state display image 74d includes a body outline image 76a including an image portion of the umbilicus 76aa and an insertion shape image 75a.
- the insertion state display image 74d includes a body marker 77a and a viewpoint position display 77b indicating that the viewpoint is the abdomen side of the patient P on the upper side of the screen.
- the insertion state display image 74e includes a body outline image 76b including an image portion of the umbilicus 76ba and an insertion shape image 75b.
- the insertion state display image 74e includes a body marker 77a and a viewpoint position display 77b indicating that the viewpoint is on the right body side of the patient P on the upper side of the screen.
- FIG. 27 shows an example in which two insertion state display images with different viewpoints are displayed on two screens, but three or more insertion state display images with different viewpoints can also be displayed on a multi-screen.
- the surgeon can use the operation panel 38 to adjust the display position of the body outline image 65 in the vertical and horizontal directions, to enlarge / reduce, to tilt, and to switch the viewpoint.
- the display control unit 37 controls the display control unit 37 to adjust the display position of the body outline image 65 in the vertical and horizontal directions, enlargement / reduction, tilt, and viewpoint switching (step S8). Thereby, it becomes easier for an operator or the like to grasp at which position the insertion portion 4b is inserted.
- the insertion shape image of the endoscope insertion portion and the body outline image representing the body shape of the subject are aligned and displayed. From the insertion shape image and the body outline image, it is possible to easily grasp at which position of the body outline the insertion portion is located. That is, it is possible to relatively easily estimate at which position in the body cavity of the subject the insertion portion is located. This makes it easy for the surgeon, the instructor, and the like to grasp the insertion state.
- FIG. 7 is a block diagram showing a second embodiment of the present invention.
- This embodiment shows an example in which the display or non-display of the body outline image is switched according to the insertion length or the insertion shape.
- the control unit 45 in this embodiment is different from the control unit 10 in FIG. 1 in that an insertion length calculation unit 46 and a shape detection unit 47 are added.
- the insertion length calculation unit 46 calculates the length of the insertion unit 4b inserted into the body cavity.
- the portion of the insertion portion 4b where the transmission coil 24 in which the position coordinate detected by the position calculation unit 34 corresponds to the anal position coordinate is located in the anus, and the position of the coil 24 To the distal end of the insertion portion 4b is inserted into the body cavity.
- each transmission coil 24 inserted into the insertion portion 4b from the distal end of the insertion portion 4b is known, and the insertion length calculation portion 46 calculates the length from the position of the coil 24 located at the anal position to the distal end of the insertion portion 4b. Is calculated as the insertion length.
- the insertion length calculation unit 46 outputs information on the calculated insertion length to the display control unit 37.
- the display control unit 37 is controlled by the control unit 31 to display a body outline image when the calculated insertion length is within a predetermined length range.
- the operator may want to confirm the insertion state of the insertion portion 4b in a curved portion such as the sigmoid colon.
- the display control unit 37 displays a body outline image, for example, when the distal end portion of the insertion unit 4b is located in the vicinity of the sigmoid colon portion. It may be.
- the shape detection unit 47 can detect a predetermined shape in the body cavity of the insertion unit 4b based on the insertion shape image from the scope model generation unit 35. For example, the shape detection unit 47 can detect whether the shape of the insertion portion 4b is a straight shape, a stick shape, a loop shape, or the like, using a known method. The shape detection unit 47 outputs information about the detected shape to the display control unit 37.
- the display control unit 37 displays a body outline image when the detected shape is a predetermined shape.
- the surgeon may want to confirm the insertion state when the shape of the insertion portion 4b in the body cavity, that is, when the insertion shape image is a loop shape or a stick shape. Therefore, for example, the display control unit 37 stores a shape pattern indicating a loop shape or a stick shape in the shape detection unit 47, and when it is detected that the insertion shape image forms the shape pattern, A body outline image may be displayed.
- FIG. 8 is a flowchart for explaining the operation of the second embodiment.
- 9A to 9C are explanatory views showing insertion state display images displayed on the display screen of the monitor 50.
- FIG. 8 is a flowchart for explaining the operation of the second embodiment.
- 9A to 9C are explanatory views showing insertion state display images displayed on the display screen of the monitor 50.
- the display control unit 37 acquires information about the insertion shape from the shape detection unit 47. Further, the display control unit 37 acquires information on the insertion length from the insertion length calculation unit 46 (step S12). In step S13, the display control unit 37 determines whether or not the detected insertion shape is a specific shape such as a loop shape. In step S14, the display control unit 37 determines whether the insertion length has reached the length of the specific part (for example, 40 cm).
- the display control unit 37 determines whether or not the body outline image is being output (displayed) in step S16. If the body outline image is being displayed, the display control unit 37 stops (hides) the output of the body outline image in step S17, and returns the process to step S11. When the body outline image is not being displayed, the display control unit 37 returns the process from step S16 to step S11 as it is. That is, if NO is determined in steps S13 and S14, the body outline image is not displayed. For example, if the insertion length is 1 cm and the insertion shape is not a specific shape (for example, a loop shape), any of steps S13 and S14 is not performed.
- NO is also determined, and an insertion state display image 61 shown in FIG. 9A is displayed.
- an insertion length display 64 indicating that the insertion length is 1 cm and a substantially linear insertion shape image 63 are displayed.
- step S15 If either one of steps S13 and S14 is YES, the display control unit 37 moves the process to step S15, outputs (displays) the body outline image, and returns the process to step S11.
- the process proceeds from step S14 to step S15, and an insertion state display image 61 shown in FIG. 9B is displayed.
- an insertion length display 64 indicating that the insertion length is 40 cm and a substantially linear insertion shape image 63 are displayed in the insertion state display image 61.
- a body outline image 65 is displayed in the insertion state display image 61.
- the body outline image 65 includes a line image 65a representing the outline of the human body, an image 65b representing the navel portion of the human body, and an image 65c representing the diaphragm.
- the process proceeds from step S13 to step S15, and an insertion state display image 61 shown in FIG. 9C is displayed. Is done.
- an insertion length display 64 indicating that the insertion length is XXXcm and a loop-shaped insertion shape image 63 are displayed.
- a body outline image 65 similar to that in FIG. 9B is displayed in the insertion state display image 61.
- the same effects as those of the first embodiment can be obtained, and display or non-display of the body outline image can be switched according to the result of at least one of the insertion length and the insertion shape. .
- the body outline image is displayed in a scene where the insertion shape is to be confirmed firmly, for example, when the insertion shape is to be inserted into a curved portion such as the sigmoid colon or when the insertion portion has a loop shape or the like. It is possible to facilitate confirmation of the insertion state.
- FIG. 10 is a block diagram showing a third embodiment of the present invention.
- the present embodiment is configured to display the body outline image according to the insertion length or the insertion shape. An example of switching the type is shown.
- the control unit 48 in the present embodiment is different from the control unit 45 in FIG. 7 in that a body outline image generation unit 49 is used instead of the body outline image generation unit 39.
- the body outline image generation unit 49 holds display data of a plurality of types of body outline images in a memory (not shown), and includes one data according to at least one result of the calculation result of the insertion length calculation unit 46 and the detection result of the shape detection unit 47.
- a body outline image is selected and output to the display control unit 37.
- the body outline image generation unit 49 stops the output of the body outline image to the display control unit 37 depending on at least one of the calculation result of the insertion length calculation unit 46 and the detection result of the shape detection unit 47. It may be.
- FIG. 11 is an explanatory diagram showing an example of a method for selecting a body outline image by the body outline image generation unit 49.
- the body outline image generation unit 49 selects a detailed body outline image and selects The display data is output to the display control unit 37.
- These dimensions of the insertion length are set to a length including a site where insertion is difficult, such as the position of the sigmoid colon, or a site where it is desired to grasp the progress of the insertion.
- the detection range of the insertion length is set to 15 to 30 cm.
- the body outline image generation unit 49 selects a detailed body outline image and outputs the display data to the display control unit 37.
- the insertion shape is a loop shape
- 4 shows that a rough body outline image is selected and the display data is output to the display control unit 37.
- the body outline image generation unit 49 indicates that the body outline image is not output in cases other than these conditions.
- the detailed body outline image is, for example, an image in which the contour shape of the body shape and the state of the internal organs are close to the actual shape
- the schematic body outline image is, for example, an image schematically representing the contour of the body shape. is there.
- control unit 31 may set the body outline image generation unit 49 based on information stored in a memory (not shown).
- FIGS. 12A and 12B are explanatory diagrams showing an insertion state display image displayed on the display screen of the monitor 50.
- FIG. 12A and 12B are explanatory diagrams showing an insertion state display image displayed on the display screen of the monitor 50.
- the body outline image generation unit 49 acquires information on the insertion shape from the shape detection unit 47. In addition, the body outline image generation unit 49 acquires information on the insertion length from the insertion length calculation unit 46. The body outline image generation unit 49 is controlled by the control unit 31 and selects a body outline image according to the insertion length and also selects a body outline image according to the insertion shape.
- the body outline image generation unit 49 does not output display data of the body outline image. That is, in this case, the display control unit 37 displays an insertion state display image in which only the insertion shape image is displayed.
- the insertion length is not Acm or more and Bcm or less, Ccm or more and Dcm or less, or Ycm or more and Zcm or less, and the insertion shape is a loop shape.
- the body outline image generation unit 49 selects a schematic body outline image and outputs the display data to the display control unit 37.
- the display control unit 37 displays an insertion state display image obtained by synthesizing the insertion shape image and the schematic body outline image.
- FIG. 12A shows an insertion state display image 66 displayed on the display screen 50b in this case.
- the insertion state display image 66 includes a loop-shaped insertion shape image 67 and a schematic body outline image 68.
- the insertion state display image 66 includes a warning display 69b indicating that the insertion shape is a loop shape.
- the operator can easily grasp the insertion shape of the insertion portion 4b in a loop shape and the approximate position of the insertion portion 4b in the body cavity. .
- the loop shape is intuitively displayed by displaying the rough body outline image 68 rather than displaying the detailed body outline image. Easy to grasp.
- the insertion length is Acm or more and Bcm or less, Ccm or more and Dcm or less, or Ycm or more and Zcm or less, or the insertion shape is a stick shape.
- the body outline image generation unit 49 selects a detailed body outline image and outputs the display data to the display control unit 37.
- the display control unit 37 displays an insertion state display image obtained by combining the insertion shape image and the detailed body outline image.
- FIG. 12B shows an insertion state display image 70 displayed on the display screen 50b in this case.
- the insertion state display image 70 includes an insertion shape image 71 and a detailed body outline image 72.
- the insertion state display image 70 includes an insertion length display 73a indicating that the insertion length is 13 cm included in, for example, Acm or more and Bcm or less.
- the detailed body outline image 72 includes a contour image 72a of a body outline having a shape close to the actual body shape of the human body and an intestinal tract model image 72b.
- the insertion shape image 71 indicates where the insertion portion 4b is inserted in the intestinal tract model image 72b.
- the operator can easily grasp at which position in the body cavity the insertion portion 4b is located. For example, when the insertion portion 4b reaches the vicinity of the sigmoid colon, such a detailed body outline image 72 is displayed. Since a detailed body outline image 72 is displayed at such a site that is difficult to insert, the operator can reliably grasp to which position in the intestinal tract the insertion portion 4b has been inserted. This is extremely effective for inserting the portion 4b.
- the same effect as that of the first embodiment can be obtained, and different types of body outline images can be displayed depending on the result of at least one of the insertion length and the insertion shape, An appropriate body outline image corresponding to each scene to be inserted can be displayed. Thereby, the surgeon can confirm an insertion state easily and reliably.
- FIG. 13 is a block diagram showing a fourth embodiment of the present invention.
- one image is selected and displayed from a plurality of types of body outline images according to the result of at least one of the insertion length and the insertion shape.
- the body outline image is deformed and displayed according to the insertion length and the insertion shape image.
- the control unit 51 in the present embodiment is different from the control unit 48 in FIG. 10 in that a body outline image generation unit 52 is employed instead of the body outline image generation unit 49.
- the body outline image generation unit 52 holds detailed body outline image display data including an intestinal tract model in a memory (not shown). Further, the body outline image generation unit 52 deforms the intestinal tract model image of the body outline image according to the calculation result of the insertion length calculation unit 46 and the insertion shape image from the scope model generation unit 35, and outputs the deformed intestine model image to the display control unit 37. It has become.
- the intestinal tract is significantly deformed. Further, when the intestinal tract is largely bent, it is difficult to insert the insertion portion 4b. Therefore, a technique is adopted in which the insertion portion 4b is advanced while the distal end of the insertion portion 4b is hooked into the intestinal tract using a locking force such as suction, and the insertion portion 4b is pulled to deform the intestinal tract linearly.
- the present embodiment makes it possible to display such a state during actual insertion, and displays a body outline image obtained by deforming the intestinal tract model in accordance with the insertion length and the shape of the insertion shape image.
- the body outline image generation unit 52 grasps at which position on the intestinal tract model the insertion unit 4b is based on the calculated insertion length.
- the body outline image generation unit 52 uses the information from the scope model generation unit 35 to obtain the curvature of each part of the insertion shape image.
- the body outline image generation unit 52 bends the image portion of the intestinal tract model corresponding to the insertion length to an angle corresponding to the curvature of the insertion shape image.
- the intestinal model image is bent with a relatively large curvature.
- the sigmoid colon portion is deformed relatively linearly.
- the body outline image generation unit 52 generates and outputs a body outline image in which the image portion of the sigmoid colon is deformed so as to have a bending rate corresponding to the bending rate of the insertion shape image.
- FIGS. 14A and 14B are explanatory diagrams showing an insertion state display image displayed on the display screen of the monitor 50.
- the body outline image generation unit 52 acquires information about the insertion length from the insertion length calculation unit 46. Further, the body outline image generation unit 52 acquires information on the insertion shape image from the scope model generation unit 35. The body outline image generation unit 52 roughly grasps at which position in the body cavity the insertion unit 4b is located based on the insertion length. Then, the body outline image generation unit 52 deforms the part of the intestinal tract model image at the site in the body cavity obtained from the insertion length based on the curvature of the insertion shape image located at the site.
- an insertion state display image 70 shown in FIG. 14A is displayed.
- the insertion state display image 70 includes an insertion shape image 71a and a detailed body outline image 79a.
- the insertion state display image 70a includes an insertion length display 73a indicating that the insertion length is 13 cm.
- the detailed body outline image 79a includes a contour image 72a of a body outline having a shape close to the actual body shape of the human body and an intestinal tract model image 72b.
- the insertion shape image 71a indicates at which position the insertion portion 4b is inserted in the intestinal tract model image 72b.
- the body outline image generation unit 52 deforms the image portion of the sigmoid colon based on the curvature of each part of the insertion shape image located at the part.
- FIG. 14B shows an insertion state display image 70b displayed on the display screen 50b in this case.
- the insertion state display image 70b includes an insertion shape image 71b and a detailed body outline image 79b.
- the insertion state display image 70b includes an insertion length display 73a indicating that the insertion length is 30 cm.
- the body outline image 79b includes a contour image 72a of a body outline having a shape close to the actual body shape of the human body and an intestinal tract model image 72c.
- the intestinal tract model image 72c has an image portion 78 that is deformed into a shape close to a linear shape with a bending rate corresponding to the insertion shape image 71b in the sigmoid colon portion.
- the insertion portion 4b is inserted up to any position of the intestinal tract model while the intestinal tract is deformed by the insertion of the insertion portion 4b. It is possible to easily grasp whether or not
- the same effect as in the first embodiment can be obtained, and the body outline image can be deformed and displayed according to the result of the insertion length and the insertion shape image, and inserted.
- An appropriate body outline image corresponding to each scene can be displayed, and the insertion state can be confirmed easily and reliably.
- the body outline image is deformed based on the insertion length and the insertion shape image.
- a plurality of shapes corresponding to the changed shape are used.
- a body outline image may be registered, and a corresponding body outline image may be selected based on the insertion length and the insertion shape image.
- FIG. 15 is an explanatory diagram for explaining a modification.
- the anus position of the subject P is always detected by the marker 41.
- the anus position is detected using the marker 41 only at the start of the examination and the marker 41 is not used thereafter.
- the body outline image matches the anal position with the reference position on the display screen, while the inserted shape image matches the anal position different from the actual position with the reference position. Display, and there is a shift in the alignment between the inserted shape image and the body outline image.
- the patient simply changes the direction between the supine position and the lateral position, and the anal position is considered to be located within a predetermined plane including the anus position detected at the start of the examination. Therefore, in this modification, it is assumed that the patient P is lying parallel to the longitudinal direction of the bed 6, and the anal position is a plane including the anal position detected at the start of the examination, and is orthogonal to the longitudinal direction of the bed 6. Assuming that it moves in a plane (hereinafter referred to as the insertion position plane), the position coordinates of the transmission coil 24 (hereinafter referred to as the anal position coil) located in or near this plane are set as anal position coordinates, Alignment is performed.
- the left side of FIG. 15 shows an insertion state display image 61a when the anus position of the patient changes in the first embodiment.
- the insertion state display image 61a includes an insertion shape image 63a and a body outline image 65.
- the body outline image 65 is displayed in a state where the anus position matches the reference position 62 on the display screen 50b.
- the insertion shape image 63a is displayed in a state in which the anal position at the start of the examination, which is different from the actual anal position 63c, is matched with the reference position 62, and the insertion shape image 63a and the body outline image 65 are displayed. Misalignment has occurred.
- an insertion state display image 61b shown on the right side of FIG. 15 is displayed on the display screen 50b.
- the insertion state display image 61b includes an insertion shape image 63b and a body outline image 65.
- the body outline image 65 is displayed in a state where the anus position matches the reference position 62 on the display screen 50b.
- the display control unit 37 displays the insertion shape image 63b so that the anal position 63c obtained from the position of the anal position coil matches the reference position 62. That is, the insertion shape image 63b is displayed so that the actual anal position matches the reference position 62, and the insertion shape image 63b and the body outline image 65 are displayed in a state of being aligned.
- FIG. 16 is a block diagram showing a fifth embodiment of the present invention.
- the same components as those in FIG. In the above modification if the anus position is within the insertion position plane, the insertion shape image and the body outline image can be displayed in a registered state. However, actually, the anal position of the patient P may deviate from the insertion position plane obtained at the start of the examination.
- the measurement coordinate system and the display coordinate system are set according to the orientation of the patient P using the operation panel 38 or the like. It is necessary to perform an operation for changing the conversion method of the coordinate conversion.
- the present embodiment solves these problems and automatically displays an optimal insertion state display image.
- the control unit 55 in the present embodiment employs a body outline image generation unit 56 and a display control unit 57 instead of the body outline image generation unit 39 and the display control unit 37, respectively, and is provided with a posture detection unit 58. Is different from the control unit 10 of FIG. In the present embodiment, the plate 59 is employed.
- the plate 59 is a flat plate member, for example, and is provided with transmission coils (not shown) at, for example, three locations.
- the three transmission coils provided on the plate 59 determine the position and orientation of the plane of the plate 59 (hereinafter referred to as the plate plane).
- the plane includes all the positions of the three transmission coils. It may be a plate plane.
- the plate 59 is fixed to a predetermined position such as a body on the body surface of the patient P, for example. Accordingly, when the patient P changes its orientation between the supine position and the lateral position, or when the patient P has a predetermined angle with respect to the longitudinal direction of the bed 6, the orientation of the plate plane Corresponds to the orientation of the patient P.
- the positional relationship between the position of the plate plane for example, the position of the center of gravity of the plate plane and the anal position of the patient P does not change. Therefore, even when the marker 41 is used only at the start of the examination, the actual anal position coordinates can be obtained from the position of the plate plane using the anal position coordinates obtained at the start of the examination.
- the transmission coil of the plate 59 is supplied with a high-frequency sine wave from the transmission unit 32 of the control unit 10.
- Each transmission coil provided on the plate 59 emits an electromagnetic wave accompanied by a magnetic field to the surroundings when a high-frequency sine wave is applied.
- the reception antenna 7 receives the magnetic field generated by the transmission coil of the plate 59 by the sense coil, converts it into a voltage signal, and outputs it as a detection result.
- the detection result of the receiving antenna 7 is given to the receiving unit 33 of the control unit 10.
- the receiving unit 33 performs predetermined signal processing such as amplification processing on the signal from the receiving antenna 7 and then outputs the signal to the position calculating unit 34.
- the position calculation unit 34 calculates position coordinates based on the position of the reception antenna 7 of each transmission coil of the plate 59 from the reception signal based on a known position estimation algorithm.
- the calculation result of the position coordinates of each transmission coil of the plate 59 by the position calculation unit 34 is supplied to the attitude detection unit 58.
- the posture detection unit 58 can obtain the position and orientation of the plate plane from the position coordinates of each transmission coil of the plate 59.
- the posture detection unit 58 outputs the position and orientation of the plate plane to the body outline image generation unit 56 and the display control unit 57.
- the body outline image generation unit 56 has, in a memory (not shown), display data of a body outline image viewed from the front (abdomen) side of the body and display data of a body outline image viewed from the side (body side) side of the body.
- the body outline image (hereinafter referred to as the front body outline image) viewed from the abdomen side, the body outline image (hereinafter referred to as the right body outline image) viewed from the right body side, and the left body side side as controlled by the control unit 31
- One of the body outline images viewed from above (hereinafter referred to as the left body outline image) is selectively output to the display control unit 57.
- the body outline image generation unit 56 selects one body outline image from the plurality of body outline images having different viewpoints based on the detection result of the posture detection unit 58, and outputs the selected body outline image to the display control unit 57. It may be.
- the display control unit 57 is controlled by the control unit 31 to receive display data of the insertion shape image from the scope model display unit 36 and display data of the body outline image from the body outline image generation unit 56. An insertion state display image is displayed on the display screen 50b. In this case, the display control unit 57 changes the position and orientation of the insertion shape image by changing the conversion from the measurement coordinate system to the display coordinate system based on the detection result of the posture detection unit 58. ing.
- the display control unit 57 rotates the insertion shape image according to the orientation of the plate plane, so that the patient P is always viewed from the same orientation when the patient P is in either the lateral position or the supine position.
- An insertion shape image can be displayed.
- FIGS. 17A to 17C show insertion state display images displayed on the display screen of the monitor 50.
- FIG. 17A to 17C show insertion state display images displayed on the display screen of the monitor 50.
- the posture detection unit 58 detects the position and orientation of the plate plane of the plate 59 and outputs the detection result to the body outline image generation unit 56 and the display control unit 57.
- the body outline image generation unit 56 is controlled by the control unit 31 to selectively output one of the front body outline image, the right body outline image, and the left body outline image to the display control unit 57.
- the display control unit 57 displays, on the display screen 50b of the monitor 50, an insertion state display image obtained by aligning, for example, the anus position of the insertion shape image and the anal position of the body outline image with the reference position of the display screen 50b.
- the insertion state display image 74a shown in FIG. 17A is displayed on the display screen 50b of the monitor 50 when the patient P is in the supine position. That is, the display control unit 57 synthesizes the front body outline image 76a from the body outline image generation unit 56 and the insertion shape image 75a viewed from the abdomen side of the patient P.
- the body outline image 76a includes an image portion of the umbilicus 76aa.
- the display control unit 57 performs coordinate conversion on the inserted shape image from the scope model display unit 36 in accordance with the inclination of the plate plane from the posture detection unit 58 so as to reverse this rotation. Accordingly, the display control unit 57 continues to display the insertion state display image 74a shown in FIG. 17A even when the patient P changes his / her posture to the lateral position.
- a right body outline image 76b shown in FIG. 17B is output from the body outline image generation unit 56.
- the display control unit 57 displays an insertion state display image 74b shown in FIG. 17B.
- the insertion state display image 74b includes a right body outline image 76b and an insertion shape image 75b, and the body outline image 76b also includes an image portion of the umbilicus 76ba.
- the display control unit 57 performs coordinate conversion so as to rotate the insertion shape image from the scope model display unit 36 in accordance with the inclination of the plate plane from the posture detection unit 58. Accordingly, the insertion state display image 74b shown in FIG. 17B is continuously displayed regardless of the posture of the patient P.
- the left body outline image 76c shown in FIG. 17C is output from the body outline image generation unit 56.
- the display control unit 57 displays an insertion state display image 74c shown in FIG. 17C.
- the insertion state display image 74c includes a right body outline image 76c and an insertion shape image 75c, and the body outline image 76c also includes an image portion of the umbilicus 76ca.
- the display control unit 57 performs coordinate conversion so as to rotate the insertion shape image from the scope model display unit 36 in accordance with the inclination of the plate plane from the posture detection unit 58. Thereby, irrespective of the posture of the patient P, the insertion state display image 74c shown in FIG. 17C is continuously displayed.
- the display control unit 57 rotates the insertion shape image around the reference position of the display screen 50 b according to the inclination of the plate plane with respect to the longitudinal direction of the bed 6, so that the patient P can move with respect to the longitudinal direction of the bed 6. Even when lying at a predetermined angle, the same insertion shape image as that when the patient P lies in parallel with the longitudinal direction of the bed 6 can be displayed.
- the display control unit 57 matches the anus position coordinates changed according to the change in the position of the plate plane with the reference position of the display screen 50b, so that the anus position of the patient P is obtained at the start of the examination. Even when the position is shifted from the position plane, it is possible to always display an insertion state display image in which the insertion shape image and the body outline image are correctly aligned.
- the same effects as those of the first embodiment can be obtained, and the position and orientation of the plate plane are detected using the plate fixed to the patient, and the conversion method of the coordinate conversion is determined.
- the conversion method of the coordinate conversion is determined.
- FIG. 18 is a block diagram showing a sixth embodiment of the present invention.
- the control unit 80 in the present embodiment employs a body outline image generation unit 81 instead of the body outline image generation unit 39, and is provided with a position information detection unit 82 and a dimension measurement unit 83 in FIG. Different from 10.
- a marker 84 is employed.
- the marker 84 has a built-in transmission coil (not shown), and a high-frequency sine wave is applied to the transmission coil from the transmission unit 32.
- the marker 84 generates a magnetic field when a high-frequency sine wave is applied from the transmission unit 32. This magnetic field is received by the reception antenna 7, and the detection result of the reception antenna 7 is supplied to the position information detection unit 82 via the reception unit 33.
- the position information detection unit 82 acquires the position coordinates of the marker 84 in the measurement coordinate system by the same operation as the position calculation unit 34, and outputs the acquired position coordinates to the dimension measurement unit 83.
- the marker 84 is used to determine the dimensions of the patient.
- the marker 84 is placed at a plurality of locations on the patient's torso to determine the patient's dimensions.
- the position coordinates are acquired in a state in which the markers 84 are arranged at a total of three positions of two positions on both body sides and an anus position at the height of the umbilicus.
- the dimension measuring unit 83 is given position coordinates of a plurality of positions on the patient's torso, and measures the dimensions of the patient using these position coordinates. For example, the dimension measuring unit 83 may obtain the lateral width and the longitudinal length of the patient's torso. The measurement result of the dimension measuring unit 83 is given to the body outline image generating unit 81.
- the body outline image generation unit 81 holds display data of the body outline image in a memory (not shown), and is controlled by the control unit 31 to expand the body outline image in the vertical and horizontal directions based on the measurement result of the dimension measurement unit 83. Alternatively, the scale is reduced and the scale is changed, and then output to the display control unit 37.
- FIG. 19 is an explanatory diagram showing an example of a method for obtaining a patient's dimensions and a method for generating a body outline image.
- the left side of FIG. 19 shows the detection result of the position of the body surface of the patient P by the marker 84, the center shows the measurement of the dimension by the dimension measuring unit 83, and the right side shows the enlargement / reduction of the body outline image.
- the circled number 1 on the left side of FIG. 19 indicates the position on the right body side at the height of the umbilical portion of the patient P
- the circled number 2 indicates the position on the left body side at the height of the umbilical portion of the patient P
- the circled number 3 Indicates the anal position of patient P.
- the dimension measuring unit 83 Based on the input position information, the dimension measuring unit 83, as shown in the center of FIG. 19, is the length between the right body side position and the left body side position (body width) indicated by the circled numerals 1 and 2. Ask for. In addition, the dimension measuring unit 83 obtains a length (trunk length) from a straight line connecting the position on the right body side indicated by the circled numerals 1 and 2 to the position on the left body side to the anal position indicated by the circled numeral 3. Information on the body width and the body length is supplied to the body outline image generation unit 81.
- the body outline image stored in the body outline image generation unit 81 is, for example, as shown on the right side of FIG. 19, a curved part indicating the outline of the body, a diaphragm part indicating the diaphragm, and a umbilical part indicating the position of the umbilical part. It has an image part.
- the body outline image generation unit 81 enlarges or reduces the lateral width of the body outline image so that the distance between the height portions of the umbilical portions (circled portions) of the curved portions indicating both body sides matches the trunk lateral width. .
- the body outline image generation unit 81 enlarges or reduces the vertical direction of the body outline image so that the distance from the umbilicus to the anus position indicated by the round numeral 3 matches the trunk length. Note that the right side of FIG. 19 shows a body outline image after enlargement or reduction.
- FIG. 20 shows an insertion state display image displayed on the display screen of the monitor 50.
- the operator places the marker 84 on each part of the patient P in order to obtain the dimensions of the patient P.
- the position information detection unit 82 acquires each position information of the marker 84 arranged in each part of the patient P and outputs it to the dimension measurement unit 83.
- the dimension measuring unit 83 obtains the dimension of the patient P based on the plurality of input position information. For example, the dimension measuring unit 83 obtains the body width and the body length of the patient P and outputs them to the body outline image generating unit 81.
- the body outline image generation unit 81 enlarges or reduces the stored body outline image in accordance with the input dimensions of the patient P, generates a body outline image according to the dimensions of the patient P, and performs display control. To the unit 37.
- the insertion portion 4b is inserted into the body cavity of a relatively thin patient.
- the body outline image generation unit 81 generates a body outline image having a relatively narrow body width based on the measurement result of the patient dimensions.
- the upper side of FIG. 20 shows an insertion state display image 86a displayed on the display screen 50b of the monitor 50 in this case.
- the insertion state display image 86a includes an insertion shape image 87 and a body outline image 88a.
- the body outline image 88a includes an image portion of the umbilicus 88aa.
- the size of the body outline image 88a corresponds to the size obtained by obtaining the position information of each part of the patient P, and the insertion shape image 87 generated based on the position information of each transmission coil 24 in the insertion part 4b. It corresponds to the size of. Therefore, it is possible to accurately grasp to which position in the body cavity of the patient P the insertion portion 4b is inserted by the insertion shape image 87 and the body outline image 88a in the insertion state display image 86a.
- the insertion portion 4b is inserted into the body cavity of a relatively thick patient.
- the body outline image generation unit 81 generates a body outline image having a relatively wide body width based on the measurement result of the patient dimensions.
- the lower side of FIG. 20 shows an insertion state display image 86b displayed on the display screen 50b of the monitor 50 in this case.
- the insertion state display image 86b includes an insertion shape image 87 and a body outline image 88b.
- the body outline image 88b includes an image portion of the umbilicus 88ba.
- the size of the body outline image 88 b corresponds to the size obtained by obtaining the position information of each part of the patient P, and corresponds to the size of the insertion shape image 87. Therefore, it is possible to accurately grasp to which position in the body cavity of the patient P the insertion portion 4b has been inserted by the insertion shape image 87 and the body outline image 88b in the insertion state display image 86b.
- the same effects as those of the first embodiment can be obtained, and a body outline image having a size corresponding to the size of the patient can be displayed. It is possible to accurately grasp whether or not the insertion portion has been inserted up to the position by the insertion state display image based on the insertion shape image and the body outline image.
- the example which expands and reduces a body outline image based on the trunk width and trunk length was explained, it is not limited to the trunk width and trunk dimensions, but the body outline is measured using the dimensions of each part of the patient, such as the thickness of the abdomen.
- the image may be enlarged or reduced.
- FIG. 21 is a block diagram showing a seventh embodiment of the present invention.
- FIG. 21 the same components as those in FIG. In the present embodiment, a body outline image having a shape corresponding to a patient's body shape is displayed.
- the control unit 90 in the present embodiment employs a body outline image generation unit 91 instead of the body outline image generation unit 39, and is provided with a reception unit 92 and a patient information acquisition unit 93 in FIG. And different.
- patient information about the patient P to be examined is registered.
- the patient information includes patient ID, patient name, sex, height, weight, BMI (body mass index) value, and the like.
- the receiving unit 92 is controlled by the control unit 31 to receive patient information from the video processor 12 at a predetermined timing and supply the patient information to the patient information acquiring unit 93.
- the patient information acquisition unit 93 acquires patient information and outputs information related to the patient's body type (hereinafter referred to as body type information), for example, body type information such as height, weight, and BMI value, to the body outline image generation unit 91. It has become.
- the body outline image generation unit 91 holds display data of body outline images corresponding to a plurality of types of body shapes in a memory (not shown), and is controlled by the control unit 31 to be based on the body type information from the patient information acquisition unit 93. Thus, the body outline image of the corresponding body type is selected and output to the display control unit 37.
- the body outline image generation unit 91 holds various body outline images corresponding to the body type such as A body type, Y body type, AB body type, B body type, S size, M size, and L size, and height. .
- the body outline image generation unit 91 determines which of the S to L sizes corresponds to the body outline image based on the height information in the body type information, and based on the weight or BMI information in the body type information.
- the body outline image corresponding to any of the A body type to the B body type may be determined.
- the body outline image generation unit 91 stores a plurality of types of body outline images having different body widths and body lengths, determines the body width based on weight or BMI information, and stores height information.
- the body length may be determined based on the above, and the corresponding body outline image may be selected and output.
- FIG. 20 shows an insertion state display image displayed on the display screen of the monitor 50.
- the control unit 31 controls the receiving unit 92 to receive the patient information of the patient P from the video processor 12.
- the patient information acquisition unit 93 acquires patient information and outputs body type information to the body outline image generation unit 91.
- the body outline image generation unit 91 selects one of the stored body outline images in correspondence with the inputted body type information of the patient P, and obtains a body outline image that matches the body type of the patient P and the like.
- the data is output to the display control unit 37.
- the insertion portion 4b is inserted into the body cavity of a relatively thin patient.
- the body outline image generation unit 91 generates a body outline image having a relatively narrow body width based on the body type information of the patient P.
- an insertion state display image 86a shown on the upper side of FIG. 20 is displayed on the display screen 50b of the monitor 50.
- the insertion portion 4b is inserted into the body cavity of a relatively thick patient.
- the body outline image generation unit 91 generates a body outline image having a relatively wide body width based on the body type information of the patient P.
- an insertion state display image 86b shown on the lower side of FIG. 20 is displayed on the display screen 50b of the monitor 50.
- the shapes of the body outline images 88a and 88b are based on the body shape information of the patient P and correspond to the size of the insertion shape image 87. Therefore, when examining the patient P of any body type, it is possible to accurately grasp to which position in the body cavity of the patient P the insertion portion 4b is inserted by the insertion state display images 86a and 86b. It is.
- the same effects as those of the first embodiment can be obtained, and the body outline image of the body shape corresponding to the patient body information can be displayed. It is possible to accurately grasp to which position the insertion portion has been inserted from the insertion state display image based on the insertion shape image and the body outline image.
- the patient's body information corresponding to the patient's P body type information is acquired by acquiring the patient information of the patient P and selecting the body outline image of the body type based on the patient's body type information.
- the outline image is displayed, in combination with the sixth embodiment, by measuring the dimension of the patient P and selecting the corresponding body outline image based on the measurement result of the dimension, A body outline image having a size corresponding to the dimension may be displayed.
- the insertion portion may have a loop shape in the body cavity.
- the surgeon recognizes that the insertion portion has a loop shape from the insertion shape image on the display screen of the monitor.
- the inserted shape image in the loop portion is displayed with the image portion on the near side of the viewpoint overlapped with the image portion on the far side of the viewpoint.
- the insertion shape image displayed on the monitor has little color change between the image portion on the near side of the viewpoint and the image portion on the far side of the viewpoint in the loop portion. There was a problem that it was difficult to recognize whether it was looping.
- FIG. 22 is a block diagram showing an example in which such a problem can be solved.
- the same components as those of FIG. 22 are identical to those of FIG. 22.
- the control unit 100 includes an intersection range detection unit 101, a depth determination unit 102, and a viewpoint change instruction unit 103.
- the intersection range detection unit 101 receives the loop shape detection result from the shape detection unit 47, detects the intersection range of the loop shape portion, and outputs the detection result to the viewpoint change instruction unit 103.
- the depth determination unit 102 is given position information about each unit of the insertion unit 4 b from the position calculation unit 34, determines the depth of each unit, and outputs the determination result to the viewpoint change instruction unit 103.
- the viewpoint change instructing unit 103 generates a control signal for changing the viewpoint based on the detection result of the intersection range of the intersection range detection unit 101 and the depth determination result of the depth determination unit 102 to the scope model display unit 36. To give.
- the viewpoint change instruction unit 103 may generate a control signal for displaying an intersection of the loop portion in an enlarged manner or displaying the intersection at the center of the screen.
- FIG. 23 is an explanatory diagram showing an example of an insertion shape image displayed on the display screen of the monitor 50 in this case.
- An insertion shape image 111a in FIG. 23 shows an insertion shape in which the viewpoint is not changed, and an image 112a showing the insertion shape is displayed.
- the image 112a is obtained by matching the anal position of the patient P with the lower end of the display screen 50b.
- black circles in FIG. 23 indicate the intersection 113a between the insertion portion on the near side of the viewpoint and the insertion portion on the far side of the viewpoint.
- the viewpoint change instruction unit 103 enlarges and displays a predetermined range including this intersection on the display screen 50b, for example.
- An insertion shape image 111b in FIG. 23 shows the insertion shape subjected to such an enlarged display, and an image 112b showing the insertion shape is displayed.
- the intersection 113b portion is enlarged to make it easy to see, and it is possible to easily recognize the near-viewpoint image and the deep-viewpoint image on the monitor.
- the viewpoint change instruction unit 103 displays the intersection of the loop portion at the center of the display screen 50b.
- An insertion shape image 111c in FIG. 23 shows the insertion shape with such a viewpoint change, and an image 112c showing the insertion shape is displayed.
- the intersection 113c is arranged at the center of the screen for easy viewing, and the image on the near side of the viewpoint and the image on the far side of the viewpoint can be easily recognized on the monitor.
- the apparatus of FIG. 22 can improve the visibility of the intersection portion of the inserted shape image displayed on the monitor, and recognizes the image portion on the near side of the viewpoint and the image portion on the far side of the viewpoint in the loop portion. It becomes easy to do. Thereby, the effect that it is easy to recognize how the insertion portion loops is obtained.
- FIG. 24 is a block diagram showing another example that can solve the problem that it is difficult to confirm the loop portion.
- the same components as those in FIG. 24 are identical.
- the control unit 120 is different from the control unit 100 of FIG. 22 in that it employs a mark image selection unit 121, an image registration unit 122, a mark image display unit 123, and an overlay processing unit 124 instead of the viewpoint change instruction unit 103.
- FIG. 24 displays a mark image for facilitating the confirmation of the loop part, and this mark image is registered in the image registration part 122.
- the mark image selection unit 121 selects one or a plurality of mark images from the mark images registered in the image registration unit 122 according to the determination result of the depth determination unit 102 and outputs the selected one to the mark image display unit 123.
- the mark image display unit 123 generates display data of a mark image display area for displaying a mark image on the display screen 50b of the monitor 50.
- the mark image display unit 123 receives the detection result of the intersection range detection unit 101 and sets a mark image display region near the intersection of the loop unit.
- the overlay processing unit 124 superimposes and displays the insertion shape image from the scope model display unit 36 and the image in the mark image display area on the display screen of the monitor 50 based on the input display data. .
- FIG. 25A and FIG. 25B are explanatory diagrams showing an example of an insertion shape image displayed on the display screen of the monitor 50 in this case.
- FIG. 25A shows an insertion state display image 125 displayed on the display screen 50b.
- the insertion state display image 125 includes an insertion shape image 126. Further, a mark image display area 127 is provided in the insertion state display image 125. In FIG. 25A, the mark image in the mark image display area 127 for simplifying the drawing is not shown.
- FIG. 25B shows an example of a mark image displayed in the mark image display area 127.
- FIG. 25B an example in which three types of mark images are displayed is shown, but one or more mark images may be displayed.
- the mark image 127a in FIG. 25B includes a divided linear image extending in the horizontal direction and a linear image extending in the vertical direction arranged in this divided portion.
- the mark image 127a is obtained by dividing a horizontal linear image, so that an image portion extending in the vertical direction of the insertion shape image 126 is an image on the near side of the viewpoint, and an image portion extending in the horizontal direction is an image on the back side of the viewpoint. It shows that there is.
- the mark image 127b in FIG. 25B indicates in which direction the image portion on the near side of the viewpoint extends in the direction of the arrow.
- the mark image 127b indicates that the image extending in the vertical direction in the insertion shape image 126 is an image on the near side of the viewpoint.
- the mark image 127c in FIG. 25B shows the torsion direction of the insertion portion that cancels the loop.
- the mark image 127c indicates that the loop of the insertion portion 4b indicated by the insertion shape image 126 is eliminated by rotating the insertion portion to the right.
- the apparatus of FIG. 24 makes it easy to recognize which image portion at the intersection of the inserted shape image is the near side of the viewpoint or the far side of the viewpoint by using the mark image with excellent visibility. can do.
- the insertion shape image shown in each said figure is represented only by the outline, the insertion shape image displayed on an actual monitor does not necessarily have an outline, It is a shaded image according to the shape. For this reason, it may be difficult to recognize the intersection portion of the loop portion. Therefore, an insertion shape image in which the contour line is emphasized may be displayed on the display screen of the monitor. This contour line makes it easy to recognize the intersection portion of the loop portion.
- the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying constituent elements without departing from the scope of the invention in the implementation stage.
- various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, you may delete some components of all the components shown by embodiment.
- constituent elements over different embodiments may be appropriately combined.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Gynecology & Obstetrics (AREA)
- Robotics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
内視鏡挿入形状観測装置は、被検体に挿入される挿入部と、前記挿入部の挿入形状を検出する挿入形状検出部と、前記挿入形状を示す挿入形状画像を生成する挿入形状画像生成部と、前記被検体の体外形を表す体外形画像を生成する体外形画像生成部と、前記挿入形状画像と前記体外形画像とを、表示部の表示画面上に、前記挿入部の前記被検体体腔内における位置関係に対応した位置関係で同時に表示するように制御する表示制御部とを具備する。
Description
本発明は、内視鏡の挿入状態を観測する内視鏡挿入形状観測装置に関する。
従来より、内視鏡装置が医療分野において広く利用されている。内視鏡装置は、細長い可撓性を有する挿入部を有する医療機器であり、術者は、その挿入部を被検体内に挿入して、被検体内を観察することができる。内視鏡によって撮像された被検体内の内視鏡画像は、モニタに表示可能である。しかしながら、内視鏡画像からは、内視鏡挿入部が被検体内にどのように挿入されているかを知ることはできない。
そこで、内視鏡挿入時において内視鏡の挿入状態を知ることができる装置として、挿入部内に組み込まれた複数の送信コイルと、コイルブロックに配置された複数のセンスコイルから成る受信アンテナと、挿入部の挿入形状が表示されるモニタとを有する内視鏡挿入形状観測装置が開発されている。例えば、日本国特開平8-542号公報、日本国特開2004-358095号公報及び日本国特開2006-296576号公報等に開示された種々の内視鏡挿入形状観測装置が提案されている。
しかしながら、従来の内視鏡挿入形状観測装置は、内視鏡挿入部が体腔内においてどのような形状で挿入されているかを示す挿入形状画像を表示するものであり、内視鏡挿入部が体腔内のいずれの位置に挿入されているかを示すものではない。内視鏡を操作する術者は、モニタに表示される挿入形状画像と、内視鏡挿入部の挿入時における手の操作感覚や挿入時の内視鏡画像等によって、体腔内における内視鏡挿入部の挿入状態をイメージするようになっている。しかしながら、熟練した術者でなければ、挿入状態をイメージすることは容易ではなく、未熟な術者にとって、内視鏡挿入部が体腔内のどの位置に挿入されているかを知ることは困難であるという問題があった。
本発明は、内視鏡挿入部の挿入状態に合わせて体外形画像を表示することで、術者に体腔内における挿入位置及び形状を比較的容易に把握させることができる内視鏡挿入形状観測装置を提供することを目的とする。
本発明の一態様による内視鏡挿入形状観測装置は、被検体に挿入される挿入部と、前記挿入部の挿入形状を検出する挿入形状検出部と、前記挿入形状を示す挿入形状画像を生成する挿入形状画像生成部と、前記被検体の体外形を表す体外形画像を生成する体外形画像生成部と、前記挿入形状画像と前記体外形画像とを、表示部の表示画面上に、前記挿入部の前記被検体体腔内における位置関係に対応した位置関係で同時に表示するように制御する表示制御部とを具備する。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る内視鏡挿入形状観測装置を示すブロック図である。また、図2は図1の内視鏡挿入形状観測装置を含む医療システムの全体構成を示す構成図である。また、図3は内視鏡挿入形状観測装置の利用方法を説明するための説明図である。
図1は本発明の第1の実施の形態に係る内視鏡挿入形状観測装置を示すブロック図である。また、図2は図1の内視鏡挿入形状観測装置を含む医療システムの全体構成を示す構成図である。また、図3は内視鏡挿入形状観測装置の利用方法を説明するための説明図である。
本実施の形態は、内視鏡の挿入形状を示す挿入形状画像を表示すると共に、人体の外形を表す体外形画像を表示する。この場合において、本実施の形態は、挿入形状画像と体外形画像とを位置合わせして表示することにより、術者に体腔内における挿入位置及び形状を直感的に把握させるようにするものである。
図2及び図3において、医療システム1は、内視鏡装置2と内視鏡挿入形状観測装置3とを含んで構成されている。内視鏡装置2は、内視鏡4と、光源装置11と、ビデオプロセッサ12と、モニタ5とを含む。内視鏡4は、被検体である被検体Pの体腔内に挿入される細長で可撓性を有する挿入部4bと、挿入部4bの基端に接続され、各種操作器が設けられた操作部4aと、操作部4aとビデオプロセッサ12とを接続するためのケーブル4cとを有している。
図2では、これらの光源装置11及びビデオプロセッサ12が医療用トロリー9上に載置されている例を示している。また、モニタ5は医療用トロリー9に設けられた可動式アームに取り付けられている。内視鏡4は医療用トロリー9のフックに掛止させておくことが可能である。
図3は挿入部4bが、検査用のベッド6上に横たわる被検体Pの肛門から大腸内に挿入されている状態を示している。図3では、術者Oが医療用トロリー9上のビデオプロセッサ12にケーブル4cによって接続された内視鏡4の操作部4aと挿入部4bを把持している様子を示している。
光源装置11は、被検体を照明するための照明光を発生する。光源装置11からの照明光は、内視鏡4の挿入部4b内に挿通されたライトガイドによって挿入部4bの先端部に導かれて、挿入部4bの先端部から被検体に照射される。挿入部4bの先端部には図示しない撮像素子が配置されており、撮像素子の受光面には、被検体によって反射された被検体からの反射光(戻り光)が被写体光学像として結像するようになっている。撮像素子は、ビデオプロセッサ12によって駆動制御されて、被写体光学像を画像信号に変換してビデオプロセッサ12に出力する。ビデオプロセッサ12は図示しない画像信号処理部を有しており、この画像信号処理部は撮像素子からの画像信号を受信して信号処理を行い、信号処理後の内視鏡画像をモニタ5に出力する。こうして、図1に示すように、モニタ5の表示画面5a上に被検体の内視鏡画像5bが表示される。
挿入部4bの先端には湾曲部が設けられており、この湾曲部は、操作部4aに設けられた湾曲ノブ4dによって湾曲駆動されるようになっている。術者は、湾曲ノブ4dを操作して湾曲部を湾曲させながら、挿入部4bを体腔内へ押し込むことができる。
本実施の形態においては、挿入部4bの挿入状態を観測するための内視鏡挿入形状観測装置3は、制御ユニット10と、挿入状態検出用のプローブ21と、受信アンテナ7とモニタ50とによって構成される。なお、図3に示すように、モニタ50は、挿入部4bを患者Pに挿入する術者Oが観察可能な位置に配置されている。内視鏡挿入形状観測装置3の制御ユニット10は医療用トロリー9上に載置され、挿入状態検出用のプローブ21は後述するように挿入部4bに挿入されている。受信アンテナ7は、ケーブル8cによって制御ユニット10に接続されている。
図4はプローブ21の具体的な構成の一例を示すブロック図である。図4に示すように、プローブ21は、挿入部4b内の図示しない処置具挿通チャンネル内に挿入される。プローブ21にはそのプローブ軸に沿って例えば所定の間隔で複数の送信コイル24-1,24-2,…(以下、個々を区別する必要がない場合には単に送信コイル24という)が取り付けられている。プローブ21を処置具挿通チャンネル内に挿通して、プローブ21の先端或いは後端を固定することにより、挿入部4bの軸方向に所定の間隔で複数の送信コイル24-1,24-2,…が配置されることになる。
なお、本実施の形態では、内視鏡4の処置具挿通チャンネル内にプローブ21を挿入固定することにより、内視鏡4の挿入部4b内に送信コイル24を組み込んでいるが、直接内視鏡4の挿入部4b内に送信コイル24を組み込んだものでも良い。
受信アンテナ7は、図示しない複数のコイルブロックを有しており、例えば、ベッド6の側方に配置される。受信アンテナ7の各コイルブロックは、それぞれのコイル面が直交するように3方向にそれぞれ巻回された例えば3個のセンスコイルによって構成されており、受信アンテナ7全体では、例えば4個のコイルブロック、即ち12個のセンスコイルが配置される。各センスコイルはそのコイル面に直交する軸方向成分の磁界の強度に比例した信号を検出するようになっている。例えば、コイルブロックは、発生している磁界を受信して電圧信号に変換し、この電圧信号を検出結果として出力するようになっている。これらのプローブ21及び受信アンテナ7は、制御ユニット10によって動作状態が制御される。
図1に示すように、制御ユニット10には、制御部31が設けられている。制御部31は、例えばCPU等を用いたプロセッサによって構成することができ、図示しないメモリに記憶されたプログラムに基づいて動作するものであってもよい。制御部31は、制御ユニット10の全体を制御する。なお、図示しないメモリには、制御部31の処理を記述したプログラムだけでなく後述する位置算出において用いるデータ等も記憶されている。
制御部31は、送信部32を制御する。送信部32は、例えばFPGA等によって構成されており、制御部31に制御されて、プローブ21を駆動するための例えば正弦波信号を発生して出力するようになっている。なお、送信部32は、制御部31に制御されて、プローブ21の各コイル24に個別に正弦波を供給することができるようになっている。即ち、制御部31において、プローブ21のいずれの送信コイル24に正弦波を供給するかを制御することができる。
各送信コイル24は、I/F25(図4)を介して制御ユニット10から高周波の正弦波がそれぞれ供給されるようになっている。各送信コイル24は高周波正弦波が印加されることで、磁界を伴う電磁波を周囲に放射する。なお、制御ユニット10は、適宜の時間間隔、例えば数m秒間隔で、各送信コイル24-1,24-2,…を順次駆動することができる。また、制御ユニット10は、各送信コイル24-1,24-2,…が磁界を発生するタイミングを個別に指定することもできる。
受信アンテナ7は、センスコイルによって、送信コイル24が発生した磁界を受信して電圧信号に変換する。受信アンテナ7はこの電圧信号を検出結果として制御ユニット10の受信部33に与える。受信部33は、受信アンテナ7からの信号が与えられ、増幅処理等の所定の信号処理を施した後位置算出部34に出力する。
位置算出部34は、例えばDSPによって構成されており、入力されたデジタルデータに対して周波数抽出処理(フーリエ変換:FFT)を行い、各送信コイル24の高周波正弦波に対応する周波数成分の磁界検出情報に分離抽出し、分離した磁界検出情報の各デジタルデータからプローブ21に設けられた各送信コイル24の空間位置座標を算出する。位置算出部34による位置座標の算出結果はスコープモデル生成部35に供給される。挿入形状画像生成部としてのスコープモデル生成部35は、各送信コイル24の位置座標を連結して線状の画像を挿入形状画像として生成する。
スコープモデル生成部35が生成した挿入形状画像は、スコープモデル表示部36に与えられる。スコープモデル表示部36は、スコープモデル生成部35によって生成された挿入形状画像をモニタ50に表示させるための表示データを生成して表示制御部37に出力するようになっている。表示制御部37は、入力された表示データに基づいて、モニタ50の表示画面上に挿入形状画像を表示させる。モニタ50は、例えば、LCD等によって構成することができ、表示データに基づいて、送信コイル24と受信アンテナ7との相対的な位置関係に基づく挿入形状画像を表示する。
スコープモデル表示部36が生成した挿入形状画像の表示データは、アンテナ7の位置を基準とした座標系(以下、計測座標系という)を用いて生成されている。表示制御部37は、挿入形状画像をモニタ50の表示画面上の所定の位置に表示させるための座標変換を行う。即ち、表示制御部37は、入力された表示データに対して計測座標系を表示座標系に変換する座標変換を行う。表示制御部37は、この座標変換により、挿入形状画像をモニタ50の表示画面の所定の位置に所定の向き及びサイズで表示させることができる。また、挿入形状画像の表示位置、向き及びサイズは、術者の操作によって変更可能である。
操作パネル38は、術者等によるユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部31に出力することができるようになっている。この操作パネル38によって術者は挿入形状画像のサイズの変更等を指定することができるようになっている。表示制御部37は、制御部31からユーザ操作に基づく挿入形状画像のサイズの変更が指示されると、モニタ50に表示する挿入形状画像のサイズを変更するようになっている。
本実施の形態においては、制御ユニット10には、操作パネル38による操作が検出されると、検出した操作内容に応じた体外形画像の表示データを出力する体外形画像生成部39が設けられている。体外形画像は、患者の体の形そのものや体格等の体型を示すことができる人体図や解剖図等をいう。体外形画像としては、体型が分かる程度の概略的な画像でもよく、また、大腸の腸管モデル等の臓器の画像部分を含む詳細な画像でもよい。また、体外形画像は、2D画像に限る必要はなく、3D画像などの立体視を利用できる技術を採用しても良い。
体外形画像生成部39は、図示しないメモリに体外形画像の表示データを保持し、制御部31に制御されて、体外形画像の表示データを表示制御部37に出力するようになっていてもよい。また、体外形画像生成部39は、複数の体外形画像の表示データをメモリに保持し、制御部31の制御によって選択された1つの体外形画像の表示データを表示制御部37に出力するようになっていてもよい。
例えば、体外形画像生成部39は、最も小さいSサイズから最も大きいXXLサイズの複数の体外形画像の表示データをメモリに保持していてもよく、制御部31が患者のBMI/身長の値に基づくサイズの体外形画像の表示データを選択して表示制御部37に出力するようになっていてもよい。
更に、体外形画像生成部39は、患者の身長及び胴回り寸法に基づいて、体外形画像を生成するように構成されていてもよい。また、体外形画像生成部39は、解剖学的情報に基づいて、人体のへそ、横隔膜が含まれた体外形画像を生成するように構成されていてもよい。
本実施の形態においては、体外形画像と挿入形状画像とを位置合わせして表示するために、被検体の所定位置(以下、被検体基準位置という)に対応する体外形画像の所定位置(以下、体外形画像基準位置という)と被検体基準位置に対応する挿入形状画像の所定位置(以下、挿入形状画像基準位置という)とを一致させた状態で、体外形画像と挿入形状画像とを同時に表示するようになっている。例えば、被検体基準位置としては、位置算出部34により算出された空間位置座標から被検体Pの肛門の位置を設定する。
被検体Pの被検体基準位置を設定するために、例えば、マーカ41を採用する。マーカ41は図示しない送信コイルを内蔵しており、この送信コイルには送信部32から高周波正弦波が印加されるようになっている。マーカ41は、送信部32から高周波正弦波が印加されると磁界を発生する。この磁界は受信アンテナ7によって受信され、受信アンテナ7の検出結果が受信部33を介して位置算出部34に供給される。これにより、位置算出部34は、計測座標系におけるマーカ41の位置座標を取得することができる。
術者がマーカ41を被検体Pの肛門近傍に配置した状態で、制御部31が送信部32に対してマーカ41に高周波正弦波を出力するように制御することで、位置算出部34から肛門位置の位置座標を得ることができる。この位置座標は肛門位置設定部40に供給される。肛門位置設定部40は、被検体Pの肛門位置の位置座標を保持するとともに、表示制御部37に出力するようになっている。
なお、マーカ41を被検体Pの肛門近傍に貼り付けた場合には、制御部31が所定のタイミングでマーカ41に高周波正弦波を出力するように送信部32を制御することで、肛門位置設定部40には、被検体Pの当該タイミングにおける肛門位置の位置座標(以下、肛門位置座標という)が保持されることになる。これにより、被検体Pの肛門位置が変化する場合でも、実際の肛門位置の情報が表示制御部37に与えられる。
表示制御部37は、体外形画像基準位置をモニタ50の表示画面上の所定位置(以下、表示基準位置)に一致させた状態で体外形画像を表示画面上に表示する。例えば、表示制御部37は、表示基準位置を表示画面の左右方向中央の最下端部に設定し、体外形画像の肛門位置(体外形画像基準位置)がこの表示基準位置に位置するように体外形画像を表示する。また、表示制御部37は、挿入形状画像の肛門位置に相当する画像部分を、表示基準位置である表示画面の左右方向中央の最下端部に位置するように挿入形状画像を表示させる。
なお、上記説明では、マーカ41を用いて被検体Pの肛門位置を求めたが、挿入部4bに挿入されたプローブ21を用いて肛門位置を求めてもよい。例えばプローブ21先端の送信コイルが被検体Pの肛門位置に到達した状態で、操作パネル38等の操作により、制御部31に送信部32から高周波正弦波をプローブ21先端のコイルに印加させればよい。このコイルによる磁界は受信アンテナ7によって受信され、受信アンテナ7の検出結果が受信部33を介して位置算出部34に供給される。これにより、位置算出部34は、計測座標系におけるプローブ先端のコイル位置、即ち、肛門位置座標を取得することができる。
次に、このように構成された実施の形態の動作について図5、図6A、図6B、図26A~図26C及び図27を参照して説明する。図5は第1の実施の形態の動作を説明するためのフローチャートである。図6A及び図6Bはモニタ50の表示画面に表示される挿入状態表示画像を示す説明図である。また、図26A~図26Cはモニタ50の表示画面に表示される視点表示を示す説明図である。また、図27はモニタ50の表示画面に表示される多画面の挿入状態表示画像を示す説明図である。
いま、図3に示すように、術者は、検査用のベッド6上に側臥位で横たわる被検体Pの肛門から大腸内に挿入部4bを挿入するものとする。内視鏡挿入形状観測装置3は、所定の時間間隔で、挿入部4bに内蔵されたプローブ21の複数個の送信コイル24の3次元位置座標を求める。即ち、制御ユニット10の制御部31は、送信部32を制御して、プローブ21の送信コイル24-1,24-2,…に対して、それぞれ所定のタイミングで高周波信号を供給させる。高周波信号が供給された送信コイル24-1,24-2,…は、磁界を伴う電磁波を発生する。この磁界は、受信アンテナ7の各コイルブロックにおいて受信され、磁界強度に応じた検出結果が制御ユニット10の受信部33を介して位置算出部34に取り込まれる。
位置算出部34は、制御部31から各送信コイル24-1,24-2,…の駆動タイミングの情報が与えられており、各送信コイル24-1,24-2,…毎にコイルブロックの検出結果から、公知の位置推定アルゴリズムに従って、各送信コイル24-1,24-2,…の3次元位置座標を求める。
この位置座標はスコープモデル生成部35に供給され、スコープモデル生成部35は、位置座標に基づいて挿入形状画像を生成する。プローブ21は挿入部4bの処置具挿通チャンネルに挿入されており、各送信コイル24は挿入部4bの形状に沿って所定間隔の既知の位置に配置される。即ち、各送信コイル24の位置は挿入部4bの離散的な位置を示している。スコープモデル生成部35は、この離散的な位置を補間することで、挿入部4bの概略形状に対応する挿入形状画像を生成する。なお、この挿入形状画像は、計測座標系において求められたものである。
スコープモデル生成部35は、生成した挿入形状画像をスコープモデル表示部36に与える。スコープモデル表示部36は、挿入形状画像に基づく表示データを生成して、表示制御部37に出力する。表示制御部37は、モニタ50の表示画面50b上に挿入形状画像を表示する。図6Aはこの場合において表示画面50bに表示される挿入状態表示画像61を示している。挿入状態表示画像61中には、挿入形状画像63が表示されている。なお、図6Aの挿入状態表示画像61は、挿入形状画像63が後述する基準位置62を基準にして表示された例を示している。
本実施の形態においては、モニタ50には挿入形状画像だけでなく、体外形画像も表示することができる。制御部31は、図5のステップS1において体外形表示モードが設定されているか否かを判定する。制御部31は、体外形表示モードが設定されていない場合には処理を終了し、設定されている場合にはステップS2において肛門位置座標の登録を行う。
即ち、制御部31は、送信部32を制御して、マーカ41に高周波正弦波を印加させる。これにより、マーカ41は磁界を伴う電磁波を発生し、この磁界は受信アンテナ7の各コイルブロックにおいて受信される。こうして、磁界強度に応じた検出結果が受信アンテナ7から制御ユニット10の受信部33を介して位置算出部34に取り込まれる。
位置算出部34は、マーカ41の発生磁界に基づく検出結果から、公知の位置推定アルゴリズムに従って、マーカ41の計測座標系における肛門位置座標を取得する。この肛門位置座標は肛門位置設定部40に与えられて保持される。
制御部31は、ステップS3において肛門位置座標が登録されたか否かを判定しており、登録されるまでステップS2の肛門位置座標の登録作業を行うように各部を制御しており、肛門位置座標が登録されると、処理をステップS4に移行する。
制御部31は、ステップS4において、操作パネル38により体外形画像生成部39を制御して体外形画像を生成させる。体外形画像の表示データは表示制御部37に供給される。また、表示制御部37には、肛門位置設定部40から肛門位置座標とスコープモデル表示部36から挿入形状画像63も与えられている。表示制御部37は、制御部31に制御されて、肛門位置座標が、例えばモニタ50の表示画面50b上の左右方向中央の最下端部の表示基準位置62に位置するように、挿入形状画像63及び体外形画像65を表示する。即ち、表示制御部37は、挿入形状画像63の各部のうち計測座標系における肛門位置座標の部分を基準位置62に一致させるように挿入形状画像63を表示する。また、表示制御部37は、体外形画像65の肛門に相当する画像部分を基準位置62に一致させるように体外形画像65を表示する(ステップS5)。
図6Bはこの場合において、表示画面50b上に表示される挿入状態表示画像61を示している。図6Bの挿入状態表示画像61は、挿入形状画像63及び体外形画像65が、基準位置62において位置合わせされた状態で合成されたものである。なお、体外形画像65は、人体の輪郭を表す線画像65a、人体のへその部分を表す画像65b及び横隔膜を表す画像65cを含んでいる。
なお、図6A及び図6Bの例においては、基準位置62を表示画面50b上の左右方向中央の最下端部に設定した例を示したが、これに限定されるものではなく、適宜の画面位置に設定することができる。
ところで、本実施の形態においては、挿入形状画像63と体外形画像65とは、肛門位置に位置する挿入形状画像63の部分と体外形画像65中の肛門位置とを表示画面50b上の基準位置62に一致させただけであり、比較的少ない演算処理量で、挿入形状画像63と体外形画像65との合成表示が可能である。しかし、体外形画像生成部39において、実際の被検体Pに対する採寸によって体外形画像65を生成していないことが考えられ、体外形画像65のサイズが挿入形状画像63に対応しているとは限らない。
そこで、制御部31は、術者の操作によって、体外形画像65の上下左右の表示位置調整、拡大縮小、傾き、視点切替えを行うことができるようになっており、ステップS6において術者が表示調整モードを指定したか否かを判定する。なお、視点とは、表示中の挿入形状画像63がいずれの方向から見た内視鏡の挿入形状であるかを示すものである。表示調整モードが指定されると、制御部31はこれらの調整のための操作ボタン(調整用ボタン)を例えば操作パネル38の図示しないLCD画面上に表示させる(ステップS7)。
例えば、図26A~図26Cに示すように、表示制御部37は、モニタ50の表示画面50b上に、スコープモデル表示部36からの挿入形状画像63とともに、現表示の視点位置を示す視点位置表示77bや患者の体位が一目で分かるボディマーカ77aを含む視点表示を表示する。図26Aはボディマーカ77a及び視点位置表示77bによって視点が被検体Pの正面であることを示し、図26Bはボディマーカ77a及び視点位置表示77bによって視点が被検体Pの右側面であることを示し、図26Cはボディマーカ77a及び視点位置表示77bによって視点が被検体Pの左側面であることを示している。そして、操作パネル38上の操作ボタン(調整用ボタン)で視点表示を切り替えることで、各視点位置から見た挿入形状画像63が表示される。なお、図26A~図26Cにおいては、体外形画像65が表示されていない例を示しているが、視点表示中に体外形画像65を表示するようになっていてもよい。
また、図27は視点表示を含む挿入状態表示画像が多画面表示される例を示している。表示制御部37は、異なる視点から見た挿入状態表示画像を切換えて表示することができるだけでなく、異なる視点から見た挿入状態表示画像を同時に表示することも可能であり、更に、各挿入状態表示画像中に視点表示を表示させることも可能である。図27の例はモニタ50の表示画面50bの左側に患者Pの腹部側から見た挿入状態表示画像74dが表示され、表示画面50bの右側に患者Pの右体側側から見た挿入状態表示画像74eが表示されている例を示している。挿入状態表示画像74dは、臍部76aaの画像部分を含む体外形画像76aと挿入形状画像75aとを有する。また、挿入状態表示画像74dは、画面上側に視点が患者Pの腹部側であることを示すボディマーカ77a及び視点位置表示77bを含む。また、挿入状態表示画像74eは、臍部76baの画像部分を含む体外形画像76bと挿入形状画像75bとを有する。また、挿入状態表示画像74eは、画面上側に視点が患者Pの右体側側であることを示すボディマーカ77a及び視点位置表示77bを含む。
なお、図27の例は視点が異なる2つの挿入状態表示画像を2画面表示する例を示したが、視点が異なる3つ以上の挿入状態表示画像を多画面表示することも可能である。
術者は、操作パネル38を用いて、体外形画像65の上下左右の表示位置調整、拡大縮小、傾き、視点の切替えを行うことができる。術者の操作に従って、表示制御部37は表示制御部37を制御して、体外形画像65の上下左右の表示位置調整、拡大縮小、傾き、視点の切替えを行う(ステップS8)。これにより、術者等において、挿入部4bがいずれの位置に挿入されているかを、一層把握しやすくなる。
このように本実施の形態においては、内視鏡挿入部の挿入形状画像と、被検体の体型を表す体外形画像とを位置合わせして合成表示する。挿入形状画像と体外形画像とによって、挿入部が体外形のいずれの位置に位置するかを容易に把握することができるようになる。即ち、挿入部が被検体の体腔内のいずれの位置に位置するかを、比較的容易に推測することが可能である。これにより、術者や指導医等において、挿入状態の把握が容易となる。
(第2の実施の形態)
図7は本発明の第2の実施の形態を示すブロック図である。図7において図1と同一の構成要素には同一符号を付して説明を省略する。第1の実施の形態においては、体外形画像の表示又は非表示を術者の操作によって切替える例を示した。本実施の形態は体外形画像の表示又は非表示を挿入長や挿入形状に応じて切替える例を示すものである。
図7は本発明の第2の実施の形態を示すブロック図である。図7において図1と同一の構成要素には同一符号を付して説明を省略する。第1の実施の形態においては、体外形画像の表示又は非表示を術者の操作によって切替える例を示した。本実施の形態は体外形画像の表示又は非表示を挿入長や挿入形状に応じて切替える例を示すものである。
本実施の形態における制御ユニット45は、挿入長算出部46及び形状検出部47を付加した点が図1の制御ユニット10と異なる。挿入長算出部46は、体腔内に挿入されている挿入部4bの長さを算出する。各送信コイル24のうち位置算出部34において検出された位置座標が肛門位置座標に相当する送信コイル24が配置されている挿入部4bの部分が肛門に位置することになり、当該コイル24の位置から挿入部4bの先端までが、体腔内に挿入されていることになる。挿入部4bに挿入されている各送信コイル24の挿入部4b先端からの位置は既知であり、挿入長算出部46は、肛門位置に位置するコイル24の位置から挿入部4bの先端までの長さを挿入長として算出する。挿入長算出部46は、算出した挿入長の情報を表示制御部37に出力するようになっている。
本実施の形態においては、表示制御部37は、制御部31に制御されて、算出された挿入長が所定の長さ範囲の場合に、体外形画像を表示させるようになっている。例えば、大腸等の検査においては、S状結腸等の湾曲部分において、術者が挿入部4bの挿入状態を確認したい場合がある。S状結腸の位置は、肛門からの距離が概略既知であり、表示制御部37は、例えば、挿入部4bの先端部がS状結腸部分近傍に位置する場合に、体外形画像を表示させるようになっていてもよい。
形状検出部47は、スコープモデル生成部35からの挿入形状画像に基づいて、挿入部4bの体腔内における所定の形状を検出することができるようになっている。例えば、形状検出部47は、公知の手法を採用して、挿入部4bの形状が直線状、ステッキ状、ループ形状等のいずれの形状になっているかを検出することができる。形状検出部47は検出した形状についての情報を表示制御部37に出力するようになっている。
本実施の形態においては、表示制御部37は、検出された形状が所定の形状である場合に、体外形画像を表示させるようになっている。例えば、術者は、体腔内における挿入部4bの形状、即ち、挿入形状画像がループ形状やステッキ形状の場合には、挿入状態を確認したい場合がある。そこで、表示制御部37は、例えば、形状検出部47にループ形状やステッキ形状を示す形状パターンを記憶させておき、挿入形状画像がその形状パターンを形成していることが検出された場合に、体外形画像を表示させるようになっていてもよい。
次に、このように構成された実施の形態の動作について図8及び図9を参照して説明する。図8は第2の実施の形態の動作を説明するためのフローチャートである。図9A~図9Cはモニタ50の表示画面に表示される挿入状態表示画像を示す説明図である。
図8のステップS11において、表示制御部37は形状検出部47から挿入形状の情報を取得する。また、表示制御部37は挿入長算出部46から挿入長の情報を取得する(ステップS12)。表示制御部37は、ステップS13において、検出された挿入形状がループ形状等の特定形状であるか否かを判定する。また、表示制御部37は、ステップS14において、挿入長が特定部位の長さ(例えば40cm)に達したか否かを判定する。
表示制御部37は、ステップS13,S14においていずれもNO判定の場合には、ステップS16において体外形画像の出力中(表示中)であるか否かを判定する。表示制御部37は、体外形画像を表示中の場合には、ステップS17において体外形画像の出力を停止(非表示)して、処理をステップS11に戻す。なお、体外形画像が表示中でない場合には、表示制御部37はステップS16から処理をそのままステップS11に戻す。即ち、ステップS13,S14においていずれもNO判定の場合には体外形画像は表示されない
例えば、挿入長が1cmで、挿入形状が特定形状(例えばループ形状)でない場合には、ステップS13,S14のいずれもNO判定となり、図9Aに示す挿入状態表示画像61が表示される。図9Aの例では、挿入状態表示画像61中には、挿入長が1cmであることを示す挿入長表示64と略直線状の挿入形状画像63が表示されている。
例えば、挿入長が1cmで、挿入形状が特定形状(例えばループ形状)でない場合には、ステップS13,S14のいずれもNO判定となり、図9Aに示す挿入状態表示画像61が表示される。図9Aの例では、挿入状態表示画像61中には、挿入長が1cmであることを示す挿入長表示64と略直線状の挿入形状画像63が表示されている。
表示制御部37は、ステップS13,S14のいずれか一方がYES判定の場合には、処理をステップS15に移行して、体外形画像を出力(表示)して、処理をステップS11に戻す。
例えば、挿入形状は直線状であって、挿入長が40cmである場合には、ステップS14から処理がステップS15に移行して、図9Bに示す挿入状態表示画像61が表示される。図9Bの例では、挿入状態表示画像61中には、挿入長が40cmであることを示す挿入長表示64と略直線状の挿入形状画像63が表示されている。更に、挿入状態表示画像61には、体外形画像65が表示されている。体外形画像65は、人体の輪郭を表す線画像65a、人体のへその部分を表す画像65b及び横隔膜を表す画像65cを含んでいる。
また、例えば、挿入長が40cmを超えたXXXcmであって、挿入形状がループ形状である場合には、ステップS13から処理がステップS15に移行して、図9Cに示す挿入状態表示画像61が表示される。図9Cの例では、挿入状態表示画像61中には、挿入長がXXXcmであることを示す挿入長表示64とループ形状の挿入形状画像63が表示されている。更に、挿入状態表示画像61には、図9Bと同様の体外形画像65が表示されている。
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、挿入長及び挿入形状の少なくとも一方の結果によって、体外形画像の表示又は非表示を切替えることができる。これにより、挿入形状をしっかりと確認したいシーン、例えば、S状結腸等の湾曲状態の部位に挿入しようとしている場合や挿入部がループ形状等になっている場合等において、体外形画像を表示させることができ、挿入状態の確認を容易にすることが可能である。
(第3の実施の形態)
図10は本発明の第3の実施の形態を示すブロック図である。図10において図7と同一の構成要素には同一符号を付して説明を省略する。第2の実施の形態においては、体外形画像の表示又は非表示を挿入長や挿入形状に応じて切替える例を示したが、本実施の形態は挿入長や挿入形状に応じて体外形画像の種類を切替える例を示すものである。
図10は本発明の第3の実施の形態を示すブロック図である。図10において図7と同一の構成要素には同一符号を付して説明を省略する。第2の実施の形態においては、体外形画像の表示又は非表示を挿入長や挿入形状に応じて切替える例を示したが、本実施の形態は挿入長や挿入形状に応じて体外形画像の種類を切替える例を示すものである。
本実施の形態における制御ユニット48は、体外形画像生成部39に代えて体外形画像生成部49を採用した点が図7の制御ユニット45と異なる。体外形画像生成部49は、図示しないメモリに複数種類の体外形画像の表示データを保持し、挿入長算出部46の算出結果及び形状検出部47の検出結果の少なくとも一方の結果に従って、1つの体外形画像を選択して表示制御部37に出力するようになっている。なお、体外形画像生成部49は、挿入長算出部46の算出結果及び形状検出部47の検出結果の少なくとも一方の結果によっては、表示制御部37への体外形画像の出力を停止するようになっていてもよい。
図11は体外形画像生成部49の体外形画像の選択方法の一例を示す説明図である。図11の例は、挿入長がAcm以上Bcm以下の場合、Ccm以上Dcm以下の場合又はYcm以上Zcm以下の場合には、体外形画像生成部49は、詳細な体外形画像を選択してその表示データを表示制御部37に出力することを示している。なお、挿入長のこれらの寸法は、例えば、S状結腸の位置等、挿入困難な部位や、挿入の進捗状況を把握したい部位等を含む長さに設定される。例えば、S状結腸の位置は、肛門から15cmから30cmの範囲とされているため、挿入長の検出範囲を15cm以上30cm以下で設定することになる。また、体外形画像生成部49は、挿入形状がステッキ形状の場合には、詳細な体外形画像を選択してその表示データを表示制御部37に出力し、挿入形状がループ形状の場合には、概略的な体外形画像を選択してその表示データを表示制御部37に出力することを示している。また、体外形画像生成部49は、これらの条件以外の場合には、体外形画像を出力しないことを示している。
なお、詳細な体外形画像は、例えば、体型の輪郭形状や内臓の状態が実際の形状に近い画像であり、概略的な体外形画像は、例えば、体型の輪郭を模式的に表した画像である。
また、図11に示す選択方法は、例えば、制御部31が図示しないメモリに記憶されている情報に基づいて体外形画像生成部49に設定するようになっていてもよい。
次に、このように構成された実施の形態の動作について、図12A及び図12Bの説明図を参照して説明する。図12A及び図12Bはモニタ50の表示画面に表示される挿入状態表示画像を示す説明図である。
体外形画像生成部49は形状検出部47から挿入形状の情報を取得する。また、体外形画像生成部49は挿入長算出部46から挿入長の情報を取得する。体外形画像生成部49は、制御部31に制御されて、挿入長に応じて体外形画像を選択すると共に、挿入形状に応じた体外形画像を選択する。
例えば、いま、挿入長がAcm以上Bcm以下、Ccm以上Dcm以下又はYcm以上Zcm以下のいずれでもなく、また、挿入形状がステッキ形状又はループ形状のいずれでもないものとする。この場合には、体外形画像生成部49は、体外形画像の表示データを出力しない。即ち、この場合には、表示制御部37は、挿入形状画像のみが表示された挿入状態表示画像を表示する。
また、例えば、挿入長がAcm以上Bcm以下、Ccm以上Dcm以下又はYcm以上Zcm以下のいずれでもなく、挿入形状がループ形状であるものとする。この場合には、体外形画像生成部49は、概略的な体外形画像を選択してその表示データを表示制御部37に出力する。この場合には、表示制御部37は、挿入形状画像と概略的な体外形画像とを合成した挿入状態表示画像を表示する。図12Aはこの場合に表示画面50b上に表示される挿入状態表示画像66を示している。
挿入状態表示画像66中には、ループ形状の挿入形状画像67及び概略的な体外形画像68が含まれる。また、挿入状態表示画像66には、挿入長がXXXcmであることを示す挿入長表示69aの他に、挿入形状がループ形状になっていることを示す警告表示69bが含まれる。
挿入状態表示画像66を参照することによって、術者は容易に挿入部4bの挿入形状がループ形状になっていること及び挿入部4bの体腔内におけるおおよその位置を、把握することが可能である。この場合には、挿入部4bの詳細な挿入位置を知る必要はない場合が多く、詳細な体外形画像を表示するよりも、概略的な体外形画像68の表示によって、ループ形状の直感的な把握が容易となる。
また、例えば、挿入長がAcm以上Bcm以下、Ccm以上Dcm以下若しくはYcm以上Zcm以下であるか、又は、挿入形状がステッキ形状であるものとする。この場合には、体外形画像生成部49は、詳細な体外形画像を選択してその表示データを表示制御部37に出力する。この場合には、表示制御部37は、挿入形状画像と詳細な体外形画像とを合成した挿入状態表示画像を表示する。図12Bはこの場合に表示画面50b上に表示される挿入状態表示画像70を示している。
挿入状態表示画像70中には、挿入形状画像71及び詳細な体外形画像72が含まれる。また、挿入状態表示画像70には、挿入長が例えばAcm以上Bcm以下に含まれる13cmであることを示す挿入長表示73aが含まれる。
詳細な体外形画像72は、人体の実際の体型に近い形状の体外形の輪郭画像72aを有すると共に、腸管モデル画像72bを有する。そして、挿入形状画像71によって挿入部4bが腸管モデル画像72b中のいずれの位置に挿入されているかが示されている。
挿入状態表示画像70を参照することによって、術者は挿入部4bが体腔内のいずれの位置に位置しているかを、容易に把握することが可能である。例えば、S状結腸近傍に挿入部4bが到達している場合においてこのような詳細な体外形画像72が表示される。挿入が困難なこのような部位において、詳細な体外形画像72が表示されるので、術者は、挿入部4bが腸管内のいずれの位置まで挿入されたかを確実に把握することができ、挿入部4bの挿入作業に極めて有効である。
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、挿入長及び挿入形状の少なくとも一方の結果によって、異なる種類の体外形画像を表示することができ、挿入する各シーンに応じた適切な体外形画像を表示させることができる。これにより、術者は、容易且つ確実に挿入状態を確認することができる。
(第4の実施の形態)
図13は本発明の第4の実施の形態を示すブロック図である。図13において図10と同一の構成要素には同一符号を付して説明を省略する。第3の実施の形態においては、挿入長及び挿入形状の少なくとも一方の結果に従って、複数種類の体外形画像から1つの画像を選択して表示した。これに対し、本実施の形態は、挿入長及び挿入形状画像に従って体外形画像を変形させて表示させるものである。
図13は本発明の第4の実施の形態を示すブロック図である。図13において図10と同一の構成要素には同一符号を付して説明を省略する。第3の実施の形態においては、挿入長及び挿入形状の少なくとも一方の結果に従って、複数種類の体外形画像から1つの画像を選択して表示した。これに対し、本実施の形態は、挿入長及び挿入形状画像に従って体外形画像を変形させて表示させるものである。
本実施の形態における制御ユニット51は、体外形画像生成部49に代えて体外形画像生成部52を採用した点が図10の制御ユニット48と異なる。体外形画像生成部52は、図示しないメモリに腸管モデルを含む詳細な体外形画像の表示データを保持している。また、体外形画像生成部52は、挿入長算出部46の算出結果及びスコープモデル生成部35からの挿入形状画像に従って、体外形画像の腸管モデル画像を変形させて表示制御部37に出力するようになっている。
挿入部4bを腸管内に挿入する場合には、実際には、腸管は著しく変形する。また、腸管の屈曲が大きい場合には、挿入部4bを挿入することは困難である。そこで、吸引等の係止力を利用して挿入部4bの先端を腸管内に引っかけ、挿入部4bを牽引等して腸管を直線状に変形させながら、挿入部4bを進入させる技術が採用されることがある。本実施の形態はこのような実際の挿入時の様子を表示可能にするものであり、挿入長及び挿入形状画像の形状に従って腸管モデルを変形させた体外形画像を表示するものである。
例えば、体外形画像生成部52は、算出された挿入長に基づいて、挿入部4bが腸管モデル上のいずれの位置に位置するかを把握する。また、体外形画像生成部52は、スコープモデル生成部35からの情報を用いて挿入形状画像の各部の曲率を求める。体外形画像生成部52は、挿入長に対応する腸管モデルの画像部分を、挿入形状画像の曲率に応じた角度に屈曲させる。
例えば、S状結腸においては、腸管モデル画像は比較的大きい曲率で屈曲している。挿入部4bの実際の挿入時には、S状結腸部分は、比較的直線状に変形する。体外形画像生成部52は、挿入形状画像の屈曲率に応じた屈曲率となるように、S状結腸の画像部分を変形させた体外形画像を生成して出力する。
次に、このように構成された実施の形態の動作について、図14A及び図14Bの説明図を参照して説明する。図14A及び図14Bはモニタ50の表示画面に表示される挿入状態表示画像を示す説明図である。
体外形画像生成部52は挿入長算出部46から挿入長の情報を取得する。また、体外形画像生成部52はスコープモデル生成部35から挿入形状画像の情報を取得する。体外形画像生成部52は、挿入長によって、挿入部4bが体腔内のいずれの位置に位置するかをおおよそ把握する。そして、体外形画像生成部52は、挿入長から求めた体腔内の部位における腸管モデル画像の部分を、当該部位に位置する挿入形状画像の曲率に基づいて変形させる。
例えば、いま、挿入長が比較的短く、挿入部4bの先端はS状結腸部分に到達していないものとする。この場合には、例えば図14Aに示す挿入状態表示画像70が表示される。挿入状態表示画像70中には、挿入形状画像71a及び詳細な体外形画像79aが含まれる。また、挿入状態表示画像70aには、挿入長が13cmであることを示す挿入長表示73aが含まれる。
詳細な体外形画像79aは、人体の実際の体型に近い形状の体外形の輪郭画像72aを有すると共に、腸管モデル画像72bを有する。そして、挿入形状画像71aによって挿入部4bが腸管モデル画像72b中のいずれの位置に挿入されているかが示されている。
術者が更に挿入部4bを腸管内に挿入させるものとする。例えば、挿入長がS状結腸部分を通過し下降結腸部分に到達したことを示す30cmになるものとする。この場合には、体外形画像生成部52は、このS状結腸の画像部分を、当該部位に位置する挿入形状画像の各部の曲率に基づいて変形させる。
図14Bはこの場合の表示画面50b上に表示される挿入状態表示画像70bを示している。挿入状態表示画像70b中には、挿入形状画像71b及び詳細な体外形画像79bが含まれる。また、挿入状態表示画像70bには、挿入長が30cmであることを示す挿入長表示73aが含まれる。
体外形画像79bは、人体の実際の体型に近い形状の体外形の輪郭画像72aを有すると共に、腸管モデル画像72cを有する。そして、腸管モデル画像72cはS状結腸部分において、挿入形状画像71bに応じた屈曲率となって、直線形状に近い形に変形された画像部分78を有する。この画像部分78を含む腸管モデル画像72c及び挿入形状画像71bを参照することで、挿入部4bの挿入によって、腸管がどのように変形しながら、挿入部4bが腸管モデルのいずれの位置まで挿入されているかを、容易に把握することが可能である。
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、挿入長及び挿入形状画像の結果によって、体外形画像を変形させて表示することができ、挿入する各シーンに応じた適切な体外形画像を表示させることができ、容易且つ確実に挿入状態を確認することができる。
なお、上記実施の形態においては、挿入長及び挿入形状画像に基づいて体外形画像を変形させるものと説明したが、変形後の形状が既知の場合には、変更後の形状に対応する複数の体外形画像を登録し、挿入長及び挿入形状画像に基づいて対応する体外形画像を選択するようにしてもよい。
(変形例)
図15は変形例を説明するための説明図である。上記各実施の形態においては、マーカ41によって被検体Pの肛門位置を常に検出しているものとして説明した。しかし、検査開始時のみにマーカ41を用いて肛門位置を検出し、以後マーカ41を用いない場合もある。この場合において患者の肛門位置が変化すると、体外形画像はその肛門位置を表示画面上の基準位置に一致させているのに対し、挿入形状画像は実際とは異なる肛門位置を基準位置に一致させた状態で表示されることになり、挿入形状画像と体外形画像との位置合わせにずれが生じる。
図15は変形例を説明するための説明図である。上記各実施の形態においては、マーカ41によって被検体Pの肛門位置を常に検出しているものとして説明した。しかし、検査開始時のみにマーカ41を用いて肛門位置を検出し、以後マーカ41を用いない場合もある。この場合において患者の肛門位置が変化すると、体外形画像はその肛門位置を表示画面上の基準位置に一致させているのに対し、挿入形状画像は実際とは異なる肛門位置を基準位置に一致させた状態で表示されることになり、挿入形状画像と体外形画像との位置合わせにずれが生じる。
ところで、通常検査時には、患者は仰臥位と側臥位とで向きを変えるだけで、肛門位置は検査開始時に検出した肛門位置を含む所定の平面内に位置するものと考えられる。そこで、本変形例は、患者Pがベッド6の長手方向に平行に寝ているものとし、肛門位置は、検査開始時に検出した肛門位置を含む平面であって、ベッド6の長手方向に直交する平面(以下、挿入位置平面という)内で移動するものと仮定し、この平面内又はその近傍に位置する送信コイル24(以下、肛門位置コイルという)の位置座標を肛門位置座標に設定して、位置合わせを行うものである。
図15の左側は第1の実施の形態において患者の肛門位置が変化した場合の挿入状態表示画像61aを示している。挿入状態表示画像61aは、挿入形状画像63aと体外形画像65とを含む。体外形画像65はその肛門位置が表示画面50b上の基準位置62に一致させた状態で表示されている。これに対し、挿入形状画像63aは、実際の肛門位置63cとは異なる検査開始時の肛門位置を基準位置62に一致させた状態で表示されており、挿入形状画像63aと体外形画像65との位置合わせにずれが生じている。
これに対し、本変形例においては、表示画面50b上には、図15の右側に示す挿入状態表示画像61bを表示する。挿入状態表示画像61bは、挿入形状画像63bと体外形画像65とを含む。体外形画像65はその肛門位置が表示画面50b上の基準位置62に一致させた状態で表示されている。
本変形例においては、表示制御部37は、肛門位置コイルの位置によって求めた肛門位置63cを基準位置62に一致させるように挿入形状画像63bを表示させている。即ち、挿入形状画像63bは、実際の肛門位置が基準位置62に一致するように表示されており、挿入形状画像63bと体外形画像65とは位置合わせされた状態で表示されている。
このように本変形例においては、肛門位置が挿入位置平面内で移動する場合であっても、挿入形状画像と体外形画像とは位置合わせした状態で表示することができるという利点がある。
(第5の実施の形態)
図16は本発明の第5の実施の形態を示すブロック図である。図16において図1と同一の構成要素には同一符号を付して説明を省略する。上記変形例においては、肛門位置が挿入位置平面内であれば、挿入形状画像と体外形画像とは位置合わせした状態で表示することができる。しかし、実際には、患者Pの肛門位置は検査開始時に求めた挿入位置平面からずれることがある。また、上記各実施の形態においては、患者Pはベッド6の長手方向に平行な状態で横たわっていることを前提にしており、患者Pがベッド6の長手方向に対して傾斜して横たわった場合には、表示画面50b上における挿入形状画像も傾斜して表示されてしまう。また、患者Pが仰臥位と側臥位とで姿勢を変えた場合に拘わらず挿入形状画像を変化させないためには、操作パネル38等により患者Pの向きに応じて計測座標系と表示座標系との座標変換の変換方法を変更するための操作を行う必要がある。本実施の形態はこれらの問題を解決し、自動的に最適な挿入状態表示画像を表示可能にするものである。
図16は本発明の第5の実施の形態を示すブロック図である。図16において図1と同一の構成要素には同一符号を付して説明を省略する。上記変形例においては、肛門位置が挿入位置平面内であれば、挿入形状画像と体外形画像とは位置合わせした状態で表示することができる。しかし、実際には、患者Pの肛門位置は検査開始時に求めた挿入位置平面からずれることがある。また、上記各実施の形態においては、患者Pはベッド6の長手方向に平行な状態で横たわっていることを前提にしており、患者Pがベッド6の長手方向に対して傾斜して横たわった場合には、表示画面50b上における挿入形状画像も傾斜して表示されてしまう。また、患者Pが仰臥位と側臥位とで姿勢を変えた場合に拘わらず挿入形状画像を変化させないためには、操作パネル38等により患者Pの向きに応じて計測座標系と表示座標系との座標変換の変換方法を変更するための操作を行う必要がある。本実施の形態はこれらの問題を解決し、自動的に最適な挿入状態表示画像を表示可能にするものである。
本実施の形態における制御ユニット55は、体外形画像生成部39及び表示制御部37にそれぞれ代えて、体外形画像生成部56及び表示制御部57を採用すると共に、姿勢検出部58を設けた点が図1の制御ユニット10と異なる。また、本実施の形態においては、プレート59を採用している。
プレート59は、例えば平板状の部材であり、例えば3箇所に図示しない送信コイルが設けられている。プレート59に設けられた3箇所の送信コイルは、プレート59の平面(以下、プレート平面という)の位置及び向きを決定するものであり、例えば、3箇所の送信コイルの全ての位置を含む平面をプレート平面としてもよい。プレート59は、患者Pの体表面の胴体等の所定位置に例えば貼り付けて固定するようになっている。従って、患者Pが例えば仰臥位と側臥位との間で向きが変わった場合や、患者Pがベッド6の長手方向に対して所定の角度を有している場合等においては、プレート平面の向きは、患者Pの向きに応じたものとなる。また、患者Pの肛門位置の変化に拘わらず、プレート平面の位置、例えばプレート平面の重心位置と患者Pの肛門位置との位置関係は変化しない。従って、検査開始時のみマーカ41が使用される場合でも、検査開始時に求めた肛門位置座標を用いて、プレート平面の位置から実際の肛門位置座標を求めることができる。
プレート59の送信コイルは、制御ユニット10の送信部32から高周波の正弦波がそれぞれ供給されるようになっている。プレート59に設けられた各送信コイルは高周波正弦波が印加されることで、磁界を伴う電磁波を周囲に放射する。受信アンテナ7は、センスコイルによって、プレート59の送信コイルが発生した磁界を受信して電圧信号に変換し、検出結果として出力する。受信アンテナ7の検出結果は制御ユニット10の受信部33に与えられる。受信部33は、受信アンテナ7からの信号に対して増幅処理等の所定の信号処理を施した後位置算出部34に出力する。位置算出部34は、公知の位置推定アルゴリズムに基づいて、受信信号からプレート59の各送信コイルの受信アンテナ7の位置を基準とした位置座標をそれぞれ算出する。
位置算出部34によるプレート59の各送信コイルの位置座標の算出結果は姿勢検出部58に供給される。姿勢検出部58は、プレート59の各送信コイルの位置座標から、プレート平面の位置及び向きを求めることができる。姿勢検出部58は、プレート平面の位置及び向きを体外形画像生成部56及び表示制御部57に出力するようになっている。
体外形画像生成部56は、図示しないメモリに体の前面(腹部)側から見た体外形画像の表示データと体の側面(体側)側から見た体外形画像の表示データとを有しており、制御部31に制御されて、腹部側から見た体外形画像(以下、前面体外形画像という)、右体側側から見た体外形画像(以下、右体外形画像という)及び左体側側から見た体外形画像(以下、左体外形画像という)のうちの1つを選択的に表示制御部57に出力するようになっている。なお、体外形画像生成部56は、姿勢検出部58の検出結果に基づいて、視点が異なるこれらの複数の体外形画像のうち1つの体外形画像を選択して表示制御部57に出力するようになっていてもよい。
表示制御部57は、制御部31に制御されて、スコープモデル表示部36から挿入形状画像の表示データが与えられ、体外形画像生成部56から体外形画像の表示データが与えられ、モニタ50の表示画面50b上に挿入状態表示画像を表示させる。この場合において、表示制御部57は、計測座標系から表示座標系への変換を、姿勢検出部58の検出結果に基づいて変更することで、挿入形状画像の位置及び向きを変化させるようになっている。
即ち、表示制御部57は、プレート平面の向きに応じて挿入形状画像を回転させることで、患者Pが側臥位と仰臥位との間のいずれの姿勢の場合にも、常に同じ向きから見た挿入形状画像を表示させることができる。
次に、このように構成された実施の形態の動作について、図17A~図17Cの説明図を参照して説明する。図17A~図17Cはモニタ50の表示画面に表示される挿入状態表示画像を示している。
姿勢検出部58は、プレート59のプレート平面の位置及び向きを検出して検出結果を体外形画像生成部56及び表示制御部57に出力する。体外形画像生成部56は、制御部31に制御されて、前面体外形画像、右体外形画像及び左体外形画像の1つを選択的に表示制御部57に出力する。表示制御部57は挿入形状画像の例えば肛門位置と体外形画像の肛門位置とを表示画面50bの基準位置に位置合わせして合成した挿入状態表示画像をモニタ50の表示画面50b上に表示させる。
いま、患者Pが仰臥位の状態において、モニタ50の表示画面50b上に図17Aに示す挿入状態表示画像74aが表示されているものとする。即ち、表示制御部57は、体外形画像生成部56からの前面体外形画像76aと患者Pの腹部側から見た挿入形状画像75aとを合成する。体外形画像76a中には臍部76aaの画像部分も含まれる。
この状態で患者Pが側臥位の状態に姿勢を変えるものとする。この場合には、位置算出部34によって検出される各コイル位置の軌跡は、仰臥位の状態において検出される各コイル位置の軌跡を肛門位置を通りベッド6の長手方向の直線を軸にして回転させたものとなる。この回転を逆回転させるように、表示制御部57は、姿勢検出部58からのプレート平面の傾きに応じて、スコープモデル表示部36からの挿入形状画像に対する座標変換を行う。これにより、表示制御部57は、患者Pが側臥位の状態に姿勢を変えた場合でも、図17Aに示す挿入状態表示画像74aを表示し続ける。
また、体外形画像生成部56から図17Bに示す右体外形画像76bが出力されているものとする。この場合には、表示制御部57は、図17Bに示す挿入状態表示画像74bを表示する。挿入状態表示画像74bには、右体外形画像76bと挿入形状画像75bとが含まれており、体外形画像76b中には臍部76baの画像部分も含まれる。
この場合においても、表示制御部57は、姿勢検出部58からのプレート平面の傾きに応じてスコープモデル表示部36からの挿入形状画像を回転させるように座標変換を行う。これにより、患者Pの姿勢に拘わらず、図17Bに示す挿入状態表示画像74bが表示し続けられる。
また、体外形画像生成部56から図17Cに示す左体外形画像76cが出力されているものとする。この場合には、表示制御部57は、図17Cに示す挿入状態表示画像74cを表示する。挿入状態表示画像74cには、右体外形画像76cと挿入形状画像75cとが含まれており、体外形画像76c中には臍部76caの画像部分も含まれる。
この場合においても、表示制御部57は、姿勢検出部58からのプレート平面の傾きに応じてスコープモデル表示部36からの挿入形状画像を回転させるように座標変換を行う。これにより、患者Pの姿勢に拘わらず、図17Cに示す挿入状態表示画像74cが表示し続けられる。
なお、上記説明では、プレート平面の位置及び向きを検出して、挿入形状画像の座標変換を制御することで、視点が同一の体外形画像及び挿入形状画像を位置合わせして表示する例を説明したが、プレート平面の位置及び向きを検出して、検出結果に応じて体外形画像の種類を変更することで、患者Pの姿勢に応じて視点が変化する体外形画像及び挿入形状画像を位置合わせして表示することも可能である。
なお、表示制御部57は、ベッド6の長手方向に対するプレート平面の傾きに応じて表示画面50bの基準位置を中心に挿入形状画像を回転させることで、患者Pがベッド6の長手方向に対して所定の角度傾斜して横たわった場合でも、常に患者Pがベッド6の長手方向に平行に横たわった場合と同様の挿入形状画像を表示させることができる。
また、同様に、表示制御部57は、プレート平面の位置の変化に応じて変更した肛門位置座標を表示画面50bの基準位置に一致させることで、患者Pの肛門位置が検査開始時に求めた挿入位置平面からずれた場合でも、常に挿入形状画像と体外形画像とを正しく位置合わせした挿入状態表示画像を表示させることができる。
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、患者に固定するプレートを用い、プレート平面の位置及び向きを検出して、座標変換の変換方法を変更することで、患者の位置や向きに拘わらず、挿入形状画像及び体外形画像を位置合わせた挿入状態表示画像を表示することができる。
(第6の実施の形態)
図18は本発明の第6の実施の形態を示すブロック図である。図18において図1と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は体外形画像を患者の寸法に応じたサイズに変更可能にしたものである。
図18は本発明の第6の実施の形態を示すブロック図である。図18において図1と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は体外形画像を患者の寸法に応じたサイズに変更可能にしたものである。
本実施の形態における制御ユニット80は、体外形画像生成部39に代えて体外形画像生成部81を採用すると共に、位置情報検出部82及び寸法測定部83を設けた点が図1の制御ユニット10と異なる。また、本実施の形態においては、マーカ84を採用している。
マーカ84はマーカ41と同様に図示しない送信コイルを内蔵しており、この送信コイルには送信部32から高周波正弦波が印加されるようになっている。マーカ84は、送信部32から高周波正弦波が印加されると磁界を発生する。この磁界は受信アンテナ7によって受信され、受信アンテナ7の検出結果が受信部33を介して位置情報検出部82に供給される。位置情報検出部82は、位置算出部34と同様の動作により計測座標系におけるマーカ84の位置座標を取得して、取得した位置座標を寸法測定部83に出力する。
本実施の形態においては、マーカ84は患者の寸法を求めるために用いる。例えば、マーカ84を患者の胴体の複数カ所に配置して患者の寸法を求める。例えば、マーカ84を臍部の高さにおける両体側の2箇所の位置及び肛門位置の計3箇所に配置した状態で、位置座標を取得する。
寸法測定部83は、患者の胴体の複数箇所の位置座標が与えられ、これらの位置座標を用いて、患者の寸法を測定する。例えば、寸法測定部83は、患者の胴体の横幅及び縦方向の長さ等を求めてもよい。寸法測定部83の測定結果は体外形画像生成部81に与えられる。
体外形画像生成部81は、図示しないメモリに体外形画像の表示データを保持しており、制御部31に制御されて、寸法測定部83の測定結果に基づいて体外形画像を縦横方向に拡大又は縮小して縮尺を変更した後、表示制御部37に出力するようになっている。
図19は患者の寸法の求め方及び体外形画像の生成方法の一例を示す説明図である。図19の左側はマーカ84による患者Pの体表面の位置の検出結果を示し、中央は寸法測定部83による寸法の測定を示し、右側は体外形画像の拡大縮小を示している。
例えば、図19の左側の丸数字1は患者Pの臍部の高さにおける右側体側の位置を示し、丸数字2は患者Pの臍部の高さにおける左側体側の位置を示し、丸数字3は患者Pの肛門位置を示している。これらの位置情報が寸法測定部83に供給される。
寸法測定部83は、入力された位置情報に基づいて、図19の中央に示すように、丸数字1,2で示す右体側の位置と左体側の位置との間の長さ(胴体横幅)を求める。また、寸法測定部83は、丸数字1,2で示す右体側の位置と左体側の位置との間を結ぶ直線から丸数字3で示す肛門位置までの長さ(胴体長さ)を求める。胴体横幅及び胴体長さの情報は体外形画像生成部81に供給される。
体外形画像生成部81に記憶されている体外形画像は、例えば、図19の右側に示すように、体の輪郭を示す湾曲部、横隔膜を示す横隔膜部及び臍部の位置を示す臍部の画像部分を有する。体外形画像生成部81は、両体側を示す湾曲部の臍部の高さの位置の部分(丸印部分)同士の間隔が胴体横幅に一致するように体外形画像の横幅を拡大又は縮小させる。また、体外形画像生成部81は、臍部から丸数字3で示す肛門位置までの間隔が胴体長さに一致するように体外形画像の縦方向を拡大又は縮小させる。なお、図19の右側は、拡大又は縮小後の体外形画像を示している。
次に、このように構成された実施の形態の動作について、図20の説明図を参照して説明する。図20はモニタ50の表示画面に表示される挿入状態表示画像を示している。
術者は、患者Pの寸法を求めるために、マーカ84を患者Pの各部に配置する。位置情報検出部82は、患者Pの各部に配置されたマーカ84の各位置情報を取得して寸法測定部83に出力する。寸法測定部83は、入力された複数の位置情報に基づいて、患者Pの寸法を求める。例えば、寸法測定部83は、患者Pの胴体横幅及び胴体長さを求めて体外形画像生成部81に出力する。
体外形画像生成部81は、入力された患者Pの寸法に対応させて、記憶されている体外形画像を拡大又は縮小して、患者Pの寸法に合わせた体外形画像を生成して表示制御部37に出力する。
例えば、比較的痩せた患者の体腔内に挿入部4bを挿入するものとする。この場合には、患者寸法の測定結果によって、体外形画像生成部81は、胴体横幅が比較的狭い体外形画像を生成する。図20の上側はこの場合においてモニタ50の表示画面50b上に表示される挿入状態表示画像86aを示している。挿入状態表示画像86aには、挿入形状画像87と体外形画像88aとが含まれている。体外形画像88a中には臍部88aaの画像部分も含まれる。
体外形画像88aのサイズは、患者Pの各部の位置情報を求めて得たサイズに対応したものであり、挿入部4b内の各送信コイル24の位置情報に基づいて生成された挿入形状画像87のサイズに対応したものとなっている。従って、挿入状態表示画像86a中の挿入形状画像87及び体外形画像88aによって、挿入部4bが患者Pの体腔内のいずれの位置まで挿入されているかを正確に把握することが可能である。
また、例えば、比較的太った患者の体腔内に挿入部4bを挿入するものとする。この場合には、患者寸法の測定結果によって、体外形画像生成部81は、胴体横幅が比較的広い体外形画像を生成する。図20の下側はこの場合においてモニタ50の表示画面50b上に表示される挿入状態表示画像86bを示している。挿入状態表示画像86bには、挿入形状画像87と体外形画像88bとが含まれている。体外形画像88b中には臍部88baの画像部分も含まれる。
体外形画像88bのサイズは、患者Pの各部の位置情報を求めて得たサイズに対応したものであり、挿入形状画像87のサイズに対応したものとなっている。従って、挿入状態表示画像86b中の挿入形状画像87及び体外形画像88bによって、挿入部4bが患者Pの体腔内のいずれの位置まで挿入されているかを正確に把握することが可能である。
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、患者のサイズに応じたサイズの体外形画像を表示することができることから、患者の体腔内のいずれの位置まで挿入部が挿入されているかを、挿入形状画像及び体外形画像による挿入状態表示画像によって正確に把握することが可能である。
なお、胴体横幅や胴体長さに基づいて体外形画像を拡大、縮小する例を説明したが、胴体横幅や胴体寸法に限らず、患者の各部寸法、例えば腹部の厚み等を用いて、体外形画像を拡大、縮小するようになっていてもよい。
(第7の実施の形態)
図21は本発明の第7の実施の形態を示すブロック図である。図21において図1と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は患者の体型に応じた形状を有する体外形画像を表示するようにしたものである。
図21は本発明の第7の実施の形態を示すブロック図である。図21において図1と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は患者の体型に応じた形状を有する体外形画像を表示するようにしたものである。
本実施の形態における制御ユニット90は、体外形画像生成部39に代えて体外形画像生成部91を採用すると共に、受信部92及び患者情報取得部93を設けた点が図1の制御ユニット10と異なる。
ビデオプロセッサ12には、検査等を行う患者Pについての患者情報が登録されている。患者情報としては、患者ID、患者名、性別、身長、体重、BMI(ボディー・マス・インデックス)値等がある。
受信部92は、制御部31に制御されて、所定のタイミングでビデオプロセッサ12から患者情報を受信して患者情報取得部93に供給するようになっている。患者情報取得部93は、患者情報を取得し、患者の体型に関する情報(以下、体型情報という)、例えば、身長、体重、BMI値等の体型情報を体外形画像生成部91に出力するようになっている。
体外形画像生成部91は、図示しないメモリに複数種類の体型に応じた体外形画像の表示データを保持しており、制御部31に制御されて、患者情報取得部93からの体型情報に基づいて、対応する体型の体外形画像を選択して表示制御部37に出力するようになっている。例えば、体外形画像生成部91は、A体型、Y体型、AB体型、B体型、Sサイズ、Mサイズ、Lサイズ等の体型及び身長等の区分に対応する各種体外形画像を保持している。
例えば、体外形画像生成部91は、体型情報中の身長の情報に基づいてS~Lサイズのいずれに対応した体外形画像であるかを判定し、体型情報中の体重又はBMI情報に基づいてA体型~B体型のいずれに対応した体外形画像であるかを判定してもよい。
また、例えば、体外形画像生成部91は、胴体横幅と胴体長さがそれぞれ異なる複数の種類の体外形画像を記憶しておき、体重又はBMI情報に基づいて胴体横幅を決定し、身長の情報に基づいて胴体長さを決定して、対応する体外形画像を選択して出力するようになっていてもよい。
次に、このように構成された実施の形態の動作について、図20の説明図を参照して説明する。図20はモニタ50の表示画面に表示される挿入状態表示画像を示している。
制御部31は、受信部92を制御して、ビデオプロセッサ12から患者Pの患者情報を受信させる。患者情報取得部93は、患者情報を取得して、体型情報を体外形画像生成部91に出力する。
体外形画像生成部91は、入力された患者Pの体型情報に対応させて、記憶されている体外形画像のうちの1つを選択して、患者Pの体型等に合わせた体外形画像を表示制御部37に出力する。
例えば、比較的痩せた患者の体腔内に挿入部4bを挿入するものとする。この場合には、患者Pの体型情報によって、体外形画像生成部91は、胴体横幅が比較的狭い体外形画像を生成する。この場合には、例えば、図20の上側に示す挿入状態表示画像86aがモニタ50の表示画面50b上に表示される。
また、例えば、比較的太った患者の体腔内に挿入部4bを挿入するものとする。この場合には、患者Pの体型情報によって、体外形画像生成部91は、胴体横幅が比較的広い体外形画像を生成する。この場合には、例えば、図20の下側に示す挿入状態表示画像86bがモニタ50の表示画面50b上に表示される。
体外形画像88a,88bの形状は、患者Pの体型情報に基づくものであり、挿入形状画像87のサイズに対応したものとなっている。従って、どのような体型の患者Pを検査する場合でも、挿入状態表示画像86a,86bによって、挿入部4bが患者Pの体腔内のいずれの位置まで挿入されているかを正確に把握することが可能である。
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、患者の体型情報に応じた体型の体外形画像を表示することができることから、患者の体腔内のいずれの位置まで挿入部が挿入されているかを、挿入形状画像及び体外形画像による挿入状態表示画像によって正確に把握することが可能である。
(変形例)
上記第6の実施の形態においては、患者Pの寸法を計測して、寸法の計測結果に基づいて体外形画像を拡大又は縮小することで、患者Pの寸法に対応したサイズの体外形画像を表示したが、第7の実施の形態と組み合わせて、患者情報を取得し、患者の体型情報に基づいて体外形画像を拡大又は縮小することで、患者Pの体型情報に対応した体型の体外形画像を表示するようにしてもよい。
上記第6の実施の形態においては、患者Pの寸法を計測して、寸法の計測結果に基づいて体外形画像を拡大又は縮小することで、患者Pの寸法に対応したサイズの体外形画像を表示したが、第7の実施の形態と組み合わせて、患者情報を取得し、患者の体型情報に基づいて体外形画像を拡大又は縮小することで、患者Pの体型情報に対応した体型の体外形画像を表示するようにしてもよい。
また、上記第7の実施の形態においては、患者Pの患者情報を取得して、患者の体型情報に基づく体型の体外形画像を選択することで、患者Pの体型情報に対応した体型の体外形画像を表示したが、第6の実施の形態と組み合わせて、患者Pの寸法を計測して、寸法の計測結果に基づいて、対応するサイズの体外形画像を選択することで、患者Pの寸法に対応したサイズの体外形画像を表示するようにしてもよい。
ところで、上述したように、挿入部は、体腔内においてループ形状となることがある。この場合には、術者はモニタの表示画面上の挿入形状画像から、挿入部がループ形状となったことを認識する。なお、ループ部分における挿入形状画像は、視点手前側の画像部分と視点奥側の画像部分とが重なった表示となる。
しかしながら、モニタ上に表示される挿入形状画像は、ループ部分における視点手前側の画像部分と視点奥側の画像部分とで色の変化が小さいことから、奥行きを感じにくく、挿入部がどのようにループしているかを認識し難いという問題があった。
図22はこのような問題を解決することが可能な例を示すブロック図である。図22において図7と同一の構成要素には同一符号を付して説明を省略する。
制御ユニット100は、交差範囲検出部101、奥行き判定部102及び視点変更指示部103が設けられている。交差範囲検出部101は、形状検出部47からループ形状の検出結果が与えられ、ループ形状部分の交差範囲を検出して、検出結果を視点変更指示部103に出力する。また、奥行き判定部102は、位置算出部34から挿入部4bの各部についての位置情報が与えられて当該各部の奥行きを判定し、判定結果を視点変更指示部103に出力する。
視点変更指示部103は、交差範囲検出部101の交差範囲の検出結果と奥行き判定部102の奥行き判定結果とに基づいて、視点を変更するための制御信号を発生してスコープモデル表示部36に与えるようになっている。例えば、視点変更指示部103は、ループ部分の交差点を拡大表示したり、交差点を画面中央に表示させたりするための制御信号を発生してもよい。
図23はこの場合において、モニタ50の表示画面に表示される挿入形状画像の例を示す説明図である。
図23中の挿入形状画像111aは、視点変更を行っていない挿入形状を示しており、挿入形状を示す画像112aが表示されている。例えば、この画像112aは、患者Pの肛門位置を表示画面50bの下端に一致させたものである。なお、図23中の黒丸印は、視点手前側の挿入部と視点奥側の挿入部との交差点113aを示している。
視点変更指示部103は、例えば、この交差点を含む所定範囲を表示画面50bに拡大して表示させる。図23中の挿入形状画像111bは、このような拡大表示を行った挿入形状を示しており、挿入形状を示す画像112bが表示されている。拡大した挿入形状画像111bでは、交差点113b部分が拡大されて見やすくなっており、モニタ上においても、視点手前側の画像と視点奥側の画像とを容易に認識することが可能である。
また、例えば、視点変更指示部103は、ループ部分の交差点を表示画面50bの中央に表示させる。図23中の挿入形状画像111cは、このような視点変更を行った挿入形状を示しており、挿入形状を示す画像112cが表示されている。この挿入形状画像111cでは、交差点113c部分が画面中央に配置されて見やすくなっており、モニタ上においても、視点手前側の画像と視点奥側の画像とを容易に認識することが可能である。
このように図22の装置は、モニタ上に表示される挿入形状画像の交差点部分の視認性を向上させることができ、ループ部分における視点手前側の画像部分と視点奥側の画像部分とを認識し易くなる。これにより、挿入部がどのようにループしているかを認識しやすいという効果が得られる。
図24はループ部の確認が困難な問題を解決することが可能な他の例を示すブロック図である。図24において図22と同一の構成要素には同一符号を付して説明を省略する。
制御ユニット120は、視点変更指示部103に代えて、マーク画像選択部121、画像登録部122、マーク画像表示部123及びオーバレイ処理部124を採用した点が図22の制御ユニット100と異なる。
図24の例は、ループ部の確認を容易にするためのマーク画像を表示するものであり、画像登録部122にはこのマーク画像が登録されている。マーク画像選択部121は、奥行き判定部102の判定結果に従って、画像登録部122に登録されているマーク画像から1つ又は複数のマーク画像を選択してマーク画像表示部123に出力する。
マーク画像表示部123は、モニタ50の表示画面50b上にマーク画像を表示するマーク画像表示領域の表示データを生成する。マーク画像表示部123は、交差範囲検出部101の検出結果が与えられて、ループ部の交差点近傍にマーク画像表示領域を設定するようになっている。
オーバレイ処理部124は、入力された表示データに基づいて、モニタ50の表示画面上に、スコープモデル表示部36からの挿入形状画像とマーク画像表示領域の画像とを重畳表示させるようになっている。
図25A及び図25Bはこの場合において、モニタ50の表示画面に表示される挿入形状画像の例を示す説明図である。
図25Aは表示画面50b上に表示された挿入状態表示画像125を示している。挿入状態表示画像125には、挿入形状画像126が含まれる。更に、挿入状態表示画像125中には、マーク画像表示領域127が設けられている。なお、図25Aでは図面の簡略化のためのマーク画像表示領域127中のマーク画像は図示を省略している。
図25Bは、マーク画像表示領域127中に表示されるマーク画像の一例を示している。図25Bの例では、3種類のマーク画像を表示した例を示しているが、1つ以上のマーク画像が表示されていればよい。
図25B中のマーク画像127aは、分割された横方向に延びる直線画像とこの分割部分に配置された縦方向に延びる直線画像とを含むものである。マーク画像127aは横方向の直線画像が分割されることで、挿入形状画像126のうち縦方向に延びる画像部分が視点手前側の画像であり、横方向に延びる画像部分が視点奥側の画像であることを示している。
図25B中のマーク画像127bは、矢印の方向によって視点手前側の画像部分がいずれの方向に延びているかを示すものである。図25Bの例では、マーク画像127bによって、挿入形状画像126のうち縦方向に延びる画像が視点手前側の画像であることを示している。
図25B中のマーク画像127cは、ループを解消する挿入部のねじり方向を示すものである。図25Bの例では、マーク画像127cによって、挿入部を右回転させることで、挿入形状画像126によって示される挿入部4bのループが解消されることを示している。
このように図24の装置は、視認性に優れたマーク画像を利用することで、挿入形状画像の交差点部分におけるいずれの画像部分が視点手前側であるか視点奥側であるかを認識しやすくすることができる。また、図24の装置では、ループを解消するためのねじり方向を容易に把握できるようにすることもできる。
なお、上記各図に示した挿入形状画像は、輪郭線のみによって表されているが、実際のモニタ上に表示される挿入形状画像は、輪郭線を有している訳ではなく、挿入部の形状に応じた濃淡の画像である。このため、ループ部の交差点の部分が認識し難いことが考えられる。そこで、輪郭線を強調した挿入形状画像をモニタの表示画面上に表示させるようにしてもよい。この輪郭線によって、ループ部の交差点の部分を認識しやすくすることができる。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本出願は、2016年12月19日に日本国に出願された特願2016-245633号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
Claims (22)
- 被検体に挿入される挿入部と、
前記挿入部の挿入形状を検出する挿入形状検出部と、
前記挿入形状を示す挿入形状画像を生成する挿入形状画像生成部と、
前記被検体の体外形を表す体外形画像を生成する体外形画像生成部と、
前記挿入形状画像と前記体外形画像とを、表示部の表示画面上に、前記挿入部の前記被検体体腔内における位置関係に対応した位置関係で同時に表示するように制御する表示制御部と
を具備したことを特徴とする内視鏡挿入形状観測装置。 - 前記表示制御部は、前記被検体の基準位置に相当する前記挿入形状画像の位置と前記被検体の基準位置に相当する前記体外形画像の位置とを前記表示画面上の表示基準位置に一致させる
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、術者の操作に応じて、前記体外形画像の視点を変更する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、術者の操作に応じて、前記体外形画像の前記表示画面上における表示位置を変更する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、術者の操作に応じて、前記体外形画像の前記表示画面上における表示の傾きを変更する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、術者の操作に応じて、前記体外形画像の前記表示画面上における表示のサイズを変更する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、前記表示部の表示画面上において前記体外形画像の表示又は非表示を切換える
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、前記挿入部の前記被検体体腔内における挿入位置に応じて前記体外形画像の表示又は非表示を切換える
ことを特徴とする請求項7に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、前記挿入部の前記被検体体腔内において所定の形状になっているか否かに応じて前記体外形画像の表示又は非表示を切換える
ことを特徴とする請求項7に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、前記表示部の表示画面上において前記体外形画像の種類を切換える
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、前記挿入部の前記被検体体腔内における挿入位置に応じて前記体外形画像の種類を切換える
ことを特徴とする請求項7に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、前記挿入部の前記被検体体腔内において所定の形状になっているか否かに応じて前記体外形画像の種類を切換える
ことを特徴とする請求項7に記載の内視鏡挿入形状観測装置。 - 前記体外形画像生成部は、前記被検体の外形輪郭を表す概略的体外形画像と前記被検体体腔内の内臓を含む詳細な体外形画像とを生成可能である
ことを特徴とする請求項10に記載の内視鏡挿入形状観測装置。 - 前記体外形画像生成部は、前記挿入部の前記被検体体腔内における挿入長及び挿入形状画像に従って前記体外形画像を変形させる
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記被検体の位置及び向きを判定する姿勢検出部を具備し、
前記表示制御部は、姿勢検出部の検出結果に基づいて、前記被検体の基準位置に相当する前記挿入形状画像の位置と前記被検体の基準位置に相当する前記体外形画像の位置とを前記表示画面上の表示基準位置に一致させる
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、姿勢検出部の検出結果に基づいて、前記挿入形状画像又は前記体外形画像のいずれか一方を回転させる
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記体外形画像生成部は、前記被検体の寸法に応じて、前記体外形画像を生成すると共に前記体外形画像のサイズを変更する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記体外形画像生成部は、前記被検体の体型に応じた複数の体外形画像を備え、前記被検体の体型に応じた前記体外形画像を選択する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記体外形画像生成部は、前記被検体の体型に応じて、前記体外形画像のサイズを変更する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記体外形画像生成部は、前記被検体の寸法に応じた複数の体外形画像を備え、前記被検体の寸法に応じた前記体外形画像を選択する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、前記挿入形状画像がいずれの方向から見た前記挿入部の挿入形状であるかを示す視点表示を表示する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。 - 前記表示制御部は、視点が異なる複数の前記挿入形状画像及び体外形画像を多画面表示する
ことを特徴とする請求項1に記載の内視鏡挿入形状観測装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018521142A JP6360644B1 (ja) | 2016-12-19 | 2017-10-02 | 内視鏡挿入形状観測装置 |
| US16/401,425 US20190254563A1 (en) | 2016-12-19 | 2019-05-02 | Endoscope insertion shape observation apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016-245633 | 2016-12-19 | ||
| JP2016245633 | 2016-12-19 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/401,425 Continuation US20190254563A1 (en) | 2016-12-19 | 2019-05-02 | Endoscope insertion shape observation apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018116573A1 true WO2018116573A1 (ja) | 2018-06-28 |
Family
ID=62626263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/035875 Ceased WO2018116573A1 (ja) | 2016-12-19 | 2017-10-02 | 内視鏡挿入形状観測装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190254563A1 (ja) |
| JP (1) | JP6360644B1 (ja) |
| WO (1) | WO2018116573A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020039800A1 (ja) * | 2018-08-24 | 2020-02-27 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| WO2021020067A1 (ja) * | 2019-07-31 | 2021-02-04 | 富士フイルム株式会社 | 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム |
| CN112752533A (zh) * | 2018-09-19 | 2021-05-04 | 奥林巴斯株式会社 | 内窥镜插入形状观测装置 |
| WO2024095865A1 (ja) * | 2022-10-31 | 2024-05-10 | 富士フイルム株式会社 | 処理装置、内視鏡装置、及び処理方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7048628B2 (ja) | 2016-11-28 | 2022-04-05 | アダプティブエンドウ エルエルシー | 分離可能使い捨てシャフト付き内視鏡 |
| USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
| WO2021205818A1 (ja) * | 2020-04-09 | 2021-10-14 | 日本電気株式会社 | 内視鏡挿入支援装置、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
| US12048425B2 (en) * | 2020-08-20 | 2024-07-30 | Satoshi AWADU | Flexible endoscope insertion method for examining the lateral wall of the lumen or the lateral side of the organ |
| USD1051380S1 (en) | 2020-11-17 | 2024-11-12 | Adaptivendo Llc | Endoscope handle |
| CN116761570A (zh) * | 2021-02-22 | 2023-09-15 | 奥林巴斯株式会社 | 手术系统和手术系统的控制方法 |
| USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
| USD1070082S1 (en) | 2021-04-29 | 2025-04-08 | Adaptivendo Llc | Endoscope handle |
| USD1066659S1 (en) | 2021-09-24 | 2025-03-11 | Adaptivendo Llc | Endoscope handle |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08542A (ja) * | 1994-04-21 | 1996-01-09 | Olympus Optical Co Ltd | 内視鏡位置検出装置 |
| JP2013128847A (ja) * | 2011-01-28 | 2013-07-04 | Olympus Medical Systems Corp | カプセル内視鏡システム |
-
2017
- 2017-10-02 WO PCT/JP2017/035875 patent/WO2018116573A1/ja not_active Ceased
- 2017-10-02 JP JP2018521142A patent/JP6360644B1/ja active Active
-
2019
- 2019-05-02 US US16/401,425 patent/US20190254563A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08542A (ja) * | 1994-04-21 | 1996-01-09 | Olympus Optical Co Ltd | 内視鏡位置検出装置 |
| JP2013128847A (ja) * | 2011-01-28 | 2013-07-04 | Olympus Medical Systems Corp | カプセル内視鏡システム |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020039800A1 (ja) * | 2018-08-24 | 2020-02-27 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JPWO2020039800A1 (ja) * | 2018-08-24 | 2021-06-03 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| CN112752533A (zh) * | 2018-09-19 | 2021-05-04 | 奥林巴斯株式会社 | 内窥镜插入形状观测装置 |
| CN112752533B (zh) * | 2018-09-19 | 2024-07-23 | 奥林巴斯株式会社 | 内窥镜插入形状观测装置以及用手压迫位置的显示方法 |
| WO2021020067A1 (ja) * | 2019-07-31 | 2021-02-04 | 富士フイルム株式会社 | 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム |
| JPWO2021020067A1 (ja) * | 2019-07-31 | 2021-02-04 | ||
| CN114206194A (zh) * | 2019-07-31 | 2022-03-18 | 富士胶片株式会社 | 内窥镜形状显示控制装置、内窥镜形状显示控制装置的工作方法、及内窥镜形状显示控制装置的执行程序 |
| WO2024095865A1 (ja) * | 2022-10-31 | 2024-05-10 | 富士フイルム株式会社 | 処理装置、内視鏡装置、及び処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2018116573A1 (ja) | 2018-12-20 |
| JP6360644B1 (ja) | 2018-07-18 |
| US20190254563A1 (en) | 2019-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6360644B1 (ja) | 内視鏡挿入形状観測装置 | |
| JP5161013B2 (ja) | 医用ガイドシステム | |
| JP5191167B2 (ja) | 医用ガイドシステム | |
| JP7038845B2 (ja) | 内視鏡挿入形状観測装置及び内視鏡形状観測装置の作動方法 | |
| CN102449666B (zh) | 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统 | |
| EP1873712B1 (en) | Medical guiding system and medical guiding program | |
| JP5657467B2 (ja) | 医療用画像表示システム | |
| US20080281189A1 (en) | Medical guiding system | |
| CN103635143A (zh) | 超声波诊断装置以及超声波图像处理方法 | |
| JP4989262B2 (ja) | 医用画像診断装置 | |
| WO2000057767A2 (en) | Apparatus and methods for medical diagnostic and for medical guided interventions and therapy | |
| CN102231965A (zh) | 活检辅助系统 | |
| JP2004057379A (ja) | 超音波診断装置 | |
| JP2002253480A (ja) | 医療処置補助装置 | |
| JP2003210386A (ja) | 内視鏡シミュレータシステム | |
| JP5226244B2 (ja) | 医用ガイドシステム | |
| JP6616838B2 (ja) | 内視鏡形状把握システム | |
| JP6562442B2 (ja) | 内視鏡挿入状態観測装置 | |
| JP2000079088A (ja) | 内視鏡形状検出装置 | |
| JP3404331B2 (ja) | 内視鏡形状検出装置及び当該装置における画像処理方法 | |
| CN107427195B (zh) | 内窥镜形状掌握系统 | |
| JP2003180696A (ja) | 超音波診断装置 | |
| JP2004167276A (ja) | 内視鏡シミュレータシステム | |
| JP2006314398A (ja) | 超音波診断装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2018521142 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17882490 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17882490 Country of ref document: EP Kind code of ref document: A1 |