WO2021038871A1 - 内視鏡制御装置、内視鏡挿入形状分類装置、内視鏡制御装置の作動方法及びプログラム - Google Patents
内視鏡制御装置、内視鏡挿入形状分類装置、内視鏡制御装置の作動方法及びプログラム Download PDFInfo
- Publication number
- WO2021038871A1 WO2021038871A1 PCT/JP2019/034269 JP2019034269W WO2021038871A1 WO 2021038871 A1 WO2021038871 A1 WO 2021038871A1 JP 2019034269 W JP2019034269 W JP 2019034269W WO 2021038871 A1 WO2021038871 A1 WO 2021038871A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- endoscope
- control
- shape
- insertion shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
Definitions
- the present invention relates to an endoscope control device, an endoscope insertion shape classification device, an operation method and a program of the endoscope control device.
- an insertion operation is performed to insert a flexible and elongated insertion portion into a deep part of the subject. Further, in the field of endoscopy, a technique for supporting an insertion operation of an insertion portion has been conventionally proposed.
- Japanese Patent No. 4274854 states that in an endoscope insertion shape analyzer that analyzes the insertion shape of an endoscope insertion portion inserted into a body cavity, the endoscope insertion portion is described.
- a configuration is disclosed in which when a loop is formed by an insertion operation, an operation method for releasing the loop and straightening the endoscope insertion portion is displayed.
- Japanese Patent No. 4274854 does not particularly mention a specific control method for automating the insertion operation of the insertion portion. Therefore, according to the configuration disclosed in Japanese Patent No. 4274854, for example, the individual difference in the internal state of the subject into which the insertion portion is inserted and the insertion shape of the insertion portion inside the subject. There is a problem that appropriate insertion control cannot be performed according to the insertion status of the insertion portion such as a change with time.
- the present invention has been made in view of the above-mentioned circumstances, and is an endoscope control device, an endoscope insertion shape classification device, and an endoscope capable of performing appropriate insertion control according to the insertion state of the insertion portion. It is an object of the present invention to provide an operation method and a program of a mirror control device.
- the endoscope control device of one aspect of the present invention uses information on the insertion shape of the endoscope insertion portion inserted in the subject to control the insertion operation of the endoscope insertion portion.
- An insertion shape classification unit which is a mirror control device and obtains a classification result in which the types of insertion shapes of the endoscope insertion unit inserted in a subject are classified into one of a plurality of predetermined types. It has a control unit that controls the insertion operation of the endoscope insertion unit based on the classification result.
- the endoscope control device of another aspect of the present invention controls the insertion operation of the endoscope insertion portion by using the information regarding the insertion shape of the endoscope insertion portion inserted in the subject.
- An insertion shape element extraction unit which is an endoscope control device and obtains an extraction result by extracting one or more components related to the insertion shape of the endoscope insertion unit inserted in the subject, and the extraction result. It has a control unit that controls the insertion operation of the endoscope insertion unit based on the above.
- the endoscope insertion shape classification device includes an insertion shape information acquisition unit that acquires information regarding the insertion shape of the endoscope insertion portion inserted in the subject, and the endoscope insertion portion. It has an insertion shape classification unit for obtaining a classification result in which the types of insertion shapes are classified into one of a plurality of predetermined types, and an output unit for outputting the classification result.
- the method of operating the endoscope control device is to control the insertion operation of the endoscope insertion portion by using information on the insertion shape of the endoscope insertion portion inserted in the subject.
- This is a method of operating the endoscope control device, in which the insertion shape classification unit sets the type of insertion shape of the endoscope insertion unit inserted in the subject to one of a plurality of predetermined types. A process for obtaining the classified classification result is performed, and the control unit controls the insertion operation of the endoscope insertion unit based on the classification result.
- the method of operating the endoscope control device is to control the operation of inserting the endoscope insertion portion by using information on the insertion shape of the endoscope insertion portion inserted in the subject.
- This is a method of operating the endoscope control device, in which the insertion shape element extraction unit extracts and extracts one or more components related to the insertion shape of the endoscope insertion unit inserted in the subject. A process for obtaining a result is performed, and the control unit controls the insertion operation of the endoscope insertion unit based on the extraction result.
- the program of one aspect of the present invention is for obtaining a classification result in which the type of insertion shape of the endoscope insertion portion inserted in the subject is classified into one of a plurality of predetermined types in a computer. And the control related to the insertion operation of the endoscope insertion portion based on the classification result.
- the program of another aspect of the present invention includes a process for extracting one or more components related to the insertion shape of the endoscope insertion portion inserted in the subject into a computer and obtaining an extraction result.
- the control related to the insertion operation of the endoscope insertion portion based on the extraction result is executed.
- FIG. 15B is a diagram for explaining the control performed when the processing result image of FIG. 15B is obtained.
- the block diagram for demonstrating the specific configuration of the endoscope system which concerns on 2nd Embodiment The figure which shows an example of the image which shows the extraction result which extracted the component related to the insertion shape of the insertion part from the insertion shape image generated in the endoscope system which concerns on 2nd Embodiment. The figure which shows an example of the image which shows the extraction result which extracted the component related to the insertion shape of the insertion part from the insertion shape image generated in the endoscope system which concerns on 2nd Embodiment. The figure which shows an example of the image which shows the extraction result which extracted the component related to the insertion shape of the insertion part from the insertion shape image generated in the endoscope system which concerns on 2nd Embodiment. The figure which shows an example of the image which shows the extraction result which extracted the component related to the insertion shape of the insertion part from the insertion shape image generated in the endoscope system which concerns on 2nd Embodiment. The figure which shows an example of the image which shows the extraction result which extracted the component related to the
- the endoscope system 1 includes an endoscope 10, a main body device 20, an insertion shape detection device 30, an external force information acquisition device 40, an input device 50, and a display device 60. , And are configured.
- FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including an endoscope control device according to an embodiment.
- the endoscope 10 has an insertion portion 11 to be inserted into the subject, an operation portion 16 provided on the proximal end side of the insertion portion 11, and a universal cord 17 extending from the operation portion 16. It is composed of.
- the endoscope 10 is configured to be detachably connected to the main body device 20 via a scope connector (not shown) provided at the end of the universal cord 16.
- a light guide (not shown) for transmitting the illumination light supplied from the main body device 20 is provided inside the insertion unit 11, the operation unit 16, and the universal cord 17 described above.
- the insertion portion 11 is configured to have a flexible and elongated shape. Further, the insertion portion 11 is configured by providing a rigid tip portion 12, a curved portion 13 formed so as to be bendable, and a long flexible tube portion 14 having flexibility in order from the tip side. There is.
- a plurality of source coils 18 that generate a magnetic field according to the coil drive signal supplied from the main body device 20 are arranged in the longitudinal direction of the insertion portion 11. They are arranged at predetermined intervals along the line.
- the tip portion 12 is provided with an illumination window (not shown) for emitting the illumination light transmitted by the light guide provided inside the insertion portion 11 to the subject. Further, the tip portion 12 operates according to the image pickup control signal supplied from the main body device 20, and outputs the image pickup signal by imaging the subject illuminated by the illumination light emitted through the illumination window.
- An imaging unit 110 (not shown in FIG. 1) configured in the above is provided.
- the curved portion 13 is configured to be able to be curved according to the control of the curved control unit 242 described later. Further, the curved portion 13 is configured so that it can be curved according to the operation of the angle knob (not shown) provided in the operating portion 12.
- the operation unit 16 is configured to have a shape that can be grasped and operated by a user such as an operator.
- the operation unit 16 is provided with an angle knob configured to be able to perform an operation for bending the curved portion 13 in four directions of up, down, left, and right intersecting the longitudinal axis of the insertion portion 11. ing.
- the operation unit 16 is provided with one or more scope switches (not shown) capable of giving instructions according to a user's input operation.
- the main body device 20 includes one or more processors 20P and a storage medium 20M. Further, the main body device 20 is configured to be detachably connected to the endoscope 10 via a universal cord 17.
- the main body device 20 is configured to be detachably connected to each part of the insertion shape detection device 30, the input device 50, and the display device 60. Further, the main body device 20 is configured to perform an operation in response to an instruction from the input device 50. In addition, the main body device 20 generates an endoscope image based on the imaging signal output from the endoscope 10, and also performs an operation for displaying the generated endoscope image on the display device 60. It is configured.
- the main body device 20 is configured to generate and output various control signals for controlling the operation of the endoscope 10. Further, the main body device 20 has a function as an endoscope control device, and controls the insertion operation of the insertion unit 11 by using the insertion shape information (described later) output from the insertion shape detection device 30. It is configured.
- the main body device 20 generates an insertion shape image according to the insertion shape information output from the insertion shape detection device 30, and also performs an operation for displaying the generated insertion shape image on the display device 60. It is configured.
- the insertion shape detection device 30 is configured to detect magnetic fields emitted from each of the source coils 18 provided in the insertion portion 11 and to acquire the positions of each of the plurality of source coils 18 based on the strength of the detected magnetic fields. Has been done. Further, the insertion shape detection device 30 is configured to generate insertion shape information indicating the positions of each of the plurality of source coils 18 acquired as described above and output the insertion shape information to the main body device 20 and the external force information acquisition device 40. ..
- the insertion shape detection device 30 detects the insertion shape of the insertion portion inserted in the subject and acquires the insertion shape information, and obtains the acquired insertion shape information from the main body device 20 and the external force information acquisition device 40. It is configured to output to.
- the external force information acquisition device 40 for example, data on the curvature (or radius of curvature) and the curvature angle of a plurality of predetermined positions of the insertion portion 11 in a state where no external force is applied, and the insertion portion 11 from all possible directions.
- Data of curvature (or radius of curvature) and curvature angle of a plurality of predetermined positions acquired in a state where a predetermined external force is applied to an arbitrary position of the above are stored.
- the external force information acquisition device 40 identifies the positions of each of the plurality of source coils 18 provided in the insertion unit 11 based on the insertion shape information output from the insertion shape detection device 30, for example, and the plurality of the external force information acquisition devices 40.
- the magnitude and direction of the external force at each position of the plurality of source coils 18 are acquired. It is configured to do.
- the external force information acquisition device 40 is configured to generate external force information indicating the magnitude and direction of the external force at each position of the plurality of source coils 18 acquired as described above and output the external force information to the main body device 20. ..
- the external force information acquisition device 40 is disclosed in Japanese Patent No. 5851204 as a method for calculating the external force at each position of the plurality of source coils 18 provided in the insertion portion 11.
- the method may be used, or the method disclosed in Japanese Patent No. 5897902 may be used.
- the external force information acquisition device 40 uses the electronic components. It may be configured to calculate the external force at each position of the plurality of source coils 18 based on the signal output from the component.
- the input device 50 is configured to have one or more input interfaces operated by the user, such as a mouse, a keyboard, a touch panel, and the like. Further, the input device 50 is configured to be able to output an instruction according to the user's operation to the main body device 20.
- the display device 60 is configured to include, for example, a liquid crystal monitor or the like. Further, the display device 60 is configured so that an endoscopic image or the like output from the main body device 20 can be displayed on the screen.
- FIG. 2 is a block diagram for explaining a specific configuration of the endoscope system according to the first embodiment.
- the endoscope 10 includes a source coil 18, an imaging unit 110, an advancing / retreating mechanism 141, a bending mechanism 142, an AWS mechanism 143, and a rotation mechanism 144.
- FIG. 2 is a block diagram for explaining a specific configuration of the endoscope system according to the first embodiment.
- the image pickup unit 110 includes, for example, an observation window into which the return light from the subject illuminated by the illumination light is incident, and an image sensor such as a color CCD that captures the return light and outputs an image pickup signal. It is configured.
- the advancing / retreating mechanism 141 includes, for example, a pair of rollers arranged at positions facing each other with the insertion portion 11 interposed therebetween, and a motor for supplying a rotational driving force for rotating the pair of rollers. There is. Further, the advancing / retreating mechanism 141 is inserted by, for example, driving a motor in response to an advancing / retreating control signal output from the main body device 20 and rotating a pair of rollers in response to a rotational driving force supplied from the motor. It is configured so that either an operation for moving the portion 11 forward or an operation for moving the insertion portion 11 backward can be selectively performed.
- the bending mechanism 142 is, for example, a motor that supplies a plurality of bending pieces provided in the bending portion 13, a plurality of wires connected to the plurality of bending pieces, and a rotational driving force for pulling the plurality of wires. And, it is configured to have. Further, the bending mechanism 142 drives the motor in response to the bending control signal output from the main body device 20, and changes the traction amount of each of the plurality of wires according to the rotational driving force supplied from the motor. As a result, the curved portion 13 is configured to be able to be curved in four directions of up, down, left and right.
- the AWS (Air piping, Water piping, and Action) mechanism 143 is, for example, of the air supply / water supply line and the suction line provided inside the endoscope 10 (insertion part 11, operation part 16 and universal cord 17). It is configured to have two pipelines and a solenoid valve that operates to close one of the two pipelines while opening the other.
- the AWS mechanism 143 is, for example, when an operation for opening the air supply / water pipe line is performed in the solenoid valve in response to the AWS control signal output from the main body device 20.
- a fluid containing at least one of water and air supplied from the water can be circulated to the air supply / water pipe, and the fluid can be discharged from a discharge port formed at the tip portion 12. It is configured.
- the AWS mechanism 143 applies the suction force generated in the main body device 20 when, for example, an operation for opening the suction line is performed in the solenoid valve in response to the AWS control signal output from the main body device 20. It is configured so that it can act on the suction pipeline and can suck an object existing in the vicinity of the suction port formed at the tip portion 12 by the suction force.
- the rotation mechanism 144 is configured to include, for example, a grip member that grips the insertion portion 11 on the base end side of the flexible pipe portion 14, and a motor that supplies a rotational driving force for rotating the grip member. ing. Further, the rotation mechanism 144 drives the motor in response to the rotation control signal output from the main body device 20, and rotates the gripping member in response to the rotation driving force supplied from the motor, thereby causing the insertion portion.
- 11 is configured to be rotatable around an insertion axis (longitudinal axis).
- the main body device 20 includes a light source unit 210, an image processing unit 220, a coil drive signal generation unit 230, an endoscope function control unit 240, a display control unit 250, and a system control unit 260. And, it is configured to have.
- the light source unit 210 is configured to have, for example, one or more LEDs or one or more lamps as a light source. Further, the light source unit 210 is configured to generate illumination light for illuminating the inside of the subject into which the insertion portion 11 is inserted and to supply the illumination light to the endoscope 10. Further, the light source device 210 is configured so that the amount of illumination light can be changed according to the system control signal supplied from the system control unit 260.
- the image processing unit 220 is configured to include, for example, an image processing circuit. Further, the image processing unit 220 generates an endoscope image by performing a predetermined process on the imaging signal output from the endoscope 10, and displays the generated endoscope image on the display control unit 250 and the display control unit 250. It is configured to output to the system control unit 260.
- the coil drive signal generation unit 230 is configured to include, for example, a drive circuit. Further, the coil drive signal generation unit 230 is configured to generate and output a coil drive signal for driving the source coil 18 in response to the system control signal supplied from the system control unit 260.
- the endoscope function control unit 240 is configured to perform an operation for controlling the function realized by the endoscope 10 based on the insertion control signal supplied from the system control unit 260.
- the endoscope function control unit 240 has an advance / retreat function realized by the advance / retreat mechanism 141, a bending function realized by the bending mechanism 142, an AWS function realized by the AWS mechanism 143, and a rotation mechanism 144. It is configured to perform an operation to control at least one of the realized rotation functions.
- the endoscope function control unit 240 includes an advance / retreat control unit 241, a curvature control unit 242, an AWS control unit 243, and a rotation control unit 244.
- the advance / retreat control unit 241 is configured to generate and output an advance / retreat control signal for controlling the operation of the advance / retreat mechanism 141 based on the insertion control signal supplied from the system control unit 260. Specifically, the advance / retreat control unit 241 generates, for example, an advance / retreat control signal for controlling the rotational state of the motor provided in the advance / retreat mechanism 141 based on the insertion control signal supplied from the system control unit 260. It is configured to output.
- the bending control unit 242 is configured to generate and output a bending control signal for controlling the operation of the bending mechanism 142 based on the insertion control signal supplied from the system control unit 260.
- the advance / retreat control unit 242 generates, for example, a curvature control signal for controlling the rotational state of the motor provided in the curvature mechanism 142 based on the insertion control signal supplied from the system control unit 260. It is configured to output.
- the AWS control unit 243 controls a pump or the like (not shown) based on an insertion control signal supplied from the system control unit 260 to supply a fluid containing at least one of water and air to the endoscope 10. And the operation for generating a suction force for sucking an object existing in the vicinity of the suction port of the tip portion 12 can be selectively performed. ing.
- the AWS control unit 243 is configured to generate and output an AWS control signal for controlling the operation of the AWS mechanism 143. Specifically, the AWS control unit 243 generates, for example, an AWS control signal for controlling the operating state of the solenoid valve provided in the AWS mechanism 143 based on the insertion control signal supplied from the system control unit 260. Is configured to output.
- the rotation control unit 244 is configured to generate and output a rotation control signal for controlling the operation of the rotation mechanism 144 based on the insertion control signal supplied from the system control unit 260. Specifically, the rotation control unit 244 generates a rotation control signal for controlling the rotation state of the motor provided in the rotation mechanism 144, for example, based on the insertion control signal supplied from the system control unit 260. It is configured to output.
- the endoscope function control unit 240 advances the insertion unit 11 as a control signal corresponding to the basic operation realized by the function of the endoscope 10 based on the insertion control signal supplied from the system control unit 260. Pushing operation corresponding to the operation for, pulling operation corresponding to the operation for retracting the insertion portion 11, bending the curved portion 13 so that the direction of the tip portion 12 is directed with respect to the insertion shaft (longitudinal axis) of the insertion portion 11.
- An angle operation corresponding to an operation for pointing in an intersecting direction for example, one of eight directions
- a twisting operation corresponding to the operation of rotating the tip portion 12 Corresponds to each operation of air supply operation for ejecting gas forward, water supply operation for ejecting liquid in front of the tip portion 12, and suction operation for sucking the tissue or the like in front of the tip portion 12. It is configured so that a control signal can be generated and output.
- the display control unit 250 performs processing for generating a display image including an endoscopic image output from the image processing unit 220, and also performs processing for displaying the generated display image on the display device 60. Further, the display control unit 250 performs a process for displaying the insertion shape image (described later) output from the system control unit 260 on the display device 60.
- the system control unit 260 generates and outputs a system control signal for performing an operation according to an instruction or the like from the operation unit 16 and the input device 50. Further, the system control unit 260 includes an insertion shape image generation unit 261, an insertion shape classification unit 262, an insertion control unit 263, and a classification result recording unit 264.
- the insertion shape image generation unit 261 creates an insertion shape image that two-dimensionally shows the insertion shape of the insertion unit 11 inserted in the subject based on the insertion shape information (described later) output from the insertion shape detection device 30. Generate. Further, the insertion shape image generation unit 261 outputs the insertion shape image generated as described above to the display control unit 250.
- the insertion shape classification unit 262 sets the type of the insertion shape of the insertion unit 11 included in the insertion shape image to one of a plurality of predetermined types based on the insertion shape image generated by the insertion shape image generation unit 261. Perform processing to obtain the classification result classified into.
- the insertion shape classification unit 262 includes, for example, each coupling coefficient (weight) in a CNN (Convolutional Neural Network) corresponding to a multi-layer neural network including an input layer, one or more convolutional layers, and an output layer. ) Is included in the insert shape image generated by the insert shape image generation unit 261 by performing processing using a classifier (for example, a classifier CLP) created by learning a learning method such as deep learning. It is configured to obtain a classification result in which the type of the insertion shape of the insertion portion 11 is classified into one of a plurality of predetermined types.
- a classifier for example, a classifier CLP
- a plurality of predetermined insertion shape images similar to those generated by the insertion shape image generation unit 261 and the insertion shapes of the insertion unit 11 included in the insertion shape image are formed.
- Machine learning is performed using teacher data including a label indicating the classification result classified into one of the types.
- each of the above-mentioned predetermined plurality of types is formed in a period from, for example, the time when the insertion of the insertion portion 11 into the subject is started to the time when the insertion of the insertion portion 11 in the subject is completed.
- it has a characteristic shape that contributes to a judgment regarding the success or failure of the operation and a judgment regarding the necessity of changing the operation content when the insertion operation of the insertion portion 11 is performed manually or automatically. It is set as the type of insertion shape.
- multidimensional data such as the pixel value of each pixel included in the inserted shape image generated by the inserted shape image generation unit 261 is acquired, and the multidimensional data is input data.
- a plurality of likelihoods corresponding to each type that can be classified as the type of the insertion shape of the insertion unit 11 included in the insertion shape image are output from the output layer of the neural network. Can be acquired as output data.
- one insertion corresponding to the highest likelihood among the plurality of likelihoods included in the output data output from the output layer of the neural network can be obtained as the classification result of the insertion shape of the insertion portion 11.
- the insertion shape classification unit 262 classifies the insertion shape image showing the insertion shape of the insertion unit 11 and the insertion shape of the insertion unit 11 included in the insertion shape image into one of a plurality of predetermined types.
- the classifier CLP created by performing machine learning using the label indicating the classification result and the teacher data including, the insertion shape of the insertion portion 11 inserted in the subject. It is configured to obtain classification results indicating the type.
- the classification result of the insertion shape of the insertion portion 11 obtained by the processing using the above-mentioned classifier CLP will be described.
- the classification results according to the type of insertion shape that appears from immediately before the start of formation of the ⁇ loop to immediately after the completion of release are shown. The case where it can be obtained will be described as an example.
- the insertion shape classification unit 262 inserts, for example, by inputting the pixel value of each pixel included in the insertion shape image SGA as shown in FIG. 3 into the classifier CLP and performing processing based on the output data obtained.
- the classification result of classifying the insertion shape of the part 11 as the type TA is acquired.
- FIG. 3 is a diagram showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TA is acquired as a classification result corresponding to, for example, a state in which the tip portion 12 is located within the section from the vicinity of the anus to the vicinity of the entrance of the sigmoid colon while the insertion portion 11 maintains a substantially linear shape.
- the insertion shape classification unit 262 is obtained by inputting, for example, the pixel value of each pixel included in the insertion shape image SGB1 as shown in FIG. 4A or the insertion shape image SGB2 as shown in FIG. 4B into the classifier CLP. By performing the processing based on the output data, the classification result of classifying the insertion shape of the insertion portion 11 as the type TB is acquired.
- 4A and 4B are diagrams showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TB is acquired as a classification result corresponding to, for example, a state in which the tip portion 12 is located inside the sigmoid colon and the insertion portion 11 forms a bent shape that is the source of the ⁇ loop.
- the insertion shape classification unit 262 is obtained by inputting, for example, the pixel value of each pixel included in the insertion shape image SGC1 as shown in FIG. 5A or the insertion shape image SGC2 as shown in FIG. 5B into the classifier CLP. By performing the processing based on the output data, the classification result of classifying the insertion shape of the insertion portion 11 as the type TC is acquired.
- 5A and 5B are diagrams showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the tip portion 12 is located near the upper end portion of the ⁇ loop from the state where the tip portion 12 starts to form an ⁇ loop by intersecting with either the curved portion 13 or the flexible pipe portion 14. It is acquired as the classification result corresponding to the reached state.
- the insertion shape classification unit 262 is obtained by inputting, for example, the pixel value of each pixel included in the insertion shape image SGD1 as shown in FIG. 6A or the insertion shape image SGD2 as shown in FIG. 6B into the classifier CLP. By performing the processing based on the output data, the classification result of classifying the insertion shape of the insertion portion 11 as the type TD is acquired.
- 6A and 6B are diagrams showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TD is acquired as a classification result corresponding to a state in which the tip portion 12 reaches a position slightly exceeding the upper end portion of the ⁇ loop, for example.
- the insertion shape classification unit 262 is obtained by inputting, for example, the pixel value of each pixel included in the insertion shape image SGE1 as shown in FIG. 7A or the insertion shape image SGE2 as shown in FIG. 7B into the classifier CLP. By performing processing based on the output data, the classification result of classifying the insertion shape of the insertion unit 11 as the type TE is acquired.
- 7A and 7B are diagrams showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TE is classified according to, for example, a state in which the tip portion 12 reaches the vicinity of the splenic curved portion and a state in which the tip portion 12 reaches a position sufficiently distant from the upper end portion of the ⁇ loop. Obtained as a result.
- the insertion shape classification unit 262 is obtained by inputting, for example, the pixel values of each pixel included in the insertion shape image SGF1 as shown in FIG. 8A or the insertion shape image SGF2 as shown in FIG. 8B into the classifier CLP. By performing processing based on the output data, the classification result in which the insertion shape of the insertion portion 11 is classified as the type TF is acquired.
- 8A and 8B are diagrams showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TF is acquired as a classification result corresponding to a state in which the ⁇ loop is reduced as the ⁇ loop formed by the insertion portion 11 is released, for example.
- the insertion shape classification unit 262 is obtained by inputting, for example, the pixel value of each pixel included in the insertion shape image SGG1 as shown in FIG. 9A or the insertion shape image SGG2 as shown in FIG. 9B into the classifier CLP. By performing the processing based on the output data, the classification result of classifying the insertion shape of the insertion portion 11 as the type TG is acquired.
- 9A and 9B are diagrams showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TG is, for example, immediately after the ⁇ -loop is completely released from the state in which the ⁇ -loop shifts to a shape similar to the N-loop as the release of the ⁇ -loop formed by the insertion portion 11 progresses. It is acquired as the classification result corresponding to the state of.
- the insertion shape classification unit 262 inserts, for example, by inputting the pixel value of each pixel included in the insertion shape image SGH as shown in FIG. 10 into the classifier CLP and performing processing based on the output data obtained.
- the classification result of classifying the insertion shape of the part 11 as the type TH is acquired.
- FIG. 10 is a diagram showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TH has, for example, a classification result corresponding to either a state in which the tip portion 12 reaches the vicinity of the entrance of the transverse colon or a state in which the insertion portion 11 shifts to a substantially linear shape after the ⁇ loop is released. Is obtained as.
- the insertion shape classification unit 262 is obtained by inputting, for example, the pixel value of each pixel included in the insertion shape image SGI1 as shown in FIG. 11A or the insertion shape image SGI2 as shown in FIG. 11B into the classifier CLP. By performing the processing based on the output data, the classification result of classifying the insertion shape of the insertion portion 11 as the type TI is acquired.
- 11A and 11B are diagrams showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TI is acquired as a classification result corresponding to a state in which the tip portion 12 is located inside the transverse colon, for example.
- the insertion shape classification unit 262 is obtained by inputting, for example, the pixel value of each pixel included in the insertion shape image SGJ1 as shown in FIG. 12A or the insertion shape image SGJ2 as shown in FIG. 12B into the classifier CLP. By performing processing based on the output data, the classification result in which the insertion shape of the insertion portion 11 is classified as the type TJ is acquired.
- 12A and 12B are diagrams showing an example of an insertion shape image generated in the endoscope system according to the first embodiment.
- the above-mentioned type TJ is acquired as a classification result corresponding to a state in which the tip portion 12 is located in the section from the ascending colon to the vicinity of the cecum, for example.
- learning is performed using an inserted shape image in which at least one of the 10 types of labels corresponding to each of the types TA to TJ is changed. It is different from the ⁇ loop by performing learning or by adding an insertion shape image to which a new type of label different from any of the 10 types of labels corresponding to each of the types TA to TJ is added. It is also possible to obtain a classification result according to the type of the inserted shape that appears from immediately before the start of forming the shape of the above to immediately after the completion of the release.
- the present embodiment for example, it appears from immediately before the start of formation of at least one of the back ⁇ loop, the reverse ⁇ loop, the N loop, the ⁇ loop, and the stick shape to immediately after the release is completed.
- the classification result according to the type of the insertion shape may be obtained.
- the insertion of the insertion portion 11 into the subject is started by appropriately changing the method of assigning a label to the insertion shape image for learning used when creating the classifier CLP.
- a classification result corresponding to a desired type of insertion shape that can be formed in the period from the time when the insertion portion 11 is inserted into the subject to the time when the insertion of the insertion portion 11 is completed may be obtained.
- the insertion control unit 263 includes an endoscopic image output from the image processing unit 220, external force information output from the external force information acquisition device 40, and an insert shape image generated by the insert shape image generation unit 261. Based on at least one of the above and the classification result obtained by the insertion shape classification unit 262, an insertion control signal including information for performing control related to the insertion operation of the insertion unit 11 is generated to generate an endoscope function control unit. It is configured to output to 240.
- the insertion control unit 263 includes an endoscopic image output from the image processing unit 220, external force information output from the external force information acquisition device 40, and an insertion shape generated by the insertion shape image generation unit 261. Based on at least one of the images and the classification result obtained by the insertion shape classification unit 262, as control related to the insertion operation of the insertion unit 11, for example, the start of the insertion operation, the continuation of the insertion operation, the said The endoscope generates an insertion control signal containing information for controlling at least one of interruption of the insertion operation, resumption of the insertion operation, stop of the insertion operation, and completion of the insertion operation. It is configured to output to the function control unit 240.
- the insertion control unit 263 includes the endoscopic image output from the image processing unit 220, the external force information output from the external force information acquisition device 40, and the insertion shape image generated by the insertion shape image generation unit 261. Based on at least one of the above and the classification result obtained by the insertion shape classification unit 262, at least one of the operation amount in the insertion operation of the insertion unit 11, the operation speed in the insertion operation, and the operation force in the insertion operation. It is configured to generate an insertion control signal including information for controlling one and output it to the endoscope function control unit 240.
- the insertion control unit 263 of the present embodiment is output from the image processing unit 220 according to, for example, the type of the current insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262.
- the control content is set based on at least one of the endoscopic image, the external force information output from the external force information acquisition device 40, and the insertion shape image generated by the insertion shape image generation unit 261, and the control content is set. It is configured so that an insertion control signal including information for performing control related to the insertion operation of the insertion unit 11 can be generated using the control contents and output to the endoscope function control unit 240.
- the insertion control unit 263 receives the endoscopic image and external force information output from the image processing unit 220 according to the type of the current insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262. Based on the external force information output from the acquisition device 40 and at least one of the insertion shape images generated by the insertion shape image generation unit 261, for example, each basic operation realized by the function of the endoscope 10 An operation control group CGA having control contents for executing the basic operation selected from the above independently to perform the insertion operation of the insertion unit 11 is set, and an insertion control signal including information related to the set operation control group CGA is input. It can be generated and output.
- the operation control group CGA includes, for example, control contents related to a forward amount, a forward speed, an operation force, and the like when executing a push operation.
- the insertion control unit 263 has an endoscopic image and external force information output from the image processing unit 220 according to the type of the current insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262. Based on the external force information output from the acquisition device 40 and at least one of the insertion shape images generated by the insertion shape image generation unit 261, for example, each basic operation realized by the function of the endoscope 10 An operation control group CGB having control contents for performing an insertion operation of the insertion unit 11 by combining and executing a plurality of basic operations selected from the above is set, and an insertion control including information related to the set operation control group CGB is set. A signal can be generated and output.
- the operation control group CGB includes, for example, control contents related to a retreat amount, a retreat speed, a rotation angle, a rotation direction, an operation force, and the like when executing a combination of a pull operation and a twist operation. ing.
- the operation control group CGB is set as a control content for continuously or simultaneously executing a plurality of basic operations selected from each basic operation realized by the function of the endoscope 10. That is, the control content of the operation control group CGB is set as a more complicated control content than the control content of the operation control group CGA.
- each basic insertion control unit 263 is realized by the function of the endoscope 10 as control according to the type of the current insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262.
- the basic operations realized by the functions of the operation control group CGA having the control contents for independently executing the basic operation selected from the operations and performing the insertion operation of the insertion unit 11, and the functions of the endoscope 10. It is configured to perform control based on any one of the operation control group CGB having the control contents for performing the insertion operation of the insertion unit 11 by executing a combination of a plurality of basic operations selected from.
- the insertion control unit 263 includes an image obtained by imaging the inside of the subject with the endoscope 10, information indicating the magnitude of the external force applied to the insertion unit 11, and insertion of the insertion unit 11. Control related to the insertion operation of the insertion unit 11 is performed based on at least one of the information indicating the shape and the classification result obtained by the insertion shape classification unit 262.
- the classification result recording unit 264 is configured to be able to perform an operation for recording the classification results obtained by the insertion shape classification unit 262 in time series.
- At least a part of the functions of the main unit 20 may be realized by the processor 20P. Further, in the present embodiment, at least a part of the main body device 20 may be configured as an individual electronic circuit, or may be configured as a circuit block in an integrated circuit such as FPGA (Field Programmable Gate Array). May be good.
- FPGA Field Programmable Gate Array
- the computer reads a program for executing at least a part of the functions of the main unit 20 from the storage medium 20M such as a memory, and the read program.
- the operation may be performed according to the above.
- the insertion shape detection device 30 includes a receiving antenna 310 and an insertion shape information acquisition unit 320.
- the receiving antenna 310 is configured to include, for example, a plurality of coils for three-dimensionally detecting magnetic fields emitted from each of the plurality of source coils 18. Further, the receiving antenna 310 is configured to detect magnetic fields emitted from each of the plurality of source coils 18 and generate a magnetic field detection signal corresponding to the strength of the detected magnetic field and output it to the insertion shape information acquisition unit 320. Has been done.
- the insertion shape information acquisition unit 320 is configured to acquire the positions of each of the plurality of source coils 18 based on the magnetic field detection signal output from the receiving antenna 310. Further, the insertion shape information acquisition unit 320 is configured to generate insertion shape information indicating the positions of each of the plurality of source coils 18 acquired as described above and output the insertion shape information to the insertion shape image generation unit 261.
- the insertion shape information acquisition unit 320 has the origin or the reference point as the position of each of the plurality of source coils 18, for example, a predetermined position (anus or the like) of the subject into which the insertion unit 11 is inserted. Acquires a plurality of three-dimensional coordinate values in the spatial coordinate system virtually set in. Further, the insertion shape information acquisition unit 320 generates the insertion shape information including the plurality of three-dimensional coordinate values acquired as described above and outputs the insertion shape information to the insertion shape image generation unit 261.
- the process for interpolating the acquired plurality of two-dimensional coordinate values and the process for generating the insert shape image corresponding to the interpolated plurality of two-dimensional coordinate values are performed by the insert shape image generation unit 261. Will be.
- the insertion shape detection device 30 may be configured as an electronic circuit, or may be configured as a circuit block in an integrated circuit such as an FPGA (Field Programmable Gate Array). .. Further, in the present embodiment, for example, the insertion shape detection device 30 may be configured to include one or more processors (CPU or the like).
- the insertion shape image generation unit 261 is configured to generate a three-dimensional insertion shape image that three-dimensionally shows the insertion shape of the insertion unit 11 inserted in the subject.
- the classifier CLP of the insertion shape classification unit 262 is configured to classify the type of insertion shape of the insertion unit 11 by using multidimensional data such as pixel values acquired from the three-dimensional insertion shape image as input data. It may have been. Then, in such a case, for example, a classifier CLP may be created using 3D-CNN (3D Convolutional Neural Network).
- the classifier CLP of the insertion shape classification unit 262 uses a plurality of three-dimensional coordinate values included in the insertion shape information output from the insertion shape detection device 30 as input data, and the insertion unit 11 It may be configured to classify the types of insertion shapes of. Then, in such a case, classification is performed using, for example, a known linear discriminant function or a method such as a known neural network that classifies the type of insertion shape of the insertion unit 11 using a numerical value as a feature quantity.
- the vessel CLP may be created.
- a label indicating the classification result of classifying the insertion shape of the insertion portion 11 into one of a plurality of predetermined types is attached to the insertion shape image.
- machine learning may be performed using the teacher data including the label and the plurality of three-dimensional coordinate values used when the insertion shape image is generated.
- a user After connecting each part of the endoscopic system 1 and turning on the power, a user such as an operator arranges the insertion part 11 so that the tip part 12 is located near the anus or rectum of the subject, for example.
- the subject is irradiated with the illumination light supplied from the light source unit 210, the subject irradiated with the illumination light is imaged by the imaging unit 110, and the subject is imaged.
- the obtained endoscopic image is output from the image processing unit 220 to the display control unit 250 and the system control unit 260.
- the coil drive signal is supplied from the coil drive signal generation unit 230, a magnetic field is generated from each of the plurality of source coils 18 according to the coil drive signal, and the magnetic field is detected.
- the insertion shape information obtained in this manner is output from the insertion shape information acquisition unit 320 to the system control unit 260, and an insertion shape image corresponding to the insertion shape information is generated by the insertion shape image generation unit 261.
- the external force information indicating the magnitude and direction of the external force at each position of the plurality of source coils 18 is output from the external force information acquisition device 40 to the system control unit 260.
- the user can start the insertion control of the insertion unit 11 by the main body device 20 by, for example, turning on the automatic insertion switch (not shown) of the input device 50 in the state where the insertion unit 11 is arranged as described above. Give instructions.
- the classification result recording unit 264 detects that the instruction for starting the insertion control of the insertion unit 11 has been given, for example, the classification result obtained by the insertion shape classification unit 262 is chronologically and for a certain period of time. The operation for recording is started every time.
- the insertion control unit 263 is an endoscopic image and external force information acquisition device output from the image processing unit 220 according to the type of the current insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262.
- the control content is set based on the external force information output from 40 and at least one of the insertion shape image generated by the insertion shape image generation unit 261.
- the type of the current insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262 is any of the types TA, TH, TI, and TJ.
- An insertion control signal including information related to the operation control group CGA whose control content is set based on at least one of the above is generated and output.
- the type of the current insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262 is among the types TB, TC, TD, TE, TF and TG.
- An insertion control signal including information related to the operation control group CGB whose control content is set based on at least one of the images is generated and output.
- the insertion control unit 263 does not correspond to the type of insertion shape that the current insertion shape type of the insertion unit 11 appears from immediately before the start of formation of the ⁇ loop to immediately after the completion of release. Is detected, an insertion control signal including information related to the operation control group CGA is generated and output.
- the insertion control unit 263 corresponds to the type of insertion shape in which the current insertion shape type of the insertion unit 11 appears from immediately before the start of formation of the ⁇ loop to immediately after the completion of release. Is detected, an insertion control signal including information related to the operation control group CGB having a control content more complicated than the control content of the operation control group CGA is generated and output.
- the insertion control unit 263 sets the control content based on the endoscopic image output from the image processing unit 220, the insertion control unit 263 performs processing using the classifier CLQ described later. You can do it like this.
- the insertion control unit 263 has a lumen region in the central portion of the processing result image PRG, for example, based on the processing result image PRG described later obtained by processing using the classifier CLQ.
- the control content for advancing the insertion portion 11 with a relatively large advancing amount is set, and when the cavity region exists in the peripheral portion of the processing result image PRG, the advancing portion is relatively small.
- the control content for advancing the insertion portion 11 by the amount may be set.
- the user confirms that the insertion shape of the insertion portion 11 inserted inside the subject does not change based on the insertion shape image displayed on the display device 60, and then the input device 50
- the input device 50 By turning off the automatic insertion switch of the above, an instruction is given to stop the insertion control of the insertion unit 11 by the main body device 20.
- the classification result recording unit 264 When the classification result recording unit 264 detects that an instruction for stopping the insertion control of the insertion unit 11 has been given, the classification result recording unit 264 transmits the classification results obtained by the insertion shape classification unit 262 in chronological order and at regular time intervals. Stop the operation for recording.
- the insertion part of the endoscope when the insertion part of the endoscope is inserted into the intestinal tract of the large intestine for inspection, for example, a combination of the running state of the large intestine, the insertion shape of the insertion part, the insertion length of the insertion part, and the like.
- Various situations can occur depending on the situation.
- the skilled doctor manually inserts the insertion portion of the endoscope, the magnitude of the force applied to the insertion portion and the magnitude of the force applied to the insertion portion are determined according to the judgment result of the situation judgment for the current situation. The type of operation to be performed on the insertion portion is appropriately determined.
- the type of the insertion shape of the insertion unit 11 included in the insertion shape image generated by the insertion shape image generation unit 261 is determined by the expert whether or not the operation in the insertion operation of the insertion unit 11 is successful.
- the insertion shape classification unit 262 performs a process of classifying and obtaining a classification result based on a viewpoint substantially equivalent to the viewpoint when subjectively judging or evaluating the above.
- the insertion control unit 263 performs insertion control according to the type of the insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262. Therefore, according to the present embodiment, for example, the individual difference in the internal state of the subject into which the insertion portion is inserted, the temporal change in the insertion shape of the insertion portion inside the subject, and the like. Appropriate insertion control can be performed according to the insertion status of the insertion portion.
- the results are recorded in the classification result recording unit 264 in chronological order. Therefore, according to the present embodiment, by using the information recorded in the classification result recording unit 264, evaluation and analysis of the transition of the insertion shape of the insertion unit 11 during the observation in the subject, etc. Can be performed after the observation in the subject is completed.
- the display control unit 250 performs a process for visualizing the information recorded in the classification result recording unit 264 to classify the insertion shape classification unit 262 as shown in FIGS. 13A to 13C.
- the display device 60 can display a display image including a graph showing the time transition of the type of insertion shape of the insertion unit 11 obtained as a result.
- 13A to 13C are diagrams showing an example in which the time transition of the type of the insertion shape of the insertion portion is visualized using the information recorded in the endoscope system according to the first embodiment.
- the graph GRA of FIG. 13A is created as a graph showing the temporal transition of the type of insertion shape of the insertion portion 11 when the tip portion 12 reaches the ascending colon while releasing the ⁇ loop formed by the insertion portion 11. Has been done.
- the type of the insertion shape of the insertion unit 11 is maintained in the type TA in the period PKA corresponding to the period from the time NX to the time NA when the insertion control of the insertion unit 11 is started. .. Therefore, according to the graph GRA of FIG. 13A, for example, in the period PKA, it can be confirmed that the tip portion 12 reaches the vicinity of the entrance of the sigmoid colon while the insertion portion 11 is maintained in a substantially linear shape. ..
- the type of the insertion shape of the insertion portion 11 is changed from the type TB to the type TC in the period PKB corresponding to the period from the time NB to the time NC after the time NA. Therefore, according to the graph GRA of FIG. 13A, for example, it can be confirmed that the insertion portion 11 has begun to form an ⁇ loop during the period PKB.
- the type of the insertion shape of the insertion portion 11 is changed from the type TD to the type TG in the period PKC corresponding to the period from the time ND to the time NE after the time NC. Further, according to the graph GRA of FIG. 13A, in the middle of the period PKC, the type of the insertion shape of the insertion portion 11 is oscillated so as to be either the type TE or the type TF. Therefore, according to the graph GRA of FIG. 13A, for example, it can be confirmed that the ⁇ -loop is released while trying to reduce the ⁇ -loop formed by the insertion portion 11 in the period PKC.
- the type of the insertion shape of the insertion portion 11 is changed from the type TF to the type TG in the period PKD corresponding to the period from the time NF to the time NG after the time NE. Further, the vibration is changed so as to be one of the type TG and the type TH. Therefore, according to the graph GRA of FIG. 13A, it can be confirmed that, for example, in the period PKD, the release of the ⁇ loop formed by the insertion portion 11 is being completed.
- the type of the insertion shape of the insertion portion 11 is changed from the type TH to the type TJ via the type TI. It's changing. Therefore, according to the graph GRA of FIG. 13A, it can be confirmed that the tip portion 12 reaches the ascending colon via the transverse colon, for example, during the period PKE.
- the graph GRB of FIG. 13B is created as a graph showing the temporal transition of the type of insertion shape of the insertion portion 11 when it is difficult to release the ⁇ loop due to individual differences in the shape of the sigmoid colon.
- FIG. 13B for convenience of illustration, it is assumed that the scale on the horizontal axis is different from those in FIGS. 13A and 13C.
- the type of insertion shape of the insertion unit 11 is different in the period PKF corresponding to the period from the time NJ to the time NK after the time NY when the insertion control of the insertion unit 11 is started. It is oscillated to be one of TD, type TE and type TF. Therefore, according to the graph GRB of FIG. 16B, for example, in the period PKF, it can be confirmed that the attempt to reduce the ⁇ loop formed by the insertion portion 11 was not successful.
- the type of the insertion shape of the insertion portion 11 is type TB, type TC, type TD, type TE. And oscillatingly changed to be one of the types TF. Therefore, according to the graph GRB of FIG. 13B, for example, in the period PKG, the ⁇ loop is reshaped by the insertion portion 11 in a state where the shape of the intestinal tract is adjusted so as not to interfere with the insertion of the insertion portion 11 as much as possible. You can confirm that you are there.
- the type of the insertion shape of the insertion portion 11 is type TC, type TD, type TE, type TF. And oscillatingly changed to be one of the types TG. Therefore, according to the graph GRB of FIG. 13B, it can be confirmed that, for example, during the period PKH, an attempt is made to release the ⁇ loop reformed by the insertion portion 11.
- the type of the insertion shape of the insertion portion 11 is changed from the type TF to the type TH via the type TG. It's changing. Therefore, according to the graph GRB of FIG. 13B, for example, it can be confirmed that the ⁇ loop reformed by the insertion portion 11 was successfully released during the period PKI.
- the graph GRC of FIG. 13C is created as a graph showing the temporal transition of the type of insertion shape of the insertion portion 11 when the tip portion 12 reaches the ascending colon without the formation of the ⁇ loop by the insertion portion 11. There is.
- the type of the insertion shape of the insertion portion 11 changes in the order of type TA, type TH, type TI and type TJ. There is. Therefore, according to the graph GRC of FIG. 13C, for example, it can be confirmed that the problem that hinders the insertion of the insertion portion 11 did not occur in the entire section of the large intestine.
- the operation for recording the classification result obtained by the insertion shape classification unit 262 in chronological order and at regular time intervals by the classification result recording unit 264 is controlled by the insertion control unit 263.
- the method is not limited to the case where the insertion unit 11 is automatically inserted, and may be configured to be performed when the insertion unit 11 is manually inserted by a user operation. Then, when such an operation of the classification result recording unit 264 is performed when the insertion unit 11 is manually inserted, the graph showing the temporal transition of the type of the insertion shape of the insertion unit 11 accompanying the user's operation is shown in the figure. Graphs similar to those illustrated in FIGS. 13A-13C can be created.
- the insertion operation of the insertion unit 11 performed by the user is quantitatively evaluated and / or analyzed. You can get the data that can be used when you do.
- the insertion unit 11 inserts the operation for the classification result recording unit 264 to record the classification results obtained by the insertion shape classification unit 262 in chronological order and at regular time intervals. It is not limited to the case where it is performed, and it may be configured to be performed when the insertion portion 11 inserted in the subject is removed.
- the information recorded in the classification result recording unit 264 can be used for purposes other than creating graphs as illustrated in FIGS. 13A to 13C.
- the information recorded in the classification result recording unit 264 can be used as the original data in an analysis method such as data mining and statistical analysis. Further, the information recorded in the classification result recording unit 264 can be used, for example, to evaluate the skill level of the user when the insertion unit 11 is manually inserted by the user's operation. Further, the information recorded in the classification result recording unit 264 can be used, for example, to estimate the insertion difficulty when inserting the insertion unit 11 into a predetermined subject.
- the classification result recording unit 264 inserts desired information obtained by the operation of the endoscope system 1, such as an endoscopic image, into the insertion shape classification unit 262. It may be configured to perform an operation for recording in association with.
- the insertion control unit 263 of the present embodiment responds to, for example, a detection result of detecting whether or not the type of the insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262 has changed.
- Control based on at least one of the endoscopic image output from the image processing unit 220, the external force information output from the external force information acquisition device 40, and the insertion shape image generated by the insertion shape image generation unit 261. It is configured to set the contents and generate an insertion control signal including information for performing control related to the insertion operation of the insertion unit 11 using the set control contents and output it to the endoscope function control unit 240. You may be.
- the insertion control unit 263 may be configured to perform control as shown in FIG. 14, for example.
- the outline of such control will be described below.
- a plurality of insertion control information created in advance in the storage medium 20M as information including control contents corresponding to a plurality of predetermined types of insertion shapes classified by the insertion shape classification unit 262.
- One insertion control information stored and corresponding to the classification result obtained by the insertion shape classification unit 262 is selected from the plurality of insertion control information, and each time the insertion control unit 263 performs one control.
- FIG. 14 is a flowchart for explaining an outline of the control performed in the endoscope system according to the modified example of the first embodiment.
- the insertion control unit 263 is based on the classification result obtained by the insertion shape classification unit 262, and is one type of insertion shape shown as the classification result from a plurality of insertion control information stored in advance in the storage medium 20M. Performs a process for selecting and reading one insertion control information corresponding to (step S1 in FIG. 14).
- Each of the plurality of insertion control information described above includes information relating to a method for making the insertion portion 11 forwardable, and information relating to a method for releasing a predetermined insertion shape formed by the insertion portion 11. , One of the information is included. Further, each of the plurality of insertion control information described above is realized by the operation of at least one control unit of each control unit included in the endoscope function control unit 240, that is, the function of the endoscope 10. Information indicating the control content (control amount, etc.) for one time corresponding to at least one basic operation among the basic operations is included.
- the information related to the method for making the insertion portion 11 forwardable includes the setting when setting the moving destination of the tip portion 12, such as the frame WG described later set in the processing result image PRG. Contains information indicating the conditions.
- the information related to the method for making the insertion unit 11 forwardable includes, for example, the basic operations realized by the functions of the endoscope 10 which are independently executed when the insertion unit 11 is advanced. It contains at least one of information indicating an operation and information indicating a combination of a plurality of basic operations that are continuously or simultaneously executed when the insertion unit 11 moves forward.
- the information relating to the method for releasing the predetermined insertion shape formed by the insertion portion 11 includes, for example, individual basic operations realized by the function of the endoscope 10 when the predetermined insertion shape is released. It contains at least one of information indicating the basic operation to be executed and information indicating a combination of a plurality of basic operations that are continuously or simultaneously executed when the predetermined insertion shape is released. ing.
- the insertion control unit 263 detects whether or not the one insertion control information read in step S1 of FIG. 14 includes information related to a method for making the insertion unit 11 forwardable (FIG. 14). Step S2).
- step S4 of FIG. 14 When the insertion control unit 263 obtains a detection result that the one insertion control information read in step S1 of FIG. 14 does not include information related to a method for making the insertion unit 11 forwardable ( In S2: NO), the process of step S4 of FIG. 14 described later is performed.
- the insertion control unit 263 obtains a detection result that the one insertion control information read in step S1 of FIG. 14 includes information related to a method for making the insertion unit 11 forwardable ( In S2: YES), control for making the insertion unit 11 forwardable is performed based on the control content included in the insertion control information and the endoscopic image output from the image processing unit 220. This is performed on the endoscope function control unit 240 (step S3 in FIG. 14).
- the insertion control unit 263 is based on the external force information output from the external force information acquisition device 40, and is included in the control content included in the insertion control information read in step S1 of FIG. 14, or in step S6 of FIG.
- An insertion control signal for performing one-time control according to any of the set changed control contents is generated and output to the endoscope function control unit 240 (step S4 in FIG. 14). A specific example of the above-mentioned one-time control will be described later.
- the insertion control unit 263 classifies the insertion shape at the timing immediately after the classification result obtained by the insertion shape classification unit 262 at the timing of performing the process of step S1 of FIG. 14 and the control of one time of step S4 of FIG. By comparing with the classification result obtained by the unit 262, it is detected whether or not the type of the insertion shape of the insertion unit 11 has changed according to the control for one time (step S5 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed (S5: YES), the insertion control unit 263 performs the process of step S8 of FIG. 14 described later. Further, when the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has not changed (S5: NO), the insertion control unit 263 performs one control in step S4 of FIG. It is determined whether or not it is necessary to change the control content of (step S6 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a determination result that it is not necessary to change the control content when one control is performed in step S4 of FIG. 14 (S6: NO), the insertion control unit 263 maintains the control content. At the same time, the control after step S2 in FIG. 14 is performed. Further, when the insertion control unit 263 obtains a determination result that it is necessary to change the control content when the control for one time is performed in step S4 of FIG. 14 (S6: YES), the control after the change is obtained. After performing the process for setting the contents (step S7 in FIG. 14), the control after step S2 in FIG. 14 described above is performed.
- the insertion control unit 263 changed the insertion shape of the insertion unit 11 to a predetermined type based on the classification result obtained by the insertion shape classification unit 262 at the timing immediately after performing the control for one time in step S4 of FIG. Is detected (step S8 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the insertion shape of the insertion unit 11 has not changed to a predetermined type (S8: NO), the insertion control unit 263 controls step S1 of FIG. 14 described above. Further, when the insertion control unit 263 obtains a detection result that the insertion shape of the insertion unit 11 has changed to a predetermined type (S8: YES), the insertion control unit 263 ends a series of control on the endoscope function control unit 240. ..
- the insertion control unit 263 sets the control content according to one type of insertion shape shown as the classification result obtained by the insertion shape classification unit 262, and sets the control content.
- the insertion control related to the insertion operation of the insertion unit 11 is performed once based on the control content, and each time the insertion control is performed, the insertion control is performed while referring to the classification result obtained by the insertion shape classification unit 262. It is configured to determine whether or not to change the control content in.
- the insertion control unit 263 is shown as a classification result obtained by the insertion shape classification unit 262 from a plurality of insertion control information stored in advance in the storage medium 20M. It is configured to select the insertion control information CJX including the control content corresponding to the insertion shape of the type TX.
- the insertion control unit 263 is configured to perform the insertion control once based on the control contents included in the insertion control information CJX. Further, according to the series of processes of FIG. 14, the insertion control unit 263 has the type of the insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262 immediately after the above-mentioned insertion control is performed.
- the insertion control information CJY including the control content corresponding to the insertion shape of the type TY from among the plurality of insertion control information stored in advance in the storage medium 20M. Is configured to select.
- the insertion control unit 263 has the type of the insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262 immediately after the above-mentioned insertion control is performed. It is configured to determine whether or not it is necessary to change the control content included in the insertion control information CJX when it is detected that the type TX has not changed.
- the insertion control unit 263 acquires the detection result that the type of the insertion shape of the insertion unit 11 has changed due to the process of step S5 of FIG. 14, and before the change.
- the process of step S1 of FIG. 14 is skipped and step S2 of FIG. 14 is skipped. Subsequent processing shall be performed.
- a user After connecting each part of the endoscopic system 1 and turning on the power, a user such as an operator arranges the insertion part 11 so that the tip part 12 is located near the anus or rectum of the subject, for example.
- the subject is irradiated with the illumination light supplied from the light source unit 210, the subject irradiated with the illumination light is imaged by the imaging unit 110, and the subject is imaged.
- the obtained endoscopic image is output from the image processing unit 220 to the display control unit 250 and the system control unit 260.
- the coil drive signal is supplied from the coil drive signal generation unit 230, a magnetic field is generated from each of the plurality of source coils 18 according to the coil drive signal, and the magnetic field is detected.
- the insertion shape information obtained in this manner is output from the insertion shape information acquisition unit 320 to the system control unit 260, and an insertion shape image corresponding to the insertion shape information is generated by the insertion shape image generation unit 261.
- the external force information indicating the magnitude and direction of the external force at each position of the plurality of source coils 18 is output from the external force information acquisition device 40 to the system control unit 260.
- the user gives an instruction to start the insertion control of the insertion unit 11 by the main body device 20, for example, by turning on the automatic insertion switch of the input device 50.
- the insertion control unit 263 performs the insertion control related to the insertion operation of the insertion unit 11 as an endoscope function. Each time the control unit 240 is performed once, an operation for recording the classification result on which the insertion control is based is started in time series.
- FIGS. 13A to 13A show a graph showing the temporal transition of the type of the insertion shape of the insertion unit 11 accompanying the control of the insertion control unit 263, for example, FIGS. 13A to 13A. It is possible to create a graph in which the horizontal axis of the graph shown in FIG. 13C is replaced with "time" to "number of controls".
- the insertion shape classification unit 262 acquires, for example, a classification result in which the insertion shape of the insertion unit 11 is classified as a type TA when the insertion shape image SGA as shown in FIG. 3 is generated by the insertion shape image generation unit 261. To do.
- the insertion control unit 263 detects that the type of the insertion shape of the insertion unit 11 is the type TA based on the classification result obtained by the insertion shape classification unit 262, a plurality of insertion control units 263 are stored in advance in the storage medium 20M. A process for selecting and reading the insertion control information CJA corresponding to the type TA from the insertion control information of (corresponding to step S1 in FIG. 14) is performed.
- the above-mentioned insertion control information CJA includes information related to a method for making the insertion unit 11 forwardable. Further, in the above-mentioned insertion control information CJA, as information indicating the control content for one time, for example, the insertion unit 11 is advanced under the conditions of a forward movement amount of 50 mm, a forward speed of 30 mm per second, and a propulsion force of 2.0 N or less. Information and is included.
- the image processing unit 220 Based on the endoscopic image output from, a process for detecting the position of the lumen region in the endoscopic image is performed.
- the insertion control unit 263 inputs the endoscopic image EG as shown in FIG. 15A to the trained classifier CLQ having FCN (Full Convolutional Neural Network), for example, in FIG. 15B.
- CLQ Full Convolutional Neural Network
- FIG. 15A is a diagram showing an example of an endoscopic image generated in the endoscopic system according to the embodiment.
- FIG. 15B is a diagram showing an example of a processing result image obtained when a process for detecting the position of the lumen region is performed with respect to the endoscopic image of FIG. 15A.
- an endoscopic image similar to that generated by the image processing unit 220 and each pixel included in the endoscopic image are edges, cavities, and others.
- Machine learning is performed using the teacher data including a label indicating which of the parts belongs to.
- the processing result image PRG that can specify the position of the edge region and the position of the lumen region in the endoscopic image as output data. That is, the processing result image obtained by the processing using the above-mentioned classifier CLQ includes the region division result corresponding to the semantic segmentation.
- the AWS mechanism 143 performs air supply, water supply, and / or suction.
- the insertion control signal for operating the AWS control unit 243 may be generated and output to the endoscope function control unit 240 as it is performed.
- the insertion control unit 263 determines the lumen region detected from the endoscopic image output from the image processing unit 220 including the central portion of the endoscopic image.
- An insertion control signal for performing an operation such as entering the region is generated and output to the endoscope function control unit 240 (corresponding to step S3 in FIG. 14).
- the insertion control unit 263 divides the processing result image PRG of FIG. 15B into a 9 ⁇ 9 region and divides the processing result image PRG of FIG. 15B into, for example, as shown in FIG. 15C, based on the control content included in the insertion control information CJA.
- the tip portion 12 so that the entire or substantially the entire cavity region included in the processing result image PRG is contained in a 5 ⁇ 5 region (inside the frame WG in FIG. 15C) including the central portion of the processing result image PRG.
- An insertion control signal for adjusting the direction and / or the rotation angle of the insertion unit 11 is generated and output to the endoscope function control unit 240.
- FIG. 15C is a diagram for explaining the control performed when the processing result image of FIG. 15B is obtained.
- the insertion control unit 263 repeatedly controls the endoscope function control unit 240 until the lumen region enters a predetermined region including the central portion of the endoscopic image output from the image processing unit 220.
- the insertion control unit 263 outputs from the external force information acquisition device 40 when it detects that the lumen region has entered a predetermined region including the central portion of the endoscopic image output from the image processing unit 220. Based on the external force information to be generated, an insertion control signal for performing one control according to the control content included in the insertion control information CJA is generated and output to the endoscope function control unit 240 (step S4 in FIG. 14). Equivalent to). Then, in response to the control of the insertion control unit 263, the advance / retreat control unit 241 controls the insertion unit 11 to move forward via the advance / retreat mechanism 141.
- the insertion control unit 263 Based on the classification result obtained by the insertion shape classification unit 262, the insertion control unit 263 changes the type of the insertion shape of the insertion unit 11 from the type TA according to one control according to the control content included in the insertion control information CJA. It detects whether or not it has been done (corresponding to step S5 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has not changed from the type TA (corresponding to S5: NO), the insertion control unit 263 further controls the content included in the insertion control information CJA. Is determined whether or not it is necessary to change (corresponding to step S6 in FIG. 14).
- the insertion control unit 263 detects, for example, that the external force applied when the insertion unit 11 is advanced is 2.0 N or less based on the external force information output from the external force information acquisition device 40, and the insertion control unit 263 controls the insertion. Acquires the determination result that it is not necessary to change the control content included in the information CJA (corresponding to S6: NO).
- the insertion control unit 263 controls the insertion unit 11 so that it can move forward. Then, an insertion control signal for performing one control according to the control content included in the insertion control information CJA is generated and output to the endoscope function control unit 240 (steps S2, S3 and S3 in FIG. 14). Corresponds to step S4).
- the insertion control unit 263 controls the insertion when, for example, detects that the external force applied when the insertion unit 11 is advanced exceeds 2.0 N based on the external force information output from the external force information acquisition device 40. Acquire the determination result that the control content included in the information CJA needs to be changed (corresponding to S6: YES).
- the insertion control unit 263 when the insertion control unit 263 obtains a determination result that the control content included in the insertion control information CJA needs to be changed, the insertion control unit 263 adds jigging to the control content included in the insertion control information CJA. The thing is set as the control content after the change (corresponding to step S7 in FIG. 14). Then, the insertion control unit 263 controls the insertion unit 11 so that it can move forward, and then performs one control according to the above-mentioned changed control content (including jigging). An insertion control signal is generated and output to the endoscope function control unit 240 (corresponding to steps S2, S3 and S4 in FIG. 14).
- the above-mentioned jig ring is performed as an operation of moving the insertion portion 11 inserted into the intestinal tract back and forth in small steps when the insertion portion 11 is manually inserted.
- the above-mentioned jig ring includes, for example, the deflection of the insertion portion 11 inserted into the intestinal tract, the friction generated between the intestinal tract and the insertion portion 11, and the catching of the insertion portion 11 in the intestinal tract. It is performed as an operation for the purpose of removing or alleviating a phenomenon that hinders the manual insertion of the insertion portion 11 in the large intestine.
- the advance / retreat control unit 241 generates an advance / retreat control signal for controlling the insertion unit 11 to advance / retreat in small steps and repeatedly a predetermined number of times, and outputs the signal to the advance / retreat mechanism 141 to perform the jig ring described above.
- the equivalent operation can be realized.
- the insertion unit 11 is jigged as one control according to the control content included in the insertion control information CJA.
- the insertion control unit 263 controls the insertion unit 11 to move forward.
- the insertion control unit 263 may perform control such that the insertion unit 11 is retracted by a certain amount and then the insertion unit 11 is jigged and advanced.
- the insertion shape classification unit 262 is, for example, when the insertion shape image SGB1 as shown in FIG. 5A or the insertion shape image SGB2 as shown in FIG. 5B is generated by the insertion shape image generation unit 261.
- the classification result of classifying the insertion shapes of 11 as the type TB is acquired.
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TA to the type TB (corresponding to S5: YES and S8: NO), the insertion control unit 263 stores the insertion unit 11 in advance in the storage medium 20M. A process for selecting and reading the insertion control information CJB corresponding to the type TB from the plurality of insertion control information is performed (corresponding to step S1 in FIG. 14).
- the above-mentioned insertion control information CJB includes information related to a method for making the insertion unit 11 forwardable. Further, in the above-mentioned insertion control information CJB, as information indicating the control content for one time, for example, after detecting that the external force applied when the insertion portion 11 is advanced by jigging is 3.0 N or less. Information is included that the insertion portion 11 is advanced under the conditions of a forward amount of 20 mm, a forward speed of 10 mm per second, and a propulsion force of 3.0 N or less.
- the image processing unit 220 Based on the endoscopic image output from, a process for detecting the position of the lumen region in the endoscopic image is performed.
- the insertion control unit 263 operates so as to insert the lumen region detected by the above-mentioned processing into a predetermined region including the central portion of the endoscopic image based on the control content included in the insertion control information CJB. Is generated and output to the endoscope function control unit 240 (corresponding to step S3 in FIG. 14).
- the insertion control unit 263 acquires the processing result image PRG as illustrated in FIG. 15B based on the control content included in the insertion control information CJB, divides the image PRG into 9 ⁇ 9, and performs the processing.
- the orientation of the tip portion 12 and / or the rotation angle of the insertion portion 11 so that the entire or substantially the entire cavity region included in the result image PRG is contained in the 7 ⁇ 7 region including the central portion of the processed result image PRG. Is generated and output to the endoscope function control unit 240 to adjust the insertion control signal.
- the bending control unit 242 controls to bend the bending unit 13 via the bending mechanism 142
- the rotation control unit 244 controls the insertion unit 11 via the rotation mechanism 144. Control to rotate and at least one of them is controlled. Further, with the control of the insertion control unit 263 as described above, the insertion unit 11 is in a state where it can move forward.
- the insertion control unit 263 repeatedly controls the endoscope function control unit 240 until the lumen region enters a predetermined region including the central portion of the endoscopic image output from the image processing unit 220. Further, the insertion control unit 263 outputs from the external force information acquisition device 40 when it detects that the lumen region has entered a predetermined region including the central portion of the endoscopic image output from the image processing unit 220. Based on the external force information to be generated, an insertion control signal for performing one control according to the control content included in the insertion control information CJB is generated and output to the endoscope function control unit 240 (step S4 in FIG. 14). Equivalent to).
- the insertion control unit 263 Based on the classification result obtained by the insertion shape classification unit 262, the insertion control unit 263 changes the type of the insertion shape of the insertion unit 11 from the type TB according to one control according to the control content included in the insertion control information CJB. It detects whether or not it has been done (corresponding to step S5 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has not changed from the type TB (corresponding to S5: NO), the insertion control unit 263 further controls the content included in the insertion control information CJB. Is determined whether or not it is necessary to change (corresponding to step S6 in FIG. 14).
- the insertion control unit 263 acquires a determination result that it is not necessary to change the control content included in the insertion control information CJB during the period of performing control according to the insertion control information CJB read from the storage medium 20M. (S6: Corresponds to NO).
- the insertion control unit 263 controls the insertion unit 11 so that it can move forward. Then, an insertion control signal for performing one control according to the control content included in the insertion control information CJB is generated and output to the endoscope function control unit 240 (steps S2, S3 and step S of FIG. 14). Equivalent to S4).
- the insertion shape classification unit 262 is, for example, when the insertion shape image SGC1 as shown in FIG. 6A or the insertion shape image SGC2 as shown in FIG. 6B is generated by the insertion shape image generation unit 261.
- the classification result of classifying the insertion shapes of 11 as the type TC is acquired.
- the insertion control unit 263 reads from the storage medium 20 when it obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TB to the type TC (corresponding to S5: YES and S8: NO).
- the control according to the insertion control information CJB is performed again. That is, when the insertion control unit 263 detects that the type of the insertion shape of the insertion unit 11 has changed from the type TB to the type TC, the insertion control information CJB corresponding to the type TB can be continuously used. Therefore, the process of step S1 of FIG. 14 is skipped and the processes of step S2 and subsequent steps of FIG. 14 are performed.
- the insertion shape classification unit 262 is, for example, when the insertion shape image SGD1 as shown in FIG. 7A or the insertion shape image SGD2 as shown in FIG. 7B is generated by the insertion shape image generation unit 261.
- the classification result of classifying the insertion shapes of 11 as the type TD is acquired.
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TC to the type TD (corresponding to S5: YES and S8: NO), the insertion control unit 263 stores the insertion unit 11 in advance in the storage medium 20M. A process for selecting and reading the insertion control information CJD corresponding to the type TD from the plurality of insertion control information is performed (corresponding to step S1 in FIG. 14).
- the above-mentioned insertion control information CJD includes information related to a method for making the insertion unit 11 forwardable. Further, in the above-mentioned insertion control information CJD, as information indicating the control content for one time, for example, after detecting that the external force applied when the insertion unit 11 is advanced by jigging is 2.5 N or less. Information is included that the insertion portion 11 is advanced under the conditions of a forward amount of 20 mm, a forward speed of 20 mm per second, and a propulsion force of 2.5 or less.
- the image processing unit 220 Based on the endoscopic image output from, a process for detecting the position of the lumen region in the endoscopic image is performed.
- the insertion control unit 263 operates so as to insert the lumen region detected by the above-mentioned processing into a predetermined region including the central portion of the endoscopic image based on the control content included in the insertion control information CJD. Is generated and output to the endoscope function control unit 240 (corresponding to step S3 in FIG. 14).
- the insertion control unit 263 acquires the processing result image PRG as illustrated in FIG. 15B based on the control content included in the insertion control information CJD, divides it into a 9 ⁇ 9 region, and performs the processing.
- the orientation of the tip portion 12 and / or the rotation angle of the insertion portion 11 so that the entire or substantially the entire cavity region included in the result image PRG is contained in the 5 ⁇ 5 region including the central portion of the processed result image PRG. Is generated and output to the endoscope function control unit 240 to adjust the insertion control signal.
- the lumen region is not included in the above-mentioned 5 ⁇ 5 region.
- the orientation of the tip portion 12 and the orientation of the tip portion 12 so that the entire or substantially the entire area of the lumen region included in the processing result image PRG is included in the 7 ⁇ 7 region including the central portion of the processing result image PRG.
- an insertion control signal for adjusting the rotation angle of the insertion unit 11 is generated and output to the endoscope function control unit 240.
- the bending control unit 242 controls to bend the bending unit 13 via the bending mechanism 142
- the rotation control unit 244 controls the insertion unit 11 via the rotation mechanism 144. Control to rotate and at least one of them is controlled. Further, with the control of the insertion control unit 263 as described above, the insertion unit 11 is in a state where it can move forward.
- the insertion control unit 263 repeatedly controls the endoscope function control unit 240 until the lumen region enters a predetermined region including the central portion of the endoscopic image output from the image processing unit 220.
- the insertion control unit 263 outputs from the external force information acquisition device 40 when it detects that the lumen region has entered a predetermined region including the central portion of the endoscopic image output from the image processing unit 220. Based on the external force information to be generated, an insertion control signal for performing one control according to the control content included in the insertion control information CJD is generated and output to the endoscope function control unit 240 (step S4 in FIG. 14). Equivalent to).
- the insertion control unit 263 Based on the classification result obtained by the insertion shape classification unit 262, the insertion control unit 263 changes the type of the insertion shape of the insertion unit 11 from the type TD according to one control according to the control content included in the insertion control information CJD. It detects whether or not it has been done (corresponding to step S5 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has not changed from the type TD (corresponding to S5: NO), the insertion control unit 263 further controls the content included in the insertion control information CJD. Is determined whether or not it is necessary to change (corresponding to step S6 in FIG. 14).
- the insertion control unit 263 acquires a determination result that it is not necessary to change the control content included in the insertion control information CJD during the period of performing control according to the insertion control information CJD read from the storage medium 20M. (S6: Corresponds to NO).
- the insertion control unit 263 controls the insertion unit 11 so that it can move forward. Then, an insertion control signal for performing one control according to the control content included in the insertion control information CJD is generated and output to the endoscope function control unit 240 (steps S2, S3 and step S of FIG. 14). Equivalent to S4).
- the insertion shape classification unit 262 is, for example, when the insertion shape image SGE1 as shown in FIG. 8A or the insertion shape image SGE2 as shown in FIG. 8B is generated by the insertion shape image generation unit 261.
- the classification result of classifying the insertion shapes of 11 as the type TE is acquired.
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TD to the type TE (corresponding to S5: YES and S8: NO), the insertion control unit 263 stores the insertion unit 11 in advance in the storage medium 20M. A process for selecting and reading the insertion control information CJE corresponding to the type TE from the plurality of insertion control information is performed (corresponding to step S1 in FIG. 14).
- the above-mentioned insertion control information CJE includes information related to a method for releasing the loop shape formed by the insertion portion 11. Further, in the above-mentioned insertion control information CJE, as information indicating the control content for one time, for example, information indicating the retreat amount BLA when retreating the insertion unit 11 and retreat speed BVA when retreating the insertion unit 11 Information indicating that, and is included.
- the insertion control unit 263 detects that the insertion control information CJE contains information related to a method for releasing the loop shape formed by the insertion unit 11 (corresponding to S2: NO), the insertion is performed.
- An insertion control signal for performing one control according to the retreat amount BLA and the retreat speed BVA included in the control information CJE is generated and output to the endoscope function control unit 240 (corresponding to step S4 in FIG. 14). ..
- the advance / retreat control unit 241 controls the insertion unit 11 to move backward via the advance / retreat mechanism 141.
- the insertion control unit 263 Based on the classification result obtained by the insertion shape classification unit 262, the insertion control unit 263 changes the type of the insertion shape of the insertion unit 11 from the type TE according to one control according to the control content included in the insertion control information CJE. It detects whether or not it has been done (corresponding to step S5 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has not changed from the type TE (corresponding to S5: NO), the insertion control unit 263 further controls the content included in the insertion control information CJE. Is determined whether or not it is necessary to change (corresponding to step S6 in FIG. 14).
- the insertion control unit 263 includes, for example, an endoscopic image output from the image processing unit 220, external force information output from the external force information acquisition device 40, and an insertion shape image generated by the insertion shape image generation unit 261.
- the insertion control unit 263 controls one time according to the control content included in the insertion control information CJE. Is generated and output to the endoscope function control unit 240 (corresponding to steps S2 and S4 in FIG. 14).
- the insertion control unit 263 includes, for example, an endoscopic image output from the image processing unit 220, external force information output from the external force information acquisition device 40, and an insertion shape image generated by the insertion shape image generation unit 261.
- the insertion control unit 263 obtains a determination result that it is necessary to change the control content included in the insertion control information CJE, for example, the retreat amount BLA and the retreat speed BVA included in the insertion control information CJE.
- the one in which at least one of the parameters is changed is set as the changed control content (corresponding to step S7 in FIG. 14).
- the insertion control unit 263 obtains a determination result that the control content included in the insertion control information CJE needs to be changed, for example, the insertion control unit 263 has an insertion unit for the control content included in the insertion control information CJE.
- a control content of another type related to the insertion operation of 11 is added and set as the control content after the change (corresponding to step S7 in FIG. 14).
- the insertion control unit 263 generates an insertion control signal for performing one control according to the above-mentioned changed control content and outputs the insertion control signal to the endoscope function control unit 240 (step S2 and FIG. 14). Corresponds to step S4).
- the insertion control unit 263 of this modification starts the control according to the insertion control information CJE immediately after obtaining the detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TD to the type TE. For example, when the detection result that the type of the insertion shape of the insertion portion 11 has changed from the type TD to the type TE is continuously obtained for one minute, the control according to the insertion control information CJE is started. It may be something to do.
- the insertion shape classification unit 262 is, for example, when the insertion shape image SGF1 as shown in FIG. 9A or the insertion shape image SGF2 as shown in FIG. 9B is generated by the insertion shape image generation unit 261.
- the classification result of classifying the insertion shapes of 11 as the type TF is acquired.
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TE to the type TF (corresponding to S5: YES and S8: NO), the insertion control unit 263 stores the insertion unit 11 in advance in the storage medium 20M. A process for selecting and reading the insertion control information CJF corresponding to the type TF from the plurality of insertion control information is performed (corresponding to step S1 in FIG. 14).
- the above-mentioned insertion control information CJF includes information related to a method for releasing the loop shape formed by the insertion portion 11. Further, the above-mentioned insertion control information CJF includes, for example, information indicating a rotation angle BAA when the insertion portion 11 is rotated to the right around the insertion axis (longitudinal axis) as information indicating the control content for one time. It has been.
- the insertion control unit 263 detects that the insertion control information CJF contains information related to a method for releasing the loop shape formed by the insertion unit 11 (corresponding to S2: NO), the insertion is performed.
- An insertion control signal for performing one control according to the rotation angle BAA included in the control information CJF is generated and output to the endoscope function control unit 240 (corresponding to step S4 in FIG. 14).
- the rotation control unit 244 performs control for rotating the insertion unit 11 to the right around the insertion axis (longitudinal axis) via the rotation mechanism 144.
- the insertion control unit 263 Based on the classification result obtained by the insertion shape classification unit 262, the insertion control unit 263 changes the type of the insertion shape of the insertion unit 11 from the type TF according to one control according to the control content included in the insertion control information CJF. It detects whether or not it has been done (corresponding to step S5 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has not changed from the type TF (corresponding to S5: NO), the insertion control unit 263 further controls the content included in the insertion control information CJF. Is determined whether or not it is necessary to change (corresponding to step S6 in FIG. 14).
- the insertion control unit 263 includes, for example, an endoscopic image output from the image processing unit 220, external force information output from the external force information acquisition device 40, and an insertion shape image generated by the insertion shape image generation unit 261.
- the insertion control unit 263 controls one time according to the control content included in the insertion control information CJF. Is generated and output to the endoscope function control unit 240 (corresponding to steps S2 and S4 in FIG. 14).
- the insertion control unit 263 includes, for example, an endoscopic image output from the image processing unit 220, external force information output from the external force information acquisition device 40, and an insertion shape image generated by the insertion shape image generation unit 261. Based on the above, when it is detected that the release (reduction) of the ⁇ loop is not progressing, the determination result that the control content included in the insertion control information CJF needs to be changed is acquired (corresponding to S6: YES). ).
- the insertion control unit 263 obtains a determination result that it is necessary to change the control content included in the insertion control information CJF, for example, the insertion unit 11 before rotating the insertion unit 11 at the rotation angle BAA. Is added to the operation of retreating by a predetermined amount as the control content after the change (corresponding to step S7 in FIG. 14).
- the insertion control unit 263 generates an insertion control signal for performing one control according to the above-mentioned changed control content and outputs the insertion control signal to the endoscope function control unit 240 (step S2 and FIG. 14). Corresponds to step S4).
- the insertion control unit 263 may perform control such that the insertion unit 11 is advanced while the ⁇ loop is still formed.
- the insertion shape classification unit 262 is, for example, when the insertion shape image SGG1 as shown in FIG. 10A or the insertion shape image SGG2 as shown in FIG. 10B is generated by the insertion shape image generation unit 261.
- the classification result of classifying the insertion shapes of 11 as the type TG is acquired.
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TF to the type TG (corresponding to S5: YES and S8: NO), the insertion control unit 263 stores the insertion unit 11 in advance in the storage medium 20M. A process for selecting and reading the insertion control information CJG corresponding to the type TG from the plurality of insertion control information is performed (corresponding to step S1 in FIG. 14).
- the above-mentioned insertion control information CJG includes information related to a method for releasing the loop shape formed by the insertion portion 11. Further, in the above-mentioned insertion control information CJG, as information indicating the control content for one time, for example, information indicating the retreat amount BLB when the insertion unit 11 is retracted and the retreat speed BVB when the insertion unit 11 is retracted. Information indicating the rotation angle BAB when the insertion portion 11 is rotated to the right around the insertion axis (longitudinal axis) is included.
- the recession velocity BVB described above may be set to, for example, a speed of about 15 mm per second.
- the insertion control unit 263 detects that the insertion control information CJG contains information related to a method for releasing the loop shape formed by the insertion unit 11 (corresponding to S2: NO), the insertion is performed.
- the insertion control signal for performing one control according to the retreat amount BLB, the retreat speed BVB, and the rotation angle BAB included in the control information CJG is generated and output to the endoscope function control unit 240 (step of FIG. 14). Equivalent to S4).
- the advance / retreat control unit 241 controls to retract the insertion unit 11 via the advance / retreat mechanism 141
- the rotation control unit 244 controls the insertion unit 11 via the rotation mechanism 144. Is controlled to rotate to the right around the insertion axis (longitudinal axis), and is performed at the same time.
- the insertion control unit 263 Based on the classification result obtained by the insertion shape classification unit 262, the insertion control unit 263 changes the type of the insertion shape of the insertion unit 11 from the type TG according to one control according to the control content included in the insertion control information CJG. It detects whether or not it has been done (corresponding to step S5 in FIG. 14).
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has not changed from the type TG (corresponding to S5: NO), the insertion control unit 263 further controls the content included in the insertion control information CJG. Is determined whether or not it is necessary to change (corresponding to step S6 in FIG. 14).
- the insertion control unit 263 acquires a determination result that it is not necessary to change the control content included in the insertion control information CJG during the period of performing control according to the insertion control information CJG read from the storage medium 20M. (S6: Corresponds to NO).
- the insertion control unit 263 controls one time according to the control content included in the insertion control information CJG. Is generated and output to the endoscope function control unit 240 (corresponding to steps S2 and S4 in FIG. 14).
- the insertion shape classification unit 262 acquires, for example, a classification result in which the insertion shape of the insertion unit 11 is classified as the type TH when the insertion shape image SGH as shown in FIG. 11 is generated by the insertion shape image generation unit 261. To do.
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TG to the type TH (corresponding to S5: YES and S8: NO), the insertion control unit 263 stores the insertion unit 11 in advance in the storage medium 20M. A process for selecting and reading the insertion control information CJA corresponding to the type TH is performed from the plurality of insertion control information (corresponding to step S1 in FIG. 14). It should be noted that the above-mentioned control according to the control content included in the insertion control information CJA can be applied to the control performed by the insertion control unit 263 when the type of the insertion shape of the insertion unit 11 is the type TH. , Specific description will be omitted.
- the insertion portion 11 shown as a classification result by the insertion shape classification unit 262 occurs.
- the type of the insertion shape of is maintained as the type TA, and the insertion control unit 263 continues the control according to the control content included in the insertion control information CJA corresponding to the type TA. Therefore, when the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TA to the type TH (corresponding to S5: YES and S8: NO), the insertion control unit 263 is used from the storage medium 20. The control according to the read insertion control information CJA is performed again.
- step S1 of FIG. 14 is skipped and the processes of step S2 and subsequent steps of FIG. 14 are performed.
- the insertion shape classification unit 262 is, for example, when the insertion shape image SGI1 as shown in FIG. 12A or the insertion shape image SGI2 as shown in FIG. 12B is generated by the insertion shape image generation unit 261.
- the classification result of classifying the insertion shapes of 11 as the type TI is acquired.
- the insertion control unit 263 reads from the storage medium 20 when it obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TH to the type TI (corresponding to S5: YES and S8: NO). The control according to the insertion control information CJA is performed again.
- step S1 of FIG. 14 is skipped and the processes of step S2 and subsequent steps of FIG. 14 are performed.
- the insertion shape classification unit 262 is, for example, when the insertion shape image SGJ1 as shown in FIG. 13A or the insertion shape image SGJ2 as shown in FIG. 13B is generated by the insertion shape image generation unit 261.
- the classification result of classifying the insertion shapes of 11 as the type TJ is acquired.
- the insertion control unit 263 When the insertion control unit 263 obtains a detection result that the type of the insertion shape of the insertion unit 11 has changed from the type TI to the type TJ (corresponding to S5: YES and S8: YES), the insertion control unit 263 is an endoscope function control unit. A series of control over 240 is terminated.
- the user confirms that the insertion shape of the insertion portion 11 inserted inside the subject does not change based on the insertion shape image displayed on the display device 60, and then the input device 50
- the input device 50 By turning off the automatic insertion switch of the above, an instruction is given to stop the insertion control of the insertion unit 11 by the main body device 20.
- the classification result recording unit 264 detects that an instruction for stopping the insertion control of the insertion unit 11 has been given, the classification result recording unit 264 stops the operation for recording the classification result of the insertion shape classification unit 262 in time series. ..
- an expert determines the type of the insertion shape of the insertion unit 11 included in the insertion shape image generated by the insertion shape image generation unit 261 in the insertion operation of the insertion unit 11.
- the insertion shape classification unit 262 performs a process of classifying based on a viewpoint substantially equivalent to the viewpoint when subjectively judging or evaluating the success or failure of the operation and obtaining the classification result.
- the insertion control based on one insertion control information according to the type of the insertion shape of the insertion unit 11 shown as the classification result obtained by the insertion shape classification unit 262. Is performed in the insertion control unit 263.
- the insertion shape of the insertion portion 11 is formed.
- An operation for detecting whether or not the type has changed is performed in the insertion control unit 263. Therefore, according to this modification, for example, the individual difference in the internal state of the subject into which the insertion portion is inserted, and the temporal change in the insertion shape of the insertion portion inside the subject, etc. Appropriate insertion control can be performed according to the insertion status of the insertion portion.
- each rotation angle included in the insertion control information CJF and CJG is replaced with an angle when the insertion portion 11 is rotated to the left around the insertion axis (longitudinal axis). It can be applied to the control related to the release of the loop and the inverse ⁇ loop.
- the endoscope system 1A includes, for example, as shown in FIG. 16, the endoscope 10, the main body device 20A, the insertion shape detection device 30, the external force information acquisition device 40, the input device 50, and the display device 60. , And are configured.
- FIG. 16 is a block diagram for explaining a specific configuration of the endoscope system according to the second embodiment.
- the main body device 20A is configured to include one or more processors 20P and a storage medium 20M. Further, as shown in FIG. 16, the main body device 20A includes a light source unit 210, an image processing unit 220, a coil drive signal generation unit 230, an endoscope function control unit 240, a display control unit 250, and system control. It is configured to include a part 270.
- the system control unit 270 is configured to generate and output a system control signal for performing an operation in response to an instruction or the like from the operation unit 16 and the input device 50. Further, the system control unit 270 includes an insertion shape image generation unit 261, an insertion shape element extraction unit 272, an insertion control unit 273, and an extraction result recording unit 274.
- the insertion shape element extraction unit 272 performs a process for extracting one or more components related to the insertion shape of the insertion unit 11 from the insertion shape image generated by the insertion shape image generation unit 261 and obtaining an extraction result. It is configured as follows.
- the insertion shape element extraction unit 272 performs processing using a learned classifier (for example, a classifier CLR) having an FCN (Full Convolutional Neural Network), and the insertion shape generated by the insertion shape image generation unit 261. It is configured to obtain an extraction result by extracting one or more components related to the insertion shape of the insertion portion 11 from the image.
- a learned classifier for example, a classifier CLR
- FCN Frull Convolutional Neural Network
- component E1 an insert shape image similar to that generated by the insert shape image generation unit 261 and each pixel included in the insert shape image are included in the tip of the endoscope.
- component E2 relatively large closed loop
- component E3 relatively small closed loop
- open loop hereinafter referred to as component E4.
- the intersection in the closed loop (hereinafter referred to as the component E5), the refracting part on the base end side of the N loop (hereinafter referred to as the component E6), and the refracting part on the tip side of the N loop (hereinafter referred to as the component E7).
- the inside of the closed loop (hereinafter referred to as the component E8), the part other than the components E1 to E8 in the endoscope insertion portion (hereinafter referred to as the component E9), and the background (hereinafter referred to as the component E10).
- Machine learning is performed using the teacher data including a label indicating which component of (referred to as) to belong to.
- the presence or absence of each of the above-mentioned components E1 to E10 is determined, for example, by the judgment of an expert who visually confirms the inserted shape image used as the teacher data.
- the closed loop corresponding to the above-mentioned component E3 is represented as a loop having a size such that an expert tries to release the loop by performing a twisting operation on the insertion portion 11, for example.
- the closed loop corresponding to the above-mentioned component E2 is represented as a loop having a size larger than that of the above-mentioned component E3.
- the above-mentioned components E1 to E8 determine, for example, determine the success or failure of the operation when the insertion operation of the insertion unit 11 is performed manually or automatically from one insertion shape image including the insertion shape of the insertion unit 11. It is set as a component for extracting a local area that contributes to the judgment as to whether or not the content needs to be changed.
- the processing result image obtained by the processing using the above-mentioned classifier CLR includes the region division result corresponding to the semantic segmentation.
- the insertion shape element extraction unit 272 is, for example, when an insertion shape image including an insertion shape that is classified into the type TB by the processing of the insertion shape classification unit 262 is generated by the insertion shape image generation unit 261.
- a processing result image PBG as shown in FIG. 17A is acquired.
- FIG. 17A is a diagram showing an example of an image showing an extraction result in which components related to the insertion shape of the insertion portion are extracted from the insertion shape image generated in the endoscope system according to the second embodiment.
- the processing result image PBG of FIG. 17A has a region EA1 having a pixel group classified as the component E1 and a pixel group classified as the component E4 in the inserted shape image generated by the insert shape image generation unit 261. It is generated as an image including the area division result divided into four areas of the area EA4, the area EA9 having the pixel group classified as the component E9, and the area EA10 having the pixel group classified as the component E10. To.
- the processing result image PBG of FIG. 17A corresponds to the components E1, E4, and E9 as the components related to the insertion shape of the insertion unit 11 from the insertion shape image generated by the insertion shape image generation unit 261. It is acquired as an image showing the extraction result of extracting one component.
- the insertion shape element extraction unit 272 is, for example, when an insertion shape image including an insertion shape that is classified into the type TE by the processing of the insertion shape classification unit 262 is generated by the insertion shape image generation unit 261.
- a processing result image PEG as shown in FIG. 17B is obtained.
- FIG. 17B is a diagram showing an example of an image showing an extraction result in which components related to the insertion shape of the insertion portion are extracted from the insertion shape image generated in the endoscope system according to the second embodiment.
- the processing result image PEG of FIG. 17B has a region EA1 having a pixel group classified as the component E1 and a pixel group classified as the component E2 in the inserted shape image generated by the insert shape image generation unit 261.
- the processing result image PEG of FIG. 17B is composed of the constituent elements E1, E2, E5, E8 and E9 as the constituent elements related to the insertion shape of the insertion portion 11 from the insertion shape image generated by the insertion shape image generation unit 261. It is acquired as an image showing the extraction result of extracting the five components corresponding to.
- the insertion shape element extraction unit 272 is, for example, when an insertion shape image including an insertion shape that is classified into the type TF by the processing of the insertion shape classification unit 262 is generated by the insertion shape image generation unit 261.
- a processing result image PFG as shown in FIG. 17C is acquired.
- FIG. 17C is a diagram showing an example of an image showing an extraction result in which components related to the insertion shape of the insertion portion are extracted from the insertion shape image generated in the endoscope system according to the second embodiment.
- the processing result image PFG of FIG. 17C has a region EA1 having a pixel group classified as a component E1 and a pixel group classified as a component E3 of the inserted shape image generated by the insertion shape image generation unit 261.
- the processing result image PFG of FIG. 17C has components E1, E3, E5, E8 and E9 as components related to the insertion shape of the insertion unit 11 from the insertion shape image generated by the insertion shape image generation unit 261. It is acquired as an image showing the extraction result of extracting the five components corresponding to.
- the insertion shape element extraction unit 272 is, for example, when an insertion shape image including an insertion shape that is classified into the type TG by the processing of the insertion shape classification unit 262 is generated by the insertion shape image generation unit 261.
- a processing result image PGG as shown in FIG. 17D is acquired.
- FIG. 17D is a diagram showing an example of an image showing an extraction result of extracting components related to the insertion shape of the insertion portion from the insertion shape image generated in the endoscope system according to the second embodiment.
- the processing result image PGG of FIG. 17D has a region EA1 having a pixel group classified as a component E1 and a pixel group classified as a component E6 of the inserted shape image generated by the insertion shape image generation unit 261.
- the processing result image PGG of FIG. 17D corresponds to the components E1, E6, E7, and E9 as the components related to the insertion shape of the insertion unit 11 from the insertion shape image generated by the insertion shape image generation unit 261. It is acquired as an image showing the extraction result of extracting the four constituent elements.
- the insertion shape element extraction unit 272 inserts the tip of the endoscope corresponding to the tip 12 as a component related to the insertion shape of the insertion portion 11 from the insertion shape image generated by the insertion shape image generation unit 261. At least one of the loop portion corresponding to the portion forming the loop shape of the portion 11 and the refracting portion corresponding to the refracting portion of the insertion portion 11 is extracted and the extraction result is obtained. It is configured to perform the process for obtaining.
- the insertion shape element extraction unit 272 classifies the insertion shape image showing the insertion shape of the insertion unit 11 and each pixel included in the insertion shape image into one of a plurality of predetermined components. It relates to the insertion shape of the insertion portion 11 inserted in the subject by performing the processing using the classifier CLR created by performing machine learning using the label showing the result and the teacher data including. It is configured to extract one or more components to obtain an extraction result.
- the insertion control unit 273 includes the endoscopic image output from the image processing unit 220, the external force information output from the external force information acquisition device 40, and the insertion shape image generated by the insertion shape image generation unit 261. Based on at least one of the above and the extraction result obtained by the insertion shape element extraction unit 272, an insertion control signal including information for controlling the insertion operation of the insertion unit 11 is generated to control the endoscopic function. It is configured to output to unit 240.
- the insertion control unit 273 includes an endoscopic image output from the image processing unit 220, external force information output from the external force information acquisition device 40, and an insertion shape generated by the insertion shape image generation unit 261. Based on at least one of the images and the extraction result obtained by the insertion shape element extraction unit 272, as control related to the insertion operation of the insertion unit 11, for example, the start of the insertion operation, the continuation of the insertion operation, and so on.
- An insertion control signal including information for performing control relating to at least one of interruption of the insertion operation, resumption of the insertion operation, stop of the insertion operation, and completion of the insertion operation is generated and previewed. It is configured to output to the mirror function control unit 240.
- the insertion control unit 273 is among the endoscopic image output from the image processing unit 220, the external force information output from the external force information acquisition device 40, and the insertion shape image generated by the insertion shape image generation unit 261.
- the operation amount in the insertion operation of the insertion unit 11 the operation speed in the insertion operation, and the operation force in the insertion operation, based on at least one of the above and the extraction result obtained by the insertion shape element extraction unit 272. It is configured to generate an insertion control signal including information for controlling at least one and output it to the endoscope function control unit 240.
- the insertion control unit 273 of the present embodiment is, for example, from the image processing unit 220 according to the components related to the current insertion shape of the insertion unit 11 shown as the extraction result obtained by the insertion shape element extraction unit 272.
- the control content is set based on at least one of the output endoscopic image, the external force information output from the external force information acquisition device 40, and the insertion shape image generated by the insertion shape image generation unit 261. It is configured so that an insertion control signal including information for performing control related to the insertion operation of the insertion unit 11 can be generated using the set control content and output to the endoscope function control unit 240. ..
- the insertion control unit 273 outputs an endoscopic image output from the image processing unit 220 according to the components related to the current insertion shape of the insertion unit 11 shown as the extraction result obtained by the insertion shape element extraction unit 272.
- the control content based on at least one of the external force information output from the external force information acquisition device 40 and the insertion shape image generated by the insertion shape image generation unit 261, for example, an endoscope.
- An operation control group CGC having control contents for independently executing a basic operation selected from each of the basic operations realized by the 10 functions to perform the insertion operation of the insertion unit 11 is set, and the set operation control is performed.
- An insertion control signal including information relating to the group CGC can be generated and output.
- the insertion control unit 273 outputs an endoscopic image output from the image processing unit 220 according to the components related to the current insertion shape of the insertion unit 11 shown as the extraction result obtained by the insertion shape element extraction unit 272.
- the control content By setting the control content based on at least one of the external force information output from the external force information acquisition device 40 and the insertion shape image generated by the insertion shape image generation unit 261, for example, an endoscope.
- An operation control group CGD having control contents for performing the insertion operation of the insertion unit 11 by combining and executing a plurality of basic operations selected from each basic operation realized by the 10 functions is set and set.
- An insertion control signal including information related to the operation control group CGD can be generated and output.
- the operation control group CGD is set as a control content for continuously or simultaneously executing a plurality of basic operations selected from each basic operation realized by the function of the endoscope 10. That is, the control content of the operation control group CGD is set as a more complicated control content than the control content of the operation control group CGC.
- the insertion control unit 273 is realized by the function of the endoscope 10 as control according to the component related to the current insertion shape of the insertion unit 11 shown as the extraction result obtained by the insertion shape element extraction unit 272.
- the operation control group CGC which has the control content for independently executing the basic operation selected from each of the basic operations to perform the insertion operation of the insertion unit 11, and each basic realized by the functions of the endoscope 10. It is configured to perform control based on one of the operation control group CGD having control contents for performing the insertion operation of the insertion unit 11 by executing a combination of a plurality of basic operations selected from the operations. ..
- the insertion control unit 273 includes an image obtained by imaging the inside of the subject with the endoscope 10, information indicating the magnitude of the external force applied to the insertion unit 11, and insertion of the insertion unit 11. It is configured to control the insertion operation of the insertion unit based on at least one of the information indicating the shape and the extraction result obtained by the insertion shape element extraction unit 272.
- the insertion control unit 273 receives an endoscopic image and an external force output from the image processing unit 220 according to a change over time of at least one component included in the extraction result obtained by the insertion shape element extraction unit 272.
- the control content is changed based on the external force information output from the information acquisition device 40 and at least one of the insertion shape images generated by the insertion shape image generation unit 261.
- the extraction result recording unit 274 is configured to be able to perform an operation for recording the extraction results obtained by the insertion shape element extraction unit 272 in time series.
- At least a part of the functions of the main unit 20A may be realized by the processor 20P. Further, in the present embodiment, at least a part of the main body device 20 may be configured as an individual electronic circuit, or may be configured as a circuit block in an integrated circuit such as FPGA (Field Programmable Gate Array). May be good.
- FPGA Field Programmable Gate Array
- the computer reads a program for executing at least a part of the functions of the main device 20A from the storage medium 20M such as a memory, and the read program.
- the operation may be performed according to the above.
- a user After connecting each part of the endoscope system 1A and turning on the power, a user such as an operator arranges the insertion part 11 so that the tip part 12 is located near the anus or rectum of the subject, for example.
- the subject is irradiated with the illumination light supplied from the light source unit 210, the subject irradiated with the illumination light is imaged by the imaging unit 110, and the subject is imaged.
- the obtained endoscopic image is output from the image processing unit 220 to the display control unit 250 and the system control unit 270.
- the coil drive signal is supplied from the coil drive signal generation unit 230, a magnetic field is generated from each of the plurality of source coils 18 according to the coil drive signal, and the magnetic field is detected.
- the insertion shape information obtained in this manner is output from the insertion shape information acquisition unit 320 to the system control unit 270, and the insertion shape image corresponding to the insertion shape information is generated by the insertion shape image generation unit 261.
- the external force information indicating the magnitude and direction of the external force at each position of the plurality of source coils 18 is output from the external force information acquisition device 40 to the system control unit 270.
- the user gives an instruction to start the insertion control of the insertion unit 11 by the main body device 20A by, for example, turning on the automatic insertion switch of the input device 50 in the state where the insertion unit 11 is arranged as described above.
- the extraction result recording unit 274 detects that the instruction for starting the insertion control of the insertion unit 11 has been given, for example, the extraction result obtained by the insertion shape element extraction unit 272 is time-series and constant. Start the operation for recording every hour.
- the insertion control unit 273 has an endoscopic image and an external force output from the image processing unit 220 according to the components related to the current insertion shape of the insertion unit 11 shown as the extraction result obtained by the insertion shape element extraction unit 272.
- the control content is set based on the external force information output from the information acquisition device 40 and at least one of the insertion shape image generated by the insertion shape image generation unit 261.
- the insertion control unit 273 outputs from the image processing unit 220, for example, when it detects that the extraction result obtained by the insertion shape element extraction unit 272 includes the component elements E2 or E4. Operation control group in which control contents are set based on at least one of an endoscopic image, external force information output from the external force information acquisition device 40, and an inserted shape image generated by the inserted shape image generation unit 261. An insertion control signal including information related to CGC is generated and output.
- the insertion control unit 273 outputs an endoscopic image output from the image processing unit 220 when, for example, the insertion control unit 273 detects that the extraction result obtained by the insertion shape element extraction unit 272 includes the component element E3. , External force information output from the external force information acquisition device 40, and information related to the operation control group CGD for which control contents are set based on at least one of the inserted shape images generated by the inserted shape image generation unit 261. Generates and outputs the insertion control signal including.
- the insertion control unit 273 acquires endoscopic images and external force information output from the image processing unit 220 according to changes over time of at least one component included in the extraction result obtained by the insertion shape element extraction unit 272.
- the control content is changed based on the external force information output from the device 40 and at least one of the insertion shape image generated by the insertion shape image generation unit 261.
- the insertion control unit 273 extracts, for example, the insert shape element as a process for detecting a change over time in the position of the region EA1 included in the processing result image obtained by the insert shape element extraction unit 272.
- a process of binarizing the processing result image obtained by the part 272 to generate a binarized image, a process for specifying the position of the center of gravity of the region EA1 included in the binarized image, and a process of determining the position of the center of gravity. Performs a process to detect changes over time.
- the insertion control unit 273 uses, for example, the insert shape element extraction unit 272 as a process for detecting a change over time in the area of the region EA8 included in the processing result image obtained by the insert shape element extraction unit 272.
- a process of binarizing the obtained processing result image to generate a binarized image and a process for detecting a change over time in the number of pixels of the region EA8 included in the binarized image are performed.
- the insertion control unit 273 uses, for example, the insertion shape element extraction unit 272 as a process for detecting a change over time in the shape of the region EA8 included in the processing result image obtained by the insertion shape element extraction unit 272.
- a process of binarizing the obtained processing result image to generate a binarized image and a process of detecting a change over time in the circularity of the region EA8 included in the binarized image are performed.
- the insertion control unit 273 uses, for example, the insert shape element extraction unit 272 as a process for detecting a change over time in the area of the region EA3 included in the processing result image obtained by the insert shape element extraction unit 272.
- a process of binarizing the obtained processing result image to generate a binarized image and a process of detecting a change over time in the number of pixels of the region EA3 included in the binarized image are performed.
- the insertion control unit 273 is a process for detecting a change over time in the length of the region EA3 included in the processing result image obtained by the insertion shape element extraction unit 272, for example, the insertion shape element extraction unit 272.
- a process for detecting a change in the number of pixels over time is performed.
- the insertion control unit 273 may, for example, determine the position of the region EA1 detected based on the processing result image obtained by the insertion shape element extraction unit 272, the area of the region EA8, the shape of the region EA8, the area of the region EA3, and the like.
- the endoscopic image output from the image processing unit 220, the external force information output from the external force information acquisition device 40, and the insertion shape image generation unit according to at least one change over time in the length of the region EA3.
- the control content is changed based on at least one of the insertion shape images generated by 261.
- the user confirms that the insertion shape of the insertion portion 11 inserted inside the subject does not change based on the insertion shape image displayed on the display device 60, and then the input device 50 By turning off the automatic insertion switch of, an instruction is given to stop the insertion control of the insertion unit 11 by the main body device 20A.
- the extraction result recording unit 274 detects that the instruction for stopping the insertion control of the insertion unit 11 has been given, the extraction result obtained by the insertion shape element extraction unit 272 is displayed in chronological order and at regular time intervals. Stop the operation for recording in.
- an expert can operate one or more components included in the insertion shape image generated by the insertion shape image generation unit 261 in the insertion operation of the insertion unit 11.
- the insertion shape element extraction unit 272 performs a process of extracting based on a viewpoint substantially equivalent to the viewpoint when subjectively judging or evaluating success or failure and obtaining an extraction result.
- the insertion control unit 273 performs insertion control according to one or more components included in the extraction result obtained by the insertion shape element extraction unit 272. Therefore, according to the present embodiment, for example, the individual difference in the internal state of the subject into which the insertion portion is inserted, the temporal change in the insertion shape of the insertion portion inside the subject, and the like. Appropriate insertion control can be performed according to the insertion status of the insertion portion.
- the insertion control unit 273 of the present embodiment uses, for example, the classification result obtained by the insertion shape classification unit 262 and the extraction result obtained by the insertion shape element extraction unit 272 in combination with the first embodiment. It may be configured to perform the control described in the modified example of the form. Specific examples of processing that can be performed in such a case are listed below.
- the insertion control unit 273, performs the processing obtained by the insertion shape element extraction unit 272 when the endoscope function control unit 240 is controlled according to the control content included in the insertion control information CJB.
- the auxiliary information HJA that can be used to determine the success or failure of the jig ring is acquired.
- the above-mentioned auxiliary information HJA determines whether or not friction is generated between the insertion portion 11 and the intestinal tract when control is performed according to the control content included in the insertion control information CJB, for example. It can be used, and can also be used to determine whether or not the insertion portion 11 is bent.
- the insertion control unit 273 when the insertion control unit 273 performs control according to the control content included in the insertion control information CJD to the endoscope function control unit 240, the insertion control unit 273 displays the processing result image obtained by the insertion shape element extraction unit 272.
- control is performed so that the insertion portion 11 is retracted by a predetermined retracting amount and then the insertion portion 11 is advanced. Then, according to such control, the insertion portion 11 can be advanced while slightly reducing the ⁇ loop.
- the insertion control unit 273 controls the endoscope function control unit 240 according to the control content included in the insertion control information CJD
- the insertion control unit 273 displays the processing result image obtained by the insertion shape element extraction unit 272.
- control is performed so that the insertion portion 11 is retracted by a predetermined retracting amount and then the insertion portion 11 is advanced. Then, according to such control, the insertion portion 11 can be advanced while slightly reducing the ⁇ loop.
- the insertion control unit 273 detects, for example, that the region EA4 in the processing result image obtained by the insertion shape element extraction unit 272 has changed to EA2 and that the region EA5 newly appears in the processing result image.
- the detection result that the insertion shape of the insertion portion 11 has changed from the type TB to the type TC is acquired.
- the insertion control unit 273 detects that the region EA2 in the processing result image obtained by the insertion shape element extraction unit 272 has changed to the region EA3, the insertion shape of the insertion unit 11 changes from type TE to type TF. Acquire the detection result that it has changed.
- the insertion control unit 273, for example, is a processing result image obtained by the insertion shape element extraction unit 272 when the endoscope function control unit 240 is controlled to release the ⁇ loop formed by the insertion unit 11. Based on the area of the region EA8 included in the above, it is detected whether the insertion shape of the insertion portion 11 is of the type TE, the type TF, or the type TG.
- the insertion control unit 273 displays the processing result image obtained by the insertion shape element extraction unit 272.
- the auxiliary information HJB corresponding to the retracted state of the insertion portion 11 is acquired.
- the above-mentioned auxiliary information HJB can be used, for example, for determining whether or not the retreat amount BLA and the retreat speed BVA included in the insertion control information CJE need to be changed.
- the insertion control unit 273 displays the processing result image obtained by the insertion shape element extraction unit 272.
- the auxiliary information HJC can be used, for example, for determining whether or not the retreat amount BLB, the retreat speed BVB, and the rotation angle BAB included in the insertion control information CJG need to be changed.
- the insertion control unit 273 is, for example, in the processing result image obtained by the insertion shape element extraction unit 272 by performing control according to the control content included in the insertion control information CJF to the endoscope function control unit 240.
- the insertion shape of the insertion portion 11 has changed from the type TF to the type TG. Get the detection result of.
- the insertion control unit 273 displays the processing result image obtained by the insertion shape element extraction unit 272.
- Auxiliary information HJD corresponding to the positional relationship between the included area EA6 and the area EA7 is acquired.
- the above-mentioned auxiliary information HJD can be used, for example, for determining whether or not the retreat amount BLB, the retreat speed BVB, and the rotation angle BAB included in the insertion control information CJG need to be changed.
- the insertion control unit 273 is, for example, in the processing result image obtained by the insertion shape element extraction unit 272 by performing control according to the control content included in the insertion control information CJG to the endoscope function control unit 240.
- the detection result that the insertion shape of the insertion portion 11 has changed from the type TG to the type TH is acquired.
- the insertion control unit 273, controls the endoscope function control unit 240 according to the control content included in the insertion control information CJF, so that the processing result image obtained by the insertion shape element extraction unit 272 can be obtained.
- the detection result that the insertion shape of the insertion portion 11 has changed from the type TG to the type TH is acquired.
- the processing result image obtained by the insertion shape element extraction unit 272. By tracking the position of the region EA1 included in the processing result image when the region EA4 does not appear in the region EA4, the detection result that the insertion shape of the insertion portion 11 has changed from the type TA to the type TH is acquired. ..
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
Abstract
内視鏡制御装置は、被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、分類結果に基づいて内視鏡挿入部の挿入操作に係る制御を行う制御部と、を有する。
Description
本発明は、内視鏡制御装置、内視鏡挿入形状分類装置、内視鏡制御装置の作動方法及びプログラムに関する。
内視鏡観察においては、可撓性を有する細長な挿入部を被検体内の深部へ挿入するための挿入操作が行われる。また、内視鏡分野においては、挿入部の挿入操作を支援するための技術が従来提案されている。
具体的には、例えば、日本国特許第4274854号公報には、体腔内に挿入された内視鏡挿入部の挿入形状を解析する内視鏡挿入形状解析装置において、当該内視鏡挿入部の挿入操作によりループが形成された際に、当該ループを解除して当該内視鏡挿入部を直線化するための操作方法を表示する構成が開示されている。
ここで、内視鏡分野においては、挿入部の挿入操作を自動化するための技術に関する検討が近年進められている。
しかし、日本国特許第4274854号公報には、挿入部の挿入操作を自動化するための具体的な制御方法等について特に言及されていない。そのため、日本国特許第4274854号公報に開示された構成によれば、例えば、挿入部が挿入される被検体の内部状態の個体差、及び、当該被検体の内部における当該挿入部の挿入形状の時間的な変化等のような当該挿入部の挿入状況に応じた適切な挿入制御を行うことができない、という課題が生じている。
本発明は、前述した事情に鑑みてなされたものであり、挿入部の挿入状況に応じた適切な挿入制御を行うことが可能な内視鏡制御装置、内視鏡挿入形状分類装置、内視鏡制御装置の作動方法及びプログラムを提供することを目的としている。
本発明の一態様の内視鏡制御装置は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置であって、被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、前記分類結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部と、を有する。
本発明の他の態様の内視鏡制御装置は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置であって、被検体内に挿入されている内視鏡挿入部の挿入形状に係る1つ以上の構成要素を抽出して抽出結果を得る挿入形状要素抽出部と、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部と、を有する。
本発明の一態様の内視鏡挿入形状分類装置は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を取得する挿入形状情報取得部と、前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、前記分類結果を出力する出力部と、を有する。
本発明の一態様の内視鏡制御装置の作動方法は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置の作動方法であって、挿入形状分類部が、被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理を行い、制御部が、前記分類結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う。
本発明の他の態様の内視鏡制御装置の作動方法は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置の作動方法であって、挿入形状要素抽出部が、被検体内に挿入されている内視鏡挿入部の挿入形状に係る1つ以上の構成要素を抽出して抽出結果を得るための処理を行い、制御部が、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う。
本発明の一態様のプログラムは、コンピュータに、被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理と、前記分類結果に基づく前記内視鏡挿入部の挿入操作に係る制御と、を実行させる。
本発明の他の態様のプログラムは、コンピュータに、被検体内に挿入されている内視鏡挿入部の挿入形状に係る1つ以上の構成要素を抽出して抽出結果を得るための処理と、前記抽出結果に基づく前記内視鏡挿入部の挿入操作に係る制御と、を実行させる。
以下、本発明の実施形態について、図面を参照しつつ説明を行う。
(第1の実施形態)
図1から図15Cは、第1の実施形態に係るものである。
図1から図15Cは、第1の実施形態に係るものである。
内視鏡システム1は、例えば、図1に示すように、内視鏡10と、本体装置20と、挿入形状検出装置30と、外力情報取得装置40と、入力装置50と、表示装置60と、を有して構成されている。図1は、実施形態に係る内視鏡制御装置を含む内視鏡システムの要部の構成を示す図である。
内視鏡10は、被検体内に挿入される挿入部11と、挿入部11の基端側に設けられた操作部16と、操作部16から延設されたユニバーサルコード17と、を有して構成されている。ここで、内視鏡10は、ユニバーサルコード16の端部に設けられたスコープコネクタ(不図示)を介し、本体装置20に対して着脱自在に接続されるように構成されている。
なお、上述した挿入部11、操作部16及びユニバーサルコード17の内部には、本体装置20から供給される照明光を伝送するためのライトガイド(不図示)が設けられている。
挿入部11は、可撓性及び細長形状を有して構成されている。また、挿入部11は、硬質の先端部12と、湾曲自在に形成された湾曲部13と、可撓性を有する長尺な可撓管部14と、を先端側から順に設けて構成されている。
また、先端部12、湾曲部13及び可撓管部14の内部には、本体装置20から供給されるコイル駆動信号に応じた磁界を発生する複数のソースコイル18が挿入部11の長手方向に沿って所定の間隔で配置されている。
先端部12には、挿入部11の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓(不図示)が設けられている。また、先端部12には、本体装置20から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部110(図1では不図示)が設けられている。
湾曲部13は、後述の湾曲制御部242の制御に応じて湾曲することができるように構成されている。また、湾曲部13は、操作部12に設けられたアングルノブ(不図示)の操作に応じて湾曲することができるように構成されている。
操作部16は、術者等のユーザが把持して操作することが可能な形状を具備して構成されている。ここで、操作部16には、挿入部11の長手軸に対して交差する上下左右の4方向に湾曲部13を湾曲させるための操作を行うことができるように構成されたアングルノブが設けられている。また、操作部16には、ユーザの入力操作に応じた指示を行うことが可能な1つ以上のスコープスイッチ(不図示)が設けられている。
図1に示すように、本体装置20は、1つ以上のプロセッサ20Pと、記憶媒体20Mと、を有して構成されている。また、本体装置20は、ユニバーサルコード17を介し、内視鏡10に対して着脱自在に接続されるように構成されている。
また、本体装置20は、挿入形状検出装置30、入力装置50及び表示装置60の各部に対して着脱自在に接続されるように構成されている。また、本体装置20は、入力装置50からの指示に応じた動作を行うように構成されている。また、本体装置20は、内視鏡10から出力される撮像信号に基づいて内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示装置60に表示させるための動作を行うように構成されている。
本実施形態において本体装置20は、内視鏡10の動作を制御するための様々な制御信号を生成して出力するように構成されている。また、本体装置20は、内視鏡制御装置としての機能を具備し、挿入形状検出装置30から出力される挿入形状情報(後述)を用いて挿入部11の挿入操作に係る制御を行うように構成されている。
さらに、本体装置20は、挿入形状検出装置30から出力される挿入形状情報に応じた挿入形状画像を生成するとともに、当該生成した挿入形状画像を表示装置60に表示させるための動作を行うように構成されている。
挿入形状検出装置30は、挿入部11に設けられたソースコイル18各々から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいて複数のソースコイル18各々の位置を取得するように構成されている。また、挿入形状検出装置30は、前述のように取得した複数のソースコイル18各々の位置を示す挿入形状情報を生成して本体装置20及び外力情報取得装置40へ出力するように構成されている。
すなわち、挿入形状検出装置30は、被検体内に挿入されている挿入部の挿入形状を検出して挿入形状情報を取得するとともに、当該取得した挿入形状情報を本体装置20及び外力情報取得装置40へ出力するように構成されている。
外力情報取得装置40には、例えば、外力が加えられていない状態における挿入部11の所定の複数の位置の曲率(または曲率半径)及び湾曲角度のデータと、想定されるあらゆる方向から挿入部11の任意の位置に所定の外力を加えた状態で取得した当該所定の複数の位置の曲率(または曲率半径)及び湾曲角度のデータと、が格納されている。
本実施形態において外力情報取得装置40は、例えば、挿入形状検出装置30から出力される挿入形状情報に基づいて挿入部11に設けられた複数のソースコイル18各々の位置を特定し、当該複数のソースコイル18各々の位置における曲率(または曲率半径)及び湾曲角度に基づいて予め格納されている各種データを参照することにより、当該複数のソースコイル18各々の位置における外力の大きさ及び方向を取得するように構成されている。
さらに、外力情報取得装置40は、前述のように取得した複数のソースコイル18各々の位置における外力の大きさ及び方向を示す外力情報を生成して本体装置20へ出力するように構成されている。
なお、本実施形態においては、外力情報取得装置40が挿入部11に設けられた複数のソースコイル18各々の位置における外力を算出するための手法として、日本国特許第5851204号公報に開示された手法が用いられるものであってもよく、または、日本国特許第5897092号公報に開示された手法が用いられるものであってもよい。
また、本実施形態においては、例えば、歪センサ、圧力センサ、加速度センサ、ジャイロセンサ、及び、無線素子等の電子部品が挿入部11に設けられている場合に、外力情報取得装置40が当該電子部品から出力される信号に基づいて複数のソースコイル18各々の位置における外力を算出するように構成されていてもよい。
入力装置50は、例えば、マウス、キーボード及びタッチパネル等のような、ユーザにより操作される1つ以上の入力インターフェースを有して構成されている。また、入力装置50は、ユーザの操作に応じた指示を本体装置20へ出力することができるように構成されている。
表示装置60は、例えば、液晶モニタ等を有して構成されている。また、表示装置60は、本体装置20から出力される内視鏡画像等を画面上に表示することができるように構成されている。
次に、本第1の実施形態の内視鏡制御装置を含む内視鏡システムの具体的な構成について、図2を参照して説明する。
図2は、本第1の実施形態に係る内視鏡システムの具体的な構成を説明するためのブロック図である。
図2に示すように、内視鏡10は、ソースコイル18と、撮像部110と、進退機構141と、湾曲機構142と、AWS機構143と、回転機構144と、を有して構成されている。図2は、第1の実施形態に係る内視鏡システムの具体的な構成を説明するためのブロック図である。
撮像部110は、例えば、照明光により照明された被写体からの戻り光が入射される観察窓と、当該戻り光を撮像して撮像信号を出力するカラーCCD等のイメージセンサと、を有して構成されている。
進退機構141は、例えば、挿入部11を挟んで対向する位置に配置された一対のローラと、当該一対のローラを回転させるための回転駆動力を供給するモータと、を有して構成されている。また、進退機構141は、例えば、本体装置20から出力される進退制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて一対のローラを回転させることにより、挿入部11を前進させるための動作、及び、挿入部11を後退させるための動作のうちのいずれか一方の動作を選択的に行うことができるように構成されている。
湾曲機構142は、例えば、湾曲部13に設けられた複数の湾曲駒と、当該複数の湾曲駒に連結された複数のワイヤと、当該複数のワイヤを牽引するための回転駆動力を供給するモータと、を有して構成されている。また、湾曲機構142は、例えば、本体装置20から出力される湾曲制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて複数のワイヤ各々の牽引量を変化させることにより、湾曲部13を上下左右の4方向に湾曲させることができるように構成されている。
AWS(Air feeding, Water feeding, and Suction)機構143は、例えば、内視鏡10(挿入部11、操作部16及びユニバーサルコード17)の内部に設けられた送気送水管路及び吸引管路の2つの管路と、当該2つの管路のうちの一方を開放しつつ他方を閉塞する動作を行う電磁弁と、を有して構成されている。
また、本実施形態においてAWS機構143は、例えば、本体装置20から出力されるAWS制御信号に応じ、送気送水管路を開放するための動作が電磁弁において行われた場合に、本体装置20から供給される水及び空気のうちの少なくとも一方を含む流体を当該送気送水管路に流通させることができるとともに、先端部12に形成された排出口から当該流体を排出することができるように構成されている。
さらに、AWS機構143は、例えば、本体装置20から出力されるAWS制御信号に応じ、吸引管路を開放するための動作が電磁弁において行われた場合に、本体装置20において発生した吸引力を当該吸引管路に作用させることができるとともに、先端部12に形成された吸引口の付近に存在する物体を当該吸引力により吸引することができるように構成されている。
回転機構144は、例えば、可撓管部14の基端側において挿入部11を把持する把持部材と、当該把持部材を回転させるための回転駆動力を供給するモータと、を有して構成されている。また、回転機構144は、例えば、本体装置20から出力される回転制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて把持部材を回転させることにより、挿入部11を挿入軸(長手軸)周りに回転させることができるように構成されている。
<本体装置20の詳細>
本体装置20は、図2に示すように、光源部210と、画像処理部220と、コイル駆動信号生成部230と、内視鏡機能制御部240と、表示制御部250と、システム制御部260と、を有して構成されている。
本体装置20は、図2に示すように、光源部210と、画像処理部220と、コイル駆動信号生成部230と、内視鏡機能制御部240と、表示制御部250と、システム制御部260と、を有して構成されている。
光源部210は、例えば、1つ以上のLEDまたは1つ以上のランプを光源として有して構成されている。さらに、光源部210は、挿入部11が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡10へ供給することができるように構成されている。また、光源装置210は、システム制御部260から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。
画像処理部220は、例えば、画像処理回路を有して構成されている。また、画像処理部220は、内視鏡10から出力される撮像信号に対して所定の処理を施すことにより内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示制御部250及びシステム制御部260へ出力するように構成されている。
コイル駆動信号生成部230は、例えば、ドライブ回路を有して構成されている。また、コイル駆動信号生成部230は、システム制御部260から供給されるシステム制御信号に応じ、ソースコイル18を駆動させるためのコイル駆動信号を生成して出力するように構成されている。
内視鏡機能制御部240は、システム制御部260から供給される挿入制御信号に基づき、内視鏡10により実現される機能を制御するための動作を行うように構成されている。具体的には、内視鏡機能制御部240は、進退機構141により実現される進退機能、湾曲機構142により実現される湾曲機能、AWS機構143により実現されるAWS機能、及び、回転機構144により実現される回転機能のうちの少なくとも1つの機能を制御するための動作を行うように構成されている。また、内視鏡機能制御部240は、進退制御部241と、湾曲制御部242と、AWS制御部243と、回転制御部244と、を有して構成されている。
進退制御部241は、システム制御部260から供給される挿入制御信号に基づき、進退機構141の動作を制御するための進退制御信号を生成して出力するように構成されている。具体的には、進退制御部241は、システム制御部260から供給される挿入制御信号に基づき、例えば、進退機構141に設けられたモータの回転状態を制御するための進退制御信号を生成して出力するように構成されている。
湾曲制御部242は、システム制御部260から供給される挿入制御信号に基づき、湾曲機構142の動作を制御するための湾曲制御信号を生成して出力するように構成されている。具体的には、進退制御部242は、システム制御部260から供給される挿入制御信号に基づき、例えば、湾曲機構142に設けられたモータの回転状態を制御するための湾曲制御信号を生成して出力するように構成されている。
AWS制御部243は、システム制御部260から供給される挿入制御信号に基づいて図示しないポンプ等を制御することにより、水及び空気のうちの少なくとも一方を含む流体を内視鏡10へ供給するための動作、及び、先端部12の吸引口の付近に存在する物体を吸引するための吸引力を発生させるための動作のうちのいずれか一方の動作を選択的に行うことができるように構成されている。
また、AWS制御部243は、AWS機構143の動作を制御するためのAWS制御信号を生成して出力するように構成されている。具体的には、AWS制御部243は、システム制御部260から供給される挿入制御信号に基づき、例えば、AWS機構143に設けられた電磁弁の動作状態を制御するためのAWS制御信号を生成して出力するように構成されている。
回転制御部244は、システム制御部260から供給される挿入制御信号に基づき、回転機構144の動作を制御するための回転制御信号を生成して出力するように構成されている。具体的には、回転制御部244は、システム制御部260から供給される挿入制御信号に基づき、例えば、回転機構144に設けられたモータの回転状態を制御するための回転制御信号を生成して出力するように構成されている。
すなわち、内視鏡機能制御部240は、システム制御部260から供給される挿入制御信号に基づき、内視鏡10の機能により実現される基本操作に対応する制御信号として、挿入部11を前進させるための操作に相当する押し操作、挿入部11を後退させるための操作に相当する引き操作、湾曲部13を湾曲させて先端部12の向きを挿入部11の挿入軸(長手軸)に対して交差する方向(例えば8方向のうちの一の方向)に向けるための操作に相当するアングル操作、挿入部11を挿入軸(長手軸)周りに回転させる操作に相当する捻り操作、先端部12の前方へ気体を噴出させるための送気操作、先端部12の前方へ液体を噴出させるための送水操作、及び、先端部12の前方の組織等を吸引させるための吸引操作の各操作に対応する制御信号を生成して出力することができるように構成されている。
表示制御部250は、画像処理部220から出力される内視鏡画像を含む表示画像を生成するための処理を行うとともに、当該生成した表示画像を表示装置60に表示させるための処理を行う。また、表示制御部250は、システム制御部260から出力される挿入形状画像(後述)を表示装置60に表示させるための処理を行う。
システム制御部260は、操作部16及び入力装置50からの指示等に応じた動作を行わせるためのシステム制御信号を生成して出力する。また、システム制御部260は、挿入形状画像生成部261と、挿入形状分類部262と、挿入制御部263と、分類結果記録部264と、を有して構成されている。
挿入形状画像生成部261は、挿入形状検出装置30から出力される挿入形状情報(後述)に基づき、被検体内に挿入されている挿入部11の挿入形状を2次元的に示す挿入形状画像を生成する。また、挿入形状画像生成部261は、前述のように生成した挿入形状画像を表示制御部250へ出力する。
挿入形状分類部262は、挿入形状画像生成部261により生成された挿入形状画像に基づき、当該挿入形状画像に含まれる挿入部11の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理を行う。
<挿入形状分類部262の構成>
ここで、本実施形態における挿入形状分類部262の構成の具体例について説明する。
ここで、本実施形態における挿入形状分類部262の構成の具体例について説明する。
本実施形態において挿入形状分類部262は、例えば、入力層と、1つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するCNN(Convolutional Neural Network)における各結合係数(重み)をディープラーニング等の学習手法で学習させることにより作成された分類器(例えば、分類器CLP)を用いた処理を行うことにより、挿入形状画像生成部261により生成された挿入形状画像に含まれる挿入部11の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るように構成されている。
前述の分類器CLPの作成時においては、例えば、挿入形状画像生成部261により生成されるものと同様の挿入形状画像と、当該挿入形状画像に含まれる挿入部11の挿入形状を所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いた機械学習が行われる。
ここで、前述の所定の複数の種類各々は、例えば、被検体内への挿入部11の挿入が開始された時点から当該被検体内における挿入部11の挿入が終了する時点までの期間において形成され得る様々な挿入形状のうち、挿入部11の挿入操作を手動あるいは自動で行う場合における操作の成否に係る判断及び操作内容の変更の要否に係る判断に資するような特徴的な形状を有する挿入形状の種類として設定されている。
前述の教師データの作成時においては、例えば、一の挿入形状画像に含まれる挿入部11の挿入形状が所定の複数の種類のうちのどの種類に属するかを熟練者が目視で判断した際の判断結果に応じたラベルを当該一の挿入形状画像に付与するための作業が行われる。
そのため、前述の分類器CLPによれば、例えば、挿入形状画像生成部261により生成された挿入形状画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとしてニューラルネットワークの入力層に入力することにより、当該挿入形状画像に含まれる挿入部11の挿入形状の種類として分類され得る種類各々に対応する複数の尤度を当該ニューラルネットワークの出力層から出力される出力データとして取得することができる。
また、前述の分類器CLPを用いた処理によれば、例えば、ニューラルネットワークの出力層から出力される出力データに含まれる複数の尤度の中で最も高い一の尤度に対応する一の挿入形状の種類を、挿入部11の挿入形状の分類結果として得ることができる。
すなわち、挿入形状分類部262は、挿入部11の挿入形状を示す挿入形状画像と、当該挿入形状画像に含まれる挿入部11の挿入形状を所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器CLPを用いた処理を行うことにより、被検体内に挿入されている挿入部11の挿入形状の種類を示す分類結果を得るように構成されている。
ここで、前述の分類器CLPを用いた処理により得られる挿入部11の挿入形状の分類結果の具体例について説明する。なお、以下においては、被検体内に挿入された挿入部11により形成され得る様々な挿入形状のうち、αループの形成開始直前から解除完了直後までに現れる挿入形状の種類に応じた分類結果が得られる場合を例に挙げて説明する。
挿入形状分類部262は、例えば、図3に示すような挿入形状画像SGAに含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TAとして分類した分類結果を取得する。図3は、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TAは、例えば、挿入部11が略直線形状を維持したまま先端部12が肛門付近からS状結腸の入口付近までの区間内に位置している状態に対応する分類結果として取得される。
挿入形状分類部262は、例えば、図4Aに示すような挿入形状画像SGB1、または、図4Bに示すような挿入形状画像SGB2に含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TBとして分類した分類結果を取得する。図4A及び図4Bは、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TBは、例えば、先端部12がS状結腸の内部に位置しているとともに、挿入部11がαループの元となる屈曲形状を形成した状態に対応する分類結果として取得される。
挿入形状分類部262は、例えば、図5Aに示すような挿入形状画像SGC1、または、図5Bに示すような挿入形状画像SGC2に含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TCとして分類した分類結果を取得する。図5A及び図5Bは、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TCは、例えば、先端部12が湾曲部13または可撓管部14のいずれかと交差することによりαループを形成し始めた状態から、先端部12が当該αループの上端部付近に到達した状態までに対応する分類結果として取得される。
挿入形状分類部262は、例えば、図6Aに示すような挿入形状画像SGD1、または、図6Bに示すような挿入形状画像SGD2に含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TDとして分類した分類結果を取得する。図6A及び図6Bは、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TDは、例えば、先端部12がαループの上端部を僅かに超える位置に到達した状態に対応する分類結果として取得される。
挿入形状分類部262は、例えば、図7Aに示すような挿入形状画像SGE1、または、図7Bに示すような挿入形状画像SGE2に含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TEとして分類した分類結果を取得する。図7A及び図7Bは、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TEは、例えば、先端部12が脾湾曲部付近に到達した状態、及び、先端部12がαループの上端部から十分離れた位置に到達した状態のうちのいずれかに対応する分類結果として取得される。
挿入形状分類部262は、例えば、図8Aに示すような挿入形状画像SGF1、または、図8Bに示すような挿入形状画像SGF2に含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TFとして分類した分類結果を取得する。図8A及び図8Bは、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TFは、例えば、挿入部11により形成されたαループの解除の進行に伴って当該αループが縮小した状態に対応する分類結果として取得される。
挿入形状分類部262は、例えば、図9Aに示すような挿入形状画像SGG1、または、図9Bに示すような挿入形状画像SGG2に含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TGとして分類した分類結果を取得する。図9A及び図9Bは、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TGは、例えば、挿入部11により形成されたαループの解除の進行に伴って当該αループがNループに類似する形状に移行した状態から、当該αループが完全に解除された直後の状態までに対応する分類結果として取得される。
挿入形状分類部262は、例えば、図10に示すような挿入形状画像SGHに含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類THとして分類した分類結果を取得する。図10は、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類THは、例えば、先端部12が横行結腸の入口付近に到達した状態、及び、挿入部11がαループの解除後に略直線形状に移行した状態のうちのいずれかに対応する分類結果として取得される。
挿入形状分類部262は、例えば、図11Aに示すような挿入形状画像SGI1、または、図11Bに示すような挿入形状画像SGI2に含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TIとして分類した分類結果を取得する。図11A及び図11Bは、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TIは、例えば、先端部12が横行結腸の内部に位置している状態に対応する分類結果として取得される。
挿入形状分類部262は、例えば、図12Aに示すような挿入形状画像SGJ1、または、図12Bに示すような挿入形状画像SGJ2に含まれる各画素の画素値を分類器CLPに入力して得られた出力データに基づいて処理を行うことにより、挿入部11の挿入形状を種類TJとして分類した分類結果を取得する。図12A及び図12Bは、第1の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。
前述の種類TJは、例えば、先端部12が上行結腸から盲腸付近までの区間内に位置している状態に対応する分類結果として取得される。
なお、本実施形態によれば、例えば、分類器CLPの作成時において、種類TA~TJ各々に対応する10種類のラベルうちの少なくとも1つの種類のラベルを変更した挿入形状画像を用いて学習を行うことにより、または、当該種類TA~TJ各々に対応する10種類のラベルのいずれとも異なる新たな種類のラベルを付加した挿入形状画像を追加して学習を行うことにより、αループとは異なる一の形状の形成開始直前から解除完了直後までに現れる挿入形状の種類に応じた分類結果が得られるようにしてもよい。
具体的には、本実施形態によれば、例えば、裏αループ、逆αループ、Nループ、γループ、及び、ステッキ形状のうちの少なくとも1つの形状の形成開始直前から解除完了直後までに現れる挿入形状の種類に応じた分類結果が得られるようにしてもよい。
また、本実施形態によれば、例えば、分類器CLPの作成時に用いられる学習用の挿入形状画像に対するラベルの付与方法を適宜変更することにより、被検体内への挿入部11の挿入が開始された時点から当該被検体内における挿入部11の挿入が終了する時点までの期間において形成され得る所望の挿入形状の種類に対応する分類結果が得られるようにしてもよい。
挿入制御部263は、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像と、のうちの少なくとも1つと、挿入形状分類部262により得られた分類結果と、に基づき、挿入部11の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力するように構成されている。
具体的には、挿入制御部263は、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つと、挿入形状分類部262により得られた分類結果と、に基づき、挿入部11の挿入操作に係る制御として、例えば、当該挿入操作の開始、当該挿入操作の継続、当該挿入操作の中断、当該挿入操作の再開、当該挿入操作の停止、及び、当該挿入操作の完了のうちの少なくとも1つに係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力するように構成されている。
また、挿入制御部263は、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つと、挿入形状分類部262により得られた分類結果と、に基づき、挿入部11の挿入操作における操作量、当該挿入操作における操作速度、及び、当該挿入操作における操作力のうちの少なくとも1つを制御するための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力するように構成されている。
ここで、本実施形態の挿入制御部263は、例えば、挿入形状分類部262により得られた分類結果として示される挿入部11の現在の挿入形状の種類に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定し、当該設定した制御内容を用いて挿入部11の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力することができるように構成されている。
そのため、挿入制御部263は、挿入形状分類部262により得られた分類結果として示される挿入部11の現在の挿入形状の種類に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づき、例えば、内視鏡10の機能により実現される各基本操作の中から選択した基本操作を単独で実行させて挿入部11の挿入操作を行うための制御内容を有する操作制御群CGAを設定し、当該設定した操作制御群CGAに係る情報を含む挿入制御信号を生成して出力することができる。
具体的には、操作制御群CGAには、例えば、押し操作を実行する際の前進量、前進速度、及び、操作力等に係る制御内容が含まれている。
また、挿入制御部263は、挿入形状分類部262により得られた分類結果として示される挿入部11の現在の挿入形状の種類に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づき、例えば、内視鏡10の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させて挿入部11の挿入操作を行うための制御内容を有する操作制御群CGBを設定し、当該設定した操作制御群CGBに係る情報を含む挿入制御信号を生成して出力することができる。
具体的には、操作制御群CGBには、例えば、引き操作及び捻り操作を組み合わせて実行する際の後退量、後退速度、回転角度、回転方向、及び、操作力等に係る制御内容が含まれている。
なお、操作制御群CGBは、内視鏡10の機能により実現される各基本操作の中から選択した複数の基本操作を連続的にまたは同時に実行させるような制御内容として設定される。すなわち、操作制御群CGBの制御内容は、操作制御群CGAの制御内容よりも複雑な制御内容として設定される。
すなわち、挿入制御部263は、挿入形状分類部262により得られた分類結果として示される挿入部11の現在の挿入形状の種類に応じた制御として、内視鏡10の機能により実現される各基本操作の中から選択した基本操作を単独で実行させて挿入部11の挿入操作を行うための制御内容を有する操作制御群CGA、及び、内視鏡10の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させて挿入部11の挿入操作を行うための制御内容を有する操作制御群CGBのうちのいずれかに基づく制御を行うように構成されている。
また、挿入制御部263は、内視鏡10により被検体内を撮像して得られた画像、挿入部11に対して加えられている外力の大きさを示す情報、及び、挿入部11の挿入形状を示す情報のうちの少なくとも1つと、挿入形状分類部262により得られた分類結果と、に基づいて挿入部11の挿入操作に係る制御を行う。
分類結果記録部264は、挿入形状分類部262により得られた分類結果を時系列に記録するための動作を行うことができるように構成されている。
本実施形態においては、本体装置20の少なくとも一部の機能が、プロセッサ20Pにより実現されるようにすればよい。また、本実施形態においては、本体装置20の少なくとも一部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。
また、本実施形態に係る構成を適宜変形することにより、例えば、コンピュータが、本体装置20の少なくとも一部の機能を実行させるためのプログラムをメモリ等の記憶媒体20Mから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
挿入形状検出装置30は、図2に示すように、受信アンテナ310と、挿入形状情報取得部320と、を有して構成されている。
受信アンテナ310は、例えば、複数のソースコイル18各々から発せられる磁界を3次元的に検出するための複数のコイルを有して構成されている。また、受信アンテナ310は、複数のソースコイル18各々から発せられる磁界を検出するとともに、当該検出した磁界の強度に応じた磁界検出信号を生成して挿入形状情報取得部320へ出力するように構成されている。
挿入形状情報取得部320は、受信アンテナ310から出力される磁界検出信号に基づき、複数のソースコイル18各々の位置を取得するように構成されている。また、挿入形状情報取得部320は、前述のように取得した複数のソースコイル18各々の位置を示す挿入形状情報を生成して挿入形状画像生成部261へ出力するように構成されている。
具体的には、挿入形状情報取得部320は、複数のソースコイル18各々の位置として、例えば、挿入部11が挿入される被検体の所定の位置(肛門等)が原点または基準点となるように仮想的に設定された空間座標系における複数の3次元座標値を取得する。また、挿入形状情報取得部320は、前述のように取得した複数の3次元座標値を含む挿入形状情報を生成して挿入形状画像生成部261へ出力する。
そして、このような場合においては、例えば、挿入形状情報取得部320から出力される挿入形状情報に含まれる複数の3次元座標値各々に対応する複数の2次元座標値を取得するための処理と、当該取得した複数の2次元座標値を補間するための処理と、当該補間した複数の2次元座標値に応じた挿入形状画像を生成するための処理と、が挿入形状画像生成部261により行われる。
本実施形態においては、挿入形状検出装置30の少なくとも一部が、電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、挿入形状検出装置30が1つ以上のプロセッサ(CPU等)を具備して構成されていてもよい。
本実施形態によれば、例えば、挿入形状画像生成部261が被検体内に挿入されている挿入部11の挿入形状を3次元的に示す3次元挿入形状画像を生成するように構成されている場合に、挿入形状分類部262の分類器CLPが当該3次元挿入形状画像から取得される画素値等の多次元データを入力データとして用いて挿入部11の挿入形状の種類を分類するように構成されていてもよい。そして、このような場合においては、例えば、3D-CNN(3D Convolutional Neural Network)を用いて分類器CLPを作成するようにすればよい。
本実施形態によれば、例えば、挿入形状分類部262の分類器CLPが、挿入形状検出装置30から出力される挿入形状情報に含まれる複数の3次元座標値を入力データとして用いて挿入部11の挿入形状の種類を分類するように構成されていてもよい。そして、このような場合においては、例えば、公知の線形判別関数、または、公知のニューラルネットワークのような、数値を特徴量として挿入部11の挿入形状の種類を分類するような手法を用いて分類器CLPを作成するようにすればよい。
本実施形態によれば、例えば、分類器CLPの作成時において、挿入部11の挿入形状を所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルが挿入形状画像に対して付与されるとともに、当該ラベルと、当該挿入形状画像の生成時に用いられた複数の3次元座標値と、を含む教師データを用いた機械学習が行われるようにしてもよい。
続いて、本実施形態の作用について説明する。なお、以降においては、肛門から大腸の腸管内に挿入された挿入部11の挿入操作に係る制御が行われる場合を例に挙げて説明する。また、以降においては、腸管内に挿入された挿入部11によりαループが形成される場合を例に挙げて説明する。
術者等のユーザは、内視鏡システム1の各部を接続して電源を投入した後、例えば、被検体の肛門または直腸付近に先端部12が位置するように挿入部11を配置する。
前述のようなユーザの操作によれば、光源部210から供給された照明光が被写体に照射され、当該照明光が照射された被写体が撮像部110により撮像されるとともに、当該被写体を撮像して得られた内視鏡画像が画像処理部220から表示制御部250及びシステム制御部260へ出力される。
また、前述のようなユーザの操作によれば、コイル駆動信号生成部230からコイル駆動信号が供給され、当該コイル駆動信号に応じて複数のソースコイル18各々から磁界が発せられ、当該磁界を検出して得られた挿入形状情報が挿入形状情報取得部320からシステム制御部260へ出力されるとともに、当該挿入形状情報に応じた挿入形状画像が挿入形状画像生成部261により生成される。
また、前述のようなユーザの操作によれば、複数のソースコイル18各々の位置における外力の大きさ及び方向を示す外力情報が外力情報取得装置40からシステム制御部260へ出力される。
ユーザは、前述のように挿入部11を配置した状態において、例えば、入力装置50の自動挿入スイッチ(不図示)をオンすることにより、本体装置20による挿入部11の挿入制御を開始させるための指示を行う。
分類結果記録部264は、挿入部11の挿入制御を開始させるための指示が行われたことを検出した際に、例えば、挿入形状分類部262により得られた分類結果を時系列にかつ一定時間毎に記録するための動作を開始する。
挿入制御部263は、挿入形状分類部262により得られた分類結果として示される挿入部11の現在の挿入形状の種類に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定する。
具体的には、挿入制御部263は、例えば、挿入形状分類部262により得られた分類結果として示される挿入部11の現在の挿入形状の種類が種類TA、TH、TI及びTJのうちのいずれかであることを検出した場合に、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定した操作制御群CGAに係る情報を含む挿入制御信号を生成して出力する。
また、挿入制御部263は、例えば、挿入形状分類部262により得られた分類結果として示される挿入部11の現在の挿入形状の種類が種類TB、TC、TD、TE、TF及びTGのうちのいずれかであることを検出した場合に、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定した操作制御群CGBに係る情報を含む挿入制御信号を生成して出力する。
すなわち、以上に述べた具体例によれば、挿入制御部263は、挿入部11の現在の挿入形状の種類がαループの形成開始直前から解除完了直後までに現れる挿入形状の種類に該当しないことを検出した場合に、操作制御群CGAに係る情報を含む挿入制御信号を生成して出力する。
また、以上に述べた具体例によれば、挿入制御部263は、挿入部11の現在の挿入形状の種類がαループの形成開始直前から解除完了直後までに現れる挿入形状の種類に該当することを検出した場合に、操作制御群CGAの制御内容よりも複雑な制御内容を有する操作制御群CGBに係る情報を含む挿入制御信号を生成して出力する。
なお、本実施形態においては、例えば、挿入制御部263が、画像処理部220から出力される内視鏡画像に基づいて制御内容を設定する場合に、後述の分類器CLQを用いた処理を行うようにすればよい。
さらに、本実施形態においては、挿入制御部263が、分類器CLQを用いた処理により得られる後述の処理結果画像PRGに基づき、例えば、当該処理結果画像PRGの中央部に管腔領域が存在する場合には、相対的に大きな前進量で挿入部11を前進させるための制御内容を設定するとともに、当該処理結果画像PRGの周縁部に管腔領域が存在する場合には、相対的に小さな前進量で挿入部11を前進させるための制御内容を設定するようにすればよい。
ユーザは、例えば、表示装置60に表示されている挿入形状画像に基づき、被検者の内部に挿入されている挿入部11の挿入形状が変化しなくなったことを確認した後で、入力装置50の自動挿入スイッチをオフすることにより、本体装置20による挿入部11の挿入制御を停止させるための指示を行う。
分類結果記録部264は、挿入部11の挿入制御を停止させるための指示が行われたことを検出した際に、挿入形状分類部262により得られた分類結果を時系列にかつ一定時間毎に記録するための動作を停止する。
ところで、大腸の腸管内に内視鏡の挿入部を挿入して検査を行う場合においては、例えば、当該大腸の走行状態、当該挿入部の挿入形状、及び、当該挿入部の挿入長等の組み合わせに応じた様々な状況が発生し得る。また、熟練医は、内視鏡の挿入部の挿入操作を手動で行う際に、現在の状況に対する状況判断の判断結果に応じ、例えば、当該挿入部に対して加える力の大きさ、及び、当該挿入部に対して行う操作の種類等を適宜決定するようにしている。
そして、内視鏡挿入部の挿入操作の自動化に関連する従来の提案においては、前述のような熟練医による主観的な状況判断の判断結果と同等の判断結果を取得しつつ、当該取得した判断結果に応じた制御を行うことが非常に困難である、という問題点が生じている。
これに対し、本実施形態によれば、挿入形状画像生成部261により生成された挿入形状画像に含まれる挿入部11の挿入形状の種類を、熟練者が挿入部11の挿入操作における操作の成否等を主観的に判断または評価する際の観点と略同等の観点に基づいて分類して分類結果を得るような処理が挿入形状分類部262において行われる。
また、本実施形態によれば、挿入形状分類部262により得られた分類結果として示される挿入部11の挿入形状の種類に応じた挿入制御が挿入制御部263において行われる。従って、本実施形態によれば、例えば、挿入部が挿入される被検体の内部状態の個体差、及び、当該被検体の内部における当該挿入部の挿入形状の時間的な変化等のような当該挿入部の挿入状況に応じた適切な挿入制御を行うことができる。
ところで、挿入形状検出装置30と同様の機能を有する装置を用いた従来の内視鏡観察によれば、被検体内の観察が行われている最中において内視鏡挿入部の挿入形状に関する情報を記録することができる反面、当該被検体内の観察が終了した後における当該情報の再利用が想定されていない、という問題点がある。そのため、挿入形状検出装置30と同様の機能を有する装置を用いた従来の内視鏡観察によれば、例えば、被検体内の観察が行われている最中における内視鏡挿入部の挿入形状の推移に対する評価及び解析等を、当該被検体内の観察が終了した後において行うことが困難である、という前述の問題点に応じた課題が生じている。
これに対し、以上に述べたような本実施形態の処理等によれば、入力装置50の自動挿入スイッチがオンされてからオフされるまでの期間において、挿入形状分類部262により得られた分類結果が分類結果記録部264に時系列に記録される。そのため、本実施形態によれば、分類結果記録部264に記録された情報を用いることにより、被検体内の観察が行われている最中における挿入部11の挿入形状の推移に対する評価及び解析等を、当該被検体内の観察が終了した後において行うことができる。
具体的には、例えば、表示制御部250が分類結果記録部264に記録された情報を可視化するための処理を行うことにより、図13A~図13Cに示すような、挿入形状分類部262の分類結果として得られた挿入部11の挿入形状の種類の時間的推移を表すグラフを含む表示画像を表示装置60に表示させることができる。図13A~図13Cは、第1の実施形態に係る内視鏡システムにおいて記録された情報を用いて挿入部の挿入形状の種類の時間的推移を可視化した場合の一例を示す図である。
図13AのグラフGRAは、挿入部11により形成されたαループを解除しつつ、先端部12を上行結腸に到達させた場合の挿入部11の挿入形状の種類の時間的推移を表すグラフとして作成されている。
図13AのグラフGRAによれば、挿入部11の挿入制御が開始された時刻NXから時刻NAまでの期間に相当する期間PKAにおいて、挿入部11の挿入形状の種類が種類TAに維持されている。そのため、図13AのグラフGRAによれば、例えば、期間PKAにおいて、挿入部11が略直線形状に維持された状態で先端部12がS状結腸の入口付近に到達したことを確認することができる。
図13AのグラフGRAによれば、時刻NAよりも後の時刻NBから時刻NCまでの期間に相当する期間PKBにおいて、挿入部11の挿入形状の種類が種類TBから種類TCに変化している。そのため、図13AのグラフGRAによれば、例えば、期間PKBにおいて、挿入部11がαループを形成し始めていることを確認することができる。
図13AのグラフGRAによれば、時刻NCよりも後の時刻NDから時刻NEまでの期間に相当する期間PKCにおいて、挿入部11の挿入形状の種類が種類TDから種類TGに変化している。また、図13AのグラフGRAによれば、期間PKCの途中において、挿入部11の挿入形状の種類が種類TE及び種類TFのうちのいずれかになるように振動的に変化している。そのため、図13AのグラフGRAによれば、例えば、期間PKCにおいて、挿入部11により形成されたαループの縮小を試みつつ当該αループの解除が行われていることを確認することができる。
図13AのグラフGRAによれば、時刻NEよりも後の時刻NFから時刻NGまでの期間に相当する期間PKDにおいて、挿入部11の挿入形状の種類が、種類TFから種類TGに変化した後、さらに、種類TG及び種類THのうちのいずれかになるように振動的に変化している。そのため、図13AのグラフGRAによれば、例えば、期間PKDにおいて、挿入部11により形成されたαループの解除が完了しつつあることを確認することができる。
図13AのグラフGRAによれば、時刻NGよりも後の時刻NHから時刻NIまでの期間に相当する期間PKEにおいて、挿入部11の挿入形状の種類が、種類THから種類TIを経て種類TJに変化している。そのため、図13AのグラフGRAによれば、例えば、期間PKEにおいて、先端部12が横行結腸を経て上行結腸に到達したことを確認することができる。
図13BのグラフGRBは、S状結腸の形状の個体差等に起因してαループの解除に難航した場合の挿入部11の挿入形状の種類の時間的推移を表すグラフとして作成されている。なお、図13Bにおいては、図示の便宜上、図13A及び図13Cとは横軸のスケールを異ならせているものとする。
図13BのグラフGRBによれば、挿入部11の挿入制御が開始された時刻NYよりも後の時刻NJから時刻NKまでの期間に相当する期間PKFにおいて、挿入部11の挿入形状の種類が種類TD、種類TE及び種類TFのうちのいずれかになるように振動的に変化している。そのため、図16BのグラフGRBによれば、例えば、期間PKFにおいて、挿入部11により形成されたαループの縮小を試みたにもかかわらず成功しなかったことを確認することができる。
図13BのグラフGRBによれば、時刻NKよりも後の時刻NLから時刻NMまでの期間に相当する期間PKGにおいて、挿入部11の挿入形状の種類が種類TB、種類TC、種類TD、種類TE及び種類TFのうちのいずれかになるように振動的に変化している。そのため、図13BのグラフGRBによれば、例えば、期間PKGにおいて、挿入部11の挿入を極力妨げないように腸管の形状を整えた状態で、挿入部11によるαループの再形成が行われていることを確認することができる。
図13BのグラフGRBによれば、時刻NMよりも後の時刻NNから時刻NPまでの期間に相当する期間PKHにおいて、挿入部11の挿入形状の種類が種類TC、種類TD、種類TE、種類TF及び種類TGのうちのいずれかになるように振動的に変化している。そのため、図13BのグラフGRBによれば、例えば、期間PKHにおいて、挿入部11により再形成されたαループの解除を試みていることを確認することができる。
図13BのグラフGRBによれば、時刻NPよりも後の時刻NQから時刻NRまでの期間に相当する期間PKIにおいて、挿入部11の挿入形状の種類が、種類TFから種類TGを経て種類THに変化している。そのため、図13BのグラフGRBによれば、例えば、期間PKIにおいて、挿入部11により再形成されたαループの解除が成功したことを確認することができる。
図13CのグラフGRCは、挿入部11によるαループの形成がない状態で先端部12を上行結腸に到達させた場合の挿入部11の挿入形状の種類の時間的推移を表すグラフとして作成されている。
図13CのグラフGRCによれば、挿入部11の挿入制御が開始された時刻NZ以降において、挿入部11の挿入形状の種類が、種類TA、種類TH、種類TI及び種類TJの順に変化している。そのため、図13CのグラフGRCによれば、例えば、大腸の全区間において、挿入部11の挿入に支障をきたすような問題が発生しなかったことを確認することができる。
本実施形態によれば、分類結果記録部264が、挿入形状分類部262により得られた分類結果を時系列にかつ一定時間毎に記録するための動作を、挿入制御部263の制御により挿入部11が自動で挿入される場合に行うものに限らず、ユーザの操作により挿入部11が手動で挿入される場合に行うように構成されていてもよい。そして、このような分類結果記録部264の動作が挿入部11の手動挿入時に行われた場合には、ユーザの操作に伴う挿入部11の挿入形状の種類の時間的推移を表すグラフとして、図13A~図13Cに例示したものと類似のグラフを作成することができる。
また、前述のような分類結果記録部264の動作が挿入部11の手動挿入時に行われた場合には、例えば、ユーザにより行われた挿入部11の挿入操作を定量的に評価及び/または分析する際に利用可能なデータを取得することができる。
本実施形態によれば、分類結果記録部264が、挿入形状分類部262により得られた分類結果を時系列にかつ一定時間毎に記録するための動作を、被検体内に挿入部11が挿入される場合に行うものに限らず、当該被検体内に挿入された挿入部11が抜去される場合に行うように構成されていてもよい。
本実施形態によれば、分類結果記録部264に記録された情報を、図13A~図13Cに例示したようなグラフの作成以外の用途に用いることもできる。
具体的には、分類結果記録部264に記録された情報は、例えば、データマイニング及び統計的解析等のような解析手法における元データとして用いることができる。また、分類結果記録部264に記録された情報は、例えば、ユーザの操作により挿入部11を手動で挿入した場合における当該ユーザの熟練度の評価に用いることができる。また、分類結果記録部264に記録された情報は、例えば、所定の被検者に挿入部11を挿入する際の挿入難度の推定に用いることができる。
本実施形態によれば、分類結果記録部264が、例えば、内視鏡画像等のような、内視鏡システム1の動作により得られる所望の情報を挿入形状分類部262により得られた分類結果に関連付けて記録するための動作を行うように構成されていてもよい。
なお、本実施形態の挿入制御部263は、例えば、挿入形状分類部262により得られた分類結果として示される挿入部11の挿入形状の種類が変化したか否かを検出した検出結果に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定し、当該設定した制御内容を用いて挿入部11の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力するように構成されていてもよい。
具体的には、挿入制御部263は、例えば、図14に示すような制御を行うように構成されていてもよい。このような制御の概要について、以下に説明する。なお、以下においては、簡単のため、挿入形状分類部262により分類される所定の複数の種類の挿入形状に対応する制御内容を含む情報として作成された複数の挿入制御情報が記憶媒体20Mに予め格納され、挿入形状分類部262により得られた分類結果に応じた一の挿入制御情報が当該複数の挿入制御情報の中から選択されるとともに、挿入制御部263による1回分の制御が行われる毎に当該分類結果として示される挿入部11の挿入形状の種類が変化したか否かが検出される場合を例に挙げて説明する。図14は、第1の実施形態の変形例に係る内視鏡システムにおいて行われる制御の概要を説明するためのフローチャートである。
挿入制御部263は、挿入形状分類部262により得られた分類結果に基づき、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該分類結果として示される一の挿入形状の種類に対応する一の挿入制御情報を選択して読み込むための処理を行う(図14のステップS1)。
前述の複数の挿入制御情報各々には、挿入部11を前進可能な状態にするための方法に係る情報と、挿入部11により形成される所定の挿入形状を解除するための方法に係る情報と、のうちのいずれかの情報が含まれている。また、前述の複数の挿入制御情報各々には、内視鏡機能制御部240に含まれる各制御部のうちの少なくとも1つの制御部の動作、すなわち、内視鏡10の機能により実現される各基本操作のうちの少なくとも1つの基本操作に対応する1回分の制御内容(制御量等)を示す情報が含まれている。
挿入部11を前進可能な状態にするための方法に係る情報には、例えば、処理結果画像PRGに設定される後述の枠WG等のような、先端部12の移動先を設定する際の設定条件を示す情報が含まれている。また、挿入部11を前進可能な状態にするための方法に係る情報には、例えば、内視鏡10の機能により実現される各基本操作のうち挿入部11の前進時に単独で実行される基本操作を示す情報、及び、当該各基本操作のうち挿入部11の前進時に連続的にまたは同時に実行される複数の基本操作の組み合わせを示す情報のうちの少なくとも一方が含まれている。
挿入部11により形成される所定の挿入形状を解除するための方法に係る情報には、例えば、内視鏡10の機能により実現される各基本操作のうち当該所定の挿入形状の解除時に個別に実行される基本操作を示す情報、及び、当該各基本操作のうち当該所定の挿入形状の解除時に連続的にまたは同時に実行される複数の基本操作の組み合わせを示す情報のうちの少なくとも一方が含まれている。
挿入制御部263は、図14のステップS1により読み込んだ一の挿入制御情報に挿入部11を前進可能な状態にするための方法に係る情報が含まれているか否かを検出する(図14のステップS2)。
挿入制御部263は、図14のステップS1により読み込んだ一の挿入制御情報に挿入部11を前進可能な状態にするための方法に係る情報が含まれていないとの検出結果を得た場合(S2:NO)に、後述の図14のステップS4の処理を行う。
挿入制御部263は、図14のステップS1により読み込んだ一の挿入制御情報に挿入部11を前進可能な状態にするための方法に係る情報が含まれているとの検出結果を得た場合(S2:YES)に、当該一の挿入制御情報に含まれる制御内容と、画像処理部220から出力される内視鏡画像と、に基づき、挿入部11を前進可能な状態にするための制御を内視鏡機能制御部240に対して行う(図14のステップS3)。
挿入制御部263は、外力情報取得装置40から出力される外力情報等に基づき、図14のステップS1により読み込んだ一の挿入制御情報に含まれる制御内容、または、後述の図14のステップS6により設定された変更後の制御内容のいずれかに応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS4)。なお、前述の1回分の制御の具体例については、後程説明する。
挿入制御部263は、図14のステップS1の処理を行うタイミングで挿入形状分類部262により得られた分類結果と、図14のステップS4の1回分の制御を行った直後のタイミングで挿入形状分類部262により得られた分類結果と、を比較することにより、当該1回分の制御に応じて挿入部11の挿入形状の種類が変化したか否かを検出する(図14のステップS5)。
挿入制御部263は、挿入部11の挿入形状の種類が変化したとの検出結果を得た場合(S5:YES)に、後述の図14のステップS8の処理を行う。また、挿入制御部263は、挿入部11の挿入形状の種類が変化していないとの検出結果を得た場合(S5:NO)に、図14のステップS4において1回分の制御を行った際の制御内容を変更する必要があるか否かを判定する(図14のステップS6)。
挿入制御部263は、図14のステップS4において1回分の制御を行った際の制御内容を変更する必要がないとの判定結果を得た場合(S6:NO)に、当該制御内容を維持しつつ前述の図14のステップS2以降の制御を行う。また、挿入制御部263は、図14のステップS4において1回分の制御を行った際の制御内容を変更する必要があるとの判定結果を得た場合(S6:YES)に、変更後の制御内容を設定するための処理を行った(図14のステップS7)後で、前述の図14のステップS2以降の制御を行う。
挿入制御部263は、図14のステップS4の1回分の制御を行った直後のタイミングで挿入形状分類部262により得られた分類結果に基づき、挿入部11の挿入形状が所定の種類に変化したかを検出する(図14のステップS8)。
挿入制御部263は、挿入部11の挿入形状が所定の種類に変化していないとの検出結果を得た場合(S8:NO)に、前述の図14のステップS1の制御を行う。また、挿入制御部263は、挿入部11の挿入形状が所定の種類に変化したとの検出結果を得た場合(S8:YES)に、内視鏡機能制御部240に対する一連の制御を終了する。
すなわち、図14の一連の処理によれば、挿入制御部263は、挿入形状分類部262により得られた分類結果として示される一の種類の挿入形状に応じた制御内容を設定し、当該設定した制御内容に基づいて挿入部11の挿入操作に係る挿入制御を1回ずつ行うとともに、当該挿入制御を1回行う毎に、挿入形状分類部262により得られた分類結果を参照しつつ当該挿入制御における制御内容を変更するか否かを決定するように構成されている。
また、図14の一連の処理によれば、挿入制御部263は、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、挿入形状分類部262により得られた分類結果として示される種類TXの挿入形状に対応する制御内容を含む挿入制御情報CJXを選択するように構成されている。
さらに、図14の一連の処理によれば、挿入制御部263は、挿入制御情報CJXに含まれる制御内容に基づいて挿入制御を1回ずつ行うように構成されている。また、図14の一連の処理によれば、挿入制御部263は、前述の挿入制御を行った直後に挿入形状分類部262により得られた分類結果として示される挿入部11の挿入形状の種類が種類TXから種類TYに変化したことを検出した場合に、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該種類TYの挿入形状に対応する制御内容を含む挿入制御情報CJYを選択するように構成されている。
さらに、図14の一連の処理によれば、挿入制御部263は、前述の挿入制御を行った直後に挿入形状分類部262により得られた分類結果として示される挿入部11の挿入形状の種類が種類TXから変化しなかったことを検出した場合に、挿入制御情報CJXに含まれる制御内容を変更する必要があるか否かを判定するように構成されている。
なお、図14の一連の処理においては、例えば、挿入制御部263が、図14のステップS5の処理により挿入部11の挿入形状の種類が変化したとの検出結果を取得し、かつ、変化前の挿入形状の種類に対応する挿入制御情報を変化後の挿入形状の種類においても続けて利用可能であることを検出した場合に、図14のステップS1の処理をスキップして図14のステップS2以降の処理を行うものとする。
続いて、本変形例の作用について説明する。なお、以降においては、前述の図14の制御を肛門から大腸の腸管内に挿入される挿入部11に対して適用する場合を具体例として挙げつつ説明する。また、以下に述べる各挿入制御情報に含まれる制御内容(制御量等)は、大腸の腸管内に挿入部11を挿入する場合の例を示すものであるため、内視鏡10の適用部位等に応じて適宜変更してもよい。
術者等のユーザは、内視鏡システム1の各部を接続して電源を投入した後、例えば、被検体の肛門または直腸付近に先端部12が位置するように挿入部11を配置する。
前述のようなユーザの操作によれば、光源部210から供給された照明光が被写体に照射され、当該照明光が照射された被写体が撮像部110により撮像されるとともに、当該被写体を撮像して得られた内視鏡画像が画像処理部220から表示制御部250及びシステム制御部260へ出力される。
また、前述のようなユーザの操作によれば、コイル駆動信号生成部230からコイル駆動信号が供給され、当該コイル駆動信号に応じて複数のソースコイル18各々から磁界が発せられ、当該磁界を検出して得られた挿入形状情報が挿入形状情報取得部320からシステム制御部260へ出力されるとともに、当該挿入形状情報に応じた挿入形状画像が挿入形状画像生成部261により生成される。
さらに、前述のようなユーザの操作によれば、複数のソースコイル18各々の位置における外力の大きさ及び方向を示す外力情報が外力情報取得装置40からシステム制御部260へ出力される。
ユーザは、前述のように挿入部11を配置した状態において、例えば、入力装置50の自動挿入スイッチをオンすることにより、本体装置20による挿入部11の挿入制御を開始させるための指示を行う。
分類結果記録部264は、挿入部11の挿入制御を開始させるための指示が行われたことを検出した際に、挿入制御部263が挿入部11の挿入操作に係る挿入制御を内視鏡機能制御部240に対して1回行う毎に、当該挿入制御の基となった分類結果を時系列に記録するための動作を開始する。
なお、このような分類結果記録部264の動作が行われた場合においては、挿入制御部263の制御に伴う挿入部11の挿入形状の種類の時間的推移を表すグラフとして、例えば、図13A~図13Cに示したグラフの横軸を「時間」から「制御回数」に置き換えたグラフを作成することができる。
挿入形状分類部262は、例えば、図3に示したような挿入形状画像SGAが挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TAとして分類した分類結果を取得する。
挿入制御部263は、挿入形状分類部262により得られた分類結果に基づき、挿入部11の挿入形状の種類が種類TAであることを検出した場合に、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該種類TAに対応する挿入制御情報CJAを選択して読み込むための処理を行う(図14のステップS1に相当)。
前述の挿入制御情報CJAには、挿入部11を前進可能な状態にするための方法に係る情報が含まれている。また、前述の挿入制御情報CJAには、1回分の制御内容を示す情報として、例えば、前進量50mm、前進速度毎秒30mm、及び、推進力2.0N以下の条件で挿入部11を前進させる旨の情報と、が含まれている。
挿入制御部263は、挿入制御情報CJAに挿入部11を前進可能な状態にするための方法に係る情報が含まれていることを検出した場合(S2:YESに相当)に、画像処理部220から出力される内視鏡画像に基づき、当該内視鏡画像における管腔領域の位置を検出するための処理を行う。
具体的には、挿入制御部263は、例えば、FCN(Fully Convolutional Neural Network)を有する学習済の分類器CLQに対して図15Aに示すような内視鏡画像EGを入力することにより、図15Bに示すような処理結果画像PRGを取得する処理を行う。図15Aは、実施形態に係る内視鏡システムにおいて生成される内視鏡画像の一例を示す図である。図15Bは、図15Aの内視鏡画像に対して管腔領域の位置を検出するための処理が行われた場合に得られる処理結果画像の一例を示す図である。
前述の分類器CLQの作成時においては、例えば、画像処理部220により生成されるものと同様の内視鏡画像と、当該内視鏡画像に含まれる各画素がエッジ、管腔、及び、その他の部分のうちのいずれに属するかを示すラベルと、を含む教師データを用いた機械学習が行われる。
そのため、前述の分類器CLQによれば、例えば、画像処理部220により生成された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとしてニューラルネットワークの入力層に入力することにより、当該内視鏡画像におけるエッジ領域の位置及び管腔領域の位置を特定可能な処理結果画像PRGを出力データとして取得することができる。すなわち、前述の分類器CLQを用いた処理により得られた処理結果画像には、セマンティックセグメンテーションに相当する領域分割結果が含まれている。
なお、本変形例によれば、例えば、挿入制御部263が、処理結果画像PRGによる管腔領域の特定が困難であると判断した場合に、AWS機構143による送気、送水及び/または吸引が行われるようにAWS制御部243を動作させるための挿入制御信号を生成して内視鏡機能制御部240へ出力するようにしてもよい。
挿入制御部263は、挿入制御情報CJAに含まれる制御内容に基づき、画像処理部220から出力される内視鏡画像から検出された管腔領域を当該内視鏡画像の中央部を含む所定の領域内に入れるような動作を行わせるための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS3に相当)。
具体的には、挿入制御部263は、挿入制御情報CJAに含まれる制御内容に基づき、例えば、図15Cに示すように、図15Bの処理結果画像PRGを9×9の領域に分割するとともに、当該処理結果画像PRGに含まれる管腔領域の全域または略全域を、当該処理結果画像PRGの中央部を含む5×5の領域内(図15Cにおける枠WGの内部)に入れるように先端部12の向き及び/または挿入部11の回転角度を調整するための挿入制御信号を生成して内視鏡機能制御部240へ出力する。
そして、このような挿入制御部263の制御に伴い、湾曲制御部242が湾曲機構142を介して湾曲部13を湾曲させるための制御と、回転制御部244が回転機構144を介して挿入部11を回転させるための制御と、のうちの少なくとも一方の制御が行われる。また、前述のような挿入制御部263の制御に伴い、挿入部11が前進可能な状態となる。図15Cは、図15Bの処理結果画像が得られた場合に行われる制御を説明するための図である。
挿入制御部263は、画像処理部220から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入るまでの間、内視鏡機能制御部240に対する制御を繰り返し行う。
また、挿入制御部263は、画像処理部220から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入ったことを検出した場合に、外力情報取得装置40から出力される外力情報に基づき、挿入制御情報CJAに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS4に相当)。そして、このような挿入制御部263の制御に応じ、進退機構141を介して挿入部11を前進させるための制御が進退制御部241により行われる。
挿入制御部263は、挿入形状分類部262により得られた分類結果に基づき、挿入制御情報CJAに含まれる制御内容による1回分の制御に応じて挿入部11の挿入形状の種類が種類TAから変化したか否かを検出する(図14のステップS5に相当)。
挿入制御部263は、挿入部11の挿入形状の種類が種類TAから変化していないとの検出結果を得た(S5:NOに相当)場合に、さらに、挿入制御情報CJAに含まれる制御内容を変更する必要があるか否かを判定する(図14のステップS6に相当)。
挿入制御部263は、例えば、外力情報取得装置40から出力される外力情報に基づき、挿入部11を前進させた際に加えられる外力が2.0N以下であることを検出した場合に、挿入制御情報CJAに含まれる制御内容を変更する必要がないとの判定結果を取得する(S6:NOに相当)。
また、挿入制御部263は、挿入制御情報CJAに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、挿入部11を前進可能な状態にするための制御を行った後で、当該挿入制御情報CJAに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2、ステップS3及びステップS4に相当)。
挿入制御部263は、例えば、外力情報取得装置40から出力される外力情報に基づき、挿入部11を前進させた際に加えられる外力が2.0Nを超えたことを検出した場合に、挿入制御情報CJAに含まれる制御内容を変更する必要があるとの判定結果を取得する(S6:YESに相当)。
また、挿入制御部263は、挿入制御情報CJAに含まれる制御内容を変更する必要があるとの判定結果を得た場合に、当該挿入制御情報CJAに含まれる制御内容に対してジグリングを加えたものを変更後の制御内容として設定する(図14のステップS7に相当)。そして、挿入制御部263は、挿入部11を前進可能な状態にするための制御を行った後で、前述の(ジグリングを含む)変更後の制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2、ステップS3及びステップS4に相当)。
なお、前述のジグリングは、挿入部11の手動挿入時において、腸管内に挿入された挿入部11を小刻みに前後させる操作として実施される。また、前述のジグリングは、例えば、腸管内に挿入された挿入部11のたわみ、当該腸管と挿入部11との間に生じる摩擦、及び、当該腸管内における挿入部11の引っ掛かり等のような、大腸内における挿入部11の手動挿入に支障をきたす現象の除去または軽減を目的とした操作として実施される。そのため、例えば、進退制御部241が、挿入部11を小刻みにかつ所定の回数繰り返し進退させるような制御を行うための進退制御信号を生成して進退機構141へ出力することにより、前述のジグリングに相当する操作を実現することができる。
そして、挿入制御情報CJAに含まれる制御内容に対してジグリングが加えられた場合には、1回分の制御として、挿入部11をジグリングさせつつ、当該挿入制御情報CJAに含まれる制御内容に応じて挿入部11を前進させるような制御が挿入制御部263により行われる。
なお、本変形例によれば、例えば、挿入制御情報CJAに含まれる制御内容に対してジグリングを加えた状態で所定回数分の制御が行われてもなお、挿入部11の挿入形状の種類が種類TAから変化していないことが検出された場合に、挿入部11を一定量後退させてから挿入部11をジグリング及び前進させるような制御が挿入制御部263により行われるようにしてもよい。
挿入形状分類部262は、例えば、図5Aに示したような挿入形状画像SGB1、または、図5Bに示したような挿入形状画像SGB2が挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TBとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類TAから種類TBに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該種類TBに対応する挿入制御情報CJBを選択して読み込むための処理を行う(図14のステップS1に相当)。
前述の挿入制御情報CJBには、挿入部11を前進可能な状態にするための方法に係る情報が含まれている。また、前述の挿入制御情報CJBには、1回分の制御内容を示す情報として、例えば、挿入部11をジグリングにより前進させた際に加えられる外力が3.0N以下であることを検出した後で、前進量20mm、前進速度毎秒10mm、及び、推進力3.0N以下の条件で挿入部11を前進させる旨の情報が含まれている。
挿入制御部263は、挿入制御情報CJBに挿入部11を前進可能な状態にするための方法に係る情報が含まれていることを検出した場合(S2:YESに相当)に、画像処理部220から出力される内視鏡画像に基づき、当該内視鏡画像における管腔領域の位置を検出するための処理を行う。
また、挿入制御部263は、挿入制御情報CJBに含まれる制御内容に基づき、前述の処理により検出された管腔領域を当該内視鏡画像の中央部を含む所定の領域内に入れるような動作を行わせるための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS3に相当)。
具体的には、挿入制御部263は、挿入制御情報CJBに含まれる制御内容に基づき、図15Bに例示したような処理結果画像PRGを取得して9×9の領域に分割するとともに、当該処理結果画像PRGに含まれる管腔領域の全域または略全域を、当該処理結果画像PRGの中央部を含む7×7の領域内に入れるように先端部12の向き及び/または挿入部11の回転角度を調整するための挿入制御信号を生成して内視鏡機能制御部240へ出力する。
そして、このような挿入制御部263の制御に伴い、湾曲制御部242が湾曲機構142を介して湾曲部13を湾曲させるための制御と、回転制御部244が回転機構144を介して挿入部11を回転させるための制御と、のうちの少なくとも一方の制御が行われる。また、前述のような挿入制御部263の制御に伴い、挿入部11が前進可能な状態となる。
挿入制御部263は、画像処理部220から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入るまでの間、内視鏡機能制御部240に対する制御を繰り返し行う。また、挿入制御部263は、画像処理部220から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入ったことを検出した場合に、外力情報取得装置40から出力される外力情報に基づき、挿入制御情報CJBに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS4に相当)。
そして、このような挿入制御部263の制御に応じ、進退機構141を介して挿入部11をジグリングさせるための制御と、進退機構141を介して挿入部11を前進させるための制御と、が進退制御部241により順次行われる。
挿入制御部263は、挿入形状分類部262により得られた分類結果に基づき、挿入制御情報CJBに含まれる制御内容による1回分の制御に応じて挿入部11の挿入形状の種類が種類TBから変化したか否かを検出する(図14のステップS5に相当)。
挿入制御部263は、挿入部11の挿入形状の種類が種類TBから変化していないとの検出結果を得た(S5:NOに相当)場合に、さらに、挿入制御情報CJBに含まれる制御内容を変更する必要があるか否かを判定する(図14のステップS6に相当)。
挿入制御部263は、記憶媒体20Mから読み込んだ挿入制御情報CJBに応じた制御を行っている期間においては、当該挿入制御情報CJBに含まれる制御内容を変更する必要がないとの判定結果を取得する(S6:NOに相当)。
また、挿入制御部263は、挿入制御情報CJBに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、挿入部11を前進可能な状態にするための制御を行った後で、挿入制御情報CJBに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2、ステップS3及びステップS4に相当)。
挿入形状分類部262は、例えば、図6Aに示したような挿入形状画像SGC1、または、図6Bに示したような挿入形状画像SGC2が挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TCとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類TBから種類TCに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20から読み込んだ挿入制御情報CJBに応じた制御を再度行う。すなわち、挿入制御部263は、挿入部11の挿入形状の種類が種類TBから種類TCに変化したことを検出した場合には、当該種類TBに対応する挿入制御情報CJBを続けて利用可能であると判断し、図14のステップS1の処理をスキップして図14のステップS2以降の処理を行う。
挿入形状分類部262は、例えば、図7Aに示したような挿入形状画像SGD1、または、図7Bに示したような挿入形状画像SGD2が挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TDとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類TCから種類TDに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該種類TDに対応する挿入制御情報CJDを選択して読み込むための処理を行う(図14のステップS1に相当)。
前述の挿入制御情報CJDには、挿入部11を前進可能な状態にするための方法に係る情報が含まれている。また、前述の挿入制御情報CJDには、1回分の制御内容を示す情報として、例えば、挿入部11をジグリングにより前進させた際に加えられる外力が2.5N以下であることを検出した後で、前進量20mm、前進速度毎秒20mm、及び、推進力2.5以下の条件で挿入部11を前進させる旨の情報が含まれている。
挿入制御部263は、挿入制御情報CJDに挿入部11を前進可能な状態にするための方法に係る情報が含まれていることを検出した場合(S2:YESに相当)に、画像処理部220から出力される内視鏡画像に基づき、当該内視鏡画像における管腔領域の位置を検出するための処理を行う。
また、挿入制御部263は、挿入制御情報CJDに含まれる制御内容に基づき、前述の処理により検出された管腔領域を当該内視鏡画像の中央部を含む所定の領域内に入れるような動作を行わせるための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS3に相当)。
具体的には、挿入制御部263は、挿入制御情報CJDに含まれる制御内容に基づき、図15Bに例示したような処理結果画像PRGを取得して9×9の領域に分割するとともに、当該処理結果画像PRGに含まれる管腔領域の全域または略全域を、当該処理結果画像PRGの中央部を含む5×5の領域内に入れるように先端部12の向き及び/または挿入部11の回転角度を調整するための挿入制御信号を生成して内視鏡機能制御部240へ出力する。
また、挿入制御部263は、例えば、湾曲部13の湾曲角度が最大値に達した状態で挿入部11を回転させてもなお前述の5×5の領域内に管腔領域が入っていないことを検出した場合に、処理結果画像PRGに含まれる当該管腔領域の全域または略全域を、当該処理結果画像PRGの中央部を含む7×7の領域内に入れるように先端部12の向き及び/または挿入部11の回転角度を調整するための挿入制御信号を生成して内視鏡機能制御部240へ出力する。
そして、このような挿入制御部263の制御に伴い、湾曲制御部242が湾曲機構142を介して湾曲部13を湾曲させるための制御と、回転制御部244が回転機構144を介して挿入部11を回転させるための制御と、のうちの少なくとも一方の制御が行われる。また、前述のような挿入制御部263の制御に伴い、挿入部11が前進可能な状態となる。
挿入制御部263は、画像処理部220から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入るまでの間、内視鏡機能制御部240に対する制御を繰り返し行う。
また、挿入制御部263は、画像処理部220から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入ったことを検出した場合に、外力情報取得装置40から出力される外力情報に基づき、挿入制御情報CJDに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS4に相当)。
そして、このような挿入制御部263の制御に応じ、進退機構141を介して挿入部11をジグリングさせるための制御と、進退機構141を介して挿入部11を前進させるための制御と、が進退制御部241により順次行われる。
挿入制御部263は、挿入形状分類部262により得られた分類結果に基づき、挿入制御情報CJDに含まれる制御内容による1回分の制御に応じて挿入部11の挿入形状の種類が種類TDから変化したか否かを検出する(図14のステップS5に相当)。
挿入制御部263は、挿入部11の挿入形状の種類が種類TDから変化していないとの検出結果を得た(S5:NOに相当)場合に、さらに、挿入制御情報CJDに含まれる制御内容を変更する必要があるか否かを判定する(図14のステップS6に相当)。
挿入制御部263は、記憶媒体20Mから読み込んだ挿入制御情報CJDに応じた制御を行っている期間においては、当該挿入制御情報CJDに含まれる制御内容を変更する必要がないとの判定結果を取得する(S6:NOに相当)。
また、挿入制御部263は、挿入制御情報CJDに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、挿入部11を前進可能な状態にするための制御を行った後で、挿入制御情報CJDに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2、ステップS3及びステップS4に相当)。
挿入形状分類部262は、例えば、図8Aに示したような挿入形状画像SGE1、または、図8Bに示したような挿入形状画像SGE2が挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TEとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類TDから種類TEに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該種類TEに対応する挿入制御情報CJEを選択して読み込むための処理を行う(図14のステップS1に相当)。
前述の挿入制御情報CJEには、挿入部11により形成されるループ形状を解除するための方法に係る情報が含まれている。また、前述の挿入制御情報CJEには、1回分の制御内容を示す情報として、例えば、挿入部11を後退させる際の後退量BLAを示す情報と、挿入部11を後退させる際の後退速度BVAを示す情報と、が含まれている。
挿入制御部263は、挿入制御情報CJEに挿入部11により形成されるループ形状を解除するための方法に係る情報が含まれていることを検出した場合(S2:NOに相当)に、当該挿入制御情報CJEに含まれる後退量BLA及び後退速度BVAに応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS4に相当)。そして、このような挿入制御部263の制御に応じ、進退機構141を介して挿入部11を後退させるための制御が進退制御部241により行われる。
挿入制御部263は、挿入形状分類部262により得られた分類結果に基づき、挿入制御情報CJEに含まれる制御内容による1回分の制御に応じて挿入部11の挿入形状の種類が種類TEから変化したか否かを検出する(図14のステップS5に相当)。
挿入制御部263は、挿入部11の挿入形状の種類が種類TEから変化していないとの検出結果を得た(S5:NOに相当)場合に、さらに、挿入制御情報CJEに含まれる制御内容を変更する必要があるか否かを判定する(図14のステップS6に相当)。
挿入制御部263は、例えば、画像処理部220から出力される内視鏡画像と、外力情報取得装置40から出力される外力情報と、挿入形状画像生成部261により生成された挿入形状画像と、に基づき、αループの解除(縮小)が進行していることを検出した場合に、挿入制御情報CJEに含まれる制御内容を変更する必要がないとの判定結果を取得する(S6:NOに相当)。
また、挿入制御部263は、挿入制御情報CJEに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、当該挿入制御情報CJEに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2及びステップS4に相当)。
挿入制御部263は、例えば、画像処理部220から出力される内視鏡画像と、外力情報取得装置40から出力される外力情報と、挿入形状画像生成部261により生成された挿入形状画像と、に基づき、αループの解除(縮小)が進行していないことを検出した場合に、挿入制御情報CJEに含まれる制御内容を変更する必要があるとの判定結果を取得する(S6:YESに相当)。
また、挿入制御部263は、挿入制御情報CJEに含まれる制御内容を変更する必要があるとの判定結果を得た場合に、例えば、当該挿入制御情報CJEに含まれる後退量BLA及び後退速度BVAのうちの少なくともいずれか一方のパラメータを変更したものを変更後の制御内容として設定する(図14のステップS7に相当)。
または、挿入制御部263は、挿入制御情報CJEに含まれる制御内容を変更する必要があるとの判定結果を得た場合に、例えば、当該挿入制御情報CJEに含まれる制御内容に対して挿入部11の挿入操作に係る他の種類の制御内容を加えたものを変更後の制御内容として設定する(図14のステップS7に相当)。
そして、挿入制御部263は、前述の変更後の制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2及びステップS4に相当)。
なお、本変形例の挿入制御部263は、挿入部11の挿入形状の種類が種類TDから種類TEに変化したとの検出結果を得た直後に挿入制御情報CJEに応じた制御を開始するものに限らず、例えば、挿入部11の挿入形状の種類が当該種類TDから当該種類TEに変化したとの検出結果を1分間連続して得た場合に当該挿入制御情報CJEに応じた制御を開始するものであってもよい。
挿入形状分類部262は、例えば、図9Aに示したような挿入形状画像SGF1、または、図9Bに示したような挿入形状画像SGF2が挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TFとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類TEから種類TFに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該種類TFに対応する挿入制御情報CJFを選択して読み込むための処理を行う(図14のステップS1に相当)。
前述の挿入制御情報CJFには、挿入部11により形成されるループ形状を解除するための方法に係る情報が含まれている。また、前述の挿入制御情報CJFには、1回分の制御内容を示す情報として、例えば、挿入部11を挿入軸(長手軸)周りに右方向に回転させる際の回転角度BAAを示す情報が含まれている。
挿入制御部263は、挿入制御情報CJFに挿入部11により形成されるループ形状を解除するための方法に係る情報が含まれていることを検出した場合(S2:NOに相当)に、当該挿入制御情報CJFに含まれる回転角度BAAに応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS4に相当)。そして、このような挿入制御部263の制御に応じ、回転機構144を介して挿入部11を挿入軸(長手軸)周りに右方向に回転させるための制御が回転制御部244により行われる。
挿入制御部263は、挿入形状分類部262により得られた分類結果に基づき、挿入制御情報CJFに含まれる制御内容による1回分の制御に応じて挿入部11の挿入形状の種類が種類TFから変化したか否かを検出する(図14のステップS5に相当)。
挿入制御部263は、挿入部11の挿入形状の種類が種類TFから変化していないとの検出結果を得た(S5:NOに相当)場合に、さらに、挿入制御情報CJFに含まれる制御内容を変更する必要があるか否かを判定する(図14のステップS6に相当)。
挿入制御部263は、例えば、画像処理部220から出力される内視鏡画像と、外力情報取得装置40から出力される外力情報と、挿入形状画像生成部261により生成された挿入形状画像と、に基づき、αループの解除(縮小)が進行していることを検出した場合に、挿入制御情報CJFに含まれる制御内容を変更する必要がないとの判定結果を取得する(S6:NOに相当)。
また、挿入制御部263は、挿入制御情報CJFに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、当該挿入制御情報CJFに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2及びステップS4に相当)。
挿入制御部263は、例えば、画像処理部220から出力される内視鏡画像と、外力情報取得装置40から出力される外力情報と、挿入形状画像生成部261により生成された挿入形状画像と、に基づき、αループの解除(縮小)が進行していないことを検出した場合に、挿入制御情報CJFに含まれる制御内容を変更する必要があるとの判定結果を取得する(S6:YESに相当)。
また、挿入制御部263は、挿入制御情報CJFに含まれる制御内容を変更する必要があるとの判定結果を得た場合に、例えば、挿入部11を回転角度BAAで回転させる前に挿入部11を所定量だけ後退させる動作を加えたものを変更後の制御内容として設定する(図14のステップS7に相当)。
そして、挿入制御部263は、前述の変更後の制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2及びステップS4に相当)。
なお、本変形例によれば、例えば、挿入制御情報CJFに含まれる制御内容を変更した状態で所定回数分の制御が行われてもなお、αループの解除(縮小)が進行していないことが検出された場合に、当該αループが形成されたままの状態で挿入部11を前進させるような制御が挿入制御部263により行われるようにしてもよい。
挿入形状分類部262は、例えば、図10Aに示したような挿入形状画像SGG1、または、図10Bに示したような挿入形状画像SGG2が挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TGとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類TFから種類TGに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該種類TGに対応する挿入制御情報CJGを選択して読み込むための処理を行う(図14のステップS1に相当)。
前述の挿入制御情報CJGには、挿入部11により形成されるループ形状を解除するための方法に係る情報が含まれている。また、前述の挿入制御情報CJGには、1回分の制御内容を示す情報として、例えば、挿入部11を後退させる際の後退量BLBを示す情報と、挿入部11を後退させる際の後退速度BVBを示す情報と、挿入部11を挿入軸(長手軸)周りに右方向に回転させる際の回転角度BABを示す情報が含まれている。なお、前述の後退速度BVBは、例えば、毎秒15mm程度の速度に設定すればよい。
挿入制御部263は、挿入制御情報CJGに挿入部11により形成されるループ形状を解除するための方法に係る情報が含まれていることを検出した場合(S2:NOに相当)に、当該挿入制御情報CJGに含まれる後退量BLB、後退速度BVB及び回転角度BABに応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS4に相当)。
そして、このような挿入制御部263の制御に応じ、進退制御部241が進退機構141を介して挿入部11を後退させるための制御と、回転制御部244が回転機構144を介して挿入部11を挿入軸(長手軸)周りに右方向に回転させるための制御と、が同時に行われる。
挿入制御部263は、挿入形状分類部262により得られた分類結果に基づき、挿入制御情報CJGに含まれる制御内容による1回分の制御に応じて挿入部11の挿入形状の種類が種類TGから変化したか否かを検出する(図14のステップS5に相当)。
挿入制御部263は、挿入部11の挿入形状の種類が種類TGから変化していないとの検出結果を得た(S5:NOに相当)場合に、さらに、挿入制御情報CJGに含まれる制御内容を変更する必要があるか否かを判定する(図14のステップS6に相当)。
挿入制御部263は、記憶媒体20Mから読み込んだ挿入制御情報CJGに応じた制御を行っている期間においては、当該挿入制御情報CJGに含まれる制御内容を変更する必要がないとの判定結果を取得する(S6:NOに相当)。
また、挿入制御部263は、挿入制御情報CJGに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、当該挿入制御情報CJGに含まれる制御内容に応じた1回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部240へ出力する(図14のステップS2及びステップS4に相当)。
挿入形状分類部262は、例えば、図11に示したような挿入形状画像SGHが挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類THとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類TGから種類THに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20Mに予め格納されている複数の挿入制御情報の中から、当該種類THに対応する挿入制御情報CJAを選択して読み込むための処理を行う(図14のステップS1に相当)。なお、挿入部11の挿入形状の種類が種類THである場合に挿入制御部263により行われる制御については、挿入制御情報CJAに含まれる制御内容に応じた既述の制御を適用可能であるため、具体的な説明を省略する。
ここで、本実施形態においては、挿入部11がαループを形成することなくS状結腸を通過するような状況が発生した場合には、挿入形状分類部262による分類結果として示される挿入部11の挿入形状の種類が種類TAのまま維持されるとともに、当該種類TAに対応する挿入制御情報CJAに含まれる制御内容に応じた制御が挿入制御部263により継続される。そのため、挿入制御部263は、挿入部11の挿入形状の種類が種類TAから種類THに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20から読み込んだ挿入制御情報CJAに応じた制御を再度行う。
すなわち、挿入制御部263は、挿入部11の挿入形状の種類が種類TAから種類THに変化したことを検出した場合には、当該種類TAに対応する挿入制御情報CJAを続けて利用可能であると判断し、図14のステップS1の処理をスキップして図14のステップS2以降の処理を行う。
挿入形状分類部262は、例えば、図12Aに示したような挿入形状画像SGI1、または、図12Bに示したような挿入形状画像SGI2が挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TIとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類THから種類TIに変化したとの検出結果を得た(S5:YES及びS8:NOに相当)場合に、記憶媒体20から読み込んだ挿入制御情報CJAに応じた制御を再度行う。
すなわち、挿入制御部263は、挿入部11の挿入形状の種類が種類THから種類TIに変化したことを検出した場合には、当該種類THに対応する挿入制御情報CJAを続けて利用可能であると判断し、図14のステップS1の処理をスキップして図14のステップS2以降の処理を行う。
挿入形状分類部262は、例えば、図13Aに示したような挿入形状画像SGJ1、または、図13Bに示したような挿入形状画像SGJ2が挿入形状画像生成部261により生成された場合に、挿入部11の挿入形状を種類TJとして分類した分類結果を取得する。
挿入制御部263は、挿入部11の挿入形状の種類が種類TIから種類TJに変化したとの検出結果を得た(S5:YES及びS8:YESに相当)場合に、内視鏡機能制御部240に対する一連の制御を終了する。
ユーザは、例えば、表示装置60に表示されている挿入形状画像に基づき、被検者の内部に挿入されている挿入部11の挿入形状が変化しなくなったことを確認した後で、入力装置50の自動挿入スイッチをオフすることにより、本体装置20による挿入部11の挿入制御を停止させるための指示を行う。
分類結果記録部264は、挿入部11の挿入制御を停止させるための指示が行われたことを検出した際に、挿入形状分類部262の分類結果を時系列に記録するための動作を停止する。
以上に述べたように、本変形例によれば、挿入形状画像生成部261により生成された挿入形状画像に含まれる挿入部11の挿入形状の種類を、熟練者が挿入部11の挿入操作における操作の成否等を主観的に判断または評価する際の観点と略同等の観点に基づいて分類して分類結果を得るような処理が挿入形状分類部262において行われる。また、以上に述べたように、本変形例によれば、挿入形状分類部262により得られた分類結果として示される挿入部11の挿入形状の種類に応じた一の挿入制御情報に基づく挿入制御が挿入制御部263において行われる。
また、以上に述べたように、本変形例によれば、挿入部11の挿入形状の種類に応じた一の挿入制御情報に基づく挿入制御を1回行う毎に、挿入部11の挿入形状の種類が変化したか否かを検出するような動作が挿入制御部263において行われる。従って、本変形例によれば、例えば、挿入部が挿入される被検体の内部状態の個体差、及び、当該被検体の内部における当該挿入部の挿入形状の時間的な変化等のような当該挿入部の挿入状況に応じた適切な挿入制御を行うことができる。
なお、本変形例は、例えば、挿入制御情報CJF及びCJGに含まれる各回転角度を、挿入部11を挿入軸(長手軸)周りに左方向に回転させる際の角度に置き換えることにより、裏αループ及び逆αループの解除に係る制御に対して適用することができる。
また、本変形例は、図14の一連の制御における一部の制御内容を変更することにより、例えば、ステッキ及びγループ等のような、大腸内における挿入部11の挿入に支障をきたすような様々な挿入形状の解除に係る制御に対して適用することができる。
(第2の実施形態)
図16から図17Dは、第2の実施形態に係るものである。
図16から図17Dは、第2の実施形態に係るものである。
なお、本実施形態においては、第1の実施形態と同様の構成等を有する部分に関する詳細な説明を適宜省略するとともに、第1の実施形態と異なる構成等を有する部分に関して主に説明を行う。
内視鏡システム1Aは、例えば、図16に示すように、内視鏡10と、本体装置20Aと、挿入形状検出装置30と、外力情報取得装置40と、入力装置50と、表示装置60と、を有して構成されている。図16は、第2の実施形態に係る内視鏡システムの具体的な構成を説明するためのブロック図である。
本体装置20Aは、1つ以上のプロセッサ20Pと、記憶媒体20Mと、を有して構成されている。また、本体装置20Aは、図16に示すように、光源部210と、画像処理部220と、コイル駆動信号生成部230と、内視鏡機能制御部240と、表示制御部250と、システム制御部270と、を有して構成されている。
システム制御部270は、操作部16及び入力装置50からの指示等に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。また、システム制御部270は、挿入形状画像生成部261と、挿入形状要素抽出部272と、挿入制御部273と、抽出結果記録部274と、を有して構成されている。
挿入形状要素抽出部272は、挿入形状画像生成部261により生成された挿入形状画像から挿入部11の挿入形状に関連する1つ以上の構成要素を抽出して抽出結果を得るための処理を行うように構成されている。
<挿入形状要素抽出部272の構成の具体例>
ここで、本実施形態における挿入形状要素抽出部272の構成の具体例について説明する。
ここで、本実施形態における挿入形状要素抽出部272の構成の具体例について説明する。
挿入形状要素抽出部272は、FCN(Fully Convolutional Neural Network)を有する学習済の分類器(例えば、分類器CLR)を用いた処理を行うことにより、挿入形状画像生成部261により生成された挿入形状画像から挿入部11の挿入形状に関連する1つ以上の構成要素を抽出した抽出結果を得るように構成されている。
ここで、前述の分類器CLRの作成時においては、例えば、挿入形状画像生成部261により生成されるものと同様の挿入形状画像と、当該挿入形状画像に含まれる各画素が内視鏡先端部(以降、構成要素E1と称する)、相対的に大きな閉ループ(以降、構成要素E2と称する)、相対的に小さな閉ループ(以降、構成要素E3と称する)、開ループ(以降、構成要素E4と称する)、閉ループにおける交差部(以降、構成要素E5と称する)、Nループの基端側の屈折部(以降、構成要素E6と称する)、Nループの先端側の屈折部(以降、構成要素E7と称する)、閉ループの内部(以降、構成要素E8と称する)、内視鏡挿入部における当該構成要素E1~E8以外の部分(以降、構成要素E9と称する)、及び、背景(以降、構成要素E10と称する)のうちのどの構成要素に属するかを示すラベルと、を含む教師データを用いた機械学習が行われる。
ここで前述の構成要素E1~E10各々の有無等は、例えば、教師データとして用いられる挿入形状画像を目視で確認した熟練者の判断により決定される。
また、前述の構成要素E3に対応する閉ループは、例えば、熟練者が挿入部11に対して捻り操作を行うことによりループの解除を試みるような大きさを有するループとして表される。
さらに、前述の構成要素E2に対応する閉ループは、前述の構成要素E3よりも大きな大きさを有するループとして表される。
さらに、前述の構成要素E1~E8は、例えば、挿入部11の挿入形状を含む一の挿入形状画像から、挿入部11の挿入操作を手動あるいは自動で行う場合における操作の成否に係る判断及び操作内容の変更の要否に係る判断に資するような局所領域を抽出するための構成要素として設定されている。
そのため、前述の分類器CLRによれば、例えば、挿入形状画像生成部261により生成された挿入形状画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとしてニューラルネットワークの入力層に入力することにより、当該挿入形状画像に含まれる画素各々を前述の構成要素E1~E10のうちのいずれか1つの構成要素に分類した分類結果を示す処理結果画像を出力データとして取得することができる。すなわち、前述の分類器CLRを用いた処理により得られた処理結果画像には、セマンティックセグメンテーションに相当する領域分割結果が含まれている。
挿入形状要素抽出部272は、例えば、挿入形状分類部262の処理により種類TBに分類されるような挿入形状を含む挿入形状画像が挿入形状画像生成部261により生成された場合に、当該挿入形状画像を分類器CLRに入力して処理を行うことにより、図17Aに示すような処理結果画像PBGを取得する。図17Aは、第2の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図である。
図17Aの処理結果画像PBGは、挿入形状画像生成部261により生成された挿入形状画像を、構成要素E1として分類された画素群を有する領域EA1と、構成要素E4として分類された画素群を有する領域EA4と、構成要素E9として分類された画素群を有する領域EA9と、構成要素E10として分類された画素群を有する領域EA10と、の4つの領域に分割した領域分割結果を含む画像として生成される。
すなわち、図17Aの処理結果画像PBGは、挿入形状画像生成部261により生成された挿入形状画像から、挿入部11の挿入形状に関連する構成要素として、構成要素E1、E4及びE9に相当する3つの構成要素を抽出した抽出結果を示すような画像として取得される。
挿入形状要素抽出部272は、例えば、挿入形状分類部262の処理により種類TEに分類されるような挿入形状を含む挿入形状画像が挿入形状画像生成部261により生成された場合に、当該挿入形状画像を分類器CLRに入力して処理を行うことにより、図17Bに示すような処理結果画像PEGを取得する。図17Bは、第2の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図である。
図17Bの処理結果画像PEGは、挿入形状画像生成部261により生成された挿入形状画像を、構成要素E1として分類された画素群を有する領域EA1と、構成要素E2として分類された画素群を有する領域EA2と、構成要素E5として分類された画素群を有する領域EA5と、構成要素E8として分類された画素群を有する領域EA8と、構成要素E9として分類された画素群を有する領域EA9と、構成要素E10として分類された画素群を有する領域EA10と、の6つの領域に分割した領域分割結果を含む画像として生成される。
すなわち、図17Bの処理結果画像PEGは、挿入形状画像生成部261により生成された挿入形状画像から、挿入部11の挿入形状に関連する構成要素として、構成要素E1、E2、E5、E8及びE9に相当する5つの構成要素を抽出した抽出結果を示すような画像として取得される。
挿入形状要素抽出部272は、例えば、挿入形状分類部262の処理により種類TFに分類されるような挿入形状を含む挿入形状画像が挿入形状画像生成部261により生成された場合に、当該挿入形状画像を分類器CLRに入力して処理を行うことにより、図17Cに示すような処理結果画像PFGを取得する。図17Cは、第2の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図である。
図17Cの処理結果画像PFGは、挿入形状画像生成部261により生成された挿入形状画像を、構成要素E1として分類された画素群を有する領域EA1と、構成要素E3として分類された画素群を有する領域EA3と、構成要素E5として分類された画素群を有する領域EA5と、構成要素E8として分類された画素群を有する領域EA8と、構成要素E9として分類された画素群を有する領域EA9と、構成要素E10として分類された画素群を有する領域EA10と、の6つの領域に分割した領域分割結果を含む画像として生成される。
すなわち、図17Cの処理結果画像PFGは、挿入形状画像生成部261により生成された挿入形状画像から、挿入部11の挿入形状に関連する構成要素として、構成要素E1、E3、E5、E8及びE9に相当する5つの構成要素を抽出した抽出結果を示すような画像として取得される。
挿入形状要素抽出部272は、例えば、挿入形状分類部262の処理により種類TGに分類されるような挿入形状を含む挿入形状画像が挿入形状画像生成部261により生成された場合に、当該挿入形状画像を分類器CLRに入力して処理を行うことにより、図17Dに示すような処理結果画像PGGを取得する。図17Dは、第2の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図である。
図17Dの処理結果画像PGGは、挿入形状画像生成部261により生成された挿入形状画像を、構成要素E1として分類された画素群を有する領域EA1と、構成要素E6として分類された画素群を有する領域EA6と、構成要素E7として分類された画素群を有する領域EA7と、構成要素E9として分類された画素群を有する領域EA9と、構成要素E10として分類された画素群を有する領域EA10と、の5つの領域に分割した領域分割結果を含む画像として生成される。
すなわち、図17Dの処理結果画像PGGは、挿入形状画像生成部261により生成された挿入形状画像から、挿入部11の挿入形状に関連する構成要素として、構成要素E1、E6、E7及びE9に相当する4つの構成要素を抽出した抽出結果を示すような画像として取得される。
すなわち、挿入形状要素抽出部272は、挿入形状画像生成部261により生成された挿入形状画像から、挿入部11の挿入形状に係る構成要素として、先端部12に相当する内視鏡先端部、挿入部11のうちのループ形状を形成している部分に相当するループ部、及び、挿入部11のうちの屈折している部分に相当する屈折部のうちの少なくとも1つを抽出して抽出結果を得るための処理を行うように構成されている。
また、挿入形状要素抽出部272は、挿入部11の挿入形状を示す挿入形状画像と、当該挿入形状画像に含まれる各画素を所定の複数の構成要素のうちの一の構成要素に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器CLRを用いた処理を行うことにより、被検体内に挿入されている挿入部11の挿入形状に係る1つ以上の構成要素を抽出して抽出結果を得るように構成されている。
挿入制御部273は、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像と、のうちの少なくとも1つと、挿入形状要素抽出部272により得られた抽出結果と、に基づき、挿入部11の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力するように構成されている。
具体的には、挿入制御部273は、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つと、挿入形状要素抽出部272により得られた抽出結果と、に基づき、挿入部11の挿入操作に係る制御として、例えば、当該挿入操作の開始、当該挿入操作の継続、当該挿入操作の中断、当該挿入操作の再開、当該挿入操作の停止、及び、当該挿入操作の完了のうちの少なくとも1つに係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力するように構成されている。
また、挿入制御部273は、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つと、挿入形状要素抽出部272により得られた抽出結果と、に基づき、挿入部11の挿入操作における操作量、当該挿入操作における操作速度、及び、当該挿入操作における操作力のうちの少なくとも1つを制御するための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力するように構成されている。
ここで、本実施形態の挿入制御部273は、例えば、挿入形状要素抽出部272により得られた抽出結果として示される挿入部11の現在の挿入形状に係る構成要素に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定し、当該設定した制御内容を用いて挿入部11の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部240へ出力することができるように構成されている。
そのため、挿入制御部273は、挿入形状要素抽出部272により得られた抽出結果として示される挿入部11の現在の挿入形状に係る構成要素に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定することにより、例えば、内視鏡10の機能により実現される各基本操作の中から選択した基本操作を単独で実行させて挿入部11の挿入操作を行うための制御内容を有する操作制御群CGCを設定し、当該設定した操作制御群CGCに係る情報を含む挿入制御信号を生成して出力することができる。
また、挿入制御部273は、挿入形状要素抽出部272により得られた抽出結果として示される挿入部11の現在の挿入形状に係る構成要素に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定することにより、例えば、内視鏡10の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させて挿入部11の挿入操作を行うための制御内容を有する操作制御群CGDを設定し、当該設定した操作制御群CGDに係る情報を含む挿入制御信号を生成して出力することができる。
なお、操作制御群CGDは、内視鏡10の機能により実現される各基本操作の中から選択した複数の基本操作を連続的にまたは同時に実行させるような制御内容として設定される。すなわち、操作制御群CGDの制御内容は、操作制御群CGCの制御内容よりも複雑な制御内容として設定される。
すなわち、挿入制御部273は、挿入形状要素抽出部272により得られた抽出結果として示される挿入部11の現在の挿入形状に係る構成要素に応じた制御として、内視鏡10の機能により実現される各基本操作の中から選択した基本操作を単独で実行させて挿入部11の挿入操作を行うための制御内容を有する操作制御群CGC、及び、内視鏡10の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させて挿入部11の挿入操作を行うための制御内容を有する操作制御群CGDのうちのいずれかに基づく制御を行うように構成されている。
また、挿入制御部273は、内視鏡10により被検体内を撮像して得られた画像、挿入部11に対して加えられている外力の大きさを示す情報、及び、挿入部11の挿入形状を示す情報のうちの少なくとも1つと、挿入形状要素抽出部272により得られた抽出結果と、に基づいて前記挿入部の挿入操作に係る制御を行うように構成されている。
また、挿入制御部273は、挿入形状要素抽出部272により得られた抽出結果に含まれる少なくとも1つの構成要素の経時的な変化に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を変更するように構成されている。
抽出結果記録部274は、挿入形状要素抽出部272により得られた抽出結果を時系列に記録するための動作を行うことができるように構成されている。
本実施形態においては、本体装置20Aの少なくとも一部の機能が、プロセッサ20Pにより実現されるようにすればよい。また、本実施形態においては、本体装置20の少なくとも一部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。
また、本実施形態に係る構成を適宜変形することにより、例えば、コンピュータが、本体装置20Aの少なくとも一部の機能を実行させるためのプログラムをメモリ等の記憶媒体20Mから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
続いて、本実施形態の作用について説明する。
術者等のユーザは、内視鏡システム1Aの各部を接続して電源を投入した後、例えば、被検体の肛門または直腸付近に先端部12が位置するように挿入部11を配置する。
前述のようなユーザの操作によれば、光源部210から供給された照明光が被写体に照射され、当該照明光が照射された被写体が撮像部110により撮像されるとともに、当該被写体を撮像して得られた内視鏡画像が画像処理部220から表示制御部250及びシステム制御部270へ出力される。また、前述のようなユーザの操作によれば、コイル駆動信号生成部230からコイル駆動信号が供給され、当該コイル駆動信号に応じて複数のソースコイル18各々から磁界が発せられ、当該磁界を検出して得られた挿入形状情報が挿入形状情報取得部320からシステム制御部270へ出力されるとともに、当該挿入形状情報に応じた挿入形状画像が挿入形状画像生成部261により生成される。
また、前述のようなユーザの操作によれば、複数のソースコイル18各々の位置における外力の大きさ及び方向を示す外力情報が外力情報取得装置40からシステム制御部270へ出力される。
ユーザは、前述のように挿入部11を配置した状態において、例えば、入力装置50の自動挿入スイッチをオンすることにより、本体装置20Aによる挿入部11の挿入制御を開始させるための指示を行う。
抽出結果記録部274は、挿入部11の挿入制御を開始させるための指示が行われたことを検出した際に、例えば、挿入形状要素抽出部272により得られた抽出結果を時系列にかつ一定時間毎に記録するための動作を開始する。
挿入制御部273は、挿入形状要素抽出部272により得られた抽出結果として示される挿入部11の現在の挿入形状に係る構成要素に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定する。
具体的には、挿入制御部273は、例えば、挿入形状要素抽出部272により得られた抽出結果に構成要素E2またはE4が含まれていることを検出した場合に、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定した操作制御群CGCに係る情報を含む挿入制御信号を生成して出力する。
また、挿入制御部273は、例えば、挿入形状要素抽出部272により得られた抽出結果に構成要素E3が含まれていることを検出した場合に、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を設定した操作制御群CGDに係る情報を含む挿入制御信号を生成して出力する。
挿入制御部273は、挿入形状要素抽出部272により得られた抽出結果に含まれる少なくとも1つの構成要素の経時的な変化に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を変更する。
具体的には、挿入制御部273は、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA1の位置の経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部272により得られた処理結果画像を二値化して二値化画像を生成する処理、当該二値化画像に含まれる当該領域EA1の重心位置を特定するための処理、及び、当該重心位置の経時的な変化を検出する処理を行う。
また、挿入制御部273は、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA8の面積の経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部272により得られた処理結果画像を二値化して二値化画像を生成する処理、及び、当該二値化画像に含まれる当該領域EA8の画素数の経時的な変化を検出するための処理を行う。
また、挿入制御部273は、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA8の形状の経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部272により得られた処理結果画像を二値化して二値化画像を生成する処理、及び、当該二値化画像に含まれる当該領域EA8の円形度の経時的な変化を検出する処理を行う。
また、挿入制御部273は、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA3の面積の経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部272により得られた処理結果画像を二値化して二値化画像を生成する処理、及び、当該二値化画像に含まれる当該領域EA3の画素数の経時的な変化を検出する処理を行う。
また、挿入制御部273は、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA3の長さの経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部272により得られた処理結果画像を二値化して二値化画像を生成する処理、当該二値化画像に含まれる領域EA3を細線化して線分を生成するための処理、及び、当該線分の画素数の経時的な変化を検出する処理を行う。
そして、挿入制御部273は、例えば、挿入形状要素抽出部272により得られた処理結果画像に基づいて検出した領域EA1の位置、領域EA8の面積、当該領域EA8の形状、領域EA3の面積、当該領域EA3の長さのうちの少なくとも1つの経時的な変化に応じ、画像処理部220から出力される内視鏡画像、外力情報取得装置40から出力される外力情報、及び、挿入形状画像生成部261により生成された挿入形状画像のうちの少なくとも1つに基づいて制御内容を変更する。
ユーザは、例えば、表示装置60に表示されている挿入形状画像に基づき、被検者の内部に挿入されている挿入部11の挿入形状が変化しなくなったことを確認した後で、入力装置50の自動挿入スイッチをオフすることにより、本体装置20Aによる挿入部11の挿入制御を停止させるための指示を行う。
抽出結果記録部274は、挿入部11の挿入制御を停止させるための指示が行われたことを検出した際に、挿入形状要素抽出部272により得られた抽出結果を時系列にかつ一定時間毎に記録するための動作を停止する。
以上に述べたように、本実施形態によれば、挿入形状画像生成部261により生成された挿入形状画像に含まれる1つ以上の構成要素を、熟練者が挿入部11の挿入操作における操作の成否等を主観的に判断または評価する際の観点と略同等の観点に基づいて抽出して抽出結果を得るような処理が挿入形状要素抽出部272において行われる。
また、本実施形態によれば、挿入形状要素抽出部272により得られた抽出結果に含まれる1つ以上の構成要素に応じた挿入制御が挿入制御部273において行われる。従って、本実施形態によれば、例えば、挿入部が挿入される被検体の内部状態の個体差、及び、当該被検体の内部における当該挿入部の挿入形状の時間的な変化等のような当該挿入部の挿入状況に応じた適切な挿入制御を行うことができる。
なお、本実施形態の挿入制御部273は、例えば、挿入形状分類部262により得られた分類結果と、挿入形状要素抽出部272により得られた抽出結果と、を併用しつつ、第1の実施形態の変形例において述べた制御を行うように構成されていてもよい。このような場合において実施可能な処理等の具体例を以下に列挙する。
挿入制御部273は、例えば、挿入制御情報CJBに含まれる制御内容に応じてジグリングに係る制御を内視鏡機能制御部240に対して行う際に、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA1の位置の経時的な変化を検出することにより、当該ジグリングの成否の判定に利用可能な補助情報HJAを取得する。前述の補助情報HJAは、例えば、挿入制御情報CJBに含まれる制御内容に応じた制御が行われている場合において、挿入部11と腸管との間に摩擦が生じているか否かに係る判定に利用することができるとともに、挿入部11に撓みが生じているか否かに係る判定に利用することができる。
挿入制御部273は、例えば、挿入制御情報CJDに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行う際に、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA8の面積が所定値を超えたことを検出した場合に、挿入部11を所定の後退量だけ後退させた後で挿入部11を前進させるような制御を行う。そして、このような制御によれば、αループを僅かに縮小させつつ挿入部11を前進させることができる。
挿入制御部273は、例えば、挿入制御情報CJDに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行う際に、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA3の面積または長さが所定値を超えたことを検出した場合に、挿入部11を所定の後退量だけ後退させた後で挿入部11を前進させるような制御を行う。そして、このような制御によれば、αループを僅かに縮小させつつ挿入部11を前進させることができる。
挿入制御部273は、例えば、挿入形状要素抽出部272により得られた処理結果画像における領域EA4がEA2に変化したこと、及び、当該処理結果画像に領域EA5が新たに出現したことを検出した場合に、挿入部11の挿入形状が種類TBから種類TCに変化したとの検出結果を取得する。
挿入制御部273は、例えば、挿入形状要素抽出部272により得られた処理結果画像における領域EA2が領域EA3に変化したことを検出した場合に、挿入部11の挿入形状が種類TEから種類TFに変化したとの検出結果を取得する。
挿入制御部273は、例えば、挿入部11により形成されたαループの解除に係る制御を内視鏡機能制御部240に対して行う際に、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA8の面積に基づき、挿入部11の挿入形状が種類TE、種類TF及び種類TGのうちのいずれであるかを検出する。
挿入制御部273は、例えば、挿入制御情報CJEに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行う際に、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA1の位置の経時的な変化を検出することにより、挿入部11の後退状態に応じた補助情報HJBを取得する。前述の補助情報HJBは、例えば、挿入制御情報CJEに含まれる後退量BLA及び後退速度BVAの変更の要否に係る判定に利用することができる。
挿入制御部273は、例えば、挿入制御情報CJGに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行う際に、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA1の位置の経時的な変化を検出することにより、挿入部11の後退状態に応じた補助情報HJCを取得する。前述の補助情報HJCは、例えば、挿入制御情報CJGに含まれる後退量BLB、後退速度BVB及び回転角度BABの変更の要否に係る判定に利用することができる。
挿入制御部273は、例えば、挿入制御情報CJFに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行うことにより、挿入形状要素抽出部272により得られた処理結果画像における領域EA3及び領域EA8が消失したこと、並びに、当該処理結果画像に領域EA6及び領域EA7が新たに出現したことを検出した場合に、挿入部11の挿入形状が種類TFから種類TGに変化したとの検出結果を取得する。
挿入制御部273は、例えば、挿入制御情報CJGに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行う際に、挿入形状要素抽出部272により得られた処理結果画像に含まれる領域EA6と領域EA7との位置関係に応じた補助情報HJDを取得する。前述の補助情報HJDは、例えば、挿入制御情報CJGに含まれる後退量BLB、後退速度BVB及び回転角度BABの変更の要否に係る判定に利用することができる。
挿入制御部273は、例えば、挿入制御情報CJGに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行うことにより、挿入形状要素抽出部272により得られた処理結果画像における領域EA6及び領域EA7が消失したことを検出した場合に、挿入部11の挿入形状が種類TGから種類THに変化したとの検出結果を取得する。
挿入制御部273は、例えば、挿入制御情報CJFに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行うことにより、挿入形状要素抽出部272により得られた処理結果画像に領域TH2から領域TH8までのいずれの領域も含まれていないことを検出した場合に、挿入部11の挿入形状が種類TGから種類THに変化したとの検出結果を取得する。
挿入制御部273は、例えば、挿入制御情報CJAに含まれる制御内容に応じた制御を内視鏡機能制御部240に対して行ってもなお、挿入形状要素抽出部272により得られた処理結果画像に領域EA4が出現しなかった場合に、当該処理結果画像に含まれる領域EA1の位置を追跡することにより、挿入部11の挿入形状が種類TAから種類THに変化したとの検出結果を取得する。
本発明は、上述した実施形態及び変形例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
Claims (21)
- 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置であって、
被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、
前記分類結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部と、
を有することを特徴とする内視鏡制御装置。 - 前記制御部は、前記内視鏡挿入部に係る基本操作の中から選択した基本操作を単独で実行させる制御内容として設定される第1の操作制御群、及び、前記内視鏡の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させる制御内容として設定される第2の操作制御群のうちのいずれかに基づく制御を行う
ことを特徴とする請求項1に記載の内視鏡制御装置。 - 前記第2の操作制御群は、前記複数の基本操作を連続的にまたは同時に実行させる制御内容として設定される
ことを特徴とする請求項2に記載の内視鏡制御装置。 - 前記制御部は、前記分類結果に基づき、前記内視鏡挿入部の挿入操作に係る制御として、前記内視鏡挿入部の挿入操作の開始、継続、中断、再開、停止、及び、完了のうちの少なくとも1つに係る制御を行う
ことを特徴とする請求項1に記載の内視鏡制御装置。 - 前記制御部は、前記分類結果に基づき、前記内視鏡挿入部の挿入操作における操作量、操作速度、及び、操作力のうちの少なくとも1つを制御する
ことを特徴とする請求項1に記載の内視鏡制御装置。 - 前記制御部は、前記内視鏡挿入部が挿入されている被検体内を撮像して得られた画像、前記内視鏡挿入部に対して加えられている外力の大きさを示す情報、及び、前記内視鏡挿入部の挿入形状を示す情報のうちの少なくとも1つと、前記分類結果と、に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
ことを特徴とする請求項1に記載の内視鏡制御装置。 - 前記挿入形状分類部は、前記内視鏡挿入部の挿入形状を示す挿入形状画像と、前記挿入形状画像に含まれる前記内視鏡挿入部の挿入形状を前記所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器を用いた処理を行う
ことを特徴とする請求項1に記載の内視鏡制御装置。 - 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置であって、
被検体内に挿入されている内視鏡挿入部の挿入形状に係る1つ以上の構成要素を抽出して抽出結果を得る挿入形状要素抽出部と、
前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部と、
を有することを特徴とする内視鏡制御装置。 - 前記制御部は、前記内視鏡挿入部に係る基本操作の中から選択した基本操作を単独で実行させる制御内容として設定される第1の操作制御群、及び、前記内視鏡挿入部に係る基本操作の中から選択した複数の基本操作を組み合わせて実行させる制御内容として設定される第2の操作制御群のうちのいずれかに基づく制御を行う
ことを特徴とする請求項7に記載の内視鏡制御装置。 - 前記第2の操作制御群は、前記複数の基本操作を連続的にまたは同時に実行させる制御内容として設定される
ことを特徴とする請求項9に記載の内視鏡制御装置。 - 前記制御部は、前記抽出結果に基づき、前記内視鏡挿入部の挿入操作に係る制御として、前記内視鏡挿入部の挿入操作の開始、継続、中断、再開、停止、及び、完了のうちの少なくとも1つに係る制御を行う
ことを特徴とする請求項8に記載の内視鏡制御装置。 - 前記制御部は、前記抽出結果に基づき、前記内視鏡挿入部の挿入操作における操作量、操作速度、及び、操作力のうちの少なくとも1つを制御するように構成されている
ことを特徴とする請求項8に記載の内視鏡制御装置。 - 前記挿入形状要素抽出部は、内視鏡先端部、ループ部、及び、屈折部のうちの少なくとも1つを抽出して抽出結果を得るための処理を行い、
前記制御部は、前記抽出結果に含まれる少なくとも1つの構成要素の経時的な変化に応じて制御内容を変更する
ことを特徴とする請求項8に記載の内視鏡制御装置。 - 前記制御部は、前記内視鏡挿入部が挿入されている被検体内を撮像して得られた画像、前記内視鏡挿入部に対して加えられている外力の大きさを示す情報、及び、前記内視鏡挿入部の挿入形状を示す情報のうちの少なくとも1つと、前記抽出結果と、に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
ことを特徴とする請求項8に記載の内視鏡制御装置。 - 前記挿入形状要素抽出部は、前記内視鏡挿入部の挿入形状を示す挿入形状画像と、前記挿入形状画像に含まれる各画素を所定の複数の構成要素のうちの一の構成要素に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器を用いた処理を行う
ことを特徴とする請求項8に記載の内視鏡制御装置。 - 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を取得する挿入形状情報取得部と、
前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、
前記分類結果を出力する出力部と、
を有することを特徴とする内視鏡挿入形状分類装置。 - 前記分類結果を時系列に記録するための動作を行う分類結果記録部をさらに有する
ことを特徴とする請求項16に記載の内視鏡挿入形状分類装置。 - 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置の作動方法であって、
挿入形状分類部が、被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理を行い、
制御部が、前記分類結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
ことを特徴とする内視鏡制御装置の作動方法。 - 被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置の作動方法であって、
挿入形状要素抽出部が、被検体内に挿入されている内視鏡挿入部の挿入形状に係る1つ以上の構成要素を抽出して抽出結果を得るための処理を行い、
制御部が、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
ことを特徴とする内視鏡制御装置の作動方法。 - コンピュータに、
被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理と、
前記分類結果に基づく前記内視鏡挿入部の挿入操作に係る制御と、
を実行させるためのプログラム。 - コンピュータに、
被検体内に挿入されている内視鏡挿入部の挿入形状に係る1つ以上の構成要素を抽出して抽出結果を得るための処理と、
前記抽出結果に基づく前記内視鏡挿入部の挿入操作に係る制御と、
を実行させるためのプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021541955A JP7150997B2 (ja) | 2019-08-30 | 2019-08-30 | 情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラム |
| CN201980099135.9A CN114206191A (zh) | 2019-08-30 | 2019-08-30 | 内窥镜控制装置、内窥镜插入形状分类装置、内窥镜控制装置的工作方法和程序 |
| PCT/JP2019/034269 WO2021038871A1 (ja) | 2019-08-30 | 2019-08-30 | 内視鏡制御装置、内視鏡挿入形状分類装置、内視鏡制御装置の作動方法及びプログラム |
| US17/677,354 US20220175218A1 (en) | 2019-08-30 | 2022-02-22 | Information processing device, endoscope control device, information processing method and operating method of endoscope control device |
| US19/206,822 US20250268462A1 (en) | 2019-08-30 | 2025-05-13 | Endoscope control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/034269 WO2021038871A1 (ja) | 2019-08-30 | 2019-08-30 | 内視鏡制御装置、内視鏡挿入形状分類装置、内視鏡制御装置の作動方法及びプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US17/677,354 Continuation US20220175218A1 (en) | 2019-08-30 | 2022-02-22 | Information processing device, endoscope control device, information processing method and operating method of endoscope control device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021038871A1 true WO2021038871A1 (ja) | 2021-03-04 |
Family
ID=74685396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/034269 Ceased WO2021038871A1 (ja) | 2019-08-30 | 2019-08-30 | 内視鏡制御装置、内視鏡挿入形状分類装置、内視鏡制御装置の作動方法及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US20220175218A1 (ja) |
| JP (1) | JP7150997B2 (ja) |
| CN (1) | CN114206191A (ja) |
| WO (1) | WO2021038871A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021205818A1 (ja) * | 2020-04-09 | 2021-10-14 | ||
| WO2023175986A1 (ja) * | 2022-03-18 | 2023-09-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110325098A (zh) | 2016-11-28 | 2019-10-11 | 适内有限责任公司 | 具有可分离一次性轴的内窥镜 |
| USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
| USD1051380S1 (en) | 2020-11-17 | 2024-11-12 | Adaptivendo Llc | Endoscope handle |
| USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
| USD1070082S1 (en) | 2021-04-29 | 2025-04-08 | Adaptivendo Llc | Endoscope handle |
| USD1066659S1 (en) | 2021-09-24 | 2025-03-11 | Adaptivendo Llc | Endoscope handle |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007023631A1 (ja) * | 2005-08-25 | 2007-03-01 | Olympus Medical Systems Corp. | 内視鏡挿入形状解析装置及び内視鏡挿入形状解析システム |
| JP2009516574A (ja) * | 2005-11-22 | 2009-04-23 | ネオガイド システムズ, インコーポレイテッド | 曲げ可能な装置の形状を決定する方法 |
| JP2014151102A (ja) * | 2013-02-13 | 2014-08-25 | Olympus Corp | 管状装置の相対位置検出システム及び内視鏡装置 |
| US20140350340A1 (en) * | 2011-12-08 | 2014-11-27 | Haemoband Surgical Limited | Intracorporeal locator probe |
| WO2016098255A1 (ja) * | 2014-12-19 | 2016-06-23 | オリンパス株式会社 | 挿抜支援装置及び挿抜支援方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706859B2 (en) * | 2003-08-22 | 2010-04-27 | Olympus Corporation | Device for detecting shape of endoscope |
| JP4914574B2 (ja) * | 2005-04-18 | 2012-04-11 | オリンパスメディカルシステムズ株式会社 | 内視鏡形状検出装置 |
| JP6176978B2 (ja) * | 2013-01-31 | 2017-08-09 | オリンパス株式会社 | 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム |
| WO2016063682A1 (ja) * | 2014-10-22 | 2016-04-28 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
| JP6492159B2 (ja) * | 2015-02-27 | 2019-03-27 | オリンパス株式会社 | 操作支援装置、挿入体システム及び操作支援方法 |
| US20170308671A1 (en) * | 2016-04-20 | 2017-10-26 | Bionous, LLC | Personal health awareness system and methods |
| WO2018105063A1 (ja) * | 2016-12-07 | 2018-06-14 | オリンパス株式会社 | 画像処理装置 |
| WO2018122977A1 (ja) * | 2016-12-27 | 2018-07-05 | オリンパス株式会社 | 可撓管挿入装置 |
| WO2018135041A1 (ja) * | 2017-01-17 | 2018-07-26 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
| US10685293B1 (en) * | 2017-01-20 | 2020-06-16 | Cybraics, Inc. | Methods and systems for analyzing cybersecurity threats |
| US10383694B1 (en) * | 2018-09-12 | 2019-08-20 | Johnson & Johnson Innovation—Jjdc, Inc. | Machine-learning-based visual-haptic feedback system for robotic surgical platforms |
| CN113677251B (zh) * | 2019-05-30 | 2024-12-31 | 奥林巴斯株式会社 | 监视系统和内窥镜的插入操作的评价方法 |
| US12193634B2 (en) * | 2019-06-21 | 2025-01-14 | Augere Medical As | Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium |
| US10758309B1 (en) * | 2019-07-15 | 2020-09-01 | Digital Surgery Limited | Methods and systems for using computer-vision to enhance surgical tool control during surgeries |
| DE112020003746T5 (de) * | 2019-08-05 | 2022-04-28 | Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America | Steuerung des abstands zwischen laserfaser und ziel |
| EP4143786B1 (en) * | 2020-05-01 | 2025-11-12 | Given Imaging Ltd. | Systems and methods for analyzing a stream of images |
| US11986199B2 (en) * | 2020-07-16 | 2024-05-21 | EndoGear, LLC | Grasping device for independent tissue manipulation during gastrointestinal endoscopic procedures and methods of use |
-
2019
- 2019-08-30 WO PCT/JP2019/034269 patent/WO2021038871A1/ja not_active Ceased
- 2019-08-30 CN CN201980099135.9A patent/CN114206191A/zh active Pending
- 2019-08-30 JP JP2021541955A patent/JP7150997B2/ja active Active
-
2022
- 2022-02-22 US US17/677,354 patent/US20220175218A1/en not_active Abandoned
-
2025
- 2025-05-13 US US19/206,822 patent/US20250268462A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007023631A1 (ja) * | 2005-08-25 | 2007-03-01 | Olympus Medical Systems Corp. | 内視鏡挿入形状解析装置及び内視鏡挿入形状解析システム |
| JP2009516574A (ja) * | 2005-11-22 | 2009-04-23 | ネオガイド システムズ, インコーポレイテッド | 曲げ可能な装置の形状を決定する方法 |
| US20140350340A1 (en) * | 2011-12-08 | 2014-11-27 | Haemoband Surgical Limited | Intracorporeal locator probe |
| JP2014151102A (ja) * | 2013-02-13 | 2014-08-25 | Olympus Corp | 管状装置の相対位置検出システム及び内視鏡装置 |
| WO2016098255A1 (ja) * | 2014-12-19 | 2016-06-23 | オリンパス株式会社 | 挿抜支援装置及び挿抜支援方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021205818A1 (ja) * | 2020-04-09 | 2021-10-14 | ||
| JP7456663B2 (ja) | 2020-04-09 | 2024-03-27 | 日本電気株式会社 | 情報処理装置、方法及びプログラム |
| WO2023175986A1 (ja) * | 2022-03-18 | 2023-09-21 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体 |
| JPWO2023175986A1 (ja) * | 2022-03-18 | 2023-09-21 | ||
| JP7669584B2 (ja) | 2022-03-18 | 2025-04-28 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入支援システム、内視鏡挿入支援システムの作動方法および記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114206191A (zh) | 2022-03-18 |
| JP7150997B2 (ja) | 2022-10-11 |
| JPWO2021038871A1 (ja) | 2021-03-04 |
| US20250268462A1 (en) | 2025-08-28 |
| US20220175218A1 (en) | 2022-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7150997B2 (ja) | 情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラム | |
| JP5028191B2 (ja) | 内視鏡装置 | |
| US20220361733A1 (en) | Endoscopic examination supporting apparatus, endoscopic examination supporting method, and non-transitory recording medium recording program | |
| WO2018188466A1 (en) | Automated steering systems and methods for a robotic endoscope | |
| US20210405344A1 (en) | Control apparatus, recording medium recording learned model, and movement support method | |
| US20210022585A1 (en) | Endoscope system, endoscope control device, operating method of endoscope system, and non-transitory computer-readable recording medium storing endoscope control program | |
| JP6749020B2 (ja) | 内視鏡ナビゲーション装置 | |
| US12318063B2 (en) | Endoscope control apparatus, endoscope control method, and storage medium storing a program | |
| CN105491936A (zh) | 胶囊型内窥镜系统 | |
| US20240382268A1 (en) | Self-steering endoluminal device using a dynamic deformable luminal map | |
| US20250312112A1 (en) | Autonomous navigation and intervention in the gastrointestinal tract | |
| US20220218180A1 (en) | Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded | |
| WO2020165978A1 (ja) | 画像記録装置、画像記録方法および画像記録プログラム | |
| KR101923404B1 (ko) | 영상처리를 이용한 외부조종 무선 내시경의 자율 주행방법 | |
| WO2024201223A1 (en) | Automatic steering of an introducer with a video laryngoscope | |
| WO2022180753A1 (ja) | 内視鏡画像処理装置および内視鏡画像処理方法 | |
| CN118139598A (zh) | 使用动态可变形腔图的自导向腔内装置 | |
| EP4606293A1 (en) | Endoscopic device and control method for acquiring upper gastrointestinal tract images | |
| EP4606294A1 (en) | Endoscopic device and control method for acquiring lower gastrointestinal tract images | |
| KR102875761B1 (ko) | 상부 위장관 이미지 획득을 위한 내시경 장치 및 제어 방법 | |
| US20250268452A1 (en) | Endoscopic device and control method for acquiring lower gastrointestinal tract images | |
| WO2023175855A1 (ja) | 内視鏡制御システムおよび内視鏡制御方法 | |
| US20250272829A1 (en) | Endoscopic device and method for obtaining lesion size information | |
| CN121038685A (zh) | 利用视频喉镜使导引器自动转向 | |
| KR20250166064A (ko) | 내시경 장치 및 병변의 크기 정보를 획득하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19942902 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021541955 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19942902 Country of ref document: EP Kind code of ref document: A1 |