[go: up one dir, main page]

WO2024009901A1 - 内視鏡システム、制御方法および制御プログラム - Google Patents

内視鏡システム、制御方法および制御プログラム Download PDF

Info

Publication number
WO2024009901A1
WO2024009901A1 PCT/JP2023/024350 JP2023024350W WO2024009901A1 WO 2024009901 A1 WO2024009901 A1 WO 2024009901A1 JP 2023024350 W JP2023024350 W JP 2023024350W WO 2024009901 A1 WO2024009901 A1 WO 2024009901A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgery
control
endoscope
processor
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/024350
Other languages
English (en)
French (fr)
Inventor
千春 水谷
裕行 高山
明軒 戴
勝 柳原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2024532094A priority Critical patent/JPWO2024009901A1/ja
Publication of WO2024009901A1 publication Critical patent/WO2024009901A1/ja
Priority to US18/986,660 priority patent/US20250113977A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units

Definitions

  • the present invention relates to an endoscope system, a control method, and a control program.
  • an endoscope system that automatically causes an endoscope to follow a treatment instrument (see, for example, Patent Document 1).
  • a treatment instrument see, for example, Patent Document 1
  • the field of view of the endoscope is controlled so that the treatment tool is placed at a predetermined target point within the endoscopic image, thereby maintaining an appropriate field of view.
  • the field of view is controlled based on a plurality of control parameters including the distance from the endoscope to the treatment site or treatment tool.
  • Appropriate values for the control parameters vary depending on the conditions of the surgeon, surgical technique, target organ, facility where the surgery is performed, patient, etc., and the surgeon must take the time to adjust the control parameters according to the conditions. be.
  • the present invention has been made in view of the above-mentioned circumstances, and provides an endoscope system, a control method, and a control program that can obtain appropriate control parameters for the visual field without requiring the operator's effort.
  • the purpose is to
  • One aspect of the present invention is an endoscope system that controls the field of view of an endoscope based on control parameters, wherein history data of the control parameters during surgery is stored in association with incidental information of the surgery, and a storage unit, wherein the accompanying information includes information regarding at least one of the operator, surgical method, and patient of the surgery; and a processor, the processor determining recommended values of the control parameters based on the historical data. It is an endoscope system that calculates
  • Another aspect of the present invention is a control method for controlling the field of view of an endoscope based on control parameters, wherein history data of the control parameters during surgery is stored in a storage unit in association with incidental information of the surgery. , the accompanying information includes information regarding at least one of the operator, surgical method, and patient of the surgery; and calculating recommended values of the control parameters based on the historical data. It's a method.
  • Another aspect of the present invention is a control program for causing a computer to execute a control method for controlling the field of view of an endoscope based on control parameters, wherein the control method includes historical data of the control parameters during surgery. is stored in a storage unit in association with accompanying information of the surgery, the accompanying information includes information regarding at least one of the operator, surgical method, and patient of the surgery, and the The control program includes calculating recommended values of control parameters.
  • FIG. 1 is an overall configuration diagram of an endoscope system according to a first embodiment.
  • FIG. 2 is a block diagram of the endoscope system of FIG. 1.
  • FIG. It is a figure explaining a tracking parameter. It is a figure explaining a tracking parameter. It is a figure explaining a tracking parameter.
  • 3 is a flowchart of a control method according to the first embodiment. It is a flowchart of pre-surgery process SA of FIG. 4A. It is a flowchart of the intra-operative process SB of FIG. 4A. It is a flowchart of the post-surgery process SC of FIG. 4A. It is a figure showing an example of history data in a 1st embodiment.
  • FIG. 3 is a diagram illustrating an example of a method for detecting scene features.
  • FIG. 7 is a diagram illustrating another example of a method for detecting scene features.
  • FIG. 7 is a diagram illustrating another example of a method for detecting scene features. It is a figure explaining an example of the application method of a control parameter to a treatment tool. It is a figure explaining other examples of the application method of a control parameter to a treatment instrument. It is a figure explaining other examples of the application method of a control parameter to a treatment instrument. It is a flow chart of a modification of intra-operative process SB of a 1st embodiment. It is a flow chart of a modification of intra-operative process SB of a 2nd embodiment.
  • the endoscope system 1 inserts an endoscope 2 and a treatment tool 20 into the body of a patient, who is a subject A, and inserts the treatment tool 20 into the body of a patient, who is a subject A. It is used in a surgery in which a treatment target site is treated with the treatment instrument 20 while being observed, and is used, for example, in laparoscopic surgery.
  • the endoscope system 1 includes an endoscope 2, a movement device 3 that changes the position and posture of the endoscope 2, a user interface 4, a display device 5, A control device 6 is provided.
  • the endoscope 2 has a camera 2a that includes an image sensor such as a CCD image sensor or a CMOS image sensor, and acquires an image B inside the subject A using the camera 2a.
  • the camera 2a may be a three-dimensional camera that captures stereo images.
  • Image B is transmitted from the endoscope 2 to the display device 5 via the control device 6 and displayed on the display device 5.
  • the display device 5 is any display such as a liquid crystal display or an organic EL display.
  • the moving device 3 includes an electric holder 3a consisting of a multi-jointed robot arm, and is controlled by a control device 6.
  • the endoscope 2 is held at the distal end of an electric holder 3a, and the position and posture of the distal end of the endoscope 2 are changed three-dimensionally by the operation of the electric holder 3a.
  • the moving device 3 does not necessarily need to be separate from the endoscope 2, and may be formed integrally as a part of the endoscope 2. Further, the moving device 3 may be another mechanism capable of changing the position and posture of the distal end of the endoscope 2, such as a curved portion provided at the distal end of the endoscope 2.
  • the user interface 4 includes an input device and receives input operations for the control device 6 through the input device.
  • the user interface 4 includes, for example, a voice user interface (VUI) that includes a headset with a microphone, and a graphical user interface (GUI) that includes a keyboard, mouse, touch pad, and the like.
  • VUI voice user interface
  • GUI graphical user interface
  • a user such as a surgeon can perform input to the control device 6 by operating the GUI before and after surgery, and by operating the VUI during surgery, for example.
  • the control device 6 is an endoscope processor that controls the endoscope 2 and the moving device 3. As shown in FIG. 2, the control device 6 includes at least one processor 7, a memory 8, a storage section 9, and an input/output interface 10. The control device 6 is connected to the peripheral devices 2, 3, 4, and 5 via the input/output interface 10, and transmits and receives images B, signals, etc. via the input/output interface 10.
  • the storage unit 9 is a computer-readable non-temporary recording medium, such as a hard disk drive, an optical disk, or a flash memory.
  • the storage unit 9 stores a control program 11 that causes the processor 7 to execute a control method to be described later.
  • the storage unit 9 also stores control parameters 12 used to control the mobile device 3 and accompanying information 13 regarding surgeries performed in the past. Furthermore, the storage unit 9 stores history data 14 of the control parameters 12 at least during surgery.
  • Some of the processes described below that are executed by the processor 7 are performed by a dedicated device such as an FPGA (Field Programmable Gate Array), an SoC (System-On-A-Chip), an ASIC (Application Specific Integrated Circuit), or a PLD (Programmable Logic Device). It may also be realized by a logic circuit, hardware, or the like.
  • a dedicated device such as an FPGA (Field Programmable Gate Array), an SoC (System-On-A-Chip), an ASIC (Application Specific Integrated Circuit), or a PLD (Programmable Logic Device). It may also be realized by a logic circuit, hardware, or the like.
  • the processor 7 controls the moving device 3 according to a control program 11 read from the storage unit 9 into a memory 8 such as a RAM (Random Access Memory), thereby controlling the field of view F of the endoscope 2.
  • a control program 11 read from the storage unit 9 into a memory 8 such as a RAM (Random Access Memory), thereby controlling the field of view F of the endoscope 2.
  • Control of the field of view F of the endoscope 2 is follow-up control in which the endoscope 2 follows the tracked target to keep the tracked target within the field of view F.
  • the tracking target is any object existing in the image B during surgery, such as a predetermined treatment instrument 20, a predetermined organ, or a predetermined tissue.
  • 3A to 3C illustrate an example of follow-up control when the follow-up target is the treatment instrument 20.
  • the processor 7 detects the three-dimensional position of the tip 20a of the treatment instrument 20 using known means such as stereo measurement using the stereo image B.
  • the processor 7 controls the moving device 3 based on the three-dimensional position of the tip 20a and the control parameters 12 only when the tip 20a is located outside a predetermined specific area C within the field of view F, thereby controlling the endoscope.
  • the position and posture of the mirror 2 are changed, thereby moving the tip 20a toward the specific area C.
  • the position of the field of view F is controlled so that the tip 20a continues to be located within the specific area C.
  • the control parameter 12 includes a tracking parameter P.
  • the tracking parameter P is a parameter related to at least one of the positional relationship between the endoscope 2 and the specific area C and the tracking speed of the endoscope 2 with respect to the tracking target.
  • the user can input a desired value of the tracking parameter P into the control device 6 by operating the user interface 4, thereby changing the tracking parameter P to the desired value.
  • the tracking parameter P includes the base distance d, the size of the specific area C, the position of the specific area C on the image B, and the tracking speed.
  • the base distance d is the distance between the endoscope 2 and the specific area C, for example, the distance in the direction along the optical axis from the tip 2b of the endoscope 2 to the center of the three-dimensional specific area C.
  • the size of the specific area C includes the sizes Sx and Sy in the horizontal and vertical directions on the image B, and the actual size Sz in the depth direction.
  • the position of the specific area C on the image B is defined, for example, by two offset amounts ⁇ x and ⁇ y in the horizontal and vertical directions from the center of the image B to the center of the specific area C.
  • the following speed is the moving speed of the endoscope 2.
  • the control method according to the present embodiment includes a pre-surgery process SA to be performed before surgery, an intra-surgery process SB to be performed during the surgery, and a post-surgery process SC to be performed after the surgery.
  • the pre-surgery process SA includes step SA1 of receiving surgical information and steps SA2 to SA5 of setting control parameters 12 for the surgery to be performed.
  • the processor 7 receives the input surgical information (step SA1).
  • the surgical information is information regarding the surgery to be performed, and includes at least one of operator information, surgical information, facility information, and patient information.
  • the surgeon information is information about the surgeon who performs the surgery, and includes the surgeon's name, background, specialty, and the like.
  • the surgical information includes information regarding the surgical area and information regarding the surgical method.
  • the information regarding the surgical area includes, for example, the name of the surgical area such as the large intestine or the gallbladder, and the information regarding the surgical technique includes, for example, the name of the surgical technique such as sigmoid resection or low anterior resection.
  • the facility information is information regarding the facility where the surgery is performed, and includes facility name, scale (for example, number of beds), group relationships, and the like.
  • the patient information is information about the patient, and includes the patient's name, gender, age, height, BMI, information regarding the difficulty of surgery, and the like.
  • the surgical information includes a plurality of items such as the operator, surgical method, and patient.
  • processor 7 sets control parameters 12 based on the surgical information (steps SA2 to SA5). Specifically, the processor 7 searches the storage unit 9 for accompanying information 13 that matches the surgical information in at least predetermined items.
  • the predetermined item includes at least the name of the surgeon.
  • the control parameters 12 adjusted by the surgeon are stored in the storage unit 9 in association with the accompanying information 13.
  • the accompanying information 13 is information related to surgery, similar to the surgical information. When the surgeon uses the control device 6 for the first time, the accompanying information 13 that matches the surgical information does not exist in the storage unit 9.
  • step SA3 the processor 7 may determine the initial value based on the user's operation of the user interface 4. For example, the processor 7 may allow the user to select one from a plurality of initial values. If the accompanying information 13 that matches the surgical information exists in the storage unit 9 (YES in step SA2), the processor 7 proceeds to step SA4. Steps SA4 and SA5 will be described later.
  • the processor 7 executes the intra-operative step SB.
  • the intraoperative process SB includes step SB1 of causing the endoscope 2 to follow the tracking target based on the control parameters 12, and storing history data 14 of the intraoperative control parameters 12 in the storage unit 9. It includes step SB2 for creating, steps SB3 and SB4 for changing the control parameters 12 based on the operation of the user interface 4, and step SB5 for recording the changed control parameters 12.
  • the processor 7 starts the intraoperative process SB in response to a start trigger input by operating the user interface 4 (step SB0), and then starts follow-up control (step SB1).
  • the processor 7 performs follow-up control based on the control parameters 12 set in the pre-surgery process SA, for example, based on the initially set control parameters 12.
  • the processor 7 After starting the tracking control, the processor 7 creates history data 14 (step SB2) and accepts changes in the tracking parameter P based on the operation of the user interface 4 (step SB3). Specifically, the processor 7 creates history data 14 in the storage unit 9 for recording the value of the tracking parameter P during surgery (step SB2).
  • the user When the user wants to change the tracking parameter P, the user inputs the desired value of the tracking parameter P into the control device 6 by operating the user interface 4.
  • the processor 7 receives the input value (YES in step SB3) and changes the value of the tracking parameter P to the input value (step SB4).
  • the tracking parameter P is adjusted to a value desired by the user, and the processor 7 performs tracking control based on the adjusted tracking parameter P.
  • the processor 7 records the input value of the tracking parameter P in the history data 14 (step SB5).
  • the history data 14 created as described above is an operation log of the user interface 4 that indicates the history of operations on the user interface 4 by the surgeon to change the tracking parameter P.
  • FIG. 5 is an example of the operation log 14 showing the history of changes in the base distance d, where the horizontal axis represents time from the start of surgery and the vertical axis represents the base distance d.
  • the base distance d has been changed from the initial value d0 to distances d1, d2, and d3.
  • the base distance d (d0, d1, d2, d3) may be recorded in association with the time from the start of the surgery.
  • the processor 7 ends the intra-operative process SB (YES in step SB6), and then starts the post-operative process SC, in response to a termination trigger input by the user into the user interface 4, for example.
  • the post-surgery process SC includes a step SC1 in which historical data 14 is associated with accompanying information and stored in the storage unit 9, and a step SC2 in which a recommended value of the tracking parameter P is calculated from the historical data 14.
  • Step SC3 inquiring the user whether to change the tracking parameter P to the recommended value;
  • Step SC4 changing the tracking parameter P based on the user's answer; and storing the changed tracking parameter P in association with the accompanying information 13.
  • the processor 7 associates the history data 14 created in the intra-operative process SB with the accompanying information 13 and stores it in the storage unit 9 (step SC1).
  • the accompanying information 13 is at least a part of the surgical information input in step SA1, and includes at least operator information.
  • the accompanying information 13 may be set by the user.
  • the processor 7 calculates the average value of the tracking parameters P changed by the user as a recommended value (step SC2).
  • the recommended value is the average value of distances d1, d2, and d3.
  • the recommended value may be a value other than the average value, for example, the median value, mode, value of the longest usage time of the tracking parameter P in the operation log 14, or a time-weighted average using usage time as a weight.
  • the value may be ⁇ yi ⁇ ti/ ⁇ ti. yi is the value of the tracking parameter P, and ti is the length of time the tracking parameter yi is used.
  • the processor 7 may, for example, display on the display device 5 an optical display indicating “whether or not to change the tracking parameter” or output an audio message indicating “whether or not to change the tracking parameter”.
  • An inquiry is presented to the user (step SC3).
  • Processor 7 may also query the user using any other means. The user inputs an answer to the inquiry into the control device 6 by operating the user interface 4 .
  • step SC3 If the answer to change is accepted (YES in step SC3), the processor 7 changes the tracking parameter P to the recommended value (step SC4), associates the changed tracking parameter P with the accompanying information 13, and stores it in the storage unit 9. It is stored (step SC5). Thereby, the tracking parameter P adjusted by the surgeon is stored in the storage unit 9 in association with the information of the surgeon.
  • step SC3 if the answer that there is no change is accepted (NO in step SC3), the processor 7 ends the post-surgery process SC without performing steps SC4 and SC5.
  • steps SC1 to SC5 By executing steps SC1 to SC5 above, after the surgery using the control device 6, the history data 14 associated with the accompanying information 13 and the adjusted tracking parameter P are stored in the storage unit 9.
  • the processor 7 sets the tracking parameter P based on the surgical information in the pre-surgery step SA (steps SA2, SA4). , SA5).
  • the processor 7 sets the tracking parameter P associated with the accompanying information 13 that matches the surgical information. , inquires of the user whether or not to apply it to the surgery to be performed (step SA4), thereby suggesting to the surgeon the use of the tracking parameter P that the surgeon himself has adjusted in the past.
  • the user inputs an answer to the inquiry into the control device 6 by operating the user interface 4 .
  • the processor 7 receives a response that it will be applied (YES in step SA4)
  • the processor 7 sets the associated follow-up parameter P as the follow-up parameter P for the surgery to be performed from now on (step SA5).
  • the surgeon can use the tracking parameter P that he/she adjusted in a past surgery for the surgery to be performed.
  • the processor 7 sets the tracking parameter P to an initial value (step SA3).
  • the history data 14 indicating the history of changes in the follow-up parameter P by the surgeon is stored in the storage unit 9 in association with the accompanying information 13, and the recommended value of the follow-up parameter P is determined from the history data 14. Calculated. Thereby, an appropriate tracking parameter P can be obtained without requiring any effort from the operator.
  • the tracking parameter P changed to the recommended value is stored in the storage unit 9 in association with the accompanying information 13, and the changed tracking parameter P is used in the surgery performed thereafter. is proposed to the surgeon. Therefore, in subsequent surgeries, the surgeon can use the tracking parameter P that he or she has adjusted from the start of the surgery, and can save the effort of adjusting the tracking parameter P.
  • the processor 7 asks the user whether or not to change the tracking parameter P to the recommended value, and the user determines whether or not to change it. Thereby, the tracking parameter P can be changed only when the user desires.
  • the recommended value is not necessarily a preferable value, and it may be desirable not to change it to the recommended value.
  • the processor 7 inquires of the user whether or not to apply the changed tracking parameter P to the surgery to be performed, and the user determines whether or not to apply it. Thereby, the adjusted tracking parameter P can be applied to the surgery to be performed only when the user desires.
  • the endoscope system 1 includes an endoscope 2, a moving device 3, a user interface 4, a display device 5, and a control device 6, as in the first embodiment.
  • the control parameter 12 includes a unit change amount ⁇ of the tracking parameter P.
  • the unit change amount ⁇ is the amount of change in the follow-up parameter P per one operation of the user interface 4.
  • the processor 7 changes the tracking parameter P by a unit change amount ⁇ for each operation of the user interface 4. Therefore, for example, in the case of the base distance d, the user can change the base distance d by a distance ⁇ each time the user operates the user interface 4.
  • the control method according to the present embodiment includes a pre-surgery process SA, an intra-surgery process SB, and a post-surgery process SC.
  • FIGS. 6A and 6B respectively show an intra-operative process SB and a post-operative process SC in this embodiment.
  • the intra-operative process SB includes step SB1, step SB12 of creating historical data 14 of the tracking parameters P during the surgery in the storage unit 9, and creating the tracking parameters based on the operation of the user interface 4.
  • the process includes steps SB3 and SB4 for changing P, and step SB15 for recording the adjustment amount of the tracking parameter P.
  • the processor 7 creates the history data 14 (step SB12), accepts a change in the tracking parameter P (step SB3), and changes the tracking parameter P based on the operation of the user interface 4 (step SB4). Specifically, the processor 7 creates history data 14 in the storage unit 9 for recording the adjustment amount of the tracking parameter P (step SB12).
  • the user operates the user interface 4 multiple times in succession to adjust the tracking parameter P once.
  • Continuous operations mean, for example, that the time interval between the i-th operation and the subsequent (i+1)-th operation is equal to or less than a predetermined threshold.
  • the adjustment amount is the amount of change in the follow-up parameter P in one adjustment, for example, the amount of change in the follow-up parameter P within a predetermined time.
  • the processor 7 may calculate the product of the unit change amount ⁇ and the number of consecutive operations of the user interface 4 as the adjustment amount. After step SB4, the processor 7 calculates the adjustment amount of the tracking parameter P, and records the adjustment amount in the history data 14 (step SB15).
  • FIG. 7 shows an example of the history data 14.
  • the base distance d is changed by twice the unit change amount ⁇ by two consecutive operations.
  • the base distance d is changed by four times the unit change amount ⁇ by four consecutive operations.
  • the post-surgery process SC includes step SC1, step SC12 of calculating a recommended value of the unit change amount ⁇ from the history data 14, and determining whether or not to change the unit change amount ⁇ to the recommended value.
  • the process includes step SC13 of inquiring the user, step SC14 of changing the unit change amount ⁇ based on the user's answer, and step SC15 of storing the unit change amount ⁇ in association with the accompanying information 13 in the storage unit 9.
  • the processor 7 calculates the mode of the adjustment amount in the historical data 14 as the recommended value (step SC12). For example, in the example of FIG. 7, two consecutive operations are performed most often, so the mode is twice the unit change amount ⁇ .
  • the recommended value may be a value other than the mode; for example, the average value of the maximum and minimum values of the adjustment amount, the median value, the greatest common value, the approximate value that minimizes the error from each adjustment amount, Alternatively, it may be a time-weighted average value ⁇ yi ⁇ ti/ ⁇ ti that uses usage time as a weight. yi is the adjustment amount, and ti is the length of time the adjustment amount yi is used.
  • step SC3 the processor 7 presents an inquiry to the user, for example, by displaying an optical display on the display device 5 or by outputting audio (step SC13).
  • the user inputs an answer to the inquiry into the control device 6 using the user interface 4 .
  • step SC13 If the answer to change is accepted (YES in step SC13), the processor 7 changes the unit change amount ⁇ to the recommended value (step SC14), associates the changed unit change amount ⁇ with the accompanying information 13, and stores it in the storage unit. 9 (step SC15). On the other hand, if the processor 7 receives an answer that there is no change (NO in step SC13), the processor 7 ends the post-surgery process SC without performing steps SC14 and SC15.
  • the processor 7 sets the unit change amount ⁇ based on the surgical information in the pre-surgery step SA (step SA2 , SA4, SA5).
  • the processor 7 determines the unit change amount ⁇ associated with the accompanying information 13 that matches the surgical information.
  • the user is inquired as to whether or not to be applied to the surgery to be performed (step SA4), thereby suggesting to the surgeon the use of the unit change amount ⁇ that the surgeon himself has adjusted in the past.
  • step SA4 If the answer to apply is received (YES in step SA4), the processor 7 sets the associated unit change amount ⁇ as the unit change amount ⁇ of the surgery to be performed (step SA5). Thereby, the surgeon can use the unit change amount ⁇ that he/she adjusted in the past surgery for the surgery to be performed from now on. On the other hand, if the processor 7 receives a response that it is not applied (NO in step SA4), the processor 7 sets the unit change amount ⁇ to an initial value (step SA3).
  • the history data 14 indicating the history of the amount of adjustment of the tracking parameter P by the surgeon is stored in the storage unit 9 in association with the accompanying information 13, and the unit change is performed from the history data 14.
  • a recommended value for the amount ⁇ is calculated.
  • the unit change amount ⁇ changed to the recommended value is stored in the storage unit 9 in association with the accompanying information 13, and in the subsequent surgery, the changed unit change amount ⁇ The use of is suggested to the caster. Therefore, in subsequent surgeries, the surgeon can use the unit change amount ⁇ that he or she has adjusted from the start of the surgery, and can save the effort of adjusting the unit change amount ⁇ .
  • the processor 7 asks the user whether or not to change the unit change amount ⁇ to the recommended value, and the user determines whether or not to change it. Thereby, the unit change amount ⁇ can be changed only when the user desires. Similarly, the processor 7 inquires of the user whether or not to apply the changed unit change amount ⁇ to the surgery to be performed, and the user determines whether or not to apply it. Thereby, the adjusted unit change amount ⁇ can be applied to the surgery to be performed only when the user desires.
  • the endoscope system includes an endoscope 2, a moving device 3, a user interface 4, a display device 5, and a control device 6, as in the first embodiment.
  • the history data 14 is an image group consisting of time-series images B during surgery, or a history of the control parameters 12 detected from each image B of the image group or information correlated thereto. be.
  • the control method according to the present embodiment includes a pre-surgery process SA, an intra-surgery process SB, and a post-surgery process SC.
  • FIGS. 8A and 8B respectively show an intra-operative process SB and a post-operative process SC in this embodiment.
  • the intra-operative process SB includes step SB1, step SB22 for creating history data 14 in storage unit 9, and steps SB3 and SB4.
  • the processor 7 causes the storage unit 9 to store the image B input from the endoscope 2 to the control device 6, thereby storing the image group consisting of the time-series images B during the intraoperative process SB as historical data 14 in the storage unit. 9 (step SB22).
  • the post-surgery process SC includes step SC1, step SC22 of calculating the recommended value of the control parameter 12 from the historical data 14, and asking the user whether or not to change the control parameter 12 to the recommended value. It includes step SC23 of making an inquiry, step SC24 of changing the control parameter 12 based on the user's answer, and step SC25 of storing the changed control parameter 12 in association with the accompanying information 13 in the storage unit 9.
  • the processor 7 detects the control parameters 12 or information correlated with the control parameters 12 and scene characteristics from each image B as the history data 14 stored in the storage unit 9, and recommends the control parameters 12 for each scene.
  • a value is calculated (step SC22).
  • the control parameter 12 is, for example, at least one of the follow-up parameter P and the unit change amount ⁇ .
  • the processor 7 detects the distance d' (see FIG. 3B) from the endoscope 2 to a predetermined target as information correlated with the control parameter 12.
  • the predetermined target is, for example, a tracking target in image B, and the distance d' changes as the base distance d changes.
  • the processor 7 analyzes each image B using known means to calculate the distance d'.
  • the processor 7 may calculate the distance d' by stereo measurement using the stereo image B.
  • the processor 7 may calculate the distance d' from each image B using a learning model.
  • the learning model is created by machine learning (for example, deep learning) using various images B and distances d', and is stored in the storage unit 9 in advance.
  • FIGS. 9A-9C a surgery typically includes multiple scenes.
  • FIG. 9A shows a scene in which the membrane is separated using the electric scalpel 20A
  • FIG. 9B shows a scene in which the blood vessel D is separated using the forceps 20B.
  • An example of the scene features are body tissues (blood vessels, organs, etc.) and treatment tools 20A and 20B in image B.
  • the processor 7 detects the type of body tissue and at least one of the treatment instruments 20A and 20B in each image B using, for example, a known image recognition technique.
  • FIG. 9C shows a scene in which a blood vessel is treated using forceps 20B.
  • the distance ⁇ between the predetermined body tissue and the tip 20a of the treatment instrument 20B is less than or equal to a predetermined threshold.
  • the processor 7 recognizes the region E of the blood vessel D and the region G of the treatment instrument 20B in the image B, calculates the distance ⁇ between the center of gravity of the region E and the tip 20a, and calculates the distance ⁇ between the center of gravity of the region E and the tip 20a. In certain cases, this is detected as a feature.
  • the processor 7 calculates the average value of the control parameter 12 or information correlated therewith, for example, the average value of the distance d', as a recommended value for each detected scene feature.
  • recommended values of the control parameters 12 suitable for each scene are calculated.
  • the recommended value may be a value other than the average value, for example, the median value of the control parameter 12 or information correlated thereto, the mode value, the value with the longest usage time, or the time using the usage time as a weight.
  • the weighted average value ⁇ yi ⁇ ti/ ⁇ ti may be used.
  • yi is the value of the control parameter 12
  • ti is the length of time the control parameter yi is used.
  • step SC3 the processor 7 presents an inquiry to the user by, for example, displaying an optical display on the display device 5 or outputting audio (step SC23).
  • the user inputs an answer to the inquiry into the control device 6 using the user interface 4 .
  • step SC23 If the processor 7 receives a response that the change will be made (YES in step SC23), the processor 7 changes the control parameter 12 to the recommended value (step SC24), and associates the changed control parameter 12 with the accompanying information 13 and the scene characteristics. and is stored in the storage unit 9 (step SC25). On the other hand, if the processor 7 receives an answer that there is no change (NO in step SC23), the processor 7 ends the post-surgery process SC without performing steps SC24 and SC25.
  • the processor 7 sets the control parameters 12 based on the surgical information and the user's answers in the pre-surgery step SA. settings (steps SA2 to SA5).
  • the processor 7 detects the scene characteristics from the image B and sets the control parameters 12 according to the characteristics.
  • the mobile device 3 is controlled based on the following.
  • the control parameter 12 for example, the follow-up parameter P such as the base distance d, is automatically changed to an appropriate value according to the scene.
  • the image B during surgery is stored in the storage unit 9 as the historical data 14 in association with the accompanying information 13, and the recommended value of the control parameter 12 for each scene is calculated from the historical data 14. Ru.
  • appropriate control parameters 12 can be obtained without requiring any effort from the operator.
  • control parameters 12 changed to the recommended values are stored in the storage unit 9 in association with the accompanying information 13, and the changed control parameters 12 are used in the surgery performed thereafter. A suggestion is made to the operator as to whether or not to do so. Therefore, in subsequent surgeries, the surgeon can use the control parameters 12 that he or she has adjusted from the start of the surgery, and can save the effort of adjusting the control parameters 12.
  • the processor 7 asks the user whether or not to change the control parameter 12 to the recommended value, and the user determines whether or not to change it. This allows the control parameter 12 to be changed only when the user desires. Similarly, the processor 7 asks the user whether or not to apply the changed control parameters 12 to the surgery to be performed, and the user determines whether or not to apply the changed control parameters 12 to the surgery to be performed. Thereby, the adjusted control parameters 12 can be applied to the surgery to be performed only when the user desires.
  • the processor 7 stores the image B during the intraoperative process SB as the history data 14, but instead of this, the processor 7 stores the control parameters 12 or information correlated with the control parameters 12, and the characteristics of the scene. and may be stored as the history data 14. That is, in the intraoperative process SB, the processor 7 detects the control parameters 12 or information correlated thereto and scene characteristics from each image B input from the endoscope 2 to the control device 6, and The control parameters 12 or information correlated thereto and scene characteristics are stored in the storage unit 9 as history data 14. In the post-surgery process SC, the processor 7 calculates recommended values for the control parameters 12 for each scene from the historical data 14.
  • the processor 7 changes the control parameter 12 to the recommended value based on the user's answer, but instead, the processor 7 changes the control parameter 12 to a recommended value without asking the user whether or not to change the control parameter 12.
  • the control parameters 12 may be automatically changed to recommended values.
  • steps SC3, SC13, and SC23 are omitted in each embodiment.
  • the processor 7 may apply the control parameters 12 associated with the accompanying information that matches the surgical information to the upcoming surgery without asking the user. In this case, step SA4 is omitted in each embodiment.
  • the processor 7 calculates the recommended value in the post-surgery process SC, but instead may calculate the recommended value in the pre-surgery process SA.
  • the processor 7 executes steps SC2 to SC4, SC12 to SC14, or SC22 to SC24 in the pre-surgery step SA of the surgery to be performed later. That is, in the pre-surgery process SA, the processor 7 reads the history data 14 associated with the accompanying information 13 that matches the surgery information from the storage unit 9, calculates the recommended value of the control parameter 12 from the history data 14, and calculates the recommended value of the control parameter 12 from the history data 14. The user is asked whether or not to change to the recommended value of 12. Even in this case, the operator can use the appropriate control parameters 12 that he or she adjusted in a past operation from the start of the operation, and can save the effort of adjusting the control parameters 12.
  • Preferable control parameters 12 may differ depending on the type of treatment instrument 20. Therefore, in each embodiment, the processor 7 may select the treatment instrument 20 to which the adjusted control parameter 12 is applied based on the type of the treatment instrument 20.
  • 10A to 10C illustrate the treatment instrument 20 to which the adjusted tracking parameter P is applied.
  • an adjusted tracking parameter P for example, base distance
  • the adjusted tracking parameter P is applied to each group of treatment instruments 20. Each group includes, for example, treatment tools 20 of the same type or used in a similar manner.
  • the adjusted tracking parameter P is applied to all types of treatment tools 20.
  • the adjusted tracking parameter P may be applied to a target other than the treatment instrument 20.
  • the target may be an organ such as a blood vessel.
  • the storage unit 9 may store one or more pieces of historical data 14 in association with each item.
  • the storage unit 9 stores one or more historical data 14 of a surgery performed by a surgeon A in association with the surgeon A, and stores one or more historical data 14 of a surgery performed by a surgeon B in association with the surgeon A. It is stored in association with B.
  • the processor 7 may calculate the recommended value of the control parameter 12 from at least one piece of historical data 14 for each item.
  • the processor 7 calculates a recommended value for the operator A from one or more historical data 14 associated with the operator A, and calculates a recommended value for the operator B from the one or more historical data 14 associated with the operator B.
  • a recommended value may also be calculated. According to this configuration, it is possible to automatically create tracking parameters P suitable for each condition of the operator, surgical method, target organ, facility, patient, etc.
  • the processor 7 searches for accompanying information that matches surgical information at least in the surgeon's name, but instead, the processor 7 searches for accompanying information that matches the surgical information in at least one arbitrary item. You may also search for matching accompanying information.
  • the processor 7 may search for accompanying information that matches the surgical information regarding the surgical method or patient. According to this configuration, it is possible to propose control parameters 12 to the surgeon in accordance with various conditions of the surgery. In this case, as described above, the processor 7 may propose the control parameters 12 calculated from one or more pieces of historical data 14 associated with each item.
  • the processor 7 calculates the recommended value from one piece of historical data 14, but instead, the recommended value may be calculated from a plurality of pieces of historical data 14.
  • An example of the plurality of historical data 14 is the historical data 14 of a plurality of surgeries performed by the same surgeon.
  • the plurality of surgeries may be a plurality of recent surgeries performed by the same surgeon, or may be surgeries performed by the same surgeon using the same technique at the same facility.
  • Another example of the plurality of historical data 14 is historical data 14 of the first predetermined number of surgeries using the control device 6.
  • the predetermined number may be one or more than one. In this case, the initially set control parameters 12 are used for a predetermined number of surgeries, and the recommended value of the control parameters 12 is calculated after the predetermined number of surgeries are performed.
  • the processor 7 proposes to the user the control parameters 12 associated with the same surgeon as the surgeon in the surgical information, but instead Control parameters 12 associated with the surgeon may be suggested to the user.
  • the processor 7 proposes, as the control parameters 12 for the surgery to be performed by the first surgeon, the control parameters 12 calculated based on the history data 14 of surgeries performed in the past by the second surgeon.
  • the first surgeon is the surgeon in the surgical information (that is, the surgeon who will perform the surgery), and the second surgeon is a different surgeon from the first surgeon. According to this configuration, the first surgeon can use the appropriate control parameters 12 adjusted by the second surgeon for surgery without any effort.
  • the second surgeon may be a surgeon with more experience in surgery than the first surgeon.
  • the processor 7 may determine the second surgeon based on the history (number of surgeries) of the surgeon information.
  • the second surgeon is a more experienced surgeon who has performed more surgeries than the first surgeon.
  • the inexperienced first surgeon uses the appropriate control parameters 12 adjusted in the past surgery by the experienced second surgeon, and during the surgery by the second surgeon, An appropriate field of view F can be reproduced in the first surgeon's surgery.
  • the processor 7 may determine the second surgeon based on information other than the history. In one example, processor 7 determines the second surgeon based on the affiliated facility. For example, the first surgeon is a surgeon at a branch hospital, and the second surgeon is a surgeon at the main hospital. In other examples, processor 7 determines the second surgeon based on surgical area and specialty. For example, in gallbladder surgery, the first surgeon is a colonic surgeon who specializes in laparoscopic cholecystectomy, and the second surgeon is a general surgeon. . In other examples, processor 7 determines the second surgeon based on patient information. For example, the second surgeon is a surgeon who has performed more surgeries on small female patients than the first surgeon.
  • the processor 7 may calculate the recommended value of the control parameter 12 from the historical data 14 of past surgeries performed by a plurality of second surgeons. For example, the processor 7 may calculate the recommended value from the historical data 14 associated with a plurality of second surgeons who have performed many operations on small female patients.
  • the processor 7 changes the control parameters during the current surgery when a change in the control parameters 12 based on the operation of the user interface 4 satisfies a predetermined condition.
  • the user may be asked whether or not to change 12.
  • the control parameter 12 can be changed to an appropriate value during the surgery, and the effort of the operator to adjust the control parameter 12 during the surgery can be reduced.
  • FIG. 11A shows a control method according to a modification of the first embodiment.
  • the predetermined condition is that the number of times the control parameter 12 is changed based on the operation of the user interface 4 is equal to or greater than the predetermined number N. That is, when the number of changes in the tracking parameter P reaches the predetermined number N (YES in step SB7), the processor 7 calculates the recommended value of the tracking parameter P from the history data 14 of the current surgery recorded up to that point. (Step SB8), and asks the user whether or not to change the tracking parameter P to the recommended value (Step SB9). If the answer to change is accepted (YES in step S9), the processor 7 changes the tracking parameter P to the recommended value (step SB10).
  • the predetermined condition may be another condition.
  • Another example of the predetermined condition is that the tracking parameter P is changed a predetermined number of times N or more within a predetermined time from the start of the surgery. In this case, it is possible to prevent unnecessary proposals for changing the recommended value due to an increase in the number of changes in the latter half of the surgery.
  • Another example of the predetermined condition is that the tracking parameter P is continuously used for a predetermined period of time or more after the tracking parameter P is changed. Surgeons tend to continue using an appropriate tracking parameter P for a long period of time. Therefore, based on the fact that the same tracking parameter P continues to be used for a long time, it is possible to determine the tracking parameter P that is appropriate for the surgeon.
  • FIG. 11B shows a control method of a modification of the second embodiment.
  • the predetermined condition is that the number of times the predetermined adjustment amount of the tracking parameter P is adjusted is equal to or greater than the predetermined number N. That is, when the number of adjustments of the follow-up parameter P of a predetermined adjustment amount reaches the predetermined number N (YES in step SB17), the processor 7 determines the unit change amount ⁇ from the history data 14 of the current surgery recorded so far. A recommended value is calculated (step SB18), and the user is asked whether or not to change the unit change amount ⁇ to the recommended value (step SB19). If the answer to change is accepted (YES in step SB19), the processor 7 changes the unit change amount ⁇ to the recommended value (step SB20).
  • the predetermined condition may be another condition.
  • Another example of the predetermined condition is that the user interface 4 is continuously operated a predetermined number of times N or more within a predetermined time from the start of the surgery, regardless of the amount of adjustment.
  • Another example of the predetermined condition is that the predetermined adjustment amount and the adjustment by an integral multiple of the predetermined adjustment amount are performed a predetermined number of times N or more.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡システム（１）は、内視鏡（２）の視野を制御パラメータ（１２）に基づいて制御するものであり、手術中の制御パラメータ（１２）の履歴データ（１４）を手術の付随情報（１３）と関連付けて記憶する記憶部（９）と、プロセッサ（７）と、を備える。付随情報（１３）は、手術の術者、術式および患者の少なくとも１つに関する情報を含む。プロセッサ（７）は、履歴データ（１４）に基づいて制御パラメータ（１２）の推奨値を算出する。

Description

内視鏡システム、制御方法および制御プログラム
　本発明は、内視鏡システム、制御方法および制御プログラムに関するものである。
　従来、内視鏡を処置具に自動的に追従させる内視鏡システムが知られている（例えば、特許文献１参照。）。腹腔鏡下手術中、内視鏡の適切な視野を維持することが重要である。特許文献１によれば、処置具が内視鏡画像内の所定の目標点に配置されるように内視鏡の視野が制御され、それにより適切な視野が維持される。
国際公開第２０２２／０５４８８２号
　視野は、内視鏡から処置部位または処置具までの距離等を含む複数の制御パラメータに基づいて制御される。制御パラメータの適切な値は、術者、術式、対象臓器、手術を行う施設、および患者等の条件に応じて異なり、条件に応じた制御パラメータの調整のための術者の手間が必要である。
　本発明は、上述した事情に鑑みてなされたものであって、術者の手間を必要とすることなく視野の適切な制御パラメータを得ることができる内視鏡システム、制御方法および制御プログラムを提供することを目的とする。
　本発明の一態様は、内視鏡の視野を制御パラメータに基づいて制御する内視鏡システムであって、手術中の前記制御パラメータの履歴データを前記手術の付随情報と関連付けて記憶し、該付随情報が、前記手術の術者、術式および患者の少なくとも１つに関する情報を含む、記憶部と、プロセッサと、を備え、該プロセッサが、前記履歴データに基づいて前記制御パラメータの推奨値を算出する、内視鏡システムである。
　本発明の他の態様は、内視鏡の視野を制御パラメータに基づいて制御する制御方法であって、手術中の前記制御パラメータの履歴データを前記手術の付随情報と関連付けて記憶部に記憶させ、該付随情報が、前記手術の術者、術式および患者の少なくとも１つに関する情報を含む、こと、および、前記履歴データに基づいて前記制御パラメータの推奨値を算出すること、を含む、制御方法である。
　本発明の他の態様は、内視鏡の視野を制御パラメータに基づいて制御する制御方法をコンピュータに実行させるための制御プログラムであって、前記制御方法が、手術中の前記制御パラメータの履歴データを前記手術の付随情報と関連付けて記憶部に記憶させ、該付随情報が、前記手術の術者、術式および患者の少なくとも１つに関する情報を含む、こと、および、前記履歴データに基づいて前記制御パラメータの推奨値を算出すること、を含む、制御プログラムである。
　本発明によれば、術者の手間を必要とすることなく視野の適切な制御パラメータを得ることができるという効果を奏する。
第１実施形態に係る内視鏡システムの全体構成図である。 図１の内視鏡システムのブロック図である。 追従パラメータを説明する図である。 追従パラメータを説明する図である。 追従パラメータを説明する図である。 第１実施形態に係る制御方法のフローチャートである。 図４Ａの手術前工程ＳＡのフローチャートである。 図４Ａの手術中工程ＳＢのフローチャートである。 図４Ａの手術後工程ＳＣのフローチャートである。 第１実施形態における履歴データの一例を示す図である。 第２実施形態に係る制御方法の手術中工程ＳＢのフローチャートである。 第２実施形態に係る制御方法の手術後工程ＳＣのフローチャートである。 第２実施形態における履歴データの一例を示す図である。 第３実施形態に係る制御方法の手術中工程ＳＢのフローチャートである。 第３実施形態に係る制御方法の手術後工程ＳＣのフローチャートである。 シーンの特徴の検出方法の一例を説明する図である。 シーンの特徴の検出方法の他の例を説明する図である。 シーンの特徴の検出方法の他の例を説明する図である。 制御パラメータの処置具への適用方法の一例を説明する図である。 制御パラメータの処置具への適用方法の他の例を説明する図である。 制御パラメータの処置具への適用方法の他の例を説明する図である。 第１実施形態の手術中工程ＳＢの変形例のフローチャートである。 第２実施形態の手術中工程ＳＢの変形例のフローチャートである。
（第１実施形態）
　本発明の第１実施形態に係る内視鏡システム、制御方法および制御プログラムについて図面を参照して説明する。
　図１に示されるように、本実施形態に係る内視鏡システム１は、内視鏡２および処置具２０を被検体Ａである患者の体内に挿入し、処置具２０を内視鏡２によって観察しながら処置具２０で処置対象部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
　図１および図２に示されるように、内視鏡システム１は、内視鏡２と、内視鏡２の位置および姿勢を変更する移動装置３と、ユーザインタフェース４と、表示装置５と、制御装置６と、を備える。
　内視鏡２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのような撮像素子を含むカメラ２ａを有し、カメラ２ａによって被検体Ａ内の画像Ｂを取得する。カメラ２ａは、ステレオ画像を取得する３次元カメラであってもよい。
　画像Ｂは、内視鏡２から制御装置６を経由して表示装置５に送信され、表示装置５に表示される。表示装置５は、液晶ディスプレイまたは有機ＥＬディスプレイ等の任意のディスプレイである。
　移動装置３は、多関節のロボットアームからなる電動ホルダ３ａを備え、制御装置６によって制御される。内視鏡２は、電動ホルダ３ａの先端部に保持され、電動ホルダ３ａの動作によって内視鏡２の先端の位置および姿勢が３次元的に変更される。
　移動装置３は、内視鏡２と必ずしも別体である必要はなく、内視鏡２の一部として一体に形成されてもよい。また、移動装置３は、内視鏡２の先端部に設けられた湾曲部等、内視鏡２の先端の位置および姿勢を変更することができる他の機構であってもよい。
　ユーザインタフェース４は、入力デバイスを備え、制御装置６に対する入力操作を入力デバイスを通して受け付ける。ユーザインタフェース４は、例えば、マイクロフォン付きのヘッドセット等を有する音声ユーザインタフェース（ＶＵＩ）と、キーボード、マウスおよびタッチパッド等を有するグラフィカルユーザインタフェース（ＧＵＩ）と、を備える。術者等のユーザは、例えば、手術前および手術後にはＧＵＩの操作によって、手術中にはＶＵＩの操作によって、制御装置６への入力を行うことができる。
　制御装置６は、内視鏡２および移動装置３を制御する内視鏡プロセッサである。図２に示されるように、制御装置６は、少なくとも１つのプロセッサ７と、メモリ８と、記憶部９と、入出力インタフェース１０とを備える。
　制御装置６は、入出力インタフェース１０を経由して周辺機器２，３，４，５と接続され、画像Ｂおよび信号等を入出力インタフェース１０を経由して送受信する。
　記憶部９は、コンピュータ読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクドライブ、光ディスクまたはフラッシュメモリ等である。記憶部９は、後述する制御方法をプロセッサ７に実行させる制御プログラム１１を記憶している。また、記憶部９は、移動装置３の制御に使用される制御パラメータ１２と、過去に行われた手術に関する付随情報１３と、を記憶している。また、記憶部９は、少なくとも手術中に制御パラメータ１２の履歴データ１４を記憶する。
　プロセッサ７が実行する後述の処理の一部は、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＳｏＣ（System-On-A-Chip）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）またはＰＬＤ（Programmable　Logic　Device）等の専用の論理回路やハードウェア等によって実現されてもよい。
　プロセッサ７は、記憶部９からＲＡＭ（Random　Access　Memory）等のメモリ８に読み込まれた制御プログラム１１に従って移動装置３を制御し、それにより内視鏡２の視野Ｆを制御する。内視鏡２の視野Ｆの制御は、内視鏡２を追従対象に追従させることによって追従対象を視野Ｆ内に捉え続ける追従制御である。追従対象は、手術中の画像Ｂ内に存在するいずれかの被写体であり、例えば、所定の処置具２０、所定の臓器または所定の組織である。
　図３Ａ～図３Ｃは、追従対象が処置具２０である場合の追従制御の一例を説明している。この追従制御において、プロセッサ７は、処置具２０の先端２０ａの３次元位置を、ステレオ画像Ｂを用いたステレオ計測等の公知の手段を用いて検出する。次に、プロセッサ７は、先端２０ａが視野Ｆ内の所定の特定領域Ｃの外側に位置するときのみ、先端２０ａの３次元位置および制御パラメータ１２に基づいて移動装置３を制御することによって内視鏡２の位置および姿勢を変更し、それにより先端２０ａを特定領域Ｃに向かって移動させる。このような追従制御によって、先端２０ａが特定領域Ｃ内に配置され続けるように視野Ｆの位置が制御される。
　制御パラメータ１２は、追従パラメータＰを含む。追従パラメータＰは、内視鏡２と特定領域Ｃとの間の位置関係および追従対象に対する内視鏡２の追従速度の少なくとも一方に関するパラメータである。手術中、ユーザは、ユーザインタフェース４を操作することによって追従パラメータＰの所望の値を制御装置６に入力し、それにより、追従パラメータＰを所望の値に変更することができる。
　図３Ａ～図３Ｃの例において、追従パラメータＰは、ベース距離ｄ、特定領域Ｃのサイズ、画像Ｂ上の特定領域Ｃの位置、および、追従速度を含む。ベース距離ｄは、内視鏡２と特定領域Ｃとの間の距離であり、例えば、内視鏡２の先端２ｂから３次元の特定領域Ｃの中心までの光軸に沿う方向の距離である。特定領域Ｃのサイズは、画像Ｂ上での横方向および縦方向のサイズＳｘ，Ｓｙと、奥行方向の実サイズＳｚと、を含む。画像Ｂ上の特定領域Ｃの位置は、例えば、画像Ｂの中心から特定領域Ｃの中心までの横方向および縦方向の２つのオフセット量Δｘ，Δｙによって定義される。追従速度は、内視鏡２の移動速度である。
　次に、プロセッサ７が実行する制御方法について説明する。
　図４Ａに示されるように、本実施形態に係る制御方法は、手術前に実行する手術前工程ＳＡと、手術中に実行する手術中工程ＳＢと、手術後に実行する手術後工程ＳＣと、を含む。
　図４Ｂに示されるように、手術前工程ＳＡは、手術情報を受け付けるステップＳＡ１と、これから行われる手術用の制御パラメータ１２を設定するステップＳＡ２～ＳＡ５と、を含む。
　制御装置６の起動後、術者等のユーザは、ユーザインタフェース４を操作することによって、手術情報を制御装置６に入力する。プロセッサ７は、入力された手術情報を受信する（ステップＳＡ１）。
　手術情報は、これから行われる手術に関する情報であり、術者情報、手術情報、施設情報および患者情報の少なくとも１つを含む。術者情報は、手術を行う術者に関する情報であり、術者の氏名、経歴、専門分野等を含む。手術情報は、手術領域に関する情報と、術式に関する情報とを含む。手術領域に関する情報は、例えば、大腸または胆嚢等の手術領域の名称を含み、術式に関する情報は、例えば、Ｓ状結腸切除術または低前方切除術等の術式の名称を含む。施設情報は、手術が行われる施設に関する情報であり、施設名、規模（例えば、病床数）、グループ関係等を含む。患者情報は、患者に関する情報であり、患者の氏名、性別、年齢、身長およびＢＭＩならびに手術難易度に関わる情報等を含む。
　このように、手術情報は、術者、術式、患者等の複数の項目を含む。
　次に、プロセッサ７は、手術情報に基づいて制御パラメータ１２を設定する（ステップＳＡ２～ＳＡ５）。
　具体的には、プロセッサ７は、少なくとも所定の項目において手術情報と一致する付随情報１３を記憶部９内において検索する。本実施形態において、所定の項目は、少なくとも術者の氏名を含む。後述するように、制御装置６を使用した手術が行われた後、術者による調整済みの制御パラメータ１２が付随情報１３と関連付けて記憶部９に記憶される。付随情報１３は、手術情報と同様、手術に関する情報である。術者が初めて制御装置６を使用するとき、手術情報と一致する付随情報１３は記憶部９内に存在しない。
　手術情報と一致する付随情報１３が記憶部９内に存在しない場合（ステップＳＡ２のＮＯ）、プロセッサ７は、制御パラメータ１２を初期値に設定する（ステップＳＡ３）。プロセッサ７は、ユーザによるユーザインタフェース４の操作に基づいて、初期値を決定してもよい。例えば、プロセッサ７は、複数の初期値の中から１つをユーザに選択させてもよい。
　手術情報と一致する付随情報１３が記憶部９内に存在する場合（ステップＳＡ２のＹＥＳ）、プロセッサ７は、ステップＳＡ４に進む。ステップＳＡ４，ＳＡ５については、後述する。
　ステップＳＡ２の後、プロセッサ７は、手術中工程ＳＢを実行する。
　図４Ｃに示されるように、手術中工程ＳＢは、制御パラメータ１２に基づいて追従対象に内視鏡２を追従させるステップＳＢ１と、手術中の制御パラメータ１２の履歴データ１４を記憶部９内に作成するステップＳＢ２と、ユーザインタフェース４の操作に基づいて制御パラメータ１２を変更するステップＳＢ３，ＳＢ４と、変更された制御パラメータ１２を記録するステップＳＢ５と、を含む。
　プロセッサ７は、例えば、ユーザインタフェース４の操作によって入力される開始トリガに応答して手術中工程ＳＢを開始し（ステップＳＢ０）、続いて追従制御を開始する（ステップＳＢ１）。プロセッサ７は、手術前工程ＳＡにおいて設定された制御パラメータ１２に基づいて、例えば、初期設定の制御パラメータ１２に基づいて、追従制御を行う。
　追従制御の開始後、プロセッサ７は、履歴データ１４を作成し（ステップＳＢ２）、ユーザインタフェース４の操作に基づく追従パラメータＰの変更を受け付ける（ステップＳＢ３）。
　具体的には、プロセッサ７は、手術中の追従パラメータＰの値を記録するための履歴データ１４を記憶部９内に作成する（ステップＳＢ２）。
　ユーザは、追従パラメータＰを変更したいとき、ユーザインタフェース４を操作することによって、追従パラメータＰの所望の値を制御装置６に入力する。プロセッサ７は、入力された値を受信し（ステップＳＢ３のＹＥＳ）、追従パラメータＰの値を入力された値に変更する（ステップＳＢ４）。これにより、追従パラメータＰは、ユーザが所望する値に調整され、プロセッサ７は、調整後の追従パラメータＰに基づいて追従制御を行う。また、プロセッサ７は、追従パラメータＰの入力された値を履歴データ１４に記録する（ステップＳＢ５）。
　上記のようにして作成される履歴データ１４は、追従パラメータＰの変更のための術者によるユーザインタフェース４の操作の履歴を示す、ユーザインタフェース４の操作ログである。図５は、ベース距離ｄの変更の履歴を示す操作ログ１４の一例であり、横軸は手術開始からの時間、縦軸はベース距離ｄである。この例において、ベース距離ｄが、初期値ｄ０から距離ｄ１，ｄ２，ｄ３に変更されている。ベース距離ｄ（ｄ０，ｄ１，ｄ２，ｄ３）は、手術開始からの時間と関連付けて記録されてもよい。
　プロセッサ７は、例えばユーザがユーザインタフェース４に入力する終了トリガに応答して、手術中工程ＳＢを終了し（ステップＳＢ６のＹＥＳ）、続いて手術後工程ＳＣを開始する。
　図４Ｄに示されるように、手術後工程ＳＣは、履歴データ１４を付随情報と関連付けて記憶部９に記憶させるステップＳＣ１と、履歴データ１４から追従パラメータＰの推奨値を算出するステップＳＣ２と、追従パラメータＰを推奨値に変更するか否かをユーザに問い合わせるステップＳＣ３と、ユーザの回答に基づいて追従パラメータＰを変更するステップＳＣ４と、変更された追従パラメータＰを付随情報１３と関連付けて記憶部９に記憶するステップＳＣ５と、を含む。
　プロセッサ７は、手術中工程ＳＢにおいて作成された履歴データ１４を付随情報１３と関連付けて記憶部９に記憶させる（ステップＳＣ１）。付随情報１３は、ステップＳＡ１において入力された手術情報の少なくとも一部であり、術者情報を少なくとも含む。付随情報１３は、ユーザによって設定されてもよい。
　次に、プロセッサ７は、ユーザによって変更された追従パラメータＰの平均値を推奨値として算出する（ステップＳＣ２）。図５のベース距離ｄの場合、推奨値は、距離ｄ１，ｄ２，ｄ３の平均値である。推奨値は、平均値以外の値であってもよく、例えば、操作ログ１４における追従パラメータＰの中央値、最頻値、使用時間が最長の値、または、使用時間を重みとする時間加重平均値Σｙｉ・ｔｉ／Σｔｉであってもよい。ｙｉは、追従パラメータＰの値であり、ｔｉは、追従パラメータｙｉの使用時間の長さである。
　次に、プロセッサ７は、例えば、「追従パラメータを変更するか否か」の光学的表示を表示装置５に表示するか、または、「追従パラメータを変更するか否か」の音声を出力することによって、ユーザに対して問い合わせを提示する（ステップＳＣ３）。プロセッサ７は、他の任意の手段を使用してユーザに問い合わせてもよい。ユーザは、ユーザインタフェース４を操作することによって、問い合わせに対する回答を制御装置６に入力する。
　変更するとの回答を受け付けた場合（ステップＳＣ３のＹＥＳ）、プロセッサ７は、追従パラメータＰを推奨値に変更し（ステップＳＣ４）、変更された追従パラメータＰを付随情報１３と関連付けて記憶部９に記憶させる（ステップＳＣ５）。これにより、術者によって調整された追従パラメータＰが、その術者の情報と関連付けて記憶部９に記憶される。
　一方、変更しないとの回答を受け付けた場合（ステップＳＣ３のＮＯ）、プロセッサ７は、ステップＳＣ４，ＳＣ５を行わず、手術後工程ＳＣを終了する。
　以上のステップＳＣ１～ＳＣ５が実行されることによって、制御装置６を使用した手術の後、付随情報１３と関連付けられた履歴データ１４および調整済みの追従パラメータＰが記憶部９に記憶される。
　調整済みの追従パラメータＰが記憶部９に記憶された後に制御装置６が使用されるとき、プロセッサ７は、手術前工程ＳＡにおいて、手術情報に基づいて追従パラメータＰを設定する（ステップＳＡ２，ＳＡ４，ＳＡ５）。
　具体的には、少なくとも術者の氏名において手術情報と一致する付随情報１３が存在する場合（ステップＳＡ２のＹＥＳ）、プロセッサ７は、手術情報と一致する付随情報１３と関連付けられた追従パラメータＰを、これから行う手術に適用するか否かをユーザに問い合わせ（ステップＳＡ４）、それにより、術者自身が過去に調整した追従パラメータＰの使用を術者に提案する。
　ユーザは、ユーザインタフェース４を操作することによって、問い合わせに対する回答を制御装置６に入力する。
　適用するとの回答を受け付けた場合（ステップＳＡ４のＹＥＳ）、プロセッサ７は、前記関連付けられた追従パラメータＰを、これから行う手術の追従パラメータＰとして設定する（ステップＳＡ５）。これにより、術者は、自身が過去の手術において調整した追従パラメータＰを、これから行う手術に使用することができる。
　一方、適用しないとの回答を受け付けた場合（ステップＳＡ４のＮＯ）、プロセッサ７は、追従パラメータＰを初期値に設定する（ステップＳＡ３）。
　内視鏡手術において、内視鏡の適切な視野を維持することが重要であり、そのための適切な制御パラメータは、術者、術式、対象臓器、手術を行う施設、患者等の条件に応じて異なる。したがって、制御パラメータの調整は、術者の手間を必要とする。例えば、スコピストが内視鏡を手動で操作する場合、スコピストに事前に複数の手術を経験させて教育する手間や、術中に術者がスコピストに内視鏡の操作を指示する手間が必要である。内視鏡の視野を自動で制御する場合、術者の好みの制御パラメータを事前に設定したり、術者が手術中にユーザインタフェースを操作する等して制御パラメータを調整したりする必要がある。
　本実施形態によれば、手術中、術者による追従パラメータＰの変更の履歴を示す履歴データ１４が付随情報１３と関連付けて記憶部９に記憶され、履歴データ１４から追従パラメータＰの推奨値が算出される。これにより、術者の手間を必要とすることなく、適切な追従パラメータＰを得ることができる。
　また、本実施形態によれば、手術後、推奨値に変更された追従パラメータＰが付随情報１３と関連付けて記憶部９に記憶され、その後に行われる手術において、変更された追従パラメータＰの使用が術者に提案される。したがって、術者は、次回以降の手術において、自身が調整した追従パラメータＰを手術開始時から使用することができ、追従パラメータＰの調整の手間を省くことができる。
　また、本実施形態によれば、プロセッサ７は、追従パラメータＰを推奨値に変更するか否かをユーザに問い合わせ、ユーザが、変更するか否かを判断する。これにより、ユーザが望んだときのみ、追従パラメータＰを変更することができる。推奨値は、必ずしも好ましい値であるとは限らず、推奨値に変更しない方が望ましいこともある。
　同様に、プロセッサ７は、変更された追従パラメータＰをこれから行う手術に適用する否かをユーザに問い合わせ、ユーザが、適用するか否か判断する。これにより、ユーザが望んだときのみ、調整済みの追従パラメータＰをこれから行う手術に適用することができる。
（第２実施形態）
　次に、本発明の第２実施形態に係る内視鏡システム、制御方法および制御プログラムについて説明する。
　本実施形態は、推奨値を算出する制御パラメータにおいて、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る内視鏡システム１は、第１実施形態と同様、内視鏡２、移動装置３、ユーザインタフェース４、表示装置５および制御装置６を備える。
　制御パラメータ１２は、追従パラメータＰに加えて、追従パラメータＰの単位変更量Δを含む。単位変更量Δは、ユーザインタフェース４の１回の操作当たりの追従パラメータＰの変更量である。プロセッサ７は、ユーザインタフェース４の１回の操作につき、追従パラメータＰを単位変更量Δだけ変更する。したがって、例えばベース距離ｄの場合、ユーザは、ユーザインタフェース４を操作する毎に距離Δずつベース距離ｄを変更することができる。
　次に、プロセッサ７が実行する制御方法について説明する。
　本実施形態に係る制御方法は、第１実施形態と同様、手術前工程ＳＡ、手術中工程ＳＢ、および手術後工程ＳＣを含む。
　図６Ａおよび図６Ｂは、本実施形態における手術中工程ＳＢおよび手術後工程ＳＣをそれぞれ示している。
　図６Ａに示されるように、手術中工程ＳＢは、ステップＳＢ１と、手術中の追従パラメータＰの履歴データ１４を記憶部９内に作成するステップＳＢ１２と、ユーザインタフェース４の操作に基づいて追従パラメータＰを変更するステップＳＢ３，ＳＢ４と、追従パラメータＰの調整量を記録するステップＳＢ１５と、を含む。
　プロセッサ７は、履歴データ１４を作成し（ステップＳＢ１２）、追従パラメータＰの変更を受け付け（ステップＳＢ３）、ユーザインタフェース４の操作に基づいて追従パラメータＰを変更する（ステップＳＢ４）。
　具体的には、プロセッサ７は、追従パラメータＰの調整量を記録するための履歴データ１４を記憶部９内に作成する（ステップＳＢ１２）。
　初期設定の単位変更量Δが小さ過ぎる場合、ユーザは、追従パラメータＰの一度の調整において、ユーザインタフェース４を複数回連続して操作する。連続する操作とは、例えば、ｉ回目の操作と、その次のｉ＋１回目の操作との間の時間間隔が所定の閾値以下であることである。調整量は、一度の調整における追従パラメータＰの変更量であり、例えば、所定の時間内での追従パラメータＰの変更量である。プロセッサ７は、単位変更量Δとユーザインタフェース４の連続する操作の回数との積を調整量として算出してもよい。ステップＳＢ４の後、プロセッサ７は、追従パラメータＰの調整量を算出し、調整量を履歴データ１４に記録する（ステップＳＢ１５）。
　図７は、履歴データ１４の一例を示している。図７において、１度目（ｔ１）および３度目（ｔ３）の調整では、ベース距離ｄは、２回の連続操作によって単位変更量Δの２倍だけ変更される。２度目の調整（ｔ２）では、ベース距離ｄは、４回の連続操作によって単位変更量Δの４倍だけ変更される。
　図６Ｂに示されるように、手術後工程ＳＣは、ステップＳＣ１と、履歴データ１４から単位変更量Δの推奨値を算出するステップＳＣ１２と、単位変更量Δを推奨値に変更するか否かをユーザに問い合わせるステップＳＣ１３と、ユーザの回答に基づいて単位変更量Δを変更するステップＳＣ１４と、単位変更量Δを付随情報１３と関連付けて記憶部９に記憶するステップＳＣ１５と、を含む。
　プロセッサ７は、履歴データ１４における調整量の最頻値を推奨値として算出する（ステップＳＣ１２）。例えば、図７の例において、２回の連続操作が最も多く行われているので、最頻値は、単位変更量Δの２倍の値である。推奨値は、最頻値以外の値であってもよく、例えば、調整量の最大値および最小値の平均値、中央値、最大公約値、各調整量からの誤差が最小となる近似値、または、使用時間を重みとする時間加重平均値Σｙｉ・ｔｉ／Σｔｉであってもよい。ｙｉは、調整量であり、ｔｉは、調整量ｙｉの使用時間の長さである。
　次に、プロセッサ７は、ステップＳＣ３と同様、例えば、光学的表示を表示装置５に表示するか、または、音声を出力することによって、ユーザに対して問い合わせを提示する（ステップＳＣ１３）。ユーザは、問い合わせに対する回答をユーザインタフェース４を使用して制御装置６に入力する。
　変更するとの回答を受け付けた場合（ステップＳＣ１３のＹＥＳ）、プロセッサ７は、単位変更量Δを推奨値に変更し（ステップＳＣ１４）、変更された単位変更量Δを付随情報１３と関連付けて記憶部９に記憶させる（ステップＳＣ１５）。
　一方、変更しないとの回答を受け付けた場合（ステップＳＣ１３のＮＯ）、プロセッサ７は、ステップＳＣ１４，ＳＣ１５を行わず、手術後工程ＳＣを終了する。
　以上のステップＳＣ１，ＳＣ１２～ＳＣ１５が実行されることによって、制御装置６を使用した手術の後、付随情報１３と関連付けられた調整済みの単位変更量Δが新たに記憶部９に記憶される。
　調整済みの単位変更量Δが記憶部９に記憶された後に制御装置６が使用されるとき、プロセッサ７は、手術前工程ＳＡにおいて、手術情報に基づいて単位変更量Δを設定する（ステップＳＡ２，ＳＡ４，ＳＡ５）。
　具体的には、少なくとも術者の氏名において手術情報と一致する付随情報１３が存在する場合（ステップＳＡ２のＹＥＳ）、プロセッサ７は、手術情報と一致する付随情報１３と関連付けられた単位変更量Δを、これから行う手術に適用するか否かをユーザに問い合わせ（ステップＳＡ４）、それにより、術者自身が過去に調整した単位変更量Δの使用を術者に提案する。
　適用するとの回答を受け付けた場合（ステップＳＡ４のＹＥＳ）、プロセッサ７は、前記関連付けられた単位変更量Δを、これから行う手術の単位変更量Δとして設定する（ステップＳＡ５）。これにより、術者は、自身が過去の手術において調整した単位変更量Δを、これから行う手術に使用することができる。
　一方、適用しないとの回答を受け付けた場合（ステップＳＡ４のＮＯ）、プロセッサ７は、単位変更量Δを初期値に設定する（ステップＳＡ３）。
　このように、本実施形態によれば、手術中、術者による追従パラメータＰの調整量の履歴を示す履歴データ１４が付随情報１３と関連付けて記憶部９に記憶され、履歴データ１４から単位変更量Δの推奨値が算出される。これにより、術者の手間を必要とすることなく、適切な単位変更量Δを得ることができる。
　また、本実施形態によれば、手術後、推奨値に変更された単位変更量Δが付随情報１３と関連付けて記憶部９に記憶され、その後に行われる手術において、変更された単位変更量Δの使用が術者に提案される。したがって、術者は、次回以降の手術において、自身が調整した単位変更量Δを手術開始時から使用することができ、単位変更量Δの調整の手間を省くことができる。
　また、本実施形態によれば、プロセッサ７は、単位変更量Δを推奨値に変更するか否かをユーザに問い合わせ、ユーザが、変更するか否かを判断する。これにより、ユーザが望んだときのみ、単位変更量Δを変更することができる。
　同様に、プロセッサ７は、変更された単位変更量Δをこれから行う手術に適用する否かをユーザに問い合わせ、ユーザが、適用するか否か判断する。これにより、ユーザが望んだときのみ、調整済みの単位変更量Δをこれから行う手術に適用することができる。
（第３実施形態）
　次に、本発明の第３実施形態に係る内視鏡システム、制御方法および制御プログラムについて説明する。
　本実施形態は、推奨値の算出に使用する履歴データにおいて、第１および第２実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る内視鏡システムは、第１実施形態と同様、内視鏡２、移動装置３、ユーザインタフェース４、表示装置５および制御装置６を備える。
　本実施形態において、履歴データ１４は、手術中の時系列の画像Ｂからなる画像群であるか、または、画像群の各画像Ｂから検出される制御パラメータ１２またはこれと相関する情報の履歴である。
　次に、プロセッサ７が実行する制御方法について説明する。
　本実施形態に係る制御方法は、第１実施形態と同様、手術前工程ＳＡ、手術中工程ＳＢ、および手術後工程ＳＣを含む。
　図８Ａおよび図８Ｂは、本実施形態における手術中工程ＳＢおよび手術後工程ＳＣをそれぞれ示している。
　図８Ａに示されるように、手術中工程ＳＢは、ステップＳＢ１と、履歴データ１４を記憶部９内に作成するステップＳＢ２２と、ステップＳＢ３，ＳＢ４と、を含む。
　プロセッサ７は、内視鏡２から制御装置６に入力される画像Ｂを記憶部９に記憶させることによって、手術中工程ＳＢ中の時系列の画像Ｂからなる画像群を履歴データ１４として記憶部９内に作成する（ステップＳＢ２２）。
　図８Ｂに示されるように、手術後工程ＳＣは、ステップＳＣ１と、履歴データ１４から制御パラメータ１２の推奨値を算出するステップＳＣ２２と、制御パラメータ１２を推奨値に変更するか否かをユーザに問い合わせるステップＳＣ２３と、ユーザの回答に基づいて制御パラメータ１２を変更するステップＳＣ２４と、変更された制御パラメータ１２を付随情報１３と関連付けて記憶部９に記憶するステップＳＣ２５と、を含む。
　プロセッサ７は、記憶部９に記憶された履歴データ１４としての各画像Ｂから制御パラメータ１２または制御パラメータ１２と相関する情報と、シーンの特徴と、を検出し、シーン毎に制御パラメータ１２の推奨値を算出する（ステップＳＣ２２）。制御パラメータ１２は、例えば、追従パラメータＰおよび単位変更量Δの少なくとも１つである。
　例えば、プロセッサ７は、制御パラメータ１２と相関する情報として、内視鏡２から所定の目標までの距離ｄ’（図３Ｂ参照。）を検出する。所定の目標は、例えば、画像Ｂ内の追従対象であり、ベース距離ｄの変更に伴って距離ｄ’も変化する。プロセッサ７は、公知の手段を用いて各画像Ｂを解析して距離ｄ’を算出する。例えば、プロセッサ７は、ステレオ画像Ｂを用いたステレオ計測によって距離ｄ’を算出してもよい。あるいは、プロセッサ７は、学習モデルを用いて各画像Ｂから距離ｄ’を算出してもよい。学習モデルは、様々な画像Ｂおよび距離ｄ’の機械学習（例えば、深層学習）によって作成されたものであり、記憶部９に予め記憶される。
　図９Ａ～図９Ｃに示されるように、手術は、一般的に複数のシーンを含む。
　図９Ａは、電気メス２０Ａを使用して膜を切離するシーンを示し、図９Ｂは、鉗子２０Ｂを使用して血管Ｄを剥離するシーンを示している。シーンの特徴の一例は、画像Ｂ内の体組織（血管または臓器等）および処置具２０Ａ，２０Ｂである。プロセッサ７は、例えば、公知の画像認識技術を使用して、各画像Ｂ内の体組織および処置具２０Ａ，２０Ｂの少なくとも一方の種類を検出する。
　図９Ｃは、鉗子２０Ｂを使用して血管を処置するシーンを示している。シーンの特徴の他の例は、所定の体組織と処置具２０Ｂの先端２０ａとの間の距離αが所定の閾値以下であることである。例えば、プロセッサ７は、画像Ｂ内の血管Ｄの領域Ｅと処置具２０Ｂの領域Ｇとを認識し、領域Ｅの重心と先端２０ａとの間の距離αを算出し、距離αが閾値以下である場合に、そのことを特徴として検出する。
　次に、プロセッサ７は、検出されたシーンの特徴毎に、制御パラメータ１２またはこれと相関する情報の平均値、例えば距離ｄ’の平均値を推奨値として算出する。これにより、各シーンに適した制御パラメータ１２の推奨値が算出される。
　推奨値は、平均値以外の値であってもよく、例えば、制御パラメータ１２またはこれと相関する情報の中央値、最頻値、使用時間が最長の値、または、使用時間を重みとする時間加重平均値Σｙｉ・ｔｉ／Σｔｉであってもよい。ｙｉは、制御パラメータ１２の値であり、ｔｉは、制御パラメータｙｉの使用時間の長さである。
　次に、プロセッサ７は、ステップＳＣ３と同様、例えば、光学的表示を表示装置５に表示するか、または、音声を出力することによって、ユーザに対して問い合わせを提示する（ステップＳＣ２３）。ユーザは、問い合わせに対する回答をユーザインタフェース４を使用して制御装置６に入力する。
　変更するとの回答を受け付けた場合（ステップＳＣ２３のＹＥＳ）、プロセッサ７は、制御パラメータ１２を推奨値に変更し（ステップＳＣ２４）、変更された制御パラメータ１２を、付随情報１３およびシーンの特徴と関連付けて記憶部９に記憶させる（ステップＳＣ２５）。
　一方、変更しないとの回答を受け付けた場合（ステップＳＣ２３のＮＯ）、プロセッサ７は、ステップＳＣ２４，ＳＣ２５を行わず、手術後工程ＳＣを終了する。
　制御パラメータ１２がシーンの特徴と関連付けて記憶部９に記憶された後に制御装置６が使用されるとき、プロセッサ７は、手術前工程ＳＡにおいて、手術情報およびユーザの回答に基づいて制御パラメータ１２を設定する（ステップＳＡ２～ＳＡ５）。
　調整済みの制御パラメータ１２をこれから行う手術の制御パラメータ１２として設定した場合（ステップＳＡ５）、手術中工程ＳＢにおいて、プロセッサ７は、画像Ｂからシーンの特徴を検出し、特徴に応じた制御パラメータ１２に基づいて移動装置３を制御する。これにより、手術中、制御パラメータ１２、例えばベース距離ｄ等の追従パラメータＰは、シーンに応じた適切な値に自動的に変更される。
　このように、本実施形態によれば、手術中の画像Ｂが履歴データ１４として付随情報１３と関連付けて記憶部９に記憶され、履歴データ１４から各シーンにおける制御パラメータ１２の推奨値が算出される。これにより、術者の手間を必要とすることなく、適切な制御パラメータ１２を得ることができる。
　また、本実施形態によれば、手術後、推奨値に変更された制御パラメータ１２が付随情報１３と関連付けて記憶部９に記憶され、その後に行われる手術において、変更された制御パラメータ１２を使用するか否かが術者に提案される。したがって、術者は、次回以降の手術において、自身が調整した制御パラメータ１２を手術開始時から使用することができ、制御パラメータ１２の調整の手間を省くことができる。
　また、本実施形態によれば、プロセッサ７は、制御パラメータ１２を推奨値に変更するか否かをユーザに問い合わせ、ユーザが、変更するか否かを判断する。これにより、ユーザが望んだときのみ、制御パラメータ１２を変更することができる。
　同様に、プロセッサ７は、変更された制御パラメータ１２をこれから行う手術に適用する否かをユーザに問い合わせ、ユーザが、適用するか否か判断する。これにより、ユーザが望んだときのみ、調整済みの制御パラメータ１２をこれから行う手術に適用することができる。
　本実施形態において、プロセッサ７は、手術中工程ＳＢ中の画像Ｂを履歴データ１４として記憶することとしたが、これに代えて、制御パラメータ１２または制御パラメータ１２と相関する情報と、シーンの特徴と、を履歴データ１４として記憶してもよい。
　すなわち、手術中工程ＳＢにおいて、プロセッサ７は、内視鏡２から制御装置６に入力される各画像Ｂから、制御パラメータ１２またはこれと相関する情報と、シーンの特徴とを検出し、検出された制御パラメータ１２またはこれと相関する情報と、シーンの特徴とを、履歴データ１４として記憶部９に記憶させる。手術後工程ＳＣにおいて、プロセッサ７は、履歴データ１４から、各シーンの制御パラメータ１２の推奨値を算出する。
　上記各実施形態において、プロセッサ７は、ユーザの回答に基づいて制御パラメータ１２を推奨値に変更することとしたが、これに代えて、制御パラメータ１２を変更するか否かをユーザに問い合わせることなく、制御パラメータ１２を自動的に推奨値に変更してもよい。この場合、各実施形態において、ステップＳＣ３，ＳＣ１３，ＳＣ２３は省略される。
　同様に、各実施形態において、プロセッサ７は、ユーザに問い合わせることなく、手術情報と一致する付随情報と関連付けられた制御パラメータ１２を、これから行う手術に適用してもよい。この場合、各実施形態において、ステップＳＡ４は省略される。
　上記各実施形態において、プロセッサ７は、手術後工程ＳＣにおいて推奨値を算出することとしたが、これに代えて、手術前工程ＳＡにおいて推奨値を算出してもよい。
　この場合、プロセッサ７は、後に行われる手術の手術前工程ＳＡにおいて、ステップＳＣ２～ＳＣ４、ＳＣ１２～ＳＣ１４、またはＳＣ２２～ＳＣ２４を実行する。すなわち、手術前工程ＳＡにおいて、プロセッサ７は、手術情報と一致する付随情報１３と関連付けられた履歴データ１４を記憶部９から読み出し、履歴データ１４から制御パラメータ１２の推奨値を算出し、制御パラメータ１２の推奨値に変更するか否かをユーザに問い合わせる。
　このようにしても、術者は、過去の手術において自身が調整した適切な制御パラメータ１２を手術開始時から使用することができ、制御パラメータ１２の調整の手間を省くことができる。
　手術に使用され得る処置具２０の種類は複数あり、したがって、追従対象となり得る処置具２０の種類は複数ある。処置具２０の種類毎に好ましい制御パラメータ１２は異なり得る。したがって、各実施形態において、プロセッサ７は、調整済みの制御パラメータ１２を適用する処置具２０を、処置具２０の種類に基づいて選択してもよい。
　図１０Ａ～図１０Ｃは、調整済みの追従パラメータＰを適用する処置具２０を説明している。図１０Ａにおいて、処置具２０の種類毎に調整済みの追従パラメータＰ（例えば、ベース距離）が適用される。図１０Ｂにおいて、処置具２０のグループ毎に調整済みの追従パラメータＰが適用される。各グループは、例えば、同一種類または類似の使用方法の処置具２０を含む。図１０Ｃにおいて、全ての種類の処置具２０に調整済みの追従パラメータＰが適用される。
　また、調整済みの追従パラメータＰは、処置具２０以外の対象に対して適用されてもよい。例えば、対象は、血管等の臓器であってもよい。
　上記各実施形態において、記憶部９は、項目毎に１以上の履歴データ１４を関連付けて記憶してもよい。例えば、記憶部９は、術者Ａが行った手術の１以上の履歴データ１４を、術者Ａと関連付けて記憶し、術者Ｂが行った手術の１以上の履歴データ１４を、術者Ｂと関連付けて記憶する。
　この場合、プロセッサ７は、項目毎に少なくとも１つの履歴データ１４から制御パラメータ１２の推奨値を算出してもよい。例えば、プロセッサ７は、術者Ａと関連付けられた１以上の履歴データ１４から術者Ａ用の推奨値を算出し、術者Ｂと関連付けられた１以上の履歴データ１４から術者Ｂ用の推奨値を算出してもよい。
　この構成によれば、術者、術式、対象臓器、施設、患者等の条件毎に適した追従パラメータＰを自動的に作成することができる。
　上記各実施形態において、プロセッサ７は、少なくとも術者の氏名において手術情報と一致する付随情報を検索することとしたが、これに代えて、プロセッサ７は、少なくとも１つの任意の項目において手術情報と一致する付随情報を検索してもよい。例えば、ステップＳＡ２において、プロセッサ７は、術式または患者において手術情報と一致する付随情報を検索してもよい。
　この構成によれば、手術の様々な条件に応じた制御パラメータ１２を術者に提案することができる。この場合、上述したように、プロセッサ７は、項目毎に関連付けられた１以上の履歴データ１４から算出された制御パラメータ１２を提案してもよい。
　上記各実施形態において、プロセッサ７は、１つの履歴データ１４から推奨値を算出することとしたが、これに代えて、複数の履歴データ１４から推奨値を算出してもよい。
　複数の履歴データ１４の一例は、同一の術者が行った複数の手術の履歴データ１４である。複数の手術は、同一の術者が行った直近の複数の手術であってもよく、同一の術者が行った同一施設における同一術式の手術であってもよい。
　複数の履歴データ１４の他の例は、制御装置６を使用した最初の所定の件数の手術の履歴データ１４である。所定の件数は、１件であってもよく、複数件であってもよい。この場合、所定の件数の手術には、初期設定の制御パラメータ１２が使用され、所定の件数の手術の実施後に制御パラメータ１２の推奨値が算出される。
　上記各実施形態において、プロセッサ７は、手術情報の術者と同一の術者と関連付けられた制御パラメータ１２をユーザに提案することとしたが、これに代えて、手術情報の術者とは異なる術者と関連付けられた制御パラメータ１２をユーザに提案してもよい。
　例えば、プロセッサ７は、第１の術者がこれから行う手術用の制御パラメータ１２として、第２の術者が過去に行った手術の履歴データ１４に基づいて算出された制御パラメータ１２を提案してもよい。第１の術者は、手術情報の術者（すなわち、これから手術を行う術者）であり、第２の術者は、第１の術者とは異なる術者である。この構成によれば、第１の術者は、第２の術者によって調整された適切な制御パラメータ１２を、手間を要することなく手術に使用することができる。
　第２の術者は、第１の術者と比較して手術の経験が豊富な術者であってもよい。
　例えば、プロセッサ７は、術者情報の経歴（手術件数）に基づいて第２の術者を判断してもよい。第２の術者は、第１の術者よりも手術件数の多い経験豊富な術者である。
　この構成によれば、経験の浅い第１の術者は、経験豊富な第２の術者が過去の手術において調整した適切な制御パラメータ１２を手術に使用し、第２の術者による手術中の適切な視野Ｆを第１の術者の手術において再現することができる。
　プロセッサ７は、経歴以外の他の情報に基づいて第２の術者を判断してもよい。
　一例において、プロセッサ７は、所属施設に基づいて第２の術者を判断する。例えば、第１の術者は、病院の分院の術者であり、第２の術者は、病院の本院の術者である。
　他の例において、プロセッサ７は、手術領域および専門分野に基づいて第２の術者を判断する。例えば、胆嚢の手術において、第１の術者は、専門は大腸だが腹腔鏡下胆嚢摘出術を担当することになった術者であり、第２の術者は、一般外科の術者である。
　他の例において、プロセッサ７は、患者情報に基づいて第２の術者を判断する。例えば、第２の術者は、小柄な女性患者の手術件数が第１の術者よりも多い術者である。
　プロセッサ７は、複数の第２の術者が行った過去の手術の履歴データ１４から制御パラメータ１２の推奨値を算出してもよい。例えば、プロセッサ７は、小柄な女性患者の手術件数が多い複数の第２の術者と関連付けられた履歴データ１４から推奨値を算出してもよい。
　上記各実施形態において、プロセッサ７は、手術後に加えて、またはこれに代えて、ユーザインタフェース４の操作に基づく制御パラメータ１２の変更が所定の条件を満たしたときに、現在の手術中に制御パラメータ１２を変更するか否かをユーザに問い合わせてもよい。
　この構成によれば、制御パラメータ１２を適切な値へ手術中に変更し、術者が手術中に制御パラメータ１２を調整する手間を減らすことができる。
　図１１Ａは、第１実施形態の変形例の制御方法を示している。所定の条件は、ユーザインタフェース４の操作に基づく制御パラメータ１２の変更の回数が所定数Ｎ以上となることである。
　すなわち、プロセッサ７は、追従パラメータＰの変更の回数が所定数Ｎに達したとき（ステップＳＢ７のＹＥＳ）、それまで記録された現在の手術の履歴データ１４から追従パラメータＰの推奨値を算出し（ステップＳＢ８）、追従パラメータＰを推奨値に変更するか否かをユーザに問い合わせる（ステップＳＢ９）。変更するとの回答を受け付けた場合（ステップＳ９のＹＥＳ）、プロセッサ７は、追従パラメータＰを推奨値に変更する（ステップＳＢ１０）。
　所定の条件は、他の条件であってもよい。
　所定の条件の他の例は、手術開始から所定時間内に所定回数Ｎ以上、追従パラメータＰが変更されることである。この場合、手術の後半において変更の回数が大きくなることにより推奨値の変更の提案が不要に行われることを防ぐことができる。
　所定の条件の他の例は、追従パラメータＰの変更後、その追従パラメータＰが所定時間以上にわたって連続で使用された続けることである。術者は、適切な追従パラメータＰを長時間にわたって使用し続ける傾向がある。したがって、同一の追従パラメータＰが長時間使用される続けることに基づいて、術者にとって適切な追従パラメータＰを判断することができる。
　図１１Ｂは、第２実施形態の変形例の制御方法を示している。所定の条件は、追従パラメータＰの所定の調整量の調整の回数が所定数Ｎ以上となることである。
　すなわち、プロセッサ７は、所定の調整量の追従パラメータＰの調整の回数が所定数Ｎに達したとき（ステップＳＢ１７のＹＥＳ）、それまで記録された現在の手術の履歴データ１４から単位変更量Δの推奨値を算出し（ステップＳＢ１８）、単位変更量Δを推奨値に変更するか否かをユーザに問い合わせる（ステップＳＢ１９）。変更するとの回答を受け付けた場合（ステップＳＢ１９のＹＥＳ）、プロセッサ７は、単位変更量Δを推奨値に変更する（ステップＳＢ２０）。
　所定の条件は、他の条件であってもよい。
　所定の条件の他の例は、調整量に関わらず、手術開始から所定時間内に所定回数Ｎ以上、ユーザインタフェース４の連続操作が行われることである。
　所定の条件の他の例は、所定の調整量と、該所定の調整量の整数倍の調整が、所定回数Ｎ以上行われることである。
　以上、本発明の実施形態およびその変形例について説明したが、本発明はこれに限定されるものではなく、本発明の要旨を逸脱しない範囲で適宜変更可能である。
１　内視鏡システム
２　内視鏡
３　移動装置
４　ユーザインタフェース
６　制御装置
７　プロセッサ
９　記憶部
１１　制御プログラム
１２　制御パラメータ
１３　付随情報
１４　履歴データ
２０，２０Ａ，２０Ｂ　処置具
Ｂ　画像
Ｃ　特定領域

Claims (19)

  1. 　内視鏡の視野を制御パラメータに基づいて制御する内視鏡システムであって、
    　手術中の前記制御パラメータの履歴データを前記手術の付随情報と関連付けて記憶し、該付随情報が、前記手術の術者、術式および患者の少なくとも１つに関する情報を含む、記憶部と、
    　プロセッサと、を備え、
    　該プロセッサが、前記履歴データに基づいて前記制御パラメータの推奨値を算出する、内視鏡システム。
  2. 　前記履歴データが、前記制御パラメータの変更のためのユーザインタフェースの操作ログである、請求項１に記載の内視鏡システム。
  3. 　前記履歴データが、前記手術中に前記内視鏡によって取得される画像群であるか、または、該画像群の各画像から検出される前記制御パラメータと相関する情報である、請求項１に記載の内視鏡システム。
  4. 　前記プロセッサが、
    　前記各画像のシーンの特徴を検出し、
    　前記シーンの特徴毎に前記制御パラメータの推奨値を算出する、請求項３に記載の内視鏡システム。
  5. 　前記内視鏡の視野の制御が、前記内視鏡を追従対象に追従させることによって前記追従対象を前記視野内の特定領域内に捉え続ける追従制御であり、
    　前記制御パラメータが、前記内視鏡と前記特定領域との間の位置関係および前記追従対象に対する前記内視鏡の追従速度の少なくとも一方に関する追従パラメータである、請求項１に記載の内視鏡システム。
  6. 　前記内視鏡の視野の制御が、前記内視鏡を追従対象に追従させることによって前記追従対象を前記視野内の特定領域内に捉え続ける追従制御であり、
    　前記制御パラメータが、前記内視鏡と前記特定領域との間の位置関係および前記追従対象に対する前記内視鏡の追従速度の少なくとも一方に関する追従パラメータの、ユーザインタフェースの操作による変更量である、請求項１に記載の内視鏡システム。
  7. 　前記変更量が、前記ユーザインタフェースの１回の操作当たりの前記追従パラメータの単位変更量である、請求項６に記載の内視鏡システム。
  8. 　前記履歴データが、前記ユーザインタフェースの操作による前記追従パラメータの調整量の履歴であり、前記調整量は、所定時間内での前記追従パラメータの変更量である、請求項６に記載の内視鏡システム。
  9. 　前記記憶部が、前記付随情報に含まれる項目毎に１以上の前記履歴データを関連付けて記憶し、
    　前記プロセッサが、前記項目毎に少なくとも１つの前記履歴データから前記推奨値を算出する、請求項１に記載の内視鏡システム。
  10. 　前記プロセッサが、
    　これから行われる手術の術者、術式および患者の少なくとも１つに関する手術情報を受信し、
    　手術の術者、術式および患者の少なくとも１つにおいて前記手術情報と一致する前記付随情報と関連付けられた前記履歴データから算出された推奨値を、前記これから行われる手術における前記制御パラメータとして設定する、請求項１に記載の内視鏡システム。
  11. 　前記プロセッサが、
    　前記制御パラメータを前記算出された推奨値に変更するか否かをユーザに問い合わせ、
    　変更するとの回答を受け付けた場合、前記制御パラメータを前記算出された前記推奨値に変更する、請求項１に記載の内視鏡システム。
  12. 　前記プロセッサが、前記制御パラメータを前記算出された推奨値に自動的に変更する、請求項１に記載の内視鏡システム。
  13. 　前記プロセッサが、現在の手術中に前記制御パラメータがユーザによって所定回数以上変更された場合、前記制御パラメータを前記現在の手術の前記履歴データに基づいて算出された前記推奨値に変更する、請求項１に記載の内視鏡システム。
  14. 　前記プロセッサが、前記手術の開始から所定時間内に前記制御パラメータが所定回数以上変更された場合、前記制御パラメータを前記推奨値に変更する、請求項１３に記載の内視鏡システム。
  15. 　前記推奨値が、前記履歴データにおける前記制御パラメータの平均値、中央値、最頻値、使用時間が最長の値、または、時間加重平均値である、請求項１に記載の内視鏡システム。
  16. 　前記内視鏡の位置および姿勢を変更する移動装置をさらに備え、
    　前記プロセッサが、前記制御パラメータに基づいて前記移動装置を制御する、請求項１に記載の内視鏡システム。
  17. 　画像を取得する内視鏡と、
    　前記制御パラメータを変更するためのユーザの操作を受け付けるユーザインタフェースと、をさらに備える、請求項１６に記載の内視鏡システム。
  18. 　内視鏡の視野を制御パラメータに基づいて制御する制御方法であって、
    　手術中の前記制御パラメータの履歴データを前記手術の付随情報と関連付けて記憶部に記憶させ、該付随情報が、前記手術の術者、術式および患者の少なくとも１つに関する情報を含む、こと、および、
    　前記履歴データに基づいて前記制御パラメータの推奨値を算出すること、を含む、制御方法。
  19. 　内視鏡の視野を制御パラメータに基づいて制御する制御方法をコンピュータに実行させるための制御プログラムであって、
    　前記制御方法が、
    　手術中の前記制御パラメータの履歴データを前記手術の付随情報と関連付けて記憶部に記憶させ、該付随情報が、前記手術の術者、術式および患者の少なくとも１つに関する情報を含む、こと、および、
    　前記履歴データに基づいて前記制御パラメータの推奨値を算出すること、を含む、制御プログラム。
PCT/JP2023/024350 2022-07-08 2023-06-30 内視鏡システム、制御方法および制御プログラム Ceased WO2024009901A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024532094A JPWO2024009901A1 (ja) 2022-07-08 2023-06-30
US18/986,660 US20250113977A1 (en) 2022-07-08 2024-12-18 Endoscope system, control method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263359269P 2022-07-08 2022-07-08
US63/359,269 2022-07-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/986,660 Continuation US20250113977A1 (en) 2022-07-08 2024-12-18 Endoscope system, control method, and recording medium

Publications (1)

Publication Number Publication Date
WO2024009901A1 true WO2024009901A1 (ja) 2024-01-11

Family

ID=89453516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024350 Ceased WO2024009901A1 (ja) 2022-07-08 2023-06-30 内視鏡システム、制御方法および制御プログラム

Country Status (3)

Country Link
US (1) US20250113977A1 (ja)
JP (1) JPWO2024009901A1 (ja)
WO (1) WO2024009901A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140163359A1 (en) * 2011-08-21 2014-06-12 Mordehai Sholev Device and method for assisting laparoscopic surgery - rule based approach
US20150238276A1 (en) * 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
US20180325604A1 (en) * 2014-07-10 2018-11-15 M.S.T. Medical Surgery Technologies Ltd Improved interface for laparoscopic surgeries - movement gestures
WO2022054882A1 (ja) * 2020-09-10 2022-03-17 オリンパス株式会社 制御装置、内視鏡システムおよび制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140163359A1 (en) * 2011-08-21 2014-06-12 Mordehai Sholev Device and method for assisting laparoscopic surgery - rule based approach
US20150238276A1 (en) * 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
US20180325604A1 (en) * 2014-07-10 2018-11-15 M.S.T. Medical Surgery Technologies Ltd Improved interface for laparoscopic surgeries - movement gestures
WO2022054882A1 (ja) * 2020-09-10 2022-03-17 オリンパス株式会社 制御装置、内視鏡システムおよび制御方法

Also Published As

Publication number Publication date
US20250113977A1 (en) 2025-04-10
JPWO2024009901A1 (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
JP7542040B2 (ja) 自動内視鏡ビデオ拡張
JP7500667B2 (ja) インジケータシステム
JP7160033B2 (ja) 入力制御装置、入力制御方法、および手術システム
JP2024514634A (ja) 外科用データオーバーレイを制御するためのシステム及び方法
JP2022145863A5 (ja)
US11800966B2 (en) Medical system and medical system operating method
JP2004181229A (ja) 遠隔手術支援システム及び支援方法
CN113366414B (zh) 用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法
JP7379473B2 (ja) 診断支援装置及び診断支援方法
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
WO2019198322A1 (ja) 医療システム
JP2024514884A (ja) 外科用システムのためのオーバーレイ器具情報の適合及び調整可能性
RU2653836C2 (ru) Управляемый микроманипулятором локальный вид с неподвижным общим видом
JP7395125B2 (ja) 手術ツールの先端及び向きの決定
US20220401165A1 (en) Surgical system
WO2024009901A1 (ja) 内視鏡システム、制御方法および制御プログラム
Ko et al. A surgical knowledge based interaction method for a laparoscopic assistant robot
JP2021000258A (ja) 医療用観察システム、医療用観察方法、および情報処理装置
JP4493383B2 (ja) 手技支援システム
JP2004357789A (ja) 被検体観察システム及び被検体観察システムの制御方法
JP2006223374A (ja) 手術支援装置、手術支援システム及び手術支援方法
JP6304737B2 (ja) 医用観察支援装置及び医用観察支援プログラム
JP2024513991A (ja) トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法
KR20180100831A (ko) 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치
JP7674528B2 (ja) 内視鏡システム、内視鏡システムの制御方法および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835433

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024532094

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23835433

Country of ref document: EP

Kind code of ref document: A1