[go: up one dir, main page]

WO2019167528A1 - 医療用観察装置 - Google Patents

医療用観察装置 Download PDF

Info

Publication number
WO2019167528A1
WO2019167528A1 PCT/JP2019/003206 JP2019003206W WO2019167528A1 WO 2019167528 A1 WO2019167528 A1 WO 2019167528A1 JP 2019003206 W JP2019003206 W JP 2019003206W WO 2019167528 A1 WO2019167528 A1 WO 2019167528A1
Authority
WO
WIPO (PCT)
Prior art keywords
axis
arm
medical observation
imaging device
observation apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/003206
Other languages
English (en)
French (fr)
Inventor
憲志 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to EP19759965.7A priority Critical patent/EP3735934A4/en
Priority to CN201980014378.8A priority patent/CN111757713B/zh
Priority to US16/970,951 priority patent/US11510751B2/en
Priority to JP2020502880A priority patent/JP7208972B2/ja
Publication of WO2019167528A1 publication Critical patent/WO2019167528A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/001Counterbalanced structures, e.g. surgical microscopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/14Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B41/00Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/10Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the top-view layout
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B41/00Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/20Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by three-dimensional arrangements, e.g. with cells on different height levels
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B41/00Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/30Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region
    • H10B41/35Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region with a cell select transistor, e.g. NAND
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B43/00EEPROM devices comprising charge-trapping gate insulators
    • H10B43/10EEPROM devices comprising charge-trapping gate insulators characterised by the top-view layout
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B43/00EEPROM devices comprising charge-trapping gate insulators
    • H10B43/20EEPROM devices comprising charge-trapping gate insulators characterised by three-dimensional arrangements, e.g. with cells on different height levels
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B43/00EEPROM devices comprising charge-trapping gate insulators
    • H10B43/30EEPROM devices comprising charge-trapping gate insulators characterised by the memory core region
    • H10B43/35EEPROM devices comprising charge-trapping gate insulators characterised by the memory core region with cell select transistors, e.g. NAND
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00017Electrical control of surgical instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00973Surgical instruments, devices or methods pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/304Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using chemi-luminescent materials
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/5025Supports for surgical instruments, e.g. articulated arms with a counter-balancing mechanism
    • A61B2090/504Supports for surgical instruments, e.g. articulated arms with a counter-balancing mechanism with a counterweight
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/506Supports for surgical instruments, e.g. articulated arms using a parallelogram linkage, e.g. panthograph
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation

Definitions

  • the present disclosure relates to a medical observation apparatus.
  • an observation device capable of magnifying and observing an observation target such as an affected part in order to support microsurgery such as neurosurgery or to perform endoscopic surgery.
  • An observation device may be used.
  • the medical observation apparatus include a medical observation apparatus including an optical microscope and a medical observation apparatus including an imaging device that functions as an electronic imaging microscope.
  • the medical observation apparatus including the optical microscope is referred to as an “optical medical observation apparatus”.
  • a medical observation apparatus including the imaging device may be referred to as an “electronic imaging type medical observation apparatus” or simply “medical observation apparatus”.
  • a captured image (moving image or still image) obtained by capturing an observation target with an imaging device included in the medical observation apparatus is referred to as a “medical captured image”.
  • Electronic imaging medical observation devices have image quality equivalent to or higher than that of optical medical observation devices as image quality of imaging devices and image quality of display devices that display captured images are increased. It is supposed to be.
  • the imaging device is supported by, for example, an arm having a predetermined degree of freedom, and the position of the imaging device can be moved.
  • a user who uses an electronic imaging medical observation apparatus (for example, a medical worker such as an operator or an assistant of an operator, which may be simply referred to as “user” hereinafter) is an optical medical device. Since it is not necessary to look into the eyepiece lens that constitutes the optical microscope as in the case of using the observation apparatus for an image, the position of the imaging device can be moved more freely. Therefore, by using an electronic imaging medical observation apparatus, there is an advantage that surgery can be supported more flexibly by moving the position of the imaging device, and an electronic imaging medical observation apparatus in a medical field The use of is progressing.
  • the user of the electronic imaging medical observation apparatus can freely move the position of the imaging device, the user changes the imaging range by moving the position of the imaging device. It is possible. However, depending on the posture of the arm that supports the imaging device, the degree of freedom of the arm decreases. Therefore, if the user does not manually change the posture of the arm, the imaging device is moved so that the desired imaging range is imaged. May occur ". Moreover, when the above situations arise, the convenience of the user who uses a medical observation apparatus may fall.
  • This disclosure proposes a new and improved medical observation apparatus capable of improving the convenience of the user who uses the medical observation apparatus.
  • a plurality of links are configured to be connected to each other by a joint portion, and have an arm having at least three degrees of freedom by a rotation operation on a rotation shaft, an imaging device supported by the arm, An arm control unit that controls the operation, wherein the arm control unit is in a predetermined state, and the second rotation shaft is counted from the side on which the imaging device is supported in the arm. And a predetermined input is detected that moves the arm around a rotation axis that is orthogonal to the third axis that is the third rotation axis counted from the side on which the imaging device is supported on the arm.
  • a medical observation device is provided that rotates a link corresponding to the third axis around the third axis.
  • the medical observation apparatus according to the present embodiment performs processing related to the control method according to the present embodiment, that is, a case where the medical observation apparatus according to the present embodiment functions as a medical control apparatus will be described.
  • the device that functions as the medical control device is not limited to the medical observation device according to the present embodiment.
  • any device capable of performing processing related to the control method according to the present embodiment such as a medical controller, can function as a medical control device.
  • FIG. 1 is an explanatory diagram showing an example of the configuration of the medical observation system 1000 according to the present embodiment.
  • the medical observation system 1000 includes, for example, a medical observation device 100 and a display device 200.
  • the medical observation system may further include a medical control device (not shown) that controls various operations in the medical observation device 100.
  • a medical control device (not shown) that controls various operations in the medical observation device 100.
  • the medical observation apparatus 100 includes a control unit (described later) that performs processing according to the control method according to the present embodiment. Shows an example having a function of a medical control device (not shown).
  • Examples of the medical control device include any device capable of performing the process according to the control method according to the present embodiment, such as “medical controller” and “computer such as a server”. It is done.
  • the medical control device may be, for example, an IC (Integrated Circuit) that can be incorporated into the above devices.
  • the medical observation system according to the present embodiment may have a configuration including a plurality of medical observation devices 100 and display devices 200.
  • each of the medical observation apparatuses 100 performs a process related to a control method in the medical observation apparatus 100 described later.
  • the medical observation system according to the present embodiment has a plurality of medical observation devices 100 and display devices 200, the medical observation device 100 and the display device 200 are associated one-to-one.
  • a plurality of medical observation devices 100 may be associated with one display device 200.
  • a plurality of medical observation devices 100 are associated with one display device 200, on the display device 200, for example, a medical captured image captured by any medical observation device 100 by performing a switching operation or the like. Is displayed on the display screen.
  • FIG. 2 is an explanatory diagram showing an example of a use case in which the medical observation system 1000 according to the present embodiment is used.
  • the patient PA to be observed (patient subject to medical treatment) is imaged by an imaging device (described later) provided in the medical observation apparatus 100.
  • a captured image obtained by capturing the patient to be medically treated corresponds to an example of a medical captured image.
  • the medical image captured by the medical observation device 100 is displayed on the display screen of the display device 200.
  • an operator OP an example of a user of the medical observation apparatus 100. The same shall apply hereinafter
  • Medical practice is performed on the patient PA while viewing the captured image.
  • surgeon OP operates the operation device external to the medical observation apparatus 100 such as a foot switch FS or an operation device (described later) provided in the medical observation apparatus 100, whereby the medical observation apparatus 100 is operated.
  • An arm to be described later
  • an imaging device to be described later
  • the like provided are operated to bring the medical observation apparatus 100 into a desired state.
  • the display device 200 is a display unit in the medical observation system 1000 and corresponds to an external display device as viewed from the medical observation device 100.
  • the display device 200 displays various images such as a medical captured image (moving image or still image) captured by the medical observation device 100 and an image related to a UI (User Interface) on the display screen. To do. Further, the display device 200 may have a configuration capable of 3D display by an arbitrary method.
  • the display on the display device 200 is controlled by, for example, the medical observation device 100 or a medical control device (not shown).
  • the display device 200 is installed at an arbitrary place that can be visually recognized by an operator such as an operator in the operating room, such as a wall surface, a ceiling, or a floor surface of the operating room.
  • Examples of the display device 200 include a liquid crystal display, an organic EL (Electro-Luminescence) display, and a CRT (Cathode Ray Tube) display.
  • the display device 200 is not limited to the example described above.
  • the display device 200 may be an arbitrary wearable device that is used by a surgeon or the like such as a head mounted display or an eyewear type device.
  • the display device 200 is driven by, for example, power supplied from an internal power source such as a battery provided in the display device 200 or power supplied from a connected external power source.
  • the medical observation apparatus 100 is an electronic imaging medical observation apparatus. For example, when the medical observation apparatus 100 is used at the time of surgery, an operator (an example of a user of the medical observation apparatus 100) is imaged by the medical observation apparatus 100 and displayed on the display screen of the display device 200. The surgical site (affected site) is observed with reference to the captured image, and various procedures such as a procedure according to the surgical procedure are performed on the surgical site.
  • the medical observation apparatus 100 includes, for example, a base 102, an arm 104, and an imaging device 106.
  • the medical observation apparatus 100 includes, for example, one or two or more processors (not shown) configured by an arithmetic circuit such as an MPU (Micro Processing Unit) and a ROM (Read Only Memory (not shown), RAM (Random Access Memory, not shown), a recording medium (not shown), and a communication device (not shown) may be provided.
  • the medical observation apparatus 100 is driven by, for example, power supplied from an internal power source such as a battery provided in the medical observation apparatus 100 or power supplied from a connected external power source.
  • the processor functions as a control unit (described later) in the medical observation apparatus 100.
  • a ROM (not shown) stores control data such as programs and calculation parameters used by a processor (not shown).
  • a RAM (not shown) temporarily stores a program executed by a processor (not shown).
  • the recording medium (not shown) functions as a storage unit (not shown) in the medical observation apparatus 100.
  • Various data such as data related to the control method according to the present embodiment and various applications are stored in a recording medium (not shown).
  • examples of the recording medium (not shown) include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory.
  • the recording medium (not shown) may be detachable from the medical observation apparatus 100.
  • the communication device is a communication means provided in the medical observation apparatus 100 and serves to communicate with an external apparatus such as the display apparatus 200 wirelessly or by wire.
  • examples of the communication device include an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication), a communication antenna, and an RF circuit (wireless communication). ), Or a LAN terminal and a transmission / reception circuit (wired communication).
  • Base 102 is a base of the medical observation apparatus 100, and one end of the arm 104 is connected to support the arm 104 and the imaging device 106.
  • a caster is provided on the base 102, and the medical observation apparatus 100 is grounded to the floor surface via the caster.
  • the medical observation apparatus 100 can be easily moved on the floor surface by the casters.
  • the arm 104 is configured by connecting a plurality of links to each other by joint portions.
  • the arm 104 has at least three degrees of freedom by a rotation operation on a rotation shaft described later.
  • the three or more degrees of freedom that the arm 104 has include degrees of freedom that are realized by rotational operations on the first axis O1, the second axis O2, and the third axis O3, which will be described later.
  • the example shown in FIG. 1 is an example of a configuration having six degrees of freedom as will be described later.
  • the arm 104 supports the imaging device 106.
  • the imaging device 106 supported by the arm 104 can move three-dimensionally, and the position and posture of the imaging device 106 after the movement are held by the arm 104.
  • the arm 104 is, for example, a plurality of links 112a coupled by a plurality of joint portions 110a, 110b, 110c, 110d, 110e, and 110f and joint portions 110a, 110b, 110c, 110d, 110e, and 110f. , 112b, 112c, 112d, 112e, 112f, and 112g.
  • the rotatable ranges of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f are arbitrarily set in the design stage, the manufacturing stage, and the like so that the desired movement of the arm 104 is realized.
  • first axis O1 and second axis O2 corresponding to the six joint portions 110a, 110b, 110c, 110d, 110e, and 110f that constitute the arm 104.
  • the third axis O3, the fourth axis O4, the fifth axis O5, and the sixth axis O6) provide six degrees of freedom for the movement of the imaging device 106. More specifically, in the medical observation apparatus 100 shown in FIG. 1, a motion with 6 degrees of freedom of 3 translational degrees of freedom and 3 degrees of freedom of rotation is realized.
  • the first axis O1 is the first rotation axis counted from the side where the imaging device 106 is supported in the arm 104.
  • the second axis O2 is the second rotation axis counted from the side where the imaging device 106 is supported on the arm 104.
  • the third axis O3 is the third rotation axis counted from the side where the imaging device 106 is supported on the arm 104.
  • the fourth axis O4 is the fourth rotation axis counted from the side where the imaging device 106 is supported on the arm 104.
  • the fifth axis O5 is the fifth rotation axis counted from the side where the imaging device 106 is supported on the arm 104.
  • the sixth axis O6 is the sixth rotation axis as counted from the side where the imaging device 106 is supported on the arm 104.
  • each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f is provided with an actuator (not shown), and each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f is an actuator (not shown).
  • Driving of an actuator (not shown) is controlled by, for example, a processor that functions as a control unit described later, or an external medical control device (not shown).
  • an actuator may be provided only in a part of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f.
  • An example of a configuration in which an actuator (not shown) is provided only in a part is as follows: “Actuators (not shown) are provided in the joint portions 110a, 110b, and 110c, and actuators (not shown) are provided in the joint portions 110d, 110e, and 110f. A configuration in which a not-shown) is not provided.
  • each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f may be provided with angle sensors (not shown) that can detect the rotation angles of the six rotation axes.
  • angle sensors for example, an arbitrary sensor that can obtain rotation angles on each of the six rotation axes, such as a rotary encoder and an angular velocity sensor, can be cited.
  • an angle sensor may be provided only in a part of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f.
  • An example of a configuration in which an angle sensor (not shown) is provided only in a part is as follows: “An angle sensor (not shown) is provided in the joint portions 110a, 110b, and 110c, and the joint portions 110d, 110e, and 110f include “A configuration in which an angle sensor (not shown) is not provided” may be mentioned.
  • the senor provided in the arm 104 is not limited to the angle sensor.
  • the arm 104 may be provided with a sensor that detects an external force applied to the arm 104.
  • a sensor that detects an external force applied to the arm 104 serves to detect a predetermined input (described later) to the arm 104.
  • Examples of the sensor that detects the external force applied to the arm 104 include an arbitrary sensor that can detect a force such as a load cell.
  • a sensor that detects an external force applied to the arm 104 in the medical observation apparatus 100 can function as a sensor for detecting the moving direction of the imaging device 106, for example.
  • the sensor for detecting the external force applied to the arm 104 is disposed, for example, between the joint portion 110a corresponding to the first axis O1 and the joint portion 110b corresponding to the second axis O2, that is, in the link 112a portion.
  • positioning of the sensor which detects the external force added to the arm 104 is not restricted to the example shown above.
  • a sensor that detects an external force applied to the arm 104 may be disposed in the link 112b portion.
  • each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f is rotated by a corresponding rotation shaft by driving an actuator (not shown), for example, the arm 104 is extended or contracted (folded).
  • Various arm 104 movements are realized.
  • various movements of the arm 104 such as extending and contracting (folding) the arm 104 are performed by the joint portions 110a, 110b, 110c, 110d, 110e, and 110f rotating on the corresponding rotation shafts by the operation by the user. It may be realized by doing so.
  • the joint portion 110a has a substantially cylindrical shape, and the imaging device 106 (the upper end portion of the imaging device 106 in FIG. 1) is connected to the central axis of the imaging device 106 at the distal end portion (lower end portion in FIG. 1) of the joint portion 110a. It supports so that it can rotate around a parallel rotating shaft (1st axis
  • the medical observation apparatus 100 shown in FIG. 1 is configured such that the first axis O1 coincides with the optical axis of the imaging device 106.
  • the first axis O1 is coaxial with the optical axis of the imaging device 106. That is, by rotating the imaging device 106 around the first axis O1 illustrated in FIG.
  • the medical captured image captured by the imaging device 106 is an image that is changed so that the field of view rotates.
  • the configuration of the medical observation apparatus 100 is not limited to the configuration in which the first axis O1 is coaxial with the optical axis of the imaging device 106.
  • the link 112a is a substantially rod-like member and fixedly supports the joint portion 110a.
  • the link 112a extends in a direction orthogonal to the first axis O1 and is connected to the joint portion 110b.
  • the joint portion 110b has a substantially cylindrical shape, and supports the link 112a so as to be rotatable around a rotation axis (second axis O2) orthogonal to the first axis O1. Further, the link 112b is fixedly connected to the joint portion 110b.
  • the link 112b is a substantially L-shaped member whose one side extends in a direction orthogonal to the second axis O2, and the joint portion 110b and the joint portion 110c are connected to the link 112b, respectively.
  • the joint portion 110c has a substantially cylindrical shape, and supports the link 112b so as to be rotatable at least about a rotation axis (third axis O3) orthogonal to the second axis O2. Further, one end of the link 112c is fixedly connected to the joint portion 110c.
  • the position of the imaging device 106 in the horizontal plane is changed by rotating the distal end side (the side on which the imaging device 106 is provided) of the arm 104 about the second axis O2 and the third axis O3.
  • the imaging device 106 can be moved. That is, in the medical observation apparatus 100, the visual field of the medical captured image can be moved in a plane by controlling the rotation around the second axis O2 and the third axis O3.
  • the link 112c is connected to the link 112b via the joint part 110c, and is connected to the link 112d via the joint part 110d.
  • the link 112c is connected to the link 112e.
  • the joint portion 110d supports the link 112c so as to be rotatable around a rotation axis (fourth axis O4) orthogonal to the third axis O3.
  • a link 112d is connected to the joint portion 110d.
  • the link 112d is connected to the link 112c via the joint portion 110d, and is connected to the link 112g via the joint portion 110e.
  • the link 112d is connected to the link 112f.
  • the link 112e is connected to each of the link 112c and the link 112f.
  • the link 112f is connected to each of the link 112d and the link 112e.
  • a counterweight 114 is provided at one end of the link 112f.
  • the counterweight 114 has a rotational moment generated around the fourth axis O4 and a circumference around the fifth axis O5 due to the mass of each component provided on the tip side of the arm 104 (the side where the imaging device 106 is provided) from the counterweight 114.
  • the mass and the arrangement position are adjusted so that the rotational moment generated in the can be offset.
  • the joint portion 110e supports one end of the link 112d so as to be rotatable around a rotation axis (fifth axis O5) parallel to the fourth axis O4.
  • One end of a link 112g is connected to the joint part 110e.
  • the fourth axis O4 and the fifth axis O5 are rotation axes capable of moving the imaging device 106 in the vertical direction.
  • the position of the imaging device 106 in the vertical direction changes as the distal end side (side on which the imaging device 106 is provided) of the arm 104 rotates around the fourth axis O4 and the fifth axis O5. Therefore, the distal end side of the arm 104 (the side on which the imaging device 106 is provided) rotates around the fourth axis O4 and the fifth axis O5, whereby the distance between the imaging device 106 and an observation target such as a surgical site of the patient. Can be changed.
  • the link 112g extends vertically downward from a first member having a substantially L shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and a portion extending in the horizontal direction of the first member.
  • the rod-shaped second member is a member configured in combination.
  • the joint portion 110e is fixedly connected to a portion of the link 112g that extends in the vertical direction of the first member.
  • the joint portion 110f is connected to the second member of the link 112g.
  • the link 112f and the base 102 are connected to the joint part 110f.
  • the joint part 110f supports the link 112g so as to be rotatable around a rotation axis (sixth axis O6) parallel to the vertical direction.
  • the medical observation apparatus 100 realizes six degrees of freedom with respect to the movement of the imaging device 106.
  • the configuration of the arm 104 is not limited to the example shown above.
  • FIG. 1 shows a configuration in which the counterweight 114 is provided in the arm 104, that is, a configuration in which the arm 104 is a balance arm, but the arm 104 may have a configuration in which the counterweight 114 is not provided.
  • each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f of the arm 104 may be provided with a brake that restricts the rotation of each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f.
  • a brake that restricts the rotation of each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f.
  • Examples of the brake according to the present embodiment include an arbitrary brake such as a mechanically driven brake and an electrically driven electromagnetic brake.
  • the driving of the brake is controlled by, for example, a processor that functions as a control unit, which will be described later, or an external medical control device (not shown).
  • the operation mode of the arm 104 is set. Examples of the operation mode of the arm 104 include a fully fixed mode, a partially fixed mode, and a free mode.
  • the all-fixed mode is an operation mode in which, for example, the position and orientation of the imaging device 106 are fixed by restricting rotation of each rotation shaft provided in the arm 104 by a brake. .
  • the operation state of the medical observation apparatus 100 becomes a fixed state in which the position and posture of the imaging device 106 are fixed.
  • the partially fixed mode is, for example, that the position and orientation of the imaging device 106 are partially fixed by restricting rotation on a part of the rotation shaft provided in the arm 104 by a brake. It is an operation mode.
  • the rotation operation on the second axis O2 and the third axis O3 is possible, and the rotation operation on the other axes is limited.
  • the example of restriction when the partially fixed mode is set is not limited to the example described above.
  • the free mode according to the present embodiment is an operation mode in which each rotation shaft provided in the arm 104 can freely rotate when the brake is released.
  • the position and posture of the imaging device 106 can be adjusted by a direct operation by an operator.
  • the direct operation according to the present embodiment means, for example, an operation in which the surgeon holds the imaging device 106 by hand and directly moves the imaging device 106.
  • Imaging Device 106 The imaging device 106 is supported by the arm 104 and images an observation target such as a surgical site of a patient. Imaging in the imaging device 106 is controlled by, for example, a processor that functions as a control unit, which will be described later, or an external medical control device (not shown).
  • the imaging device 106 has a configuration corresponding to, for example, an electronic imaging microscope.
  • FIG. 3 is an explanatory diagram for explaining an example of the configuration of the imaging device 106 provided in the medical observation apparatus 100 according to the present embodiment.
  • FIG. 3 shows a case where the first axis O1 and the optical axis of the imaging device 106 are coaxial, and the optical axis of the imaging device 106 faces downward in the vertical direction.
  • 3 includes, for example, an imaging member 120 and a cylindrical member 122 having a substantially cylindrical shape, and the imaging member 120 is provided in the cylindrical member 122.
  • the cover glass (not shown) for protecting the imaging member 120 is provided in the opening surface of the lower end (lower end in FIG. 3) of the cylindrical member 122, for example.
  • a light source (not shown) is provided inside the cylindrical member 122, and illumination light is emitted from the light source to the subject through the cover glass during imaging. Reflected light (observation light) from a subject irradiated with illumination light enters the imaging member 120 through a cover glass (not shown), whereby an image signal (medical imaging image) indicating the subject by the imaging member 120 is obtained. Is obtained).
  • the imaging member 120 it is possible to apply a configuration used in various known electronic imaging microscope units.
  • the imaging member 120 includes, for example, an optical system 120a and an image sensor 120b including an imaging element that captures an image to be observed with light that has passed through the optical system 120a.
  • the optical system 120a includes, for example, one or more lenses such as an objective lens, a zoom lens, and a focus lens, and an optical element such as a mirror.
  • Examples of the image sensor 120b include an image sensor using a plurality of imaging elements such as a CMOS (Complementary Metal Oxide Semiconductor) and a CCD (Charge Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the imaging member 120 functions as a so-called stereo camera by having two or more imaging devices including the optical system 120a and the image sensor 120b.
  • the imaging device constituting the imaging member 120 is generally provided in an electronic imaging microscope unit such as a zoom function (one or both of an optical zoom function and an electronic zoom function) and an AF (Auto Focus) function. Or two or more functions are installed.
  • an electronic imaging microscope unit such as a zoom function (one or both of an optical zoom function and an electronic zoom function) and an AF (Auto Focus) function. Or two or more functions are installed.
  • the imaging member 120 may have a configuration capable of imaging at a so-called high resolution such as 4K or 8K. Since the imaging member 120 is configured to be capable of imaging at a high resolution, a display device 200 having a large display screen of, for example, 50 inches or more while ensuring a predetermined resolution (for example, Full HD image quality). Since the image can be displayed on the screen, the visibility of the operator who views the display screen is improved. In addition, since the imaging member 120 is configured to be capable of imaging at a high resolution, even if the captured image is enlarged by the electronic zoom function and displayed on the display screen of the display device 200, a predetermined resolution is ensured. Is possible.
  • the performance of the optical zoom function in the imaging device 106 can be suppressed, so that the optical system of the imaging device 106 can be simplified.
  • the imaging device 106 can be configured more compactly.
  • the imaging device 106 is provided with various operation devices for controlling the operation of the imaging device 106, for example.
  • the zoom switch 124, the focus switch 126, and the operation mode setting switch 128 are provided in the imaging device 106.
  • the position and shape of the zoom switch 124, the focus switch 126, and the operation mode setting switch 128 are not limited to the example shown in FIG.
  • the zoom switch 124 and the focus switch 126 are examples of operation devices for adjusting the imaging conditions in the imaging device 106.
  • the zoom switch 124 includes, for example, a zoom-in switch 124a that increases the zoom magnification (enlargement ratio) and a zoom-out switch 124b that decreases the zoom magnification. By operating the zoom switch 124, the zoom magnification is adjusted and the zoom is adjusted.
  • the focus switch 126 includes, for example, a distant focus switch 126a that increases the focal distance to the observation target (subject) and a foreground focus switch 126b that decreases the focal distance to the observation target. By operating the focus switch 126, the focal length is adjusted and the focus is adjusted.
  • the operation mode setting switch 128 is an example of an operation device for setting the operation mode of the arm 104 in the imaging device 106. By operating the operation mode setting switch 128, the operation mode of the arm 104 is changed. Examples of the operation mode that is changed by performing an operation on the operation mode setting switch 128 include a fully fixed mode and a free mode. That is, the operation mode setting switch 128 is an example of an operation device (first operation device) that can perform an operation for limiting all the degrees of freedom of the arm 104.
  • An example of an operation on the operation mode setting switch 128 is an operation of pressing the operation mode setting switch 128.
  • the operation mode of the arm 104 is the free mode, and when the surgeon is not pressing the operation mode setting switch 128, the operation mode of the arm 104 is all fixed. It becomes a mode.
  • the imaging device 106 is provided with, for example, a non-slip member 130 and a protruding member 132 in order to further improve operability and convenience when an operator who performs operations on various operation devices performs the operation. .
  • the anti-slip member 130 is a member provided to prevent the operating body from slipping when the operator operates the cylindrical member 122 with an operating body such as a hand.
  • the anti-slip member 130 is formed of, for example, a material having a large friction coefficient, and has a structure that is more difficult to slip, such as unevenness.
  • the protruding member 132 may block the visual field of the optical system 120a or be operated with the operating body.
  • the cover glass (not shown) is a member provided to prevent the cover glass from becoming dirty when the operating body touches the cover glass.
  • the position and shape of the anti-slip member 130 and the protruding member 132 are not limited to the example shown in FIG. Further, the imaging device 106 may not be provided with one or both of the anti-slip member 130 and the protruding member 132.
  • the image signal (image data) generated by imaging in the imaging device 106 is subjected to image processing, for example, in a processor that functions as a control unit described later.
  • image processing for example, one or more processes among various processes such as gamma correction, white balance adjustment, image enlargement or reduction, or inter-pixel correction related to the electronic zoom function. Is mentioned.
  • the medical observation system according to the present embodiment includes a medical control device (not shown) that controls various operations in the medical observation device 100
  • the image processing according to the present embodiment is performed by the medical treatment device. It may be performed in a control device (not shown).
  • the medical observation apparatus 100 transmits, for example, a display control signal and an image signal subjected to the image processing as described above to the display apparatus 200.
  • a medical captured image (for example, a captured image in which the surgical site is captured) is captured on the display screen of the display device 200.
  • the image is enlarged or reduced to a desired magnification by one or both of the optical zoom function and the electronic zoom function.
  • the configuration of the imaging device 106 is not limited to the example shown in FIG.
  • FIG. 4 is an explanatory diagram for explaining another example of the configuration of the imaging device 106 provided in the medical observation apparatus 100 according to the present embodiment.
  • FIG. 4 shows a case where the first axis O1 and the optical axis of the imaging device 106 are coaxial, and the optical axis of the imaging device 106 is directed downward in the vertical direction.
  • the imaging device 106 shown in FIG. 4 has basically the same configuration as the imaging device 106 shown in FIG. The difference between the imaging device 106 shown in FIG. 4 and the imaging device 106 shown in FIG. 3 is that the imaging device 106 shown in FIG. 4 further includes operation mode setting switches 134 and 136.
  • the operation mode setting switches 134 and 136 are other examples of the operation device for setting the operation mode of the arm 104 in the imaging device 106. By operating both the operation mode setting switches 134 and 136, the operation mode of the arm 104 is set to the partially fixed mode. That is, the operation mode setting switches 134 and 136 are an example of an operation device (second operation device) that can perform an operation for limiting the degree of freedom of a part of the arm 104.
  • two switches operation mode setting switches 134 and 136, are shown as operation devices that can perform an operation for limiting the degree of freedom of a part of the arm 104.
  • One switch may be sufficient as the operation device which can perform operation which restrict
  • An example of an operation on the operation mode setting switches 134 and 136 is an operation of pressing the operation mode setting switches 134 and 136.
  • the operation mode of the arm 104 is a partially fixed mode.
  • the rotation operation on the second axis O2 and the third axis O3 is possible, and the rotation operation on the other axes is limited.
  • the operation mode of the arm 104 depends on the state of operation on the operation mode setting switch 128.
  • the operation mode of the arm 104 is a free mode.
  • the operation mode of the arm 104 may be a partially fixed mode.
  • the operation mode setting switch 128 (an example of a first operation device; hereinafter the same) and the operation mode setting switches 134 and 136 (an example of a second operation device) are imaged.
  • the device 106 is arranged so that it is arranged up and down when the optical axis of the device 106 is directed downward in the vertical direction. Specifically, when the optical axis of the imaging device 106 is directed downward in the vertical direction, the operation mode setting switches 134 and 136 are disposed below the operation mode setting switch 128.
  • the operation mode setting switch 128 and the operation mode setting switches 134 and 136 are arranged as shown in FIG. 4, the following is realized by the operation of the surgeon.
  • the surgeon holds the imaging device 106 so that both the operation mode setting switch 128 and the operation mode setting switches 134 and 136 are pressed. Since the operation mode of the arm 104 is a free mode, the operator moves the imaging device 106 so that a desired imaging range is imaged. The surgeon loosens the index finger and stops the operation on the operation mode setting switch 128.
  • the operation mode of the arm 104 is a partially fixed mode, and the movement of the arm 104 in the focus direction is restricted.
  • the surgeon performs fine adjustment of the imaging range in a state where movement of the arm 104 in the focus direction is restricted, and releases the hand from the imaging device 106 when the fine adjustment is completed. Since the operation mode of the arm 104 is the all-fixed mode, the imaging range of the imaging device 106 is fixed.
  • the focus does not shift, so the surgeon does not need to hold the imaging device 106 firmly. Therefore, the operator can finely adjust the imaging range using a hand having a medical instrument such as forceps. Therefore, the medical observation apparatus 100 including the imaging device 106 illustrated in FIG. 4 can improve convenience for a user such as an operator.
  • the medical observation apparatus 100 has a hardware configuration shown with reference to, for example, FIGS.
  • the hardware configuration of the medical observation apparatus according to the present embodiment is not limited to the configuration shown with reference to FIGS. 1, 3, and 4.
  • the medical observation apparatus according to the present embodiment may have a configuration in which the arm 104 is directly attached to a ceiling or a wall surface of an operating room or the like without including the base 102.
  • the medical observation apparatus according to the present embodiment has a configuration in which the arm 104 is suspended from the ceiling.
  • FIG. 1 shows an example in which the arm 104 is configured to realize six degrees of freedom regarding the driving of the imaging device 106, but the configuration of the arm 104 is a degree of freedom regarding the driving of the imaging device 106. Is not limited to a configuration with 6 degrees of freedom.
  • the arm 104 only needs to have three or more degrees of freedom including the degrees of freedom realized by the rotation operation on the first axis O1, the second axis O2, and the third axis O3.
  • the number and arrangement of the joints and links, the direction of the drive shaft of the joints, and the like can be set as appropriate so that the arm 104 has three or more degrees of freedom.
  • FIGS. 1, 3, and 4 illustrate examples in which various operation devices for controlling the operation of the imaging device 106 are provided in the imaging device 106
  • FIGS. 1, 3, and 4 illustrate the example. Some or all of the operation devices shown may not be provided in the imaging device 106.
  • various operation devices for controlling the operation of the imaging device 106 may be provided in a part other than the imaging device 106 constituting the medical observation apparatus according to the present embodiment.
  • the various operation devices for controlling the operation of the imaging device 106 may be any external operation device such as a foot switch or a hand switch such as a remote controller.
  • the imaging device 106 may be configured to be able to switch between a plurality of observation modes.
  • an observation mode for example, an observation mode in which imaging is performed with natural light, an observation mode in which imaging is performed with special light, and an observation mode in which imaging is performed using an image enhancement observation technique such as NBI (Narrow Band Imaging).
  • the special light according to this embodiment is, for example, light in a specific wavelength band such as light in the near-infrared wavelength band or light in the fluorescence wavelength band of fluorescence observation using 5-ALA (5-Aminolevulinic Acid). is there.
  • the imaging device 106 capable of switching a plurality of observation modes, for example, “a filter that transmits light in a specific wavelength band and does not transmit light in other wavelength bands, and the filter on the optical path” And a moving mechanism that is selectively disposed on the device.
  • a near-infrared wavelength band for example, a wavelength band of about 0.7 [micrometer] to 2.5 [micrometer]
  • 5- Fluorescence wavelength band by fluorescence observation using ALA for example, wavelength band of about 0.6 [micrometer] to 0.65 [micrometer]
  • ICG Indocyanine Green fluorescence wavelength band
  • the imaging device 106 may be provided with a plurality of filters having different wavelength bands to be transmitted. Further, in the above description, an example in which imaging is performed with light of a specific wavelength band by arranging a filter on the optical path has been described, but the configuration of the imaging device 106 for imaging with light of a specific wavelength band However, it goes without saying that the present invention is not limited to the example described above.
  • FIG. 5 is a functional block diagram showing an example of the configuration of the medical observation apparatus 100 according to the present embodiment.
  • the medical observation apparatus 100 includes, for example, an arm unit 152, an imaging unit 154, a communication unit 156, and a control unit 158.
  • the arm unit 152 includes the arm 104 and supports the imaging device 106 that configures the imaging unit 154.
  • the imaging unit 154 includes the imaging device 106 and images an observation target. Imaging in the imaging unit 154 is controlled by the control unit 158, for example.
  • the communication unit 156 is a communication unit included in the medical observation apparatus 100 and serves to communicate with an external apparatus such as the display apparatus 200 wirelessly or by wire.
  • the communication unit 156 includes, for example, the communication device (not shown) described above. Communication in the communication unit 156 is controlled by the control unit 158, for example.
  • the control unit 158 includes, for example, the above-described processor (not shown), and serves to control the entire medical observation apparatus 100.
  • the control unit 158 plays a role of performing a process related to a control method to be described later. Note that the processing related to the control method in the control unit 158 may be performed in a distributed manner by a plurality of processing circuits (for example, a plurality of processors).
  • control unit 158 includes, for example, an imaging control unit 160, an arm control unit 162, and a display control unit 164.
  • the imaging control unit 160 controls the imaging device 106 that constitutes the imaging unit 154.
  • the control of the imaging device 106 for example, one or two or more functions that are generally provided in a microscope section of an electronic imaging type, such as control of an AF function including at least a zoom function (optical zoom function and electronic zoom function). Control is mentioned.
  • the arm control unit 162 controls driving of the arm 104 constituting the arm unit 152.
  • a control signal for controlling the drive is applied to an actuator (not shown) corresponding to each of the joint portions 110a, 110b, 110c, 110d, 110e, and 110f. "".
  • the arm control unit 162 serves to perform processing related to a control method described later. An example of processing related to the control method according to the present embodiment will be described later.
  • the display control unit 164 transmits the display control signal and the image signal to a communication device (not shown) that configures the communication unit 156, and causes the display device 200 to transmit the display control signal and the image signal.
  • a communication device not shown
  • communication control in the communication unit 156 may be performed by a communication control unit (not shown) constituting the control unit 158.
  • the display control unit 164 can also serve to perform a process related to the control method according to the present embodiment.
  • the control unit 158 has, for example, the arm control unit 162, and plays a role of leading the processing related to the control method according to the present embodiment.
  • the control unit 158 has, for example, the imaging control unit 160, the arm control unit 162, and the display control unit 164, thereby serving to control the entire medical observation apparatus 100.
  • control unit 158 is not limited to the example shown in FIG.
  • control unit 158 can have an arbitrary configuration according to how the functions of the medical observation apparatus 100 are divided, such as a configuration according to a method of dividing a process according to the control method according to the present embodiment. is there.
  • the medical observation apparatus 100 performs a process related to a control method according to the present embodiment, which will be described later, with the configuration illustrated in FIG.
  • the medical observation apparatus includes a part or all of the imaging control unit 160, the arm control unit 162, and the display control unit 164 illustrated in FIG. 5 separately from the control unit 158 ( For example, it can be realized by another processing circuit).
  • the functional configuration for realizing the processing according to the control method according to the present embodiment in the medical observation apparatus according to the present embodiment is not limited to the configuration illustrated in FIG. 5, for example, the medical observation according to the present embodiment.
  • the apparatus can have a functional configuration corresponding to a process classification according to the control method according to the present embodiment.
  • the medical observation apparatus when communication with an external device is performed via an external communication device having the same function and configuration as the communication unit 156, the medical observation apparatus according to the present embodiment does not include the communication unit 156. May be.
  • the medical observation system according to the present embodiment has a configuration having a medical control device (not shown), and the medical observation device according to the present embodiment is controlled by the medical control device (not shown).
  • the medical observation apparatus according to this embodiment may not include the control unit 158.
  • the medical control device includes, for example, a control unit having the same function and configuration as the control unit 158, thereby performing processing related to the control method according to the present embodiment described later.
  • the operation of each component such as the arm unit 152 and the imaging unit 154 included in the medical observation apparatus according to this embodiment is controlled.
  • the medical control apparatus (not shown) communicates with the medical observation apparatus according to the present embodiment via a communication device that is provided or an external communication device that is connected.
  • movement in each component with which the medical observation apparatus which concerns on is equipped is controlled.
  • the medical observation system according to the present embodiment has a configuration having a medical control device (not shown), and the medical observation device according to the present embodiment is controlled by the medical control device (not shown).
  • the medical observation apparatus according to the present embodiment can have a configuration that does not have some functions of the control unit 158.
  • FIG. 6 is an explanatory diagram for explaining the outline of the control method according to the present embodiment.
  • FIG. 6A shows a first example of the posture of the arm 104.
  • 6B shows a second example of the posture of the arm 104, and
  • FIG. 6C shows a third example of the posture of the arm 104.
  • the first axis O1, the second axis O2, and the third axis O3 are in an orthogonal state.
  • the medical observation image is rotated by the rotation operation on the first axis O1
  • the imaging range of the imaging device 106 is moved in the vertical direction (vertical direction; hereinafter the same applies) by the rotation operation on the second axis O2.
  • the imaging range of the imaging device 106 moves in the left-right direction (a direction perpendicular to the vertical direction; the same shall apply hereinafter) by the rotation operation on the third axis O3.
  • the degree of freedom does not decrease and the degree of freedom is not insufficient.
  • the posture according to the second example shown in B of FIG. 6 is a posture in which the second axis O2 is rotated by 90 [°] from the posture according to the first example shown in A of FIG.
  • the medical observation image is rotated by the rotation operation on the first axis O1 and the rotation operation on the third axis O3.
  • the imaging range of the imaging device 106 moves in the vertical direction by the rotation operation on the second axis O2
  • the imaging range of the imaging device 106 is moved in the horizontal direction in the posture according to the second example illustrated in FIG.
  • the posture according to the third example shown in C of FIG. 6 is a posture in which the first axis O1 and the third axis O3 are rotated by 90 [°] from the posture according to the second example shown in B of FIG.
  • the medical observation image is rotated by the rotation operation on the first axis O1 and the rotation operation on the third axis O3.
  • the imaging range of the imaging device 106 moves in the left-right direction by the rotation operation on the second axis O2
  • the imaging range of the imaging device 106 is moved in the vertical direction in the posture according to the third example illustrated in FIG.
  • a user such as a surgeon manually moves the link 112b to the third axis. If the rotation is performed around O3, a desired degree of freedom of rotation can be obtained by the relative rotation of the second axis O2. However, when the link 112b is manually rotated around the third axis O3, the user may need to perform an operation using both hands, and the user may feel annoyed.
  • the medical observation apparatus 100 has some degrees of freedom depending on the posture of the arm 104, such as the posture according to the second example shown in B of FIG. 6 and the posture according to the third example shown in C of FIG. Even in the case where the loss is lost, the degree of freedom is automatically secured by controlling the operation of the arm 104. More specifically, the medical observation apparatus 100 controls the operation of the arm 104 and detects the existing one when the input to move the arm 104 to the degree of freedom determined to be lost is detected. The degree of freedom is automatically secured by actively controlling the degree of freedom.
  • the medical observation apparatus 100 can improve the convenience of the user who uses the medical observation apparatus 100.
  • the medical observation apparatus 100 controls the operation of the arm 104 to control the existing free movement when an input to move the arm 104 to the degree of freedom determined to be lost is detected. Actively control the degree.
  • the medical observation apparatus 100 specifies the posture of the arm 104 (or estimates the posture of the arm 104 based on the rotation angle of each rotation axis in the medical observation device 100. The same applies hereinafter. ) Is possible.
  • the method for specifying the posture of the arm 104 is not limited to the example described above, and the medical observation apparatus 100 can use any method that can specify the posture of the arm 104.
  • the posture of the arm 104 may be specified.
  • an input to move the arm 104 to the degree of freedom determined to be lost means “the posture of the arm 104 is in a predetermined state and the second axis O2 and the third axis This is an input for moving the arm 104 around a rotation axis orthogonal to O3.
  • the posture of the arm 104 according to the present embodiment is in a predetermined state, for example, the posture according to the second example shown in B of FIG. 6 and the posture according to the third example shown in C of FIG. “The first axis O1 is on a plane defined by the second axis O2 and the third axis O3” or “the first axis O1 is the second axis O2 and the third axis O3” It is in a state that exists on a plane parallel to the plane defined by.
  • the medical observation apparatus 100 determines whether or not the posture of the arm 104 is in a predetermined state by checking the relationship between the first axis O1, the second axis O2, and the third axis O3 in the posture of the specified arm 104. Determine.
  • the method for determining whether the posture of the arm 104 is in a predetermined state is not limited to the example described above.
  • the medical observation apparatus 100 determines that the posture of the arm 104 is in a predetermined state when an input for moving the arm 104 around a rotation axis orthogonal to the second axis O2 and the third axis O3 is detected. May be.
  • the predetermined state is determined as described above, for example, when the imaging device 106 is to be moved in a direction in which the surgeon is difficult to move, the medical observation apparatus 100 moves the imaging device 106 by the surgeon. Can assist. Further, the movement of the imaging device 106 is assisted by the medical observation apparatus 100, so that the surgeon can move the imaging device 106 with a smaller force.
  • Examples of the input according to the present embodiment include “an external force detected by a sensor that detects an external force applied to the arm 104 such as a load cell” and “an operation signal corresponding to an operation on an external operation device such as a foot switch FS”. Or both.
  • an external force detected by a sensor that detects an external force applied to the arm 104 such as a load cell
  • an operation signal corresponding to an operation on an external operation device such as a foot switch FS”.
  • the case where the “input for moving the arm 104 around the rotation axis orthogonal to the second axis O2 and the third axis O3” is indicated as “predetermined input”. There is.
  • the predetermined input includes “an input for moving the arm 104 so as to move the imaging range of the imaging device 106 in the left-right direction”. Further, taking the posture according to the third example shown in FIG. 6C as an example, the predetermined input is “an input for moving the arm 104 so as to move the imaging range of the imaging device 106 in the vertical direction”. It is done.
  • the medical observation apparatus 100 rotates the link corresponding to the third axis O3 around the third axis O3 when a predetermined input is detected in the specified posture.
  • the link corresponding to the third axis O3 according to the present embodiment is a link that moves directly by the rotation operation on the third axis O3, and corresponds to the link 112b in the arm 104 having the configuration shown in FIG. .
  • the medical observation apparatus 100 rotates the link 112b (an example of a link corresponding to the third axis O3; hereinafter the same), or rotates the link 112b counterclockwise.
  • the medical observation apparatus 100 may rotate the link 112b in a preset rotation direction, or may rotate the link 112b in a rotation direction determined according to a predetermined rule such as random. .
  • the medical observation apparatus 100 may rotate the link 112b in a rotation direction in which the distance from the object is further increased after the link 112b is rotated.
  • the medical observation apparatus 100 rotates the link 112b at a rotation speed set in advance, or rotates the link 112b at a rotation speed corresponding to a predetermined input size.
  • the medical observation apparatus 100 is, for example, “a table (or database) in which the magnitude of the external force is associated with the rotation speed” (a predetermined input is an external force detected by a sensor that detects the external force applied to the arm 104. Or a “table (or database) in which the operation amount indicated by the operation signal is associated with the rotation speed”.
  • the rotation speed corresponding to the magnitude of the predetermined input is specified using (when the predetermined input is an operation signal corresponding to an operation on an external operation device).
  • Data indicating the rotation speed set in advance and each of the above tables are stored in, for example, a recording medium functioning as a storage unit (not shown).
  • the medical observation apparatus 100 may specify the rotation speed corresponding to the predetermined input size by performing an arithmetic operation using an arbitrary algorithm that can obtain the rotation speed from the predetermined input size. Good.
  • FIG. 7 and 8 are explanatory diagrams illustrating an example of processing related to the control method according to the present embodiment.
  • the posture of the arm 104 shown in FIG. 7A is the same as the posture according to the third example shown in C of FIG. 7 shows an example of a medical captured image displayed on the display screen of the display device 200.
  • the posture of the arm 104 shown in FIG. 8 is the same as the posture according to the second example shown in B of FIG.
  • the first axis O1 is on a plane defined by the second axis O2 and the third axis O3
  • the posture of the arm 104 is in a predetermined state
  • the medical observation apparatus 100 rotates the third axis O3.
  • An actuator (not shown) to be driven is driven to rotate the link 112b.
  • the medical observation is performed.
  • the apparatus 100 drives an actuator (not shown) that rotates the third axis O3 to rotate the link 112b.
  • the posture of the arm 104 is as shown in FIG.
  • the imaging range of the imaging device 106 is moved in the vertical direction by the rotation operation on the second axis O2. be able to. Therefore, when the medical observation apparatus 100 rotates the link 112b as shown with reference to FIGS. 7 and 8, for example, the operator can manually change the posture of the arm 104 without changing the posture of the arm 104.
  • the imaging device 106 can be moved.
  • the medical observation apparatus 100 performs, for example, a process according to the first example shown in (1) below and a process related to the second example shown in (2) below as processes related to the control method according to the present embodiment. One or both of the above may be performed.
  • 9 and 10 are explanatory diagrams for explaining an example of processing related to the control method according to the present embodiment.
  • 9A and 10A show a medical observation apparatus 100 having a configuration similar to that in FIG. 1, and a foot switch FS is also shown as an example of an external operation device.
  • 9B, FIG. 10B, and FIG. 10C illustrate an example of a medical captured image displayed on the display screen of the display device 200.
  • the imaging device 106 When the posture of the arm 104 is changed from the posture shown in FIG. 9A to the posture shown in FIG. 10A by rotating the link 112b, the imaging device 106 also rotates indirectly with the rotation of the link 112b. As a result, the medical captured image displayed on the display screen is an image obtained by rotating the medical captured image shown in FIG. 9B as shown in FIG. 10B.
  • the medical observation apparatus 100 rotates the link 112b corresponding to the third axis O3 around the third axis O3, the direction of the medical captured image before the rotation around the third axis O3, and the third axis O3.
  • the operation of the arm 104 is controlled so that the orientation of the medical captured image after rotation around does not change. More specifically, the medical observation apparatus 100 rotates the first axis O1 so as to cancel the rotation of the medical captured image due to the rotation of the third axis O3.
  • the medical captured image displayed on the display screen is shown in FIG.
  • the image is the same as the medical captured image shown in FIG. 9B. Therefore, even if the link 112b is rotated, the appearance of the medical captured image does not change, so the possibility that the surgeon feels uncomfortable is reduced.
  • the medical observation apparatus 100 may perform image processing that cancels the rotation of the medical captured image due to the rotation of the third axis O3.
  • Examples of the image processing include “a process of rotating a medical captured image in the direction opposite to the rotation direction of the third axis O3 with the same rotation amount as the rotation amount of the third axis O3”.
  • the image processing is performed by, for example, the display control unit 164.
  • the medical observation apparatus 100 rotates the link 112b corresponding to the third axis O3 about the third axis O3, the visual field position shift of the imaging device 106 caused by the rotation of the link 112b corresponding to the third axis O3. Is controlled so as to be corrected.
  • the medical observation apparatus 100 is, for example, a part of the axes other than the first axis O1, the second axis O2, and the third axis O3, that is, the fourth axis O4, the fifth axis O5, and the sixth axis O6. Alternatively, all the axes are rotated, and the positional deviation of the field of view of the imaging device 106 caused by the offset shown in FIG. 9 is corrected.
  • the medical observation apparatus 100 corrects the vertical position shift by one or both of the rotation of the fourth axis O4 and the rotation of the fifth axis O5. To do.
  • the medical observation apparatus 100 corrects the positional deviation in the left-right direction by rotating the sixth axis O6.
  • the center position of the imaging range of the imaging device 106 (the center of the observation visual field) does not move even if the link 112b is rotated by correcting the positional deviation of the visual field of the imaging device 106. Is less likely to feel uncomfortable.
  • the medical observation apparatus 100 may have a configuration in which the offset shown in FIG. 9 is sufficiently small, for example.
  • Making the offset shown in FIG. 9 sufficiently small includes that there is no offset shown in FIG. 9 and that the offset is so small that the field of view of the imaging device 106 does not make the operator feel uncomfortable. It is.
  • FIG. 11 is an explanatory diagram illustrating an example of the configuration of the medical observation apparatus 100 according to the present embodiment, and illustrates an example of a configuration in which the offset illustrated in FIG. 9 is sufficiently small.
  • a foot switch FS is also shown as an example of an external operation device, as in FIGS.
  • the first axis O1 and the third axis O3 are coaxial with each other due to the shape of the link 112b, for example, and the offset shown in FIG. 9 does not exist. Therefore, in the medical observation apparatus 100 having the configuration shown in FIG. 11, even if the link 112b is rotated, the center position of the imaging range of the imaging device 106 (the center of the observation visual field) does not move, so the operator feels uncomfortable. The possibility is reduced.
  • the surgeon can move the imaging device 106 with a smaller amount of force.
  • the surgeon can move the imaging device 106 to a desired position while holding the treatment tool in his hand, for example.
  • the program is executed by a processor or the like in the computer system, so that the convenience of the user using the medical observation apparatus can be improved.
  • the computer system according to the present embodiment includes a single computer or a plurality of computers.
  • a series of processing related to the control method according to the present embodiment is performed by the computer system according to the present embodiment.
  • the above-described embodiment is implemented by causing a computer system to execute a program for causing a computer system to function as the medical observation apparatus according to the present embodiment (or the control apparatus according to the present embodiment).
  • the effect exhibited by the display realized by the process according to the control method according to the embodiment can be achieved.
  • a program for causing a computer system to function as the medical observation apparatus according to the present embodiment is provided.
  • the present embodiment further stores the program. Recording media can also be provided.
  • the arm control unit includes a second axis that is a second rotation axis when counted from the side where the imaging device is supported in the arm, and the imaging in the arm.
  • a link corresponding to the third axis when a predetermined input is detected that moves the arm around a rotation axis that is orthogonal to the third axis that is the third rotation axis counted from the side on which the device is supported.
  • a medical observation apparatus that rotates the lens around the third axis.
  • the predetermined state is: The first axis, which is the first rotation axis counted from the side on which the imaging device is supported in the arm, is on a plane defined by the second axis and the third axis, or , The medical observation apparatus according to (1), wherein the first axis is on a plane parallel to a plane defined by the second axis and the third axis. (3) The medical observation apparatus according to (1) or (2), wherein the predetermined input is the external force detected by a sensor that detects an external force applied to the arm. (4) The sensor is disposed between a joint corresponding to the first axis that is the first rotation axis counted from the side on which the imaging device is supported in the arm and a joint corresponding to the second axis.
  • the medical observation apparatus according to (3).
  • the medical observation apparatus according to any one of (1) to (4), wherein the predetermined input is an operation signal corresponding to an operation on an external operation device.
  • the arm control unit is configured to detect a direction of a medical captured image captured by the imaging device before rotation about the third axis and a medical captured image captured by the imaging device after rotation about the third axis.
  • the medical observation apparatus according to any one of (1) to (5), wherein the operation of the arm is controlled so that the orientation does not change.
  • the arm control unit rotates the first axis, which is the first rotation axis counted from the side where the imaging device is supported in the arm, so as to cancel the rotation of the medical imaging image due to the rotation of the third axis.
  • the medical observation apparatus according to (6).
  • the arm control unit controls the operation of the arm so that the displacement of the field of view of the imaging device caused by the rotation of the link corresponding to the third axis is corrected. Any one of (1) to (7) The medical observation apparatus as described in any one.
  • the medical observation apparatus as described in one.
  • the first axis which is the first rotation axis counted from the side on which the imaging device is supported in the arm, is coaxial with the optical axis of the imaging device, and is any one of (1) to (9)
  • the arm rotates the second axis so that the first axis, which is the first rotation axis counted from the side on which the imaging device is supported in the arm, and the third axis are coaxial.
  • the medical observation apparatus according to any one of (1) to (7), (9), and (10). (12)
  • a first operating device capable of operating to limit all the degrees of freedom of the arm;
  • a second operating device capable of operating to limit the degree of freedom of a part of the arm; Is provided,
  • the first operation device and the second operation device are arranged so as to be arranged one above the other when the optical axis of the imaging device is directed downward in the vertical direction.
  • the medical observation apparatus according to any one of 11).

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】医療用観察装置を用いる使用者の利便性の向上を図ることが可能な医療用観察装置を提供する。 【解決手段】複数のリンクが関節部によって互いに連結されて構成され、回転軸における回転動作により少なくとも3以上の自由度を有するアームと、アームにより支持される撮像デバイスと、アームの動作を制御するアーム制御部とを備え、アーム制御部は、アームの姿勢が所定の状態にあり、かつ、アームにおいて撮像デバイスが支持される側から数えて2番目の回転軸である第2軸と、アームにおいて撮像デバイスが支持される側から数えて3番目の回転軸である第3軸とに直交する回転軸まわりにアームを動かす、所定の入力が検出された場合に、第3軸に対応するリンクを第3軸まわりに回転させる、医療用観察装置が、提供される。

Description

医療用観察装置
 本開示は、医療用観察装置に関する。
 近年、医療現場においては、例えば、脳神経外科手術などの微細手術(マイクロサージャリ)をサポートするためや、内視鏡手術を行うために、患部などの観察対象を拡大観察することが可能な医療用観察装置が用いられる場合がある。医療用観察装置としては、例えば、光学式の顕微鏡を備える医療用観察装置と、電子撮像式の顕微鏡として機能する撮像デバイスを備える医療用観察装置とが挙げられる。以下では、上記光学式の顕微鏡を備える医療用観察装置を「光学式の医療用観察装置」と示す。また、以下では、上記撮像デバイスを備える医療用観察装置を、「電子撮像式の医療用観察装置」または単に「医療用観察装置」と示す場合がある。また、以下では、医療用観察装置が備える撮像デバイスにより観察対象が撮像された撮像画像(動画像または静止画像)を「医療用撮像画像」と示す。
 電子撮像式の医療用観察装置は、撮像デバイスの高画質化や撮像された撮像画像が表示される表示装置の高画質化などに伴い、光学式の医療用観察装置と同等以上の画質が得られるようになっている。電子撮像式の医療用観察装置において撮像デバイスは、例えば所定の自由度を有するアームにより支持され、撮像デバイスの位置を移動させることが可能である。また、電子撮像式の医療用観察装置を用いる使用者(例えば、術者や術者の助手などの医療従事者。以下、単に「使用者」と示す場合がある。)は、光学式の医療用観察装置を用いる場合のように光学式の顕微鏡を構成する接眼レンズを覗き込む必要はないので、撮像デバイスの位置をより自由に移動させることが可能である。そのため、電子撮像式の医療用観察装置が用いられることによって、撮像デバイスの位置の移動により手術をより柔軟にサポートすることができるという利点があり、医療現場での電子撮像式の医療用観察装置の利用が進んでいる。
 一方、複数の軸を有するマニピュレータの制御に関する技術が開発されている。7軸マニピュレータの制御に関する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開平6-226667号公報
 上記のように、電子撮像式の医療用観察装置の使用者は撮像デバイスの位置を自由に移動させることが可能であるので、使用者は、撮像デバイスの位置を移動させることにより撮像範囲を変えることが可能である。しかしながら、撮像デバイスを支持するアームの姿勢によってはアームの自由度が減るため、“使用者がアームの姿勢を手動で変えなければ、所望の撮像範囲が撮像されるように撮像デバイスを移動させることができない事態”が生じる可能性がある。また、上記のような事態が生じる場合には、医療用観察装置を用いる使用者の利便性が低下する可能性がある。
 本開示では、医療用観察装置を用いる使用者の利便性の向上を図ることが可能な、新規かつ改良された医療用観察装置を提案する。
 本開示によれば、複数のリンクが関節部によって互いに連結されて構成され、回転軸における回転動作により少なくとも3以上の自由度を有するアームと、上記アームにより支持される撮像デバイスと、上記アームの動作を制御するアーム制御部と、を備え、上記アーム制御部は、上記アームの姿勢が所定の状態にあり、かつ、上記アームにおいて上記撮像デバイスが支持される側から数えて2番目の回転軸である第2軸と、上記アームにおいて上記撮像デバイスが支持される側から数えて3番目の回転軸である第3軸とに直交する回転軸まわりに上記アームを動かす、所定の入力が検出された場合に、上記第3軸に対応するリンクを上記第3軸まわりに回転させる、医療用観察装置が、提供される。
 本開示によれば、医療用観察装置を用いる使用者の利便性の向上を図ることができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る医療用観察システムの構成の一例を示す説明図である。 本実施形態に係る医療用観察システムが使用されるユースケースの一例を示す説明図である。 本実施形態に係る医療用観察装置が備える撮像デバイスの構成の一例を説明するための説明図である。 本実施形態に係る医療用観察装置が備える撮像デバイスの構成の他の例を説明するための説明図である。 本実施形態に係る医療用観察装置の構成の一例を示す機能ブロック図である。 本実施形態に係る制御方法の概要を説明するための説明図である。 本実施形態に係る制御方法に係る処理の一例を示す説明図である。 本実施形態に係る制御方法に係る処理の一例を示す説明図である。 本実施形態に係る制御方法に係る処理の一例を説明するための説明図である。 本実施形態に係る制御方法に係る処理の一例を説明するための説明図である。 本実施形態に係る医療用観察装置の構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下では、下記に示す順序で説明を行う。
  1.本実施形態に係る医療用観察システム、および本実施形態に係る制御方法
  [1]医療用観察システムの構成
   [1-1]表示装置200
   [1-2]医療用観察装置100
  [2]本実施形態に係る制御方法
   [2-1]本実施形態に係る制御方法の概要
   [2-2]本実施形態に係る制御方法に係る処理
  [3]本実施形態に係る制御方法が用いられることにより奏される効果の一例
  2.本実施形態に係るプログラム
(本実施形態に係る医療用観察システム、および本実施形態に係る制御方法)
 以下、本実施形態に係る医療用観察システムの一例を説明しつつ、本実施形態に係る制御方法について説明する。
 以下では、本実施形態に係る医療用観察装置が本実施形態に係る制御方法に係る処理を行う場合、すなわち、本実施形態に係る医療用観察装置が医療用制御装置として機能する場合について説明する。なお、本実施形態に係る医療用観察システムにおいて、医療用制御装置として機能する装置は、本実施形態に係る医療用観察装置に限られない。例えば、本実施形態に係る医療用観察システムでは、メディカルコントローラなどの本実施形態に係る制御方法に係る処理を行うことが可能な任意の装置が、医療用制御装置として機能しうる。
[1]医療用観察システムの構成
 図1は、本実施形態に係る医療用観察システム1000の構成の一例を示す説明図である。医療用観察システム1000は、例えば、医療用観察装置100と、表示装置200とを有する。
 なお、本実施形態に係る医療用観察システムは、図1に示す例に限られない。
 例えば、本実施形態に係る医療用観察システムは、医療用観察装置100における各種動作を制御する医療用制御装置(図示せず)を、さらに有していてもよい。図1に示す医療用観察システム1000では、後述するように、医療用観察装置100が本実施形態に係る制御方法に係る処理を行う制御部(後述する)を備えることにより、医療用観察装置100が医療用制御装置(図示せず)の機能を有している例を示している。
 医療用制御装置(図示せず)としては、例えば、“メディカルコントローラ”や、“サーバなどのコンピュータ”など、本実施形態に係る制御方法に係る処理を行うことが可能な任意の機器が、挙げられる。また、医療用制御装置(図示せず)は、例えば、上記のような機器に組み込むことが可能な、IC(Integrated Circuit)であってもよい。
 また、本実施形態に係る医療用観察システムは、医療用観察装置100と表示装置200とを複数有する構成であってもよい。医療用観察装置100を複数有する場合、医療用観察装置100それぞれにおいて、後述する医療用観察装置100における制御方法に係る処理が行われる。また、本実施形態に係る医療用観察システムが医療用観察装置100と表示装置200とを複数有する構成である場合、医療用観察装置100と表示装置200とが一対一に対応付けられていてもよいし、複数の医療用観察装置100が1つの表示装置200に対応付けられていてもよい。複数の医療用観察装置100が1つの表示装置200に対応付けられている場合、表示装置200では、例えば切り替え操作などが行われることによって、どの医療用観察装置100において撮像された医療用撮像画像を表示画面に表示させるのかが、切り替えられる。
 図2は、本実施形態に係る医療用観察システム1000が使用されるユースケースの一例を示す説明図である。
 医療用観察装置100が備える撮像デバイス(後述する)によって、観察対象の患者PA(医療行為を受ける対象の患者)が撮像される。上記医療行為を受ける対象の患者が撮像された撮像画像が、医療用撮像画像の一例に該当する。
 医療用観察装置100において撮像された医療用撮像画像は、表示装置200の表示画面に表示される。そして、医療用観察装置100を用いて医療行為を行う術者OP(医療用観察装置100の使用者の一例。以下、同様とする。)は、表示装置200の表示画面に表示されている医療用撮像画像を見ながら、患者PAに対して医療行為を行う。
 また、術者OPは、フットスイッチFSなどの医療用観察装置100の外部の操作デバイス、または、医療用観察装置100が備える操作デバイス(後述する)を操作することによって、医療用観察装置100が備えるアーム(後述する)や撮像デバイス(後述する)などを動作させ、医療用観察装置100を所望の状態にさせる。
 以下、医療用観察システム1000を構成する各装置について、説明する。
[1-1]表示装置200
 表示装置200は、医療用観察システム1000における表示手段であり、医療用観察装置100からみて外部の表示デバイスに該当する。表示装置200は、例えば、医療用観察装置100において撮像された医療用撮像画像(動画像、または、静止画像)や、UI(User Interface)に係る画像などの、様々な画像を表示画面に表示する。また、表示装置200は、任意の方式により3D表示が可能な構成を有していてもよい。表示装置200における表示は、例えば、医療用観察装置100、または、医療用制御装置(図示せず)によって制御される。
 医療用観察システム1000において表示装置200は、手術室の壁面や天井、床面などの、手術室内において術者などの手術に関わる者により視認されうる任意の場所に設置される。表示装置200としては、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどが挙げられる。
 なお、表示装置200は、上記に示す例に限られない。
 例えば、表示装置200は、ヘッドマウントディスプレイやアイウェア型の装置などのような、術者などが身体に装着して用いる任意のウェアラブル装置であってもよい。
 表示装置200は、例えば、表示装置200が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
[1-2]医療用観察装置100
 医療用観察装置100は、電子撮像式の医療用観察装置である。例えば手術時に医療用観察装置100が用いられる場合、術者(医療用観察装置100の使用者の一例)は、医療用観察装置100により撮像されて、表示装置200の表示画面に表示された医療用撮像画像を参照しながら術部(患部)を観察し、当該術部に対して、術式に応じた手技などの各種処置を行う。
 図1に示すように、医療用観察装置100は、例えば、ベース102と、アーム104と、撮像デバイス106とを備える。
 また、図1では示していないが、医療用観察装置100は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサ(図示せず)と、ROM(Read Only Memory。図示せず)と、RAM(Random Access Memory。図示せず)と、記録媒体(図示せず)と、通信デバイス(図示せず)とを、備えていてもよい。医療用観察装置100は、例えば、医療用観察装置100が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
 プロセッサ(図示せず)は、医療用観察装置100における制御部(後述する)として機能する。ROM(図示せず)は、プロセッサ(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、プロセッサ(図示せず)により実行されるプログラムなどを一時的に記憶する。
 記録媒体(図示せず)は、医療用観察装置100における記憶部(図示せず)として機能する。記録媒体(図示せず)には、例えば、本実施形態に係る制御方法に係るデータや、各種アプリケーションなどの、様々なデータが記憶される。ここで、記録媒体(図示せず)としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体(図示せず)は、医療用観察装置100から着脱可能であってもよい。
 通信デバイス(図示せず)は、医療用観察装置100が備える通信手段であり、表示装置200などの外部装置と、無線または有線で通信を行う役目を果たす。ここで、通信デバイス(図示せず)としては、例えば、IEEE802.15.1ポートおよび送受信回路(無線通信)や、IEEE802.11ポートおよび送受信回路(無線通信)、通信アンテナおよびRF回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられる。
[1-2-1]ベース102
 ベース102は、医療用観察装置100の基台であり、アーム104の一端が接続されて、アーム104と撮像デバイス106とを支持する。
 また、ベース102には例えばキャスタが設けられ、医療用観察装置100は、キャスタを介して床面と接地する。キャスタが設けられることにより、医療用観察装置100は、キャスタによって床面上を容易に移動することが可能である。
[1-2-2]アーム104
 アーム104は、複数のリンクが関節部によって互いに連結されて構成される。アーム104は、後述する回転軸における回転動作により少なくとも3以上の自由度を有する。アーム104が有する3以上の自由度には、後述する第1軸O1、第2軸O2、および第3軸O3における回転動作により実現される自由度が、含まれる。図1に示す例は、後述するように6自由度を有する構成の一例である。
 また、アーム104は、撮像デバイス106を支持する。アーム104により支持された撮像デバイス106は3次元的に移動可能であり、移動後の撮像デバイス106は、アーム104によって、位置および姿勢が保持される。
 より具体的には、アーム104は、例えば、複数の関節部110a、110b、110c、110d、110e、110fと、関節部110a、110b、110c、110d、110e、110fによって連結される複数のリンク112a、112b、112c、112d、112e、112f、112gとを有する。関節部110a、110b、110c、110d、110e、110fそれぞれの回転可能範囲は、アーム104の所望の動きが実現されるように、設計段階や製造段階などにおいて任意に設定される。
 つまり、図1に示す医療用観察装置100では、アーム104を構成する6つの関節部110a、110b、110c、110d、110e、110fに対応する6つの回転軸(第1軸O1、第2軸O2、第3軸O3、第4軸O4、第5軸O5、および第6軸O6)によって、撮像デバイス106の移動に関して6自由度が実現されている。より具体的には、図1に示す医療用観察装置100では、並進3自由度、および回転3自由度の6自由度の動きが実現される。
 第1軸O1は、アーム104において撮像デバイス106が支持される側から数えて1番目の回転軸である。第2軸O2は、アーム104において撮像デバイス106が支持される側から数えて2番目の回転軸である。第3軸O3は、アーム104において撮像デバイス106が支持される側から数えて3番目の回転軸である。第4軸O4は、アーム104において撮像デバイス106が支持される側から数えて4番目の回転軸である。第5軸O5は、アーム104において撮像デバイス106が支持される側から数えて5番目の回転軸である。第6軸O6は、アーム104において撮像デバイス106が支持される側から数えて6番目の回転軸である。
 例えば、関節部110a、110b、110c、110d、110e、110fそれぞれには、アクチュエータ(図示せず)が設けられ、関節部110a、110b、110c、110d、110e、110fそれぞれは、アクチュエータ(図示せず)の駆動によって、対応する回転軸で回転する。アクチュエータ(図示せず)の駆動は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置(図示せず)によって制御される。
 なお、医療用観察装置100では、関節部110a、110b、110c、110d、110e、110fの一部にのみアクチュエータ(図示せず)が設けられていてもよい。一部にのみアクチュエータ(図示せず)が設けられる構成の一例を挙げると、“関節部110a、110b、110cにアクチュエータ(図示せず)が設けられ、関節部110d、110e、110fにはアクチュエータ(図示せず)が設けられない構成”が、挙げられる。
 例えば、関節部110a、110b、110c、110d、110e、110fそれぞれには、6つの回転軸における回転角度をそれぞれ検出することが可能な角度センサ(図示せず)が、設けられうる。本実施形態に係る角度センサとしては、例えば、ロータリエンコーダや角速度センサなどの、6つの回転軸それぞれにおける回転角度を得ることが可能な任意のセンサが、挙げられる。
 なお、医療用観察装置100では、関節部110a、110b、110c、110d、110e、110fの一部にのみ角度センサ(図示せず)が設けられていてもよい。一部にのみ角度センサ(図示せず)が設けられる構成の一例を挙げると、“関節部110a、110b、110cに角度センサ(図示せず)が設けられ、関節部110d、110e、110fには角度センサ(図示せず)が設けられない構成”が、挙げられる。
 なお、アーム104に設けられるセンサは、上記角度センサに限られない。例えば、アーム104には、アーム104に加わる外力を検出するセンサが、設けられていてもよい。アーム104に加わる外力を検出するセンサは、アーム104に対する所定の入力(後述する)を検出する役目を果たす。
 アーム104に加わる外力を検出するセンサとしては、例えば、ロードセルなどの力を検出することが可能な任意のセンサが挙げられる。医療用観察装置100においてアーム104に加わる外力を検出するセンサは、例えば撮像デバイス106の移動方向を検出するためのセンサとして機能しうる。
 アーム104に加わる外力を検出するセンサは、例えば、第1軸O1に対応する関節部110aと第2軸O2に対応する関節部110bとの間、すなわち、リンク112a部分に配置される。
 なお、アーム104に加わる外力を検出するセンサの配置の例は、上記に示す例に限られない。例えば、アーム104に加わる外力を検出するセンサは、リンク112b部分に配置されていてもよい。
 例えば、関節部110a、110b、110c、110d、110e、110fそれぞれが、アクチュエータ(図示せず)の駆動により対応する回転軸で回転することによって、例えばアーム104を伸ばす、縮める(折り畳む)などの、様々なアーム104の動作が、実現される。また、例えばアーム104を伸ばす、縮める(折り畳む)などの、様々なアーム104の動作は、関節部110a、110b、110c、110d、110e、110fそれぞれが、使用者による操作により対応する回転軸で回転することによって、実現されてもよい。
 関節部110aは、略円柱形状を有し、関節部110aの先端部分(図1における下端部分)で、撮像デバイス106(図1における撮像デバイス106の上端部分)を、撮像デバイス106の中心軸と平行な回転軸(第1軸O1)まわりに回動可能なように支持する。ここで、図1に示す医療用観察装置100では、第1軸O1が撮像デバイス106における光軸と一致するように構成されている。換言すると、第1軸O1は、撮像デバイス106の光軸と同軸である。つまり、図1に示す第1軸O1まわりに撮像デバイス106を回動させることによって、撮像デバイス106により撮像された医療用撮像画像は、視野が回転するように変更される画像となる。なお、医療用観察装置100の構成が、第1軸O1が撮像デバイス106の光軸と同軸である構成に限られないことは、言うまでもない。
 リンク112aは、略棒状の部材であり、関節部110aを固定的に支持する。リンク112aは、例えば、第1軸O1と直交する方向に延伸され、関節部110bに接続される。
 関節部110bは、略円柱形状を有し、リンク112aを、第1軸O1と直交する回転軸(第2軸O2)まわりに回動可能なように支持する。また、関節部110bには、リンク112bが固定的に接続される。
 リンク112bは、一辺が第2軸O2と直交する方向に延伸する略L字形状の部材であり、リンク112bには、関節部110bと関節部110cとがそれぞれ接続される。
 関節部110cは、略円柱形状を有し、リンク112bを、少なくとも第2軸O2と互いに直交する回転軸(第3軸O3)まわりに回動可能なように支持する。また、関節部110cには、リンク112cの一端が固定的に接続される。
 ここで、第2軸O2および第3軸O3まわりにアーム104の先端側(撮像デバイス106が設けられる側)が回動することによって、水平面内での撮像デバイス106の位置が変更されるように、撮像デバイス106を移動させることができる。つまり、医療用観察装置100では、第2軸O2および第3軸O3まわりの回転が制御されることにより、医療用撮像画像の視野を平面内で移動させることが可能になる。
 リンク112cは、関節部110cを介してリンク112bと接続され、関節部110dを介してリンク112dと接続される。また、リンク112cは、リンク112eと接続される。
 関節部110dは、リンク112cを、第3軸O3と直交する回転軸(第4軸O4)まわりに回動可能なように支持する。関節部110dには、リンク112dが接続される。
 リンク112dは、関節部110dを介してリンク112cと接続され、関節部110eを介してリンク112gと接続される。また、リンク112dは、リンク112fと接続される。
 リンク112eは、リンク112cおよびリンク112fそれぞれと接続される。
 リンク112fは、リンク112dおよびリンク112eそれぞれと接続される。また、リンク112fの一端には、カウンターウエイト114が設けられる。カウンターウエイト114は、カウンターウエイト114よりもアーム104の先端側(撮像デバイス106が設けられる側)に設けられる各構成要素の質量によって、第4軸O4まわりに発生する回転モーメントおよび第5軸O5まわりに発生する回転モーメントを相殺可能なように、質量および配置位置が調整される。
 関節部110eは、リンク112dの一端を、第4軸O4と平行な回転軸(第5軸O5)まわりに回動可能なように支持する。また、関節部110eには、リンク112gの一端が接続される。
 ここで、第4軸O4および第5軸O5は、撮像デバイス106を垂直方向に移動させうる回転軸である。第4軸O4および第5軸O5まわりにアーム104の先端側(撮像デバイス106が設けられる側)が回動することによって、撮像デバイス106の垂直方向の位置が変わる。よって、第4軸O4および第5軸O5まわりにアーム104の先端側(撮像デバイス106が設けられる側)が回動することによって、撮像デバイス106と、患者の術部などの観察対象との距離を変えることが、可能となる。
 リンク112gは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略L字形状を有する第1の部材と、当該第1の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第2の部材とが、組み合わされて構成される部材である。リンク112gの第1の部材の鉛直方向に延伸する部位には、関節部110eが固定的に接続される。また、リンク112gの第2の部材には、関節部110fが接続される。
 関節部110fには、リンク112fとベース102とが接続される。関節部110fは、リンク112gを、鉛直方向と平行な回転軸(第6軸O6)まわりに回動可能なように支持する。
 アーム104が上記に示す構成を有することによって、医療用観察装置100では、撮像デバイス106の移動に関して6自由度が実現される。
 なお、アーム104の構成は、上記に示す例に限られない。
 例えば、図1では、アーム104にカウンターウエイト114が設けられる構成、すなわちアーム104がバランスアームである構成を示したが、アーム104は、カウンターウエイト114が設けられない構成であってもよい。
 また、例えば、アーム104の関節部110a、110b、110c、110d、110e、110fそれぞれには、関節部110a、110b、110c、110d、110e、110fそれぞれにおける回転を規制するブレーキが設けられていてもよい。本実施形態に係るブレーキとしては、例えば、機械的に駆動するブレーキや、電気的に駆動する電磁ブレーキなど、任意の方式のブレーキが挙げられる。
 上記ブレーキの駆動は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置(図示せず)によって制御される。上記ブレーキの駆動が制御されることにより、医療用観察装置100では、アーム104の動作モードが設定される。アーム104の動作モードとしては、例えば、全固定モード、一部固定モード、およびフリーモードが挙げられる。
 ここで、本実施形態に係る全固定モードとは、例えば、アーム104に設けられる各回転軸における回転がブレーキにより規制されることにより、撮像デバイス106の位置および姿勢が固定される動作モードである。アーム104が全固定モードとなることによって、医療用観察装置100の動作状態は、撮像デバイス106の位置および姿勢が固定される固定状態となる。
 また、本実施形態に係る一部固定モードとは、例えば、アーム104に設けられる一部の回転軸における回転がブレーキにより規制されることにより、撮像デバイス106の位置および姿勢が一部固定される動作モードである。一例を挙げると、一部固定モードが設定される場合、第2軸O2および第3軸O3における回転動作が可能となり、他の軸における回転動作が制限される。なお、一部固定モードが設定される場合の制限の例が、上記に示す例に限られないことは、言うまでもない。
 また、本実施形態に係るフリーモードとは、上記ブレーキが解除されることにより、アーム104に設けられる各回転軸が自由に回転可能となる動作モードである。例えば、フリーモードでは、術者による直接的な操作によって撮像デバイス106の位置および姿勢を調整することが可能となる。ここで、本実施形態に係る直接的な操作とは、例えば、術者が手で撮像デバイス106を把持し、当該撮像デバイス106を直接移動させる操作のことを意味する。
[1-2-3]撮像デバイス106
 撮像デバイス106は、アーム104により支持され、例えば患者の術部などの観察対象を撮像する。撮像デバイス106における撮像は、例えば、後述する制御部として機能するプロセッサ、または、外部の医療用制御装置(図示せず)によって制御される。
 撮像デバイス106は、例えば電子撮像式の顕微鏡に対応する構成を有する。
 図3は、本実施形態に係る医療用観察装置100が備える撮像デバイス106の構成の一例を説明するための説明図である。図3は、第1軸O1と撮像デバイス106の光軸とが同軸であり、かつ、撮像デバイス106の光軸が鉛直方向の下向きを向いている場合を示している。
 図3に示す撮像デバイス106は、例えば、撮像部材120と、略円筒形状を有する筒状部材122とを有し、撮像部材120は、筒状部材122内に設けられる。
 筒状部材122の下端(図3における下側の端)の開口面には、例えば、撮像部材120を保護するためのカバーガラス(図示せず)が設けられる。
 また、例えば筒状部材122の内部には光源(図示せず)が設けられ、撮像時には、当該光源からカバーガラス越しに被写体に対して照明光が照射される。照明光が照射された被写体からの反射光(観察光)が、カバーガラス(図示せず)を介して撮像部材120に入射することにより、撮像部材120によって被写体を示す画像信号(医療用撮像画像を示す画像信号)が得られる。
 撮像部材120としては、各種の公知の電子撮像式の顕微鏡部に用いられている構成を適用することが可能である。
 一例を挙げると、撮像部材120は、例えば、光学系120aと、光学系120aを通過した光により観察対象の像を撮像する撮像素子を含むイメージセンサ120bとで構成される。光学系120aは、例えば、対物レンズ、ズームレンズおよびフォーカスレンズなどの1または2以上のレンズとミラーなどの光学素子で構成される。イメージセンサ120bとしては、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を複数用いたイメージセンサが、挙げられる。
 撮像部材120は、光学系120aおよびイメージセンサ120bで構成される撮像デバイスを、2つ以上有することにより、いわゆるステレオカメラとして機能する。
 撮像部材120を構成する撮像デバイスには、ズーム機能(光学ズーム機能と電子ズーム機能との一方または双方)、AF(Auto Focus)機能などの、一般的に電子撮像式の顕微鏡部に備えられる1または2以上の機能が搭載される。
 また、撮像部材120は、例えば4K、8Kなどの、いわゆる高解像度での撮像が可能な構成であってもよい。撮像部材120が高解像度での撮像が可能に構成されることにより、所定の解像度(例えば、Full HD画質など)を確保しつつ、例えば50インチ以上などの大画面の表示画面を有する表示装置200に画像を表示させることが可能となるので、当該表示画面を見る術者の視認性が向上する。また、撮像部材120が高解像度での撮像が可能に構成されることにより、撮像画像が電子ズーム機能によって拡大されて表示装置200の表示画面に表示されたとしても、所定の解像度を確保することが可能となる。さらに、電子ズーム機能を用いて所定の解像度が確保される場合には、撮像デバイス106における光学ズーム機能の性能を抑えることが可能となるので、撮像デバイス106の光学系をより簡易にすることができ、撮像デバイス106をより小型に構成することができる。
 撮像デバイス106には、例えば、撮像デバイス106の動作を制御するための各種の操作デバイスが設けられる。例えば図3では、ズームスイッチ124と、フォーカススイッチ126と、動作モード設定スイッチ128とが、撮像デバイス106に設けられている。なお、ズームスイッチ124、フォーカススイッチ126、および動作モード設定スイッチ128が設けられる位置と形状とが、図3に示す例に限られないことは、言うまでもない。
 ズームスイッチ124とフォーカススイッチ126とは、撮像デバイス106における撮像条件を調整するための操作デバイスの一例である。
 ズームスイッチ124は、例えば、ズーム倍率(拡大率)を大きくするズームインスイッチ124aと、ズーム倍率を小さくするズームアウトスイッチ124bとで構成される。ズームスイッチ124に対する操作が行われることによりズーム倍率が調整されて、ズームが調整される。
 フォーカススイッチ126は、例えば、観察対象(被写体)までの焦点距離を遠くする遠景フォーカススイッチ126aと、観察対象までの焦点距離を近くする近景フォーカススイッチ126bとで構成される。フォーカススイッチ126に対する操作が行われることにより焦点距離が調整されて、フォーカスが調整される。
 動作モード設定スイッチ128は、撮像デバイス106におけるアーム104の動作モードを設定するための操作デバイスの一例である。動作モード設定スイッチ128に対する操作が行われることにより、アーム104の動作モードが変更される。動作モード設定スイッチ128に対する操作が行われることにより変更される動作モードとしては、例えば全固定モードとフリーモードとが挙げられる。つまり、動作モード設定スイッチ128は、アーム104の全ての自由度を制限する操作が可能な操作デバイス(第1の操作デバイス)の一例である。
 動作モード設定スイッチ128に対する操作の一例としては、動作モード設定スイッチ128を押下する操作が、挙げられる。例えば、術者が動作モード設定スイッチ128を押下している間、アーム104の動作モードがフリーモードとなり、術者が動作モード設定スイッチ128を押下していないときには、アーム104の動作モードが全固定モードとなる。
 また、撮像デバイス106には、各種操作デバイスに対する操作を行う操作者が操作を行う際の操作性や利便性などをより高めるために、例えば、滑り止め部材130と、突起部材132とが設けられる。
 滑り止め部材130は、例えば操作者が筒状部材122を手などの操作体で操作を行う際に、操作体の滑りを防止するために設けられる部材である。滑り止め部材130は、例えば、摩擦係数が大きい材料で形成され、凹凸などのより滑りにくい構造を有する。
 突起部材132は、操作者が筒状部材122を手などの操作体で操作を行う際に、当該操作体が光学系120aの視野を遮ってしまうことや、当該操作体で操作を行う際に、カバーガラス(図示せず)に当該操作体が触れることにより当該カバーガラスが汚れることなどを、防止するために設けられる部材である。
 なお、滑り止め部材130および突起部材132それぞれが設けられる位置と形状とが、図3に示す例に限られないことは、言うまでもない。また、撮像デバイス106には、滑り止め部材130と突起部材132との一方または双方が設けれられていなくてもよい。
 撮像デバイス106における撮像により生成された画像信号(画像データ)は、例えば後述する制御部として機能するプロセッサにおいて、画像処理が行われる。本実施形態に係る画像処理としては、例えば、ガンマ補正、ホワイトバランスの調整、電子ズーム機能に係る画像の拡大または縮小、または、画素間補正などの各種処理のうちの、1または2以上の処理が、挙げられる。なお、本実施形態に係る医療用観察システムが、医療用観察装置100における各種動作を制御する医療用制御装置(図示せず)を有する場合には、本実施形態に係る画像処理は、当該医療用制御装置(図示せず)において行われてもよい。
 医療用観察装置100は、例えば、表示制御信号と、上記のような画像処理が行われた画像信号とを、表示装置200に送信する。
 表示制御信号と画像信号とが表示装置200に送信されることによって、表示装置200の表示画面には、観察対象が撮像された医療用撮像画像(例えば、術部が撮像された撮像画像)が、光学ズーム機能と電子ズーム機能との一方または双方によって所望の倍率に拡大または縮小されて表示される。
 なお、撮像デバイス106の構成は、図3に示す例に限られない。
 図4は、本実施形態に係る医療用観察装置100が備える撮像デバイス106の構成の他の例を説明するための説明図である。図4は、第1軸O1と撮像デバイス106の光軸とが同軸であり、かつ、撮像デバイス106の光軸が鉛直方向の下向きを向いている場合を示している。
 図4に示す撮像デバイス106は、図3に示す撮像デバイス106と基本的に同様の構成を有する。図4に示す撮像デバイス106と図3に示す撮像デバイス106との相違点は、図4に示す撮像デバイス106が、動作モード設定スイッチ134、136をさらに備えている点である。
 動作モード設定スイッチ134、136は、撮像デバイス106におけるアーム104の動作モードを設定するための操作デバイスの他の例である。動作モード設定スイッチ134、136双方に対する操作が行われることにより、アーム104の動作モードは、一部固定モードに設定される。つまり、動作モード設定スイッチ134、136は、アーム104の一部の自由度を制限する操作が可能な操作デバイス(第2の操作デバイス)の一例である。
 なお、図4に示す撮像デバイス106を備える医療用観察装置100では、動作モード設定スイッチ134、136の一方に対する操作が行われることにより、アーム104の動作モードが一部固定モードに設定されてもよい。
 また、図4では、アーム104の一部の自由度を制限する操作が可能な操作デバイスとして、動作モード設定スイッチ134、136という2つのスイッチを示しているが、アーム104の一部の自由度を制限する操作が可能な操作デバイスは、1つのスイッチであってもよい。
 動作モード設定スイッチ134、136に対する操作の一例としては、動作モード設定スイッチ134、136を押下する操作が、挙げられる。例えば、術者が動作モード設定スイッチ134、136を押下している間、アーム104の動作モードが一部固定モードとなる。具体例を挙げると、例えば、術者が動作モード設定スイッチ134、136を押下している間、第2軸O2および第3軸O3における回転動作が可能となり、他の軸における回転動作が制限される。
 術者が動作モード設定スイッチ134、136を押下していないときには、アーム104の動作モードは、動作モード設定スイッチ128に対する操作の状態に依存する。また、動作モード設定スイッチ128と動作モード設定スイッチ134、136との双方が押下された場合、アーム104の動作モードは、フリーモードとなる。なお、動作モード設定スイッチ128と動作モード設定スイッチ134、136との双方が押下された場合、アーム104の動作モードは、一部固定モードとなってもよい。
 図4に示すように、動作モード設定スイッチ128(第1の操作デバイスの一例。以下、同様とする。)と、動作モード設定スイッチ134、136(第2の操作デバイスの一例)とは、撮像デバイス106の光軸が鉛直方向の下向きを向いているときに上下に配置されるように、配置される。具体的には、撮像デバイス106の光軸が鉛直方向の下向きを向いているとき、動作モード設定スイッチ134、136は、動作モード設定スイッチ128よりも下側に配置される。
 動作モード設定スイッチ128および動作モード設定スイッチ134、136が、図4に示すように配置される場合、術者の操作によって、下記のようなことが実現される。
  ・術者は、動作モード設定スイッチ128と動作モード設定スイッチ134、136との双方が押下されるように、撮像デバイス106を把持する。アーム104の動作モードはフリーモードとなるので、術者は、所望の撮像範囲が撮像されるように撮像デバイス106を移動させる。術者は、人差し指を緩めて動作モード設定スイッチ128に対す操作をやめる。アーム104の動作モードは一部固定モードとなり、ピント方向へのアーム104の移動が制限される。術者は、ピント方向へのアーム104の移動が制限された状態で撮像範囲の微調整を行い、微調整が完了すると、撮像デバイス106から手を離す。アーム104の動作モードは全固定モードとなるので、撮像デバイス106の撮像範囲は、固定される。
 ここで、上記に示す例において一部固定モードでは、ピントがずれないため、術者は、撮像デバイス106をしっかりと把持する必要がない。よって、術者は、鉗子などの医療器具を持った手を用いて撮像範囲の微調整を行うことが可能である。よって、図4に示す撮像デバイス106を備える医療用観察装置100は、術者などの使用者の利便性の向上を図ることができる。
 医療用観察装置100は、例えば図1、図3、図4を参照して示したハードウェア構成を有する。
 なお、本実施形態に係る医療用観察装置のハードウェア構成は、図1、図3、図4を参照して示した構成に限られない。
 例えば、本実施形態に係る医療用観察装置は、ベース102を備えず、手術室などの天井や壁面などにアーム104が直接取り付けられる構成であってもよい。例えば、天井にアーム104が取り付けられる場合には、本実施形態に係る医療用観察装置は、アーム104が天井から吊り下げられる構成となる。
 また、図1では、アーム104が、撮像デバイス106の駆動に関して6自由度が実現されるように構成されている例を示しているが、アーム104の構成は、撮像デバイス106の駆動に関する自由度が6自由度となる構成に限られない。例えば、アーム104は、上述したように、第1軸O1、第2軸O2、および第3軸O3における回転動作により実現される自由度を含む3以上の自由度を有していればよく、関節部およびリンクの数や配置、関節部の駆動軸の方向などは、アーム104が当該3以上の自由度を有するように適宜設定することが可能である。
 また、図1、図3、図4では、撮像デバイス106の動作を制御するための各種の操作デバイスが、撮像デバイス106に設けられる例を示しているが、図1、図3、図4に示す操作デバイスのうちの一部または全部は、撮像デバイス106に設けられなくてもよい。一例を挙げると、撮像デバイス106の動作を制御するための各種の操作デバイスは、本実施形態に係る医療用観察装置を構成する撮像デバイス106以外の他の部位に設けられていてもよい。また、他の例を挙げると、撮像デバイス106の動作を制御するための各種の操作デバイスは、フットスイッチや、リモートコントローラなどのハンドスイッチなど、任意の外部の操作デバイスであってもよい。
 また、撮像デバイス106は、複数の観察モードを切り替えることが可能な構成であってもよい。本実施形態に係る観察モードとしては、例えば、自然光で撮像を行う観察モード、特殊光で撮像を行う観察モード、NBI(Narrow Band Imaging)などの画像強調観察技術を利用して撮像を行う観察モードなどが、挙げられる。本実施形態に係る特殊光とは、例えば、近赤外線の波長帯域の光や、5-ALA(5-Aminolevulinic Acid)を用いた蛍光観察の蛍光波長帯域の光など、特定の波長帯域の光である。
 複数の観察モードを切り替えることが可能な撮像デバイス106の構成の一例としては、例えば、“特定の波長帯域の光を透過させ、他の波長帯域の光を透過させないフィルタと、当該フィルタを光路上に選択的に配置する移動機構と、を備える構成”が、挙げられる。本実施形態に係るフィルタが透過させる特定の波長帯域としては、例えば、近赤外線の波長帯域(例えば、約0.7[マイクロメートル]~2.5[マイクロメートル]の波長帯域)や、5-ALAを用いた蛍光観察による蛍光波長帯域(例えば、約0.6[マイクロメートル]~0.65[マイクロメートル]の波長帯域)、ICG(Indocyanine Green)の蛍光波長帯域(例えば、約0.82[マイクロメートル]~0.85[マイクロメートル]の波長帯域)などが、挙げられる。
 なお、撮像デバイス106には、透過させる波長帯域が異なる複数のフィルタが設けられていてもよい。また、上記では、フィルタが光路上に配置されることにより、特定の波長帯域の光で撮像が行われる例を示したが、特定の波長帯域の光で撮像を行うための撮像デバイス106の構成が、上記に示す例に限られないことは、言うまでもない。
 次に、図1に示す医療用観察装置100を、機能ブロックを用いて説明する。図5は、本実施形態に係る医療用観察装置100の構成の一例を示す機能ブロック図である。
 医療用観察装置100は、例えば、アーム部152と、撮像部154と、通信部156と、制御部158とを備える。
 アーム部152は、アーム104で構成され、撮像部154を構成する撮像デバイス106を支持する。
 撮像部154は、撮像デバイス106で構成され、観察対象を撮像する。撮像部154における撮像は、例えば制御部158によって制御される。
 通信部156は、医療用観察装置100が備える通信手段であり、表示装置200などの外部装置と無線または有線で通信を行う役目を果たす。通信部156は、例えば上述した通信デバイス(図示せず)で構成される。通信部156における通信は、例えば制御部158によって制御される。
 制御部158は、例えば上述したプロセッサ(図示せず)で構成され、医療用観察装置100全体を制御する役目を果たす。また、制御部158は、後述する制御方法に係る処理を主導的に行う役目を果たす。なお、制御部158における制御方法に係る処理は、複数の処理回路(例えば、複数のプロセッサなど)で分散して行われてもよい。
 より具体的には、制御部158は、例えば、撮像制御部160と、アーム制御部162と、表示制御部164とを有する。
 撮像制御部160は、撮像部154を構成する撮像デバイス106を制御する。撮像デバイス106の制御としては、例えば、少なくともズーム機能(光学ズーム機能および電子ズーム機能)を含む、AF機能の制御などの一般的に電子撮像式の顕微鏡部に備えられる1または2以上の機能の制御が、挙げられる。
 アーム制御部162は、アーム部152を構成するアーム104の駆動を制御する。アーム104の駆動の制御の一例としては、例えば、“関節部110a、110b、110c、110d、110e、110fそれぞれに対応するアクチュエータ(図示せず)に対して、駆動を制御する制御信号を印加すること”などが挙げられる。
 また、アーム制御部162は、後述する制御方法に係る処理を行う役目を果たす。本実施形態に係る制御方法に係る処理の一例については、後述する。
 表示制御部164は、例えば、表示制御信号と画像信号とを通信部156を構成する通信デバイス(図示せず)に伝達し、表示制御信号と画像信号とを表示装置200に対して送信させることによって、表示装置200における表示を制御する。なお、通信部156における通信の制御は、制御部158を構成する通信制御部(図示せず)により行われてもよい。また、後述するように、表示制御部164は、本実施形態に係る制御方法に係る処理を行う役目を果たすことも可能である。
 制御部158は、例えば、アーム制御部162を有することにより、本実施形態に係る制御方法に係る処理を主導的に行う役目を果たす。また、制御部158は、例えば、撮像制御部160、アーム制御部162、および表示制御部164を有することによって、医療用観察装置100全体を制御する役目を果たす。
 なお、制御部158の機能構成は、図4に示す例に限られない。
 例えば、制御部158は、本実施形態に係る制御方法に係る処理の切り分け方に応じた構成など、医療用観察装置100が有する機能の切り分け方に応じた、任意の構成を有することが可能である。
 医療用観察装置100は、例えば図5に示す構成によって、後述する本実施形態に係る制御方法に係る処理を行う。
 なお、本実施形態に係る医療用観察装置の機能構成は、図5に示す構成に限られない。
 例えば、本実施形態に係る医療用観察装置は、図5に示す撮像制御部160、アーム制御部162、および表示制御部164のうちの一部または全部を、制御部158とは個別に備える(例えば、別の処理回路で実現する)ことができる。
 また、本実施形態に係る医療用観察装置において本実施形態に係る制御方法に係る処理を実現するための機能構成は、図5に示す構成に限られず、例えば、本実施形態に係る医療用観察装置は、本実施形態に係る制御方法に係る処理の切り分け方に応じた機能構成をとることが可能である。
 また、例えば、通信部156と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る医療用観察装置は、通信部156を備えていなくてもよい。
 また、本実施形態に係る医療用観察システムが、医療用制御装置(図示せず)を有する構成であり、本実施形態に係る医療用観察装置が当該医療用制御装置(図示せず)により制御される場合、本実施形態に係る医療用観察装置は、制御部158を備えていなくてもよい。
 ここで、医療用制御装置(図示せず)は、例えば、制御部158と同様の機能、構成を有する制御部を備えることによって、後述する本実施形態に係る制御方法に係る処理を行い、また、本実施形態に係る医療用観察装置が備えるアーム部152や撮像部154などの各構成要素における動作を制御する。医療用制御装置(図示せず)は、備えている通信デバイス、または、接続されている外部の通信デバイスを介して、本実施形態に係る医療用観察装置と通信を行うことによって、本実施形態に係る医療用観察装置が備える各構成要素における動作を制御する。
 さらに、本実施形態に係る医療用観察システムが、医療用制御装置(図示せず)を有する構成であり、本実施形態に係る医療用観察装置が当該医療用制御装置(図示せず)により制御される場合、本実施形態に係る医療用観察装置は、制御部158の一部の機能を有さない構成をとることも可能である。
[2]本実施形態に係る制御方法
 次に、本実施形態に係る制御方法について、説明する。以下では、本実施形態に係る制御方法に係る処理を医療用観察装置100(より具体的には、例えば医療用観察装置100を構成する制御部158)が行う場合を例に挙げる。なお、上述したように、本実施形態に係る医療用観察システムにおいて、本実施形態に係る制御方法に係る処理は、医療用制御装置(図示せず)により行われてもよい。
[2-1]本実施形態に係る制御方法の概要
 アーム104の動作モードがフリーモードである場合、医療用観察装置100の使用者は撮像デバイス106の位置を自由に移動させることが可能である。しかしながら、上述したように、撮像デバイス106を支持するアーム104の姿勢によってはアーム104の自由度が減る場合がある。アーム104の自由度が減った場合には、“使用者がアームの姿勢を手動で変えなければ、所望の撮像範囲が撮像されるように撮像デバイスを移動させることができない事態”が生じる可能性がある。そして、上記のような事態が生じる場合には、医療用観察装置を用いる使用者の利便性が低下する可能性がある。
 図6は、本実施形態に係る制御方法の概要を説明するための説明図である。図6のAは、アーム104の姿勢の第1の例を示している。図6のBは、アーム104の姿勢の第2の例を示しており、図6のCは、アーム104の姿勢の第3の例を示している。
 図6のAに示す第1の例に係る姿勢では、第1軸O1、第2軸O2、および第3軸O3が直交状態である。このとき、第1軸O1における回転動作により医療用観察画像は回転し、第2軸O2における回転動作により撮像デバイス106の撮像範囲は上下方向(鉛直方向。以下、同様とする。)に移動し、第3軸O3における回転動作により撮像デバイス106の撮像範囲は左右方向(鉛直方向と直交する方向。以下、同様とする。)に移動する。図6のAに示す第1の例に係る姿勢では、自由度は減らず、自由度に不足はない。
 図6のBに示す第2の例に係る姿勢は、図6のAに示す第1の例に係る姿勢から、第2軸O2が90[°]回転した姿勢である。このとき、第1軸O1における回転動作および第3軸O3における回転動作により医療用観察画像は回転する。また、第2軸O2における回転動作により撮像デバイス106の撮像範囲が上下方向に移動する場合、図6のBに示す第2の例に係る姿勢では、撮像デバイス106の撮像範囲を左右方向に移動させる移動成分が存在しないこととなる。つまり、図6のBに示す第2の例に係る姿勢では、図6のAに示す第1の例に係る姿勢における自由度よりも自由度が減り、自由度に不足が生じる。
 図6のCに示す第3の例に係る姿勢は、図6のBに示す第2の例に係る姿勢から、第1軸O1および第3軸O3が90[°]回転した姿勢である。このとき、図6のBに示す第2の例に係る姿勢と同様に、第1軸O1における回転動作および第3軸O3における回転動作により医療用観察画像は回転する。また、第2軸O2における回転動作により撮像デバイス106の撮像範囲が左右方向に移動する場合、図6のCに示す第3の例に係る姿勢では、撮像デバイス106の撮像範囲を上下方向に移動させる移動成分が存在しないこととなる。つまり、図6のCに示す第3の例に係る姿勢では、図6のAに示す第1の例に係る姿勢における自由度よりも自由度が減り、自由度に不足が生じる。
 例えば、図6のBに示す第2の例に係る姿勢や図6のCに示す第3の例に係る姿勢となった場合、術者などの使用者は、手動でリンク112bを第3軸O3まわりに回転させれば、第2軸O2が相対的に回転することにより所望の回転自由度を得ることができる。しかしながら、手動でリンク112bを第3軸O3まわりに回転させるときには、使用者は、両手を用いて操作を行う必要がある場合があり、使用者が煩わしさを感じる恐れがある。
 そこで、医療用観察装置100は、図6のBに示す第2の例に係る姿勢や図6のCに示す第3の例に係る姿勢のように、アーム104の姿勢によって一部の自由度が失われている場合であっても、アーム104の動作を制御することによって自動的に自由度を確保する。より具体的には、医療用観察装置100は、失われていると判定される自由度側にアーム104を動かそうとする入力が検出された場合には、アーム104の動作を制御して既存の自由度を能動的に制御することによって、自動的に自由度を確保する。
 アーム104の動作の制御により、失われていると判定される自由度が自動的に確保されることによって、上述したような使用者が感じうる煩わしさは低減される。したがって、医療用観察装置100は、医療用観察装置100を用いる使用者の利便性の向上を図ることができる。
[2-2]本実施形態に係る制御方法に係る処理
 次に、本実施形態に係る制御方法に係る処理について、より具体的に説明する。
 上述したように、医療用観察装置100は、失われていると判定される自由度側にアーム104を動かそうとする入力が検出された場合に、アーム104の動作を制御して既存の自由度を能動的に制御する。
 医療用観察装置100は、例えば、医療用観察装置100における回転軸それぞれにおける回転角度に基づいて、アーム104の姿勢を特定すること(またはアーム104の姿勢を推定すること。以下、同様とする。)ができる。なお、アーム104の姿勢の特定方法(またはアーム104の姿勢の推定方法)は、上記に示す例に限られず、医療用観察装置100は、アーム104の姿勢を特定することが可能な任意の方法により、アーム104の姿勢を特定してもよい。
 ここで、“失われていると判定される自由度側にアーム104を動かそうとする入力”とは、“アーム104の姿勢が所定の状態であり、かつ、第2軸O2と第3軸O3とに直交する回転軸まわりにアーム104を動かす入力”をいう。
 本実施形態に係るアーム104の姿勢が所定の状態であるとは、例えば、図6のBに示す第2の例に係る姿勢や図6のCに示す第3の例に係る姿勢のように“第1軸O1が、第2軸O2と第3軸O3とにより規定される平面上に存在する状態であること”、または、“第1軸O1が、第2軸O2と第3軸O3とにより規定される平面と平行な平面上に存在する状態であること”をいう。医療用観察装置100は、特定されるアーム104の姿勢における第1軸O1、第2軸O2、および第3軸O3の関係をみることによって、アーム104の姿勢が所定の状態であるか否かを判定する。
 なお、アーム104の姿勢が所定の状態であるかを判定する方法は、上記に示す例に限られない。例えば、医療用観察装置100は、第2軸O2と第3軸O3とに直交する回転軸まわりにアーム104を動かす入力が検出されたときに、アーム104の姿勢が所定の状態にあると判定してもよい。上記のように所定の状態が判定されることによって、例えば、術者が動かし難い方向に撮像デバイス106を移動させようとする場合において、医療用観察装置100は、術者による撮像デバイス106の移動を補助することができる。また、医療用観察装置100により撮像デバイス106の移動が補助されることにより、術者は、より小さな力量で撮像デバイス106を移動させることができる。
 本実施形態に係る入力としては、例えば、“ロードセルなどのアーム104に加わる外力を検出するセンサにより検出される外力”と、“フットスイッチFSなどの外部の操作デバイスに対する操作に応じた操作信号”との一方または双方が、挙げられる。以下では、上記“アーム104の姿勢が所定の状態であり、かつ、第2軸O2と第3軸O3とに直交する回転軸まわりにアーム104を動かす入力”を「所定の入力」と示す場合がある。
 図6のBに示す第2の例に係る姿勢を例に挙げると、所定の入力としては、“撮像デバイス106の撮像範囲を左右方向に移動させるようにアーム104を動かす入力”が挙げられる。また、図6のCに示す第3の例に係る姿勢を例に挙げると、所定の入力としては、“撮像デバイス106の撮像範囲を上下方向に移動させるようにアーム104を動かす入力”が挙げられる。
 医療用観察装置100は、特定された姿勢において所定の入力が検出された場合に、第3軸O3に対応するリンクを第3軸O3まわりに回転させる。ここで、本実施形態に係る第3軸O3に対応するリンクとは、第3軸O3における回転動作により直接的に動くリンクであり、図1に示す構成のアーム104では、リンク112bが該当する。
 具体的には、医療用観察装置100は、リンク112b(第3軸O3に対応するリンクの一例。以下、同様とする。)を時計回りに回転させ、または、リンク112bを反時計回りに回転させる。
 ここで、時計回りと反時計回りとのどちらにリンク112bを回転させたとしても、アーム104の姿勢によって失われている自由度は自動的に確保される効果が得られる。よって、医療用観察装置100は、例えば、予め設定されている回転方向にリンク112bを回転させてもよいし、ランダムなどの所定の規則に従って決定される回転方向にリンク112bを回転させてもよい。なお、例えばアーム104に距離センサが設けられている場合、医療用観察装置100は、リンク112bを回転させた後に物体との距離がより遠くなる回転方向に、リンク112bを回転させてもよい。
 医療用観察装置100は、予め設定されている回転速度でリンク112bを回転させ、または、所定の入力の大きさに対応する回転速度でリンク112bを回転させる。医療用観察装置100は、例えば、“外力の大きさと回転速度とが対応付けられているテーブル(またはデータベース)”(所定の入力が、アーム104に加わる外力を検出するセンサにより検出される外力である場合)、または“操作信号が示す操作量と回転速度とが対応付けられているテーブル(またはデータベース)”
(所定の入力が、外部の操作デバイスに対する操作に応じた操作信号である場合)を用いて、所定の入力の大きさに対応する回転速度を特定する。予め設定されている回転速度を示すデータや、上記各テーブルは、例えば記憶部(図示せず)として機能する記録媒体などに記憶される。なお、医療用観察装置100は、所定の入力の大きさから回転速度を得ることが可能な任意のアルゴリズムの演算を行うことによって、所定の入力の大きさに対応する回転速度を特定してもよい。
 図7、図8は、本実施形態に係る制御方法に係る処理の一例を示す説明図である。図7のAに示すアーム104の姿勢は、図6のCに示す第3の例に係る姿勢と同様である。また、図7のBは、表示装置200の表示画面に表示される医療用撮像画像の一例を示している。図8に示すアーム104の姿勢は、図6のBに示す第2の例に係る姿勢と同様である。
 術者が撮像デバイス106の位置を移動させるときに、アーム104の姿勢が図7に示す姿勢となった場合には、図6のCを参照して説明したように、撮像デバイス106の撮像範囲を上下方向に移動させる移動成分が存在しないため、撮像デバイス106を上下方向へ移動させることができない。
 このとき、医療用観察装置100では、“第1軸O1が、第2軸O2と第3軸O3とにより規定される平面上に存在する状態であること”(アーム104の姿勢が所定の状態である場合の一例)が特定される。また、例えば、術者が撮像デバイス106を上下方向へ移動させようとアーム104に外力を加えて、当該外力がロードセルなどにより検出されると、医療用観察装置100は、第3軸O3を回転させるアクチュエータ(図示せず)を駆動させてリンク112bを回転させる。また、例えば、術者が、フットスイッチFSなどの外部の操作デバイスに対して、撮像デバイス106を上下方向へ移動させる操作を行い、当該操作に応じた操作信号が検出されると、医療用観察装置100は、第3軸O3を回転させるアクチュエータ(図示せず)を駆動させてリンク112bを回転させる。その結果、アーム104の姿勢は、図8に示す姿勢となる。
 ここで、アーム104が図8に示す姿勢である場合には、図6のBを参照して説明したように、第2軸O2における回転動作により撮像デバイス106の撮像範囲を上下方向に移動させることができる。よって、医療用観察装置100が、例えば図7、図8を参照して示したようにリンク112bを回転させることによって、術者は、手動でアーム104の姿勢を変更することなく、所望の位置に撮像デバイス106を移動させることができる。
 なお、本実施形態に係る制御方法に係る処理は、上記に示す例に限られない。医療用観察装置100は、本実施形態に係る制御方法に係る処理として、例えば、下記の(1)に示す第1の例に係る処理と下記の(2)に示す第2の例に係る処理との一方または双方を行ってもよい。
(1)制御方法に係る処理の第1の例
 第3軸O3に対応するリンク112bを第3軸O3まわりに回転させる場合、リンク112bを回転させることにより撮像デバイス106も間接的に回転し、その結果、撮像デバイス106により撮像される医療用撮像画像も回転することが、起こりうる。
 図9、図10は、本実施形態に係る制御方法に係る処理の一例を説明するための説明図である。図9のA、図10のAでは、図1と同様の構成を有する医療用観察装置100を示しており、外部の操作デバイスの一例としてフットスイッチFSを併せて示している。図9のB、図10のB、および図10のCは、表示装置200の表示画面に表示される医療用撮像画像の一例を示している。
 リンク112bを回転させることによって、アーム104の姿勢が図9のAに示す姿勢から図10のAに示す姿勢となった場合、リンク112bの回転に伴い撮像デバイス106も間接的に回転する。その結果、表示画面に表示される医療用撮像画像は、図10のBに示すように、図9のBに示す医療用撮像画像が回転した画像となってしまう。
 そこで、医療用観察装置100は、第3軸O3に対応するリンク112bを第3軸O3まわりに回転させる場合、第3軸O3まわりの回転前の医療用撮像画像の向きと、第3軸O3まわりの回転後の医療用撮像画像の向きとが変わらないように、アーム104の動作を制御する。より具体的には、医療用観察装置100は、第1軸O1を、第3軸O3の回転による医療用撮像画像の回転を打ち消すように回転させる。“第1軸O1を、第3軸O3の回転による医療用撮像画像の回転を打ち消すように回転させる例”としては、例えば、“第3軸O3の回転の向きとは反対方向に、第3軸O3の回転量と同一の回転量で、第1軸O1を回転させること”が、挙げられる。
 例えば上記のように、第1軸O1を第3軸O3の回転による医療用撮像画像の回転を打ち消すように回転させることによって、表示画面に表示される医療用撮像画像は、図10のCに示すように、図9のBに示す医療用撮像画像と向きが変わらない画像となる。よって、リンク112bを回転させたとしても医療用撮像画像の見え方は変わらないので、術者が違和感を感じる可能性は低減される。
 なお、“第3軸O3に対応するリンク112bを第3軸O3まわりに回転させる場合において、第3軸O3まわりの回転前の医療用撮像画像の向きと、第3軸O3まわりの回転後の医療用撮像画像の向きとが変わらないようにする方法”は、上記に示す例に限られない。例えば、医療用観察装置100は、第3軸O3の回転による医療用撮像画像の回転を打ち消す画像処理を行ってもよい。上記画像処理としては、例えば“第3軸O3の回転の向きとは反対方向に、第3軸O3の回転量と同一の回転量で、医療用撮像画像を回転させる処理”が、挙げられる。医療用観察装置100において上記画像処理は、例えば表示制御部164により行われる。
(2)制御方法に係る処理の第2の例
 例えば図9に示すオフセットのように、第1軸O1と第3軸O3とが平行状態にあるときに、第1軸O1と第3軸O3とが同軸ではない場合、第3軸O3に対応するリンク112bを第3軸O3まわりに回転させることによって、撮像デバイス106の撮像範囲の中心位置(観察視野の中心)が移動する。つまり、第3軸O3に対応するリンク112bの回転により撮像デバイス106の視野の位置ずれが生じる。
 そこで、医療用観察装置100は、第3軸O3に対応するリンク112bを第3軸O3まわりに回転させる場合、第3軸O3に対応するリンク112bの回転により生じる撮像デバイス106の視野の位置ずれが補正されるように、アーム104の動作を制御する。医療用観察装置100は、例えば、第1軸O1、第2軸O2、および第3軸O3以外の軸、すなわち、第4軸O4、第5軸O5、および第6軸O6のうちの一部または全部の軸の回転させ、図9に示すオフセットに起因して生じる撮像デバイス106の視野の位置ずれを、補正する。撮像デバイス106の視野の位置ずれの補正の一例を挙げると、医療用観察装置100は、上下方向の位置ずれを第4軸O4の回転と第5軸O5の回転との一方または双方によって、補正する。また、医療用観察装置100は、左右方向の位置ずれを第6軸O6の回転により補正する。
 例えば上記のように、撮像デバイス106の視野の位置ずれを補正することによって、リンク112bを回転させたとしても撮像デバイス106の撮像範囲の中心位置(観察視野の中心)は移動しないので、術者が違和感を感じる可能性は低減される。
 なお、第3軸O3に対応するリンク112bを第3軸O3まわりに回転させる場合において、撮像デバイス106の視野の位置ずれが生じることを防止する方法は、上記第2の例に係る制御方法に係る処理を行うことに限られない。
 例えば、医療用観察装置100は、例えば図9に示すオフセットを十分に小さくする構成をとってもよい。図9に示すオフセットを十分に小さくすることには、図9に示すオフセットが存在しないことと、上記撮像デバイス106の視野の位置ずれが術者に違和感を感じさせない程オフセットが小さいこととが含まれる。
 図11は、本実施形態に係る医療用観察装置100の構成の一例を示す説明図であり、図9に示すオフセットが十分に小さい構成の一例を示している。図11では、図9、図10と同様に、外部の操作デバイスの一例としてフットスイッチFSを併せて示している。
 図11に示す構成を有する医療用観察装置100では、例えばリンク112bの形状によって、第1軸O1と第3軸O3とが同軸となり、図9に示すオフセットが存在していない。よって、図11に示す構成を有する医療用観察装置100では、リンク112bを回転させたとしても撮像デバイス106の撮像範囲の中心位置(観察視野の中心)は移動しないので、術者が違和感を感じる可能性は低減される。
[3]本実施形態に係る制御方法が用いられることにより奏される効果の一例
 本実施形態に係る制御方法が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る制御方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
  ・医療用観察装置100は、アーム104の動作を制御することによって自動的に自由度を確保するので、術者は、アーム104の姿勢によらず、所望の位置に撮像デバイス106を移動させることができる。
  ・医療用観察装置100は、術者が動かし難い方向に撮像デバイス106を移動させようとする場合に、術者による撮像デバイス106の移動を補助することができる。よって、術者が動かし難い方向に撮像デバイス106を移動させようとする場合であっても、術者は、より小さな力量で撮像デバイス106を移動させることができる。
  ・術者がフットスイッチFSによる操作を行う場合、術者は、例えば、処置具を手に持った状態で、所望の位置に撮像デバイス106を移動させることができる。
(本実施形態に係るプログラム)
 コンピュータシステムを、本実施形態に係る医療用観察装置(または、本実施形態に係る制御装置)として機能させるためのプログラム(例えば、本実施形態に係る制御方法に係る処理を実行することが可能なプログラム)が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、医療用観察装置を用いる使用者の利便性の向上を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る制御方法に係る一連の処理が行われる。
 また、コンピュータシステムを、本実施形態に係る医療用観察装置(または、本実施形態に係る制御装置)として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る制御方法に係る処理によって実現される表示によって奏される効果を、奏することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到しうることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、コンピュータシステムを、本実施形態に係る医療用観察装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も、併せて提供することができる。
 上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 複数のリンクが関節部によって互いに連結されて構成され、回転軸における回転動作により少なくとも3以上の自由度を有するアームと、
 前記アームにより支持される撮像デバイスと、
 前記アームの動作を制御するアーム制御部と、
 を備え、
 前記アーム制御部は、前記アームの姿勢が所定の状態にあり、かつ、前記アームにおいて前記撮像デバイスが支持される側から数えて2番目の回転軸である第2軸と、前記アームにおいて前記撮像デバイスが支持される側から数えて3番目の回転軸である第3軸とに直交する回転軸まわりに前記アームを動かす、所定の入力が検出された場合に、前記第3軸に対応するリンクを前記第3軸まわりに回転させる、医療用観察装置。
(2)
 前記所定の状態は、
 前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸が、前記第2軸と前記第3軸とにより規定される平面上に存在する状態である、または、
 前記第1軸が、前記第2軸と前記第3軸とにより規定される平面と平行な平面上に存在する状態である、(1)に記載の医療用観察装置。
(3)
 前記所定の入力は、前記アームに加わる外力を検出するセンサにより検出される前記外力である、(1)または(2)に記載の医療用観察装置。
(4)
 前記センサは、前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸に対応する関節部と、前記第2軸に対応する関節部との間に配置される、(3)に記載の医療用観察装置。
(5)
 前記所定の入力は、外部の操作デバイスに対する操作に応じた操作信号である、(1)~(4)のいずれか1つに記載の医療用観察装置。
(6)
 前記第3軸に対応するリンクを前記第3軸まわりに回転させる場合、
 前記アーム制御部は、前記第3軸まわりの回転前に前記撮像デバイスにより撮像される医療用撮像画像の向きと、前記第3軸まわりの回転後に前記撮像デバイスにより撮像される医療用撮像画像の向きとが変わらないように、前記アームの動作を制御する、(1)~(5)のいずれか1つに記載の医療用観察装置。
(7)
 前記アーム制御部は、前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸を、前記第3軸の回転による医療用撮像画像の回転を打ち消すように回転させる、(6)に記載の医療用観察装置。
(8)
 前記第3軸に対応するリンクを前記第3軸まわりに回転させる場合、
 前記アーム制御部は、前記第3軸に対応するリンクの回転により生じる前記撮像デバイスの視野の位置ずれが補正されるように、前記アームの動作を制御する、(1)~(7)のいずれか1つに記載の医療用観察装置。
(9)
 前記アーム制御部は、前記第3軸に対応するリンクを時計回りに回転させる、または、前記第3軸に対応するリンクを反時計回りに回転させる、(1)~(8)のいずれか1つに記載の医療用観察装置。
(10)
 前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸は、前記撮像デバイスの光軸と同軸である、(1)~(9)のいずれか1つに記載の医療用観察装置。
(11)
 前記アームは、前記第2軸を回転させることにより、前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸と前記第3軸とが同軸となるように、構成される、(1)~(7)、(9)、(10)のいずれか1つに記載の医療用観察装置。
(12)
 前記撮像デバイスには、
 前記アームの全ての自由度を制限する操作が可能な第1の操作デバイスと、
 前記アームの一部の自由度を制限する操作が可能な第2の操作デバイスと、
 が設けられ、
 前記第1の操作デバイスと前記第2の操作デバイスとは、前記撮像デバイスの光軸が鉛直方向の下向きを向いているときに上下に配置されるように、配置される、(1)~(11)のいずれか1つに記載の医療用観察装置。
(13)
 前記撮像デバイスの光軸が鉛直方向の下向きを向いているとき、前記第2の操作デバイスは、前記第1の操作デバイスよりも下側に配置される、(12)に記載の医療用観察装置。
 100  医療用観察装置
 102  ベース
 104  アーム
 106  撮像デバイス
 110a、110b、110c、110d、110e、110f  関節部
 112a、112b、112c、112d、112e、112f、112g  リンク
 120  撮像部材
 122  筒状部材
 124  ズームスイッチ
 126  フォーカススイッチ
 128、134、136  動作モード設定スイッチ
 152  アーム部
 154  撮像部
 156  通信部
 158  制御部
 160  撮像制御部
 162  アーム制御部
 164  表示制御部
 200  表示装置
 1000  医療用観察システム

Claims (13)

  1.  複数のリンクが関節部によって互いに連結されて構成され、回転軸における回転動作により少なくとも3以上の自由度を有するアームと、
     前記アームにより支持される撮像デバイスと、
     前記アームの動作を制御するアーム制御部と、
     を備え、
     前記アーム制御部は、前記アームの姿勢が所定の状態にあり、かつ、前記アームにおいて前記撮像デバイスが支持される側から数えて2番目の回転軸である第2軸と、前記アームにおいて前記撮像デバイスが支持される側から数えて3番目の回転軸である第3軸とに直交する回転軸まわりに前記アームを動かす、所定の入力が検出された場合に、前記第3軸に対応するリンクを前記第3軸まわりに回転させる、医療用観察装置。
  2.  前記所定の状態は、
     前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸が、前記第2軸と前記第3軸とにより規定される平面上に存在する状態である、または、
     前記第1軸が、前記第2軸と前記第3軸とにより規定される平面と平行な平面上に存在する状態である、請求項1に記載の医療用観察装置。
  3.  前記所定の入力は、前記アームに加わる外力を検出するセンサにより検出される前記外力である、請求項1に記載の医療用観察装置。
  4.  前記センサは、前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸に対応する関節部と、前記第2軸に対応する関節部との間に配置される、請求項3に記載の医療用観察装置。
  5.  前記所定の入力は、外部の操作デバイスに対する操作に応じた操作信号である、請求項1に記載の医療用観察装置。
  6.  前記第3軸に対応するリンクを前記第3軸まわりに回転させる場合、
     前記アーム制御部は、前記第3軸まわりの回転前に前記撮像デバイスにより撮像される医療用撮像画像の向きと、前記第3軸まわりの回転後に前記撮像デバイスにより撮像される医療用撮像画像の向きとが変わらないように、前記アームの動作を制御する、請求項1に記載の医療用観察装置。
  7.  前記アーム制御部は、前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸を、前記第3軸の回転による医療用撮像画像の回転を打ち消すように回転させる、請求項6に記載の医療用観察装置。
  8.  前記第3軸に対応するリンクを前記第3軸まわりに回転させる場合、
     前記アーム制御部は、前記第3軸に対応するリンクの回転により生じる前記撮像デバイスの視野の位置ずれが補正されるように、前記アームの動作を制御する、請求項1に記載の医療用観察装置。
  9.  前記アーム制御部は、前記第3軸に対応するリンクを時計回りに回転させる、または、前記第3軸に対応するリンクを反時計回りに回転させる、請求項1に記載の医療用観察装置。
  10.  前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸は、前記撮像デバイスの光軸と同軸である、請求項1に記載の医療用観察装置。
  11.  前記アームは、前記第2軸を回転させることにより、前記アームにおいて前記撮像デバイスが支持される側から数えて1番目の回転軸である第1軸と前記第3軸とが同軸となるように、構成される、請求項1に記載の医療用観察装置。
  12.  前記撮像デバイスには、
     前記アームの全ての自由度を制限する操作が可能な第1の操作デバイスと、
     前記アームの一部の自由度を制限する操作が可能な第2の操作デバイスと、
     が設けられ、
     前記第1の操作デバイスと前記第2の操作デバイスとは、前記撮像デバイスの光軸が鉛直方向の下向きを向いているときに上下に配置されるように、配置される、請求項1に記載の医療用観察装置。
  13.  前記撮像デバイスの光軸が鉛直方向の下向きを向いているとき、前記第2の操作デバイスは、前記第1の操作デバイスよりも下側に配置される、請求項12に記載の医療用観察装置。
PCT/JP2019/003206 2018-02-27 2019-01-30 医療用観察装置 Ceased WO2019167528A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19759965.7A EP3735934A4 (en) 2018-02-27 2019-01-30 MEDICAL OBSERVATION INSTRUMENT
CN201980014378.8A CN111757713B (zh) 2018-02-27 2019-01-30 医疗观察设备
US16/970,951 US11510751B2 (en) 2018-02-27 2019-01-30 Medical observation apparatus
JP2020502880A JP7208972B2 (ja) 2018-02-27 2019-01-30 医療用観察装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018032865 2018-02-27
JP2018-032865 2018-02-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/324,413 Continuation US12064296B2 (en) 2019-09-06 2021-05-19 Memory device

Publications (1)

Publication Number Publication Date
WO2019167528A1 true WO2019167528A1 (ja) 2019-09-06

Family

ID=67805744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003206 Ceased WO2019167528A1 (ja) 2018-02-27 2019-01-30 医療用観察装置

Country Status (5)

Country Link
US (1) US11510751B2 (ja)
EP (1) EP3735934A4 (ja)
JP (1) JP7208972B2 (ja)
CN (1) CN111757713B (ja)
WO (1) WO2019167528A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530970A (zh) * 2019-09-17 2021-03-19 铠侠股份有限公司 半导体存储装置
CN113497048A (zh) * 2020-03-19 2021-10-12 铠侠股份有限公司 半导体存储装置
EP3991685A1 (en) * 2020-11-03 2022-05-04 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12066677B2 (en) * 2020-10-09 2024-08-20 Nikon Corporation Balanced active stabilizers
CN114460002A (zh) * 2022-01-25 2022-05-10 北京量拓科技有限公司 一种小入射角的多波段反射系统及其使用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06226667A (ja) 1993-02-01 1994-08-16 Yaskawa Electric Corp 7軸マニピュレータの制御方法
JP2011206312A (ja) * 2010-03-30 2011-10-20 Terumo Corp 医療用ロボットシステム
JP2016179168A (ja) * 2015-03-23 2016-10-13 ソニー株式会社 医療用支持アーム装置、医療用支持アーム装置の制御方法及び医療用観察装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5350675B2 (ja) * 2008-05-15 2013-11-27 オリンパスメディカルシステムズ株式会社 医療用保持装置
US10782501B2 (en) * 2014-08-01 2020-09-22 Sony Olympus Medical Solutions Inc. Medical observation device
WO2016152046A1 (en) * 2015-03-23 2016-09-29 Sony Corporation Medical support arm device and method of controlling medical support arm device
TW202028091A (zh) * 2019-01-22 2020-08-01 緯創資通股份有限公司 平衡機構與具有該平衡機構的移動醫療裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06226667A (ja) 1993-02-01 1994-08-16 Yaskawa Electric Corp 7軸マニピュレータの制御方法
JP2011206312A (ja) * 2010-03-30 2011-10-20 Terumo Corp 医療用ロボットシステム
JP2016179168A (ja) * 2015-03-23 2016-10-13 ソニー株式会社 医療用支持アーム装置、医療用支持アーム装置の制御方法及び医療用観察装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3735934A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112530970A (zh) * 2019-09-17 2021-03-19 铠侠股份有限公司 半导体存储装置
CN112530970B (zh) * 2019-09-17 2024-03-12 铠侠股份有限公司 半导体存储装置
CN113497048A (zh) * 2020-03-19 2021-10-12 铠侠股份有限公司 半导体存储装置
CN113497048B (zh) * 2020-03-19 2023-08-08 铠侠股份有限公司 半导体存储装置
EP3991685A1 (en) * 2020-11-03 2022-05-04 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope system
WO2022096439A1 (en) * 2020-11-03 2022-05-12 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope system

Also Published As

Publication number Publication date
US11510751B2 (en) 2022-11-29
EP3735934A1 (en) 2020-11-11
US20200390514A1 (en) 2020-12-17
EP3735934A4 (en) 2021-03-24
JPWO2019167528A1 (ja) 2021-05-13
JP7208972B2 (ja) 2023-01-19
CN111757713B (zh) 2025-01-14
CN111757713A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
JP7208972B2 (ja) 医療用観察装置
JP7591604B2 (ja) 医療用観察システム
JP6976720B2 (ja) 医療用観察装置、およびズーム制御方法
JP6935409B2 (ja) 医療用観察装置及び医療用観察システム
US11648082B2 (en) Medical holding device, and medical observation device
JP2023095970A (ja) 医療用観察システム
WO2017169650A1 (ja) 医療用観察装置、映像移動補正方法及び医療用観察システム
JP2019154883A (ja) 医療用画像処理装置、医療用観察装置、および画像処理方法
JP7616883B2 (ja) 医療用保持装置
WO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
JP6904762B2 (ja) 医療用滅菌カバー、および医療用観察装置
WO2018139156A1 (ja) 医療用観察装置、および制御方法
JP2019154680A (ja) 医療用調光制御装置、および調光制御方法
JP7109936B2 (ja) 医療用制御装置、および制御方法
US10849484B2 (en) Medical observation apparatus
JP7134656B2 (ja) 医療用表示制御装置、および表示制御方法
JP6957605B2 (ja) 医療用観察システム、および制御方法
EP3677213A1 (en) Medical control device and medical observation system
JP6656237B2 (ja) 手術用顕微鏡装置及び手術用顕微鏡システム
JP2019154734A (ja) 医療用画像処理装置、医療用観察装置、および画像処理方法
JP6858593B2 (ja) 医療用観察装置、および制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19759965

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502880

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019759965

Country of ref document: EP

Effective date: 20200806

NENP Non-entry into the national phase

Ref country code: DE

WWG Wipo information: grant in national office

Ref document number: 201980014378.8

Country of ref document: CN

WWW Wipo information: withdrawn in national office

Ref document number: 2019759965

Country of ref document: EP