[go: up one dir, main page]

WO2020195204A1 - 制御装置及び医療用観察システム - Google Patents

制御装置及び医療用観察システム Download PDF

Info

Publication number
WO2020195204A1
WO2020195204A1 PCT/JP2020/004438 JP2020004438W WO2020195204A1 WO 2020195204 A1 WO2020195204 A1 WO 2020195204A1 JP 2020004438 W JP2020004438 W JP 2020004438W WO 2020195204 A1 WO2020195204 A1 WO 2020195204A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
voice recognition
recognition
input
medical observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/004438
Other languages
English (en)
French (fr)
Inventor
一博 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to CN202080017727.4A priority Critical patent/CN113543741B/zh
Priority to JP2021508190A priority patent/JP7629848B2/ja
Priority to US17/433,603 priority patent/US12256142B2/en
Priority to EP20778537.9A priority patent/EP3932358B1/en
Publication of WO2020195204A1 publication Critical patent/WO2020195204A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00973Surgical instruments, devices or methods pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0487Special user inputs or interfaces
    • A61B2560/0493Special user inputs or interfaces controlled by voice
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Definitions

  • the present disclosure relates to, for example, a control device for controlling a medical observation device for observing a minute part of an object to be observed and a medical observation system.
  • a medical observation system for observing a minute part in the brain, heart, or the like of a patient to be observed, it has a plurality of arm parts, and has three translational degrees of freedom and rotation.
  • An optical microscope system including a support portion that realizes a total of 6 degrees of freedom of movement with 3 degrees of freedom, and a microscope unit provided at the tip of the support portion and having a magnifying optical system for enlarging the minute portion and an imaging element. It has been known.
  • connection destination of the microphone is a voice recognition device
  • connection destination of the foot switch is a control device for controlling the microscope unit, which are connected to separate devices. Therefore, the device configuration has become complicated. Further, after the function is called by voice recognition, the operation is input by another input means such as a foot switch, so that it takes time until the operation is executed.
  • the present disclosure has been made in view of the above, and is a control device and medical use that can perform from voice recognition to processing according to voice recognition in a short time and with a simple configuration, and can further easily stop the processing.
  • the purpose is to provide an observation system.
  • the control device recognizes a sound input from the outside in a control device that electrically controls a medical observation device that images an observation target.
  • a voice recognition unit a recognition information processing unit that determines a process to be executed by the medical observation device based on the recognition result of the voice recognition unit, and a switch input reception that accepts an operation signal input according to an operation on the switch.
  • the voice recognition process by the voice recognition unit is started by detecting the first operation signal received by the unit and the switch input reception unit, or by acquiring information about the processing determined by the recognition information processing unit. It includes a control unit that causes the medical observation device to execute a process determined by the recognition information processing unit and stops the process executed by the medical observation device by detecting a second operation signal. It is characterized by that.
  • the switch input receiving unit receives an input of an input value corresponding to the operation of the switch as the operation signal, and the control unit receives the switch input receiving unit.
  • the voice recognition process by the voice recognition unit is started, the process determined by the recognition information processing unit is executed by the medical observation device, and the above.
  • the process executed by the medical observation device is stopped.
  • control device is characterized in that the first operation signal and the second operation signal are different operation signals corresponding to different operations on the switch.
  • control device is characterized in that, in the above disclosure, the first operation signal and the second operation signal are the same operation signals corresponding to the same operations on the switch. ..
  • control device starts the voice recognition process when the input value changes from the initial value of the switch to a value different from the initial value. Therefore, the medical observation device is made to execute the process, and when the input value changes to the initial value, the process executed by the medical observation device is stopped.
  • control device is characterized in that the control unit changes the driving speed of the medical observation device in response to the operation signal received by the switch input receiving unit. ..
  • control device is preset in the control unit after the input value changes to the initial value and the process executed by the medical observation device is stopped.
  • the medical observation device is made to perform a process opposite to the process before the stop.
  • control device starts the voice recognition process when the input value changes from the initial value of the switch to a value different from the initial value. Then, the medical observation device is made to execute the process, and when the input value changes again from the initial value to a value different from the initial value, the process executed by the medical observation device is stopped. It is a feature.
  • the switch input receiving unit receives an input of an operation signal output by pressing the switch, and the control unit continues to press the switch. Meanwhile, the medical observation device is made to continuously execute the process determined by the recognition information processing unit, and when the pressing of the switch is released, the medical observation device is caused by the recognition information processing unit. It is characterized by stopping the determined process.
  • control device enables the subsequent voice recognition processing when the voice recognition result by the voice recognition unit matches the first recognition information, and the voice recognition is performed.
  • the subsequent voice recognition processing is invalidated.
  • control device enables the subsequent voice recognition processing when the voice recognition result by the voice recognition unit matches the first recognition information, and the voice recognition is performed. It is characterized in that the recognition result of voice recognition other than the first recognition information is invalidated after a lapse of a preset time after enabling the voice recognition process by the unit.
  • control device determines the moving direction of the imaging region by the medical observation device based on the recognition result of the voice recognition unit, and the control unit. Is characterized in that the imaging region by the medical observation device is moved based on the moving direction determined by the recognition information processing unit.
  • the recognition information processing unit determines the magnification of imaging of the medical observation device based on the recognition result of the voice recognition unit, and the control unit determines the magnification of imaging.
  • the magnifying power of the image taken by the medical observation device is changed based on the magnifying power determined by the recognition information processing unit.
  • the medical observation system has an imaging unit capable of magnifying and imaging an observation target, a plurality of arm portions, and a plurality of joint portions connecting the plurality of arm portions, and at the tip thereof.
  • the voice recognition unit that recognizes the sound input from the outside, and the recognition result of the voice recognition unit, the process to be executed by the image pickup unit or the support unit is determined.
  • a recognition information processing unit, a switch that outputs an operation signal corresponding to an operation on itself, a switch input reception unit that receives an input from the switch, and a first operation signal received by the switch input reception unit are detected or detected.
  • the voice recognition process by the voice recognition unit is started, and the process determined by the recognition information processing unit is executed on the imaging unit or the support unit. It is characterized by including a control unit for stopping the processing executed by the image pickup unit or the support unit by detecting a second operation signal.
  • FIG. 1 is a perspective view showing an external configuration of the medical observation system according to the first embodiment.
  • FIG. 2 is a block diagram showing a configuration of a control device for the medical observation system according to the first embodiment.
  • FIG. 3 is a time chart showing an example of the drive process performed by using the medical observation system according to the first embodiment.
  • FIG. 4 is a time chart showing an example of the drive process performed by using the medical observation system according to the second embodiment.
  • FIG. 5 is a time chart showing an example of the drive process performed by using the medical observation system according to the third embodiment.
  • FIG. 6 is a time chart showing an example of the drive process performed by using the medical observation system according to the fourth embodiment.
  • FIG. 7 is a time chart showing an example of the drive process performed by using the medical observation system according to the fifth embodiment.
  • FIG. 8 is a time chart showing an example of a drive process performed by using the medical observation system according to the modified example of the fifth embodiment.
  • FIG. 9 is a time chart showing an example of the drive process performed by using the medical observation system according to the sixth embodiment.
  • FIG. 10 is a time chart showing an example of a drive process performed by using the medical observation system according to the modified example of the sixth embodiment.
  • FIG. 11 is a time chart showing an example of the drive process performed by using the medical observation system according to the seventh embodiment.
  • FIG. 12 is a time chart showing an example of the drive process performed by using the medical observation system according to the eighth embodiment.
  • FIG. 13 is a time chart showing an example of the drive process performed by using the medical observation system according to the modified example of the eighth embodiment.
  • FIG. 14 is a time chart showing an example of the drive process performed by using the medical observation system according to the ninth embodiment.
  • the observation device 2 is provided at the base portion 5 that can move on the floor surface, the support portion 6 that is supported by the base portion 5, and the tip of the support portion 6, and magnifies and images a minute part of the object to be observed.
  • a columnar microscope unit 7 is provided. Further, the observation device 2 is connected to a light source device 8 that supplies illumination light to the observation device 2 via a light guide 81 composed of an optical fiber or the like. The light source device 8 emits illumination light under the control of the control device 3.
  • a group of cables including a light guide cable and the like for performing the above is arranged from the base portion 5 to the microscope portion 7.
  • the cable group is arranged along the support portion 6.
  • the thin coaxial cable is a cable having a smaller diameter than the light guide cable.
  • the support portion 6 includes a first joint portion 11, a first arm portion 21, a second joint portion 12, a second arm portion 22, a third joint portion 13, a third arm portion 23, a fourth joint portion 14, and a fourth arm. It has a portion 24, a fifth joint portion 15, a fifth arm portion 25, and a sixth joint portion 16.
  • the support portion 6 has four sets of joint portions that rotatably connect the two arm portions and one (tip side) of the two arm portions to the other (base end side). Specifically, these four sets include (first arm portion 21, second joint portion 12, second arm portion 22), (second arm portion 22, third joint portion 13, and third arm portion 23). (3rd arm portion 23, 4th joint portion 14, 4th arm portion 24), (4th arm portion 24, 5th joint portion 15, 5th arm portion 25).
  • the first joint portion 11 rotatably holds the microscope portion 7 on the distal end side, and is held by the first arm portion 21 in a state of being fixed to the distal end portion of the first arm portion 21 on the proximal end side.
  • the first joint portion 11 has a cylindrical shape and holds the microscope portion 7 so as to be rotatable around the first axis O 1 which is the central axis in the height direction.
  • the first arm portion 21 has a shape extending from the side surface of the first joint portion 11 in a direction orthogonal to the first axis O 1 .
  • the second joint portion 12 rotatably holds the first arm portion 21 on the tip end side, and is held by the second arm portion 22 in a state of being fixed to the tip end portion of the second arm portion 22 on the proximal end side.
  • the second joint portion 12 has a cylindrical shape, and the first arm portion 21 is rotatable around the second axis O 2 , which is the central axis in the height direction and is the axis orthogonal to the first axis O 1.
  • the second arm portion 22 has a substantially L-shape, and is connected to the second joint portion 12 at the end of the L-shaped vertical line portion.
  • the third joint portion 13 rotatably holds the L-shaped horizontal line portion of the second arm portion 22 on the tip end side, and is fixed to the tip end portion of the third arm portion 23 on the proximal end side. It is held by the arm portion 23.
  • the third joint portion 13 has a cylindrical shape, is a central axis in the height direction, is an axis orthogonal to the second axis O 2 , and is an axis parallel to the direction in which the second arm portion 22 extends.
  • the second arm portion 22 is rotatably held around the third axis O 3 .
  • the tip end side of the third arm portion 23 has a cylindrical shape, and a hole portion penetrating in a direction orthogonal to the height direction of the tip end side cylinder is formed on the base end side.
  • the third joint portion 13 is rotatably held by the fourth joint portion 14 via the hole portion.
  • the fourth joint portion 14 rotatably holds the third arm portion 23 on the distal end side, and is held by the fourth arm portion 24 in a state of being fixed to the fourth arm portion 24 on the proximal end side.
  • the fourth joint portion 14 has a cylindrical shape, and the third arm portion 23 is rotatable around the fourth axis O 4 , which is the central axis in the height direction and is the axis orthogonal to the third axis O 3. To hold.
  • the fifth joint portion 15 rotatably holds the fourth arm portion 24 on the distal end side, and is fixedly attached to the fifth arm portion 25 on the proximal end side.
  • the fifth joint portion 15 has a cylindrical shape, and the fourth arm portion 24 can be rotated around the fifth axis O 5 which is the central axis in the height direction and is parallel to the fourth axis O 4. Hold on.
  • the fifth arm portion 25 includes an L-shaped portion and a rod-shaped portion extending downward from the L-shaped horizontal line portion.
  • the fifth joint portion 15 is attached to the end portion of the L-shaped vertical line portion of the fifth arm portion 25 on the proximal end side.
  • the sixth joint portion 16 rotatably holds the fifth arm portion 25 on the tip end side, and is fixedly attached to the upper surface of the base portion 5 on the base end side.
  • the sixth joint portion 16 has a cylindrical shape, and the fifth arm portion 25 can be rotated around the sixth axis O 6 which is the central axis in the height direction and is the axis orthogonal to the fifth axis O 5. Hold on.
  • a base end portion of a rod-shaped portion of the fifth arm portion 25 is attached to the tip end side of the sixth joint portion 16.
  • the support portion 6 having the configuration described above realizes a total of 6 degrees of freedom of movement in the microscope unit 7 with 3 translational degrees of freedom and 3 rotation degrees of freedom.
  • the first joint portion 11 to the sixth joint portion 16 have an electromagnetic brake that prohibits the rotation of the microscope portion 7 and the first arm portion 21 to the fifth arm portion 25, respectively.
  • Each electromagnetic brake is released in a state where the arm operation switch (described later) provided in the microscope unit 7 is pressed, and allows the microscope unit 7 and the first arm unit 21 to the fifth arm unit 25 to rotate.
  • An air brake may be applied instead of the electromagnetic brake.
  • an encoder and an actuator are mounted on each joint.
  • the encoder detects the rotation angle in the first axis O 1 .
  • the actuator is composed of an electric motor such as a servomotor, and is driven by control from the control device 3 to cause rotation at a joint portion by a predetermined angle.
  • the rotation angle in the joint portion is set by the control device 3 based on the rotation angle in each rotation axis (first axis O 1 to sixth axis O 6 ) as a value required for moving the microscope unit 7, for example. ..
  • the joint portion provided with the active drive mechanism such as the actuator constitutes a rotation shaft that actively rotates by controlling the drive of the actuator.
  • the microscope unit 7 has an imaging unit that magnifies and captures an image of the object to be observed in a cylindrical housing, and releases the electromagnetic brakes at the first joints 11 to 6 to release the electromagnetic brakes of each joint.
  • An arm operation switch that accepts an operation input that allows rotation, and a lever that can change the magnification of the imaging unit 72 and the focal length to the object to be observed are provided.
  • the image pickup unit has two image pickup elements configured by using a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). These image pickup elements generate imaging signals having parallax with each other for three-dimensional image generation. The image pickup signal is output as a digital signal.
  • one imaging element may be provided to generate an imaging signal for generating a two-dimensional image.
  • the image pickup unit is provided with an optical system for guiding light to the image pickup device, a magnifying optical system for changing the magnification (zoom magnification) of the image, a shutter for controlling the exposure time, and the like.
  • the image pickup unit is equipped with an actuator for moving the lens of the optical system and an encoder. In the optical system of the imaging unit, the lens is moved under the control device 3, and it is possible to change the imaging settings such as changing the zoom magnification and adjusting the focal length.
  • the microscope unit 7 is provided with an arm operation switch which is a push button type switch. While the user presses the arm operation switch, the electromagnetic brakes of the first joint portion 11 to the sixth joint portion 16 are released.
  • the control device 3 receives the image pickup signal output by the observation device 2, and generates three-dimensional image data for display by performing predetermined signal processing on the image pickup signal.
  • the control device 3 may be installed inside the base portion 5 and integrated with the observation device 2.
  • the control device 3 is connected to a microphone 91 for inputting a user's voice and a foot switch 92 for inputting a signal corresponding to the user's press, which is a portion operated by the user's foot.
  • FIG. 2 is a block diagram showing a configuration of a control device of the medical observation system according to the first embodiment.
  • the control device 3 includes an image processing unit 31, a voice recognition unit 32, a recognition information processing unit 33, an input unit 34, a foot switch input reception unit 35, an output unit 36, a storage unit 37, and a control unit 38. And.
  • the control device 3 generates a power supply voltage for driving the observation device 2, the control device 3, the microphone 91, and the foot switch 92, supplies the power supply voltage to each part of the control device 3, and supplies the power supply voltage to the observation device 2.
  • a power supply unit (not shown) or the like may be provided.
  • the image processing unit 31 performs signal processing such as noise removal and, if necessary, A / D conversion for the image pickup signal output by the microscope unit 7.
  • the image processing unit 31 generates an image signal for display to be displayed by the display device 4 based on the image pickup signal after signal processing.
  • the image processing unit 31 executes predetermined signal processing on the image pickup signal to generate an image signal for display including a subject image.
  • the image processing unit 31 performs known image processing such as detection processing, interpolation processing, color correction processing, color enhancement processing, and various image processing such as contour enhancement processing.
  • the image processing unit 31 outputs the generated image signal to the display device 4.
  • the AF processing unit that outputs the predetermined AF evaluation value of each frame based on the input frame imaging signal, and the AF evaluation value of each frame from the AF processing unit. It may have an AF calculation unit that performs AF calculation processing such as selecting a frame or focus lens position most suitable as the focus position.
  • the voice recognition unit 32 detects the voice input by the user to the microphone 91 and executes the input content recognition process.
  • the voice recognition unit 32 compares the feature amount of the voice input to the microphone 91 with the recognition result stored in the storage unit 37 and the corresponding recognition model, and receives the language sequence as the recognition result. Specifically, when the microphone 91 receives an input of "right", the voice recognition unit 32 recognizes that the input utterance is "right” from the feature amount and the recognition model, and outputs the recognition result. Output to the recognition information processing unit 33.
  • the recognition information processing unit 33 acquires the recognition result from the voice recognition unit 32 and determines the processing according to the recognition result.
  • the recognition information processing unit 33 refers to the storage unit 37 and determines the processing according to the recognition result.
  • the recognition information processing unit 33 outputs the processing content determined from the recognition result to the control unit 38. For example, when the recognition result is "right", the imaging area of the microscope unit 7 is moved to the right. By moving to the microscope unit 7, the imaging region by the microscope unit 7 moves. At this time, the orientation (right, left, top, bottom) of the microscope unit 7 with respect to the imaging region is preset in consideration of the relationship between the image sensor and the display orientation of the display device 4.
  • the control unit 38 drives each joint to move the position of the microscope unit 7 so that only the imaging region moves to the right without changing the working distance or zoom magnification of the microscope unit 7. Further, when the recognition result is "enlargement” or “reduction”, the magnifying optical system of the microscope unit 7 is driven. For example, when the recognition result is "magnification”, the control unit 38 controls so that the zoom magnification of the magnifying optical system becomes large. As a result, the magnification of imaging by the microscope unit 7 is changed.
  • the input unit 34 is realized by using a user interface such as a keyboard, a mouse, and a touch panel, and accepts input of various information.
  • the foot switch input receiving unit 35 detects that the foot switch 92 has been stepped on by the user, and receives the input by the foot switch 92.
  • the foot switch input receiving unit 35 inputs an operation signal corresponding to the pressing to the control unit 38.
  • the output unit 36 is realized by using a speaker, a printer, a display, etc., and outputs various information.
  • the storage unit 37 is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory), and corresponds to communication information data (for example, communication format information), voice features, and a recognition model.
  • communication information data for example, communication format information
  • voice features for example, voice features
  • a recognition model for example, voice features
  • the storage unit 37 may record various programs or the like executed by the control unit 38.
  • the control unit 38 performs drive control of each component including the control device 3 and the observation device 2, input / output control of information to each component, and the like.
  • the control unit 38 generates a control signal by referring to the communication information data (for example, communication format information) recorded in the storage unit 37, and transmits the generated control signal to the observation device 2.
  • the communication information data for example, communication format information
  • the control unit 38 generates a synchronization signal and a clock for the microscope unit 7 and the control device 3.
  • a synchronization signal for example, a synchronization signal for instructing the imaging timing
  • a clock for example, a clock for serial communication
  • the image processing unit 31, voice recognition unit 32, recognition information processing unit 33, foot switch input reception unit 35, and control unit 38 described above include a CPU (Central Processing Unit) having an internal memory (not shown) in which a program is recorded. It is realized by using a general-purpose processor of the above and a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC (Application Specific Integrated Circuit). Further, it may be configured by using FPGA (Field Programmable Gate Array: not shown) which is a kind of programmable integrated circuit. If the FPGA is configured, a memory for storing the configuration data may be provided, and the FPGA, which is a programmable integrated circuit, may be configured by the configuration data read from the memory.
  • a CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • the display device 4 receives the three-dimensional image data generated by the control device 3 from the control device 3 and displays the three-dimensional image corresponding to the three-dimensional image data.
  • a display device 4 includes a display panel made of a liquid crystal or an organic EL (Electro Luminescence).
  • an output device that outputs information using a speaker, a printer, or the like may be provided.
  • the operator who is the user, operates on the head of the patient, which is the object to be observed, the operator wears glasses for a three-dimensional image and visually observes the three-dimensional image displayed by the display device 4, and the microscope unit While pressing the arm operation switch of 7, the microscope unit 7 is grasped and moved to a desired position, the imaging region of the microscope unit 7 is determined, and then the finger is released from the arm operation switch.
  • the electromagnetic brake operates in the first joint portion 11 to the sixth joint portion 16, and the imaging region of the microscope portion 7 is fixed. After that, the operator adjusts the magnification and the focal length to the object to be observed.
  • the operator can grasp the surgical part three-dimensionally through the three-dimensional image. After that, the operator operates the microphone 91 and the foot switch 92 to adjust the position of the microscope unit 7, the magnification, and the focal length.
  • FIG. 3 is a time chart showing an example of the drive process performed by using the medical observation system according to the first embodiment.
  • FIG. 3 shows a time chart of an input value (analog value) by the foot switch 92, an utterance content, and a control signal (speed).
  • the voice input recognition process is started by depressing the foot switch 92, and the process according to the recognition result is executed. The processing according to the recognition result is maintained as long as the foot switch 92 is depressed.
  • the foot switch input receiving unit 35 detects that the foot switch 92 is pressed (depressed)
  • the foot switch input receiving unit 35 outputs an analog value corresponding to the depressed amount to the control unit 38.
  • the control unit 38 the user depresses the foot switch 92.
  • the larger the amount of depression of the foot switch 92 the smaller the analog value with respect to the analog value (initial value V 0 ) when there is no depression.
  • Control unit 38 detects the pressing of the foot switch 92 at time T 11, it starts the speech recognition processing by the microphone 91. After stepping on the foot switch 92, the user inputs voice to the microphone 91. In the example shown in FIG. 3, the user inputs "right" to the microphone 91.
  • the voice signal "right” corresponds to the first operation signal.
  • the first operation signal is a signal generated by voice input.
  • Execution by the recognition processing unit 33 is determined, wherein, when the process of moving the microscope unit 7 to the right is determined, the time T 13 later, the control unit 38 outputs a control signal to each part, each joint The unit is driven and the microscope unit 7 moves to the right. At this time, the larger the depression amount of the foot switch 92 (the smaller the analog value), the faster the driving speed for moving the microscope unit 7 is controlled. If the input utterance is recognized as "right” and a different utterance is input between the time T 13 and the time T 14 when the microscope unit 7 moves to the right, for example, "up” is displayed. If recognized, the control unit 38 -Ignore other than the first voice input after depressing the foot switch 92-Change the control to move the microscope unit 7 "up” -Even if the microscope unit 7 is moved diagonally to the "upper right” Good.
  • the depression of the foot switch 92 is released at time T 14
  • the movement of the microscope portion 7 is stopped.
  • the detection signal of the initial value V 0 detected when the foot switch 92 is depressed corresponds to the second operation signal.
  • the control is performed by a first operation signal by voice input and a second operation signal by operation of the foot switch 92, which is different from the voice input.
  • the control unit 38 detects the first change and recognizes the voice. Start processing.
  • the control unit 38 detects the second change when the analog value returns to the initial value V 0 by releasing the depression of the foot switch 92, and stops the process based on the voice recognition.
  • the voice input from the microphone 91 is received while the foot switch 92 is pressed, and the process according to the recognition result is executed. After that, while the foot switch 92 is pressed, the processing according to the recognition result is maintained, and the processing is also stopped by releasing the pressing of the foot switch 92.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6.
  • the moving speed of the microscope unit 7 changes according to the amount of depression of the foot switch 92
  • the moving speed may be set at a preset constant speed.
  • the foot switch 92 may output digital values such as binary and tertiary values instead of the analog values shown in FIG.
  • the foot switch input receiving unit 35, the voice recognition unit 32, the recognition information processing unit 33, and the storage unit 37 are provided in the control device 3
  • a part or all of the foot switch input receiving unit 35, the voice recognition unit 32, the recognition information processing unit 33, and the storage unit 37 may be separate from the control device 3.
  • FIG. 4 is a time chart showing an example of the drive process performed by using the medical observation system according to the second embodiment. Since the medical observation system according to the second embodiment has the same configuration as the medical observation system 1 of the first embodiment described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the foot switch input receiving unit 35 When the foot switch input receiving unit 35 detects that the foot switch 92 is pressed (depressed), the foot switch input receiving unit 35 outputs an analog value corresponding to the depressed amount to the control unit 38.
  • the user depresses the foot switch 92 at time T 21 .
  • the larger the amount of depression of the foot switch 92 the smaller the analog value with respect to the analog value (initial value V 0 ) when there is no depression.
  • Control unit 38 detects the pressing of the foot switch 92 at time T 21, it starts the speech recognition processing by the microphone 91. After stepping on the foot switch 92, the user inputs voice to the microphone 91. In the example shown in FIG. 4, the user inputs "right" to the microphone 91.
  • recognition processing by the voice recognition unit 32 and execution processing by the recognition information processing unit 33 are determined by time T 23 .
  • the execution process is determined by the recognition information processing unit 33.
  • the control unit 38 outputs a control signal to each unit after time T 23 , and each joint.
  • the unit is driven and the microscope unit 7 moves to the right.
  • the larger the depression amount of the foot switch 92 the smaller the analog value, the faster the moving speed of the microscope unit 7 is controlled.
  • the control unit 38 When the foot switch 92 is depressed again at time T 25 within a preset time range (period RT ) from time T 24 , the control unit 38 resumes the movement of the microscope unit 7. At this time, the control unit 38 moves the microscope unit 7 in the direction opposite to that before the re-depression (here, “left”). Even when moving in the opposite direction, the larger the amount of depression of the foot switch 92 (the smaller the analog value), the faster the moving speed of the microscope unit 7 is controlled.
  • the range of time (period RT ) for moving the foot switch 92 in the opposite direction by re-depressing the foot switch 92 is set to, for example, 0.5 seconds or more and 2.0 seconds or less. This period RT may be provided after a waiting time to prevent erroneous recognition due to chattering.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, while the foot switch 92 is pressed, the processing according to the recognition result is maintained, and the processing is also stopped by releasing the pressing of the foot switch 92. Further, when the foot switch 92 is pressed again within the preset time range (period RT ), the process opposite to the previous process is executed. According to the second embodiment, by pressing the foot switch 92, from the start of voice recognition to the stop of processing is collectively controlled in the control device 3 (control device 3 that controls the microscope unit 7 and the support unit 6).
  • the process from voice recognition to driving according to voice recognition can be performed in a short time, and the processing can be stopped more easily.
  • the reverse processing is executed by pressing the foot switch 92, the processing can be finely adjusted only by operating the foot switch 92.
  • FIG. 5 is a time chart showing an example of the drive process performed by using the medical observation system according to the third embodiment. Since the medical observation system according to the third embodiment has the same configuration as the medical observation system 1 of the first embodiment described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the foot switch input receiving unit 35 When the foot switch input receiving unit 35 detects that the foot switch 92 is pressed (depressed), the foot switch input receiving unit 35 outputs an analog value corresponding to the depressed amount to the control unit 38.
  • the user depresses the foot switch 92 at time T 31 .
  • the larger the amount of depression of the foot switch 92 the smaller the analog value with respect to the analog value (initial value V 0 ) when there is no depression.
  • the control unit 38 When the control unit 38 detects that the foot switch 92 is pressed at time T 31 , the control unit 38 starts the voice recognition process by the microphone 91. After stepping on the foot switch 92, the user inputs voice to the microphone 91. In the example shown in FIG. 5, the user inputs "right" to the microphone 91.
  • the voice recognition unit 32 determines the recognition process and the recognition information processing unit 33 determines the execution process by time T 23 .
  • the execution process is determined by the recognition information processing unit 33.
  • the control unit 38 outputs a control signal to each unit after time T 33 , and each joint.
  • the unit is driven and the microscope unit 7 moves to the right.
  • the larger the depression amount of the foot switch 92 the smaller the analog value, the faster the moving speed of the microscope unit 7 is controlled.
  • the control unit 38 When the foot switch 92 is depressed again at time T 35 within a preset time range (period RT ) from time T 34 , the control unit 38 resumes the movement of the microscope unit 7. At this time, the control unit 38 moves the microscope unit 7 in the direction opposite to that before the re-depression (here, “left”). In the third embodiment, when moving in the opposite direction, the microscope unit 7 is moved at a constant speed regardless of the amount of depression of the foot switch 92. At this time, the maximum controllable speed or the minimum speed, the speed of 50% of the maximum speed, the maximum speed or the minimum speed at the time of the previous driving, and the like are set. Note that FIG. 5 shows an example in which the maximum controllable speed is set.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, while the foot switch 92 is pressed, the processing according to the recognition result is maintained, and the processing is also stopped by releasing the pressing of the foot switch 92. Further, when the foot switch 92 is pressed again within the preset time range (period RT ), the process opposite to the previous process is executed. According to the third embodiment, by pressing the foot switch 92, from the start of voice recognition to the stop of processing is collectively controlled in the control device 3 (control device 3 that controls the microscope unit 7 and the support unit 6).
  • the process from voice recognition to driving according to voice recognition can be performed in a short time, and the processing can be stopped more easily.
  • the reverse processing is executed by pressing the foot switch 92, so that the processing can be finely adjusted only by operating the foot switch 92.
  • FIG. 6 is a time chart showing an example of the drive process performed by using the medical observation system according to the fourth embodiment. Since the medical observation system according to the fourth embodiment has the same configuration as the medical observation system 1 of the first embodiment described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the foot switch input receiving unit 35 When the foot switch input receiving unit 35 detects that the foot switch 92 is pressed (depressed), the foot switch input receiving unit 35 outputs an analog value corresponding to the depressed amount to the control unit 38. In FIG. 6, at time T 41 , the user depresses the foot switch 92 and immediately releases the depressing. Thus, the input value, after becoming once reduced to the initial value V 0, the flow returns to the initial value V 0.
  • the control unit 38 When the control unit 38 detects that the foot switch 92 is pressed at time T 41 , the control unit 38 starts the voice recognition process by the microphone 91. After stepping on the foot switch 92, the user inputs voice to the microphone 91. In the example shown in FIG. 6, the user inputs "right" to the microphone 91.
  • the voice recognition unit 32 determines the recognition process and the recognition information processing unit 33 determines the execution process by time T 43 .
  • Execution by the recognition processing unit 33 is determined, wherein, when the process of moving the microscope unit 7 to the right is determined, the time T 43 later, the control unit 38 outputs a control signal to each part, each joint The unit is driven and the microscope unit 7 moves to the right. At this time, the control unit 38 moves the microscope unit 7 at a constant speed.
  • the setting of this constant speed is the same as that of the third embodiment described above.
  • control unit 38 detects the pressing of the foot switch 92 at time T 44, stops the movement of the microscope portion 7.
  • the control unit 38 detects the first change and recognizes the voice. Start processing.
  • the control unit 38 detects the second change and stops the process based on voice recognition. ..
  • the voice input from the microphone 91 is accepted, and the process according to the recognition result is executed. After that, the process according to the recognition result is maintained, and the process is stopped by detecting the re-pressing of the foot switch 92.
  • the start of voice recognition to the stop of processing are collectively controlled in the control device 3 (control device 3 that controls the microscope unit 7 and the support unit 6) triggered by the pressing of the foot switch 92. Therefore, it is possible to perform the process from voice recognition to driving according to voice recognition in a short time with a simple configuration, and to stop the processing more easily.
  • FIG. 7 is a time chart showing an example of the drive process performed by using the medical observation system according to the fifth embodiment. Since the medical observation system according to the fifth embodiment has the same configuration as the medical observation system 1 of the first embodiment described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the voice input acceptance state is always permitted. That is, unlike the above-described first to fourth embodiments, it is not determined whether or not the voice input processing is possible according to the pressing of the foot switch 92, and the recognition processing of the input voice is always permitted.
  • the control unit 38 decides the recognition process by the voice recognition unit 32 and the execution process by the recognition information processing unit 33 by time T 52. Will be
  • the execution process is determined by the recognition information processing unit 33.
  • the control unit 38 outputs a control signal to each unit after time T 52 , and each joint.
  • the unit is driven and the microscope unit 7 moves to the right.
  • the control unit 38 moves the microscope unit 7 at a constant speed.
  • the setting of this constant speed is the same as that of the third embodiment described above.
  • the control unit 38 detects that the foot switch 92 is pressed at time T 53 , the control unit 38 stops the movement of the microscope unit 7.
  • the movement of the microscope unit 7 is stopped immediately after the detection of the pressing of the foot switch 92.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, the process according to the recognition result is maintained, and the process is stopped by detecting the pressing of the foot switch 92.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6
  • a simple configuration and voice are used. The process from recognition to driving according to voice recognition can be performed in a short time, and the processing can be stopped more easily.
  • FIG. 8 is a time chart showing an example of a drive process performed by using the medical observation system according to the modified example of the fifth embodiment.
  • the voice input acceptance state is always permitted.
  • the control unit 38 decides the recognition process by the voice recognition unit 32 and the execution process by the recognition information processing unit 33 by time T 52. Will be
  • the execution process is determined by the recognition information processing unit 33.
  • the control unit 38 outputs a control signal to each unit after time T 52 , and each joint.
  • the unit is driven and the microscope unit 7 moves to the right.
  • the control unit 38 moves the microscope unit 7 at a constant speed.
  • the setting of this constant speed is the same as that of the third embodiment described above.
  • control unit 38 detects that the foot switch 92 is pressed, the control unit 38 stops the movement of the microscope unit 7. In this modification, stopping the movement of the microscope portion 7 immediately after release of the depression of the foot switch 92 at time T 54.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, the process according to the recognition result is maintained, and the process is stopped by detecting the pressing of the foot switch 92.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6
  • a simple configuration and voice recognition can be used. It is possible to drive according to voice recognition in a short time and stop the process more easily.
  • FIG. 9 is a time chart showing an example of the drive process performed by using the medical observation system according to the sixth embodiment. Since the medical observation system according to the sixth embodiment has the same configuration as the medical observation system 1 of the first embodiment described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the voice recognition process related to the driving is performed. Allowed. That is, unlike the above-described first to fourth embodiments, the voice recognition process is not started in response to the pressing of the foot switch 92, but the voice recognition process of the voice input after being recognized by the voice input is effective. Become.
  • examples of words that allow voice recognition include "ON" and "start”, and examples of word strings include "effective voice recognition”.
  • the word shall include particles, auxiliary verbs, etc.
  • the word or word string instructing the permission of the voice recognition process corresponds to the first recognition information. In the sixth embodiment, a case where “ON” is input will be described as an example.
  • control unit 38 When "ON" is input to the microphone 91 at time T 61 , the control unit 38 permits the recognition process by the voice recognition unit 32 and causes the recognition information processing unit 33 to execute the process.
  • control unit 38 determines the recognition process by the voice recognition unit 32 and the execution process by the recognition information processing unit 33 by time T 63. Is done.
  • the execution process is determined by the recognition information processing unit 33.
  • the control unit 38 outputs a control signal to each unit after time T 63 , and each joint.
  • the unit is driven and the microscope unit 7 moves to the right.
  • the control unit 38 moves the microscope unit 7 at a constant speed.
  • the setting of this constant speed is the same as that of the third embodiment described above.
  • control unit 38 detects the pressing of the foot switch 92 at time T 64, stops the movement of the microscope portion 7.
  • the movement of the microscope unit 7 is stopped immediately after the detection of the pressing of the foot switch 92.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, the process according to the recognition result is maintained, and the process is stopped by detecting the pressing of the foot switch 92.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6
  • a simple configuration and voice are used. The process from recognition to driving according to voice recognition can be performed in a short time, and the processing can be stopped more easily.
  • FIG. 10 is a time chart showing an example of a drive process performed by using the medical observation system according to the modified example of the sixth embodiment.
  • the recognition process of the input voice is permitted by inputting the set word or sentence.
  • control unit 38 When "ON" is input to the microphone 91 at time T 61 , the control unit 38 permits the recognition process by the voice recognition unit 32 and causes the recognition information processing unit 33 to execute the process.
  • control unit 38 determines the recognition process by the voice recognition unit 32 and the execution process by the recognition information processing unit 33 by time T 63. Is done.
  • the execution process is determined by the recognition information processing unit 33.
  • the control unit 38 outputs a control signal to each unit after time T 63 , and each joint.
  • the unit is driven and the microscope unit 7 moves to the right.
  • the control unit 38 moves the microscope unit 7 at a constant speed.
  • the setting of this constant speed is the same as that of the third embodiment described above.
  • control unit 38 detects the pressing of the foot switch 92 at time T 64, stops the movement of the microscope portion 7.
  • the control unit 38 prohibits the recognition processing by the subsequent voice recognition unit 32.
  • the recognition result of the instruction by voice input becomes invalid.
  • "end”, "disable voice recognition”, and the like may be set.
  • the word or word string instructing the prohibition of the voice recognition process corresponds to the second recognition information. During the prohibition period of the voice recognition process, only the recognition of the word or word string that enables the voice recognition and the execution of the process corresponding to the recognition (valid setting of the voice recognition) are valid.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, the process according to the recognition result is maintained, and the process is stopped by detecting the pressing of the foot switch 92.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6
  • a simple configuration and voice recognition can be used. It is possible to drive according to voice recognition in a short time and stop the process more easily.
  • FIG. 11 is a time chart showing an example of the drive process performed by using the medical observation system according to the seventh embodiment. Since the medical observation system according to the seventh embodiment has the same configuration as the medical observation system 1 of the first embodiment described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the voice recognition process related to the driving is permitted by the preset words and word strings. Further, the control unit 38 prohibits the voice recognition process again when a preset time elapses from the start of permission of the voice recognition process or the drive stop of the microscope unit 7. In the seventh embodiment, the movement of the microscope unit 7 is stopped after the set time has elapsed from the start of the movement. The voice recognition process is prohibited again by either the set time elapses after the permission or the set time elapses after the operation of the microscope unit 7 is stopped.
  • control unit 38 When "ON" is input to the microphone 91 at time T 71 , the control unit 38 permits the recognition process by the voice recognition unit 32 and causes the recognition information processing unit 33 to execute the process.
  • control unit 38 determines the recognition process by the voice recognition unit 32 and the execution process by the recognition information processing unit 33 by time T 73. Is done.
  • Execution by the recognition processing unit 33 is determined, wherein, when the process of moving the microscope unit 7 to the right is determined, the time T 73 later, the control unit 38 outputs a control signal to each part, each joint The unit is driven and the microscope unit 7 moves to the right. At this time, the control unit 38 moves the microscope unit 7 at a constant speed.
  • the setting of this constant speed is the same as that of the third embodiment described above.
  • the signal indicating the passage of time corresponds to the second operation signal.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, the processing according to the recognition result is maintained, and the processing is stopped after the set time elapses.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6
  • a simple configuration and voice are used. The process from recognition to driving according to voice recognition can be performed in a short time, and the processing can be stopped more easily.
  • control unit 38 may prohibit voice input after stopping the movement of the microscope unit 7 at time T 74 .
  • FIG. 12 is a time chart showing an example of the drive process performed by using the medical observation system according to the eighth embodiment. Since the medical observation system according to the eighth embodiment has the same configuration as the medical observation system 1 of the first embodiment described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the voice recognition process related to the driving is permitted by the preset words and word strings. Further, the control unit 38 prohibits the voice recognition process again when a preset time elapses from the start of permission of the voice recognition process or the drive stop of the microscope unit 7, as in the seventh embodiment. ..
  • control unit 38 When "ON" is input to the microphone 91 at time T 81 , the control unit 38 permits the recognition process by the voice recognition unit 32 and causes the recognition information processing unit 33 to execute the process.
  • the control unit 38 determines the recognition process by the voice recognition unit 32 and the execution process by the recognition information processing unit 33 by the time T 84. Is done. At this time, the prohibition of the voice recognition process is set at the time T 83 before the time T 84 . The control unit 38 causes the recognition information processing unit 33 to continue the processing if the input is started during the permission period of the voice recognition processing even during the prohibition setting time.
  • Execution by the recognition processing unit 33 is determined, wherein, when the process of moving the microscope unit 7 to the right is determined, the time T 84 later, the control unit 38 outputs a control signal to each part, each joint The unit is driven and the microscope unit 7 moves to the right. At this time, the control unit 38 moves the microscope unit 7 at a constant speed.
  • the setting of this constant speed is the same as that of the third embodiment described above.
  • the control unit 38 stops the movement of the microscope unit 7.
  • the stop processing accompanying the input by the foot switch 92 is continued even during the prohibition period of the voice recognition processing. It is especially useful to make the drive stop instruction valid even during the prohibition period when a malfunction or an urgent stop is required such as when the microscope unit 7 is likely to come into contact with other equipment or a patient. is there.
  • the drive of the microscope unit 7 may be stopped after a lapse of a set time from the start of the drive. Further, after the time T83, the driving of the microscope unit 7 may be stopped.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, the process according to the recognition result is maintained, and the process is stopped by detecting the pressing of the foot switch 92.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6
  • a simple configuration and voice are used. The process from recognition to driving according to voice recognition can be performed in a short time, and the processing can be stopped more easily.
  • FIG. 13 is a time chart showing an example of the drive process performed by using the medical observation system according to the modified example of the eighth embodiment.
  • the voice whose input is started during the permitted period of the voice recognition process is continuously processed even during the prohibited period.
  • the movement of the microscope unit 7 is stopped by voice recognition.
  • control unit 38 When "ON" is input to the microphone 91 at time T 81 , the control unit 38 permits the recognition process by the voice recognition unit 32 and causes the recognition information processing unit 33 to execute the process.
  • the control unit 38 determines the recognition process by the voice recognition unit 32 and the execution process by the recognition information processing unit 33 by the time T 84. Is done. At this time, if the prohibition of the voice recognition process is set at the time T 83 before the time T 84 , the control unit 38 causes the recognition information processing unit 33 to continue the process even during the prohibition set time. ..
  • Execution by the recognition processing unit 33 is determined, wherein, when the process of moving the microscope unit 7 to the right is determined, the time T 84 later, the control unit 38 outputs a control signal to each part, each joint The unit is driven and the microscope unit 7 moves to the right.
  • the recognition processing of the voice command related to the processing is continued during the driving even during the prohibition period of the voice recognition processing.
  • both the first operation signal and the second operation signal are signals based on the same operation generated by voice input.
  • enabling the processing instruction during driving is a malfunction due to erroneous recognition of voice, or when the microscope unit 7 is likely to come into contact with other devices, patients, etc. It is especially useful when there is an urgent need for a stop.
  • the drive of the microscope unit 7 may be stopped after a lapse of a set time from the start of the drive. Further, after the time T 83 , the driving of the microscope unit 7 may be stopped.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, the processing according to the recognition result is maintained, and the processing is stopped by detecting the stop instruction by voice recognition.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6
  • a simple configuration and voice recognition can be used. It is possible to drive according to voice recognition in a short time and stop the process more easily.
  • FIG. 14 is a time chart showing an example of the drive process performed by using the medical observation system according to the ninth embodiment. Since the medical observation system according to the ninth embodiment has the same configuration as the medical observation system 1 of the first embodiment described above, the description thereof will be omitted. Hereinafter, processing different from that of the first embodiment will be described.
  • the voice input acceptance state is always permitted. Further, the control unit 38 controls the drive start and stop of the microscope unit 7 by voice recognition, as in the eighth embodiment.
  • the control unit 38 determines the recognition process by the voice recognition unit 32 and the execution process by the recognition information processing unit 33 by the time T 92.
  • the execution process is determined by the recognition information processing unit 33.
  • the control unit 38 outputs a control signal to each unit after time T 92 , and each joint.
  • the unit is driven and the microscope unit 7 moves to the right.
  • the control unit 38 moves the microscope unit 7 at a constant speed.
  • the setting of this constant speed is the same as that of the third embodiment described above.
  • control unit 38 stops the movement of the microscope unit 7.
  • the voice input from the microphone 91 is received, and the process according to the recognition result is executed. After that, the processing according to the recognition result is maintained, and the processing is stopped by detecting the stop instruction by voice recognition.
  • the control device 3 control device 3 that controls the microscope unit 7 and the support unit 6
  • a simple configuration and voice are used. The process from recognition to driving according to voice recognition can be performed in a short time, and the processing can be stopped more easily.
  • the support portion 6 may have at least one set consisting of two arm portions and joint portions that rotatably connect one of the two arm portions to the other.
  • the present invention is not limited to this, and the operation is performed by a switch operated by other than the foot, such as a switch pressed by hand. It may be configured to be used. Further, the foot switch 92 may be replaced by a pressure sensor, an acceleration sensor, or the like.
  • the input value becomes smaller than the initial value by depressing the foot switch 92
  • the input value may be configured to be larger than the initial value according to the depressing amount.
  • the foot switch 92 may output a digital value such as a binary value or a triple value instead of an analog value.
  • control unit 38 may be controlled to turn on the microphone 91 and turn off the other periods from the start of voice recognition to the stop of driving. This prevents the utterance from being input outside the voice recognition period. Further, the input volume by the microphone 91 during the voice recognition period may be increased, and the input volume may be decreased or muted (silenced) outside the voice recognition period.
  • the microphone 91 and the foot switch 92 are connected to the control device 3 by wire, but the microphone 91 and the foot switch 92 may be wirelessly connected to the control device 3. Further, the observation device 2 and the control device 3 may be connected by wire or wirelessly.
  • the example in which one set of the microphone 91 and the foot switch 92 is provided has been described, but a plurality of sets may be provided.
  • the priority order of operation input may be set separately for the surgeon, the assistant, the nurse, and the like.
  • the output unit 36 may emit a sound or light to notify the user that the utterance has been recognized. Further, the display device 4 may display a message indicating that the utterance has been recognized.
  • the medical observation device may be suspended from the ceiling of the installation location.
  • control device 3 may be built in the base portion 5.
  • the support unit 6 holds the microscope unit 7
  • the support unit 6 is not limited to the microscope unit 7 and holds a member having a structure capable of imaging. You may.
  • the support portion 6 may hold the rigid endoscope at the tip, or may hold the tip of the flexible endoscope.
  • the base portion 5 and the support portion 6 function as an endoscope holder.
  • the present invention can include various embodiments and the like within a range that does not deviate from the technical idea described in the claims.
  • control device and the medical observation system according to the present disclosure are useful for having a simple configuration, performing from voice recognition to driving according to voice recognition in a short time, and further stopping the driving easily. is there.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本開示の制御装置は、観察対象を撮像する医療用観察装置を電気的に制御する制御装置において、外部から入力される音声を認識する音声認識部と、音声認識部の認識結果をもとに、医療用観察装置が実行する処理を決定する認識情報処理部と、スイッチに対する操作に応じた操作信号の入力を受け付けるスイッチ入力受付部と、スイッチ入力受付部が受け付けた第1の操作信号を検出、又は、認識情報処理部が決定した処理に関する情報を取得することによって、音声認識部による音声認識処理を開始させ、認識情報処理部によって決定された処理を医療用観察装置に実行させるとともに、第2の操作信号を検出することによって、医療用観察装置が実行する処理を停止させる制御部と、を備える。

Description

制御装置及び医療用観察システム
 本開示は、例えば、被観察体の微小部位を観察する医療用観察装置を制御する制御装置及び医療用観察システムに関する。
 従来、被観察体である患者の脳や心臓等における微小部位の手術を行う際に該微小部位を観察するための医療用観察システムとして、複数のアーム部を有し、並進3自由度及び回転3自由度の計6自由度の動きを実現する支持部と、支持部の先端に設けられ、該微小部位を拡大する拡大光学系や撮像素子を有する顕微鏡部とを備えた光学式の顕微鏡システムが知られている。
 ところで、上述した顕微鏡システムでは、術者が術部やモニタから目を離さずに、例えば、音声で操作したいという要望がある。しかしながら、ズーム倍率や焦点距離の調整、視野移動などの連続的駆動を伴う機能は音声のみで操作を完結するのが難しい。この解決策として、音声入力と、フットスイッチ等の連続的な入力が可能な他の入力手段とを組み合わせて操作する技術が知られている(例えば、特許文献1を参照)。この技術によって、術者は、音声のみでは操作しにくい連続的な機能を他の入力手段で操作することができる。
特開2004-24869号公報
 しかしながら、特許文献1では、マイクの接続先が音声認識装置であり、フットスイッチの接続先が、顕微鏡部を制御する制御装置であり、それぞれ別々の装置に接続されている。このため、装置構成が複雑化していた。
 また、音声認識によって機能を呼び出した後、フットスイッチ等の他の入力手段によって操作入力がなされるため、操作が実行されるまでに時間を要していた。
 本開示は、上記に鑑みてなされたものであって、音声認識から音声認識に応じた処理までを短時間かつ簡易な構成で行うことができ、さらに簡易に処理を停止できる制御装置及び医療用観察システムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本開示にかかる制御装置は、観察対象を撮像する医療用観察装置を電気的に制御する制御装置において、外部から入力される音声を認識する音声認識部と、前記音声認識部の認識結果をもとに、前記医療用観察装置が実行する処理を決定する認識情報処理部と、スイッチに対する操作に応じた操作信号の入力を受け付けるスイッチ入力受付部と、前記スイッチ入力受付部が受け付けた第1の操作信号を検出、又は、前記認識情報処理部が決定した処理に関する情報を取得することによって、前記音声認識部による音声認識処理を開始させ、前記認識情報処理部によって決定された処理を前記医療用観察装置に実行させるとともに、第2の操作信号を検出することによって、前記医療用観察装置が実行する処理を停止させる制御部と、を備えることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記スイッチ入力受付部は、前記操作信号として前記スイッチの操作に応じた入力値の入力を受け付け、前記制御部は、前記スイッチ入力受付部が受け付けた前記入力値の第1の変化を検出することによって、前記音声認識部による音声認識処理を開始させ、前記認識情報処理部によって決定された処理を前記医療用観察装置に実行させるとともに、前記入力値の第2の変化を検出することによって、前記医療用観察装置が実行する処理を停止させることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記第1の操作信号と前記第2の操作信号は、前記スイッチに対する互いに異なる操作に対応する異なる操作信号であることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記第1の操作信号と前記第2の操作信号は、前記スイッチに対する互いに同様の操作に対応する同一の操作信号であることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記制御部は、前記入力値が、前記スイッチの初期値から該初期値とは異なる値に変化した場合に、前記音声認識処理を開始して、前記医療用観察装置に処理を実行させ、前記入力値が前記初期値に変化した場合に、前記医療用観察装置が実行する処理を停止させることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記制御部は、前記スイッチ入力受付部が受け付けた前記操作信号に応じて、前記医療用観察装置の駆動速度を変化させることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記制御部は、前記入力値が前記初期値に変化して前記医療用観察装置が実行する処理を停止させた後、予め設定されている期間内において、前記入力値が、前記初期値から変化した場合に、前記停止前の処理とは逆の処理を前記医療用観察装置に実行させることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記制御部は、前記入力値が、前記スイッチの初期値から該初期値とは異なる値に変化した場合に、前記音声認識処理を開始して、前記医療用観察装置に処理を実行させ、前記入力値が、前記初期値から該初期値とは異なる値に再度変化した場合に、前記医療用観察装置が実行する処理を停止させることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記スイッチ入力受付部は、前記スイッチの押下によって出力される操作信号の入力を受け付け、前記制御部は、前記スイッチの押下が継続されている間、前記医療用観察装置に、前記認識情報処理部によって決定された処理を継続して実行させ、前記スイッチの押下が解除された場合に、前記医療用観察装置に、前記認識情報処理部によって決定された処理を停止させることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記制御部は、前記音声認識部による音声認識結果が第1の認識情報と一致する場合、以降の音声認識処理を有効にし、前記音声認識部による音声認識結果が第2の認識情報と一致する場合、以降の音声認識処理を無効にすることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記制御部は、前記音声認識部による音声認識結果が第1の認識情報と一致する場合、以降の音声認識処理を有効にし、前記音声認識部による音声認識処理を有効にしてから予め設定した時間経過後に、前記第1の認識情報以外の音声認識の認識結果を無効にすることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記認識情報処理部は、前記音声認識部の認識結果に基づいて、前記医療用観察装置による撮像領域の移動方向を決定し、前記制御部は、前記認識情報処理部が決定した移動方向に基づいて、前記医療用観察装置による撮像領域を移動させることを特徴とする。
 また、本開示にかかる制御装置は、上記開示において、前記認識情報処理部は、前記音声認識部の認識結果に基づいて、前記医療用観察装置の撮像の拡大率を決定し、前記制御部は、前記認識情報処理部が決定した拡大率に基づいて、前記医療用観察装置による撮像の拡大率を変更することを特徴とする。
 また、本開示にかかる医療用観察システムは、観察対象を拡大して撮像可能とする撮像部と、複数のアーム部、及び当該複数のアーム部を接続する複数の関節部を有し、先端で前記撮像部を支持する支持部と、外部から入力される音声を認識する音声認識部と、前記音声認識部の認識結果をもとに、前記撮像部又は前記支持部が実行する処理を決定する認識情報処理部と、自身に対する操作に応じた操作信号を出力するスイッチと、前記スイッチからの入力を受け付けるスイッチ入力受付部と、前記スイッチ入力受付部が受け付けた第1の操作信号を検出、又は、前記認識情報処理部が決定した処理の情報を取得することによって、前記音声認識部による音声認識処理を開始させ、前記認識情報処理部によって決定された処理を前記撮像部又は前記支持部に実行させるとともに、第2の操作信号を検出することによって前記撮像部又は前記支持部が実行する処理を停止させる制御部と、を備えることを特徴とする。
 本開示によれば、音声認識から音声認識に応じた処理までを短時間かつ簡易な構成で行うことができ、さらに簡易に処理を停止できるという効果を奏する。
図1は、実施の形態1に係る医療用観察システムの外観構成を示す斜視図である。 図2は、実施の形態1に係る医療用観察システムの制御装置の構成を示すブロック図である。 図3は、実施の形態1に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図4は、実施の形態2に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図5は、実施の形態3に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図6は、実施の形態4に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図7は、実施の形態5に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図8は、実施の形態5の変形例に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図9は、実施の形態6に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図10は、実施の形態6の変形例に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図11は、実施の形態7に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図12は、実施の形態8に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図13は、実施の形態8の変形例に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。 図14は、実施の形態9に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。
 以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。なお、図面はあくまで模式的なものであり、図面の相互間においても互いの寸法の関係や比率が異なる部分が含まれる場合がある。
(実施の形態1)
 図1は、実施の形態1に係る医療用観察システムの構成を示す図である。同図に示す医療用観察システム1は、被観察体の微細構造を拡大して撮像する顕微鏡としての機能を有する医療用観察装置(以下、観察装置という)2と、医療用観察システム1の動作を統括して制御する制御装置3と、観察装置2が撮像した画像を表示する表示装置4とを備える。
 観察装置2は、床面上を移動可能なベース部5と、ベース部5に支持される支持部6と、支持部6の先端に設けられて被観察体の微小部位を拡大して撮像する柱状の顕微鏡部7と、を備える。また、観察装置2には、光ファイバ等によって構成されたライトガイド81を介して観察装置2に照明光を供給する光源装置8が接続される。光源装置8は、制御装置3の制御のもと照明光を出射する。
 観察装置2において、例えば、制御装置3と顕微鏡部7との間の信号伝送を行うための信号線(同軸ケーブル)を含む伝送ケーブルや、光源装置8から顕微鏡部7までの照明光の導光を行うためのライトガイドケーブル等を含むケーブル群が、ベース部5から顕微鏡部7にわたって配設されている。ケーブル群は、支持部6に沿って配設されている。細線同軸ケーブルは、ライトガイドケーブルよりも径が細いケーブルである。
 支持部6は、第1関節部11、第1アーム部21、第2関節部12、第2アーム部22、第3関節部13、第3アーム部23、第4関節部14、第4アーム部24、第5関節部15、第5アーム部25、および第6関節部16を有する。
 支持部6は、2つのアーム部および2つのアーム部の一方(先端側)を他方(基端側)に対して回動可能に連結する関節部からなる組を4組有する。この4組は、具体的には、(第1アーム部21、第2関節部12、第2アーム部22)、(第2アーム部22、第3関節部13、第3アーム部23)、(第3アーム部23、第4関節部14、第4アーム部24)、(第4アーム部24、第5関節部15、第5アーム部25)である。
 第1関節部11は、先端側で顕微鏡部7を回動可能に保持するとともに、基端側で第1アーム部21の先端部に固定された状態で第1アーム部21に保持される。第1関節部11は円筒状をなし、高さ方向の中心軸である第1軸O1のまわりに回動可能に顕微鏡部7を保持する。第1アーム部21は、第1関節部11の側面から第1軸O1と直交する方向に延びる形状をなす。
 第2関節部12は、先端側で第1アーム部21を回動可能に保持するとともに、基端側で第2アーム部22の先端部に固定された状態で第2アーム部22に保持される。第2関節部12は円筒状をなしており、高さ方向の中心軸であって第1軸O1と直交する軸である第2軸O2のまわりに回動可能に第1アーム部21を保持する。第2アーム部22は略L字状をなし、L字の縦線部分の端部で第2関節部12に連結する。
 第3関節部13は、先端側で第2アーム部22のL字の横線部分を回動可能に保持するとともに、基端側で第3アーム部23の先端部に固定された状態で第3アーム部23に保持される。第3関節部13は、円筒状をなしており、高さ方向の中心軸であって第2軸O2と直交する軸であり、かつ第2アーム部22が延びる方向と平行な軸である第3軸O3のまわりに回動可能に第2アーム部22を保持する。第3アーム部23は先端側が円筒状をなしており、基端側に先端側の円筒の高さ方向と直交する方向に貫通する孔部が形成されている。第3関節部13は、この孔部を介して第4関節部14に回動可能に保持される。
 第4関節部14は、先端側で第3アーム部23を回動可能に保持するとともに、基端側で第4アーム部24に固定された状態で第4アーム部24に保持される。第4関節部14は円筒状をなしており、高さ方向の中心軸であって第3軸O3と直交する軸である第4軸O4のまわりに回動可能に第3アーム部23を保持する。
 第5関節部15は、先端側で第4アーム部24を回動可能に保持するとともに、基端側で第5アーム部25に固定して取り付けられる。第5関節部15は円筒状をなしており、高さ方向の中心軸であって第4軸O4と平行な軸である第5軸O5のまわりに第4アーム部24を回動可能に保持する。第5アーム部25は、L字状をなす部分と、L字の横線部分から下方へ延びる棒状の部分とからなる。第5関節部15は、基端側で第5アーム部25のL字の縦線部分の端部に取り付けられる。
 第6関節部16は、先端側で第5アーム部25を回動可能に保持するとともに、基端側でベース部5の上面に固定して取り付けられる。第6関節部16は円筒状をなしており、高さ方向の中心軸であって第5軸O5と直交する軸である第6軸O6のまわりに第5アーム部25を回動可能に保持する。第6関節部16の先端側には、第5アーム部25の棒状の部分の基端部が取り付けられる。
 以上説明した構成を有する支持部6は、顕微鏡部7における並進3自由度および回転3自由度の計6自由度の動きを実現する。
 第1関節部11~第6関節部16は、顕微鏡部7および第1アーム部21~第5アーム部25の回動をそれぞれ禁止する電磁ブレーキを有する。各電磁ブレーキは、顕微鏡部7に設けられるアーム操作スイッチ(後述)が押下された状態で解除され、顕微鏡部7および第1アーム部21~第5アーム部25の回動を許容する。なお、電磁ブレーキの代わりにエアブレーキを適用してもよい。
 各関節部には、上述した電磁ブレーキのほか、エンコーダ及びアクチュエータが搭載される。エンコーダは、例えば、第1関節部11に設けられている場合、第1軸O1における回転角度を検出する。アクチュエータは、例えばサーボモータ等の電動モータによって構成され、制御装置3からの制御により駆動され、関節部における回転を所定の角度だけ生じさせる。関節部における回転角度は、例えば顕微鏡部7を移動させるために必要な値として、各回転軸(第1軸O1~第6軸O6)における回転角度に基づいて制御装置3によって設定される。このように、アクチュエータ等の能動的な駆動機構が設けられる関節部は、当該アクチュエータの駆動が制御されることにより能動的に回転する回転軸を構成する。
 顕微鏡部7は、円筒状をなす筐体に、被観察体の像を拡大して撮像する撮像部や、第1関節部11~第6関節部16における電磁ブレーキを解除して各関節部の回動を許容する操作入力を受け付けるアーム操作スイッチ、撮像部72における拡大倍率および被観察体までの焦点距離を変更可能なレバーが設けられる。
 撮像部は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)を用いて構成される二つの撮像素子を有する。これら撮像素子は、三次元画像生成用の、互いに視差を有する撮像信号をそれぞれ生成する。撮像信号は、デジタル信号として出力される。なお、撮像素子を一つ設けて、二次元画像生成用の撮像信号を生成する構成としてもよい。
 また、撮像部には、撮像素子へ光を導光する光学系や、像の拡大率(ズーム倍率)を変更するための拡大光学系、露光時間を制御するシャッター等が設けられる。さらに、撮像部には、光学系のレンズを移動させるアクチュエータ、及びエンコーダが搭載される。撮像部の光学系は、制御装置3のもとでレンズが移動して、ズーム倍率の変更や、焦点距離の調整などの撮像設定の変更が可能である。
 また、顕微鏡部7には、押しボタン式のスイッチであるアーム操作スイッチが設けられる。ユーザがアーム操作スイッチを押下している間、第1関節部11~第6関節部16の電磁ブレーキが解除される。
 制御装置3は、観察装置2が出力した撮像信号を受信し、この撮像信号に所定の信号処理を施すことによって表示用の3次元画像データを生成する。なお、制御装置3をベース部5の内部に設置して観察装置2と一体化してもよい。
 制御装置3には、ユーザの声を入力するマイク91と、ユーザが足で操作する部分であり、ユーザの押下に応じた信号を入力するフットスイッチ92とが接続される。
 図2は、実施の形態1に係る医療用観察システムの制御装置の構成を示すブロック図である。制御装置3は、画像処理部31と、音声認識部32と、認識情報処理部33と、入力部34と、フットスイッチ入力受付部35と、出力部36と、記憶部37と、制御部38とを備える。なお、制御装置3には、観察装置2、制御装置3、マイク91及びフットスイッチ92を駆動するための電源電圧を生成し、制御装置3の各部にそれぞれ供給するとともに、観察装置2に供給する電源部(図示略)などが設けられていてもよい。
 画像処理部31は、顕微鏡部7が出力した撮像信号に対してノイズ除去や、必要に応じてA/D変換等の信号処理を行う。画像処理部31は、信号処理後の撮像信号をもとに、表示装置4が表示する表示用の画像信号を生成する。画像処理部31は、撮像信号に対して、所定の信号処理を実行して被写体画像を含む表示用の画像信号を生成する。ここで、画像処理部31は、検波処理や、補間処理、色補正処理、色強調処理、及び輪郭強調処理等の各種画像処理等の公知の画像処理を行う。画像処理部31は、生成した画像信号を表示装置4に出力する。
 また、画像処理部31が、入力されたフレームの撮像信号を基に、各フレームの所定のAF用評価値を出力するAF処理部、及び、AF処理部からの各フレームのAF用評価値から、最も合焦位置として適したフレームまたはフォーカスレンズ位置等を選択するようなAF演算処理を行うAF演算部を有していてもよい。
 音声認識部32は、ユーザがマイク91に入力した音声を検出して、入力内容の認識処理を実行する。音声認識部32は、マイク91に入力された音声の特徴量と、記憶部37に記憶され、認識結果と対応付いている認識用モデルとを比較して言語系列を認識結果として受け付ける。具体的には、音声認識部32は、マイク91に「右」と入力があった場合、特徴量と認識用モデルとから、入力された発話が「右」であると認識し、認識結果を認識情報処理部33に出力する。
 認識情報処理部33は、音声認識部32から認識結果を取得して、認識結果に応じた処理を決定する。認識情報処理部33は、記憶部37を参照して、認識結果に応じた処理を決定する。認識情報処理部33は、認識結果から決定された処理内容を制御部38に出力する。
 例えば、認識結果が「右」である場合には、顕微鏡部7の撮影領域を右に移動させる。顕微鏡部7に移動によって、顕微鏡部7による撮像領域が移動する。この際、顕微鏡部7の撮影領域に対する向き(右、左、上、下)は、撮像素子と表示装置4の表示の向きとの関係から予め設定されている。制御部38は、顕微鏡部7の作動距離やズーム倍率を変えずに、撮影領域のみが右に移動するように、各関節部を駆動させて顕微鏡部7の位置を移動させる。
 また、認識結果が「拡大」や「縮小」である場合、顕微鏡部7の拡大光学系を駆動する。例えば、認識結果が「拡大」である場合、制御部38は、拡大光学系のズーム倍率が大きくなるように制御する。これにより、顕微鏡部7による撮像の拡大率が変更される。
 入力部34は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける。
 フットスイッチ入力受付部35は、ユーザによってフットスイッチ92が踏まれたことを検出して、フットスイッチ92による入力を受け付ける。フットスイッチ入力受付部35は、押下に応じた操作信号を制御部38に入力する。
 出力部36は、スピーカーやプリンタ、ディスプレイ等を用いて実現され、各種情報を出力する。
 記憶部37は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現され、通信情報データ(例えば、通信用フォーマット情報など)や、音声の特徴量と認識用モデルとが対応付けられた音声認識テーブルと、音声認識結果と処理内容とが対応付けされた処理テーブル等が記録されている。なお、記憶部37は、制御部38が実行する各種プログラム等が記録されていてもよい。
 制御部38は、制御装置3及び観察装置2を含む各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部38は、記憶部37に記録されている通信情報データ(例えば、通信用フォーマット情報など)を参照して制御信号を生成し、該生成した制御信号を観察装置2へ送信する。
 なお、制御部38は、顕微鏡部7及び制御装置3の同期信号、及びクロックを生成する。顕微鏡部7への同期信号(例えば、撮像タイミングを指示する同期信号等)やクロック(例えばシリアル通信用のクロック)は、図示しないケーブルで顕微鏡部7に送られ、この同期信号やクロックを基に、顕微鏡部7が駆動する。
 上述した画像処理部31、音声認識部32、認識情報処理部33、フットスイッチ入力受付部35及び制御部38は、プログラムが記録された内部メモリ(図示略)を有するCPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるFPGA(Field Programmable Gate Array:図示略)を用いて構成するようにしてもよい。なお、FPGAにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるFPGAをコンフィグレーションしてもよい。
 表示装置4は、制御装置3が生成した3次元画像データを制御装置3から受信し、該3次元画像データに対応する3次元画像を表示する。このような表示装置4は、液晶または有機EL(Electro Luminescence)からなる表示パネルを備える。
 なお、表示装置4のほか、スピーカーやプリンタ等を用いて情報を出力する出力装置を備えてもよい。
 次に、以上の構成を有する医療用観察システム1を用いて行われる手術の概要を説明する。ユーザである術者が被観察体である患者の頭部を手術する場合、術者は、3次元画像用の眼鏡を装着して表示装置4が表示する3次元画像を目視しながら、顕微鏡部7のアーム操作スイッチを押下した状態で顕微鏡部7を把持して所望の位置まで移動させ、顕微鏡部7の撮像領域を決定した後、アーム操作スイッチから指を離す。これにより、第1関節部11~第6関節部16では電磁ブレーキが動作し、顕微鏡部7の撮像領域が固定される。その後、術者は、拡大倍率および被観察体までの焦点距離の調整等を行う。表示装置4が3次元画像を表示するため、術者は3次元画像を通して術部を立体的に把握することができる。その後、術者は、マイク91とフットスイッチ92とを操作して、顕微鏡部7の位置や、拡大倍率、焦点距離の調整を行う。
 続いて、制御装置3が行うマイク91(音声認識)とフットスイッチ92とによる操作処理について、図3を参照して説明する。図3は、実施の形態1に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。図3では、フットスイッチ92による入力値(アナログ値)と、発話内容と、制御信号(速度)とのタイムチャートを示している。
 実施の形態1では、フットスイッチ92の踏み込みによって音声入力の認識処理を開始するとともに、認識結果に応じた処理を実行する。認識結果に応じた処理は、フットスイッチ92の踏み込みが継続している間、維持される。
 具体的に、フットスイッチ入力受付部35は、フットスイッチ92の押下(踏み込み)を検出すると、踏み込み量に応じたアナログ値を、制御部38に出力する。図3では、時刻T11に、ユーザがフットスイッチ92を踏み込む。この際、アナログ値は、フットスイッチ92の踏み込み量が大きいほど、踏み込みがない場合のアナログ値(初期値V0)に対して小さくなる。
 制御部38は、時刻T11においてフットスイッチ92の押下を検出すると、マイク91による音声認識処理を開始する。ユーザは、フットスイッチ92を踏んだ後、マイク91に音声を入力する。図3に示す例では、ユーザはマイク91に「右」と入力する。
 時刻T12においてマイク91に「右」と入力されると、時刻T13までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。本実施の形態1では、「右」という音声信号が、第1の操作信号に相当する。第1の操作信号は、音声入力によって生成される信号である。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T13以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、フットスイッチ92の踏み込み量が大きいほど(アナログ値が小さいほど)、顕微鏡部7を移動させる駆動速度が速くなるように制御される。
 なお、入力された発話が「右」であると認識され、顕微鏡部7が右に移動する時刻T13から時刻T14までの間に、異なる発話が入力された場合、例えば、「上」が認識された場合、制御部38は、
 ・フットスイッチ92の踏み込み後の最初の音声入力以外は無視する
 ・顕微鏡部7を「上」に移動させる制御に変更する
 ・顕微鏡部7を斜め「右上」に移動させる
などの処理を行ってもよい。
 その後、時刻T14においてフットスイッチ92の踏み込みが解除されると、顕微鏡部7の移動が停止される。フットスイッチ92が踏み込まれていない時刻T14以降では、ユーザがマイク91に向かって音声(例えば「右」)を発しても、音声認識処理も認識情報処理も実行されない。本実施の形態1では、フットスイッチ92の踏み込みが解除された際に検出される初期値V0の検出信号が、第2の操作信号に相当する。実施の形態1では、音声入力による第1の操作信号と、音声入力とは異なる、フットスイッチ92の操作による第2の操作信号とによって制御する。
 このように、実施の形態1では、制御部38が、フットスイッチ92の踏み込みによって入力されるアナログ値が初期値V0とは異なる値に変化した場合に第1の変化を検出して音声認識処理を開始する。一方で、制御部38は、フットスイッチ92の踏み込みが解除されることによってアナログ値が初期値V0に戻った場合に第2の変化を検出して音声認識に基づく処理を停止する。
 以上説明した実施の形態1では、フットスイッチ92が押下された状態において、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、フットスイッチ92の押下中は、認識結果に応じた処理が維持され、フットスイッチ92の押下の解除によって、処理も停止する。実施の形態1によれば、フットスイッチ92の押下によって音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
 なお、実施の形態1では、フットスイッチ92の踏み込み量に応じて、顕微鏡部7の移動速度が変化する例を説明したが、予め設定された一定の速度で移動するようにしてもよい。また、フットスイッチ92は図3に示すようなアナログ値でなく2値、3値などデジタル値を出力するものであってもよい。
 また、実施の形態1では、フットスイッチ入力受付部35、音声認識部32、認識情報処理部33、記憶部37が制御装置3に設けられている例を説明したが、制御装置3のうち、フットスイッチ入力受付部35、音声認識部32、認識情報処理部33、記憶部37の一部もしくはすべてが制御装置3とは別体であってもよい。
(実施の形態2)
 次に、実施の形態2について、図4を参照して説明する。図4は、実施の形態2に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。実施の形態2に係る医療用観察システムは、上述した実施の形態1の医療用観察システム1と同じ構成であるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
 フットスイッチ入力受付部35は、フットスイッチ92の押下(踏み込み)を検出すると、踏み込み量に応じたアナログ値を、制御部38に出力する。図4では、時刻T21に、ユーザがフットスイッチ92を踏み込む。この際、アナログ値は、フットスイッチ92の踏み込み量が大きいほど、踏み込みがない場合のアナログ値(初期値V0)に対して小さくなる。
 制御部38は、時刻T21においてフットスイッチ92の押下を検出すると、マイク91による音声認識処理を開始する。ユーザは、フットスイッチ92を踏んだ後、マイク91に音声を入力する。図4に示す例では、ユーザはマイク91に「右」と入力する。
 時刻T22においてマイク91に「右」と入力されると、時刻T23までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T23以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、フットスイッチ92の踏み込み量が大きいほど(アナログ値が小さいほど)、顕微鏡部7が移動する速度が速くなるように制御される。
 その後、時刻T24においてフットスイッチ92の踏み込みが解除されると、顕微鏡部7の移動が停止される。
 時刻T24から予め設定されている時間の範囲(期間RT)内の時刻T25においてフットスイッチ92が再び踏み込まれると、制御部38は、顕微鏡部7の移動を再開する。この際、制御部38は、再踏み込み前とは逆方向(ここでは「左」)に顕微鏡部7を移動させる。逆方向への移動においても、フットスイッチ92の踏み込み量が大きいほど(アナログ値が小さいほど)、顕微鏡部7が移動する速度が速くなるように制御される。
 フットスイッチ92の再踏み込みによって逆方向へ移動させる時間の範囲(期間RT)は、例えば0.5秒以上2.0秒以下に設定される。この期間RTは、チャタリングによる誤認識を防止するための待ち時間の後に設けてもよい。
 その後、時刻T26においてフットスイッチ92の踏み込みが解除されると、顕微鏡部7の移動が停止される。
 以上説明した実施の形態2では、フットスイッチ92が押下された状態において、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、フットスイッチ92の押下中は、認識結果に応じた処理が維持され、フットスイッチ92の押下の解除によって、処理も停止する。さらに、予め設定されている時間の範囲(期間RT)内において再びフットスイッチ92が押下されると、前回の処理とは逆の処理が実行される。実施の形態2によれば、フットスイッチ92の押下によって音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。加えて、実施の形態2では、フットスイッチ92の際押下によって逆処理が実行されるため、フットスイッチ92の操作のみで処理の微調整を行うことができる。
(実施の形態3)
 次に、実施の形態3について、図5を参照して説明する。図5は、実施の形態3に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。実施の形態3に係る医療用観察システムは、上述した実施の形態1の医療用観察システム1と同じ構成であるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
 フットスイッチ入力受付部35は、フットスイッチ92の押下(踏み込み)を検出すると、踏み込み量に応じたアナログ値を、制御部38に出力する。図5では、時刻T31に、ユーザがフットスイッチ92を踏み込む。この際、アナログ値は、フットスイッチ92の踏み込み量が大きいほど、踏み込みがない場合のアナログ値(初期値V0)に対して小さくなる。
 制御部38は、時刻T31においてフットスイッチ92の押下を検出すると、マイク91による音声認識処理を開始する。ユーザは、フットスイッチ92を踏んだ後、マイク91に音声を入力する。図5に示す例では、ユーザはマイク91に「右」と入力する。
 時刻T32においてマイク91に「右」と入力されると、時刻T23までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T33以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、フットスイッチ92の踏み込み量が大きいほど(アナログ値が小さいほど)、顕微鏡部7が移動する速度が速くなるように制御される。
 その後、時刻T34においてフットスイッチ92の踏み込みが解除されると、顕微鏡部7の移動が停止される。
 時刻T34から予め設定されている時間の範囲(期間RT)内の時刻T35においてフットスイッチ92が再び踏み込まれると、制御部38は、顕微鏡部7の移動を再開する。この際、制御部38は、再踏み込み前とは逆方向(ここでは「左」)に顕微鏡部7を移動させる。実施の形態3では、逆方向へ移動させる際には、フットスイッチ92の踏み込み量によらず一定の速度で顕微鏡部7を移動させる。この際の速度は、制御可能な最大の速度又は最小速度、最大速度の50%の速度、前回駆動時の最大速度又は最小速度などが設定される。なお、図5では、制御可能な最大の速度に設定されている例を示す。
 その後、時刻T36においてフットスイッチ92の踏み込みが解除されると、顕微鏡部7の移動が停止される。
 以上説明した実施の形態3では、フットスイッチ92が押下された状態において、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、フットスイッチ92の押下中は、認識結果に応じた処理が維持され、フットスイッチ92の押下の解除によって、処理も停止する。さらに、予め設定されている時間の範囲(期間RT)内において再びフットスイッチ92が押下されると、前回の処理とは逆の処理が実行される。実施の形態3によれば、フットスイッチ92の押下によって音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。加えて、実施の形態3では、実施の形態2と同様に、フットスイッチ92の際押下によって逆処理が実行されるため、フットスイッチ92の操作のみで処理の微調整を行うことができる。
(実施の形態4)
 次に、実施の形態4について、図6を参照して説明する。図6は、実施の形態4に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。実施の形態4に係る医療用観察システムは、上述した実施の形態1の医療用観察システム1と同じ構成であるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
 フットスイッチ入力受付部35は、フットスイッチ92の押下(踏み込み)を検出すると、踏み込み量に応じたアナログ値を、制御部38に出力する。図6では、時刻T41に、ユーザがフットスイッチ92を踏み込み、すぐに踏み込みを解除する。これにより、入力値は、初期値V0に対して一旦小さくなった後、初期値V0に戻る。
 制御部38は、時刻T41においてフットスイッチ92の押下を検出すると、マイク91による音声認識処理を開始する。ユーザは、フットスイッチ92を踏んだ後、マイク91に音声を入力する。図6に示す例では、ユーザはマイク91に「右」と入力する。
 時刻T42においてマイク91に「右」と入力されると、時刻T43までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T43以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、制御部38は、顕微鏡部7を一定の速度で移動させる。この一定の速度の設定は、上述した実施の形態3と同様である。
 その後、制御部38は、時刻T44においてフットスイッチ92の押下を検出すると、顕微鏡部7の移動を停止する。
 このように、実施の形態4では、制御部38が、フットスイッチ92の踏み込みによって入力されるアナログ値が初期値V0とは異なる値に変化した場合に第1の変化を検出して音声認識処理を開始する。一方で、制御部38は、フットスイッチ92の踏み込みによって入力されるアナログ値が再度初期値V0とは異なる値に変化した場合に第2の変化を検出して音声認識に基づく処理を停止する。
 以上説明した実施の形態4では、フットスイッチ92が押下されたことを検出すると、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、フットスイッチ92の再押下の検出によって、処理を停止する。実施の形態4によれば、フットスイッチ92の押下をトリガとして音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
(実施の形態5)
 次に、実施の形態5について、図7を参照して説明する。図7は、実施の形態5に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。実施の形態5に係る医療用観察システムは、上述した実施の形態1の医療用観察システム1と同じ構成であるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
 本実施の形態5では、音声入力の受け付け状態が常に許可された状態になっている。すなわち、上述した実施の形態1~4のように、フットスイッチ92の押下に応じて音声入力の処理の可否を判断するものではなく、入力された音声の認識処理が、常に許可されている。
 時刻T51においてマイク91に「右」と入力されると、制御部38は、時刻T52までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T52以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、制御部38は、顕微鏡部7を一定の速度で移動させる。この一定の速度の設定は、上述した実施の形態3と同様である。
 その後、制御部38は、時刻T53においてフットスイッチ92の押下を検出すると、顕微鏡部7の移動を停止する。本実施の形態5では、フットスイッチ92の押下の検出直後において顕微鏡部7の移動を停止する。
 以上説明した実施の形態5では、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、フットスイッチ92の押下の検出によって、処理を停止する。実施の形態5によれば、音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
(実施の形態5の変形例)
 次に、実施の形態5の変形例について、図8を参照して説明する。図8は、実施の形態5の変形例に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。本変形例では、実施の形態5と同様に、音声入力の受け付け状態が常に許可された状態になっている。
 時刻T51においてマイク91に「右」と入力されると、制御部38は、時刻T52までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T52以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、制御部38は、顕微鏡部7を一定の速度で移動させる。この一定の速度の設定は、上述した実施の形態3と同様である。
 その後、制御部38は、フットスイッチ92の押下を検出すると、顕微鏡部7の移動を停止する。本変形例では、時刻T54においてフットスイッチ92の押下の解除直後において顕微鏡部7の移動を停止する。
 以上説明した変形例では、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、フットスイッチ92の押下の検出によって、処理を停止する。変形例によれば、音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
(実施の形態6)
 次に、実施の形態6について、図9を参照して説明する。図9は、実施の形態6に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。実施の形態6に係る医療用観察システムは、上述した実施の形態1の医療用観察システム1と同じ構成であるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
 本実施の形態6では、認識された音声が示す単語、又は、複数の単語を組み合わせた単語列が、予め設定されている単語又は単語列と一致する場合に、駆動に係る音声の認識処理が許可される。すなわち、上述した実施の形態1~4のように、フットスイッチ92の押下に応じて音声認識の処理を開始するものではなく、音声入力によって認識された後に入力された音声の認識処理が有効になる。ここで、音声認識を許可する単語としては「オン(ON)」、「開始」等が挙げられ、単語列としては「音声認識を有効」等が挙げられる。なお、単語には助詞や助動詞等を含むものとする。音声認識処理の許可を指示する単語又は単語列は、第1の認識情報に相当する。本実施の形態6では、「オン」と入力される場合を例に説明する。
 時刻T61においてマイク91に「オン(ON)」と入力されると、制御部38は、音声認識部32による認識処理を許可し、認識情報処理部33による処理を実行させる。
 その後、時刻T62においてマイク91に「右」と入力されると、制御部38は、時刻T63までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T63以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、制御部38は、顕微鏡部7を一定の速度で移動させる。この一定の速度の設定は、上述した実施の形態3と同様である。
 その後、制御部38は、時刻T64においてフットスイッチ92の押下を検出すると、顕微鏡部7の移動を停止する。本実施の形態6では、フットスイッチ92の押下の検出直後において顕微鏡部7の移動を停止する。
 以上説明した実施の形態6では、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、フットスイッチ92の押下の検出によって、処理を停止する。実施の形態6によれば、音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
(実施の形態6の変形例)
 次に、実施の形態6の変形例について、図10を参照して説明する。図10は、実施の形態6の変形例に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。本変形例では、実施の形態6と同様に、入力された音声の認識処理を、設定された単語又は文の入力によって許可する。
 時刻T61においてマイク91に「オン(ON)」と入力されると、制御部38は、音声認識部32による認識処理を許可し、認識情報処理部33による処理を実行させる。
 その後、時刻T62においてマイク91に「右」と入力されると、制御部38は、時刻T63までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T63以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、制御部38は、顕微鏡部7を一定の速度で移動させる。この一定の速度の設定は、上述した実施の形態3と同様である。
 その後、制御部38は、時刻T64においてフットスイッチ92の押下を検出すると、顕微鏡部7の移動を停止する。
 フットスイッチ92による駆動停止後、時刻T65においてマイク91に「オフ(OFF)」と入力されると、制御部38は、以降の音声認識部32による認識処理を禁止する。これにより、音声入力による指示の認識結果が無効になる。このほか、「終了」や、「音声認識を無効」等を設定してもよい。音声認識処理の禁止を指示する単語又は単語列は、第2の認識情報に相当する。なお、音声認識処理の禁止期間では、音声認識を有効にする単語又は単語列の認識、及び該認識に対応する処理(音声認識の有効設定)の実行のみ有効とする。
 以上説明した変形例では、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、フットスイッチ92の押下の検出によって、処理を停止する。変形例によれば、音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
(実施の形態7)
 次に、実施の形態7について、図11を参照して説明する。図11は、実施の形態7に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。実施の形態7に係る医療用観察システムは、上述した実施の形態1の医療用観察システム1と同じ構成であるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
 本実施の形態7では、実施の形態6と同様に、予め設定されている単語や単語列によって、駆動に係る音声の認識処理が許可される。また、制御部38は、音声の認識処理の許可開始、又は顕微鏡部7の駆動停止から、予め設定されている時間が経過すると、音声の認識処理を再び禁止する。
 なお、本実施の形態7では、移動開始から設定時間経過後に、顕微鏡部7の移動を停止する。音声認識処理は、許可後に設定時間が経過するか、顕微鏡部7の駆動停止後に設定時間が経過するかのいずれかによって再び禁止される。
 時刻T71においてマイク91に「オン(ON)」と入力されると、制御部38は、音声認識部32による認識処理を許可し、認識情報処理部33による処理を実行させる。
 その後、時刻T72においてマイク91に「右」と入力されると、制御部38は、時刻T73までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T73以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、制御部38は、顕微鏡部7を一定の速度で移動させる。この一定の速度の設定は、上述した実施の形態3と同様である。
 その後、制御部38は、時刻T73から設定時間経過後の時刻T74において、顕微鏡部7の移動を停止するとともに、以降の音声認識部32による認識処理を禁止する。本実施の形態7では、時間の経過を示す信号が、第2の操作信号に相当する。
 以上説明した実施の形態7では、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、設定時間経過後に処理を停止する。実施の形態7によれば、音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
 なお、実施の形態7において、制御部38は、時刻T74において顕微鏡部7の移動を停止後に、音声入力を禁止してもよい。
(実施の形態8)
 次に、実施の形態8について、図12を参照して説明する。図12は、実施の形態8に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。実施の形態8に係る医療用観察システムは、上述した実施の形態1の医療用観察システム1と同じ構成であるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
 本実施の形態8では、実施の形態6と同様に、予め設定されている単語や単語列によって、駆動に係る音声の認識処理が許可される。また、制御部38は、実施の形態7と同様に、音声の認識処理の許可開始、又は顕微鏡部7の駆動停止から、予め設定されている時間が経過すると、音声の認識処理を再び禁止する。
 時刻T81においてマイク91に「オン(ON)」と入力されると、制御部38は、音声認識部32による認識処理を許可し、認識情報処理部33による処理を実行させる。
 その後、時刻T82においてマイク91に「右」と入力されると、制御部38は、時刻T84までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。この際、時刻T84よりも前の時刻T83において、音声認識処理の禁止が設定される。制御部38は、禁止設定時間中であっても、音声認識処理の許可期間に入力が開始された音声であれば、認識情報処理部33に処理を継続させる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T84以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、制御部38は、顕微鏡部7を一定の速度で移動させる。この一定の速度の設定は、上述した実施の形態3と同様である。
 その後、制御部38は、時刻T85においてフットスイッチ92の押下を検出すると、顕微鏡部7の移動を停止する。このように、実施の形態8では、音声認識処理の禁止期間中であっても、フットスイッチ92による入力に伴う停止処理を継続する。禁止期間中であっても駆動停止の指示を有効とすることは、誤作動や、顕微鏡部7が他の機器や患者等に接触しそうな場合等の緊急に停止を要する際に、特に有用である。なお、駆動開始から設定時間経過後に、顕微鏡部7の駆動を停止させるようにしてもよい。また、時刻T83以降は、顕微鏡部7の駆動を停止させるようにしてもよい。
 以上説明した実施の形態8では、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、フットスイッチ92の押下の検出によって、処理を停止する。実施の形態8によれば、音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
(実施の形態8の変形例)
 次に、実施の形態8の変形例について、図13を参照して説明する。図13は、実施の形態8の変形例に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。本変形例では、実施の形態8と同様に、音声認識処理の許可期間に入力が開始された音声を、禁止期間中でも継続して処理する。また、変形例では、顕微鏡部7の移動停止を音声認識によって行う。
 時刻T81においてマイク91に「オン(ON)」と入力されると、制御部38は、音声認識部32による認識処理を許可し、認識情報処理部33による処理を実行させる。
 その後、時刻T82においてマイク91に「右」と入力されると、制御部38は、時刻T84までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。この際、時刻T84よりも前の時刻T83において、音声認識処理の禁止が設定された場合、制御部38は、禁止設定時間中であっても、認識情報処理部33に処理を継続させる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T84以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。
 その後、制御部38は、時刻T86において「停止」が音声認識されると、顕微鏡部7の移動を停止する。このように、変形例では、音声認識処理の禁止期間中であっても、駆動中に処理に係る音声コマンドの認識処理を継続する。本変形例では、第1の操作信号および第2の操作信号が、いずれも音声入力によって生成される同一の操作に基づく信号となる。
 音声認識処理の禁止期間中であっても駆動中の処理の指示を有効とすることは、音声の誤認識による誤作動や、顕微鏡部7が他の機器や患者等に接触しそうな場合等の緊急に停止を要する際に、特に有用である。なお、駆動開始から設定時間経過後に、顕微鏡部7の駆動を停止させるようにしてもよい。また、時刻T83以降は、顕微鏡部7の駆動を停止させるようにしてもよい。
 以上説明した変形例では、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、音声認識による停止指示の検出によって、処理を停止する。変形例によれば、音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
(実施の形態9)
 次に、実施の形態9について、図14を参照して説明する。図14は、実施の形態9に係る医療用観察システムを用いて行われる駆動処理の一例を示すタイムチャートである。実施の形態9に係る医療用観察システムは、上述した実施の形態1の医療用観察システム1と同じ構成であるため、説明を省略する。以下、実施の形態1とは異なる処理について説明する。
 本実施の形態9では、実施の形態5と同様に、音声入力の受け付け状態が常に許可された状態になっている。また、制御部38は、実施の形態8と同様に、顕微鏡部7の駆動開始及び停止を音声認識によって制御する。
 時刻T91においてマイク91に「右」と入力されると、制御部38は、時刻T92までの間に音声認識部32による認識処理と、認識情報処理部33による実行処理の決定とが行われる。
 認識情報処理部33によって実行処理が決定される、ここでは、顕微鏡部7を右に移動させる処理が決定されると、時刻T92以降、制御部38が各部に制御信号を出力し、各関節部が駆動され、顕微鏡部7が右に移動する。この際、制御部38は、顕微鏡部7を一定の速度で移動させる。この一定の速度の設定は、上述した実施の形態3と同様である。
 その後、制御部38は、時刻T93において「停止」が音声認識されると、顕微鏡部7の移動を停止する。
 以上説明した実施の形態9では、マイク91からの音声入力を受け付け、認識結果に応じた処理が実行される。その後、認識結果に応じた処理が維持され、音声認識による停止指示の検出によって、処理を停止する。実施の形態9によれば、音声認識の開始から処理の停止までが制御装置3(顕微鏡部7や支持部6を制御する制御装置3)内で一括制御されるため、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに簡易に処理を停止することができる。
 ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した実施の形態によってのみ限定されるべきものではない。例えば、支持部6は、2つのアーム部および該2つのアーム部の一方を他方に対して回動可能に連結する関節部からなる組を少なくとも1組有していればよい。
 なお、実施の形態1~4では、音声認識開始から駆動停止までをフットスイッチ92によって操作する例を説明したが、これに限らず、手で押下するスイッチ等、足以外で操作するスイッチによって操作する構成としてもよい。また、フットスイッチ92を感圧センサや加速度センサなどで代用してもよい。
 また、実施の形態1~4では、フットスイッチ92の踏み込みによって入力値が初期値より小さくなる例を説明したが、入力値は、踏み込み量に応じて初期値より大きくなる構成としてもよい。また、フットスイッチ92はアナログ値でなく、2値、3値などのデジタル値を出力するものであってもよい。
 また、実施の形態1~4において、制御部38は、音声認識開始から駆動停止までの間、マイク91をオンにし、それ以外の期間をオフにするように制御してもよい。これにより、音声認識期間以外において、発話が入力されることが防止される。また、音声認識期間のマイク91による入力ボリュームを大きくし、音声認識期間以外において、入力ボリュームを小さくする、またはミュート(消音)してもよい。
 また、実施の形態1~4において、マイク91やフットスイッチ92が、有線で制御装置3に接続される例を説明したが、無線によって制御装置3に接続する構成としてもよい。また、観察装置2と制御装置3とは、有線で接続されてもよいし、無線で接続されてもよい。
 また、実施の形態1~4において、マイク91やフットスイッチ92は一組設けられる例を説明したが、複数組有してもよい。例えば、術者用、助手用、看護師用等に分けて、操作入力の優先順を設定するようにしてもよい。
 また、実施の形態1~4において、制御装置3は、発話を認識した際に、出力部36から音や光を発して、発話を認識した旨をユーザに報知するようにしてもよい。また、表示装置4に、発話を認識した旨のメッセージを表示するようにしてもよい。
 また、医療用観察装置を、設置場所の天井から吊り下げて配置する構成としてもよい。
 また、上述した実施の形態1~4では、制御装置3が観察装置2とは別体で設けられる例を説明したが、制御装置3がベース部5に内蔵されるようにしてもよい。
 また、上述した実施の形態1~4では、支持部6が顕微鏡部7を保持する例を説明したが、支持部6は、顕微鏡部7に限らず、撮像可能な構成を有する部材を保持してもよい。例えば、支持部6が、先端において、硬性内視鏡を保持するようにしてもよいし、軟性内視鏡の先端を保持するようにしてもよい。支持部6が内視鏡を保持する場合、ベース部5及び支持部6は、内視鏡ホルダーとして機能する。
 このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、さまざまな実施の形態等を含み得るものである。
 以上のように、本開示にかかる制御装置及び医療用観察システムは、簡易な構成、かつ音声認識から音声認識に応じた駆動までを短時間で行い、さらに駆動を簡易に停止するのに有用である。
 1 医療用観察システム
 2 医療用観察装置
 3 制御装置
 4 表示装置
 5 ベース部
 6 支持部
 7 顕微鏡部
 8 光源装置
 11 第1関節部
 12 第2関節部
 13 第3関節部
 14 第4関節部
 15 第5関節部
 16 第6関節部
 21 第1アーム部
 22 第2アーム部
 23 第3アーム部
 24 第4アーム部
 25 第5アーム部
 31 画像処理部
 32 音声認識部
 33 認識情報処理部
 34 入力部
 35 フットスイッチ入力受付部
 36 出力部
 37 記憶部
 38 制御部
 91 マイク
 92 フットスイッチ

Claims (14)

  1.  観察対象を撮像する医療用観察装置を電気的に制御する制御装置において、
     外部から入力される音声を認識する音声認識部と、
     前記音声認識部の認識結果をもとに、前記医療用観察装置が実行する処理を決定する認識情報処理部と、
     スイッチに対する操作に応じた操作信号の入力を受け付けるスイッチ入力受付部と、
     前記スイッチ入力受付部が受け付けた第1の操作信号を検出、又は、前記認識情報処理部が決定した処理に関する情報を取得することによって、前記音声認識部による音声認識処理を開始させ、前記認識情報処理部によって決定された処理を前記医療用観察装置に実行させるとともに、第2の操作信号を検出することによって、前記医療用観察装置が実行する処理を停止させる制御部と、
     を備える制御装置。
  2.  前記スイッチ入力受付部は、前記操作信号として前記スイッチの操作に応じた入力値の入力を受け付け、
     前記制御部は、
     前記スイッチ入力受付部が受け付けた前記入力値の第1の変化を検出することによって、前記音声認識部による音声認識処理を開始させ、前記認識情報処理部によって決定された処理を前記医療用観察装置に実行させるとともに、前記入力値の第2の変化を検出することによって、前記医療用観察装置が実行する処理を停止させる、
     請求項1に記載の制御装置。
  3.  前記第1の操作信号と前記第2の操作信号は、前記スイッチに対する互いに異なる操作に対応する異なる操作信号である、
     請求項1に記載の制御装置。
  4.  前記第1の操作信号と前記第2の操作信号は、前記スイッチに対する互いに同様の操作に対応する同一の操作信号である、
     請求項1に記載の制御装置。
  5.  前記制御部は、
     前記入力値が、前記スイッチの初期値から該初期値とは異なる値に変化した場合に、前記音声認識処理を開始して、前記医療用観察装置に処理を実行させ、
     前記入力値が前記初期値に変化した場合に、前記医療用観察装置が実行する処理を停止させる、
     請求項2に記載の制御装置。
  6.  前記制御部は、前記スイッチ入力受付部が受け付けた前記操作信号に応じて、前記医療用観察装置の駆動速度を変化させる、
     請求項1に記載の制御装置。
  7.  前記制御部は、前記入力値が前記初期値に変化して前記医療用観察装置が実行する処理を停止させた後、予め設定されている期間内において、前記入力値が、前記初期値から変化した場合に、前記停止前の処理とは逆の処理を前記医療用観察装置に実行させる、
     請求項5に記載の制御装置。
  8.  前記制御部は、
     前記入力値が、前記スイッチの初期値から該初期値とは異なる値に変化した場合に、前記音声認識処理を開始して、前記医療用観察装置に処理を実行させ、
     前記入力値が、前記初期値から該初期値とは異なる値に再度変化した場合に、前記医療用観察装置が実行する処理を停止させる、
     請求項5に記載の制御装置。
  9.  前記スイッチ入力受付部は、前記スイッチの押下によって出力される操作信号の入力を受け付け、
     前記制御部は、
     前記スイッチの押下が継続されている間、前記医療用観察装置に、前記認識情報処理部によって決定された処理を継続して実行させ、
     前記スイッチの押下が解除された場合に、前記医療用観察装置に、前記認識情報処理部によって決定された処理を停止させる、
     請求項1に記載の制御装置。
  10.  前記制御部は、
     前記音声認識部による音声認識結果が第1の認識情報と一致する場合、以降の音声認識処理を有効にし、
     前記音声認識部による音声認識結果が第2の認識情報と一致する場合、以降の音声認識処理を無効にする、
     請求項1に記載の制御装置。
  11.  前記制御部は、
     前記音声認識部による音声認識結果が第1の認識情報と一致する場合、以降の音声認識処理を有効にし、
     前記音声認識部による音声認識処理を有効にしてから予め設定した時間経過後に、前記第1の認識情報以外の音声認識の認識結果を無効にする、
     請求項1に記載の制御装置。
  12.  前記認識情報処理部は、前記音声認識部の認識結果に基づいて、前記医療用観察装置による撮像領域の移動方向を決定し、
     前記制御部は、前記認識情報処理部が決定した移動方向に基づいて、前記医療用観察装置による撮像領域を移動させる、
     請求項1に記載の制御装置。
  13.  前記認識情報処理部は、前記音声認識部の認識結果に基づいて、前記医療用観察装置の撮像の拡大率を決定し、
     前記制御部は、前記認識情報処理部が決定した拡大率に基づいて、前記医療用観察装置による撮像の拡大率を変更する、
     請求項1に記載の制御装置。
  14.  観察対象を拡大して撮像可能とする撮像部と、
     複数のアーム部、及び当該複数のアーム部を接続する複数の関節部を有し、先端で前記撮像部を支持する支持部と、
     外部から入力される音声を認識する音声認識部と、
     前記音声認識部の認識結果をもとに、前記撮像部又は前記支持部が実行する処理を決定する認識情報処理部と、
     自身に対する操作に応じた操作信号を出力するスイッチと、
     前記スイッチからの入力を受け付けるスイッチ入力受付部と、
     前記スイッチ入力受付部が受け付けた第1の操作信号を検出、又は、前記認識情報処理部が決定した処理の情報を取得することによって、前記音声認識部による音声認識処理を開始させ、前記認識情報処理部によって決定された処理を前記撮像部又は前記支持部に実行させるとともに、第2の操作信号を検出することによって前記撮像部又は前記支持部が実行する処理を停止させる制御部と、
     を備える医療用観察システム。
PCT/JP2020/004438 2019-03-22 2020-02-05 制御装置及び医療用観察システム Ceased WO2020195204A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080017727.4A CN113543741B (zh) 2019-03-22 2020-02-05 控制装置和医学观察系统
JP2021508190A JP7629848B2 (ja) 2019-03-22 2020-02-05 制御装置及び医療用観察システム
US17/433,603 US12256142B2 (en) 2019-03-22 2020-02-05 Control device and medical observation system
EP20778537.9A EP3932358B1 (en) 2019-03-22 2020-02-05 Control device and medical observation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019055706 2019-03-22
JP2019-055706 2019-03-22

Publications (1)

Publication Number Publication Date
WO2020195204A1 true WO2020195204A1 (ja) 2020-10-01

Family

ID=72611777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004438 Ceased WO2020195204A1 (ja) 2019-03-22 2020-02-05 制御装置及び医療用観察システム

Country Status (5)

Country Link
US (1) US12256142B2 (ja)
EP (1) EP3932358B1 (ja)
JP (1) JP7629848B2 (ja)
CN (1) CN113543741B (ja)
WO (1) WO2020195204A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020214610B4 (de) * 2020-11-19 2025-04-17 Carl Zeiss Meditec Ag Verfahren zum Steuern eines Mikroskops und Mikroskop

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62166312A (ja) * 1986-01-18 1987-07-22 Canon Inc 音声を用いた駆動制御装置
JP2001108906A (ja) * 1999-10-01 2001-04-20 Topcon Corp 手術用顕微鏡
WO2017061294A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム
WO2018159155A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用観察システム、制御装置及び制御方法
WO2018216302A1 (ja) * 2017-05-26 2018-11-29 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、処理方法、および医療用観察システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4912388A (en) * 1985-08-02 1990-03-27 Canon Kabushiki Kaisha Drive control device operating a drive mechanism
US6425858B1 (en) 1999-03-19 2002-07-30 Fuji Photo Optical Co., Ltd. Electronic endoscope apparatus having magnification changing function
JP2000116670A (ja) * 1999-11-12 2000-04-25 Olympus Optical Co Ltd 手術用顕微鏡
DE10226539A1 (de) 2002-06-14 2004-01-08 Leica Microsystems Ag Sprachsteuerung für Operationsmikroskope
JP5083758B2 (ja) 2007-05-21 2012-11-28 国立大学法人山梨大学 眼科遠隔診断システム
US9711160B2 (en) * 2012-05-29 2017-07-18 Apple Inc. Smart dock for activating a voice recognition mode of a portable electronic device
JP7067467B2 (ja) 2016-02-24 2022-05-16 ソニーグループ株式会社 医療用情報処理装置、情報処理方法、医療用情報処理システム
WO2017169649A1 (ja) 2016-03-28 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、駆動制御方法、医療用観察システム及び支持アーム装置
JP6906903B2 (ja) 2016-06-20 2021-07-21 キヤノンメディカルシステムズ株式会社 マンモグラフィ装置及びハンドスイッチ
WO2018097065A1 (ja) 2016-11-25 2018-05-31 オリンパス株式会社 内視鏡装置の制御装置及び内視鏡装置
JP6976720B2 (ja) 2017-05-26 2021-12-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、およびズーム制御方法
KR102411766B1 (ko) * 2017-08-25 2022-06-22 삼성전자주식회사 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62166312A (ja) * 1986-01-18 1987-07-22 Canon Inc 音声を用いた駆動制御装置
JP2001108906A (ja) * 1999-10-01 2001-04-20 Topcon Corp 手術用顕微鏡
WO2017061294A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム
WO2018159155A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用観察システム、制御装置及び制御方法
WO2018216302A1 (ja) * 2017-05-26 2018-11-29 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、処理方法、および医療用観察システム

Also Published As

Publication number Publication date
EP3932358B1 (en) 2023-11-22
EP3932358A4 (en) 2022-04-13
EP3932358A1 (en) 2022-01-05
US20220141376A1 (en) 2022-05-05
CN113543741A (zh) 2021-10-22
JPWO2020195204A1 (ja) 2020-10-01
JP7629848B2 (ja) 2025-02-14
US12256142B2 (en) 2025-03-18
CN113543741B (zh) 2025-01-07

Similar Documents

Publication Publication Date Title
EP3449859A1 (en) Control device, control method and surgical system
CN110832842B (zh) 成像装置和图像产生方法
WO2018211969A1 (ja) 入力制御装置、入力制御方法、および手術システム
JP7146735B2 (ja) 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム
JPWO2018100828A1 (ja) 顕微鏡装置及び制御方法
WO2018088113A1 (ja) 関節駆動用アクチュエータ及び医療用システム
WO2018235608A1 (ja) 手術システムおよび手術用撮像装置
WO2019017208A1 (ja) 手術システム、制御方法、手術機器、並びにプログラム
WO2018142993A1 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
US20250016443A1 (en) Imaging device, imaging control device, and imaging method
US20200015655A1 (en) Medical observation apparatus and observation visual field correction method
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2020151406A (ja) 医療用保持装置及び医療用観察システム
WO2020195204A1 (ja) 制御装置及び医療用観察システム
JP7414590B2 (ja) 制御装置および医療用観察システム
JP7519285B2 (ja) 制御装置および医療用観察システム
JPWO2019244442A1 (ja) 交換レンズ、撮像装置及び回転検出装置
WO2019181242A1 (ja) 内視鏡及びアームシステム
CN114340469B (zh) 医疗支撑臂和医疗系统
JPWO2018087977A1 (ja) 情報処理装置、情報処理方法、プログラム
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2018216538A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7552593B2 (ja) 画像処理装置、画像処理方法、プログラム
US20240346826A1 (en) Medical observation system, information processing apparatus, and information processing method
US20200304722A1 (en) Image processing apparatus and medical observation system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20778537

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508190

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020778537

Country of ref document: EP

Effective date: 20210928

WWG Wipo information: grant in national office

Ref document number: 202080017727.4

Country of ref document: CN

WWG Wipo information: grant in national office

Ref document number: 17433603

Country of ref document: US