[go: up one dir, main page]

WO2018116582A1 - 制御装置、制御方法、及び医療用観察システム - Google Patents

制御装置、制御方法、及び医療用観察システム Download PDF

Info

Publication number
WO2018116582A1
WO2018116582A1 PCT/JP2017/036587 JP2017036587W WO2018116582A1 WO 2018116582 A1 WO2018116582 A1 WO 2018116582A1 JP 2017036587 W JP2017036587 W JP 2017036587W WO 2018116582 A1 WO2018116582 A1 WO 2018116582A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
mirror
control
arm
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/036587
Other languages
English (en)
French (fr)
Inventor
竜己 坂口
芳男 相馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201780077361.8A priority Critical patent/CN110087531A/zh
Priority to US16/469,151 priority patent/US20200093545A1/en
Publication of WO2018116582A1 publication Critical patent/WO2018116582A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A61B1/247—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present disclosure relates to a control device, a control method, and a medical observation system.
  • Patent Document 1 discloses a system in which a video camera is attached to a handle portion of a dental mirror and a specular reflection image is captured by the video camera.
  • a new and improved control device, control method, and medical observation system capable of more freely observing an affected area (observation target) in dental treatment using a video microscope and a dental mirror. Propose.
  • the acquisition unit that acquires the dental mirror detection information from the captured image acquired by the imaging device, the image processing for the captured image based on the dental mirror detection information, and the arm that supports the imaging device And a control unit that performs at least one of arm control processing for controlling the unit.
  • a control method including performing at least one of arm control processes for controlling an arm portion that supports the arm portion.
  • an image capturing apparatus that acquires a captured image, an acquisition unit that acquires dental mirror detection information from the captured image, and image processing for the captured image based on the dental mirror detection information
  • a medical observation system including a control device that includes a control unit that performs at least one of arm control processing for controlling an arm unit that supports an imaging device.
  • the affected part (observation target) can be observed more freely in dental treatment using a video microscope and a dental mirror.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of a control device 1-1 according to the first embodiment of the present disclosure. It is explanatory drawing which shows an example of the cut-out process by the image process part 112 which concerns on the embodiment, and an image expansion process.
  • FIG. 6 is a flowchart showing an operation example of the control device 1-1 according to the embodiment.
  • FIG. 6 is a block diagram illustrating an example of a functional configuration of a control device 1-2 according to a second embodiment of the present disclosure.
  • FIG. 7 is a flowchart showing an example of the operation of the control device 1-2 according to the same embodiment.
  • 7 is a flowchart showing another example of the operation of the control device 1-2 according to the embodiment.
  • FIG. 7 is a flowchart showing another example of the operation of the control device 1-2 according to the embodiment.
  • FIG. 7 is a flowchart showing another example of the operation of the control device 1-2 according to the embodiment.
  • FIG. 7 is a flowchart showing another example of the operation of the control device 1-2 according to the embodiment.
  • FIG. FIG. 9 is a block diagram illustrating an example of a functional configuration of a control device 1-3 according to a third embodiment of the present disclosure.
  • FIG. 6 is a flowchart showing an operation example of a control device 1-3 according to the same embodiment.
  • FIG. 10 is a block diagram illustrating an example of a functional configuration of a control device 1-4 according to a fourth embodiment of the present disclosure.
  • the initial state in which the affected part (observation target) can be observed is shown. It is a top view in the state where the position and attitude
  • FIG. 6 is a flowchart showing an operation example of a control device 1-4 according to the embodiment.
  • FIG. 10 is a block diagram illustrating an example of a functional configuration of a control device 1-5 according to a fifth embodiment of the present disclosure.
  • FIG. 6 is a flowchart showing an operation example of a control device 1-5 according to the same embodiment. It is explanatory drawing which shows the hardware structural example.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a medical observation system 5300 to which an embodiment according to the present disclosure may be applied.
  • the medical observation system 5300 includes a microscope device 5301, a control device 5317, and a display device 5319.
  • “user” means any medical staff who uses the medical observation system 5300, such as a surgeon and an assistant for surgery.
  • the microscope device 5301 supports a microscope unit 5303 (imaging device) for magnifying an observation target (a patient's surgical site or the like), an arm unit 5309 that supports the microscope unit 5303 at the distal end, and a base end of the arm unit 5309. And a base portion 5315.
  • a microscope unit 5303 imaging device
  • an arm unit 5309 that supports the microscope unit 5303 at the distal end
  • a base portion 5315 a base portion 5315.
  • the microscope unit 5303 includes a substantially cylindrical cylindrical part 5305, an imaging unit (not shown) provided inside the cylindrical part 5305, and an operation unit 5307 provided in a partial area on the outer periphery of the cylindrical part 5305. And.
  • the microscope unit 5303 is an electronic imaging type microscope unit (so-called video type microscope unit) in which a captured image is electronically captured by the imaging unit.
  • a cover glass that protects the internal imaging unit is provided on the opening surface at the lower end of the cylindrical part 5305.
  • Light from the observation target (hereinafter also referred to as observation light) passes through the cover glass and enters the imaging unit inside the cylindrical part 5305.
  • a light source such as an LED (Light Emitting Diode) may be provided inside the cylindrical portion 5305, and light is emitted from the light source to the observation target through the cover glass during imaging. May be.
  • the imaging unit includes an optical system that collects the observation light and an image sensor that receives the observation light collected by the optical system.
  • the optical system is configured by combining a plurality of lenses including a zoom lens and a focus lens, and the optical characteristics thereof are adjusted so that the observation light is imaged on the light receiving surface of the image sensor.
  • the imaging element receives the observation light and photoelectrically converts it to generate a signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
  • an element having a Bayer array capable of color photography is used.
  • the image sensor may be various known image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • the image signal generated by the image sensor is transmitted to the control device 5317 as RAW data.
  • the transmission of the image signal may be preferably performed by optical communication.
  • the surgeon performs the operation while observing the state of the affected area with the captured image.
  • the moving image of the surgical site should be displayed in real time as much as possible. Because it is.
  • a captured image can be displayed with low latency.
  • the imaging unit may have a drive mechanism that moves the zoom lens and focus lens of the optical system along the optical axis. By appropriately moving the zoom lens and the focus lens by the drive mechanism, the enlargement magnification of the captured image and the focusing distance at the time of imaging (the distance to the focused observation target) can be adjusted.
  • the imaging unit may be equipped with various functions that can be generally provided in an electronic imaging microscope unit, such as an AE (Auto Exposure) function and an AF (Auto Focus) function.
  • the imaging unit may be configured as a so-called single-plate imaging unit having one imaging element, or may be configured as a so-called multi-plate imaging unit having a plurality of imaging elements.
  • image signals corresponding to RGB may be generated by each imaging element, and a color image may be obtained by combining them.
  • the said imaging part may be comprised so that it may have a pair of image sensor for each acquiring the image signal for right eyes and left eyes corresponding to a stereoscopic vision (3D display). By performing the 3D display, the surgeon can more accurately grasp the depth of the living tissue in the surgical site.
  • a plurality of optical systems can be provided corresponding to each imaging element.
  • the operation unit 5307 is configured by, for example, a cross lever or a switch, and is an input unit that receives a user operation input.
  • the user can input an instruction to change the magnification of the observation image and the focusing distance to the observation target via the operation unit 5307.
  • the magnification ratio and the focusing distance can be adjusted by appropriately moving the zoom lens and the focus lens by the drive mechanism of the imaging unit in accordance with the instruction.
  • the user can input an instruction to switch the operation mode (all-free mode and fixed mode described later) of the arm unit 5309 via the operation unit 5307.
  • the operation unit 5307 may be provided at a position where the user can easily operate with a finger while holding the tubular portion 5305 so that the operation portion 5307 can be operated while the tubular portion 5305 is moved. preferable.
  • the arm portion 5309 is configured by a plurality of links (first link 5313a to sixth link 5313f) being connected to each other by a plurality of joint portions (first joint portion 5311a to sixth joint portion 5311f). Is done.
  • the first joint portion 5311a has a substantially cylindrical shape, and at its tip (lower end), the upper end of the cylindrical portion 5305 of the microscope portion 5303 is a rotation axis (first axis) parallel to the central axis of the cylindrical portion 5305. O 1 ) is supported so as to be rotatable around.
  • the first joint portion 5311a may be configured such that the first axis O 1 coincides with the optical axis of the imaging unit of the microscope unit 5303.
  • the first link 5313a fixedly supports the first joint portion 5311a at the tip. More specifically, the first link 5313a is a rod-shaped member having a substantially L-shaped, while stretching in the direction in which one side of the front end side is perpendicular to the first axis O 1, the end portion of the one side is first It connects to the 1st joint part 5311a so that it may contact
  • the second joint portion 5311b is connected to the end portion on the other side of the substantially L-shaped base end side of the first link 5313a.
  • the second joint portion 5311b has a substantially cylindrical shape, and at the tip thereof, the base end of the first link 5313a can be rotated around a rotation axis (second axis O 2 ) orthogonal to the first axis O 1. To support.
  • the distal end of the second link 5313b is fixedly connected to the proximal end of the second joint portion 5311b.
  • the second link 5313b is a rod-shaped member having a substantially L-shaped, while stretching in the direction in which one side of the front end side is perpendicular to the second axis O 2, the ends of the one side of the second joint portion 5311b Fixedly connected to the proximal end.
  • a third joint portion 5311c is connected to the other side of the base end side of the substantially L-shaped base of the second link 5313b.
  • the third joint portion 5311c has a substantially cylindrical shape, and at its tip, the base end of the second link 5313b is a rotation axis (third axis O 3) orthogonal to the first axis O 1 and the second axis O 2. ) Support so that it can rotate around.
  • the distal end of the third link 5313c is fixedly connected to the proximal end of the third joint portion 5311c.
  • the microscope unit 5303 is moved so as to change the position of the microscope unit 5303 in the horizontal plane by rotating the configuration on the distal end side including the microscope unit 5303 around the second axis O 2 and the third axis O 3. Can be made. That is, by controlling the rotation around the second axis O 2 and the third axis O 3 , the field of view of the captured image can be moved in a plane.
  • the third link 5313c is configured such that the distal end side thereof has a substantially cylindrical shape, and the proximal end of the third joint portion 5311c has substantially the same central axis at the distal end of the cylindrical shape. Fixedly connected.
  • the proximal end side of the third link 5313c has a prismatic shape, and the fourth joint portion 5311d is connected to the end portion thereof.
  • the fourth joint portion 5311d has a substantially cylindrical shape, and at the tip thereof, the base end of the third link 5313c can be rotated around a rotation axis (fourth axis O 4 ) orthogonal to the third axis O 3. To support.
  • the distal end of the fourth link 5313d is fixedly connected to the proximal end of the fourth joint portion 5311d.
  • Fourth link 5313d is a rod-shaped member extending substantially in a straight line, while stretched so as to be orthogonal to the fourth axis O 4, the end of the tip side of the substantially cylindrical shape of the fourth joint portion 5311d It is fixedly connected to the fourth joint portion 5311d so as to abut.
  • the fifth joint portion 5311e is connected to the base end of the fourth link 5313d.
  • the fifth joint portion 5311e has a substantially cylindrical shape, and on the distal end side thereof, the base end of the fourth link 5313d can be rotated around a rotation axis (fifth axis O 5 ) parallel to the fourth axis O 4. To support.
  • the distal end of the fifth link 5313e is fixedly connected to the proximal end of the fifth joint portion 5311e.
  • the fourth axis O 4 and the fifth axis O 5 are rotation axes that can move the microscope unit 5303 in the vertical direction.
  • the fifth link 5313e includes a first member having a substantially L shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and a portion extending in the horizontal direction of the first member in a vertically downward direction. A rod-shaped second member that extends is combined.
  • the proximal end of the fifth joint portion 5311e is fixedly connected in the vicinity of the upper end of the portion of the fifth link 5313e extending in the vertical direction of the first member.
  • the sixth joint portion 5311f is connected to the proximal end (lower end) of the second member of the fifth link 5313e.
  • the sixth joint portion 5311f has a substantially cylindrical shape, and supports the base end of the fifth link 5313e on the distal end side thereof so as to be rotatable about a rotation axis (sixth axis O 6 ) parallel to the vertical direction. .
  • the distal end of the sixth link 5313f is fixedly connected to the proximal end of the sixth joint portion 5311f.
  • the sixth link 5313f is a rod-like member extending in the vertical direction, and its base end is fixedly connected to the upper surface of the base portion 5315.
  • the rotatable range of the first joint portion 5311a to the sixth joint portion 5311f is appropriately set so that the microscope portion 5303 can perform a desired movement.
  • a total of 6 degrees of freedom of translational 3 degrees of freedom and 3 degrees of freedom of rotation can be realized with respect to the movement of the microscope unit 5303.
  • the position and posture of the microscope unit 5303 can be freely controlled within the movable range of the arm unit 5309. It becomes possible. Therefore, the surgical site can be observed from any angle, and the surgery can be performed more smoothly.
  • the configuration of the arm portion 5309 shown in the figure is merely an example, and the number and shape (length) of the links constituting the arm portion 5309, the number of joint portions, the arrangement position, the direction of the rotation axis, and the like are desired. It may be designed as appropriate so that the degree can be realized.
  • the arm unit 5309 in order to freely move the microscope unit 5303, the arm unit 5309 is preferably configured to have six degrees of freedom, but the arm unit 5309 has a greater degree of freedom (ie, redundant freedom). Degree).
  • the arm unit 5309 can change the posture of the arm unit 5309 while the position and posture of the microscope unit 5303 are fixed. Therefore, for example, control that is more convenient for the operator can be realized, such as controlling the posture of the arm unit 5309 so that the arm unit 5309 does not interfere with the field of view of the operator who views the display device 5319.
  • the first joint portion 5311a to the sixth joint portion 5311f may be provided with actuators mounted with a drive mechanism such as a motor, an encoder for detecting a rotation angle at each joint portion, and the like. Then, the drive of each actuator provided in the first joint portion 5311a to the sixth joint portion 5311f is appropriately controlled by the control device 5317, whereby the posture of the arm portion 5309, that is, the position and posture of the microscope portion 5303 can be controlled. . Specifically, the control device 5317 grasps the current posture of the arm unit 5309 and the current position and posture of the microscope unit 5303 based on information about the rotation angle of each joint unit detected by the encoder. Can do.
  • a drive mechanism such as a motor, an encoder for detecting a rotation angle at each joint portion, and the like.
  • the control device 5317 calculates the control value (for example, rotation angle or generated torque) for each joint unit that realizes the movement of the microscope unit 5303 according to the operation input from the user, using the grasped information. And the drive mechanism of each joint part is driven according to the said control value.
  • the control method of the arm unit 5309 by the control device 5317 is not limited, and various known control methods such as force control or position control may be applied.
  • the drive of the arm unit 5309 is appropriately controlled by the control device 5317 according to the operation input, and the position and posture of the microscope unit 5303 are controlled. May be.
  • the microscope unit 5303 can be moved from an arbitrary position to an arbitrary position and then fixedly supported at the position after the movement.
  • the actuators of the first joint portion 5311a to the sixth joint portion 5311f are driven so that the external force from the user is received and the arm portion 5309 moves smoothly according to the external force.
  • so-called power assist control may be performed.
  • the driving of the arm portion 5309 may be controlled so as to perform a pivoting operation.
  • the pivoting operation is an operation of moving the microscope unit 5303 so that the optical axis of the microscope unit 5303 always faces a predetermined point in space (hereinafter referred to as a pivot point). According to the pivot operation, the same observation position can be observed from various directions, so that more detailed observation of the affected area is possible.
  • the pivot operation is performed in a state where the distance between the microscope unit 5303 and the pivot point is fixed. In this case, the distance between the microscope unit 5303 and the pivot point may be adjusted to a fixed focusing distance of the microscope unit 5303.
  • the microscope unit 5303 moves on a hemispherical surface (schematically illustrated in FIG. 1) having a radius corresponding to the in-focus distance with the pivot point as the center, and is clear even if the observation direction is changed. A captured image can be obtained.
  • the microscope unit 5303 is configured to be adjustable in focus distance
  • the pivoting operation may be performed in a state where the distance between the microscope unit 5303 and the pivot point is variable.
  • the control device 5317 calculates the distance between the microscope unit 5303 and the pivot point based on the information about the rotation angle of each joint unit detected by the encoder, and based on the calculation result, the microscope 5317
  • the in-focus distance of the unit 5303 may be automatically adjusted.
  • the focus distance may be automatically adjusted by the AF function. Good.
  • the first joint portion 5311a to the sixth joint portion 5311f may be provided with a brake that restrains the rotation thereof.
  • the operation of the brake can be controlled by the control device 5317.
  • the control device 5317 activates the brake of each joint unit. Accordingly, since the posture of the arm unit 5309, that is, the position and posture of the microscope unit 5303 can be fixed without driving the actuator, power consumption can be reduced.
  • the control device 5317 may release the brake of each joint unit and drive the actuator according to a predetermined control method.
  • Such an operation of the brake can be performed according to an operation input by the user via the operation unit 5307 described above.
  • the user wants to move the position and posture of the microscope unit 5303, the user operates the operation unit 5307 to release the brakes of the joint units.
  • the operation mode of the arm part 5309 shifts to a mode (all free mode) in which the rotation at each joint part can be freely performed.
  • the user wants to fix the position and posture of the microscope unit 5303, the user operates the operation unit 5307 to activate the brakes of the joint units.
  • the operation mode of the arm part 5309 shifts to a mode (fixed mode) in which rotation at each joint part is restricted.
  • the control device 5317 comprehensively controls the operation of the medical observation system 5300 by controlling the operations of the microscope device 5301 and the display device 5319.
  • the control device 5317 controls driving of the arm unit 5309 (performs arm control processing) by operating the actuators of the first joint unit 5311a to the sixth joint unit 5311f according to a predetermined control method.
  • the control device 5317 changes the operation mode of the arm portion 5309 by controlling the brake operation of the first joint portion 5311a to the sixth joint portion 5311f.
  • the control device 5317 performs various signal processing (image processing) on the image signal acquired by the imaging unit of the microscope unit 5303 of the microscope device 5301, thereby generating display image data. The image data is displayed on the display device 5319.
  • the signal processing for example, development processing (demosaic processing), high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.) and / or enlargement processing (that is, Various known signal processing such as electronic zoom processing may be performed.
  • communication between the control device 5317 and the microscope unit 5303 and communication between the control device 5317 and the first joint unit 5311a to the sixth joint unit 5311f may be wired communication or wireless communication.
  • wired communication communication using electrical signals may be performed, or optical communication may be performed.
  • a transmission cable used for wired communication can be configured as an electric signal cable, an optical fiber, or a composite cable thereof depending on the communication method.
  • wireless communication there is no need to lay a transmission cable in the operating room, so that the situation where the transmission cable prevents the medical staff from moving in the operating room can be eliminated.
  • the control device 5317 may be a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), or a microcomputer or a control board in which a processor and a storage element such as a memory are mixedly mounted.
  • the various functions described above can be realized by the processor of the control device 5317 operating according to a predetermined program.
  • the control device 5317 is provided as a separate device from the microscope device 5301, but the control device 5317 is installed inside the base portion 5315 of the microscope device 5301 and integrated with the microscope device 5301. May be configured.
  • the control device 5317 may be configured by a plurality of devices.
  • a microcomputer, a control board, and the like are arranged in the microscope unit 5303 and the first joint unit 5311a to the sixth joint unit 5311f of the arm unit 5309, and these are communicably connected to each other. Similar functions may be realized.
  • the display device 5319 is provided in the operating room, and displays an image corresponding to the image data generated by the control device 5317 under the control of the control device 5317. In other words, the display device 5319 displays an image of the surgical part taken by the microscope unit 5303.
  • the display device 5319 may display various types of information related to the surgery, such as information about the patient's physical information and the surgical technique, for example, instead of or together with the image of the surgical site. In this case, the display of the display device 5319 may be switched as appropriate by a user operation.
  • a plurality of display devices 5319 may be provided, and each of the plurality of display devices 5319 may display an image of the surgical site and various types of information regarding surgery.
  • various known display devices such as a liquid crystal display device or an EL (Electro Luminescence) display device may be applied.
  • FIG. 2 is a diagram showing a state of surgery using the medical observation system 5300 shown in FIG.
  • a state in which the operator 5321 is performing an operation on the patient 5325 on the patient bed 5323 using the medical observation system 5300 is schematically illustrated.
  • the control device 5317 is omitted from the configuration of the medical observation system 5300 and the microscope device 5301 is illustrated in a simplified manner.
  • an image of the surgical part taken by the microscope apparatus 5301 is displayed in an enlarged manner on a display device 5319 installed on the wall surface of the operating room.
  • the display device 5319 is installed at a position facing the surgeon 5321, and the surgeon 5321 observes the state of the surgical site by an image projected on the display device 5319, for example, the surgical site such as excision of the affected site.
  • Various treatments are performed on
  • a user may perform treatment using a surgical instrument grasped with the other hand while observing a specular reflection image (affected part) of a dental mirror grasped with one hand. Therefore, both hands of the surgeon who is undergoing dental treatment are blocked by the dental mirror and the surgical instrument, and it may be difficult to move the arm portion 5309 described above. As a result, it may be difficult for the user to obtain a desired visual field for observing the affected part (observation target) freely.
  • the user's line of sight matches the optical axis of the optical microscope, so the user can adjust the angle and position of the dental mirror with the same feeling as when using the dental mirror with the naked eye. Adjustments can be made. Therefore, when an optical microscope is used, the user can intuitively adjust the angle and position of the dental mirror, and it is difficult for a user who is used to dental treatment using the dental mirror with the naked eye to feel uncomfortable.
  • the line of sight of the user (operator 5321) is directed to the display device 5319 as shown in FIG.
  • the user's line of sight and the optical axis of the microscope unit 5303 do not coincide with each other, the user adjusts the angle and position of the dental mirror while conscious of the angle and position of the microscope unit 5303 with respect to the optical axis. Will do. Therefore, it is not easy for the user to adjust the angle and position of the dental mirror, and it is difficult to observe the affected part (observation target) freely.
  • the embodiment according to the present disclosure has been created with the above circumstances in mind.
  • the affected part is more freely performed by performing image processing on the captured image or arm control processing for controlling the arm unit 5309 based on the dental mirror detection information from the captured image. Can be observed.
  • some embodiments of the present disclosure that realize the above-described effects will be described.
  • Embodiment >> ⁇ 2-1.
  • a control device capable of obtaining an output image with a high proportion of the mirror unit will be described.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of the control device 1-1 according to the present embodiment.
  • a control device 1-1 shown in FIG. 3 corresponds to the control device 5317 described with reference to FIG.
  • the control device 1-1 includes a control unit 11, a detection unit 20, an interface unit 30, and a storage unit 40.
  • the control unit 11 controls each component of the control device 1-1.
  • the control unit 11 according to the present embodiment also functions as the image processing unit 112.
  • the function of the control unit 11 as the image processing unit 112 will be described.
  • the detection unit 20 functions as an acquisition unit that detects a dental mirror from a captured image acquired by the microscope unit 5303 described with reference to FIG. 1 and acquires dental mirror detection information related to the detection of the dental mirror.
  • the detection unit 20 may detect the mirror part at the tip of the dental mirror that reflects the specular reflection image among the dental mirrors.
  • the dental mirror detection information acquired by the detection unit 20 and provided to the control unit 11 includes information indicating the position of the mirror unit (for example, the barycentric position of the mirror unit), information indicating the region of the mirror unit, and detection of the mirror unit. It may include information indicating whether or not the above has succeeded.
  • the detection of the mirror part by the detection part 20 may be performed by a known object detection technique.
  • the interface unit 30 is an input / output interface.
  • the interface unit 30 inputs and outputs information between the microscope apparatus 5301 and the display apparatus 5319 described with reference to FIG.
  • the control unit 11 may acquire an image captured by the microscope unit 5303 from the microscope apparatus 5301 via the interface unit 30. Further, the control unit 11 may cause the microscope apparatus 5301 to output a control signal for controlling the arm unit 5309 via the interface unit 30. Further, the control unit 11 may cause the display device 5319 to output an output image via the interface unit 30.
  • the storage unit 40 stores programs and parameters for functioning each component of the control device 1-1.
  • control device 1-1 The overall configuration of the control device 1-1 has been described above. Next, the function of the control unit 11 as the image processing unit 112 will be described.
  • the image processing unit 112 performs image processing on the captured image based on the dental mirror detection information provided from the detection unit 20.
  • the image processing unit 112 may specify an extraction region based on the dental mirror detection information, and may perform image processing for extracting the extraction region from the captured image.
  • the image processing unit 112 may specify a region corresponding to the 2K resolution including the region of the mirror unit as a cutout region. .
  • the image processing unit 112 may cause the display device 5319 to output the cut region cut out from the captured image as an output image.
  • the image processing unit 112 may specify an area that includes the mirror area and is smaller than the area corresponding to the resolution of the display device 5319 as the cut-out area. In such a case, the image processing unit 112 may generate an output image to be output to the display device 5319 by performing an enlargement process after cutting out the cutout region.
  • the image enlargement process by the image processing unit 112 may include a super-resolution process, or may include a known image enlargement process such as a Bi-cubic method or a Bi-linear method.
  • the image processing unit 112 may specify the size of the cutout region based on the area of the detected mirror unit region, or may be specified based on a user input via a foot switch (not shown) or the like. May be. Further, the image processing unit 112 may specify the cutout region so that the center position of the cutout region becomes the position of the mirror unit.
  • FIG. 4 is an explanatory diagram showing an example of the cut-out process and the image enlargement process performed by the image processing unit 112.
  • the mirror unit 52 at the tip of the dental mirror 5 is detected by the detection unit 20 from the captured image G12 illustrated in FIG.
  • the detection unit 20 can provide the control unit 11 with the region D12 as the detected region of the mirror unit 52.
  • the image processing unit 112 of the control unit 11 specifies a cutout region D10 that includes the region D12, cuts out the cutout region D10, performs image enlargement processing, and generates an output image G14 displayed on the display device 5319. To do.
  • the mirror part is displayed on the display device 5319 in a sufficiently large size, and the user can comfortably view the affected part. It becomes possible to observe
  • FIG. 5 is a flowchart showing an operation example of the control device 1-1 according to the present embodiment.
  • a captured image is input through the interface unit 30 (S102). Subsequently, the mirror unit at the tip of the dental mirror is detected by the detection unit 20 (S104).
  • the image processing unit 112 identifies a cutout region based on the mirror unit region provided by the detection unit 20 (S106), and cuts out the cutout region from the captured image (S108).
  • the image processing unit 112 enlarges the cutout area obtained in step S108 as necessary (S110), and outputs the obtained output image to the display device 5319 (S112).
  • the first embodiment of the present disclosure has been described. According to the first embodiment of the present disclosure, even if the ratio of the area of the mirror portion in the captured image is small, the mirror portion that reflects the specular reflection image is displayed with a sufficient size, and the user can It is possible to observe the affected area comfortably.
  • control device 1-1 Since the control device 1-1 according to the present embodiment does not need to perform the arm control process, the control device 1-1 does not need to perform the arm mechanism 5309. The form is applicable.
  • Second Embodiment> In the first embodiment, an example has been described in which a user-desired output image (an image with a larger proportion of the mirror portion) is obtained by image processing. Subsequently, an example in which arm control processing is performed in addition to image processing will be described as a second embodiment of the present disclosure.
  • FIG. 6 is a block diagram illustrating an example of a functional configuration of the control device 1-2 according to the second embodiment of the present disclosure.
  • a control device 1-2 shown in FIG. 6 corresponds to the control device 5317 described with reference to FIG.
  • the control device 1-1 includes a control unit 12, a detection unit 20, an interface unit 30, and a storage unit 40.
  • the configurations of the detection unit 20, the interface unit 30, and the storage unit 40 are substantially the same as the configurations of the detection unit 20, the interface unit 30, and the storage unit 40 described with reference to FIG. The description is omitted here.
  • the control unit 12 controls each component of the control device 1-2. Further, the control unit 12 according to the present embodiment also functions as an image processing unit 122 and an arm control unit 124 as shown in FIG.
  • the image processing unit 122 performs image processing on the captured image based on the dental mirror detection information provided from the detection unit 20 in the same manner as the image processing unit 112 described with reference to FIG.
  • the image processing unit 122 may perform extraction region specifying processing, extraction processing, enlargement processing, and the like.
  • the image processing unit 122 may determine whether or not the cutout area is to be out of the imaging range when specifying the cutout area. For example, the image processing unit 122 determines whether or not the cutout area is outside the imaging range by determining whether or not the cutout area is included in a predetermined outer peripheral area in the captured image. May be. Further, the image processing unit 122 determines whether or not at least a part of the region of the mirror unit used for specifying the cutout region is included in a predetermined outer peripheral region in the captured image, so that the cutout region is within the imaging range. It may be determined whether or not to go outside. The image processing unit 122 provides the determination result to the arm control unit 124. With such a configuration, when the cut-out area is likely to go out of the imaging range, the arm control unit 124, which will be described later, performs arm control processing, and the mirror unit can be prevented from going out of the imaging range.
  • the arm control unit 124 performs an arm control process for controlling the arm unit 5309 described with reference to FIGS.
  • the arm control unit 124 may perform arm control processing based on the detected position of the mirror unit.
  • the arm control unit 124 may perform the arm control process so that, for example, the position of the mirror unit is a predetermined position (for example, the center position) in the captured image.
  • the arm control process by the arm control unit 124 may be performed, for example, when the image processing unit 122 determines that the cutout region is about to go out of the imaging range. An example of the operation in such a case will be described later with reference to FIG. Further, the arm control process by the arm control unit 124 may always be performed. An example of the operation in such a case will be described later with reference to FIG.
  • the arm control unit 124 may perform the arm control process so that the detected mirror area is included in the captured image and the ratio of the mirror area to the captured image is larger.
  • the arm control process may be realized by visual feedback control, for example. According to the arm control process, an image having the same angle of view as the image obtained by the clipping process by the image processing unit 122 can be obtained by imaging. Therefore, in such a case, the cutout process and the enlargement process by the image processing unit 122 do not have to be performed, and the output image can have higher image quality than the case where the cutout process and the enlargement process are performed.
  • the arm control process is performed so that the imaging range of the microscope unit 5303 tracks the mirror unit. Therefore, in the following, the arm control process may be referred to as mirror unit tracking.
  • the tracking of the mirror unit may be performed constantly according to the mode setting of the medical observation system 5300 set in advance, for example.
  • the mode may be switched based on a user input via a foot switch (not shown) or the like. An example of the operation in such a case will be described later with reference to FIG.
  • the tracking of the mirror unit may be performed only at a timing instructed by a user input via a foot switch (not shown) or the like.
  • the detection unit 20 may fail to detect the mirror unit from the captured image. Therefore, the arm control unit 124 may perform the arm control process so that the imaging range of the microscope unit 5303 is widened when the information indicating that the mirror unit detection has failed is included in the dental mirror detection information. Good.
  • the arm control unit 124 may perform arm control processing so that the microscope unit 5303 moves backward. An example of the operation in such a case will be described later with reference to FIG.
  • the arm control process is performed so that the imaging range of the microscope unit 5303 is widened.
  • the detection unit 20 can detect the mirror unit.
  • FIG. 7 is a flowchart showing an example of the operation of the control device 1-2 according to the present embodiment.
  • the processing in steps S202 to S206 shown in FIG. 7 is the same as the processing in steps S102 to S106 described with reference to FIG.
  • step S208 the image processing unit 122 determines whether or not the cut-out area is likely to be outside the imaging range. If the cutout area is about to go out of the imaging range (YES in step S208), the arm control unit 124 performs arm control processing so that the position of the mirror unit becomes the center position in the captured image (S210), The process returns to step S202.
  • step S212 the processing in steps S212 to S216 shown in FIG. 7 is the same as the processing in steps S108 to S112 described with reference to FIG.
  • FIG. 8 is a flowchart showing another example of the operation of the control device 1-2 according to this embodiment.
  • the arm control process can always be performed regardless of whether or not the cutout region is out of the imaging range.
  • step S226 the arm control unit 124 performs arm control processing so that the position of the mirror unit becomes the center position in the captured image (S226).
  • the image processing unit 122 performs a process of cutting out the central portion of the captured image (S228).
  • the subsequent steps S230 to S232 are the same as the steps S110 to S112 described with reference to FIG.
  • FIG. 9 is a flowchart showing another example of the operation of the control device 1-2 according to the present embodiment.
  • the arm control process is performed so that the imaging range of the microscope unit 5303 tracks the mirror unit.
  • the image output to the display device 5319 can be performed independently of this operation.
  • the captured image of the microscope unit 5303 may be output to the display device 5319 as an output image as it is.
  • a captured image is input via the interface unit 30 (S242). Subsequently, it is determined whether or not the imaging range is a mode for tracking the mirror portion (S244). If the imaging range is not a mode for tracking the mirror part (NO in S244), the process ends.
  • the imaging range is a mode for tracking the mirror part (YES in S244)
  • the mirror part at the tip of the dental mirror is detected by the detection part 20 (S246).
  • the arm control unit 124 performs an arm control process so that the detected mirror area is included in the captured image and the ratio of the mirror area to the captured image is larger (S248).
  • steps S242 to S248 described above may be repeated as appropriate.
  • FIG. 10 is a flowchart showing another example of the operation of the control device 1-2 according to the present embodiment.
  • the arm control process is performed so that the imaging range of the microscope unit 5303 tracks the mirror unit only at the timing instructed by the user.
  • the image output to the display device 5319 can be performed independently of this operation.
  • the captured image of the microscope unit 5303 may be output to the display device 5319 as an output image as it is.
  • a captured image is input via the interface unit 30 (S262). Subsequently, for example, it is determined whether or not an instruction for tracking the mirror portion of the imaging range is given by a user input (S264). If the imaging range is not instructed to track the mirror part (NO in S264), the process ends.
  • step S266 when the mirror part is successfully detected (YES in S268), the arm control unit 124 includes the detected mirror part area in the captured image, and the ratio of the mirror part area to the captured image.
  • the arm control process is performed so that becomes larger (S270).
  • step S266 when the detection of the mirror unit fails (NO in S268), the storage unit 40 stores the state such as the distance to the observation target (for example, the focusing distance) (S278). Subsequently, the arm control unit 124 performs an arm control process so that the imaging range of the microscope unit 5303 is widened (S280).
  • the detection unit 20 performs the mirror unit detection process again (S282).
  • step S282 when the mirror part is successfully detected (YES in S284), the arm control unit 124 includes the detected mirror part area in the captured image, and the ratio of the mirror part area to the captured image. The arm control process is performed so that becomes larger (S286). Further, the arm control unit 124 performs an arm control process so as to return to the state stored in step S278 (S292).
  • the control unit 12 outputs an error screen to the display device 5319 (S294), and the process ends.
  • steps S262 to S294 described above may be repeated as appropriate.
  • the second embodiment of the present disclosure has been described. According to the second embodiment of the present disclosure, for example, even when the surgical field is wide or the patient moves, the arm control process is performed so that the mirror unit is included in the imaging range, and the user manually Thus, the trouble of resetting the imaging range can be saved.
  • the microscope portion 5303 performs arm control processing so as to perform the pivot operation described with reference to FIG.
  • FIG. 11 is a block diagram illustrating an example of a functional configuration of the control device 1-3 according to the third embodiment of the present disclosure.
  • a control device 1-3 illustrated in FIG. 11 corresponds to the control device 5317 described with reference to FIG.
  • the control device 1-3 includes a control unit 13, a detection unit 20, an interface unit 30, and a storage unit 40.
  • the configurations of the detection unit 20, the interface unit 30, and the storage unit 40 are substantially the same as the configurations of the detection unit 20, the interface unit 30, and the storage unit 40 described with reference to FIG. The description is omitted here.
  • the control unit 13 controls each component of the control device 1-3. Further, the control unit 13 according to the present embodiment also functions as an arm control unit 134 and a mirror angle specifying unit 136 as shown in FIG.
  • the arm control unit 134 performs an arm control process for controlling the arm unit 5309 described with reference to FIGS.
  • the arm control unit 134 may perform arm control processing based on the detected position of the mirror unit.
  • the arm control unit 134 performs arm control processing based on the angle of the mirror unit specified by a mirror angle specifying unit 136 described later.
  • the arm control unit 134 causes the microscope unit 5303 to move in parallel according to the difference between the position of the mirror unit at the first time (past) and the position of the mirror unit at the second time (current).
  • the arm control process may be performed.
  • the arm control unit 134 uses the center position of the mirror unit as a pivot axis in accordance with the difference between the angle of the mirror unit at the first time (past) and the angle of the mirror unit at the second time (current).
  • the arm control process may be performed so that the microscope unit 5303 pivots.
  • the parallel movement and the pivoting operation described above may be performed simultaneously. That is, the microscope unit 5303 is translated in accordance with the position of the mirror unit detected from the captured image, the mirror unit is captured at the center of the captured image, and the center of the mirror unit is determined according to the angle of the mirror unit at that time. Pivoting may be performed with the position as the pivot axis.
  • the user can observe the affected area reflected on the mirror part at the first time from another angle by changing the position and angle of the mirror part.
  • the mirror angle specifying unit 136 specifies the angle of the mirror unit detected by the detecting unit 20.
  • the mirror angle specifying unit 136 performs ellipse shape detection by the Hough transform process on the region of the mirror unit detected by the detection unit 20, and based on the detected curvature (distortion) of the ellipse shape, An angle may be specified.
  • FIG. 12 is a flowchart showing an operation example of the control device 1-3 according to the present embodiment.
  • the processes in steps S302 to S304 shown in FIG. 12 are the same as the processes in steps S102 to S104 described with reference to FIG.
  • the mirror angle specifying unit 136 specifies the angle of the mirror unit detected in step S304 (S306). Subsequently, in step S308, the position and angle of the mirror unit at the current time (first time) are stored in the storage unit 40 (S308). In step S308, the affected part (observation target) is included in the mirror part in the captured image, and the trigger for storing the position and angle of the mirror part may be, for example, a user input.
  • step S310 it is determined whether or not to perform an arm operation using a dental mirror (S310).
  • the determination in step S310 may be performed based on, for example, user input or preset mode settings of the medical observation system 5300. If the arm operation by the dental mirror is not performed (NO in S310), the process returns to step S302.
  • step S312 Since the processing of steps S312 to S316 is the same as the processing of steps S302 to S306, description thereof will be omitted.
  • step S308 the difference between the position and angle of the mirror part at the first time stored in step S308 and the position and angle of the mirror part at the current time (second time) are calculated (S318).
  • the arm control unit 134 performs arm control processing so that the microscope unit 5303 moves in parallel according to the difference in the position of the mirror unit calculated in step S318 (S320). Further, the arm control unit 134 performs an arm control process so that the microscope unit 5303 pivots according to the difference in the angle of the mirror unit calculated in step S318 (S322). Subsequently, the process returns to step S310.
  • the third embodiment of the present disclosure has been described.
  • the user can observe the affected part from other angles by changing the position and angle of the mirror part.
  • Such observation corresponds to, for example, observation with the naked eye, in which the user changes the angle while moving the head, and more intuitive observation for the user can be realized.
  • the position and angle of the mirror unit when the visual line of the microscope unit 5303 interferes with the surgical tool and a desired visual field cannot be obtained when the user changes the position of a surgical tool such as a drill, the position and angle of the mirror unit when the visual line of the microscope unit 5303 interferes with the surgical tool and a desired visual field cannot be obtained.
  • the microscope unit 5303 can be moved to obtain a desired field of view.
  • a suitable angle (preferred angle) of the mirror unit is specified such that an observation target is included in the mirror unit, and navigation information for guiding the user to realize the preferable angle is displayed.
  • a suitable angle (preferred angle) of the mirror unit is specified such that an observation target is included in the mirror unit, and navigation information for guiding the user to realize the preferable angle is displayed.
  • navigation information for viewing may be provided to the user.
  • the affected part can be observed by the user changing the angle of the mirror part according to the navigation information.
  • FIG. 13 is a block diagram illustrating an example of a functional configuration of a control device 1-4 according to the fourth embodiment of the present disclosure.
  • a control device 1-4 shown in FIG. 13 corresponds to the control device 5317 described with reference to FIG.
  • the control device 1-4 includes a control unit 14, a detection unit 20, an interface unit 30, and a storage unit 40.
  • the configurations of the detection unit 20, the interface unit 30, and the storage unit 40 are substantially the same as the configurations of the detection unit 20, the interface unit 30, and the storage unit 40 described with reference to FIG. The description is omitted here.
  • the control unit 14 controls each component of the control device 1-4.
  • the control unit 14 according to the present embodiment also functions as an image processing unit 142, a mirror angle specifying unit 146, and a suitable mirror angle specifying unit 148 as shown in FIG.
  • the image processing unit 142 performs image processing on the captured image based on the dental mirror detection information provided from the detection unit 20.
  • the image processing unit 142 according to the present embodiment performs image processing for synthesizing navigation information that guides to a suitable angle of a mirror unit specified by a preferable mirror angle specifying unit 148 described later with a captured image.
  • the image processing unit 142 may generate an output image by superimposing navigation information on the captured image. An example of navigation information will be described later with reference to FIG.
  • the mirror angle specifying unit 146 specifies the angle of the mirror unit detected by the detecting unit 20 in the same manner as the mirror angle specifying unit 136 described with reference to FIG. Moreover, the suitable mirror angle specific
  • the camera parameters related to the microscope unit 5303 may be obtained based on, for example, information on each joint angle and length of the arm unit 5309, or an optical or magnetic marker is attached to the microscope unit 5303. It may be obtained by sensing with an optical sensor or a magnetic sensor.
  • FIG. 14 shows an initial state in which the affected part (observation target) existing at the position P can be observed. Further, in the plan view C12 and the side view C14 shown in FIG. 14, the relative coordinates and orientation of the position C of the camera (microscope unit 5303) with respect to the origin O are obtained. Further, the distance CM from the camera to the mirror unit 52, the focusing distance CM + MP from the camera to the affected part, and the angles ⁇ 0 and ⁇ 0 of the mirror unit can be observed. From the above observable information, the relative coordinates of the position P of the affected part with respect to the origin O can be obtained.
  • FIG. 15 is a plan view C22 in a state where the position and orientation of the camera are changed from the state shown in FIG.
  • the preferred mirror angle specifying unit is determined from the camera position C ′ after the movement, the distance C′M to the mirror unit 52, and the position P of the affected part.
  • Reference numeral 148 can specify a preferred angle ⁇ v of the mirror portion.
  • position of the mirror part in a suitable angle is shown by FIG. 15 by the code
  • the current angle of the mirror unit 52 is specified by the mirror angle specifying unit 146, it is also possible to calculate the angle difference between the mirror unit 52 and the mirror unit V52 at a suitable angle.
  • the example in which the angle difference around the Z axis is calculated in the plan view has been described.
  • the angle difference around the X axis can also be calculated in the side view.
  • FIG. 16 is an explanatory diagram for explaining a procedure for calculating the preferred angle in more detail.
  • the positions and orientations of the camera, the mirror unit at a suitable angle, and the observation target are represented by (t, n) t, n ⁇ R 3 .
  • N C is the optical axis of the camera, and n M and n O are the normal direction of the mirror part and the observation object at a suitable angle,
  • the mirror position t M is the intersection of the following two vectors.
  • the direction (preferred angle) n M of the mirror part capable of observing the observation object is expressed by the following equation (4).
  • the preferred mirror angle specifying unit 148 can specify the preferred angle of the mirror unit.
  • FIG. 17 is an explanatory view showing an example of navigation information for guiding to the above-mentioned preferred angle.
  • the image processing unit 142 may synthesize navigation information G22, which is an arrow indicating the rotation direction for guiding the current mirror unit to a suitable angle, with the captured image as in the output image G20 illustrated in FIG.
  • the image processing unit 142 may synthesize navigation information G32 indicating an image of a dental mirror at a suitable angle with a captured image, like an output image G30 shown in FIG.
  • an output image in which navigation information for guiding to a suitable angle is combined with a captured image is displayed, so that the user can adjust the mirror unit to a suitable angle.
  • the target can be observed.
  • the navigation information is not limited to the example of FIG.
  • the navigation information may include a preferred angle, numerical information indicating a difference between the preferred angle and the current angle of the mirror unit, and the like.
  • the navigation information may include animation information of an arrow indicating the rotation direction and animation information in which the angle of the image of the dental mirror changes.
  • FIG. 18 is a flowchart showing an operation example of the control device 1-4 according to the present embodiment.
  • the processes in steps S402 to S406 shown in FIG. 18 are the same as the processes in steps S302 to S306 described with reference to FIG.
  • step S ⁇ b> 408 the initial state information described with reference to FIG. 14 is stored in the storage unit 40.
  • the affected part (observation target) is included in the mirror part in the captured image, and the trigger for storing the initial state may be, for example, a user input.
  • the captured image is input via the interface unit 30 (S410). Subsequently, it is determined whether or not the mode is a mode for outputting navigation information (S412). The determination in step S412 may be performed based on a preset mode setting of the medical observation system 5300, or may be performed based on a user input. If the mode is not a mode for outputting navigation information (NO in S412), the process returns to step S410.
  • the camera parameters (position and orientation) of the current microscope unit 5303 are acquired (S414). Note that the camera parameter related to the microscope unit 5303 in step S414 may be different from the camera parameter related to the microscope unit 5303 stored as the initial state in step S408.
  • steps S416 to S418 are the same as the processes in steps S404 to S406, and a description thereof will be omitted. Subsequently, the position of the mirror portion detected in step S416 is converted into relative coordinates with respect to the origin O described with reference to FIGS. 14 and 15 (S420).
  • the preferred mirror angle specifying unit 148 specifies the preferred angle (preferred mirror angle) of the mirror part in the relative coordinates with respect to the origin O (S422). Further, the preferred mirror angle specifying unit 148 converts the preferred angle obtained in step S422 into an angle within the screen (an angle in the captured image) (S424). Subsequently, the difference between the preferred angle of the mirror part obtained in step S424 and the angle of the mirror part specified in step S418 is calculated (S426).
  • step S426 the image processing unit 142 performs image processing for superimposing and synthesizing navigation information for guiding to a suitable angle on the captured image (S428).
  • the output image obtained by superimposing and synthesizing in step S428 is output to the display device 5319 (S430). Subsequently, the process returns to step S410.
  • the fourth embodiment of the present disclosure has been described.
  • the current position and posture of the microscope unit 5303 are further changed.
  • the navigation information for observing the affected area can be displayed without any problem.
  • the user can observe the affected area by changing the angle of the mirror part according to the navigation information.
  • control device 1-4 does not need to perform the arm control process
  • the present embodiment is implemented even when the microscope apparatus 5301 shown in FIG. 1 does not include the drive mechanism of the arm unit 5309. The form is applicable.
  • navigation information for guiding the user is provided to enable the user to observe the affected part (observation target) without changing the position and posture of the current camera (microscope part 5303). An example was explained.
  • arm control processing is performed so that the affected part becomes the position and orientation of the camera that can be observed according to the current position and orientation of the mirror part.
  • An example of performing is described.
  • FIG. 19 is a block diagram illustrating an example of a functional configuration of a control device 1-5 according to the fifth embodiment of the present disclosure.
  • a control device 1-5 shown in FIG. 19 corresponds to the control device 5317 described with reference to FIG.
  • the control device 1-5 includes a control unit 15, a detection unit 20, an interface unit 30, and a storage unit 40.
  • the configurations of the detection unit 20, the interface unit 30, and the storage unit 40 are substantially the same as the configurations of the detection unit 20, the interface unit 30, and the storage unit 40 described with reference to FIG. The description is omitted here.
  • the control unit 15 controls each component of the control device 1-5. Further, the control unit 15 according to the present embodiment also functions as an arm control unit 154, a mirror angle specifying unit 156, and a suitable camera parameter specifying unit 158 as shown in FIG.
  • the arm control unit 154 performs an arm control process for controlling the arm unit 5309 described with reference to FIGS.
  • the arm control unit 154 is based on the camera parameters (position and orientation) related to the microscope unit 5303 specified by a suitable camera parameter specifying unit 158 described later, for example, so as to realize the camera parameters. Perform arm control processing.
  • the mirror angle specifying unit 156 specifies the angle of the mirror unit detected by the detecting unit 20 in the same manner as the mirror angle specifying unit 136 described with reference to FIG.
  • the suitable camera parameter specifying part 158 includes camera parameters related to the microscope part 5303 (hereinafter referred to as a preferable one) that include the observation target in the mirror part in the captured image. (Referred to as camera parameters).
  • the camera orientation (posture) n C included in the preferred camera parameters is calculated as the following equation (5).
  • the camera position t C included in the preferred camera parameters is calculated as the following expression.
  • the preferred camera parameter specifying unit 158 can specify the preferred camera parameters (position and orientation) related to the microscope unit 5303.
  • FIG. 20 is a flowchart showing an operation example of the control device 1-5 according to the present embodiment.
  • the image output to the display device 5319 can be performed independently of this operation.
  • the captured image of the microscope unit 5303 may be output to the display device 5319 as an output image as it is.
  • steps S502 to S510 shown in FIG. 20 is the same as the processing in steps S402 to S410 described with reference to FIG.
  • step S512 it is determined whether or not the camera is in a mode for tracking the affected part (observation target) (S512).
  • the determination in step S512 may be performed based on a preset mode setting of the medical observation system 5300, or may be performed based on a user input. If the camera is not in a mode for tracking the affected area (NO in S512), the process returns to step S510.
  • step S512 If it is determined that the camera is in the mode for tracking the affected part (YES in S512), the process proceeds to step S514.
  • the subsequent steps S514 to S520 are the same as the steps S414 to S420 described with reference to FIG.
  • the preferred camera parameter specifying unit 158 specifies the preferred camera parameter (S522). Further, the arm control unit 154 performs arm control processing based on the preferred camera parameters (S524). Subsequently, the process returns to step S510.
  • the position and posture of the microscope unit 5303 are automatically controlled so that the affected part can be observed even when the user changes the position and angle of the mirror unit. Is done. Therefore, the user can observe the affected part while changing the position and angle of the mirror part more intuitively without being aware of the position and posture of the microscope part 5303.
  • FIG. 21 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 illustrated in FIG. 21 can realize, for example, the control device 1-1, the control device 1-2, the control device 1-3, the control device 1-4, and the control device 1-5.
  • Information processing by the control device 1-1, the control device 1-2, the control device 1-3, the control device 1-4, and the control device 1-5 according to the present embodiment is performed by software and hardware described below. Realized by collaboration.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form, for example, the control unit 11, the control unit 12, the control unit 13, the control unit 14, and the control unit 15.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900.
  • the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form the storage unit 40, for example.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the sensor 915 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900 itself, such as the posture and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • Sensor 915 may also include a GPS sensor that receives GPS signals and measures the latitude, longitude, and altitude of the device.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs including Ethernet (registered trademark), a WAN (Wide Area Network), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the detection unit included in the control device detects the mirror part of the dental mirror.
  • the present technology is not limited to this example, and the mirror unit is detected by a device other than the control device. It may be broken.
  • the interface unit may function as an acquisition unit and receive and acquire dental mirror detection information from another device.
  • control unit included in the control device may further control the optical magnification (focal length) of the microscope unit 5303.
  • optical magnification focal length
  • the control unit may replace or add to the arm control process.
  • the imaging range may be widened by controlling the optical magnification.
  • control unit included in the control device may perform image processing for superimposing and combining warning information for notifying a user of a warning.
  • warning information for notifying the warning may be superimposed on the captured image.
  • An acquisition unit for acquiring dental mirror detection information from a captured image acquired by the imaging device A control unit that performs at least one of image processing for the captured image and arm control processing for controlling an arm unit that supports the imaging device based on the dental mirror detection information; A control device comprising: (2) The control unit performs at least the image processing, The control device according to (1), wherein the image processing includes a process of cutting out a cutout area specified based on the dental mirror detection information.
  • the dental mirror detection information includes information indicating a region of the mirror part of the detected dental mirror, The control device according to (2), wherein the cutout region includes a region of the mirror unit.
  • the dental mirror detection information includes information indicating the position of the mirror part of the detected dental mirror, The control device according to any one of (1) to (3), wherein the control unit performs the arm control processing based on a position of the mirror unit. (5) The control device according to (4), wherein the control unit performs the arm control process such that a position of the mirror unit is a predetermined position in the captured image. (6) The dental mirror detection information further includes information indicating a region of the mirror part, The control device according to (5), wherein the control unit performs the arm control process when at least a part of the area of the dental mirror overlaps with an outer peripheral area of the captured image.
  • the dental mirror detection information further includes information indicating a region of the mirror part, The control device according to (4), wherein the control unit includes the area of the dental mirror, and performs the arm control process so that a ratio of the area of the dental mirror in the captured image is larger.
  • the dental mirror detection information further includes information indicating whether or not the mirror part of the dental mirror has been successfully detected, The control unit performs the arm control process so that the imaging range of the imaging apparatus is widened when the information indicating that the detection of the mirror unit has failed is included in the dental mirror detection information.
  • the control device according to (7). (9) The control device according to (1), wherein the control unit performs the arm control process based on an angle of a mirror part of a dental mirror detected from the captured image.
  • control unit performs the arm control process according to a difference between an angle of the mirror unit at a first time and an angle of the mirror unit at a second time. .
  • the control unit specifies a camera parameter related to the imaging device such that an observation target is included in the mirror unit in the captured image based on an angle of the mirror unit, and based on the camera parameter, the arm The control device according to (9), wherein the control process is performed.
  • the control unit identifies a suitable angle of the mirror unit such that an observation target is included in the mirror unit of the dental mirror in the captured image, and combines the navigation information for guiding to the suitable angle with the captured image.
  • the control device according to (1) which performs image processing.
  • a processor performs at least one of image processing for the captured image and arm control processing for controlling an arm unit supporting the imaging device based on the dental mirror detection information; Including a control method.
  • a control unit that performs either one of A control device comprising: Including medical observation system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

【課題】制御装置、制御方法、及び医療用観察システムを提供する。 【解決手段】撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得する取得部と、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部と、を備える制御装置。

Description

制御装置、制御方法、及び医療用観察システム
　本開示は、制御装置、制御方法、及び医療用観察システムに関する。
　歯科治療では、患部を直視することは困難な場合があり、例えば、術者（歯科医師）は一方の手で把持したデンタルミラーの鏡面反射像を観察しながら、他方の手で把持した術具を用いて処置を行うことがある。また、特許文献１には、デンタルミラーの把柄部にビデオカメラを装着し、鏡面反射像をビデオカメラで撮像するシステムが開示されている。
　一方、近年では歯科治療にビデオ顕微鏡が用いられつつある。ビデオ顕微鏡において所望の視野（表示画像）を得るためには、例えば術者がビデオ顕微鏡の位置や角度を決定することで、視野を決定することができる。その後、例えば術者は得られた視野に応じてデンタルミラーの位置や角度を調整して、患部を観察しながら歯科治療を行うことができる。
特開２００５－０６６２８４号公報
　しかし、上述したように、歯科治療中の術者の両手はデンタルミラーと術具で塞がってしまうため、例えばより自由に患部を観察するため、ビデオ顕微鏡の位置や角度を変更することは困難な場合があった。
　そこで、本開示では、ビデオ顕微鏡とデンタルミラーを用いた歯科治療において、より自由に患部（観察対象）を観察することが可能な、新規かつ改良された制御装置、制御方法、及び医療用観察システムを提案する。
　本開示によれば、撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得する取得部と、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部と、を備える制御装置が提供される。
　また、本開示によれば、撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得することと、プロセッサが、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行うことと、を含む、制御方法が提供される。
　また、本開示によれば、撮像画像を取得する撮像装置と、前記撮像画像からのデンタルミラー検出情報を取得する取得部、及び前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部、を備える制御装置と、を含む、医療用観察システムが提供される。
　以上説明したように本開示によれば、ビデオ顕微鏡とデンタルミラーを用いた歯科治療において、より自由に患部（観察対象）を観察することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係る実施形態が適用され得る医療用観察システム５３００の概略的な構成の一例を示す図である。 医療用観察システム５３００を用いた手術の様子を示す図である。 本開示の第１の実施形態に係る制御装置１－１の機能構成の一例を示したブロック図である。 同実施形態に係る画像処理部１１２による切出し処理、及び画像拡大処理の一例を示す説明図である。 同実施形態に係る制御装置１－１の動作例を示すフローチャート図である。 本開示の第２の実施形態に係る制御装置１－２の機能構成の一例を示したブロック図である。 同実施形態に係る制御装置１－２の動作の一例を示すフローチャート図である。 同実施形態に係る制御装置１－２の動作の他の例を示すフローチャート図である。 同実施形態に係る制御装置１－２の動作の他の例を示すフローチャート図である。 同実施形態に係る制御装置１－２の動作の他の例を示すフローチャート図である。 本開示の第３の実施形態に係る制御装置１－３の機能構成の一例を示したブロック図である。 同実施形態に係る制御装置１－３の動作例を示すフローチャート図である。 本開示の第４の実施形態に係る制御装置１－４の機能構成の一例を示したブロック図である。 患部（観察対象）が観察可能な初期状態を示している。 カメラの位置と姿勢が変更された状態における平面図である。 より詳細に好適角度を算出する手順を説明するための説明図である。 同実施形態に係るナビゲーション情報の例を示す説明図である。 同実施形態に係る制御装置１－４の動作例を示すフローチャート図である。 本開示の第５の実施形態に係る制御装置１－５の機能構成の一例を示したブロック図である。 同実施形態に係る制御装置１－５の動作例を示すフローチャート図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．概要＞＞
　＜＜２．実施形態＞＞
　　＜２－１．第１の実施形態＞
　　＜２－２．第２の実施形態＞
　　＜２－３．第３の実施形態＞
　　＜２－４．第４の実施形態＞
　　＜２－５．第５の実施形態＞
　＜＜３．ハードウェア構成例＞＞
　＜＜４．むすび＞＞
　＜＜１．概要＞＞
　まず、本開示をより明確なものとするために、本開示に係る実施形態が適用され得る医療用観察システムについて説明する。
　図１は、本開示に係る実施形態が適用され得る医療用観察システム５３００の概略的な構成の一例を示す図である。図１を参照すると、医療用観察システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の医療用観察システム５３００についての説明において、「ユーザ」とは、例えば手術の術者及び助手等、医療用観察システム５３００を使用する任意の医療スタッフのことを意味する。
　顕微鏡装置５３０１は、観察対象（患者の術部等）を拡大観察するための顕微鏡部５３０３（撮像装置）と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。
　顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。
　筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light　Emitting　Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
　撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ又はＣＣＤ（Charge　Coupled　Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
　なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の合焦距離（合焦した観察対象までの距離）が調整され得る。また、撮像部には、ＡＥ（Auto　Exposure）機能やＡＦ（Auto　Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
　また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
　操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの合焦距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び合焦距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
　アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。
　第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
　第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。
　第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。
　第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。
　第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
　第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。
　第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。
　第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。
　第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。
　第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。
　第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。
　第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。
　第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
　なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
　ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
　例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。
　また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。
　また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その合焦距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な合焦距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする合焦距離に対応する半径を有する半球面（図１に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その合焦距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の合焦距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で合焦距離の調整が行われてもよい。
　また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
　このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。
　制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、医療用観察システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する（アーム制御処理を行う）。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理（画像処理）を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。
　なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
　制御装置５３１７は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。
　表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro　Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
　図２は、図１に示す医療用観察システム５３００を用いた手術の様子を示す図である。図２では、術者５３２１が、医療用観察システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図２では、簡単のため、医療用観察システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。
　図２に示すように、手術時には、医療用観察システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
　以上、本開示に係る実施形態が適用され得る医療用観察システム５３００の一例について説明した。続いて、上述した医療用観察システム５３００が歯科治療に用いられる場合について検討する。
　歯科治療では、ユーザは一方の手で把持したデンタルミラーの鏡面反射像（患部）を観察しながら、他方の手で把持した術具を用いて処置を行うことがある。したがって、歯科治療中の術者の両手はデンタルミラーと術具で塞がってしまい、上述したアーム部５３０９を移動させることが困難となり得る。その結果、ユーザは自由に患部（観察対象）を観察するための所望の視野を得ることが困難な場合があった。
　また、光学顕微鏡が用いられる場合には、ユーザの視線と、光学顕微鏡の光軸とが一致するため、ユーザは、肉眼においてデンタルミラーを用いる場合と同様の感覚でデンタルミラーの角度調整、及び位置調整を行うことが可能である。したがって、光学顕微鏡が用いられる場合、ユーザはデンタルミラーの角度調整、及び位置調整を直感的に行うことが可能であり、特に肉眼におけるデンタルミラーによる歯科治療に慣れたユーザにとって違和感が発生し難い。
　一方で、ビデオ顕微鏡（顕微鏡部５３０３）を有する医療用観察システム５３００が用いられる場合、図２に示すようにユーザ（術者５３２１）の視線は、表示装置５３１９に向かう。係る場合、ユーザの視線と顕微鏡部５３０３の光軸は一致しないため、ユーザは自らの視線ではなく、顕微鏡部５３０３の光軸に対する角度や位置を意識しながらデンタルミラーの角度調整、及び位置調整を行うことになる。したがって、ユーザにとってデンタルミラーの角度調整、及び位置調整を行うことは容易でなく、自由に患部（観察対象）を観察することは困難であった。
　そこで、上記事情を一着眼点にして本開示に係る実施形態を創作するに至った。本開示に係る実施形態によれば、撮像画像からのデンタルミラー検出情報に基づいて、撮像画像に対する画像処理またはアーム部５３０９を制御するアーム制御処理を行うことで、より自由に患部（観察対象）を観察することが可能となる。以下、上記の効果を実現する本開示のいくつかの実施形態について説明を行う。
　＜＜２．実施形態＞＞
　　＜２－１．第１の実施形態＞
　ユーザがビデオ顕微鏡とデンタルミラーを用いて患部を観察する場合、表示装置に表示される出力画像のうち、デンタルミラー先端のミラー部が占める割合が小さいと、ユーザは鏡面反射像として当該ミラー部に映る患部を快適に観察することが困難である。そこで、本開示に係る第１の実施形態として、ミラー部が占める割合が高い出力画像を得ることが可能な制御装置について説明する。
　（構成例）
　まず、本開示の第１の実施形態の構成例について、図３を参照して説明する。図３は、本実施形態に係る制御装置１－１の機能構成の一例を示したブロック図である。図３に示す制御装置１－１は、図１を参照して説明した制御装置５３１７に相当する。図３に示すように、制御装置１－１は、制御部１１、検出部２０、インタフェース部３０、及び記憶部４０を備える。
　制御部１１は、制御装置１－１の各構成を制御する。また、本実施形態に係る制御部１１は、画像処理部１１２としても機能する。以下、制御装置１－１の全体構成を説明した後に、制御部１１の画像処理部１１２としての機能について説明する。
　検出部２０は、図１を参照して説明した顕微鏡部５３０３により取得される撮像画像からデンタルミラーの検出を行い、デンタルミラーの検出に係るデンタルミラー検出情報を取得する取得部として機能する。
　例えば、検出部２０は、デンタルミラーのうち、鏡面反射像を映すデンタルミラー先端のミラー部を検出してもよい。また、検出部２０が取得し、制御部１１に提供するデンタルミラー検出情報は、ミラー部の位置（例えばミラー部の重心位置）を示す情報、ミラー部の領域を示す情報、及びミラー部の検出に成功したか否かを示す情報を含んでもよい。なお、検出部２０によるミラー部の検出は、周知の物体検出技術により行われてもよい。
　インタフェース部３０は、入出力のためのインタフェースである。例えば、インタフェース部３０は、図１を参照して説明した顕微鏡装置５３０１、及び表示装置５３１９との間で情報の入出力を行う。例えば、制御部１１は、インタフェース部３０を介して、顕微鏡装置５３０１から、顕微鏡部５３０３による撮像画像を取得してもよい。また、制御部１１は、インタフェース部３０を介して、アーム部５３０９の制御を行うための制御信号を顕微鏡装置５３０１に出力させてもよい。また、制御部１１は、インタフェース部３０を介して表示装置５３１９へ出力画像を出力させてもよい。
　記憶部４０は、制御装置１－１の各構成が機能するためのプログラムやパラメータを記憶する。
　以上、制御装置１－１の全体構成について説明した。続いて、制御部１１の画像処理部１１２としての機能について説明する。
　画像処理部１１２は、検出部２０から提供されるデンタルミラー検出情報に基づいて、撮像画像に対する画像処理を行う。本実施形態に係る画像処理部１１２は、例えばデンタルミラー検出情報に基づいて、切出し領域を特定し、当該切出し領域を撮像画像から切出す画像処理を行ってもよい。
　例えば、撮像画像が所謂４Ｋ解像度であり、表示装置５３１９が例えば２Ｋ解像度で表示可能な場合、画像処理部１１２は、ミラー部の領域を含む２Ｋ解像度相当の領域を切出し領域として特定してもよい。また、画像処理部１１２は、撮像画像から切出した当該切出し領域を、出力画像として表示装置５３１９へ出力させてもよい。
　また、画像処理部１１２は、ミラー部の領域を含み、表示装置５３１９の解像度に相当する領域より小さい領域を切出し領域として特定してもよい。係る場合、画像処理部１１２は、当該切り出し領域を切出した後、拡大処理を行って、表示装置５３１９へ出力させる出力画像を生成してもよい。なお、画像処理部１１２による画像拡大処理は、超解像処理を含んでもよいし、Bi-cubic法、Bi-linear法等の周知の画像拡大処理を含んでもよい。
　なお、画像処理部１１２は、切り出し領域の大きさを、検出されたミラー部の領域の面積に基づいて特定してもよいし、不図示のフットスイッチ等を介したユーザの入力に基づいて特定してもよい。また、画像処理部１１２は、切り出し領域の中心位置が、ミラー部の位置となるように、切り出し領域を特定してもよい。
　図４は、画像処理部１１２による切出し処理、及び画像拡大処理の一例を示す説明図である。例えば、図４に示す撮像画像Ｇ１２から、検出部２０によりデンタルミラー５の先端のミラー部５２が検出される。例えば、検出部２０は、検出したミラー部５２の領域として領域Ｄ１２を制御部１１へ提供し得る。制御部１１の画像処理部１１２は、領域Ｄ１２を含むような切り出し領域Ｄ１０を特定し、切り出し領域Ｄ１０を切出した後、画像拡大処理を行って、表示装置５３１９に表示される出力画像Ｇ１４を生成する。
　係る構成により、撮像画像のうち、デンタルミラー先端のミラー部の領域が占める割合が小さい場合であっても、表示装置５３１９にはミラー部が十分な大きさで表示され、ユーザは快適に患部を観察することが可能となる
　（動作例）
　以上、本実施形態に係る制御装置１－１の構成例について説明した。続いて、本実施形態の動作例について図５を参照して説明する。図５は、本実施形態に係る制御装置１－１の動作例を示すフローチャート図である。
　図５に示すように、まず、撮像画像がインタフェース部３０を介して入力される（Ｓ１０２）。続いて、検出部２０により、デンタルミラー先端のミラー部が検出される（Ｓ１０４）。
　続いて、画像処理部１１２は、検出部２０により提供されるミラー部の領域に基づき、切出し領域を特定し（Ｓ１０６）、当該切出し領域を撮像画像から切出す（Ｓ１０８）。
　さらに、画像処理部１１２は、ステップＳ１０８で得られた当該切出し領域を必要に応じて拡大し（Ｓ１１０）、得られた出力画像を表示装置５３１９へ出力させる（Ｓ１１２）。
　上述したステップＳ１０２～Ｓ１１２の処理は適宜繰り返されてもよい。
　（効果）
　以上、本開示の第１の実施形態について説明した。本開示の第１の実施形態によれば、撮像画像のうち、ミラー部の領域が占める割合が小さい場合であっても、鏡面反射像を映すミラー部が十分な大きさで表示され、ユーザは快適に患部を観察することが可能となる。
　なお、本実施形態に係る制御装置１－１はアーム制御処理を行わなくてもよいため、図１に示した顕微鏡装置５３０１がアーム部５３０９の駆動機構を備えていない場合であっても本実施形態は適用可能である。
　　＜２－２．第２の実施形態＞
　上記第１の実施形態では、画像処理により、ユーザの所望の出力画像（ミラー部の占める割合のより大きい画像）を得る例を説明した。続いて、本開示の第２の実施形態として、画像処理に加え、アーム制御処理を行う例を説明する。
　（構成例）
　まず、本開示の第２の実施形態の構成例について、図６を参照して説明する。図６は、本開示の第２の実施形態に係る制御装置１－２の機能構成の一例を示したブロック図である。図６に示す制御装置１－２は、図１を参照して説明した制御装置５３１７に相当する。図６に示すように、制御装置１－１は、制御部１２、検出部２０、インタフェース部３０、及び記憶部４０を備える。図６に示す構成のうち、検出部２０、インタフェース部３０、及び記憶部４０の構成は、それぞれ図３を参照して説明した検出部２０、インタフェース部３０、及び記憶部４０の構成と実質的に同一であるため、ここでの説明は省略する。
　制御部１２は、制御装置１－２の各構成を制御する。また、本実施形態に係る制御部１２は、図６に示すように画像処理部１２２、及びアーム制御部１２４としても機能する。
　画像処理部１２２は、図３を参照して説明した画像処理部１１２と同様に、検出部２０から提供されるデンタルミラー検出情報に基づいて、撮像画像に対する画像処理を行う。例えば、画像処理部１２２は、画像処理部１１２と同様に、切出し領域の特定処理、切出し処理、及び拡大処理等を行ってもよい。
　また、本実施形態に係る画像処理部１２２は、切出し領域を特定する際に、切出し領域が撮像範囲の外に出そうか否かを判定してもよい。例えば、画像処理部１２２は、切出し領域が、撮像画像における所定の外周領域に含まれるか否かを判定することで、当該切出し領域が切出し領域が撮像範囲の外に出そうか否かを判定してもよい。また、画像処理部１２２は切出し領域の特定に用いられるミラー部の領域のうち少なくとも一部が撮像画像における所定の外周領域に含まれるか否かを判定することで、当該切出し領域が撮像範囲の外に出そうか否かを判定してもよい。画像処理部１２２は、当該判定の結果をアーム制御部１２４へ提供する。係る構成により、切出し領域が撮像範囲外に出そうな場合に、後述するアーム制御部１２４がアーム制御処理を行って、ミラー部が撮像範囲の外に出ることを防ぐことが可能となる。
　アーム制御部１２４は、図１、図２を参照して説明したアーム部５３０９を制御するアーム制御処理を行う。例えば、本実施形態に係るアーム制御部１２４は、検出されたミラー部の位置に基づいて、アーム制御処理を行ってもよい。
　アーム制御部１２４は、例えばミラー部の位置が、撮像画像における所定の位置（例えば中心位置）となるようにアーム制御処理を行ってもよい。アーム制御部１２４によるアーム制御処理は、例えば、画像処理部１２２により切出し領域が撮像範囲の外に出そうであると判定された場合に行われてもよい。係る場合の動作例については、図７を参照して後述する。また、アーム制御部１２４によるアーム制御処理は、常に行われてもよい。係る場合の動作例については、図８を参照して後述する。
　係る構成により、ミラー部が撮像範囲の外に出ることを防ぐことが可能となる。したがって、ユーザが最初に設定した撮像範囲よりも術野が広い場合に、ユーザが撮像範囲を例えば手動で再設定を行う手間を省くことが可能となる。
　また、アーム制御部１２４は、検出されたミラー部の領域が撮像画像に含まれ、かつ、撮像画像に占めるミラー部の領域の割合がより大きくなるように、アーム制御処理を行ってもよい。なお、係るアーム制御処理は、例えばビジュアルフィードバック制御により実現されてもよい。係るアーム制御処理によれば、画像処理部１２２による切出し処理により得られる画像と同様の画角の画像を、撮像により得ることが可能となる。そのため、係る場合に画像処理部１２２による切出し処理と拡大処理は、行われなくてもよく、出力画像は切出し処理と拡大処理が行われる場合よりも高画質となり得る。係る例では、顕微鏡部５３０３の撮像範囲がミラー部を追跡するように、アーム制御処理が行われるため、以下では係るアーム制御処理をミラー部の追跡と呼ぶ場合がある。
　なお、ミラー部の追跡は、例えば予め設定される医療用観察システム５３００のモード設定に応じて常時行われてもよい。また、不図示のフットスイッチ等を介したユーザの入力に基づいて、当該モードが切り替えられてもよい。係る場合の動作例については、図９を参照して後述する。
　また、ミラー部の追跡は、不図示のフットスイッチ等を介したユーザの入力により指示されたタイミングにのみ行われてもよい。係る場合、ミラー部が連続的に追跡されないため、検出部２０が撮像画像からミラー部の検出に失敗する恐れがある。そこで、アーム制御部１２４は、ミラー部の検出に失敗したことを示す情報がデンタルミラー検出情報に含まれていた場合に、顕微鏡部５３０３の撮像範囲が広くなるようにアーム制御処理を行ってもよい。例えば、アーム制御部１２４は、顕微鏡部５３０３が後方に移動するように、アーム制御処理を行ってもよい。係る場合の動作例については、図１０を参照して後述する。
　係る構成により、撮像画像にミラー部が含まれず、検出部２０がミラー部の検出に失敗した場合であっても、顕微鏡部５３０３の撮像範囲が広くなるように、アーム制御処理が行われるため、検出部２０はミラー部を検出し得る。
　（動作例）
　以上、本実施形態に係る制御装置１－２の構成例について説明した。続いて、本実施形態に係るいくつかの動作例について図７～１０を参照して説明する。
　図７は、本実施形態に係る制御装置１－２の動作の一例を示すフローチャート図である。図７に示すステップＳ２０２～Ｓ２０６の処理は、図５を参照して説明したステップＳ１０２～Ｓ１０６の処理と同様であるため、説明を省略する。
　ステップＳ２０８において、画像処理部１２２は、切出し領域が撮像範囲の外に出そうか否かを判定する。切出し領域が撮像範囲の外に出そうである場合（ステップＳ２０８においてＹＥＳ）、アーム制御部１２４は、ミラー部の位置が、撮像画像における中心位置となるようにアーム制御処理を行い（Ｓ２１０）、処理はステップＳ２０２に戻る。
　一方、切出し領域が撮像範囲の外に出そうと判定されない場合（ステップＳ２０８においてＮＯ）、処理はステップＳ２１２に進む。図７に示すステップＳ２１２～Ｓ２１６の処理は、図５を参照して説明したステップＳ１０８～Ｓ１１２の処理と同様であるため、説明を省略する。
　上述したステップＳ２０２～Ｓ２１６の処理は適宜繰り返されてもよい。
　図８は、本実施形態に係る制御装置１－２の動作の他の例を示すフローチャート図である。図８に示す例では、切出し領域が撮像範囲の外に出そうか否かに関わらず、常にアーム制御処理が行われ得る。
　図８に示すステップＳ２２２～Ｓ２２４の処理は、図５を参照して説明したステップＳ１０２～Ｓ１０４の処理と同様であるため、説明を省略する。
　ステップＳ２２６において、アーム制御部１２４は、ミラー部の位置が、撮像画像における中心位置となるようにアーム制御処理を行う（Ｓ２２６）。
　続いて、画像処理部１２２が撮像画像の中央部分を切出す処理を行う（Ｓ２２８）。続くステップＳ２３０～Ｓ２３２の処理は、図５を参照して説明したステップＳ１１０～Ｓ１１２の処理と同様であるため、説明を省略する。
　上述したステップＳ２２２～Ｓ２３２の処理は適宜繰り返されてもよい。
　図９は、本実施形態に係る制御装置１－２の動作の他の例を示すフローチャート図である。図９に示す例では、顕微鏡部５３０３の撮像範囲がミラー部を追跡するように、アーム制御処理が行われる。また、図９に示す例では、アーム制御処理に係る動作のみ示してあり、表示装置５３１９への画像出力は、本動作とは独立に行われ得る。例えば、顕微鏡部５３０３の撮像画像がそのまま出力画像として、表示装置５３１９へ出力されてもよい。
　図９に示すように、まず、撮像画像がインタフェース部３０を介して入力される（Ｓ２４２）。続いて、撮像範囲がミラー部を追跡するモードであるか否かが判定される（Ｓ２４４）。撮像範囲がミラー部を追跡するモードでない場合（Ｓ２４４においてＮＯ）、処理は終了する。
　一方、撮像範囲がミラー部を追跡するモードである場合（Ｓ２４４においてＹＥＳ）、検出部２０により、デンタルミラー先端のミラー部が検出される（Ｓ２４６）。続いて、アーム制御部１２４が、撮像画像に検出されたミラー部の領域が含まれ、かつ、撮像画像に占めるミラー部の領域の割合がより大きくなるようにアーム制御処理を行う（Ｓ２４８）。
　上述したステップＳ２４２～Ｓ２４８の処理は適宜繰り返されてもよい。
　図１０は、本実施形態に係る制御装置１－２の動作の他の例を示すフローチャート図である。図１０に示す例では、例えばユーザにより指示されたタイミングのみ、顕微鏡部５３０３の撮像範囲がミラー部を追跡するように、アーム制御処理が行われる。
　また、図１０に示す例では、アーム制御処理に係る動作のみ示してあり、表示装置５３１９への画像出力は、本動作とは独立に行われ得る。例えば、顕微鏡部５３０３の撮像画像がそのまま出力画像として、表示装置５３１９へ出力されてもよい。
　図１０に示すように、まず、撮像画像がインタフェース部３０を介して入力される（Ｓ２６２）。続いて、例えばユーザの入力により撮像範囲がミラー部を追跡する指示が行われているか否かが判定される（Ｓ２６４）。撮像範囲がミラー部を追跡する指示が行われていない場合（Ｓ２６４においてＮＯ）、処理は終了する。
　一方、撮像範囲がミラー部を追跡する指示が行われている場合（Ｓ２６４においてＹＥＳ）、検出部２０により、デンタルミラー先端のミラー部の検出処理が行われる（Ｓ２６６）。
　ステップＳ２６６において、ミラー部の検出に成功した場合（Ｓ２６８においてＹＥＳ）、アーム制御部１２４は、検出されたミラー部の領域が撮像画像に含まれ、かつ、撮像画像に占めるミラー部の領域の割合がより大きくなるようにアーム制御処理を行う（Ｓ２７０）。
　ステップＳ２６６において、ミラー部の検出に失敗した場合（Ｓ２６８においてＮＯ）、観察対象との距離（例えば合焦距離）等の状態が記憶部４０に記憶される（Ｓ２７８）。続いて、アーム制御部１２４は、顕微鏡部５３０３の撮像範囲が広くなるように、アーム制御処理を行う（Ｓ２８０）。
　続いて、検出部２０が、再度ミラー部の検出処理を行う（Ｓ２８２）。ステップＳ２８２において、ミラー部の検出に成功した場合（Ｓ２８４においてＹＥＳ）、アーム制御部１２４は、撮像画像に検出されたミラー部の領域が含まれ、かつ、撮像画像に占めるミラー部の領域の割合がより大きくなるようにアーム制御処理を行う（Ｓ２８６）。また、アーム制御部１２４は、ステップＳ２７８で記憶された状態に復帰するようにアーム制御処理を行う（Ｓ２９２）。一方、ステップＳ２８２において、ミラー部の検出に失敗した場合（Ｓ２８４においてＮＯ）、制御部１２は、表示装置５３１９へエラー画面を出力させ（Ｓ２９４）、処理は終了する。
　上述したステップＳ２６２～Ｓ２９４の処理は適宜繰り返されてもよい。
　（効果）
　以上、本開示の第２の実施形態について説明した。本開示の第２の実施形態によれば、例えば術野が広い場合や、患者が移動した場合であっても、ミラー部が撮像範囲に含まれるようにアーム制御処理が行われ、ユーザが手動で撮像範囲を再設定する手間を省くことが可能となる。
　　＜２－３．第３の実施形態＞
　続いて、本開示の第３の実施形態として、デンタルミラーのミラー部を、アーム制御処理のためのＵＩ（User　Interface）として用いる例について説明する。
　上述したように、歯科治療中のユーザの両手はデンタルミラーと術具で塞がってしまうため、ユーザ自身がアーム部５３０９を直接動かすことが出来ない。そこで、本実施形態では、デンタルミラーのミラー部の位置と角度をユーザが動かすことに応じて、顕微鏡部５３０３が、図１を参照して説明したピボット動作をするようにアーム制御処理を行う。
　（構成例）
　まず、本開示の第３の実施形態の構成例について、図１１を参照して説明する。図１１は、本開示の第３の実施形態に係る制御装置１－３の機能構成の一例を示したブロック図である。図１１に示す制御装置１－３は、図１を参照して説明した制御装置５３１７に相当する。図１１に示すように、制御装置１－３は、制御部１３、検出部２０、インタフェース部３０、及び記憶部４０を備える。図１１に示す構成のうち、検出部２０、インタフェース部３０、及び記憶部４０の構成は、それぞれ図３を参照して説明した検出部２０、インタフェース部３０、及び記憶部４０の構成と実質的に同一であるため、ここでの説明は省略する。
　制御部１３は、制御装置１－３の各構成を制御する。また、本実施形態に係る制御部１３は、図１１に示すようにアーム制御部１３４、及びミラー角度特定部１３６としても機能する。
　アーム制御部１３４は、図１、図２を参照して説明したアーム部５３０９を制御するアーム制御処理を行う。例えば、アーム制御部１３４は、検出されたミラー部の位置に基づいて、アーム制御処理を行ってもよい。また、アーム制御部１３４は、後述するミラー角度特定部１３６により特定されるミラー部の角度に基づいて、アーム制御処理を行う。
　例えば、アーム制御部１３４は、第一の時刻（過去）におけるミラー部の位置と、第二の時刻（現在）のミラー部の位置との差に応じて、顕微鏡部５３０３が平行移動するように、アーム制御処理を行ってもよい。
　また、アーム制御部１３４は、第一の時刻（過去）におけるミラー部の角度と、第二の時刻（現在）のミラー部の角度との差に応じて、ミラー部の中心位置をピボット軸として、顕微鏡部５３０３がピボット動作するように、アーム制御処理を行ってもよい。
　上述した平行移動と、ピボット動作は同時に行われてもよい。すなわち、撮像画像から検出されるミラー部の位置に応じて顕微鏡部５３０３を平行移動させて、ミラー部を撮像画像の中心に捉え、かつその時点のミラー部の角度に応じて、ミラー部の中心位置をピボット軸として、ピボット動作させてもよい。
　係る構成により、ユーザはミラー部の位置や角度を変更することで、第一の時刻においてミラー部に映っていた患部を、他の角度から観察することが可能となる。
　ミラー角度特定部１３６は、検出部２０により検出されたミラー部の角度を特定する。例えば、ミラー角度特定部１３６は、検出部２０により検出されたミラー部の領域に対してハフ変換処理による楕円形状検出を行い、検出された楕円形状の曲率（歪み）に基づいて、ミラー部の角度を特定してもよい。
　（動作例）
　以上、本実施形態に係る制御装置１－３の構成例について説明した。続いて、本実施形態に係る動作例について図１２を参照して説明する。
　図１２は、本実施形態に係る制御装置１－３の動作例を示すフローチャート図である。図１２に示すステップＳ３０２～Ｓ３０４の処理は、図５を参照して説明したステップＳ１０２～Ｓ１０４の処理と同様であるため、説明を省略する。
　続いて、ミラー角度特定部１３６は、ステップＳ３０４で検出されたミラー部の角度を特定する（Ｓ３０６）。続いて、ステップＳ３０８において、現時刻（第一の時刻）におけるミラー部の位置、及び角度が記憶部４０に記憶される（Ｓ３０８）。なお、ステップＳ３０８において患部（観察対象）は撮像画像におけるミラー部に含まれており、ミラー部の位置、及び角度を記憶するトリガは、例えばユーザの入力であってもよい。
　続いて、デンタルミラーによるアーム操作を行うか否かが判定される（Ｓ３１０）。ステップＳ３１０の判定は、例えばユーザ入力や、予め設定される医療用観察システム５３００のモード設定に基づいて行われてもよい。デンタルミラーによるアーム操作が行われない場合（Ｓ３１０においてＮＯ）、処理はステップＳ３０２に戻る。
　続いて、ミラーによるアーム操作が行われる場合（Ｓ３１０においてＹＥＳ）、処理はステップＳ３１２へ進む。ステップＳ３１２～Ｓ３１６の処理は、ステップＳ３０２～Ｓ３０６の処理と同様であるため、説明を省略する。
　続いて、ステップＳ３０８で記憶された第一の時刻におけるミラー部の位置、及び角度と、現在（第二の時刻）におけるミラー部の位置、及び角度との差が算出される（Ｓ３１８）。
　続いて、アーム制御部１３４は、ステップＳ３１８で算出されたミラー部の位置の差に応じて顕微鏡部５３０３が平行移動するようにアーム制御処理を行う（Ｓ３２０）。さらに、アーム制御部１３４は、ステップＳ３１８で算出されたミラー部の角度の差に応じて顕微鏡部５３０３がピボット動作するようにアーム制御処理を行う（Ｓ３２２）。続いて、処理はステップＳ３１０へ戻る。
　（効果）
　以上、本開示の第３の実施形態について説明した。本開示の第３の実施形態によれば、ユーザはミラー部の位置や角度を変更することで、患部を他の角度から観察することが可能となる。係る観察は、例えば肉眼での観察において、ユーザが頭を動かしながら角度を変えて観察することに相当し、ユーザにとってより直観的な観察が実現され得る。
　本実施形態によれば、例えばユーザがドリル等の術具の位置を変更した際、顕微鏡部５３０３の視線と術具が干渉して所望の視野が得られない場合に、ミラー部の位置や角度を調整することで、顕微鏡部５３０３を移動させて、所望の視野を得ることが可能となる。
　　＜２－４．第４の実施形態＞
　続いて、第４の実施形態として、ミラー部に観察対象が含まれるような、ミラー部の好適な角度（好適角度）を特定し、好適角度を実現するようにユーザを誘導するナビゲーション情報を表示させる例を説明する。本実施形態によれば、何らかの理由で顕微鏡部５３０３の位置や姿勢が変更され、患部を観察できなくなってしまった場合に、現状の顕微鏡部５３０３の位置や姿勢をさらに変更することなく、患部を観察するためのナビゲーション情報をユーザに提供し得る。例えば、ユーザがナビゲーション情報に従ってミラー部の角度を変更することで、患部を観察することが可能となる。
　（構成例）
　まず、本開示の第４の実施形態の構成例について、図１３～図１７を参照して説明する。図１３は、本開示の第４の実施形態に係る制御装置１－４の機能構成の一例を示したブロック図である。図１３に示す制御装置１－４は、図１を参照して説明した制御装置５３１７に相当する。図１３に示すように、制御装置１－４は、制御部１４、検出部２０、インタフェース部３０、及び記憶部４０を備える。図１３に示す構成のうち、検出部２０、インタフェース部３０、及び記憶部４０の構成は、それぞれ図３を参照して説明した検出部２０、インタフェース部３０、及び記憶部４０の構成と実質的に同一であるため、ここでの説明は省略する。
　制御部１４は、制御装置１－４の各構成を制御する。また、本実施形態に係る制御部１４は、図１３に示すように画像処理部１４２、ミラー角度特定部１４６、及び好適ミラー角度特定部１４８としても機能する。
　画像処理部１４２は、検出部２０から提供されるデンタルミラー検出情報に基づいて、撮像画像に対する画像処理を行う。本実施形態に係る、画像処理部１４２は、後述する好適ミラー角度特定部１４８により特定されるミラー部の好適角度に誘導するナビゲーション情報を、撮像画像に合成する画像処理を行う。例えば、画像処理部１４２は、撮像画像にナビゲーション情報を重畳合成して、出力画像を生成してもよい。なお、ナビゲーション情報の例については、図１７を参照して後述する。
　ミラー角度特定部１４６は、図１１を参照して説明したミラー角度特定部１３６と同様に、検出部２０により検出されたミラー部の角度を特定する。また、好適ミラー角度特定部１４８は、ミラー角度特定部１４６により特定されたミラー部の角度に基づいて、撮像画像におけるミラー部に、観察対象（例えば患部）が含まれるようなミラー部の好適角度を特定する。好適ミラー角度特定部１４８は、さらに顕微鏡部５３０３に係るカメラパラメータ（位置、及び姿勢）に基づいて、ミラー部の好適角度を特定する。なお、顕微鏡部５３０３に係るカメラパラメータは、例えばアーム部５３０９の各関節角度と長さの情報に基づいて得られてもよいし、顕微鏡部５３０３に光学的、または磁気的なマーカが取り付けられ、光学センサまたは磁気センサによりセンシングされて得られてもよい。
　以下、図１４～図１６を参照して、好適ミラー角度特定部１４８による好適角度の特定について説明する。
　図１４は、位置Ｐに存在する患部（観察対象）が観察可能な初期状態を示している。また、図１４に示す平面図Ｃ１２と、側面図Ｃ１４において、原点Ｏに対するカメラ（顕微鏡部５３０３）の位置Ｃの相対座標と姿勢が得られている。さらに、カメラからミラー部５２までの距離ＣＭ、カメラから患部までの合焦距離ＣＭ＋ＭＰ、ミラー部の角度θ0、及びφ0が観測可能である。上記の観測可能な情報から、原点Ｏに対する患部の位置Ｐの相対座標を求めることが可能となる。
　図１５は、図１４に示した状態から、カメラの位置と姿勢が変更された状態における平面図Ｃ２２である。ここで、原点Ｏと患部の位置Ｐの相対関係が不変である場合、移動後のカメラ位置Ｃ’と、ミラー部５２までの距離Ｃ’Ｍ、及び患部の位置Ｐから、好適ミラー角度特定部１４８はミラー部の好適角度θvを特定することが可能である。なお、好適角度におけるミラー部の姿勢は、符号Ｖ５２として図１５に示されている。
　また、現在のミラー部５２の角度は、ミラー角度特定部１４６により特定されるため、ミラー部５２と好適角度におけるミラー部Ｖ５２との角度差を算出することも可能となる。なお、上記では、平面図において、Ｚ軸周りの角度差を算出する例を説明したが、側面図でも同様に、Ｘ軸周りの角度差を算出することが可能である。
　図１６は、より詳細に好適角度を算出する手順を説明するための説明図である。図１６において、カメラ、好適角度におけるミラー部、及び観察対象のそれぞれの位置と向きを（t,n）t,n∈R3で表す。また、nCはカメラ光軸、nM、nOはそれぞれ好適角度におけるミラー部と観察対象の法線方向であり、
Figure JPOXMLDOC01-appb-M000001
　であるとする。また、カメラからミラー部を介した観察対象までの光路長が、カメラの合焦距離ｌに等しいとすると、
Figure JPOXMLDOC01-appb-M000002
　の関係が得られる。ここで、
Figure JPOXMLDOC01-appb-M000003
　とすると、次式（１）の関係が得られる。
Figure JPOXMLDOC01-appb-M000004
　また、ミラー部の位置tMは、次の２つのベクトルの交点である。
Figure JPOXMLDOC01-appb-M000005
　したがって、次式（２）の関係が得られる。
Figure JPOXMLDOC01-appb-M000006
　上記の式（１）、式（２）より、a,bはそれぞれ以下のように求められる。
Figure JPOXMLDOC01-appb-M000007
　また、ミラー部の位置tMは、次式（３）で得られる。
Figure JPOXMLDOC01-appb-M000008
　また、ミラー部に対する入射角と反射角は等しいため、観察対象を観察可能なミラー部の向き（好適角度）nMは、次式（４）で表される。
Figure JPOXMLDOC01-appb-M000009
　以上、説明したように、好適ミラー角度特定部１４８は、ミラー部の好適角度を特定し得る。
　図１７は、上述した好適角度に誘導するナビゲーション情報の例を示す説明図である。例えば、画像処理部１４２は、図１７に示す出力画像Ｇ２０のように、現在のミラー部を、好適角度に誘導する回転方向を示す矢印であるナビゲーション情報Ｇ２２を撮像画像に合成してもよい。また、画像処理部１４２は、図１７に示す出力画像Ｇ３０のように、好適角度におけるデンタルミラーのイメージを示すナビゲーション情報Ｇ３２を撮像画像に合成してもよい。
　図１７に示したような、好適角度に誘導するナビゲーション情報が撮像画像に合成された出力画像が表示されることで、ユーザは好適角度にミラー部を調整することが可能であり、患部（観察対象）を観察可能となる。なお、図１７に示した例は一例であって、ナビゲーション情報は図１７の例に限定されない。例えば、ナビゲーション情報は、好適角度や、好適角度と現在のミラー部の角度との差を示す数値情報等を含んでもよい。また、ナビゲーション情報は、回転方向を示す矢印のアニメーション情報や、デンタルミラーのイメージの角度が変化するアニメーション情報を含んでもよい。
　（動作例）
　以上、本実施形態に係る制御装置１－４の構成例について説明した。続いて、本実施形態に係る動作例について図１８を参照して説明する。
　図１８は、本実施形態に係る制御装置１－４の動作例を示すフローチャート図である。図１８に示すステップＳ４０２～Ｓ４０６の処理は、図１２を参照して説明したステップＳ３０２～Ｓ３０６の処理と同様であるため、説明を省略する。
　続いて、ステップＳ４０８において、図１４を参照して説明した初期状態の情報が記憶部４０に記憶される。なお、ステップＳ４０８において患部（観察対象）は撮像画像におけるミラー部に含まれており、初期状態を記憶するトリガは、例えばユーザの入力であってもよい。
　続いて、撮像画像がインタフェース部３０を介して入力される（Ｓ４１０）。続いて、ナビゲーション情報を出力させるモードであるか否かが判定される（Ｓ４１２）。ステップＳ４１２の判定は、予め設定される医療用観察システム５３００のモード設定に基づいて行われてもよいし、ユーザの入力に基づいて行われてもよい。ナビゲーション情報を出力させるモードではない場合（Ｓ４１２においてＮＯ）、処理はステップＳ４１０に戻る。
　ナビゲーション情報を出力させるモードであると判定された場合（Ｓ４１２においてＹＥＳ）、現時点の顕微鏡部５３０３に係るカメラパラメータ（位置、及び姿勢）が取得される（Ｓ４１４）。なお、ステップＳ４１４における顕微鏡部５３０３に係るカメラパラメータは、ステップＳ４０８において初期状態として記憶された顕微鏡部５３０３に係るカメラパラメータと異なっていてもよい。
　続くステップＳ４１６～Ｓ４１８の処理は、ステップＳ４０４～Ｓ４０６の処理と同様であるため説明を省略する。続いて、ステップＳ４１６において検出されたミラー部の位置が、図１４、図１５を参照して説明した原点Ｏに対する相対座標に変換される（Ｓ４２０）。
　続いて、好適ミラー角度特定部１４８は例えば、図１４～図１６を参照して説明したように、原点Ｏに対する相対座標におけるミラー部の好適角度（好適ミラー角度）を特定する（Ｓ４２２）。さらに、好適ミラー角度特定部１４８はステップＳ４２２で得られた好適角度を、画面内の角度（撮像画像における角度）に変換する（Ｓ４２４）。続いて、ステップＳ４２４において得られたミラー部の好適角度と、ステップＳ４１８において特定されたミラー部の角度の差が算出される（Ｓ４２６）。
　続いて、ステップＳ４２６で得られる角度の差に基づいて、画像処理部１４２が、好適角度に誘導するナビゲーション情報を撮像画像に重畳合成する画像処理を行う（Ｓ４２８）。ステップＳ４２８において重畳合成されて得られた出力画像が、表示装置５３１９へ出力される（Ｓ４３０）。続いて、処理はステップＳ４１０に戻る。
　（効果）
　以上、本開示の第４の実施形態について説明した。本開示の第４の実施形態によれば、何らかの理由で顕微鏡部５３０３の位置や姿勢が変更され、患部を観察できなくなってしまった場合に、現状の顕微鏡部５３０３の位置や姿勢をさらに変更することなく、患部を観察するためのナビゲーション情報を表示させることができる。また、ユーザは、当該ナビゲーション情報に従ってミラー部の角度を変更することで、患部を観察することが可能となる。
　なお、本実施形態に係る制御装置１－４はアーム制御処理を行わなくてもよいため、図１に示した顕微鏡装置５３０１がアーム部５３０９の駆動機構を備えていない場合であっても本実施形態は適用可能である。
　　＜２－５．第５の実施形態＞
　上述した第４の実施形態では、現状のカメラ（顕微鏡部５３０３）の位置、及び姿勢を変更せずに患部（観察対象）を観察可能にするためにユーザを誘導するナビゲーション情報をユーザに提供する例を説明した。
　続いて、第５の実施形態として、患部とミラー部との両方を基準として、現在のミラー部の位置と姿勢に応じて、患部が観察可能なカメラの位置や姿勢となるようにアーム制御処理を行う例を説明する。
　（構成例）
　まず、本開示の第５の実施形態の構成例について、図１９を参照して説明する。図１９は、本開示の第５の実施形態に係る制御装置１－５の機能構成の一例を示したブロック図である。図１９に示す制御装置１－５は、図１を参照して説明した制御装置５３１７に相当する。図１９に示すように、制御装置１－５は、制御部１５、検出部２０、インタフェース部３０、及び記憶部４０を備える。図１９に示す構成のうち、検出部２０、インタフェース部３０、及び記憶部４０の構成は、それぞれ図３を参照して説明した検出部２０、インタフェース部３０、及び記憶部４０の構成と実質的に同一であるため、ここでの説明は省略する。
　制御部１５は、制御装置１－５の各構成を制御する。また、本実施形態に係る制御部１５は、図１９に示すようにアーム制御部１５４、ミラー角度特定部１５６、及び好適カメラパラメータ特定部１５８としても機能する。
　アーム制御部１５４は、図１、図２を参照して説明したアーム部５３０９を制御するアーム制御処理を行う。本実施形態に係るアーム制御部１５４は、後述する好適カメラパラメータ特定部１５８により特定される、顕微鏡部５３０３に係るカメラパラメータ（位置、及び姿勢）に基づき、例えば当該カメラパラメータを実現するように、アーム制御処理を行う。
　ミラー角度特定部１５６は、図１１を参照して説明したミラー角度特定部１３６と同様に、検出部２０により検出されたミラー部の角度を特定する。
　好適カメラパラメータ特定部１５８は、ミラー角度特定部１５６により特定されたミラー部の角度に基づいて、撮像画像におけるミラー部に観察対象が含まれるような、顕微鏡部５３０３に係るカメラパラメータ（以下、好適カメラパラメータと呼ぶ）を特定する。
　ここで、図１６を参照して、好適カメラパラメータ特定部１５８による好適カメラパラメータの特定について説明する。
　図１６を参照して導出した式（４）より、好適カメラパラメータに含まれるカメラの向き（姿勢）nCは、次式（５）のように算出される。
Figure JPOXMLDOC01-appb-M000010
　図１６を参照して導出した式（３）、及び上式（５）より、好適カメラパラメータに含まれるカメラの位置tCは、次式のように算出される。
Figure JPOXMLDOC01-appb-M000011
　以上説明したように、好適カメラパラメータ特定部１５８は、顕微鏡部５３０３に係る好適カメラパラメータ（位置、及び姿勢）を特定し得る。
　（動作例）
　以上、本実施形態に係る制御装置１－５の構成例について説明した。続いて、本実施形態に係る動作例について図２０を参照して説明する。図２０は、本実施形態に係る制御装置１－５の動作例を示すフローチャート図である。なお、図２０に示す例では、アーム制御処理に係る動作のみ示してあり、表示装置５３１９への画像出力は、本動作とは独立に行われ得る。例えば、顕微鏡部５３０３の撮像画像がそのまま出力画像として、表示装置５３１９へ出力されてもよい。
　図２０に示すステップＳ５０２～Ｓ５１０の処理は、図１８を参照して説明したステップＳ４０２～Ｓ４１０の処理と同様であるため、説明を省略する。
　続いて、カメラが患部（観察対象）を追跡するモードであるか否かが判定される（Ｓ５１２）。ステップＳ５１２の判定は、予め設定される医療用観察システム５３００のモード設定に基づいて行われてもよいし、ユーザの入力に基づいて行われてもよい。カメラが患部を追跡するモードではない場合（Ｓ５１２においてＮＯ）、処理はステップＳ５１０に戻る。
　カメラが患部を追跡するモードであると判定された場合（Ｓ５１２においてＹＥＳ）、処理はステップＳ５１４に進む。続くステップＳ５１４～Ｓ５２０の処理は、図１８を参照して説明したステップＳ４１４～Ｓ４２０の処理と同様であるため説明を省略する。
　好適カメラパラメータ特定部１５８が、好適カメラパラメータを特定する（Ｓ５２２）。さらに、アーム制御部１５４が、好適カメラパラメータに基づいて、アーム制御処理を行う（Ｓ５２４）。続いて、処理はステップＳ５１０に戻る。
　（効果）
　以上、本開示の第５の実施形態について説明した。本開示の第５の実施形態によれば、ユーザがミラー部の位置、角度を変更させた場合であっても、患部を観察可能なように自動的に顕微鏡部５３０３の位置、及び姿勢が制御される。したがって、ユーザは、顕微鏡部５３０３の位置や姿勢を意識することなく、より直感的にミラー部の位置、角度を変更させながら患部の観察を行うことが可能となる。
　＜＜３．ハードウェア構成＞＞
　以上、本開示の実施形態を説明した。最後に、図２１を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２１は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２１に示す情報処理装置９００は、例えば、制御装置１－１、制御装置１－２、制御装置１－３、制御装置１－４、制御装置１－５を実現し得る。本実施形態に係る制御装置１－１、制御装置１－２、制御装置１－３、制御装置１－４、制御装置１－５による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図２１に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１１、制御部１２、制御部１３、制御部１４、及び制御部１５を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部４０を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜４．むすび＞＞
　以上説明したように、本開示の実施形態によれば、より自由に患部（観察対象）を観察することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、制御装置が備える検出部がデンタルミラーのミラー部を検出する例を説明したが、本技術は係る例に限定されず、ミラー部の検出は制御装置以外の装置で行われてもよい。また、係る場合、例えば、インタフェース部が取得部として機能し、デンタルミラー検出情報を他の装置から受信して取得してもよい。
　また、制御装置が備える制御部は、顕微鏡部５３０３の光学倍率（焦点距離）をさらに制御してもよい。例えば、上述した第２の実施形態において、顕微鏡部５３０３の撮像範囲が広くなるように、アーム制御処理を行う例を説明したが、制御部は、当該アーム制御処理に代えて、または加えて、上記光学倍率を制御することで、撮像範囲を広くしてもよい。
　また、制御装置が備える制御部は、ユーザへの警告を通知する警告情報を重畳合成する画像処理を行ってもよい。例えば、上述した第２の実施形態において、切出し領域、またはミラー部が撮像範囲の外に出そうであると判定された場合に、切出し領域、またはミラー部が撮像範囲の外に出そうであるという警告を通知する警告情報を撮像画像に重畳合成してもよい。係る構成により、ユーザは切出し領域、またはミラー部が撮像範囲の外に出ないように、ミラー部の位置や角度を調整することが可能となる。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得する取得部と、
　前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部と、
　を備える制御装置。
（２）
　前記制御部は、少なくとも前記画像処理を行い、
　前記画像処理は、前記デンタルミラー検出情報に基づいて特定される切出し領域を切出す処理を含む、前記（１）に記載の制御装置。
（３）
　前記デンタルミラー検出情報は、検出されたデンタルミラーのミラー部の領域を示す情報を含み、
　前記切出し領域は、前記ミラー部の領域を含む、前記（２）に記載の制御装置。
（４）
　前記デンタルミラー検出情報は、検出されたデンタルミラーのミラー部の位置を示す情報を含み、
　前記制御部は、前記ミラー部の位置に基づいて前記アーム制御処理を行う、前記（１）～（３）のいずれか一項に記載の制御装置。
（５）
　前記制御部は、前記ミラー部の位置が前記撮像画像における所定の位置となるように、前記アーム制御処理を行う、前記（４）に記載の制御装置。
（６）
　前記デンタルミラー検出情報は、前記ミラー部の領域を示す情報をさらに含み、
　前記制御部は、前記デンタルミラーの領域のうち少なくとも一部が前記撮像画像の外周領域と重なる場合に、前記アーム制御処理を行う、前記（５）に記載の制御装置。
（７）
　前記デンタルミラー検出情報は、前記ミラー部の領域を示す情報をさらに含み、
　前記制御部は、前記デンタルミラーの領域を含み、前記撮像画像に占める前記デンタルミラーの領域の割合がより大きくなるように、前記アーム制御処理を行う、前記（４）に記載の制御装置。
（８）
　前記デンタルミラー検出情報は、デンタルミラーのミラー部の検出に成功したか否かを示す情報をさらに含み、
　前記制御部は、前記デンタルミラー検出情報に、前記ミラー部の検出に失敗したことを示す情報が含まれていた場合に、前記撮像装置の撮像範囲が広くなるように、前記アーム制御処理を行う、前記（７）に記載の制御装置。
（９）
　前記制御部は、前記撮像画像から検出されたデンタルミラーのミラー部の角度に基づいて、前記アーム制御処理を行う、前記（１）に記載の制御装置。
（１０）
　前記制御部は、第一の時刻における前記ミラー部の角度と、第二の時刻における前記ミラー部の角度との差に応じて、前記アーム制御処理を行う、前記（９）に記載の制御装置。
（１１）
　前記制御部は、前記ミラー部の角度に基づいて、前記撮像画像における前記ミラー部に観察対象が含まれるような、前記撮像装置に係るカメラパラメータを特定し、前記カメラパラメータに基づいて、前記アーム制御処理を行う、前記（９）に記載の制御装置。
（１２）
　前記制御部は、前記撮像画像におけるデンタルミラーのミラー部に観察対象が含まれるような、前記ミラー部の好適角度を特定し、前記好適角度に誘導するナビゲーション情報を、前記撮像画像に合成する前記画像処理を行う、前記（１）に記載の制御装置。
（１３）
　撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得することと、
　プロセッサが、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行うことと、
　を含む、制御方法。
（１４）
　撮像画像を取得する撮像装置と、
　　前記撮像画像からのデンタルミラー検出情報を取得する取得部、及び
　　前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部、
　を備える制御装置と、
を含む、医療用観察システム。
　１　制御装置
　５　デンタルミラー
　１１、１２、１３、１４、１５　制御部
　２０　検出部
　３０　インタフェース部
　４０　記憶部
　５２　ミラー部
　１１２　画像処理部
　１２４　アーム制御部
　１３６　ミラー角度特定部
　１４８　好適ミラー角度特定部
　１５８　好適カメラパラメータ特定部

Claims (14)

  1. 　撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得する取得部と、
    　前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部と、
    　を備える制御装置。
  2. 　前記制御部は、少なくとも前記画像処理を行い、
    　前記画像処理は、前記デンタルミラー検出情報に基づいて特定される切出し領域を切出す処理を含む、請求項１に記載の制御装置。
  3. 　前記デンタルミラー検出情報は、検出されたデンタルミラーのミラー部の領域を示す情報を含み、
    　前記切出し領域は、前記ミラー部の領域を含む、請求項２に記載の制御装置。
  4. 　前記デンタルミラー検出情報は、検出されたデンタルミラーのミラー部の位置を示す情報を含み、
    　前記制御部は、前記ミラー部の位置に基づいて前記アーム制御処理を行う、請求項１に記載の制御装置。
  5. 　前記制御部は、前記ミラー部の位置が前記撮像画像における所定の位置となるように、前記アーム制御処理を行う、請求項４に記載の制御装置。
  6. 　前記デンタルミラー検出情報は、前記ミラー部の領域を示す情報をさらに含み、
    　前記制御部は、前記デンタルミラーの領域のうち少なくとも一部が前記撮像画像の外周領域と重なる場合に、前記アーム制御処理を行う、請求項５に記載の制御装置。
  7. 　前記デンタルミラー検出情報は、前記ミラー部の領域を示す情報をさらに含み、
    　前記制御部は、前記デンタルミラーの領域を含み、前記撮像画像に占める前記デンタルミラーの領域の割合がより大きくなるように、前記アーム制御処理を行う、請求項４に記載の制御装置。
  8. 　前記デンタルミラー検出情報は、デンタルミラーのミラー部の検出に成功したか否かを示す情報をさらに含み、
    　前記制御部は、前記デンタルミラー検出情報に、前記ミラー部の検出に失敗したことを示す情報が含まれていた場合に、前記撮像装置の撮像範囲が広くなるように、前記アーム制御処理を行う、請求項７に記載の制御装置。
  9. 　前記制御部は、前記撮像画像から検出されたデンタルミラーのミラー部の角度に基づいて、前記アーム制御処理を行う、請求項１に記載の制御装置。
  10. 　前記制御部は、第一の時刻における前記ミラー部の角度と、第二の時刻における前記ミラー部の角度との差に応じて、前記アーム制御処理を行う、請求項９に記載の制御装置。
  11. 　前記制御部は、前記ミラー部の角度に基づいて、前記撮像画像における前記ミラー部に観察対象が含まれるような、前記撮像装置に係るカメラパラメータを特定し、前記カメラパラメータに基づいて、前記アーム制御処理を行う、請求項９に記載の制御装置。
  12. 　前記制御部は、前記撮像画像におけるデンタルミラーのミラー部に観察対象が含まれるような、前記ミラー部の好適角度を特定し、前記好適角度に誘導するナビゲーション情報を、前記撮像画像に合成する前記画像処理を行う、請求項１に記載の制御装置。
  13. 　撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得することと、
    　プロセッサが、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行うことと、
    　を含む、制御方法。
  14. 　撮像画像を取得する撮像装置と、
    　　前記撮像画像からのデンタルミラー検出情報を取得する取得部、及び
    　　前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部、
    　を備える制御装置と、
    を含む、医療用観察システム。
PCT/JP2017/036587 2016-12-20 2017-10-10 制御装置、制御方法、及び医療用観察システム Ceased WO2018116582A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780077361.8A CN110087531A (zh) 2016-12-20 2017-10-10 控制装置、控制方法、以及医疗观察系统
US16/469,151 US20200093545A1 (en) 2016-12-20 2017-10-10 Control apparatus, control method, and medical observation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-246923 2016-12-20
JP2016246923A JP2018099297A (ja) 2016-12-20 2016-12-20 制御装置、制御方法、及び医療用観察システム

Publications (1)

Publication Number Publication Date
WO2018116582A1 true WO2018116582A1 (ja) 2018-06-28

Family

ID=62626208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036587 Ceased WO2018116582A1 (ja) 2016-12-20 2017-10-10 制御装置、制御方法、及び医療用観察システム

Country Status (4)

Country Link
US (1) US20200093545A1 (ja)
JP (1) JP2018099297A (ja)
CN (1) CN110087531A (ja)
WO (1) WO2018116582A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021065263A (ja) * 2019-10-17 2021-04-30 株式会社吉田製作所 歯科用撮像画像取得装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7143092B2 (ja) 2018-03-12 2022-09-28 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
CN114285975B (zh) * 2021-12-27 2023-06-02 江西边际科技有限公司 一种异步图像可变角度图像拾取设备
WO2024028755A1 (en) * 2022-08-03 2024-02-08 Alcon Inc. Ophthalmic viewing devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013248331A (ja) * 2012-06-04 2013-12-12 Denso Corp 開口器
JP2015093063A (ja) * 2013-11-12 2015-05-18 照雄 今井 歯科検査装置
WO2016108276A1 (ja) * 2014-12-29 2016-07-07 タカラテレシステムズ株式会社 歯科用光学撮影装置
WO2017013828A1 (ja) * 2015-07-21 2017-01-26 株式会社デンソー 医療行為支援装置
JP2017119160A (ja) * 2010-12-02 2017-07-06 ウルトラデント プロダクツ インコーポレイテッド 立体視ビデオ画像を観察および追跡するためのシステムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017119160A (ja) * 2010-12-02 2017-07-06 ウルトラデント プロダクツ インコーポレイテッド 立体視ビデオ画像を観察および追跡するためのシステムおよび方法
JP2013248331A (ja) * 2012-06-04 2013-12-12 Denso Corp 開口器
JP2015093063A (ja) * 2013-11-12 2015-05-18 照雄 今井 歯科検査装置
WO2016108276A1 (ja) * 2014-12-29 2016-07-07 タカラテレシステムズ株式会社 歯科用光学撮影装置
WO2017013828A1 (ja) * 2015-07-21 2017-01-26 株式会社デンソー 医療行為支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021065263A (ja) * 2019-10-17 2021-04-30 株式会社吉田製作所 歯科用撮像画像取得装置

Also Published As

Publication number Publication date
JP2018099297A (ja) 2018-06-28
CN110087531A (zh) 2019-08-02
US20200093545A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
JP7697551B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JP7392654B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
CN110622500B (zh) 成像设备和成像方法
CN110832842B (zh) 成像装置和图像产生方法
JPWO2016208246A1 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
JP7146735B2 (ja) 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム
JP6666467B2 (ja) 医療用観察装置、及び制御方法
WO2019092956A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109844600B (zh) 信息处理设备、信息处理方法和程序
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
CN108885335B (zh) 医用立体观察装置、医用立体观察方法以及程序
WO2018116582A1 (ja) 制御装置、制御方法、及び医療用観察システム
JP2018105974A (ja) 手術用ルーペ
JPWO2018051592A1 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2018216302A1 (ja) 医療用観察装置、処理方法、および医療用観察システム
US20190281233A1 (en) Image processing device, setting method, and program
WO2019123874A1 (ja) 医療用観察システム、医療用信号処理装置、及び医療用信号処理装置の駆動方法
WO2018087977A1 (ja) 情報処理装置、情報処理方法、プログラム
US20190268547A1 (en) Image processing device and method, and program
JP6858593B2 (ja) 医療用観察装置、および制御方法
US20200059608A1 (en) Image processing device, control method, and program
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2021230001A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17882565

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17882565

Country of ref document: EP

Kind code of ref document: A1