[go: up one dir, main page]

ES3030838T3 - Stereoscopic visualization camera and platform - Google Patents

Stereoscopic visualization camera and platform

Info

Publication number
ES3030838T3
ES3030838T3 ES18724650T ES18724650T ES3030838T3 ES 3030838 T3 ES3030838 T3 ES 3030838T3 ES 18724650 T ES18724650 T ES 18724650T ES 18724650 T ES18724650 T ES 18724650T ES 3030838 T3 ES3030838 T3 ES 3030838T3
Authority
ES
Spain
Prior art keywords
image
processor
light
optical
lenses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18724650T
Other languages
English (en)
Inventor
Luna Maximiliano Ramirez
Michael Weissman
Thomas Paul Riederer
George Charles Polchin
Ashok Burton Tripathi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcon Inc
Original Assignee
Alcon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcon Inc filed Critical Alcon Inc
Application granted granted Critical
Publication of ES3030838T3 publication Critical patent/ES3030838T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00Optical objectives with means for varying the magnification
    • G02B15/14Optical objectives with means for varying the magnification by axial movement of one or more lenses or groups of lenses relative to the image plane for continuously varying the equivalent focal length of the objective
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/14Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046Movement of one or more optical elements for zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Blocking Light For Cameras (AREA)
  • Cameras In General (AREA)

Abstract

Se describe una cámara y plataforma de visualización estereoscópica. Un ejemplo de cámara de visualización estereoscópica incluye una pluralidad de lentes ubicadas a lo largo de una primera trayectoria óptica y un primer sensor de imagen para registrar un primer flujo de imágenes de un objetivo a partir de la luz en dicha trayectoria. La cámara también incluye una segunda pluralidad de lentes ubicadas a lo largo de una segunda trayectoria óptica, paralela a la primera, y un segundo sensor de imagen para registrar un segundo flujo de imágenes del objetivo a partir de la luz en dicha trayectoria. La cámara también incluye un procesador configurado para reducir el paralaje espurio entre el primer y el segundo flujo de imágenes mediante la selección de conjuntos de píxeles de las cuadrículas de píxeles de los sensores de imagen, de modo que los puntos de repetición de zoom (ZRP) se ubiquen en el centro de las respectivas cuadrículas. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Cámara y plataforma de visualización estereoscópica
SECTOR TÉCNICO
La presente invención se refiere en general a cámaras quirúrgicas y, más específicamente, a cámaras estereoscópicas y plataformas de visualización estereoscópica para aplicaciones de microcirugía.
ESTADO DE LA TÉCNICA ANTERIOR
La cirugía es técnica. Los artistas consumados crean obras de arte que superan con creces las capacidades de una persona normal. Los artistas utilizan un pincel para convertir botes de pintura en imágenes vívidas que provocan emociones fuertes y únicas en los espectadores. Los artistas toman palabras comunes escritas en papel y las convierten en representaciones dramáticas e impresionantes. Los artistas toman instrumentos y hacen que emitan una música hermosa. De manera similar, los cirujanos toman bisturíes, pinzas y sondas aparentemente comunes y producen milagros biológicos que alteran la vida.
Al igual que los artistas, los cirujanos tienen sus propios procedimientos y preferencias. A los aspirantes a artistas se les enseñan los fundamentos de su oficio. Los principiantes a menudo siguen procedimientos prescritos. A medida que adquieren experiencia, confianza y conocimientos, desarrollan su propia técnica única que refleja su identidad y la de su entorno personal. De manera similar, a los estudiantes de medicina se les enseñan los fundamentos de los procedimientos quirúrgicos. Se les somete a pruebas rigurosas sobre estos procedimientos. A medida que los estudiantes progresan en la residencia y la práctica profesional, desarrollan derivaciones de los fundamentos (aún dentro de los estándares médicos) basados en cómo creen que la cirugía debe completarse mejor. Por ejemplo, consideremos el mismo procedimiento médico realizado por diferentes cirujanos de renombre. El orden de los actos, el ritmo, la ubicación del personal, la ubicación de las herramientas y el uso del equipo de imágenes varían entre cada uno de los cirujanos en función de sus preferencias. Incluso los tamaños y formas de las incisiones pueden ser exclusivos del cirujano.
La singularidad y los logros artísticos de los cirujanos los hacen desconfiar de las herramientas quirúrgicas que cambian o alteran sus procedimientos. La herramienta debe ser una extensión del cirujano, operando simultáneamente y/o en sincronización armoniosa. Las herramientas quirúrgicas que dictan el flujo de un procedimiento o cambian el ritmo de un cirujano a menudo se descartan o se modifican para adaptarse.
Por ejemplo, pensemos en la visualización de la microcirugía, en la que ciertos procedimientos quirúrgicos implican estructuras del paciente que son demasiado pequeñas para que un humano pueda visualizarlas fácilmente a simple vista. Para estos procedimientos de microcirugía, se requiere ampliación para visualizar adecuadamente las microestructuras. Los cirujanos generalmente quieren herramientas de visualización que sean extensiones naturales de sus ojos. De hecho, los primeros esfuerzos en materia de visualización para microcirugía consistieron en colocar lentes de aumento en oculares ópticos montados en la cabeza (llamados lupas quirúrgicas). El primer par se desarrolló en 1876. Hoy en día, los cirujanos siguen utilizando versiones enormemente mejoradas de lupas quirúrgicas (algunas de ellas con zoom óptico y fuentes de luz integradas). La Figura 1 muestra un diagrama de un par de lupas quirúrgicas 100 con una fuente de luz 102 y lentes de aumento 104. La durabilidad de 150 años de las lupas quirúrgicas se puede atribuir al hecho de que son literalmente una extensión de los ojos del cirujano.
A pesar de su longevidad, las lupas quirúrgicas no son perfectas. Las lupas con lentes de aumento y fuentes de luz, tales como la lupa 100 de la Figura 1, tienen un peso mucho mayor. Colocar incluso una pequeña cantidad de peso sobre la parte frontal del rostro del cirujano puede aumentar la incomodidad y la fatiga, especialmente durante cirugías prolongadas. Las lupas quirúrgicas 100 también incluyen un cable 106 que está conectado a una fuente de alimentación remota. El cable actúa efectivamente como una cadena, limitando así la movilidad del cirujano durante su rendimiento quirúrgico.
Otra herramienta de visualización en microcirugía es el microscopio quirúrgico, también conocido como microscopio operatorio. El desarrollo comercial generalizado de los microscopios quirúrgicos comenzó en la década de 1950 con la intención de reemplazar las lupas quirúrgicas. Los microscopios quirúrgicos incluyen trayectorias ópticas, lentes y elementos de enfoque que proporcionan un mayor aumento en comparación con las lupas quirúrgicas. La gran variedad de elementos ópticos (y el peso resultante) implicaba que los microscopios quirúrgicos tenían que estar separados del cirujano. Si bien esta separación le dio al cirujano más espacio para maniobrar, el volumen del microscopio quirúrgico hizo que consumiera un espacio operatorio considerable sobre el paciente, reduciendo así el tamaño del escenario quirúrgico.
La Figura 2 muestra un diagrama de un microscopio quirúrgico 200 de técnica anterior. Como se puede imaginar, el tamaño y la presencia del microscopio quirúrgico en el área operatoria lo hacían propenso a golpes. Para proporcionar estabilidad y rigidez al cabezal del visor 201, el microscopio está conectado a brazos extensibles 202 y 204 relativamente grandes u otra estructura de soporte similar. Los grandes brazos extensibles 202 y 204 consumen espacio quirúrgico adicional y reducen la maniobrabilidad del cirujano y el personal. En total, el microscopio quirúrgico 200 mostrado en la Figura 2 podría pesar hasta 350 kilogramos ("kg").
Para ver un sitio quirúrgico objetivo utilizando el microscopio quirúrgico 200, un cirujano mira directamente a través de los oculares 206. Para reducir la tensión en la espalda del cirujano, los oculares 206 generalmente se posicionan a lo largo de la línea de visión natural del cirujano utilizando el brazo 202 para ajustar la altura. Sin embargo, los cirujanos no actúan únicamente observando el sitio quirúrgico objetivo. Los oculares 206 deben colocarse de forma que el cirujano se encuentre a una distancia de trabajo del paciente equivalente a la de un brazo. Este posicionamiento preciso es fundamental para garantizar que el microscopio quirúrgico 200 se convierta en una extensión y no en un obstáculo para el cirujano, especialmente cuando se utiliza durante períodos de tiempo prolongados.
Como ocurre con cualquier instrumento complejo, a los cirujanos les lleva de decenas a cientos de horas sentirse cómodos utilizando un microscopio quirúrgico. Como se muestra en la Figura 2, el diseño del microscopio quirúrgico 200 requiere una trayectoria óptica con un ángulo sustancialmente de 90° desde el cirujano hasta el sitio quirúrgico objetivo. Por ejemplo, se requiere una trayectoria óptica perfectamente vertical desde el sitio quirúrgico objetivo hasta el cabezal del visor 201. Esto significa que el cabezal del visor 201 debe colocarse directamente encima del paciente para cada procedimiento microquirúrgico. Además, el cirujano tiene que mirar casi horizontalmente (o en un ligero ángulo hacia abajo) a través de los oculares 206. La inclinación natural de un cirujano es dirigir su visión hacia sus manos en el sitio quirúrgico. Algunos cirujanos incluso quieren acercar la cabeza al sitio quirúrgico para tener un control más preciso de los movimientos de sus manos. Por desgracia, los microscopios quirúrgicos 200 no ofrecen a los cirujanos esta flexibilidad. En cambio, los microscopios quirúrgicos 200 dictan implacablemente que el cirujano debe colocar sus ojos en los oculares 206 y mantener su cabeza a la distancia de un brazo durante la cirugía, todo ello mientras consume un valioso espacio quirúrgico por encima del paciente. Un cirujano no puede ni siquiera simplemente mirar hacia abajo a un paciente porque el cabezal del visor 201 bloquea la visión del cirujano.
Para empeorar las cosas, algunos microscopios quirúrgicos 200 incluyen un segundo par de oculares 208 para quienes realizan la tarea conjuntamente (por ejemplo, cirujanos asistentes, enfermeras u otro personal clínico). El segundo par de oculares 208 normalmente está situado en un ángulo recto con respecto a los primeros oculares 206. La proximidad entre los oculares 206 y 208 exige que el asistente permanezca de pie (o sentado) muy cerca del cirujano, lo que restringe aún más el movimiento. Esto puede resultar molesto para algunos cirujanos a quienes les gusta trabajar con cierto espacio. A pesar de sus beneficios de aumento, los microscopios quirúrgicos de 200 no son extensiones naturales de un cirujano. En cambio, son directores autoritarios en la sala de cirugía.
El documento US2007/0140673 A1 da a conocer un procedimiento para la compensación de telecentricidad en un equipo de cámara estereoscópica 3D. El documento US 4,418,993 da a conocer un proceso para tomar fotografías 3D con zoom estereoscópico utilizando una primera y una segunda cámaras que tienen lentes de zoom sustancialmente idénticas. El documento US 2011/0279653 A1 da a conocer un aparato de captación de imágenes estereoscópicas capaz de corregir una cantidad de desviación del eje óptico de sus sistemas ópticos fotográficos izquierdo y derecho. El documento EP 0146476 da a conocer otra cámara 3D estereoscópica.
SUMARIO
La presente invención está dirigida a una cámara y plataforma de visualización estereoscópica que está configurada para funcionar de manera efectiva como una extensión de los ojos de un cirujano mientras le da al cirujano la libertad de realizar un procedimiento de microcirugía generalmente sin restricciones. La cámara de visualización estereoscópica de ejemplo que se da a conocer en este documento comprende una plataforma de visualización estereoscópica digital con orientación de rango completo e independiente del operador para aplicaciones microquirúrgicas. La cámara y plataforma de visualización estereoscópica de ejemplo desacopla el sistema de visualización de microcirugía de la cabeza y los ojos del cirujano para proporcionar una amplia variedad de orientaciones multieje del sistema de visualización quirúrgico en relación con el cirujano y el campo quirúrgico objetivo. Como resultado, el cirujano obtiene una vista ampliada mejorada del sitio quirúrgico sin tener que trabajar alrededor de un microscopio voluminoso colocado sobre el paciente y frente a la cara del cirujano. La cámara de visualización estereoscópica de ejemplo permite al cirujano realizar microcirugías que cambian la vida del paciente cómodamente en cualquier posición que le convenga al cirujano. Además, la cámara de visualización quirúrgica de la presente invención se puede colocar a lo largo y alrededor de cualquier número de orientaciones relativas al campo quirúrgico que mejor se adapten a las necesidades del cirujano o del paciente, en lugar de las limitaciones físicas y mecánicas del aparato de visualización.
La cámara de visualización estereoscópica de ejemplo y la plataforma correspondiente tienen muchas ventajas distintivas sobre las cámaras monoscópicas y estereoscópicas conocidas. Las cámaras monoscópicas y estereoscópicas actuales están conectadas a una trayectoria óptica de un microscopio quirúrgico. Mientras están conectadas a la trayectoria óptica, las cámaras no tienen control sobre el enfoque, el zoom y/o la configuración de una distancia de trabajo. En cambio, estos controles se ubican en el cabezal del visor del microscopio quirúrgico. Además, los elementos ópticos de un microscopio quirúrgico proporcionan una calidad de imagen generalmente aceptable para los oculares. Sin embargo, los defectos en la calidad de la imagen o las vistas derecha e izquierda ligeramente desalineadas se hacen más evidentes cuando se adquieren con una cámara y se muestran en un monitor de vídeo.
La cámara de visualización estereoscópica de ejemplo supera los problemas mencionados anteriormente de las cámaras monoscópicas y estereoscópicas conocidas al estar configurada como un dispositivo autónomo que no depende de elementos ópticos de microscopio externos. La cámara de visualización estereoscópica de ejemplo, en cambio, internaliza los elementos ópticos que son comunes en un microscopio quirúrgico. Los elementos ópticos pueden estar dispuestos en pistas y/o elementos de flexión dentro de la cámara para permitir un ajuste manual y/o automático. En consecuencia, el ajuste de los elementos ópticos se puede proporcionar a través de controles de cámara y/o dispositivos de entrada de usuario conectados a la cámara, lo que permite realizar un ajuste específico para la cámara. Además, los elementos ópticos de la cámara de visualización estereoscópica se pueden ajustar de forma automática y/o manual para alinear los puntos de enfoque de las imágenes izquierda y derecha y reducir los defectos visuales y/o el paralaje espurio. El resultado final es una cámara de visualización estereoscópica relativamente liviana y maniobrable que brinda una visualización estereoscópica tridimensional prácticamente perfecta que permite a los cirujanos practicar su técnica sin impedimentos visuales.
De acuerdo con la invención, un aparato de obtención de imágenes estereoscópicas está configurado para reducir el paralaje espurio entre un primer y un segundo flujos de imágenes adquiridos o grabados en paralelo de un sitio objetivo. El aparato según la invención se especifica mediante las características de la reivindicación independiente 1. El aparato comprende unos primeros elementos ópticos situados a lo largo de una primera trayectoria óptica. Los primeros elementos ópticos incluyen una primera pluralidad de lentes que incluyen una primera lente de zoom configurada para moverse a lo largo de la primera trayectoria óptica en una dirección z, y un primer sensor de imagen que tiene una primera cuadrícula de píxeles y que está configurado para registrar el primer flujo de imágenes del sitio objetivo a partir de la luz en la primera trayectoria óptica. El aparato también incluye segundos elementos ópticos posicionados a lo largo de una segunda trayectoria óptica paralela a la primera trayectoria óptica. Los segundos elementos ópticos incluyen una segunda pluralidad de lentes que incluyen una segunda lente de zoom configurada para moverse a lo largo de la segunda trayectoria óptica en una dirección z, y un segundo sensor de imagen que tiene una segunda cuadrícula de píxeles y que está configurado para registrar el segundo flujo de imágenes del sitio objetivo a partir de la luz en la segunda trayectoria óptica. El aparato incluye, además, un procesador configurado para localizar una posición de un primer punto de repetición de zoom (''ZRP'') haciendo que la primera lente de zoom se mueva a lo largo de la dirección z durante una grabación de imágenes del primer flujo de imágenes, localizando una primera porción de área que tiene una ubicación que no se mueve en una dirección x o una dirección y dentro de las imágenes del primer flujo de imágenes, y determinando una primera distancia entre un punto de origen en un centro de al menos una de las imágenes del primer flujo de imágenes y la ubicación de la primera porción del área como la posición del primer ZRP. El procesador de ejemplo también está configurado para determinar un primer conjunto de píxeles de una primera cuadrícula de píxeles del primer sensor de imagen utilizando la primera distancia de modo que el primer ZRP esté ubicado en un centro del primer conjunto de píxeles y determinar un segundo conjunto de píxeles de una segunda cuadrícula de píxeles del segundo sensor de imagen que incluye una imagen que coincide con una imagen del primer conjunto de píxeles del primer sensor de imagen. El procesador de ejemplo está configurado, además, para localizar una posición de un segundo ZRP haciendo que la segunda lente de zoom se mueva a lo largo de la dirección z durante una grabación de imágenes del segundo flujo de imágenes, localizando una segunda porción de área que tiene una ubicación que no se mueve en la dirección x o la dirección y dentro de las imágenes del segundo flujo de imágenes, y determinando una segunda distancia entre un centro del segundo conjunto de píxeles y la segunda porción del área como la posición del segundo ZRP. Además, el procesador de ejemplo está configurado para ajustar una de la segunda pluralidad de lentes o el segundo sensor de imagen en al menos una de la dirección x, la dirección y y una dirección de inclinación para hacer que el segundo ZRP coincida con el centro del segundo conjunto de píxeles en función de la segunda distancia determinada.
El procesador de ejemplo reduce o elimina el paralaje espurio al determinar un primer conjunto de píxeles de una primera cuadrícula de píxeles del primer sensor de imagen utilizando la primera distancia tal que el primer ZRP esté ubicado en un centro del primer conjunto de píxeles. Además, el procesador determina un segundo conjunto de píxeles de una segunda cuadrícula de píxeles del segundo sensor de imagen que incluye una imagen que coincide con una imagen del primer conjunto de píxeles del primer sensor de imagen. Además, el procesador de ejemplo ajusta una de la segunda pluralidad de lentes en al menos una de la dirección x y la dirección y y una dirección de inclinación para hacer que el segundo ZRP coincida con un centro del segundo conjunto de píxeles basado en la segunda distancia determinada. En una realización alternativa, el procesador de ejemplo puede cambiar digitalmente una propiedad óptica de una de la segunda pluralidad de lentes para tener el mismo efecto que mover una de la segunda pluralidad de lentes. El procesador puede almacenar la ubicación del primer y segundo conjuntos de píxeles en relación con un nivel de aumento de la primera y segunda lentes de zoom como punto de calibración. El procesador puede utilizar el punto de calibración y seleccionar las ubicaciones almacenadas de los conjuntos de píxeles cuando el aparato de imágenes estereoscópicas posteriormente vuelve al mismo nivel de aumento o a uno similar. Aspectos especialmente ventajosos del aparato según la invención son objeto de las reivindicaciones dependientes.
Aspectos especialmente ventajosos del aparato según la invención son objeto de las reivindicaciones dependientes.
Las ventajas analizadas en este documento pueden encontrarse en una, o algunas, y quizás no en todas las realizaciones aquí dadas a conocer. Se describen en el presente documento características y ventajas adicionales, que serán evidentes a partir de la siguiente Descripción detallada y las figuras.
BREVE DESCRIPCIÓN DE LAS FIGURAS
La Figura 1 muestra un diagrama de un par de lupas quirúrgicas de la técnica anterior.
La Figura 2 muestra un diagrama de un microscopio quirúrgico de la técnica anterior.
Las Figuras 3 y 4 muestran diagramas de vistas en perspectiva de una cámara de visualización estereoscópica, de acuerdo con una realización de ejemplo de la presente invención.
Las Figuras 5 y 6 muestran diagramas de un entorno microquirúrgico que incluye la cámara de visualización estereoscópica de las Figuras 3 y 4, de acuerdo con realizaciones de ejemplo de la presente invención.
Las Figuras 7 y 8 muestran diagramas ilustrativos de elementos ópticos dentro de la cámara de visualización estereoscópica de ejemplo de las Figuras 3 a 6, de acuerdo con una realización de ejemplo de la presente invención. La Figura 9 muestra un diagrama de un elemento deflector de la cámara de visualización estereoscópica de ejemplo de las Figuras 7 y 8, de acuerdo con una realización de ejemplo de la presente invención.
La Figura 10 muestra un diagrama de un ejemplo de un sensor de imagen óptico derecho y un sensor de imagen óptico izquierdo de la cámara de visualización estereoscópica de ejemplo de las Figuras 7 y 8, de acuerdo con una realización de ejemplo de la presente invención.
Las Figuras 11 y 12 muestran diagramas de portadores de ejemplo para elementos ópticos de la cámara de visualización estereoscópica de ejemplo de las Figuras 7 y 8, de acuerdo con realizaciones de ejemplo de la presente invención.
La Figura 13 muestra un diagrama de un elemento de flexión de ejemplo de la cámara de visualización estereoscópica de ejemplo de las Figuras 7 y 8, de acuerdo con una realización de ejemplo de la presente invención.
La Figura 14 muestra un diagrama de módulos de la cámara de visualización estereoscópica de ejemplo para adquirir y procesar datos de imágenes, de acuerdo con una realización de ejemplo de la presente invención.
La Figura 15 muestra un diagrama de componentes internos de los módulos de la Figura 14, según una realización de ejemplo de la presente invención.
La Figura 16 muestra un diagrama de un módulo procesador de información de las Figuras 14 y 15, de acuerdo con una realización de ejemplo de la presente invención.
La Figura 17 muestra un ejemplo de un monitor de visualización, de acuerdo con una realización de ejemplo de la presente invención.
Las Figuras 18 a 21 muestran diagramas ilustrativos del paralaje espurio entre las trayectorias ópticas derecha e izquierda.
La Figura 22 muestra un diagrama ilustrativo de una condición fuera de foco en relación con una posición de dos lentes paralelas para trayectorias ópticas derecha e izquierda respectivas.
Las Figuras 23 y 24 muestran diagramas ilustrativos de cómo el paralaje espurio hace que los gráficos y/o imágenes digitales pierdan precisión cuando se fusionan con una imagen estereoscópica.
Las Figuras 25 y 26 ilustran un diagrama de flujo que muestra un procedimiento de ejemplo para reducir o eliminar el paralaje espurio, de acuerdo con una realización de ejemplo de la presente invención.
La Figura 27 muestra un diagrama ilustrativo de cómo se ajusta un punto de repetición de zoom con respecto a una cuadrícula de píxeles de un sensor de imagen óptico, de acuerdo con una realización de ejemplo de la presente invención.
Las Figuras 28 a 32 muestran diagramas ilustrativos de un programa de comparación de plantillas para localizar un punto de repetición de zoom, de acuerdo con una realización de ejemplo de la presente invención.
DESCRIPCIÓN DETALLADA
La presente invención se refiere, en general, a una cámara y plataforma de visualización estereoscópica. La cámara de visualización estereoscópica puede denominarse microscopio estereoscópico digital ("DSM"). La cámara y la plataforma de ejemplo están configuradas para integrar elementos ópticos del microscopio y sensores de vídeo en una unidad de cabezal autónoma que es significativamente más pequeña, más liviana y más maniobrable que los microscopios de la técnica anterior (tales como las lupas quirúrgicas 100 de la Figura 1 y el microscopio quirúrgico 200 de la Figura 2). La cámara de ejemplo está configurada para transmitir una señal de vídeo estereoscópica a uno o más monitores de televisión, proyectores, dispositivos holográficos, gafas inteligentes, dispositivos de realidad virtual u otros dispositivos de visualización dentro de un entorno quirúrgico.
Los monitores u otros dispositivos de visualización pueden ubicarse dentro del entorno quirúrgico para que estén fácilmente dentro de la línea de visión del cirujano mientras realiza una cirugía en un paciente. Esta flexibilidad permite al cirujano colocar monitores de visualización según sus preferencias o hábitos personales. Además, la flexibilidad y el perfil delgado de la cámara de visualización estereoscópica dada a conocer en este documento reducen el área consumida sobre un paciente. En conjunto, la cámara de visualización estereoscópica y los monitores (por ejemplo, la plataforma de visualización estereoscópica) permiten que un cirujano y un equipo quirúrgico realicen procedimientos quirúrgicos microquirúrgicos complejos en un paciente sin que se les dicte o restrinja su movimiento en comparación con el microscopio quirúrgico 200 analizado anteriormente. La plataforma de visualización estereoscópica de ejemplo funciona, en consecuencia, como una extensión de los ojos del cirujano, permitiéndole al cirujano realizar microcirugías maestras sin tener que lidiar con el estrés, las restricciones y las limitaciones inducidas por los sistemas de visualización conocidos anteriormente.
La presente invención se refiere en general a la microcirugía. La cámara de visualización estereoscópica de ejemplo se puede utilizar en prácticamente cualquier procedimiento microquirúrgico, incluyendo, por ejemplo, cirugía craneal, cirugía cerebral, neurocirugía, cirugía de columna, cirugía oftalmológica, trasplantes de córnea, cirugía ortopédica, cirugía de oído, nariz y garganta, cirugía dental, cirugía plástica y reconstructiva o cirugía general.
La invención también se refiere en el presente documento al sitio objetivo, escena o campo de visión. Tal como se utiliza en este documento, el sitio objetivo o campo de visión incluye un objeto (o porción de un objeto) que se está grabando o imaginando de otro modo mediante la cámara de visualización estereoscópica de ejemplo. Generalmente, el sitio objetivo, la escena o el campo de visión se encuentran a una distancia de trabajo de un conjunto objetivo principal de la cámara de visualización estereoscópica de ejemplo y están alineados con la cámara de visualización estereoscópica de ejemplo. El sitio objetivo puede incluir tejido biológico, hueso, músculo, piel del paciente, o combinaciones de ellos. En estos casos, el sitio objetivo puede ser tridimensional al tener un componente de profundidad correspondiente a una progresión de la anatomía del paciente. El sitio objetivo también puede incluir una o más plantillas utilizadas para la calibración o verificación de la cámara de visualización estereoscópica de ejemplo. Las plantillas pueden ser bidimensionales, tales como un diseño gráfico en papel (o una hoja de plástico), o tridimensionales, tales como para aproximar la anatomía de un paciente en una región determinada.
También se hace referencia a una dirección x, una dirección y, una dirección z y una dirección de inclinación. La dirección z va a lo largo de un eje desde la cámara de visualización estereoscópica de ejemplo hasta el sitio objetivo y generalmente se refiere a la profundidad. La dirección x y la dirección y están en un plano incidente en la dirección z y comprenden un plano del sitio objetivo. La dirección x está a lo largo de un eje que está a 90° de un eje de la dirección y. El movimiento a lo largo de la dirección x y/o la dirección y se refiere al movimiento en el plano y puede referirse al movimiento de la cámara de visualización estereoscópica de ejemplo, al movimiento de elementos ópticos dentro de la cámara de visualización estereoscópica de ejemplo y/o al movimiento del sitio objetivo.
La dirección de inclinación corresponde al movimiento a lo largo de ángulos de Euler (por ejemplo, un eje de guiñada, un eje de cabeceo y un eje de balanceo) con respecto a la dirección x, la dirección y y/o la dirección z. Por ejemplo, una lente perfectamente alineada tiene una inclinación sustancialmente de 0° con respecto a la dirección x, la dirección y y/o la dirección z. En otras palabras, una cara de la lente es de 90° o perpendicular a la luz a lo largo de la dirección z. Además, los bordes de la lente (si la lente tiene forma rectangular) son paralelos a lo largo de la dirección x y la dirección y. Las lentes y/o los sensores de imagen ópticos se pueden inclinar mediante movimiento de guiñada, movimiento de cabeceo y/o movimiento de balanceo. Por ejemplo, una lente y/o un sensor de imagen óptico pueden estar inclinados a lo largo de un eje de inclinación, con respecto a la dirección z, para orientarse hacia arriba o hacia abajo. La luz a lo largo de la dirección z entra en contacto con una cara de una lente (que está inclinada hacia arriba o hacia abajo) en un ángulo no perpendicular. La inclinación de una lente y/o un sensor de imagen óptico a lo largo de un eje de guiñada, un eje de cabeceo o un eje de balanceo permite, por ejemplo, ajustar un punto focal o un ZRP.
I. Cámara de visualización estereoscópica de ejemplo
Las Figuras 3 y 4 muestran diagramas de vistas en perspectiva de una cámara de visualización estereoscópica 300, de acuerdo con una realización de ejemplo de la presente invención. La cámara 300 de ejemplo incluye una carcasa 302 configurada para encerrar elementos ópticos, motores de lente (por ejemplo, actuadores) y circuitos de procesamiento de señales. La cámara 300 tiene un ancho (en el eje x) de entre 15 y 28 centímetros (cm), preferentemente de unos 22 cm. Además, la cámara 300 tiene una longitud (en el eje y) de entre 15 y 32 cm, preferentemente de unos 25 cm. Además, la cámara 300 tiene una altura (en el eje z) de entre 10 y 20 cm, preferentemente de unos 15 cm. El peso de la cámara 300 es de entre 3 y 7 kg, preferentemente de unos 3,5 kg.
La cámara 300 también incluye brazos de control 304a y 304b (por ejemplo, mangos de operación), que están configurados para controlar el nivel de aumento, el enfoque y otras características del microscopio. Los brazos de control 304a y 304b pueden incluir respectivos controles 305a y 305b para activar o seleccionar ciertas características. Por ejemplo, los brazos de control 304a y 304b pueden incluir controles 305a y 305b para seleccionar un modo de fluorescencia, ajustar una cantidad/tipo de luz proyectada sobre un sitio objetivo y controlar una señal de salida de visualización (por ejemplo, selección entre 1080p o 4K y/o estereoscópico). Además, los controles 305a y/o 305b pueden utilizarse para iniciar y/o realizar un procedimiento de calibración y/o mover un brazo robótico conectado a la cámara de visualización estereoscópica 300. En algunos casos, los controles 305a y 305b pueden incluir los mismos botones y/o características. En otros casos, los controles 305a y 305b pueden incluir características diferentes. Además, los brazos de control 304a y 304b también pueden configurarse como agarres para permitir que un operador posicione la cámara de visualización estereoscópica 300.
Cada brazo de control 304 está conectado a la carcasa 302 a través de un poste giratorio 306, como se muestra en la Figura 3. Esta conexión permite que los brazos de control 304 giren con respecto a la carcasa 302. Esta rotación proporciona flexibilidad al cirujano para disponer los brazos de control 304 como desee, mejorando aún más la adaptabilidad de la cámara de visualización estereoscópica 300 para estar sincronizada con el rendimiento quirúrgico.
Si bien la cámara 300 de ejemplo que se muestra en las Figuras 3 y 4 incluye dos brazos de control 304a y 304b, debe tenerse en cuenta que la cámara 300 puede incluir solo un brazo de control o cero brazos de control. En los casos en que la cámara de visualización estereoscópica 300 no incluye un brazo de control, los controles pueden integrarse con la carcasa 302 y/o proporcionarse a través de un control remoto.
La Figura 4 muestra una vista en perspectiva de abajo hacia arriba de un lado trasero de la cámara de visualización estereoscópica 300, de acuerdo con una realización de ejemplo de la presente invención. La cámara de visualización estereoscópica 300 incluye un soporte de montaje 402 configurado para conectarse a un soporte. Como se describe con más detalle en las Figuras 5 y 6, el soporte puede incluir un brazo con una o más articulaciones para proporcionar una maniobrabilidad significativa. El brazo puede estar conectado a un carro móvil o fijado a una pared o al techo.
La cámara de visualización estereoscópica 300 también incluye un puerto de alimentación 404 configurado para recibir un adaptador de corriente. La energía puede recibirse de una toma de CA y/o una batería en un carro. En algunos casos, la cámara de visualización estereoscópica 300 puede incluir una batería interna para facilitar el funcionamiento sin cables. En estos casos, se puede utilizar el puerto de alimentación 404 para cargar la batería. En realizaciones alternativas, el puerto de alimentación 404 puede estar integrado con el soporte de montaje 402 de manera que la cámara de visualización estereoscópica 300 reciba alimentación a través de cables (u otros materiales de enrutamiento conductores) dentro del soporte.
La Figura 4 también muestra que la cámara de visualización estereoscópica 300 puede incluir un puerto de datos 406. El puerto de datos 406 de ejemplo puede incluir cualquier tipo de puerto incluyendo, por ejemplo, una interfaz Ethernet, una interfaz multimedia de alta definición (HDMI), una interfaz de bus serie universal (USB), una interfaz digital serie (SDI), una interfaz óptica digital, una interfaz de comunicación serie RS-232, etc. El puerto de datos 406 está configurado para proporcionar una conexión comunicativa entre la cámara de visualización estereoscópica 300 y los cables conectados a uno o más dispositivos informáticos, servidores, dispositivos de grabación o dispositivos de visualización. La conexión comunicativa puede transmitir señales de vídeo estereoscópicas o señales de vídeo bidimensionales para su posterior procesamiento, almacenamiento y/o visualización. El puerto de datos 406 también puede permitir que se envíen señales de control a la cámara de visualización estereoscópica 300. Por ejemplo, un operador en un ordenador conectado (por ejemplo, un ordenador portátil, un ordenador de escritorio y/o una tableta) puede transmitir señales de control a la cámara de visualización estereoscópica 300 para dirigir la operación, realizar la calibración o cambiar una configuración de visualización de salida.
En algunas realizaciones, el puerto de datos 406 puede reemplazarse (y/o complementarse) con una interfaz inalámbrica. Por ejemplo, la cámara de visualización estereoscópica 300 puede transmitir señales de visualización estereoscópica a través de Wi-Fi a uno o más dispositivos de visualización. El uso de una interfaz inalámbrica, combinada con una batería interna, permite que la cámara de visualización estereoscópica 300 no tenga cables, mejorando aún más la maniobrabilidad dentro de un entorno quirúrgico.
La cámara de visualización estereoscópica 300 que se muestra en la Figura 4 también incluye una lente de objetivo principal de distancia de trabajo frontal 408 de un conjunto objetivo principal. La lente 408 de ejemplo es el inicio de la trayectoria óptica dentro de la cámara de visualización estereoscópica 300. La luz de una fuente de luz interna a la cámara de visualización estereoscópica 300 se transmite a través de la lente 408 a un sitio objetivo. Además, la luz reflejada desde el sitio objetivo se recibe en la lente 408 y pasa a los elementos ópticos posteriores.
II. Maniobrabilidad ejemplar de la cámara de visualización estereoscópica
Las Figuras 5 y 6 muestran diagramas de la cámara de visualización estereoscópica 300 utilizada dentro de un entorno microquirúrgico 500, de acuerdo con realizaciones de ejemplo de la presente invención. Como se ilustra, el tamaño reducido y la maniobrabilidad de la cámara de visualización estereoscópica 300 (especialmente cuando se utiliza junto con un brazo de múltiples grados de libertad) permiten un posicionamiento flexible con respecto a un paciente 502. Una porción del paciente 502 a la vista de la cámara de visualización estereoscópica 300 incluye un sitio objetivo 503. Un cirujano 504 puede posicionar la cámara de visualización estereoscópica 300 en prácticamente cualquier orientación dejando espacio quirúrgico más que suficiente por encima del paciente 502 (acostado en posición supina). La cámara de visualización estereoscópica 300 es, por tanto, mínimamente intrusiva (o no intrusiva) para permitir que el cirujano 504 realice un procedimiento microquirúrgico que cambia la vida sin distracciones ni obstáculos.
En la Figura 5, la cámara de visualización estereoscópica 300 está conectada a un brazo mecánico 506 a través del soporte de montaje 402. El brazo 506 puede incluir una o más articulaciones rotacionales o extensibles con frenos electromecánicos para facilitar el reposicionamiento de la cámara de visualización estereoscópica 300. Para mover la cámara de visualización estereoscópica 300, el cirujano 504, o el asistente 508, acciona los frenos en una o más articulaciones del brazo 506. Después de que la cámara de visualización estereoscópica 300 se mueve a una posición deseada, se pueden activar los frenos para bloquear las articulaciones del brazo 506 en su lugar.
Una característica importante de la cámara de visualización estereoscópica 300 es que no incluye oculares. Esto significa que la cámara de visualización estereoscópica 300 no tiene que estar alineada con los ojos del cirujano 504. Esta libertad permite que la cámara de visualización estereoscópica 300 se posicione y oriente en posiciones deseables que no eran prácticas o posibles con los microscopios quirúrgicos conocidos hasta ahora. En otras palabras, el cirujano 504 puede realizar microcirugía con la vista más óptima para llevar a cabo el procedimiento en lugar de estar restringido meramente a la vista adecuada dictada por los oculares de un microscopio quirúrgico.
Volviendo a la Figura 5, la cámara de visualización estereoscópica 300, a través del brazo mecánico 506, está conectada a un carro 510 con monitores de visualización 512 y 514 (colectivamente una plataforma de visualización estereoscópica 516). En la configuración ilustrada, la plataforma de visualización estereoscópica 516 es autónoma y puede moverse a cualquier ubicación deseada en el entorno microquirúrgico 500, incluso entre salas quirúrgicas. La plataforma integrada 516 permite mover la cámara de visualización estereoscópica 300 y utilizarla a demanda sin necesidad de tiempo para configurar el sistema conectando los monitores de visualización 512 y 514.
Los monitores de visualización 512 y 514 pueden incluir cualquier tipo de pantalla, incluido un televisor de alta definición, un televisor de ultra alta definición, gafas inteligentes, proyectores, una o más pantallas de ordenador, ordenadores portátiles, tabletas y/o teléfonos inteligentes. Los monitores de visualización 512 y 514 pueden estar conectados a brazos mecánicos para permitir un posicionamiento flexible similar a la cámara de visualización estereoscópica 300. En algunos casos, los monitores de visualización 512 y 514 pueden incluir una pantalla táctil para permitir que un operador envíe comandos a la cámara de visualización estereoscópica 300 y/o ajuste una configuración de una pantalla.
En algunas realizaciones, el carro 516 puede incluir un ordenador 520. En estas realizaciones, el ordenador 520 puede controlar un brazo mecánico robótico conectado a la cámara de visualización estereoscópica 300. Adicionalmente o alternativamente, el ordenador 520 puede procesar señales de vídeo (o vídeo estereoscópico) (por ejemplo, una imagen o flujo de fotogramas) desde la cámara de visualización estereoscópica 300 para su visualización en los monitores de visualización 512 y 514. Por ejemplo, el ordenador 520 puede combinar o intercalar señales de vídeo izquierda y derecha de la cámara de visualización estereoscópica 300 para crear una señal estereoscópica para mostrar una imagen estereoscópica de un sitio objetivo. El ordenador 520 también se puede utilizar para almacenar señales de vídeo y/o vídeo estereoscópico en un archivo de vídeo (almacenado en una memoria) de modo que se pueda documentar y reproducir el rendimiento quirúrgico. Además, el ordenador 520 también puede enviar señales de control a la cámara de visualización estereoscópica 300 para seleccionar configuraciones y/o realizar la calibración.
En algunas realizaciones, el entorno microquirúrgico 500 de la Figura 5 incluye un procedimiento de cirugía oftálmica. En esta realización, el brazo mecánico 506 puede programarse para realizar un barrido orbital del ojo de un paciente. Este barrido permite al cirujano examinar la retina periférica durante procedimientos vítreo-retinianos. Por el contrario, con los microscopios ópticos convencionales, la única forma en que un cirujano puede ver la retina periférica es empujando el lado del ojo dentro del campo de visión utilizando una técnica conocida como depresión escleral.
La Figura 6 muestra un diagrama del entorno microquirúrgico 500 con el paciente 502 en posición sentada para una neurocirugía de base de cráneo por abordaje posterior. En la realización ilustrada, la cámara de visualización estereoscópica 300 se coloca en una posición horizontal para mirar hacia la parte posterior de la cabeza del paciente 502. El brazo mecánico 506 incluye articulaciones que permiten posicionar la cámara de visualización estereoscópica 300 como se muestra. Además, el carro 510 incluye el monitor 512, que puede estar alineado con la dirección de visión natural del cirujano.
La ausencia de oculares permite que la cámara de visualización estereoscópica 300 se posicione horizontalmente y más abajo que el nivel de visión de los ojos del cirujano 504. Además, el peso relativamente bajo y la flexibilidad permiten que la cámara de visualización estereoscópica 300 se posicione en formas inimaginables para otros microscopios quirúrgicos conocidos. La cámara de visualización estereoscópica 300 proporciona así una vista microquirúrgica para cualquier posición y/u orientación deseada del paciente 502 y/o del cirujano 504.
Si bien las Figuras 5 y 6 muestran dos realizaciones de ejemplo para posicionar la cámara de visualización estereoscópica 300, se debe tener en cuenta que la cámara de visualización estereoscópica 300 puede posicionarse en cualquier número de posiciones dependiendo del número de grados de libertad del brazo mecánico 506. Es totalmente posible en algunas realizaciones colocar la cámara de visualización estereoscópica 300 orientada hacia arriba (por ejemplo, boca abajo).
III. Comparación de la plataforma de visualización estereoscópica de ejemplo
con microscopios quirúrgicos conocidos
Al comparar la cámara de visualización estereoscópica 300 de las Figuras 3 a 6 con el microscopio quirúrgico 200 de la Figura 2, las diferencias son fácilmente evidentes. La inclusión de los oculares 206 en el microscopio quirúrgico requiere que el cirujano oriente constantemente sus ojos hacia los oculares, que están en una ubicación fija con relación al cabezal del visor 201 y al paciente. Además, el volumen y el peso del microscopio quirúrgico limitan su ubicación a una orientación generalmente vertical con respecto al paciente. Por el contrario, la cámara de visualización estereoscópica 300 de ejemplo no incluye oculares y puede ubicarse en cualquier orientación o posición con respecto a un paciente, liberando así al cirujano para moverse durante la cirugía.
Para permitir que otro personal clínico visualice un sitio objetivo microquirúrgico, el microscopio quirúrgico 200 requiere la adición de segundos oculares 208. Generalmente la mayoría de los microscopios quirúrgicos 200 conocidos no permiten añadir terceros oculares. Por el contrario, la cámara de visualización estereoscópica 300 de ejemplo puede estar acoplada comunicativamente a un número ilimitado de monitores de visualización. Si bien las Figuras 5 y 6 anteriores muestran los monitores de visualización 512 y 514 conectados al carro 510, una sala quirúrgica puede estar rodeada de monitores de visualización que muestran la vista microquirúrgica registrada por la cámara de visualización estereoscópica 300. De este modo, en lugar de limitar la visión a una o dos personas (o tener que compartir un ocular), todo un equipo quirúrgico puede tener una vista ampliada del sitio quirúrgico objetivo. Además, a las personas que se encuentran en otras salas, tales como las salas de formación o de observación, se les puede presentar la misma vista ampliada que se muestra al cirujano.
En comparación con la cámara de visualización estereoscópica 300, el microscopio quirúrgico de dos oculares 200 es más propenso a sufrir golpes o moverse accidentalmente. Dado que los cirujanos colocan sus cabezas sobre los oculares 206 y 208 durante la cirugía para mirar a través de los oculares, el cabezal del visor 201 recibe una fuerza constante y golpes periódicos. Al añadir los segundos oculares 208 se duplica la fuerza desde un segundo ángulo. En conjunto, la fuerza constante y los golpes periódicos de los cirujanos pueden provocar que el cabezal del visor 201 se mueva, lo que requiere reposicionar el cabezal del visor 201. Este reposicionamiento retrasa el procedimiento quirúrgico y molesta al cirujano.
La cámara de visualización estereoscópica 300 de ejemplo no incluye oculares y no está diseñada para recibir contacto de un cirujano una vez que está bloqueada en su lugar. Esto corresponde a una probabilidad significativamente menor de que la cámara de visualización estereoscópica 300 se mueva o golpee accidentalmente durante la actuación del cirujano.
Para facilitar los segundos oculares 208, el microscopio quirúrgico 200 debe estar equipado con un divisor de haz 210, que puede incluir lentes de vidrio y espejos alojados en tubos metálicos de precisión. El uso de un divisor de haz 210 reduce la luz recibida en los primeros oculares porque parte de la luz se refleja en los segundos oculares 208. Además, la adición de los segundos oculares 208 y el divisor de haz 210 aumenta el peso y el volumen del cabezal del visor 201.
A diferencia del microscopio quirúrgico 200, la cámara de visualización estereoscópica 300 solo contiene trayectorias ópticas para sensores, lo que reduce el peso y el volumen. Además, los sensores ópticos reciben toda la luz incidente ya que no se necesitan divisores de haz para redirigir una parte de la luz. Esto significa que la imagen recibida por los sensores ópticos de la cámara de visualización estereoscópica 300 de ejemplo es lo más brillante y clara posible.
Algunos modelos de microscopios quirúrgicos pueden permitir la conexión de una cámara de vídeo. Por ejemplo, el microscopio quirúrgico 200 de la Figura 2 incluye una cámara de vídeo monoscópica 212 conectada a una trayectoria óptica a través de un divisor de haz 214. La cámara de vídeo 212 puede ser monoscópica o estereoscópica, tal como la cámara de oftalmología del sistema de visualización 3D TrueVision® de Leica®. La cámara de vídeo 212 graba una imagen recibida desde el divisor de haz 214 para mostrarla en un monitor de visualización. La adición de la cámara de vídeo 212 y el divisor de haz 214 aumentan aún más el peso del cabezal del visor 201. Además, el divisor de haz 214 consume luz adicional destinada a los oculares 206 y/o 208.
Cada divisor de haz 210 y 214 divide la luz incidente fraccionadamente en tres trayectorias, eliminando la luz de la visión del cirujano. El ojo del cirujano tiene una sensibilidad limitada a la poca luz, de modo que la luz del sitio operatorio que se le presenta debe ser suficiente para permitirle al cirujano realizar el procedimiento. Sin embargo, un cirujano no siempre puede aumentar la intensidad de la luz aplicada a un sitio objetivo en un paciente, especialmente en procedimientos oftalmológicos. El ojo de un paciente tiene una sensibilidad limitada a la luz intensa antes de desarrollar toxicidad lumínica. Por lo tanto, existe una limitación en el número y fracción de divisores de haz y en la cantidad de luz que se puede separar de los primeros oculares 206 para permitir el uso de dispositivos auxiliares 208 y 212.
La cámara de visualización estereoscópica 300 de ejemplo de las Figuras 3 a 6 no incluye divisores de haz de modo que los sensores de imágenes ópticas reciban la cantidad completa de luz de un conjunto objetivo principal. Esto permite el uso de sensores con baja sensibilidad a la luz o incluso sensores ópticos con sensibilidad fuera de las longitudes de onda de la luz visible, ya que el posprocesamiento puede hacer que las imágenes sean lo suficientemente brillantes y visibles (y ajustables) para mostrarlas en los monitores.
Además, dado que los elementos ópticos que definen las trayectorias ópticas están contenidos dentro de la cámara de visualización estereoscópica 300, los elementos ópticos pueden controlarse a través de la cámara. Este control permite optimizar la colocación y el ajuste de los elementos ópticos para una visualización estereoscópica tridimensional en lugar de para oculares de microscopio. Esta configuración de la cámara permite que el control se realice electrónicamente desde los controles de la cámara o desde un ordenador remoto. Además, el control puede proporcionarse automáticamente a través de uno o más programas a bordo de la cámara 300 configurados para ajustar los elementos ópticos para retener el enfoque mientras se hace zoom o para ajustar defectos ópticos y/o paralaje espurio. Por el contrario, los elementos ópticos del microscopio quirúrgico 200 son externos a la cámara de vídeo 212 y se controlan únicamente a través de la entrada del operador, que generalmente está optimizada para visualizar un sitio objetivo a través de los oculares 206.
En una comparación final, el microscopio quirúrgico 200 incluye un dispositivo de barrido X-Y 220 para mover un campo de visión o una escena objetivo. El dispositivo de barrido X-Y 220 suele ser un módulo electromecánico grande, pesado y costoso, ya que debe sostener y mover de manera rígida el cabezal del visor quirúrgico 201. Además, al mover el cabezal del visor 201 se cambia la posición del cirujano a la nueva ubicación de los oculares 206.
Por el contrario, la cámara de visualización estereoscópica 300 de ejemplo incluye una memoria que incluye instrucciones que, cuando se ejecutan, hacen que un procesador seleccione datos de píxeles de sensores ópticos para permitir el barrido X-Y a lo largo de una amplia cuadrícula de píxeles. Además, la cámara de visualización estereoscópica 300 de ejemplo puede incluir un pequeño motor o actuador que controla un elemento óptico del objetivo principal para cambiar una distancia de trabajo a un sitio objetivo sin mover la cámara 300.
IV. Elementos ópticos de ejemplo de la cámara de visualización estereoscópica
Las Figuras 7 y 8 muestran diagramas ilustrativos de elementos ópticos dentro de la cámara de visualización estereoscópica 300 de ejemplo de las Figuras 3 a 6, de acuerdo con una realización de ejemplo de la presente invención. Puede parecer relativamente sencillo adquirir vistas izquierda y derecha de un sitio objetivo para construir una imagen estereoscópica. Sin embargo, sin un diseño y una compensación cuidadosos, muchas imágenes estereoscópicas presentan problemas de alineación entre las vistas izquierda y derecha. Cuando se observa durante un período prolongado de tiempo, los problemas de alineación pueden crear confusión en el cerebro del observador como resultado de las diferencias entre las vistas izquierda y derecha. Esta confusión puede provocar dolores de cabeza, fatiga, vértigo e incluso náuseas.
La cámara de visualización estereoscópica 300 de ejemplo reduce (o elimina) los problemas de alineación al tener una trayectoria óptica derecha y una trayectoria óptica izquierda con control y/o ajuste independiente de algunos elementos ópticos, mientras que otros elementos ópticos izquierdo y derecho están fijados en un portador común. En una realización de ejemplo, algunas lentes con zoom de izquierda y derecha pueden fijarse a un portador común para garantizar que el aumento izquierdo y derecho sea sustancialmente el mismo. Sin embargo, las lentes frontales o traseras se pueden ajustar independientemente de manera radial, rotacional, axial y/o inclinada para compensar pequeñas diferencias en el aumento del zoom, defectos visuales y/o paralaje espurio tal como el movimiento de un punto de repetición del zoom. La compensación proporcionada por lentes ajustables da como resultado trayectorias ópticas casi perfectamente alineadas a lo largo de un rango completo de aumento del zoom.
Además o como alternativa, los problemas de alineación se pueden reducir (o eliminar) utilizando técnicas de lectura y/o renderizado de píxeles. Por ejemplo, una imagen derecha (grabada por un sensor óptico derecho) se puede ajustar hacia arriba o hacia abajo con respecto a una imagen izquierda (grabada por un sensor óptico izquierdo) para corregir la desalineación vertical entre las imágenes. De manera similar, una imagen derecha se puede ajustar hacia la izquierda o hacia la derecha con respecto a una imagen izquierda para corregir la desalineación horizontal entre las imágenes.
Las Figuras 7 y 8 a continuación muestran una disposición y posicionamiento de ejemplo de elementos ópticos que proporcionan trayectorias ópticas alineadas casi sin artefactos, paralaje espurio y distorsión. Como se analizará más adelante, algunos de los elementos ópticos se pueden mover durante la calibración y/o el uso para alinear mejor las trayectorias ópticas y eliminar cualquier distorsión restante, paralaje espurio y/o defectos. En la realización ilustrada, los elementos ópticos están posicionados en dos trayectorias paralelas para generar una vista izquierda y una vista derecha. Las realizaciones alternativas pueden incluir trayectorias ópticas que estén plegadas, desviadas o que de otro modo no sean paralelas.
Las trayectorias ilustradas corresponden al sistema visual de un humano, de modo que la vista izquierda y la vista derecha, tal como se muestran en una pantalla estereoscópica, parecen estar separadas por una distancia que crea un ángulo de convergencia de aproximadamente 6 grados, que es comparable al ángulo de convergencia de los ojos de un humano adulto que ve un objeto a aproximadamente 4 pies de distancia, lo que da como resultado la estereopsis. En algunas realizaciones, los datos de imagen generados desde la vista izquierda y la vista derecha se combinan juntos en el monitor o monitores de visualización 512 y 514 para generar una imagen estereoscópica de un sitio o escena objetivo. Las realizaciones alternativas comprenden otras pantallas estereoscópicas donde la vista izquierda se presenta solo al ojo izquierdo del espectador y la vista derecha correspondiente se presenta solo al ojo derecho. En realizaciones ejemplares utilizadas para ajustar y verificar la alineación y calibración adecuadas, ambas vistas se muestran superpuestas a ambos ojos.
La visión estereoscópica es superior a la monoscópica porque imita mucho mejor el sistema visual humano. La visión estereoscópica proporciona percepción de profundidad, percepción de distancia y percepción de tamaño relativo para brindarle al cirujano una visión realista de un sitio quirúrgico objetivo. Para procedimientos tales como la cirugía de retina, la visión estereoscópica es vital porque los movimientos y las fuerzas quirúrgicas son tan pequeños que el cirujano no puede sentirlos. Proporcionar una visión estereoscópica ayuda al cerebro del cirujano a magnificar la sensación táctil cuando el cerebro detecta incluso movimientos menores mientras percibe la profundidad.
La Figura 7 muestra una vista lateral de la cámara de visualización estereoscópica 300 de ejemplo con la carcasa 302 transparente para exponer los elementos ópticos. La Figura 8 muestra un diagrama ilustrativo de una trayectoria óptica proporcionada por los elementos ópticos mostrados en la Figura 7. Como se muestra en la Figura 8, la trayectoria óptica incluye una trayectoria óptica derecha y una trayectoria óptica izquierda. Las trayectorias ópticas de la Figura 8 se muestran desde una perspectiva orientada hacia adelante y mirando hacia abajo a la cámara de visualización estereoscópica 300. Desde esta vista, la trayectoria óptica izquierda aparece en el lado derecho de la Figura 8, mientras que la trayectoria óptica derecha se muestra en el lado izquierdo.
Los elementos ópticos que se muestran en la Figura 7 son parte de la trayectoria óptica izquierda. Se debe tener en cuenta que la trayectoria óptica derecha en la Figura 7 es generalmente idéntica a la trayectoria óptica izquierda con respecto a la relación, la ubicación y la disposición de los elementos ópticos. Como se mencionó anteriormente, la distancia interpupilar entre los centros de las trayectorias ópticas oscila entre 58 y 70 mm, que puede escalonarse de 10 a 25 mm. Cada elemento óptico está compuesto por lentes con diámetros específicos (por ejemplo, entre 2 mm y 29 mm). Por tanto, la distancia entre los propios elementos ópticos es de entre 1 y 23 mm, preferentemente de unos 10 mm.
La cámara de visualización estereoscópica 300 de ejemplo está configurada para adquirir imágenes de un sitio objetivo 700 (también denominado escena o campo de visión). El sitio objetivo 700 incluye una ubicación anatómica en un paciente. El sitio objetivo 700 también puede incluir muestras biológicas de laboratorio, portaobjetos/plantillas de calibración, etc. Las imágenes del sitio objetivo 700 se reciben en la cámara de visualización estereoscópica 300 a través de un conjunto objetivo principal 702, que incluye la lente de distancia de trabajo frontal 408 (mostrada en la Figura 4) y una lente de distancia de trabajo trasera 704.
V. Conjunto objetivo principal de ejemplo
El conjunto objetivo principal 702 de ejemplo puede incluir cualquier tipo de conjunto refractivo o conjunto reflectante. La Figura 7 muestra el conjunto objetivo 702 como un conjunto refractivo acromático con la lente de distancia de trabajo frontal 408 estacionaria y la lente de distancia de trabajo trasera 704 movible a lo largo del eje z. La lente de distancia de trabajo frontal 408 puede comprender una lente plano-convexa ("PCX") y/o una lente de menisco. La lente de distancia de trabajo trasera 704 puede comprender una lente acromática. En los ejemplos en los que el conjunto objetivo principal 702 incluye un conjunto refractivo acromático, la lente de distancia de trabajo frontal 408 puede incluir una lente hemisférica y/o una lente de menisco. Además, la lente de distancia de trabajo trasera 704 puede incluir una lente doblete acromática, un grupo de lentes doblete acromáticas y/o una lente triplete acromáticas.
El aumento del conjunto objetivo principal 702 está entre 6x y 20x. En algunos casos, el aumento del conjunto objetivo principal 702 puede variar ligeramente según la distancia de trabajo. Por ejemplo, el conjunto objetivo principal 702 puede tener un aumento de 8,9x para una distancia de trabajo de 200 mm y un aumento de 8,75x para una distancia de trabajo de 450 mm.
La lente de distancia de trabajo trasera 704 de ejemplo está configurada para ser movible con respecto a la lente de distancia de trabajo delantera 408 para cambiar la separación entre ellas. La separación entre las lentes 408 y 704 determina la longitud focal frontal total del conjunto objetivo principal 702 y, en consecuencia, la ubicación de un plano focal. En algunas realizaciones, la distancia focal es la distancia entre las lentes 408 y 704 más la mitad del espesor de la lente de distancia de trabajo frontal 408.
Juntas, la lente de distancia de trabajo frontal 408 y la lente de distancia de trabajo trasera 704 están configuradas para proporcionar una imagen conjugada infinita para proporcionar un enfoque óptimo para los sensores de imágenes ópticos posteriores. En otras palabras, un objeto ubicado exactamente en el plano focal del sitio objetivo 700 tendrá su imagen proyectada a una distancia de infinito, quedando así acoplado al infinito a una distancia de trabajo proporcionada. Generalmente, el objeto aparece enfocado a una cierta distancia a lo largo de la trayectoria óptica desde el plano focal. Sin embargo, una vez superada cierta distancia límite, el objeto comienza a verse borroso o desenfocado.
La Figura 7 muestra la distancia de trabajo 706, que es la distancia entre la superficie exterior de la lente de distancia de trabajo frontal 408 y el plano focal del sitio objetivo 700. La distancia de trabajo 706 puede corresponder a un campo de visión angular, donde una distancia de trabajo más larga da como resultado un campo de visión más amplio o un área visible más grande. La distancia de trabajo 706 establece en consecuencia un plano del sitio o escena objetivo que está enfocado. En el ejemplo ilustrado, la distancia de trabajo 706 se puede ajustar de 200 a 450 mm moviendo la lente de distancia de trabajo trasera 704. Por ejemplo, el campo de visión se puede ajustar entre 20 mm x 14 mm y 200 mm x 140 mm utilizando lentes con zoom ascendente cuando la distancia de trabajo es de 450 mm.
El conjunto objetivo principal 702 que se muestra en las Figuras 7 y 8 proporciona una imagen del sitio objetivo 700 para las trayectorias ópticas izquierda y derecha. Esto significa que el ancho de las lentes 408 y 704 debe ser al menos tan ancho como las trayectorias ópticas izquierda y derecha. En realizaciones alternativas, el conjunto objetivo principal 702 puede incluir lentes de distancia de trabajo delanteras izquierda y derecha 408 separadas y lentes de distancia de trabajo traseras izquierda y derecha 704 separadas . El ancho de cada par de lentes de distancia de trabajo separadas puede estar entre 1/4 y 1/2 del ancho de las lentes 408 y 704 que se muestran en las Figuras 7 y 8. Además, cada una de las lentes de distancia de trabajo traseras 704 se puede ajustar de forma independiente.
En algunas realizaciones, el conjunto objetivo principal 702 puede ser reemplazable. Por ejemplo, se pueden agregar diferentes conjuntos objetivos principales para cambiar un rango de distancia de trabajo, un aumento, una apertura numérica y/o un tipo de refracción/reflexión. En estas realizaciones, la cámara de visualización estereoscópica 300 puede cambiar la posición de los elementos ópticos posteriores, las propiedades de los sensores de imágenes ópticas y/o los parámetros del procesamiento de imágenes en función de qué conjunto objetivo principal esté instalado. Un operador puede especificar qué conjunto objetivo principal está instalado en la cámara de visualización estereoscópica 300 utilizando uno de los controles 305 de la Figura 3 y/o un dispositivo de entrada de usuario.
A. Fuentes de iluminación de ejemplo
Para iluminar el sitio objetivo 700, la cámara de visualización estereoscópica 300 de ejemplo incluye una o más fuentes de iluminación. Las Figuras 7 y 8 muestran tres fuentes de iluminación que incluyen una fuente de luz visible 708a, una fuente de luz de infrarrojo cercano ("NIR") 708b y una fuente de luz de ultravioleta cercano ("NUV") 708c. En otros ejemplos, la cámara de visualización estereoscópica 300 puede incluir fuentes de luz adicionales o menos (o ninguna). Por ejemplo, se pueden omitir las fuentes de luz NIR y NUV. Las fuentes de luz 708 de ejemplo están configuradas para generar luz, que se proyecta a la escena objetivo 700. La luz generada interactúa y se refleja en la escena del objetivo, y parte de la luz se refleja en el conjunto objetivo principal 702. Otros ejemplos pueden incluir fuentes de luz externas o luz ambiental del entorno.
La fuente de luz visible 708a de ejemplo está configurada para emitir luz en la parte visible para los humanos del espectro de luz, además de algo de luz con longitudes de onda fuera de la región visible. La fuente de luz NIR 708b está configurada para emitir luz que se encuentra principalmente en longitudes de onda ligeramente más allá de la parte roja del espectro visible, lo que también se conoce como "infrarrojo cercano". La fuente de luz NUV 708c está configurada para emitir luz que se encuentra principalmente en longitudes de onda en la parte azul del espectro visible, lo que se conoce como "ultravioleta cercano". Los espectros de luz emitidos por las fuentes de luz 708 están controlados por controladores respectivos, descritos a continuación. El brillo de la luz emitida por las fuentes de luz 708 se puede controlar mediante una tasa de conmutación y/o una forma de onda de voltaje aplicada.
Las Figuras 7 y 8 ilustran que la fuente de luz visible 708a y la fuente de luz NIR 708b se proporcionan directamente a través del conjunto objetivo principal 702 al sitio objetivo 700. Como se muestra en la Figura 8, la luz visible de la fuente de luz visible 708a se propaga a lo largo de la trayectoria visible 710a. Además, la luz NIR de la fuente de luz NIR 708b se propaga a lo largo de la trayectoria NIR 710b. Si bien las fuentes de luz 708a y 708b se muestran detrás del conjunto objetivo principal 702 (con respecto al sitio objetivo 700), en otros ejemplos las fuentes de luz 708a y 708b pueden proporcionarse antes del conjunto objetivo principal 702. En una realización, las fuentes de luz 708a y 708b pueden proporcionarse en un exterior de la carcasa 302 y orientarse hacia el sitio objetivo 700. En otras realizaciones más, las fuentes de luz 708 pueden proporcionarse separadas de la cámara de visualización estereoscópica 300 utilizando, por ejemplo, una configuración de iluminación Koeher y/o una configuración de iluminación de campo oscuro.
A diferencia de las fuentes de luz 708a y 708b, la luz NUV de la fuente de luz NUV 708c se refleja mediante un elemento deflector 712 (por ejemplo, un divisor de haz) hacia el conjunto objetivo principal 702 utilizando una configuración de epiiluminación. El elemento deflector 712 puede estar recubierto o configurado de otro modo para reflejar solo la luz más allá del rango de longitud de onda NUV, filtrando así la luz NUV. La luz NUV de la fuente de luz NUV 708c se propaga a lo largo de la trayectoria NUV 710c.
En algunas realizaciones, las fuentes de luz NIR y NUV 708b y 708c pueden usarse con filtros de excitación para filtrar aún más la luz que no puede ser bloqueada por los filtros (por ejemplo, el filtro 740). Los filtros pueden colocarse delante de las fuentes de luz 708b y 708c antes del conjunto objetivo principal 702 y/o después del conjunto objetivo principal. La luz de las fuentes de luz NUV y NIR 708b y 708c, después de ser filtrada, comprende longitudes de onda que excitan la fluorescencia en los sitios fluorescentes 914 (mostrados en la Figura 9) de un objeto anatómico. Además, la luz de las fuentes de luz NUV y NIR 708b y 708c, después de ser filtrada, puede comprender longitudes de onda que no están en el mismo rango que las emitidas por los sitios fluorescentes 914.
La proyección de la luz desde las fuentes de luz 708 a través del conjunto objetivo principal proporciona el beneficio de cambiar el campo de visión iluminado en función de la distancia de trabajo 706 y/o el plano focal. Dado que la luz pasa a través del conjunto objetivo principal 702, el ángulo en el que se proyecta la luz cambia en función de la distancia de trabajo 706 y corresponde al campo de visión angular. Esta configuración garantiza así que el campo de visión esté iluminado adecuadamente por las fuentes de luz 708, independientemente de la distancia de trabajo o el aumento.
B. Elemento deflector de ejemplo
El elemento deflector 712 de ejemplo ilustrado en las Figuras 7 y 8 está configurado para transmitir una determinada longitud de onda de luz desde la fuente de luz NUV 708c al sitio objetivo 700 a través del conjunto objetivo principal 702. El elemento deflector 712 también está configurado para reflejar la luz recibida desde el sitio objetivo 700 a elementos ópticos posteriores, incluido un conjunto de lentes frontales 714 para hacer zoom y grabar. En algunas realizaciones, el elemento deflector 712 puede filtrar la luz recibida desde el sitio objetivo 700 a través del conjunto objetivo principal 702 de modo que la luz de ciertas longitudes de onda llegue al conjunto de lentes frontales 714.
El elemento deflector 712 puede incluir cualquier tipo de espejo o lente para reflejar la luz en una dirección específica. En un ejemplo, el elemento deflector 712 incluye un espejo o filtro dicroico, que tiene diferentes características de reflexión y transmisión en diferentes longitudes de onda. La cámara de visualización estereoscópica 300 de las Figuras 7 y 8 incluye un único elemento deflector 712, que proporciona luz para las trayectorias ópticas derecha e izquierda. En otros ejemplos, la cámara 300 puede incluir elementos deflectores separados para cada una de las trayectorias ópticas derecha e izquierda. Además, se puede proporcionar un elemento deflector separado para la fuente de luz NUV 708c.
La Figura 9 muestra un diagrama del elemento deflector 712 de las Figuras 7 y 8, según una realización de ejemplo de la presente invención. Para mayor brevedad, no se muestra el conjunto objetivo principal 702. En este ejemplo, el elemento deflector 712 incluye dos caras paralelas 902 y 904 para transmitir y reflejar luz de ciertas longitudes de onda. Las caras paralelas 902 y 904 están dispuestas en un ángulo de 45° con respecto a las trayectorias ópticas izquierda y derecha (representadas como trayectoria 906). Se selecciona el ángulo de 45° porque este ángulo hace que la luz reflejada se propague en un ángulo de 90° con respecto a la luz transmitida, proporcionando así una separación óptima sin hacer que la luz separada se detecte en el conjunto de lentes frontales 714 posteriores. En otras realizaciones, el ángulo del elemento deflector 712 podría estar entre 10 grados y 80 grados sin propagar involuntariamente luz de longitudes de onda no deseadas.
La fuente de luz NUV 708c de ejemplo está ubicada detrás del elemento deflector 712 (con respecto al sitio objetivo 700). La luz de la fuente de luz 708c se propaga a lo largo de la trayectoria 908 y entra en contacto con el elemento deflector 712. La luz NUV alrededor del rango de longitud de onda primario de la fuente de luz NUV 708c se transmite a través del elemento deflector 712 a lo largo de la trayectoria 910 hasta el sitio objetivo 700. La luz de la fuente de luz NUV 708c que tiene una longitud de onda superior (e inferior) al rango de longitud de onda principal de la fuente de luz NUV 708c se refleja a lo largo de la trayectoria 912 hacia un sumidero de luz o una región no utilizada de la carcasa 302.
Cuando la luz NUV llega al sitio objetivo 700, es absorbida por uno o más sitios fluorescentes 914 de un objeto anatómico. En algunos casos, es posible que se haya inyectado al objeto anatómico un agente de contraste configurado para absorber la luz NUV y emitir luz con una longitud de onda primaria diferente. En otros casos, el objeto anatómico puede absorber naturalmente la luz NUV y emitir luz con una longitud de onda primaria diferente. Al menos parte de la luz reflejada o emitida por el sitio fluorescente 914 se propaga a lo largo de la trayectoria 916 hasta que entra en contacto con el elemento deflector 712. La mayor parte de la luz se refleja en la superficie 904 a lo largo de la trayectoria 906 hasta el conjunto de lentes frontales 714. Una parte de la luz, incluida la luz NUV alrededor del rango de longitud de onda primario de la fuente de luz NUV 708c, se transmite a través del elemento deflector 712 a lo largo de la trayectoria 918 hasta un sumidero de luz o una región no utilizada de la carcasa 302. El elemento deflector 712 mostrado en la Figura 9 permite la estimulación óptica de un agente fluorescente en el sitio objetivo 700 con una región del espectro mientras bloquea gran parte de la luz estimulante que viaja al conjunto de lentes frontales 714 posteriores.
Se debe tener en cuenta que las características de reflectividad y transmisividad del elemento deflector 712 se pueden cambiar para cumplir con otros requisitos del espectro de luz. En algunos casos, la carcasa 302 puede incluir una ranura que permite reemplazar el elemento deflector 712 y/o la fuente de luz NUV 708c en función de las características de reflectividad y transmisividad de luz deseadas. También debe apreciarse que una primera trayectoria interna al elemento deflector 712 entre la trayectoria 908 y la trayectoria 910 y una segunda trayectoria interna al elemento deflector 712 entre la trayectoria 916 y la trayectoria 918 están cada una en ángulo para representar esquemáticamente la refracción de la luz a medida que viaja entre el aire y el interior del elemento deflector 712. Los ángulos mostrados no pretenden representar ángulos de reflexión reales.
C. Lentes de zoom de ejemplo
La cámara de visualización estereoscópica 300 de ejemplo de las Figuras 7 y 8 incluye una o más lentes de zoom para cambiar la longitud focal y el ángulo de visión del sitio objetivo 700 para proporcionar un aumento de zoom. En el ejemplo ilustrado, la lente de zoom incluye un conjunto de lentes frontales 714, un conjunto de lentes de zoom 716 y un conjunto de cilindros de lentes 718. Se debe tener en cuenta que en otras realizaciones, el conjunto de lentes frontales 714 y/o el conjunto de cilindros de lentes 718 pueden omitirse. Alternativamente, la lente de zoom puede incluir una lente adicional para proporcionar mayor aumento y/o resolución de imagen.
El conjunto de lentes frontales 714 incluye una lente frontal derecha 720 para la trayectoria óptica derecha y una lente frontal izquierda 722 para la trayectoria óptica izquierda. Las lentes 720 y 722 pueden incluir, cada una, una lente convergente positiva para dirigir la luz desde el elemento deflector 712 a las lentes respectivas en el conjunto de lentes de zoom 716. Una posición lateral de las lentes 720 y 722 define en consecuencia un haz desde el conjunto objetivo principal 702 y el elemento deflector 712 que se propaga al conjunto de lentes de zoom 716.
Una o ambas lentes 720 y 722 pueden ajustarse radialmente para coincidir con los ejes ópticos de las trayectorias ópticas izquierda y derecha. En otras palabras, una o ambas lentes 720 y 722 pueden moverse de izquierda a derecha y/o de arriba a abajo en un plano incidente a la trayectoria óptica. En algunas realizaciones, una o más de las lentes 720 y 722 pueden rotarse o inclinarse para reducir o eliminar defectos ópticos de la imagen y/o paralaje espurio. Mover una o ambas lentes 720 y 722 durante el zoom puede provocar que el punto de repetición de zoom (''ZRP'') para cada trayectoria óptica parezca permanecer estacionario para el usuario. Además del movimiento radial, una o ambas lentes frontales 720 y 722 pueden moverse axialmente (a lo largo de la trayectoria óptica respectiva) para coincidir con los aumentos de las trayectorias ópticas.
El conjunto de lentes de zoom 716 de ejemplo forma un sistema de zoom afocal para cambiar el tamaño de un campo de visión (por ejemplo, un campo de visión lineal) cambiando el tamaño del haz de luz propagado al conjunto de cilindros de lentes 718. El conjunto de lentes de zoom 716 incluye un conjunto de lentes de zoom frontales 724 con una lente de zoom frontal derecha 726 y una lente de zoom frontal izquierda 728. El conjunto de lentes de zoom 716 también incluye un conjunto de lentes de zoom traseras 730 con una lente de zoom trasera derecha 732 y una lente de zoom trasera izquierda 734. Las lentes de zoom frontales 726 y 728 pueden ser lentes convergentes positivas, mientras que las lentes de zoom traseras 732 y 734 incluyen lentes divergentes negativas.
El tamaño de un haz de imagen para cada una de las trayectorias ópticas izquierda y derecha se determina en función de una distancia entre las lentes de zoom frontales 726 y 728, las lentes de zoom traseras 732 y 734 y el conjunto de cilindros de lente 718. Generalmente, el tamaño de las trayectorias ópticas se reduce a medida que las lentes de zoom traseras 732 y 734 se mueven hacia el conjunto de cilindros de lente 718 (a lo largo de las trayectorias ópticas respectivas), disminuyendo así el aumento. Además, las lentes de zoom frontales 726 y 728 también pueden moverse hacia el conjunto de cilindros de lente 718 o alejarse del mismo (tal como en un arco parabólico), a medida que las lentes de zoom traseras 732 y 734 se mueven hacia el conjunto de cilindros de lente 718, para mantener la ubicación del plano focal en el sitio objetivo 700, manteniendo así el enfoque.
Las lentes de zoom frontal 726 y 728 pueden estar incluidas dentro de un primer portador (por ejemplo, el conjunto de zoom frontales 724) mientras que las lentes de zoom traseras 732 y 724 están incluidas dentro de un segundo portador (por ejemplo, el conjunto de zoom trasero 730). Cada uno de los portadores 724 y 730 puede moverse sobre pistas (o rieles) a lo largo de las trayectorias ópticas de manera que el aumento izquierdo y derecho cambien simultáneamente. En esta realización, cualquier ligera diferencia en el aumento entre las trayectorias ópticas izquierda y derecha se puede corregir moviendo la lente frontal derecha 720 y/o la lente frontal izquierda 722. Adicional o alternativamente, un cilindro de lente derecho 736 y/o un cilindro de lente izquierdo 738 del conjunto de cilindros de lente 718 pueden moverse axialmente.
En realizaciones alternativas, la lente de zoom frontal derecha 726 se puede mover axialmente por separado de la lente de zoom frontal izquierda 728. Además, la lente de zoom trasera derecha 732 se puede mover axialmente por separado de la lente de zoom trasera izquierda 734. Un movimiento separado puede permitir que pequeñas diferencias de aumento sean corregidas por el conjunto de lentes de zoom 716, especialmente cuando el conjunto de lentes frontales 714 y el conjunto de cilindros de lentes 718 están estacionarios a lo largo de las trayectorias ópticas. Además, en algunas realizaciones, la lente de zoom frontal derecha 726 y/o la lente de zoom frontal izquierda 728 pueden ser ajustables radial y/o rotacionalmente (y/o inclinadas) para mantener una ubicación aparente de un ZRP en la trayectoria óptica. Adicional o alternativamente, la lente de zoom trasera derecha 732 y/o la lente de zoom trasera izquierda 734 pueden ser ajustables radial y/o rotacionalmente (y/o inclinadas) para mantener una ubicación aparente de un ZRP en la trayectoria óptica.
El conjunto de cilindros de lentes 718 de ejemplo incluye el cilindro de lentes derecho 736 y el cilindro de lentes izquierdo 738, que son parte del sistema de zoom afocal, además, del conjunto de lentes de zoom 716. Las lentes 736 y 738 pueden incluir lentes convergentes positivas configuradas para enderezar o enfocar un haz de luz desde el conjunto de lentes de zoom 716. En otras palabras, las lentes 736 y 738 enfocan la salida acoplada al infinito del conjunto de lentes de zoom 716.
En algunos ejemplos, el conjunto de cilindros de lentes 718 está fijado radial y axialmente dentro de la carcasa 302. En otros ejemplos, el conjunto de cilindros de lente 718 puede moverse axialmente a lo largo de la trayectoria óptica para proporcionar un mayor aumento. Adicional o alternativamente, cada una de las lentes 736 y 738 puede ser ajustable radial y/o rotacionalmente (y/o inclinada) para, por ejemplo, corregir diferencias en las propiedades ópticas (debido a desviaciones de fabricación o del vidrio natural) entre las lentes izquierda y derecha del conjunto de lentes frontales 714, el conjunto de lentes de zoom frontales 724 y/o el conjunto de lentes de zoom traseras 730.
En conjunto, el conjunto de lentes frontales 714 de ejemplo, el conjunto de lentes de zoom 716 y el conjunto de cilindros de lentes 718 están configurados para lograr un zoom óptico entre 5X y aproximadamente 20X, preferentemente a un nivel de zoom que tenga una resolución limitada por difracción. En algunas realizaciones, el conjunto de lentes frontales 714, el conjunto de lentes de zoom 716 y el conjunto de cilindros de lentes 718 pueden proporcionar rangos de zoom más altos (por ejemplo, de 25X a 100X) si se puede comprometer la calidad de la imagen. En estas realizaciones, la cámara de visualización estereoscópica 300 puede enviar un mensaje a un operador indicando que un rango óptico seleccionado está fuera de un rango óptico y está sujeto a una reducción en la calidad de la imagen.
En algunas realizaciones, las lentes del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716, el conjunto de cilindros de lentes 718 y/o el conjunto objetivo principal 702 pueden construirse cada uno como un doblete a partir de múltiples subelementos ópticos utilizando materiales que equilibran los parámetros de distorsión óptica de cada uno. La construcción de doblete reduce las aberraciones cromáticas y ópticas. Por ejemplo, la lente de distancia de trabajo delantera 408 y la lente de distancia de trabajo trasera 702 pueden construirse cada una como un doblete. En otro ejemplo, las lentes frontales 720 y 722, las lentes de zoom frontales 726 y 728, las lentes de zoom traseras 732 y 734, y los cilindros de lentes 736 y 738 pueden comprender cada uno una lente doblete.
En otras realizaciones adicionales, las lentes del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716, el conjunto de cilindros de lentes 718 y/o el conjunto objetivo principal 702 pueden estar ajustadas de manera diferente y/o tener propiedades diferentes para proporcionar dos trayectorias ópticas paralelas con diferentes capacidades. Por ejemplo, las lentes derechas en el conjunto de lentes de zoom 716 se pueden seleccionar para proporcionar un zoom óptico de 5X a 10X para la trayectoria óptica derecha, mientras que las lentes izquierdas en el conjunto de lentes de zoom 716 se seleccionan para proporcionar un zoom óptico de 15X a 20X para la trayectoria óptica izquierda. Esta configuración puede permitir que se muestren dos aumentos diferentes al mismo tiempo y/o en la misma pantalla, aunque en una vista monoscópica.
D. Filtro de ejemplo
La cámara de visualización estereoscópica 300 de ejemplo de las Figuras 7 y 8 incluye uno o más filtros ópticos 740 (o conjuntos de filtros) para transmitir selectivamente las longitudes de onda de luz deseadas. La Figura 8 muestra que se puede aplicar un solo filtro 740 a las trayectorias ópticas derecha e izquierda. En otros ejemplos, cada una de las trayectorias ópticas puede tener un filtro separado. La inclusión de filtros separados permite, por ejemplo, filtrar diferentes longitudes de onda de luz de las trayectorias ópticas izquierda y derecha al mismo tiempo, lo que permite, por ejemplo, mostrar imágenes fluorescentes junto con imágenes de luz visible.
La Figura 7 muestra que el filtro 740 incluye una rueda que gira alrededor de su eje de rotación. En la realización ilustrada, el filtro 740 puede alojar tres pares de filtros ópticos diferentes. Sin embargo, en otras realizaciones, el filtro 740 puede incluir pares de filtros adicionales o menos. Generalmente, la luz recibida en el filtro 740 desde el sitio objetivo 700 incluye un amplio espectro de longitudes de onda. Las lentes del conjunto objetivo principal 702, el conjunto de lentes frontales 714, el conjunto de lentes de zoom 716 y el conjunto de cilindros de lentes 718 están configuradas para pasar un ancho de banda de luz relativamente amplio que incluye longitudes de onda de interés para un operador y longitudes de onda no deseadas. Además, los sensores de imagen ópticos posteriores son sensibles a determinadas longitudes de onda. El filtro 740 de ejemplo deja pasar y bloquea determinadas partes del espectro de luz para lograr diferentes características deseables.
En forma de rueda, el filtro 740 comprende un dispositivo mecánico capaz de cambiar de posición aproximadamente cuatro veces por segundo. En otras realizaciones, el filtro 740 puede incluir un microespejo digital, que puede cambiar la dirección de la trayectoria de luz a velocidades de fotogramas de vídeo tales como 60 veces por segundo. En estas otras realizaciones, cada una de las trayectorias ópticas izquierda y derecha incluiría un microespejo. El microespejo izquierdo y derecho pueden tener conmutación sincronizada o simultánea.
En algunas realizaciones, el filtro 740 puede estar sincronizado con las fuentes de luz 708 para lograr imágenes multiespectrales "intercaladas en el tiempo". Por ejemplo, el filtro 740 puede incluir un filtro de corte infrarrojo, un filtro de paso de banda de infrarrojo cercano y un filtro de corte de ultravioleta cercano. Los diferentes tipos de filtros se seleccionan para trabajar con diferentes espectros de las fuentes de luz 708 y las características de reflectividad y transmisividad del elemento deflector 712 para pasar ciertas longitudes de onda de luz deseadas en momentos predeterminados.
En un modo, el filtro 740 y las fuentes de luz 708 están configurados para proporcionar un modo de luz visible. En este modo, la fuente de luz visible 708a transmite luz desde la región visible al sitio objetivo 700, parte de la cual se refleja en el conjunto objetivo principal 702. La luz reflejada puede incluir algo de luz más allá del espectro visible, lo que puede afectar a los sensores de imagen ópticos. La luz visible se refleja mediante el elemento deflector 712 y pasa a través del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716 y el conjunto de cilindros de lentes 718. En este ejemplo, el filtro 740 está configurado para aplicar el filtro de corte infrarrojo o el filtro de corte ultravioleta cercano a las trayectorias ópticas para eliminar la luz fuera del espectro visible de tal manera que solo la luz en el espectro visible pase a través de un conjunto óptico final 742 y un sensor de imagen óptico 744.
En otro modo, el filtro 740 y las fuentes de luz 708 están configurados para proporcionar luz de fluorescencia de una longitud de onda estrecha al sensor óptico 744. En este modo, la fuente de luz NUV 708c transmite luz desde la región de azul profundo del espectro al sitio objetivo 700. El elemento deflector 712 permite que la luz deseada de la región de azul profundo pase mientras refleja la luz no deseada. La luz azul profundo interactúa con el sitio objetivo 700 de tal manera que se emite luz de fluorescencia. En algunos ejemplos, se aplica ácido 5-aminolevulínico ("5ala") y/o protoporfirina IX al sitio objetivo 700 para provocar que se emita luz de fluorescencia cuando se recibe luz azul profundo. El conjunto objetivo principal 702 recibe la luz de fluorescencia, además de la luz azul profundo reflejada y algo de luz visible. La luz azul profundo pasa a través del elemento deflector 712 desde las trayectorias ópticas derecha e izquierda. De esta manera, sólo la luz visible y la luz de fluorescencia pasan a través del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716 y el conjunto de cilindros de lentes 718. En este ejemplo, el filtro 740 está configurado para aplicar el filtro de corte de ultravioleta cercano a las trayectorias ópticas para eliminar la luz fuera del espectro de fluorescencia deseado, incluida la luz visible y cualquier luz azul profundo del NUV restante. En consecuencia, solo la luz de fluorescencia de una longitud de onda estrecha llega al sensor de imagen óptico 744, lo que permite que la luz de fluorescencia se detecte y distinga más fácilmente en función de su intensidad relativa.
En otro modo más, el filtro 740 y las fuentes de luz 708 están configurados para proporcionar luz de fluorescencia verde de indocianina ("ICG'') al sensor óptico 744. En este modo, la fuente de luz NIV 708b transmite luz en la región del rojo lejano (que también se considera infrarrojo cercano) del espectro visible al sitio objetivo 700. Además, la fuente de luz visible 708a transmite luz visible a la escena objetivo 700. La luz visible y la luz roja lejana son absorbidas por el material con ICG en el sitio objetivo, que luego emite una luz de fluorescencia altamente estimulada en la región de rojo lejano. El conjunto objetivo principal 702 recibe la luz de fluorescencia, además de la luz NIR reflejada y la luz visible. La luz se refleja mediante el elemento deflector 712 hacia el conjunto de lentes frontales 714, el conjunto de lentes de zoom 716 y el conjunto de cilindros de lentes 718. En este ejemplo, el filtro 740 está configurado para aplicar el filtro de paso de banda de infrarrojo cercano a las trayectorias ópticas para eliminar la luz fuera del espectro de fluorescencia deseado, incluida la luz visible y al menos parte de la luz NIR. De este modo, solo la luz de fluorescencia en la región de rojo lejano llega al sensor de imagen óptico 744, lo que permite detectar y distinguir más fácilmente la luz de fluorescencia en función de su intensidad relativa.
Tabla 1
La Tabla 1 anterior muestra un resumen de las diferentes combinaciones posibles de fuentes de luz y filtros para hacer que la luz de una determinada longitud de onda deseada llegue al sensor de luz óptico 744. Se debe tener en cuenta que se pueden utilizar otros tipos de filtros y/o fuentes de luz para aumentar aún más los diferentes tipos de luz recibida en el sensor de imagen 744. Por ejemplo, se pueden utilizar filtros de paso de banda configurados para pasar luz de una longitud de onda estrecha para corresponder a ciertas manchas o contrastes biológicos aplicados al sitio objetivo 700. En algunos ejemplos, el filtro 740 puede incluir una cascada o más de un filtro para permitir que se filtre la luz de dos rangos diferentes. Por ejemplo, un primer filtro 740 puede aplicar un filtro de corte de infrarrojo y un filtro de corte de ultravioleta cercano de modo que sólo la luz visible de un rango de longitud de onda deseado pase al sensor óptico 744.
En otras realizaciones, se pueden utilizar filtros separados 740 para las trayectorias ópticas izquierda y derecha. Por ejemplo, un filtro derecho puede incluir un filtro de corte de infrarrojos, mientras que un filtro izquierdo incluye un filtro de paso de infrarrojos cercano. Esta configuración permite la visualización del sitio objetivo 700 en longitudes de onda visibles simultáneamente con longitudes de onda de fluorescencia verde IGC. En otro ejemplo, un filtro derecho puede incluir un filtro de corte de infrarrojos, mientras que un filtro izquierdo incluye un filtro de corte de ultravioleta cercano. En esta configuración, el sitio objetivo 700 puede mostrarse en luz visible simultáneamente con luz de fluorescencia 5ALA. En estas otras realizaciones, los flujos de imágenes derecho e izquierdo aún pueden combinarse en una visión estereoscópica que proporciona una vista de fluorescencia de ciertas estructuras anatómicas combinada con una vista del sitio objetivo 700 en luz visible.
E. Conjunto de elementos ópticos finales de ejemplo
La cámara de visualización estereoscópica 300 de ejemplo de las Figuras 7 y 8 incluye el conjunto de elementos ópticos finales 742 para enfocar la luz recibida desde el filtro 740 sobre el sensor de imagen óptico 744. El conjunto de elementos ópticos finales 742 incluye un elemento óptico final derecho 745 y un elemento óptico final izquierdo 747, que pueden comprender cada uno una lente convergente positiva. Además de enfocar la luz, los elementos ópticos 745 y 747 pueden configurarse para corregir aberraciones menores en las trayectorias ópticas derecha e izquierda antes de que la luz llegue al sensor de imagen óptico 744. En algunos ejemplos, las lentes 745 y 747 pueden moverse radialmente y/o axialmente para corregir las aberraciones de aumento y/o enfoque causadas por el conjunto de lentes frontales 714, el conjunto de lentes de zoom 716 y el conjunto de cilindros de lentes 718. En un ejemplo, el elemento óptico final izquierdo 747 se puede mover radialmente mientras que el elemento óptico final derecho 745 está fijo para eliminar el movimiento ZRP durante los cambios de aumento.
F. Sensores de imagen de ejemplo
La cámara de visualización estereoscópica 300 de ejemplo de las Figuras 7 y 8 incluye el sensor de imagen 744 para adquirir y/o registrar la luz incidente que se recibe desde el conjunto de elementos ópticos final 742. El sensor de imagen 744 incluye un sensor de imagen óptico derecho 746 para adquirir y/o registrar la luz que se propaga a lo largo de la trayectoria óptica derecha y un sensor de imagen óptico izquierdo 748 para adquirir y/o registrar la luz que se propaga a lo largo de la trayectoria óptica izquierda. Cada uno de los sensores de imagen ópticos izquierdo y derecho 746 y 748 incluyen, por ejemplo, elementos de detección de semiconductores de óxido metálico complementarios ("CMOS"), semiconductores de óxido metálico de tipo N ("NMOS") y/o elementos de detección de dispositivos de carga acoplada semiconductores ("CCD"). En algunas realizaciones, los sensores ópticos izquierdo y derecho 746 y 748 son idénticos y/o tienen las mismas propiedades. En otras realizaciones, los sensores ópticos izquierdo y derecho 746 y 748 incluyen diferentes elementos de detección y/o propiedades para proporcionar una capacidad variable. Por ejemplo, el sensor de imagen óptico derecho 746 (que utiliza un primer conjunto de filtros de color) puede estar configurado para ser más sensible a la luz de fluorescencia azul, mientras que el sensor de imagen óptico izquierdo 748 (que utiliza un segundo conjunto de filtros de color) está configurado para ser más sensible a la luz visible.
La Figura 10 muestra un ejemplo del sensor de imagen óptico derecho 746 y del sensor de imagen óptico izquierdo 748 del sensor de imagen 744, según una realización de ejemplo de la presente invención. El sensor de imagen óptico derecho 746 incluye una primera cuadrícula o matriz bidimensional 1002 de elementos de detección de luz (por ejemplo, píxeles). Además, el sensor de imagen óptico izquierdo 748 incluye una segunda cuadrícula de píxeles bidimensional 1004 de elementos de detección de luz. Cada uno de los píxeles incluye un filtro que permite que sólo pase la luz de una determinada longitud de onda, entrando así en contacto con un detector de luz subyacente. Los filtros para diferentes colores se distribuyen entre los sensores 746 y 748 para proporcionar detección de luz para todas las longitudes de onda en las cuadrículas. El detector de luz puede ser sensible a la luz visible, así como a rangos adicionales que están por encima y por debajo del espectro visible.
Los elementos de detección de luz de las cuadrículas 1002 y 1004 están configurados para registrar un rango de longitudes de onda de luz como una representación del sitio objetivo 700 que está en el campo de visión. La luz que incide sobre un elemento de detección de luz provoca que se acumule un cambio eléctrico. Se lee la carga eléctrica para determinar la cantidad de luz que recibe el elemento de detección. Además, como se sabe que las características del filtro del elemento de detección están dentro de las tolerancias de fabricación, se conoce el rango de longitudes de onda de la luz recibida. La representación del sitio objetivo 700 se dirige a los elementos de detección de luz de tal manera que las cuadrículas 1002 y 1004 para los respectivos sensores de imagen ópticos 746 y 748 muestrean espacialmente el sitio objetivo 700. La resolución del muestreo espacial es un parámetro que afecta la calidad y la paridad de la imagen.
El número de píxeles mostrados en las cuadrículas de píxeles 1002 y 1004 en la Figura 10 no es representativo del número de píxeles reales en los sensores de imagen ópticos 746 y 748. En cambio, los sensores suelen tener una resolución de entre 1280 x 720 píxeles y 8500 x 4500 píxeles, preferentemente alrededor de 2048 x 1560 píxeles. Sin embargo, no todos los píxeles de las cuadrículas 1002 y 1004 están seleccionados para la transmisión de imágenes. En lugar de ello, se selecciona un subconjunto o conjunto de píxeles de las cuadrículas 1002 y 1004 para la transmisión. Por ejemplo, en la Figura 10, el conjunto de píxeles 1006 se selecciona de la cuadrícula de píxeles 1002 para su transmisión como una imagen derecha y el conjunto de píxeles 1008 se selecciona de la cuadrícula de píxeles 1004 para su transmisión como una imagen izquierda. Como se ilustra, el conjunto de píxeles 1006 no necesita estar ubicado en la misma ubicación que el conjunto de píxeles 1008 en relación con las cuadrículas de píxeles 1002 y 1004 respectivas. El control separado de los conjuntos de píxeles 1006 y 1008 permite alinear las imágenes izquierda y derecha y/o corregir defectos de imagen y/o paralaje espurio como ZRP en movimiento.
La selección de un conjunto de píxeles de una cuadrícula de píxeles permite seleccionar una parte de la cuadrícula de píxeles para compensar defectos de imagen/paralaje espurio y/o para alinear mejor las imágenes ópticas derecha e izquierda. En otras palabras, el conjunto de píxeles se puede mover o ajustar (en tiempo real) con respecto a la cuadrícula de píxeles para mejorar la calidad de la imagen al reducir o eliminar el paralaje espurio. Como alternativa, una o ambas de las vistas izquierda y derecha de la imagen estereoscópica se pueden mover virtualmente en la canalización del procesamiento de imágenes (por ejemplo, durante la representación de las vistas para su visualización) para lograr el mismo efecto. La desalineación rotacional de los sensores también se puede corregir virtualmente. Un conjunto de píxeles también se puede mover a través de una cuadrícula de píxeles durante el uso para proporcionar una apariencia de barrido del campo de visión. En un ejemplo, se puede seleccionar un conjunto de píxeles o una ventana de 1920 x 1080 píxeles de una cuadrícula de píxeles que tiene 2048 x 1560 píxeles. La ubicación de la ventana o conjunto de píxeles se puede controlar mediante software/firmware y moverse durante la configuración y/o el uso. La resolución de los sensores de imagen ópticos 746 y 748 se especifica en consecuencia en función de un número de píxeles en las direcciones de largo y ancho del conjunto de píxeles o ventana.
1. Detección de color con los sensores de imagen de ejemplo
Como se mencionó anteriormente, los elementos de detección ópticos 746 y 748 incluyen píxeles con diferentes filtros para detectar ciertos colores de luz. Por ejemplo, algunos píxeles están cubiertos con filtros que dejan pasar predominantemente luz roja, algunos están cubiertos con filtros que dejan pasar predominantemente luz verde y algunos están cubiertos con filtros que dejan pasar predominantemente luz azul. En algunas realizaciones, se aplica un patrón Bayer a las cuadrículas de píxeles 1002 y 1004. Sin embargo, debe tenerse en cuenta que en otras realizaciones, se puede utilizar un patrón de color diferente que esté optimizado para ciertas longitudes de onda de luz. Por ejemplo, un filtro verde en cada región de detección puede reemplazarse por un filtro de banda ancha o un filtro de infrarrojo cercano, ampliando así el espectro de detección.
El patrón Bayer se implementa agrupando dos filas por dos columnas de píxeles y cubriendo una con un filtro rojo, una con un filtro azul y dos con un filtro verde, cada uno en un patrón de tablero de ajedrez. De este modo, la resolución del rojo y del azul es cada una un cuarto de la región de detección total de interés, mientras que la resolución del verde es la mitad de la región de detección total de interés.
Se puede asignar el color verde a la mitad de la región de detección para hacer que los sensores de imagen ópticos 746 y 748 funcionen como un sensor de luminancia e imiten el sistema visual humano. Además, el rojo y el azul imitan los sensores de crominancia del sistema visual humano, pero no son tan críticos como la detección verde. Una vez que se determina una cantidad de rojo, verde y azul para una región determinada, se determinan otros colores en el espectro visible promediando los valores de rojo, verde y azul, como se analiza junto con el programa de-Bayer 1580a de la Figura 16 que se analiza a continuación.
En algunas realizaciones, los sensores de imagen ópticos 746 y 748 pueden utilizar componentes apilados para detectar el color en lugar de filtros. Por ejemplo, los elementos de detección pueden incluir componentes de detección rojo, verde y azul apilados verticalmente dentro del área de un píxel. En otro ejemplo, los prismas dividen la luz incidente en componentes utilizando divisores de haz especialmente revestidos una o más veces (normalmente al menos dos veces, lo que da como resultado colores de tres componentes, conocidos como "3 chips") con elementos de detección colocados en cada una de las trayectorias de los haces divididos. Otros tipos de sensores utilizan un patrón diferente, tal como reemplazar uno de los filtros verdes con un filtro de banda ancha o un filtro de infrarrojo cercano, ampliando así las posibilidades de detección del microscopio quirúrgico digital.
2. Detección de luz fuera del rango visible con los sensores de imagen de ejemplo
Los filtros del elemento de detección de ejemplo de los sensores de imagen ópticos 746 y 748 están configurados para pasar también luz de infrarrojo cercano en un rango que el elemento de detección puede detectar. Esto permite que los sensores de imagen ópticos 746 y 748 detecten al menos algo de luz fuera del rango visible. Esta sensibilidad puede reducir la calidad de la imagen en la parte visible del espectro porque "lava" la imagen, reduciendo el contraste en muchos tipos de escenas y afectando negativamente la calidad del color. Como resultado, el filtro 740 puede utilizar el filtro de corte de infrarrojos para bloquear las longitudes de onda del infrarrojo cercano mientras pasa las longitudes de onda visibles a los sensores de imagen ópticos 746 y 748.
Sin embargo, tal sensibilidad en el infrarrojo cercano puede ser deseable. Por ejemplo, se puede introducir un agente fluorescente, tal como ICG, en el sitio objetivo 700. El ICG se excita o activa con longitudes de onda o luz visibles u otras y emite luz fluorescente en el rango infrarrojo cercano. Como se mencionó anteriormente, la fuente de luz NIR 708b proporciona luz NIR y la fuente de luz visible 708a proporciona luz visible para excitar los agentes con ICG. La luz emitida se encuentra, además, a lo largo del espectro rojo, que puede pasar a través del filtro 740 utilizando un filtro de paso de banda de infrarrojo cercano o un filtro de paso alto. La luz del espectro rojo es luego detectada por los sensores de imagen ópticos 746 y 748. Al hacer coincidir las características espectrales del filtro 740 con los comportamientos esperados de la fuente de luz 708 y el agente fluorescente, el agente y las estructuras biológicas, tales como la sangre que contiene el agente, se pueden diferenciar en el sitio objetivo 700 de otras estructuras que no contienen el agente.
Se debe tener en cuenta que en este ejemplo, la fuente de luz NIR 708b tiene una longitud de onda primaria diferente del filtro de infrarrojo cercano en el filtro 740. En concreto, la fuente de luz NIR 708b tiene una longitud de onda primaria de alrededor de 780 nanómetros ("nm") (alrededor de la cual existe la mayor parte del espectro de salida de la luz). Por el contrario, el filtro de infrarrojo cercano del filtro 740 transmite luz en longitudes de onda en un rango de aproximadamente 810 nm a 910 nm. La luz de la fuente de luz NIR 708b y la luz que pasa a través del filtro 740 son ambas longitudes de onda de "infrarrojo cercano". Sin embargo, las longitudes de onda de la luz están separadas de modo que la cámara de visualización estereoscópica 300 de ejemplo puede estimular con la fuente de luz 708 y detectar con el sensor de imagen óptico 744 mientras filtra la luz de estimulación. En consecuencia, esta configuración permite el uso de agentes fluorescentes.
En otra realización, los agentes pueden excitarse en la región azul, violeta y de ultravioleta cercano y emitir luz fluorescente en la región roja. Un ejemplo de dicho agente incluye la acumulación de porfirina en gliomas malignos causada por la introducción de 5ALA. En este ejemplo, es necesario filtrar la luz azul y dejar pasar el resto del espectro. Para esta situación se utiliza un filtro de corte de ultravioleta cercano. Al igual que en el caso del "infrarrojo cercano" analizado anteriormente, la fuente de luz NUV 708c tiene una longitud de onda primaria diferente del filtro de corte de ultravioleta cercano en el filtro 740.
G. Portalente de ejemplo
La Sección IV(D) anterior menciona que al menos algunas de las lentes del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716 y/o el conjunto de cilindros de lentes 718 pueden moverse en uno o más portadores a lo largo de rieles. Por ejemplo, el conjunto de lentes de zoom frontales 724 puede comprender un portador que mueve las lentes de zoom frontales 726 y 728 juntas axialmente.
Las Figuras 11 y 12 muestran diagramas de portadores de ejemplo, de acuerdo con realizaciones de ejemplo de la presente invención. En la Figura 11, el portador 724 incluye la lente de zoom frontal derecha 726 y la lente de zoom frontal izquierda 728 dentro de una estructura de soporte 1102. El portador 724 incluye un soporte de riel 1104 configurado para conectarse de manera móvil al riel 1106. Se aplica una fuerza 'F' a una sección de accionamiento 1108 para hacer que el portador 724 se mueva a lo largo del riel 1106. La fuerza 'F' puede aplicarse mediante un tornillo de avance u otro dispositivo de accionamiento lineal. Como se ilustra en la Figura 11, la fuerza 'F' se aplica con un desplazamiento del portador 724. La fricción entre el riel 1106 y el portador 724 genera un momento My que hace que la estructura de soporte 1102 se mueva ligeramente alrededor del eje Y que se muestra en la Figura 11. Este ligero movimiento puede provocar que la lente de zoom frontal derecha 726 y la lente de zoom frontal izquierda 728 se desplacen ligeramente en direcciones opuestas, lo que provoca un paralaje espurio, que es un error en el paralaje entre vistas de una imagen estereoscópica.
La Figura 12 muestra otro ejemplo del portador 724. En este ejemplo, la fuerza 'F' se aplica simétricamente en la estructura central 1202, que está conectada al soporte del riel 1104 y a la estructura de soporte 1102. La fuerza 'F' genera un momento Mx que hace que el portador 724 gire o se mueva ligeramente alrededor del eje X que se muestra en la Figura 12. El movimiento de rotación hace que la lente de zoom frontal derecha 726 y la lente de zoom frontal izquierda 728 se desplacen en la misma dirección en el mismo grado de movimiento, reduciendo así (o eliminando) la aparición de paralaje espurio.
Mientras que las Figuras 11 y 12 muestran las lentes 726 y 728 dentro de un portador, en otras realizaciones las lentes 726 y 728 pueden estar cada una dentro de un portador. En estos ejemplos, cada lente estaría en una pista o riel separado. Se pueden proporcionar tornillos de avance separados para cada una de las lentes para proporcionar un movimiento axial independiente a lo largo de la trayectoria óptica respectiva.
H. Ejemplo de flexión
La Sección IV(D) anterior menciona que al menos algunas de las lentes del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716 y/o el conjunto de cilindros de lentes 718 pueden moverse radialmente, rotarse y/o inclinarse. Adicional o alternativamente, los sensores de imagen ópticos 746 y 748 pueden moverse axialmente y/o inclinarse con respecto a su respectiva trayectoria óptica incidente. El movimiento axial y/o de inclinación puede ser proporcionado por una o más elementos de flexión. En algunos ejemplos, los elementos de flexión pueden estar en cascada de tal manera que un primer elemento de flexión proporcione movimiento en una primera dirección y un elemento de flexión separado proporcione movimiento independiente en una segunda dirección. En otro ejemplo, un primer elemento de flexión proporciona inclinación a lo largo de un eje de cabeceo y un elemento de flexión separado proporciona inclinación a lo largo de un eje de guiñada.
La Figura 13 muestra un diagrama de flexión dual 1300 de ejemplo, de acuerdo con una realización de ejemplo de la presente invención. El elemento de flexión 1300 ilustrado en la Figura 13 es para el sensor de imagen óptico 744 y está configurado para mover independientemente el sensor de imagen óptico derecho 746 y el sensor de imagen óptico izquierdo 748 a lo largo de su respectivo eje óptico para fines de enfoque final. El elemento de flexión 1300 incluye una viga de soporte 1301 para la conexión a la carcasa 302 de la cámara de visualización estereoscópica 300 de ejemplo y para proporcionar una base rígida para el accionamiento. El elemento de flexión 1300 también incluye una viga 1302 para cada canal (por ejemplo, sensor 746 y 748) que es rígida en todas las direcciones excepto en la dirección de movimiento 1310. La viga 1302 está conectada a bisagras flexibles 1303 que permiten que la viga 1302 se mueva en una dirección de movimiento 1310, una traslación de paralelogramo en este ejemplo.
Un dispositivo actuador 1304 flexiona la viga 1302 en la dirección deseada durante una distancia deseada. El dispositivo actuador 1304 incluye un tornillo de empuje 1306 y un tornillo de tracción 1308, para cada canal, que aplican fuerzas opuestas a la viga 1302 haciendo que las bisagras flexibles 1303 se muevan. La viga 1302 se puede mover hacia adentro, por ejemplo, girando el tornillo de empuje 1306 para empujar la viga 1302. El elemento de flexión 1300 ilustrado en la Figura 13 está configurada para mover independientemente el sensor de imagen óptico derecho 746 y el sensor de imagen óptico izquierdo 748 axialmente a lo largo de su eje óptico.
Después de que la viga 1302 se flexiona a una posición deseada, se activa un mecanismo de bloqueo para evitar más movimiento, creando así una columna rígida. El mecanismo de bloqueo incluye el tornillo de empuje 1306 y su respectivo tornillo de tracción concéntrico 1308, que al ser apretados crean grandes fuerzas opuestas que dan como resultado la columna rígida de la viga 1302.
Si bien los sensores de imagen ópticos 746 y 748 se muestran conectados al mismo elemento de flexión 1300, en otros ejemplos, los sensores pueden estar conectados a elementos de flexión separados. Por ejemplo, volviendo a la Figura 8, el sensor de imagen óptico derecho 746 está conectado al elemento de flexión 750 y el sensor de imagen óptico izquierdo 748 está conectado al elemento de flexión 752. El uso de los elementos de flexión 750 y 752 separados permite que los sensores de imagen óptica 746 y 748 se ajusten por separado para, por ejemplo, alinear las vistas ópticas izquierda y derecha y/o reducir o eliminar el paralaje espurio.
Además, mientras que la Figura 13 muestra los sensores de imagen 746 y 748 conectados al elemento de flexión 1300, en otros ejemplos, las lentes del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716, el conjunto de cilindros de lentes 718 y/o el conjunto de elementos ópticos finales 742 pueden estar conectados a elementos de flexión alternativos o adicionales en su lugar. En algunos casos, cada una de las lentes derecha e izquierda del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716, el conjunto de cilindros de lentes 718 y/o el conjunto de elementos ópticos finales 742 pueden estar conectados a un elemento de flexión 1300 separado para proporcionar un ajuste radial, rotacional y/o de inclinación independiente.
El elemento de flexión 1300 puede proporcionar una resolución de movimiento de menos de una micra. Como resultado del ajuste de movimiento muy fino, las imágenes de las trayectorias ópticas derecha e izquierda pueden tener una precisión de alineación de varios o de incluso un píxel para un monitor con pantalla 4K. Esta precisión se puede observar en cada pantalla 512, 514 superponiendo las vistas izquierda y derecha y observando ambas vistas con ambos ojos, en lugar de hacerlo estereoscópicamente.
En algunas realizaciones, el elemento de flexión 1300 puede incluir el elemento de flexión dado a conocer en la Patente de los EE. UU. N.25,359,474, titulada”SYSTEM FOR THE SUB-MICRON POSITIONING OF A READ/WRITE TRANSDUCER,"cuya totalidad se incorpora al presente documento como referencia. En otras realizaciones más, las lentes del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716, el conjunto de cilindros de lentes 718 y/o el conjunto de elementos ópticos finales 742 pueden ser estacionarias en una dirección radial. En lugar de ello, se puede utilizar un elemento deflector (por ejemplo, un espejo) con una dirección de desviación ajustable en una trayectoria óptica para dirigir las trayectorias ópticas derecha y/o izquierda para ajustar la alineación y/o el paralaje espurio. Adicional o alternativamente, se puede proporcionar una lente de inclinación/desplazamiento en la trayectoria óptica. Por ejemplo, la inclinación de un eje óptico se puede controlar con una lente de cuña ajustable. En otras realizaciones, las lentes del conjunto de lentes frontales 714, el conjunto de lentes de zoom 716, el conjunto de cilindros de lentes 718 y/o el conjunto de elementos ópticos finales 742 pueden incluir lentes dinámicas con parámetros que se pueden cambiar electrónicamente. Por ejemplo, las lentes pueden incluir lentes líquidas Varioptic producidas por la firma Invenios France SAS.
VI. Procesadores de ejemplo de la cámara de visualización estereoscópica
La cámara de visualización estereoscópica 300 de ejemplo está configurada para registrar datos de imagen de las trayectorias ópticas derecha e izquierda y enviar los datos de imagen al monitor o monitores 512 y/o 514 para su visualización como una imagen estereoscópica. La Figura 14 muestra un diagrama de módulos de la cámara de visualización estereoscópica 300 de ejemplo para adquirir y procesar datos de imagen, de acuerdo con una realización de ejemplo de la presente invención. Se debe tener en cuenta que los módulos son ilustrativos de operaciones, procedimientos, algoritmos, rutinas y/o pasos realizados por cierto hardware, controladores, procesadores, controladores y/o interfaces. En otras realizaciones, los módulos pueden combinarse, dividirse aún más y/o eliminarse. Además, uno o más de los módulos (o partes de un módulo) pueden proporcionarse externamente a la cámara de visualización estereoscópica 300, tal como en un servidor remoto, un ordenador y/o un entorno informático distribuido.
En la realización ilustrada de la Figura 14, los componentes 408, 702 a 750 y 1300 en las Figuras 7 a 13 se denominan colectivamente elementos ópticos 1402. Los elementos ópticos 1402 (específicamente los sensores de imagen ópticos 746 y 748) están acoplados comunicativamente a un módulo de captura de imágenes 1404 y a un módulo de motor e iluminación 1406. El módulo de captura de imágenes 1404 está acoplado comunicativamente a un módulo procesador de información 1408, que puede estar acoplado comunicativamente a un dispositivo de entrada de usuario ubicado externamente 1410 y a uno o más monitores de visualización 512 y/o 514.
El módulo de captura de imágenes 1404 de ejemplo está configurado para recibir datos de imagen de los sensores de imagen ópticos 746 y 748. Además, el módulo de captura de imágenes 1404 puede definir los conjuntos de píxeles 1006 y 1008 dentro de las respectivas cuadrículas de píxeles 1002 y 1004. El módulo de captura de imágenes 1404 también puede especificar propiedades de grabación de imágenes, tales como la velocidad de fotogramas y el tiempo de exposición.
El módulo de motor e iluminación 1406 de ejemplo está configurado para controlar uno o más motores (o actuadores) para cambiar una posición radial, axial y/o de inclinación de uno o más de los elementos ópticos 1402. Por ejemplo, un motor o actuador puede girar un tornillo de accionamiento para mover el portador 724 a lo largo de la pista 1106, como se muestra en las Figuras 11 y 12. Un motor o actuador también puede girar el tornillo de empuje 1306 y/o el tornillo de tracción 1308 del elemento de flexión 1300 de la Figura 13 para ajustar una posición radial, axial o de inclinación de una lente y/o un sensor de imagen óptico. El módulo de motor e iluminación 1406 también puede incluir controladores para controlar las fuentes de luz 708.
El módulo de procesador de información 1408 de ejemplo está configurado para procesar datos de imagen para su visualización. Por ejemplo, el módulo de procesador de información 1408 puede proporcionar corrección de color a los datos de imagen, filtrar defectos de los datos de imagen y/o renderizar datos de imagen para visualización estereoscópica. El módulo de procesador de información 1408 también puede realizar una o más rutinas de calibración para calibrar la cámara de visualización estereoscópica 300 proporcionando instrucciones al módulo de captura de imágenes 1404 y/o al módulo de motor e iluminación 1406 para realizar ajustes específicos a los elementos ópticos. El módulo de procesador de información 1408 puede determinar y proporcionar, además, instrucciones en tiempo real al módulo de captura de imágenes 1404 y/o al módulo de motor e iluminación 1406 para mejorar la alineación de la imagen y/o reducir el paralaje espurio.
El dispositivo de entrada de usuario 1410 de ejemplo puede incluir un ordenador para proporcionar instrucciones para cambiar el funcionamiento de la cámara de visualización estereoscópica 300. El dispositivo de entrada de usuario 1410 también puede incluir controles para seleccionar parámetros y/o características de la cámara de visualización estereoscópica 300. En una realización, el dispositivo de entrada de usuario 1410 incluye los brazos de control 304 de la Figura 3. El dispositivo de entrada de usuario 1410 puede estar conectado directamente al módulo de procesador de información 1408. Adicional o alternativamente, el dispositivo de entrada de usuario 1410 está acoplado de forma inalámbrica u óptica al módulo de procesador de información 1408.
Los monitores de visualización 512 y 514 de ejemplo incluyen, por ejemplo, televisores y/o monitores de ordenador configurados para proporcionar una experiencia de visualización tridimensional. Por ejemplo, los monitores de visualización pueden incluir el televisor LG® 55LW5600. Alternativamente, los monitores de visualización 512 y 514 pueden incluir una pantalla de ordenador portátil, una pantalla de tableta, una pantalla de teléfono inteligente, gafas inteligentes, un proyector, una pantalla holográfica, etc.
Las secciones que siguen describen el módulo de captura de imágenes 1404, el módulo de motor e iluminación 1406 y el módulo de procesador de información 1408 con más detalle.
A. Módulo de captura de imágenes de ejemplo
La Figura 15 muestra un diagrama del módulo de captura de imágenes 1404, de acuerdo con una realización de ejemplo de la presente invención. El módulo de captura de imágenes 1404 de ejemplo incluye un controlador de sensor de imagen 1502, que incluye un procesador 1504, una memoria 1506 y una interfaz de comunicaciones 1508. El procesador 1504, la memoria 1506 y la interfaz de comunicaciones 1508 pueden estar acoplados comunicativamente entre sí a través de un bus controlador de sensor de imagen 1512.
El procesador 1504 es programable con uno o más programas 1510 que se almacenan de forma persistente dentro de la memoria 1506. Los programas 1510 incluyen instrucciones legibles por máquina que, al ejecutarse, hacen que el procesador 1504 realice uno o más pasos, rutinas, algoritmos, etc. En algunas realizaciones, los programas 1510 pueden transmitirse a la memoria 1506 desde el módulo de procesador de información 1408 y/o desde el dispositivo de entrada de usuario 1410. En otros ejemplos, los programas 1510 pueden transmitirse al procesador 1504 directamente desde el módulo de procesador de información 1408 y/o desde el dispositivo de entrada de usuario 1410.
El controlador de sensor de imagen 1502 de ejemplo está acoplado comunicativamente al sensor de imagen óptico derecho 746 y al sensor de imagen óptico izquierdo 748 de los elementos ópticos 1402. El controlador del sensor de imagen 1502 está configurado para proporcionar energía a los sensores de imagen ópticos 746 y 748, además de enviar datos de control de tiempo y/o datos de programación. Además, el controlador del sensor de imagen 1502 está configurado para recibir datos de imagen y/o de diagnóstico de los sensores de imagen ópticos 746 y 748.
Cada uno de los sensores de imagen ópticos 746 y 748 contiene registros programables para controlar ciertos parámetros y/o características. Uno o más de los registros pueden especificar una ubicación de los conjuntos de píxeles 1006 y 1008 dentro de las respectivas cuadrículas de píxeles 1002 y 1004 de la Figura 10. Los registros pueden almacenar un valor de una ubicación inicial con respecto a un punto de origen o punto de borde de las cuadrículas de píxeles 1002 y 1004. Los registros también pueden especificar un ancho y una altura de los conjuntos de píxeles 1006 y 1008 para definir una región rectangular de interés. El controlador del sensor de imagen 1502 está configurado para leer datos de píxeles para píxeles que están dentro de los conjuntos de píxeles especificados 1006 y 1008. En algunas implementaciones, los registros de los sensores ópticos de imagen 746 y 748 pueden facilitar la designación de conjuntos de píxeles de otras formas, tales como círculos, óvalos, triángulos, etc. Adicional o alternativamente, los registros de los sensores ópticos de imagen 746 y 748 pueden permitir la especificación simultánea de múltiples conjuntos de píxeles para cada una de las cuadrículas de píxeles 1002 y 1004.
Una parte de detección de la luz de los píxeles de las cuadrículas de píxeles 1002 y 1004 está controlada por un circuito integrado, que especifica diferentes modos de detección de luz. Los modos incluyen un modo de reinicio, un modo de integración y un modo de lectura. Durante el modo de reinicio, un componente de almacenamiento de carga de un píxel se restablece a un nivel de voltaje conocido. Durante el modo de integración, el píxel cambia a un estado "encendido". La luz que llega a un área de detección o a un elemento del píxel hace que se acumule una carga en un componente de almacenamiento de carga (por ejemplo, un condensador). La cantidad de carga eléctrica almacenada corresponde a la cantidad de luz que incide en el elemento de detección durante el modo de integración. Durante el modo de lectura, la cantidad de carga eléctrica se convierte en un valor digital y se lee en los sensores de imagen ópticos 746 y 748 a través del circuito integrado y se transmite al controlador del sensor de imagen 1502. Para leer cada píxel, el componente de almacenamiento de carga de cada píxel en una región determinada se conecta secuencialmente mediante circuitos internos conmutados a un circuito de lectura, que realiza la conversión de la carga eléctrica de un valor analógico a datos digitales. En algunas realizaciones, los datos analógicos de píxeles se convierten en datos digitales de 12 bits. Sin embargo, debe tenerse en cuenta que la resolución puede ser mayor o menor en función de los márgenes de ruido, el tiempo de estabilización, la velocidad de fotogramas y la velocidad de transmisión de datos. Los datos digitales de píxeles de cada píxel pueden almacenarse en un registro.
El procesador 1504 de ejemplo del controlador de sensor de imagen 1502 de la Figura 15 está configurado para recibir datos de píxeles (por ejemplo, datos digitales indicativos de una carga eléctrica almacenada en el píxel correspondiente a una cantidad de luz incidente en un elemento del píxel) de cada uno de los píxeles dentro de los conjuntos de píxeles 1006 y 1008. El procesador 1504 forma una imagen derecha a partir de los datos de píxeles recibidos del sensor de imagen óptico derecho 746. Además, el procesador 1504 forma una imagen izquierda a partir de los datos de píxeles recibidos del sensor de imagen óptico izquierdo 748. Alternativamente, el procesador 1504 forma sólo una porción (por ejemplo, una fila o varias filas) de cada una de las imágenes izquierda y derecha antes de transmitir los datos en sentido descendente. En algunas realizaciones, el procesador 1504 utiliza una ubicación de registro para determinar la ubicación de cada píxel dentro de una imagen.
Después de crear las imágenes derecha e izquierda, el procesador 1504 sincroniza las imágenes derecha e izquierda. Luego, el procesador 1504 transmite las imágenes derecha e izquierda a la interfaz de comunicaciones 1508, que procesa las imágenes en un formato para su transmisión al módulo de procesador de información 1408 a través de un canal de comunicaciones 1514. En algunas realizaciones, el canal de comunicaciones 1514 cumple con el estándar USB 2.0 o 3.0 y puede comprender un cable de cobre o de fibra óptica. El canal de comunicaciones 1514 puede permitir la transmisión de hasta aproximadamente 60 pares (o más) de imágenes izquierda y derecha (con una resolución estereoscópica de 1920 x 1080 y una resolución de conversión de datos de 12 bits) por segundo. El uso de un cable USB de cobre permite suministrar energía desde el módulo de procesador de información 1408 al módulo de captura de imágenes 1404.
Las secciones siguientes describen con más detalle las características proporcionadas por el procesador 1504 del controlador del sensor de imagen 1502 que ejecuta ciertos programas 1510 para adquirir y/o procesar datos de imagen de los sensores de imagen ópticos 746 y 748.
1. Exposición de ejemplo
El procesador 1504 de ejemplo puede controlar o programar una cantidad de tiempo que los sensores de imagen óptica 746 y 748 están en el modo de integración, analizado anteriormente. El modo de integración ocurre durante un período de tiempo denominado tiempo de exposición. El procesador 1504 puede establecer el tiempo de exposición escribiendo un valor en un registro de exposición de los sensores de imagen ópticos 746 y 748. Adicional o alternativamente, el procesador 1504 puede transmitir instrucciones a los sensores de imagen ópticos 746 y 748 señalando el inicio y el final del tiempo de exposición. El tiempo de exposición puede programarse entre unos pocos milisegundos ("ms") y unos pocos segundos. Preferentemente, el tiempo de exposición es aproximadamente el inverso de la velocidad de fotogramas.
En algunas realizaciones, el procesador 1504 puede aplicar un procedimiento de obturador rotatorio a los sensores de imagen ópticos 746 y 748 para leer datos de píxeles. Con este procedimiento, el tiempo de exposición para una fila dada de píxeles de los conjuntos de píxeles 1006 y 1008 comienza justo después de que se hayan leído y restablecido los píxeles de esa fila. Poco tiempo después, se lee la siguiente fila (que normalmente es la más próxima físicamente a la fila recién establecida) y, en consecuencia, se restablece con su tiempo de exposición reiniciado. La lectura secuencial de cada fila de píxeles continúa hasta que se haya leído y restablecido la última fila o la fila inferior de los conjuntos de píxeles 1006 y 1008. Luego, el procesador 1504 vuelve a la fila superior de los conjuntos de píxeles 1006 y 1008 para leer los datos de píxeles de la siguiente imagen.
En otra realización, el procesador 1504 aplica un procedimiento de obturador global. Con este procedimiento, el procesador 1504 implementa la lectura y el reinicio de una manera similar al procedimiento de obturador rotatorio. Sin embargo, en este procedimiento la integración se produce simultáneamente para todos los píxeles en los conjuntos de píxeles 1006 y 1008. El procedimiento de obturador global tiene la ventaja de reducir los defectos en una imagen en comparación con el procedimiento de obturador rotatorio, ya que todos los píxeles se exponen al mismo tiempo. En comparación, en el procedimiento de obturador rotatorio, hay un pequeño retraso de tiempo entre la exposición de las líneas del conjunto de píxeles. Pueden desarrollarse pequeños defectos durante los tiempos entre exposiciones de líneas, especialmente entre las líneas superiores y las líneas inferiores, donde pueden ocurrir pequeños cambios en el sitio objetivo 700 entre lecturas.
2. Rango dinámico de ejemplo
El procesador 1504 de ejemplo puede ejecutar uno o más programas 1510 para detectar luz que está fuera de un rango dinámico de los sensores de imagen ópticos 746 y 748. Generalmente, la luz extremadamente brillante llena por completo una región de almacenamiento de carga de un píxel, lo que da como resultado la pérdida de información de la imagen con respecto al nivel de brillo exacto. De manera similar, la luz extremadamente baja o la falta de luz no logran impartir una carga significativa a un píxel, lo que también da como resultado la pérdida de información de la imagen. Por lo tanto, las imágenes creadas a partir de estos datos de píxeles no reflejan con precisión la intensidad de la luz en el sitio objetivo 700.
Para detectar luz que está fuera del rango dinámico, el procesador 1504 puede ejecutar uno de varios programas de alto rango dinámico (''HDR'') 1510 que incluyen, por ejemplo, un programa de exposición múltiple, un programa de integración de píxeles de múltiples pendientes y un programa de fusión de imágenes de múltiples sensores. En un ejemplo, el programa de exposición múltiple puede utilizar funciones HDR integradas o incorporadas en los sensores de imagen ópticos 746 y 748. Con este procedimiento, los conjuntos de píxeles 1006 y 1008 se colocan en el modo de integración durante un tiempo de exposición normal. Las líneas de los conjuntos de píxeles 1006 y 1008 se leen y almacenan en una memoria en los sensores de imagen ópticos 746 y 748 y/o en la memoria 1506 del controlador del sensor de imagen 1502. Después de que el procesador 1504 realiza la lectura, cada línea de los conjuntos de píxeles 1006 y 1008 se enciende nuevamente durante un segundo tiempo de exposición que es menor que el tiempo de exposición normal. El procesador 1504 lee cada una de las líneas de píxeles después del segundo tiempo de exposición y combina estos datos de píxeles con los datos de píxeles del tiempo de exposición normal para las mismas líneas. El procesador 1504 puede aplicar mapeo de tonos para elegir entre (o combinar) los datos de píxeles de los tiempos de exposición de longitud normal y de longitud corta y mapear los datos de píxeles resultantes a un rango que sea compatible con el procesamiento y visualización posteriores. Utilizando el programa de exposición múltiple, el procesador 1504 puede ampliar el rango dinámico de los sensores de imagen ópticos 746 y 748 y comprimir el rango resultante de datos de píxeles para su visualización.
El procesador 1510 puede ejecutar un programa similar para una luz relativamente oscura. Sin embargo, en lugar de que el segundo tiempo de exposición sea menor que el tiempo normal, el segundo tiempo de exposición es mayor que el tiempo normal, proporcionando así a los píxeles más tiempo para acumular una carga. El procesador 1510 puede utilizar mapeo de tonos para ajustar los datos de píxeles leídos para compensar el mayor tiempo de exposición.
3. Velocidad de fotogramas de ejemplo
El procesador 1510 de ejemplo puede controlar o especificar una velocidad de fotogramas para los sensores de imagen ópticos 746 y 748. En algunas realizaciones, los sensores de imágenes ópticos 746 y 748 incluyen circuitos de temporización de a bordo y registros de control programables para especificar la cantidad de veces por segundo que cada uno de los píxeles dentro de los conjuntos de píxeles 1006 y 1008 deben pasar por los modos de imágenes analizados anteriormente. Se forma un fotograma o imagen cada vez que el conjunto de píxeles avanza a través de los tres modos. La velocidad de fotogramas es la cantidad de veces por segundo que los píxeles de los conjuntos de píxeles 1006 y 1008 se integran, leen y restablecen.
El procesador 1510 puede estar sincronizado con los sensores de imagen ópticos 746 y 748 de manera que las lecturas se realicen en el momento apropiado. En otros ejemplos, el procesador 1510 es asincrónico con los sensores de imagen ópticos 746 y 748. En estos otros ejemplos, los sensores de imagen ópticos 746 y 748 pueden almacenar datos de píxeles después de una lectura local en una memoria o cola temporal. Luego, el procesador 1510 puede leer periódicamente los datos de píxeles para sincronizar la imagen derecha e izquierda.
El procesamiento de fotogramas o imágenes de manera secuencial en el tiempo (por ejemplo, la creación de un flujo de imágenes) proporciona una ilusión de movimiento transmitida como un vídeo. El procesador 1510 de ejemplo está configurado para programar una velocidad de fotogramas que proporciona la apariencia de un vídeo fluido a un observador. Una velocidad de fotogramas demasiado baja hace que cualquier movimiento parezca entrecortado o desigual. La calidad de una película por encima de un umbral máximo de velocidad de fotogramas no es perceptible para un observador. El procesador 1510 de ejemplo está configurado para generar aproximadamente entre 20 y 70 fotogramas por segundo, preferentemente entre 50 y 60 fotogramas por segundo para una visualización quirúrgica habitual.
4. Ejemplo de sincronización de sensores
El procesador 1504 de ejemplo de la Figura 15 está configurado para controlar la sincronización de los sensores de imagen ópticos 746 y 748. El procesador 1504 puede, por ejemplo, proporcionar energía simultáneamente a los sensores de imagen ópticos 746 y 748. El procesador 1504 puede entonces proporcionar una señal de reloj a ambos sensores de imagen ópticos 746 y 748. La señal de reloj permite que los sensores de imagen ópticos 746 y 748 funcionen de forma independiente en un modo de funcionamiento libre pero de manera sincronizada y/o simultánea. De este modo, los sensores de imagen ópticos 746 y 748 registran datos de píxeles prácticamente al mismo tiempo. El procesador 1504 de ejemplo recibe los datos de píxeles de los sensores de imagen ópticos 746 y 748, construye al menos una fracción de las imágenes y/o fotogramas y sincroniza las imágenes y/o fotogramas (o fracción de los mismos) para tener en cuenta cualquier ligero desajuste de tiempo. Normalmente, el retraso entre los sensores de imagen ópticos 746 y 748 es inferior a 200 microsegundos. En otras realizaciones, el procesador 1504 puede utilizar un pin de sincronización para activar simultáneamente los sensores de imagen ópticos 746 y 748 después, por ejemplo, de cada modo de reinicio.
B. Módulo de motor e iluminación de ejemplo
La cámara de visualización estereoscópica 300 de ejemplo de la Figura 15 incluye el módulo de motor e iluminación 1406 para controlar uno o más motores o actuadores para mover lentes de los elementos ópticos 1402 y/o controlar la salida de iluminación de las fuentes de luz 708. El módulo de motor e iluminación 1406 de ejemplo incluye un controlador de motor e iluminación 1520 que contiene un procesador 1522, una memoria 1524 y una interfaz de comunicaciones 1526 que están acoplados comunicativamente entre sí a través del bus de comunicación 1528. La memoria 1524 almacena uno o más programas 1530 que son ejecutables en el procesador 1522 para realizar el control, ajuste y/o calibración de las lentes de los elementos ópticos 1402 y/o las fuentes de luz 708. En algunas realizaciones, los programas 1530 pueden transmitirse a la memoria 1524 desde el módulo de procesador de información 1408 y/o el dispositivo de entrada de usuario 1410.
La interfaz de comunicaciones 1526 está acoplada comunicativamente a la interfaz de comunicaciones 1508 del módulo de captura de imágenes 1404 y a una interfaz de comunicaciones 1532 del módulo de procesador de información 1408. La interfaz de comunicaciones 1526 está configurada para recibir mensajes de comando, señales de temporización, mensajes de estado, etc. del módulo de captura de imágenes 1404 y del módulo de procesador de información 1408. Por ejemplo, el procesador 1504 del módulo de captura de imágenes 1404 puede enviar señales de temporización al procesador 1522 para sincronizar la temporización entre el control de iluminación y el tiempo de exposición de los sensores de imagen ópticos 746 y 748. En otro ejemplo, el módulo de procesamiento de información 1408 puede enviar mensajes de comando que instruyan a ciertas fuentes de luz 708 a activarse y/o a ciertas lentes de los elementos ópticos 1402 a moverse. Los comandos pueden ser en respuesta a una entrada recibida de un operador a través, por ejemplo, del dispositivo de entrada de usuario 1410. Adicional o alternativamente, los comandos pueden ser en respuesta a una rutina de calibración y/o ajuste en tiempo real para reducir o eliminar la desalineación de la imagen y/o defectos tales como paralaje espurio.
El módulo de motor e iluminación 1406 de ejemplo incluye controladores que proporcionan energía para controlar motores para ajustar una posición axial y/o radial de las lentes de los elementos ópticos 1402 y/o la salida de luz de las fuentes de luz 708. Específicamente, el módulo de motor e iluminación 1406 incluye un controlador de luz NUV 1534 para transmitir una señal NUV a la fuente de luz NUV 708c, un controlador de luz NIR 1536 para transmitir una señal NIR a la fuente de luz NIR 708b y un controlador de luz visible 1538 para transmitir una señal de luz visible a la fuente de luz visible 708a.
Además, el módulo de motor e iluminación 1406 incluye un controlador de motor de filtro 1540 para transmitir una señal de motor de filtro a un motor de filtro 1542, que controla el filtro 740 de las Figuras 7 y 8. El módulo de motor e iluminación 1406 incluye un controlador de motor de lente de zoom trasera 1544 para transmitir una señal de motor de lente de zoom trasera a un motor de lente de zoom trasera 1546, un controlador de motor de lente de zoom delantera 1548 para transmitir una señal de motor de lente de zoom delantera a un motor de lente de zoom delantera 1550, y un controlador de motor de lente de distancia de trabajo trasera 1552 para transmitir una señal de motor de lente de distancia de trabajo a un motor de lente de distancia de trabajo 1554. El módulo de motor e iluminación 1406 también puede incluir un motor y/o actuador para mover y/o inclinar el elemento deflector 712.
El motor de lente de zoom trasera 1546 está configurado para girar un tornillo de accionamiento que hace que el portador 730 se mueva axialmente a lo largo de una pista o riel. El motor de lente de zoom frontal 1550 está configurado para hacer girar un tornillo de accionamiento que hace que el portador 724 se mueva axialmente a lo largo de la pista 1106 que se muestra en las Figuras 11 y 12. El motor de lente de distancia de trabajo 1554 está configurado para hacer girar un tornillo de accionamiento que hace que la lente de distancia de trabajo trasera 702 se mueva axialmente a lo largo de una pista o riel.
Los controladores 1536, 1538 y 1540 pueden incluir cualquier tipo de controlador de iluminación, transformador y/o balasto. Los controladores 1536, 1538 y 1540 están configurados para emitir una señal de modulación de ancho de pulso ("PWM") para controlar la intensidad de la salida de luz de las fuentes de luz 708. En algunas realizaciones, el procesador 1522 puede controlar la sincronización de los controladores 1536, 1538 y 1540 para que corresponda con una sincronización para aplicar un determinado filtro utilizando el controlador del motor de filtro 1540.
Los controladores 1540, 1544, 1548 y 1552 de ejemplo, pueden incluir, por ejemplo, controladores de motor paso a paso y/o controladores de motor de Cc . Asimismo, los motores 1542, 1546, 1550 y/o 1554 pueden incluir un motor paso a paso, un motor de CC u otro actuador eléctrico, magnético, térmico, hidráulico o neumático. Los motores 1542, 1546, 1550 y/o 1554 pueden incluir, por ejemplo, un codificador rotatorio, un interruptor óptico ranurado (por ejemplo, un fotointerruptor) y/o un codificador lineal para informar una posición angular de un árbol y/o eje para informes de retroalimentación y control. Las realizaciones alternativas pueden incluir motores de bobina móvil, motores piezoeléctricos, motores lineales, con controladores adecuados, y equivalentes de los mismos.
Para controlar los controladores 1534, 1536, 1538, 1540, 1544, 1548 y 1552, el procesador 1522 está configurado para utilizar un programa 1530 para convertir un mensaje de comando en una señal digital y/o analógica. El procesador 1522 transmite la señal digital y/o analógica al controlador apropiado, que emite una señal de potencia analógica, tal como una señal PWM correspondiente a la señal recibida. La señal de potencia analógica proporciona energía a un motor o actuador apropiado, haciendo que gire (o se mueva de otro modo) en una cantidad deseada.
El procesador 1522 puede recibir retroalimentación de los controladores 1534, 1536, 1538, 1540, 1544, 1548 y 1552, los motores 1542, 1546, 1550 y/o 1554, y/o las fuentes de luz 708. La retroalimentación corresponde, por ejemplo, al nivel de iluminación o a la potencia de iluminación. Respecto a los motores, la retroalimentación corresponde a una posición de un motor (u otro actuador) y/o una cantidad de movimiento. El procesador 1522 utiliza un programa 1530 para traducir la señal recibida en retroalimentación digital para determinar, por ejemplo, una posición radial, de inclinación y/o axial de una lente en función de una posición angular del árbol del motor o actuador correspondiente. El procesador 1522 puede luego transmitir un mensaje con la información de posición al módulo de procesador de información 1408 para mostrarlo a un usuario y/o para rastrear una posición de las lentes de los elementos ópticos 1402 para calibración.
En algunas realizaciones, el motor y el módulo de iluminación 1406 pueden incluir controladores adicionales para cambiar la posición axial, de inclinación y/o radial de lentes individuales dentro de los elementos ópticos 1402. Por ejemplo, el módulo de motor e iluminación 1406 puede incluir controladores que controlan motores para accionar los elementos de flexión 750 y 752 para los sensores de imagen ópticos 746 y 748 para inclinación y/o ajuste radial/axial. Además, el módulo de motor e iluminación 1406 puede incluir controladores que controlan motores (o actuadores) para inclinar y/o ajustar individualmente las lentes frontales 720 y 722, las lentes de zoom frontales 726 y 728, las lentes de zoom traseras 732 y 734, los cilindros de las lentes 736 y 738, y/o los elementos ópticos finales 745 y 747 radialmente a lo largo de un eje x o un eje y y/o axialmente. El ajuste independiente de las lentes y/o sensores permite, por ejemplo, que el controlador del motor e iluminación 1520 eliminen defectos de imagen y/o alineen las imágenes izquierda y derecha.
Las siguientes secciones describen cómo el procesador 1552 ejecuta uno o más programas 1530 para cambiar la distancia de trabajo, el zoom, la posición del filtro, la posición de la lente y/o la salida de luz.
1. Ejemplo de distancia de trabajo
El procesador 1522 de ejemplo del módulo de motor e iluminación 1406 de la Figura 15 está configurado para ajustar una distancia de trabajo de la cámara de visualización estereoscópica 300. La distancia de trabajo se establece ajustando una distancia entre la lente de distancia de trabajo trasera 704 y la lente de distancia de trabajo delantera 408. El procesador 1522 ajusta la distancia haciendo que la lente de distancia de trabajo trasera 704 se mueva con respecto a la lente de distancia de trabajo delantera 408. Específicamente, el procesador 1522 envía una señal al controlador del motor de lente de distancia de trabajo trasera 1552, que activa el motor de lente de distancia de trabajo trasera 1554 durante un tiempo predeterminado proporcional a la cantidad en que se debe mover la lente de distancia de trabajo trasera 704. El motor de lente de distancia de trabajo 1554 impulsa un tornillo de avance a través de roscas unidas a una pista deslizante que sostiene la lente de distancia de trabajo trasera 704. El motor de lente de distancia de trabajo 1554 hace que la lente 704 se mueva a una distancia deseada, ajustando así la distancia de trabajo. El motor de lente de distancia de trabajo 1554 puede proporcionar una señal de retroalimentación al procesador 1522, que determina si la lente de distancia de trabajo trasera 704 se movió la cantidad deseada. Si el movimiento es menor o mayor que el deseado, el procesador 1522 puede enviar instrucciones para refinar aún más la posición de la lente de distancia de trabajo trasera 704. En algunas realizaciones, el módulo de procesador de información 1408 puede determinar el control de retroalimentación para la lente de distancia de trabajo trasera 704.
Para determinar la posición de la lente de distancia de trabajo trasera 704, el procesador 1522 puede operar uno o más programas de calibración 1530. Por ejemplo, tras la activación, el procesador 1522 puede ordenar al motor de lente de distancia de trabajo 1554 que accione un tornillo de avance para mover la lente de distancia de trabajo trasera 704 a lo largo de una pista o riel hasta activar un interruptor de límite en un extremo del rango de movimiento. El procesador 1522 puede designar esta posición de detención como un punto cero para el codificador del motor 1554. Al tener conocimiento de la posición actual de la lente de distancia de trabajo trasera 704 y el valor del codificador correspondiente, el procesador 1522 se vuelve capaz de determinar una cantidad de rotaciones del árbol para hacer que la lente de distancia de trabajo trasera 704 se mueva a una posición deseada. El número de rotaciones del árbol se transmite en una señal analógica al motor de lente de distancia de trabajo 1554 (a través del controlador 1552) para mover en consecuencia la lente 704 a una posición específica.
2. Ejemplo de zoom
El procesador 1522 de ejemplo de la Figura 15 está configurado para ejecutar uno o más programas 1530 para cambiar un nivel de zoom de la cámara de visualización estereoscópica 300. Como se analizó anteriormente, el zoom (por ejemplo, cambio de aumento) se logra cambiando las posiciones del conjunto de zoom frontal 724 y el conjunto de zoom trasero 730 entre sí y con respecto al conjunto de lentes frontales 714 y el conjunto de cilindros de lentes 718. De manera similar al procedimiento de calibración descrito anteriormente para la lente de distancia de trabajo trasera 704, el procesador 1522 puede calibrar las posiciones de los conjuntos 724 y 730 a lo largo de pistas o rieles. En particular, el procesador 1522 envía instrucciones que hacen que el motor de la lente de zoom trasera 1546 y el motor de lente de zoom delantera 1550 muevan los conjuntos 724 y 730 (por ejemplo, portadores) a lo largo de un riel (o rieles) hasta una posición de detención en un interruptor de límite. El procesador 1522 recibe retroalimentación del codificador de los motores 1546 y 1550 para determinar un valor de codificador asociado con la posición de detención para los conjuntos 724 y 730. El procesador 1522 puede entonces poner a cero el valor del codificador o usar el valor del codificador conocido en la posición de detención para determinar cuánto deben activarse los motores 1546 y 1550 para lograr una posición deseada para los conjuntos 724 y 730 a lo largo del riel.
Además de la calibración de la posición de detención, el procesador 1522 puede ejecutar programas 1530 que definen ubicaciones para los conjuntos 724 y 730 para lograr un nivel de zoom deseado. Por ejemplo, un patrón conocido de configuraciones de distancia versus un conjunto de valores de zoom deseados se puede almacenar como un programa 1530 (o una tabla de consulta) durante un procedimiento de calibración. El procedimiento de calibración puede incluir la colocación de una plantilla dentro del sitio objetivo 700 y dar instrucciones al procesador 522 para que mueva los conjuntos 724 y 730 hasta que un determinado marcador o carácter designado tenga un tamaño determinado en las imágenes o fotogramas derecho e izquierdo. Por ejemplo, una rutina de calibración puede determinar las posiciones del conjunto 724 y 730 en un riel correspondiente a cuando el carácter "E" en una plantilla en el sitio objetivo 700 se muestra en las imágenes derecha e izquierda con una altura de 10 píxeles.
En algunas realizaciones, el módulo de procesador de información 1408 puede realizar el análisis visual y enviar instrucciones al procesador 1522 con respecto al movimiento deseado para los conjuntos 724 y 730 para acercar o alejar la imagen. Además, el procesador de información 1408 puede enviar instrucciones para mover el plano focal de manera que el sitio objetivo 700 en el nivel de zoom deseado esté enfocado. Las instrucciones pueden incluir, por ejemplo, instrucciones para mover la lente de distancia de trabajo trasera 704 y/o mover los conjuntos 724 y 730 juntos y/o individualmente. En algunas realizaciones alternativas, el procesador 1522 puede recibir parámetros de calibración para la posición del riel del conjunto de zoom frontal 724 y del conjunto de zoom trasero 730 en ciertos niveles de zoom desde el dispositivo de entrada de usuario 1410 u otro ordenador.
El procesador 1522 de ejemplo y/o el módulo de procesador de información 1408 pueden enviar instrucciones para que una imagen permanezca enfocada mientras cambia el aumento. El procesador 1522, por ejemplo, puede utilizar un programa 1530 y/o una tabla de consulta para determinar cómo se deben mover ciertas lentes a lo largo de un eje óptico para mantener el enfoque en el sitio objetivo 700. Los programas 1530 y/o la tabla de consulta pueden especificar niveles de aumento y/o puntos de ajuste en un riel y los ajustes de lente correspondientes necesarios para evitar que el plano focal se mueva.
La Tabla 2 a continuación muestra un programa 1530 o tabla de consulta de ejemplo que puede utilizar el procesador 1522 para mantener el enfoque mientras cambia el aumento. La posición del conjunto de lentes de zoom frontales 724 y del conjunto de lentes de zoom traseras 730 se normaliza en función de la longitud de un riel hasta las posiciones de detención de los respectivos conjuntos 724 y 730. Para disminuir el aumento, el conjunto de lentes de zoom traseras se mueve hacia el conjunto de cilindros de lentes 718, aumentando así una posición a lo largo de un riel. El conjunto de lentes de zoom frontales 724 también se mueve. Sin embargo, su movimiento no es necesariamente igual al movimiento del conjunto de lentes de zoom traseras 730. En cambio, el movimiento del conjunto de lentes de zoom frontales 724 representa el cambio de una distancia entre los conjuntos 724 y 730 para conservar la posición del plano focal para mantener el enfoque mientras se cambian los aumentos. Por ejemplo, para disminuir un nivel de aumento de 10X a 9X, el procesador 1522 ordena al conjunto de lentes de zoom traseras 730 que se mueva de la posición 10 a la posición 11 a lo largo de un riel. Además, el procesador 1522 ordena al conjunto de lentes de zoom frontales 724 moverse desde la posición 5 a la posición 4 a lo largo de un riel (o el mismo riel que el conjunto 730). No sólo se han movido los conjuntos 724 y 730 para cambiar el aumento, sino que también se han movido los conjuntos 724 y 730 entre sí para mantener el enfoque.
Tabla 2
Se debe tener en cuenta que la Tabla 2 proporciona un ejemplo de cómo se pueden mover los conjuntos 724 y 730. En otros ejemplos, la Tabla 2 puede incluir filas adicionales para tener en cuenta aumentos y/o posiciones más precisos de los conjuntos 724 y 730. Adicional o alternativamente, la Tabla 2 puede incluir una columna para la lente de distancia de trabajo trasera 704. Por ejemplo, la lente de distancia de trabajo trasera 704 se puede mover en lugar de o junto con el conjunto de lentes de zoom frontales 724 para mantener el enfoque. Además, la Tabla 2 puede incluir filas que especifiquen posiciones para los conjuntos 724 y 730 y la lente de distancia de trabajo trasera 704 para mantener el enfoque durante los cambios en la distancia de trabajo.
Los valores de la Tabla 2 pueden determinarse a través de calibración y/o recibirse desde un ordenador remoto o el dispositivo de entrada del usuario 1410. Durante la calibración, el módulo de procesador de información 1408 puede operar un programa de calibración 1560 que progresa a través de diferentes aumentos y/o distancias de trabajo. Un procesador 1562 en el módulo de procesador de información 1408 puede realizar el procesamiento de imágenes de las propias imágenes o de los datos de píxeles recibidos para determinar cuándo se logra un aumento deseado utilizando, por ejemplo, una plantilla con formas y/o caracteres predeterminados. El procesador 1562 determina si las imágenes recibidas están enfocadas. En respuesta a la determinación de que las imágenes están fuera de foco, el procesador 1562 envía instrucciones al procesador 1522 para ajustar el conjunto de lentes de zoom frontales 724 y/o el conjunto de lentes de distancia de trabajo trasera 704. El ajuste puede incluir movimientos iterativos en direcciones hacia adelante y hacia atrás a lo largo de una trayectoria óptica hasta que el procesador 1562 determine que las imágenes están enfocadas. Para determinar que una imagen está enfocada, el procesador 1562 puede realizar, por ejemplo, un análisis de imagen buscando imágenes en las que la borrosidad de la luz sea mínima y/o analizando datos de píxeles para detectar diferencias en los valores de luz entre regiones de píxeles adyacentes (donde mayores diferencias corresponden a imágenes más enfocadas). Después de determinar que una imagen está enfocada a una distancia de trabajo y aumento deseados, el procesador 1562 y/o el procesador 1522 pueden registrar las posiciones de los conjuntos 724 y 730 y/o la lente de distancia de trabajo trasera 704 y el nivel de aumento correspondiente.
3. Ejemplo de posición de filtro
El procesador 1522 de ejemplo del módulo de motor e iluminación 1406 de la Figura 15 está configurado para mover el filtro 740 hacia las trayectorias ópticas derecha e izquierda en función de las instrucciones recibidas. En algunos ejemplos, el filtro 740 puede incluir una matriz de espejos. En estos ejemplos, el procesador 1522 envía instrucciones al controlador del motor de filtro 1540 para activar uno o más motores 1542 para cambiar las posiciones de los espejos. En algunos casos, el controlador 1540 puede enviar una carga eléctrica a lo largo de una o más trayectorias hasta el filtro 740, provocando que ciertos elementos de espejo cambien a una posición de encendido o apagado. En estos ejemplos, la selección del tipo de filtro es generalmente binaria y depende de qué espejos activar.
En otros ejemplos, el filtro 740 puede incluir una rueda con diferentes tipos de filtros, tales como un filtro de corte de infrarrojos, un filtro de paso de banda de infrarrojo cercano y un filtro de corte de ultravioleta cercano. En estos ejemplos, la rueda es girada por el motor de filtro 1542. El procesador 1522 determina las posiciones de detención de la rueda correspondientes a las particiones entre los diferentes filtros. El procesador 1522 también determina el valor del codificador rotatorio correspondiente a cada una de las posiciones de detención.
El procesador 1522 puede operar un programa de calibración 1530 y/o el procesador 1562 puede operar un programa de calibración 1560 para determinar las posiciones de detención. Por ejemplo, el procesador 1522 puede girar la rueda de filtro 740 lentamente, y el procesador 1562 determina cuándo cambia la luz recibida en los píxeles (utilizando análisis de imagen o leyendo datos de píxeles del módulo de captura de imagen 1404). Un cambio en el valor de la luz en los píxeles es indicativo de un cambio en el tipo de filtro que se aplica a las trayectorias ópticas). En algunos casos, el procesador 1522 puede cambiar qué fuentes de luz 708 se activan para crear una mayor distinción en los píxeles cuando se aplica un tipo de filtro diferente.
4. Ejemplo de control de luz y filtro
Como se dio a conocer anteriormente, el procesador 1522 puede controlar las fuentes de luz 708 junto con el filtro 740 para hacer que la luz de una longitud de onda deseada llegue a los sensores de imagen ópticos 746 y 748. En algunos ejemplos, el procesador 1522 puede controlar o sincronizar la temporización entre la activación de una o más de las fuentes de luz 708 y uno o más de los filtros 740. Para sincronizar la temporización, un programa 1530 puede especificar un tiempo de retardo para activar un determinado filtro. El procesador 1522 utiliza este programa 1530 para determinar cuándo, por ejemplo, se debe transmitir una señal para activar el filtro 740 en relación con el envío de una señal para encender una fuente de luz 708. La temporización programada garantiza que se aplique el filtro apropiado 740 cuando se activa la fuente de luz especificada 708. Esta configuración permite que las características resaltadas por una fuente de luz 708 (como la fluorescencia) se muestren encima o junto con las características mostradas debajo de una segunda fuente de luz 708, como la luz blanca o ambiental.
En algunos casos, las fuentes de luz 708 pueden cambiarse tan rápido como se pueden cambiar los filtros de luz 740, lo que permite que las imágenes grabadas con diferentes luces se muestren en conjunto una sobre otra. Por ejemplo, las venas u otras estructuras anatómicas que emiten fluorescencia (debido a un tinte o agente de contraste administrado) pueden mostrarse en la parte superior de una imagen bajo iluminación ambiental. En este ejemplo, las venas se resaltarían en relación con las características anatómicas de fondo que se muestran en luz visible. En este caso, el procesador 1562 y/o una unidad de procesamiento de gráficos 1564 (por ejemplo, una tarjeta de vídeo o una tarjeta gráfica) del módulo de procesador de información 1408 combina o superpone una o más imágenes grabadas durante la aplicación de un filtro con imágenes grabadas durante la aplicación de un filtro posterior.
En algunas realizaciones, el procesador 1522 puede activar múltiples fuentes de luz 708 al mismo tiempo. Las fuentes de luz 708 se pueden activar de manera simultánea o secuencial para "intercalar" luz de diferentes longitudes de onda para permitir que se extraiga información diferente utilizando píxeles apropiados en los sensores de imagen ópticos 746 y 748. Activar las fuentes de luz simultáneamente puede ayudar a iluminar campos oscuros. Por ejemplo, algunas aplicaciones utilizan luz ultravioleta para estimular la fluorescencia en un sitio objetivo 700. Sin embargo, el operador percibe la luz ultravioleta como muy oscura. En consecuencia, el procesador 1522 puede activar la fuente de luz visible 1538 periódicamente para agregar algo de luz visible al campo de visión de modo que el cirujano pueda observar el campo de visión sin abrumar los píxeles que son sensibles a la luz UV pero que también pueden detectar algo de luz visible. En otro ejemplo, la alternancia entre fuentes de luz 708 evita, en algunos casos, el lavado de píxeles de los sensores de imagen ópticos 746 y 748 que tienen sensibilidad superpuesta en los bordes de sus rangos.
5. Control de intensidad de la luz
El procesador 1522 de ejemplo de la Figura 15 está configurado para ejecutar uno o más programas 1530 para cambiar una intensidad o un nivel de iluminación proporcionado por las fuentes de luz 708. Se debe tener en cuenta que la profundidad de campo depende del nivel de iluminación en el sitio objetivo 700. Generalmente, una mayor iluminación proporciona una mayor profundidad de campo. El procesador 1522 está configurado para garantizar que se proporcione una cantidad apropiada de iluminación para una profundidad de campo deseada sin desgastar ni sobrecalentar el campo de visión.
La fuente de luz visible 708a es impulsada por el controlador de luz visible 1538 y emite luz en la parte visible para los humanos del espectro, así como también algo de luz fuera de esa región. La fuente de luz NIR 708b es impulsada por el controlador de luz NIR 1536 y emite luz principalmente en una longitud de onda conocida como infrarrojo cercano. La fuente de luz NUV 708c es impulsada por el controlador de luz NUV 1534 y emite luz principalmente en una longitud de onda que se encuentra en la parte de azul profundo del espectro visible, lo que se conoce como ultravioleta cercano. Los respectivos controladores de luz 1534, 1536 y 1538 están controlados por comandos proporcionados por el procesador 1522. El control de los respectivos espectros de salida de las fuentes de luz 708 se logra mediante una señal PWM, donde un voltaje o corriente de control se conmuta entre un valor mínimo (por ejemplo, apagado) y máximo (por ejemplo, encendido). El brillo de la luz que sale de las fuentes de luz 708 se controla variando la tasa de conmutación así como el porcentaje de tiempo que el voltaje o la corriente están en el nivel máximo por ciclo en la señal PWM.
En algunos ejemplos, el procesador 1522 controla una salida de las fuentes de luz 708 en función del tamaño del campo de visión o del nivel de zoom. El procesador 1522 puede ejecutar un programa 1530 que especifica para ciertas configuraciones sensibles a la luz que la intensidad de la luz se convierte en una función del zoom. El programa 1530 puede incluir, por ejemplo, una tabla de consulta que correlaciona un nivel de zoom con un valor de intensidad de luz. El procesador 1522 utiliza el programa 1530 para seleccionar la señal PWM para la fuente de luz 708 en función del nivel de aumento seleccionado. En algunos ejemplos, el procesador 1522 puede reducir la intensidad de la luz a medida que se incrementa el aumento para mantener la cantidad de luz proporcionada al campo de visión por unidad de área.
C. Módulo de procesador de información de ejemplo
El módulo de procesador de información 1408 de ejemplo dentro de la cámara de visualización estereoscópica 300 de la Figura 15 está configurado para analizar y procesar imágenes/fotogramas recibidos desde el módulo de captura de imágenes 1404 para su visualización. Además, el módulo de procesador de información 1408 está configurado para interactuar con diferentes dispositivos y traducir instrucciones de control en mensajes para el módulo de captura de imágenes 1404 y/o el módulo de motor e iluminación 1406. El módulo de procesador de información 1408 también puede proporcionar una interfaz para la calibración manual y/o gestionar la calibración automática de los elementos ópticos 1402.
Como se muestra en la Figura 15, el módulo de procesador de información 1408 está acoplado comunicativa y/o eléctricamente al módulo de captura de imágenes 1404 y al módulo de motor e iluminación 1406. Por ejemplo, el canal de comunicaciones 1514, además de los canales de comunicaciones 1566 y 1568 puede incluir conexiones USB 2.0 o USB 3.0. Como tal, el módulo de procesador de información 1408 regula y proporciona energía a los módulos 1404 y 1406. En algunas realizaciones, el módulo de procesador de información 1408 convierte la energía de corriente alterna ("CA") de 110 voltios de una toma de corriente de pared en un suministro de corriente continua ("CC") de 5, 10, 12 y/o 24 voltios para los módulos 1404 y 1406. Adicional o alternativamente, el módulo de procesador de información 1408 recibe energía eléctrica de una batería interna a la carcasa 302 de la cámara de visualización estereoscópica 300 y/o una batería en el carro 510.
El módulo de procesador de información 1408 de ejemplo incluye la interfaz de comunicaciones 1532 para comunicarse bidireccionalmente con el módulo de captura de imágenes 1404 y el módulo de motor e iluminación 1406. El módulo de procesador de información 1408 también incluye el procesador 1562 configurado para ejecutar uno o más programas 1560 para procesar imágenes/fotogramas recibidos desde el módulo de captura de imágenes 1404. Los programas 1560 pueden almacenarse en una memoria 1570.Además, el procesador 1562 puede realizar la calibración de los elementos ópticos 1402 y/o ajustar los elementos ópticos 1402 para alinear las imágenes derecha e izquierda y/o eliminar defectos visuales.
Para procesar imágenes y/o fotogramas en una pantalla estereoscópica tridimensional renderizada, el módulo de procesador de información 1408 de ejemplo incluye la unidad de procesamiento de gráficos 1564. La Figura 16 muestra un diagrama de la unidad de procesamiento de gráficos 1564, de acuerdo con una realización de ejemplo de la presente invención. Durante el funcionamiento, el procesador 1562 recibe imágenes y/o fotogramas del módulo de captura de imágenes 1404. Una rutina de desempaquetado 1602 convierte o cambia de otro modo las imágenes/fotogramas de un formato propicio para la transmisión a través del canal de comunicaciones 1514 a un formato propicio para el procesamiento de imágenes. Por ejemplo, las imágenes y/o fotogramas pueden transmitirse a través del canal de comunicaciones 1514 en múltiples mensajes. La rutina de desempaquetado 1602 de ejemplo combina los datos de los múltiples mensajes para volver a ensamblar los fotogramas/imágenes. En algunas realizaciones, la rutina de desempaquetado 1602 puede poner en cola fotogramas y/o imágenes hasta que lo solicite la unidad de procesamiento de gráficos 1564. En otros ejemplos, el procesador 1562 puede transmitir cada par de imágenes/fotogramas derecho e izquierdo después de haber sido recibidos y desempaquetados completamente.
La unidad de procesamiento de gráficos 1564 de ejemplo utiliza uno o más programas 1580 (mostrados en la Figura 15) para preparar imágenes para su renderizado. En las Figuras 15 y 16 se muestran ejemplos de los programas 1580. Los programas 1580 pueden ser ejecutados por un procesador de la unidad de procesamiento de gráficos 1564. Alternativamente, cada uno de los programas 1580 mostrados en la Figura 16 puede ser ejecutado por un procesador de gráficos separado, un microcontrolador y/o un circuito integrado específico de la aplicación ("ASIC"). Por ejemplo, un programa de-Bayer 1580a está configurado para suavizar o promediar los valores de píxeles en los píxeles vecinos para compensar un patrón Bayer aplicado a las cuadrículas de píxeles 1002 y 1004 de los sensores de imagen ópticos derecho e izquierdo 746 y 748 de las Figuras 7 y 8. La unidad de procesamiento de gráficos 1564 también puede incluir los programas 1580b, 1580c y 1580d para corrección de color y/o ajuste de balance de blancos. La unidad de procesamiento de gráficos 1564 también incluye un programa de renderizado 1580e para preparar imágenes/fotogramas con color corregido en los monitores de visualización 512 y 514. La unidad de procesamiento de gráficos 1564 puede interactuar y/o incluir, además, una interfaz de unidad de entrada periférica 1574, que está configurada para combinar, fusionar o incluir de otro modo otras imágenes y/o gráficos para su presentación con la pantalla estereoscópica del sitio objetivo 700. A continuación se analizan más detalles de los programas 1580 y del módulo de procesador de información 1408 en general.
El módulo de procesador de información 1408 de ejemplo puede ejecutar uno o más programas 1562 para verificar y mejorar la latencia de la cámara de visualización estereoscópica 300. La latencia se refiere a la cantidad de tiempo que tarda un evento en ocurrir en el sitio objetivo 700 y en que ese mismo evento se muestre en los monitores de visualización 512 y 514. La baja latencia proporciona la sensación de que la cámara de visualización estereoscópica 300 es una extensión de los ojos del cirujano, mientras que la alta latencia tiende a distraer del procedimiento microquirúrgico. El procesador 1562 de ejemplo puede rastrear cuánto tiempo transcurre entre la lectura de imágenes desde los sensores de imagen ópticos 746 y 748 hasta que la imagen estereoscópica combinada basada en las imágenes leídas se transmite para su visualización. Las detecciones de alta latencia pueden provocar que el procesador 1562 reduzca los tiempos de cola, aumente la velocidad de fotogramas y/u omita algunos pasos de corrección de color.
1. Ejemplo de entrada de usuario
El procesador 1562 de ejemplo del módulo de procesador de información 1408 de la Figura 15 está configurado para convertir las instrucciones de entrada del usuario en mensajes para el módulo de motor e iluminación 1406 y/o el módulo de captura de imágenes 1402. Las instrucciones de entrada del usuario pueden incluir solicitudes para cambiar aspectos ópticos de la cámara de visualización estereoscópica 300, incluido un nivel de aumento, una distancia de trabajo, una altura de un plano focal (por ejemplo, foco), una fuente de iluminación 708 y/o un tipo de filtro del filtro 740. Las instrucciones de entrada del usuario también pueden incluir solicitudes para realizar la calibración, incluidas indicaciones de que una imagen está enfocada y/o indicaciones de alineación de la imagen, y/o indicaciones de ZRP alineados entre las imágenes izquierda y derecha. Las instrucciones de entrada del usuario pueden incluir, además, ajustes a los parámetros de la cámara de visualización estereoscópica 300, tales como la velocidad de fotogramas, el tiempo de exposición, la corrección de color, la resolución de la imagen, etc.
Las instrucciones de entrada del usuario pueden recibirse desde un dispositivo de entrada de usuario 1410, que puede incluir los controles 305 del brazo de control 304 de la Figura 3 y/o un control remoto. El dispositivo de entrada de usuario 1410 también puede incluir un ordenador, una tableta, etc. En algunas realizaciones, las instrucciones se reciben a través de una interfaz de red 1572 y/o una interfaz de unidad de entrada periférica 1574. En otras realizaciones, las instrucciones pueden recibirse desde una conexión cableada y/o una interfaz de RF.
El procesador 1562 de ejemplo incluye programas 1560 para determinar un tipo de instrucción y determinar cómo se debe procesar la entrada del usuario. En un ejemplo, un usuario puede pulsar un botón del control 305 para cambiar un nivel de aumento. El botón puede continuar pulsado hasta que el operador haya logrado que la cámara de visualización estereoscópica 300 alcance un nivel de aumento deseado. En estos ejemplos, las instrucciones de entrada del usuario incluyen información que indica que, por ejemplo, se debe incrementar el nivel de aumento. Para cada instrucción recibida (o cada período de tiempo en el que se recibe una señal indicativa de la instrucción), el procesador 1562 envía una instrucción de control al procesador de motor e iluminación 1406 indicativa del cambio en el aumento. El procesador 1522 determina a partir de un programa 1530 cuánto se deben mover los conjuntos de lentes de zoom 724 y 730 utilizando, por ejemplo, la Tabla 2. En consecuencia, el procesador 1522 transmite una señal o mensaje al controlador del motor de lente de zoom trasera 1544 y/o al controlador del motor de lente de zoom delantera 1548, lo que hace que el motor de lente de zoom trasera 1546 y/o el motor de lente de zoom delantera 1550 muevan el conjunto de lentes de zoom traseras 730 y/o el conjunto de lentes de zoom delanteras 724 una cantidad especificada por el procesador 1562 para lograr el nivel de aumento deseado.
Se debe tener en cuenta que en el ejemplo anterior, la cámara de visualización estereoscópica 300 proporciona un cambio basado en la entrada del usuario pero también realiza ajustes automáticos para mantener el enfoque y/o una alta calidad de imagen. Por ejemplo, en lugar de simplemente cambiar el nivel de aumento, el procesador 1522 determina cómo se deben mover los conjuntos de lentes de zoom 724 y 730 para mantener también el enfoque, ahorrando así que un operador tenga que realizar esta tarea manualmente. Además, el procesador 1562 puede, en tiempo real, ajustar y/o alinear ZRP dentro de las imágenes derecha e izquierda a medida que cambia el nivel de aumento. Esto puede hacerse, por ejemplo, seleccionando o cambiando las ubicaciones de los conjuntos de píxeles 1006 y 1008 con respecto a las cuadrículas de píxeles 1002 y 1004 de la Figura 10.
En otro ejemplo, el procesador 1562 puede recibir una instrucción del dispositivo de entrada de usuario 1410 para cambiar una velocidad de fotogramas. El procesador 1562 transmite un mensaje al procesador 1504 del módulo de captura de imágenes 1404. A su vez, el procesador 1504 escribe en los registros de los sensores de imagen derecho e izquierdo 746 y 748 indicativos de la nueva velocidad de fotogramas. El procesador 1504 también puede actualizar los registros internos con la nueva velocidad de fotogramas para cambiar el ritmo en el que se leen los píxeles.
En otro ejemplo más, el procesador 1562 puede recibir una instrucción del dispositivo de entrada de usuario 1410 para iniciar una rutina de calibración para ZRP. En respuesta, el procesador 1562 puede ejecutar un programa 1560 que especifica cómo se debe realizar la calibración. El programa 1560 puede incluir, por ejemplo, una progresión o iteración de niveles de aumento y/o distancias de trabajo, además de una rutina para verificar la calidad de la imagen. La rutina puede especificar que para cada nivel de aumento, se debe verificar el enfoque, además, del ZRP. La rutina también puede especificar cómo deben ajustarse los conjuntos de lentes de zoom 724 y 730 y/o la lente de distancia de trabajo trasera 704 para lograr una imagen enfocada. La rutina puede especificar, además, cómo se deben centrar los ZRP de las imágenes derecha e izquierda para el nivel de aumento. El programa 1560 puede almacenar (en una tabla de consulta) las ubicaciones de los conjuntos de lentes de zoom 724 y/o 730 y/o la lente de distancia de trabajo trasera 704, además de las ubicaciones de los conjuntos de píxeles 1006 y 1008 y el nivel de aumento correspondiente una vez que se ha verificado la calidad de la imagen. De este modo, cuando se solicita el mismo nivel de aumento en un momento posterior, el procesador 1562 utiliza la tabla de consulta para especificar posiciones para los conjuntos de lentes de zoom 724 y/o 730 y/o la lente de distancia de trabajo trasera 704 para el módulo de motor e iluminación 1406 y posiciones para los conjuntos de píxeles 1006 y 1008 para el módulo de captura de imágenes 1404. Se debe tener en cuenta que en algunas rutinas de calibración, al menos algunas de las lentes de los elementos ópticos 1402 pueden ajustarse radial o rotacionalmente y/o inclinarse para centrar los ZRP y/o alinear las imágenes derecha e izquierda.
2. Ejemplo de interfaz
Para facilitar las comunicaciones entre la cámara de visualización estereoscópica 300 y los dispositivos externos, el módulo de procesador de información 1408 de ejemplo incluye la interfaz de red 1572 y la interfaz de unidad de entrada periférica 1574. La interfaz de red 1572 de ejemplo está configurada para permitir que dispositivos remotos se acoplen comunicativamente al módulo de procesador de información 1408 para, por ejemplo, almacenar vídeo grabado, controlar una distancia de trabajo, un nivel de zoom, un enfoque, una calibración u otras características de la cámara de visualización estereoscópica 300. En algunas realizaciones, los dispositivos remotos pueden proporcionar valores o parámetros para tablas de consulta de calibración o, de manera más general, programas 1530 con parámetros calibrados. La interfaz de red 1572 puede incluir una interfaz Ethernet, una interfaz de red de área local y/o una interfaz Wi-Fi.
La interfaz de unidad de entrada periférica 1574 de ejemplo está configurada para acoplarse comunicativamente a uno o más dispositivos periféricos 1576 y facilitar la integración de datos de imágenes estereoscópicas con datos periféricos, tales como datos fisiológicos del paciente. La interfaz de la unidad de entrada periférica 1574 puede incluir una interfaz Bluetooth®, una interfaz USB, una interfaz HDMI, SDI, etc. En algunas realizaciones, la interfaz de la unidad de entrada periférica 1574 puede combinarse con la interfaz de red 1572.
Los dispositivos periféricos 1576 pueden incluir, por ejemplo, unidades de almacenamiento de datos o vídeo, sensores fisiológicos del paciente, dispositivos de imágenes médicas, bombas de infusión, máquinas de diálisis y/o tabletas, etc. Los datos periféricos pueden incluir datos de imagen de una cámara infrarroja bidimensional especializada, imágenes de diagnóstico del ordenador portátil de un usuario y/o imágenes o texto de diagnóstico del paciente de un dispositivo oftálmico tal como el sistema Alcon Constellation® y el sistema WaveTec Optiwave Refractive Analysis (ORA™).
La interfaz de unidad de entrada periférica 1574 de ejemplo está configurada para convertir y/o formatear datos de los dispositivos periféricos 1576 en un formato digital apropiado para su uso con imágenes estereoscópicas. Una vez en forma digital, la unidad de procesamiento de gráficos 1564 integra los datos periféricos con otros datos del sistema y/o las imágenes/fotogramas estereoscópicos. Los datos se representan con imágenes estereoscópicas para su visualización en los monitores de visualización 512 y/o 514.
Para configurar la inclusión de datos periféricos con las imágenes estereoscópicas, el procesador 1562 puede controlar una configuración de integración. En un ejemplo, el procesador 1562 puede hacer que la unidad de procesamiento de gráficos 1564 muestre un panel de configuración en los monitores de visualización 512 y/o 514. El panel de configuración puede permitir a un operador conectar un dispositivo periférico 1576 a la interfaz 1574 y al procesador 1562 para establecer posteriormente comunicaciones con el dispositivo 1576. El procesador 1564 puede luego leer qué datos están disponibles o permitir que el operador utilice el panel de configuración para seleccionar una ubicación de directorio de datos. Los datos periféricos en la ubicación del directorio se muestran en el panel de configuración. El panel de configuración también puede proporcionar al operador una opción para superponer los datos periféricos con datos de imágenes estereoscópicas o mostrarlos como una imagen separada.
La selección de datos periféricos (y formato de superposición) hace que el procesador 1562 lea y transmita los datos a la unidad de procesamiento de gráficos 1564. La unidad de procesamiento de gráficos 1564 aplica los datos periféricos a los datos de imagen estereoscópica para su presentación como un gráfico superpuesto (por ejemplo, fusionando una imagen o un gráfico preoperatorio con una imagen estereoscópica en tiempo real), una "imagen en imagen" y/o una subventana al lado o encima de la ventana principal de la imagen estereoscópica.
3. Ejemplo del programa de-Bayer
El programa de-Bayer 1580a de ejemplo de la Figura 16 está configurado para producir imágenes y/o fotogramas con valores de color rojo, verde y azul en cada valor de píxel. Como se analizó anteriormente, los píxeles de los sensores de imagen ópticos derecho e izquierdo 746 y 748 tienen un filtro que deja pasar la luz en el rango de longitud de onda roja, el rango de longitud de onda azul o el rango de longitud de onda verde. De esta forma, cada píxel sólo contiene una parte de los datos de luz. En consecuencia, cada imagen y/o fotograma recibido en el módulo de procesador de información 1408 desde el módulo de captura de imágenes 1404 tiene píxeles que contienen datos de píxeles rojos, azules o verdes.
El programa de-Bayer 1580a de ejemplo está configurado para promediar los datos de píxeles rojos, azules y verdes de píxeles adyacentes y/o vecinos para determinar datos de color más completos para cada píxel. En un ejemplo, un píxel con datos de rojo y un píxel con datos de azul se encuentran entre dos píxeles con datos de verde. Los datos de píxeles verdes de los dos píxeles se promedian y se asignan al píxel con datos de rojo y al píxel con datos de azul. En algunos casos, los datos de verde promedio se pueden ponderar en función de la distancia del píxel con datos de rojo y el píxel con datos de azul desde los respectivos píxeles verdes. Después del cálculo, los píxeles que originalmente solo tenían datos de rojo o azul ahora incluyen datos de verde. De este modo, después de que la unidad de procesamiento de gráficos 1564 ejecuta el programa de-Bayer 1580a, cada píxel contiene datos de píxeles para una cantidad de luz roja, azul y verde. Los datos de píxeles de los diferentes colores se combinan para determinar un color resultante en el espectro de colores, que puede ser utilizado por el programa de renderizado 1580e para la visualización y/o los monitores de visualización 512 y 514. En algunos ejemplos, el programa de-Bayer 1580a puede determinar el color resultante y almacenar datos o un identificador indicativo del color.
4. Ejemplo de corrección del color
Los programas de corrección de color 1580b, 1580c y 1580d de ejemplo están configurados para ajustar los datos de color de los píxeles. El programa de corrección de color del sensor 1580b está configurado para tener en cuenta o ajustar la variabilidad en la detección de color de los sensores de imagen ópticos 746 y 748. El programa de corrección de color del usuario 1580c está configurado para ajustar los datos de color de los píxeles en función de las percepciones y la retroalimentación de un operador. Además, el programa de corrección de color de visualización 1580d está configurado para ajustar los datos de color de píxeles en función del tipo de monitor de visualización.
Para corregir el color según la variabilidad del sensor, el programa de corrección de color 1580b de ejemplo especifica una rutina de calibración que puede ejecutar la unidad de procesamiento de gráficos 1564 y/o el procesador 1562. La calibración del sensor incluye la colocación de una tabla de colores calibrada, tal como el ColorChecker® Digital SG de X-Rite, Inc. en el sitio objetivo 700. El procesador 1562 y/o la unidad de procesamiento de gráficos 1564 ejecuta el programa 1580b, que incluye el envío de instrucciones al módulo de captura de imágenes 1404 para registrar imágenes derecha e izquierda de la tabla de colores. Los datos de píxeles de las imágenes derecha e izquierda (después de ser procesados por el programa de-Bayer 1580a) se pueden comparar con los datos de píxeles asociados con la tabla de colores, que se pueden almacenar en la memoria 1570 desde una unidad periférica 1576 y/o un ordenador remoto a través de la interfaz de red 1572. El procesador 1562 y/o la unidad de procesamiento de gráficos 1564 determina las diferencias entre los datos de píxeles. Las diferencias se almacenan en la memoria 1570 como datos o parámetros de calibración. El programa de corrección de color del sensor 1580b aplica los parámetros de calibración a las imágenes derecha e izquierda subsiguientes.
En algunos ejemplos, las diferencias pueden promediarse en regiones de píxeles de modo que el programa 1580b encuentre el mejor ajuste de datos de corrección de color que pueda aplicarse globalmente a todos los píxeles de los sensores de imágenes ópticas 746 y 748 para producir colores lo más cercanos posible a la carta de colores. Adicional o alternativamente, el programa 1580b puede procesar instrucciones de entrada de usuario recibidas desde el dispositivo de unidad de usuario 1410 para corregir colores. Las instrucciones pueden incluir cambios regionales y/o globales en los datos de píxeles rojos, azules y verdes según las preferencias del operador.
El programa de corrección de color del sensor 1580b de ejemplo también está configurado para corregir el equilibrio de blancos. Generalmente, la luz blanca debería dar como resultado que los píxeles rojos, verdes y azules tengan valores iguales. Sin embargo, pueden existir diferencias entre los píxeles debido a la temperatura de color de la luz utilizada durante la obtención de imágenes, aspectos inherentes del filtro y del elemento de detección de cada uno de los píxeles y parámetros de filtrado espectral de, por ejemplo, el elemento deflector 712 de las Figuras 7 y 8. El programa de corrección de color del sensor 1580b de ejemplo está configurado para especificar una rutina de calibración para corregir los desequilibrios de luz.
Para realizar el equilibro de blancos, el procesador 1562 (según las instrucciones del programa 1580b) puede mostrar una instrucción en el monitor de visualización 512 y/o 514 para que un operador coloque una tarjeta neutra en el sitio objetivo 700. El procesador 1562 puede entonces ordenar al módulo de captura de imágenes 1404 que registre una o más imágenes de la tarjeta neutra. Después del procesamiento mediante la rutina de desempaquetado 1602 y el programa de-Bayer 1580a, el programa 1580b determina valores de peso de calibración de equilibrio de blancos regionales y/o globales para cada uno de los datos de rojo, azul y verde de modo que cada uno de los píxeles tenga valores sustancialmente iguales de datos de rojo, azul y verde. Los valores de peso de calibración del equilibrio de blancos se almacenan en la memoria 1570. Durante el funcionamiento, la unidad de procesamiento de gráficos 1564 utiliza el programa 1580b para aplicar los parámetros de calibración del equilibrio de blancos para proporcionar equilibrio de blancos.
En algunos ejemplos, el programa 1580b determina los parámetros de calibración del equilibrio de blancos individualmente para los sensores de imagen ópticos derecho e izquierdo 746 y 748. De estos ejemplos, el programa 1580b puede almacenar parámetros de calibración separados para las imágenes izquierda y derecha. En otros casos, el programa de corrección de color del sensor 1580b determina una ponderación entre las vistas derecha e izquierda de modo que los datos de píxeles de color sean casi idénticos para los sensores de imagen ópticos derecho e izquierdo 746 y 748. El peso determinado se puede aplicar a los parámetros de calibración del equilibrio de blancos para su uso posterior durante el funcionamiento de la cámara de visualización estereoscópica 300.
En algunas realizaciones, el programa de corrección de color del sensor 1580b de la Figura 16 especifica que los parámetros de calibración del equilibrio de blancos se deben aplicar como una ganancia digital en los píxeles de los sensores de imagen ópticos derecho e izquierdo 746 y 748. Por ejemplo, el procesador 1504 del módulo de captura de imágenes 1404 aplica la ganancia digital a los datos de píxeles leídos de cada uno de los píxeles. En otras realizaciones, los parámetros de calibración del equilibrio de blancos se deben aplicar como una ganancia analógica para el elemento de detección de color de cada píxel.
El programa de corrección de color del sensor 1580b de ejemplo puede realizar el equilibrio de blancos y/o la corrección de color cuando se activan las diferentes fuentes de luz 708 y/o los tipos de filtro del filtro 740. Como resultado, la memoria 1570 puede almacenar diferentes parámetros de calibración en función de qué fuente de luz 708 se seleccione. Además, el programa de corrección de color del sensor 1580b puede realizar el equilibrio de blancos y/o la corrección de color para diferentes tipos de luz externa. Un operador puede utilizar el dispositivo de entrada de usuario 1410 para especificar características y/o un tipo de fuente de luz externa. Esta calibración permite que la cámara de visualización estereoscópica 300 proporcione corrección de color y/o equilibrio de blancos para diferentes entornos de iluminación.
El programa 1580b de ejemplo está configurado para realizar la calibración en cada uno de los sensores de imagen ópticos 746 y 748 por separado. En consecuencia, el programa 1580b aplica diferentes parámetros de calibración a las imágenes derecha e izquierda durante el funcionamiento. Sin embargo, en algunos ejemplos, la calibración solo se puede realizar en un sensor 746 o 748 utilizándose los parámetros de calibración para el otro sensor.
El programa de corrección de color de usuario 1580c de ejemplo está configurado para solicitar retroalimentación proporcionada por el operador con respecto a los parámetros de calidad de imagen, tales como brillo, contraste, gamma, tono y/o saturación. La retroalimentación puede recibirse como instrucciones desde el dispositivo de entrada del usuario 1410. Los ajustes realizados por el usuario se almacenan como parámetros de calibración del usuario en la memoria 1570. Estos parámetros son aplicados posteriormente por el programa de corrección de color del usuario 1580c a las imágenes ópticas derecha e izquierda después de la corrección de color de los sensores de imagen ópticos 746 y 748.
El programa de corrección de color de visualización 1580d de ejemplo de la Figura 16 está configurado para corregir el color de la imagen de un monitor de visualización utilizando, por ejemplo, el verificador de color Datacolor™ Spyder. El programa 1580d, similar al programa 1580b, instruye al módulo de captura de imágenes 1404 que registre una imagen de una plantilla de color de visualización en la escena objetivo 700. El programa de corrección de color de visualización 1580d ejecuta una rutina para ajustar los datos de píxeles para que coincidan con una salida de visualización esperada almacenada en una tabla de consulta en la memoria 1570. Los datos de píxeles ajustados se pueden almacenar como parámetros de calibración de visualización en la memoria 1570. En algunos ejemplos, se puede conectar una cámara u otro sensor de imágenes a la interfaz de la unidad de entrada periférica 1574, que proporciona imágenes u otra retroalimentación con respecto al color registrado desde los monitores de visualización 512 y 514, que se utiliza para ajustar los datos de píxeles.
5. Ejemplo de visualización de imágenes estereoscópicas
El programa de renderizado 1580e de ejemplo de la unidad de procesamiento de gráficos 1564 de la Figura 16 está configurado para preparar imágenes y/o fotogramas derechos e izquierdos para visualización estereoscópica tridimensional. Después de que los datos de píxeles de las imágenes derecha e izquierda son corregidos por los programas 1580b, 1580c y 1580d, el programa de renderizado 1580e se configura para dibujar los datos del ojo izquierdo y del ojo derecho en un formato adecuado para visualización estereoscópica y colocar la versión renderizada final en una memoria intermedia de salida para su transmisión a uno de los monitores de visualización 512 o 514.
Generalmente, el programa de renderizado 1580e recibe una imagen y/o un fotograma derecho y una imagen y/o un fotograma izquierdo. El programa de renderizado 1580e combina las imágenes y/o fotogramas derecho e izquierdo en un solo fotograma. En algunas realizaciones, el programa 1580e opera en un modo arriba-abajo y condensa los datos de la imagen izquierda en altura a la mitad. Luego, el programa 1580e coloca los datos condensados de la imagen izquierda en la mitad superior del fotograma combinado. De manera similar, el programa 1580e condensa los datos de la imagen derecha en altura a la mitad y coloca los datos de la imagen derecha condensados en la mitad inferior del fotograma combinado.
En otras realizaciones, el programa de renderizado 1580e opera en un modo lado a lado donde cada una de las imágenes izquierda y derecha se condensan en ancho a la mitad y se combinan en una sola imagen de modo que los datos de la imagen izquierda se proporcionan en una mitad izquierda de la imagen mientras que los datos de la imagen derecha se proporcionan en una mitad derecha de la imagen. En otra realización alternativa, el programa de renderizado 1580e opera en un modo de intercalación de filas donde se descartan una de cada dos líneas en los fotogramas izquierdo y derecho. Los fotogramas izquierdo y derecho se combinan para formar una imagen estereoscópica completa.
El programa de renderizado 1580e de ejemplo está configurado para renderizar imágenes combinadas izquierda y derecha por separado para cada monitor de visualización conectado. Por ejemplo, si ambos monitores de visualización 512 y 514 están conectados, el programa de renderizado 1580e renderiza una primera imagen estereoscópica combinada para el monitor de visualización 512 y una segunda imagen estereoscópica combinada para el monitor de visualización 514. El programa de renderizado 1580e formatea la primera y la segunda imágenes estereoscópicas combinadas de modo que sean compatibles con el tipo y/o tamaño de pantalla de los monitores de visualización y/o la pantalla.
En algunas realizaciones, el programa de renderizado 1580e selecciona el modo de procesamiento de imágenes en función de cómo el monitor de visualización debe mostrar los datos estereoscópicos. La interpretación adecuada de los datos de una imagen estereoscópica por parte del cerebro de un operador requiere que los datos del ojo izquierdo de la imagen estereoscópica se transmitan al ojo izquierdo del operador y los datos del ojo derecho de la imagen estereoscópica se transmitan al ojo derecho del operador. Generalmente, los monitores de visualización proporcionan una primera polarización para los datos del ojo izquierdo y una segunda polarización opuesta para los datos del ojo derecho. Por tanto, la imagen estereoscópica combinada debe coincidir con la polarización del monitor de visualización.
La Figura 17 muestra un ejemplo del monitor de visualización 512, de acuerdo con una realización de ejemplo de la presente invención. El monitor de visualización 512 puede ser, por ejemplo, el televisor tridimensional LG® 55LW5600 con una pantalla 1702. El monitor de visualización 512 de ejemplo utiliza una película de polarización en la pantalla 1702 de modo que todas las filas impares 1704 tienen una primera polarización y todas las filas pares 1706 tienen una polarización opuesta. Para compatibilidad con el monitor de visualización 512 que se muestra en la Figura 17, el programa de renderizado 1580e tendría que seleccionar el modo de intercalación de filas de manera que los datos de imagen izquierda y derecha estén en líneas alternas. En algunos casos, el programa de renderizado 1580e puede solicitar (o recibir de otro modo) las características de visualización del monitor de visualización 512 antes de preparar la imagen estereoscópica.
Para visualizar la imagen estereoscópica mostrada en la pantalla 1702, el cirujano 504 (recuérdelo de la Figura 5) usa unas gafas 1712 que incluyen una lente izquierda 1714 que comprende una primera polarización que coincide con la primera polarización de las filas 1704. Además, las gafas 1712 incluyen una lente derecha 1716 que comprende una segunda polarización que coincide con la segunda polarización de las filas 1706. De este modo, la lente izquierda 1714 solo permite que pase la mayor parte de la luz de los datos de imagen izquierda de las filas izquierdas 1704, mientras que bloquea la mayor parte de la luz de los datos de imagen derecha. Además, la lente derecha 1716 permite que la mayor parte de la luz de los datos de imagen derecha de las filas derechas 1706 pase a través de ella mientras bloquea la mayor parte de la luz de los datos de imagen izquierda. La cantidad de luz de la vista "incorrecta" que llega a cada ojo respectivo se conoce como "diafonía" y generalmente se mantiene en un valor lo suficientemente bajo para permitir una visualización cómoda. En consecuencia, el cirujano 504 visualiza los datos de la imagen izquierda registrados por el sensor de imagen óptico izquierdo 748 en un ojo izquierdo mientras visualiza los datos de la imagen derecha registrados por el sensor de imagen óptico derecho 746 en un ojo derecho. El cerebro del cirujano fusiona las dos vistas para crear una percepción de distancia y/o profundidad tridimensional. Además, el uso de dicho monitor de visualización es ventajoso para observar la precisión de la cámara de visualización estereoscópica 300. Si el cirujano u operador no usa gafas, entonces las vistas izquierda y derecha son observables con ambos ojos. Si se coloca un objetivo plano en el plano focal, las dos imágenes estarán teóricamente alineadas. Si se detecta una desalineación, el procesador 1562 puede iniciar un procedimiento de recalibración.
El programa de renderizado 1580e de ejemplo está configurado para renderizar las vistas izquierda y derecha para la polarización circular. Sin embargo, en otras realizaciones, el programa de renderizado 1580e puede proporcionar una imagen estereoscópica compatible con la polarización lineal. Independientemente de qué tipo de polarización se utilice, el procesador 1562 de ejemplo puede ejecutar un programa 1560 para verificar o comprobar la polaridad de las imágenes estereoscópicas emitidas por el programa de renderizado 1580e. Para comprobar la polaridad, el procesador 1562 y/o la interfaz de la unidad de entrada periférica 1574 inserta datos de diagnóstico en las imágenes izquierda y/o derecha. Por ejemplo, el procesador 1562 y/o la interfaz de la unidad de entrada periférica 1574 pueden superponer texto "izquierdo" sobre la imagen izquierda y texto "derecho" sobre la imagen derecha. El procesador 1562 y/o la interfaz de la unidad de entrada periférica 1574 pueden mostrar un mensaje que indica a un operador que debe cerrar un ojo a la vez mientras usa las gafas 1712 para confirmar que la vista izquierda se está recibiendo en el ojo izquierdo y la vista derecha se está recibiendo en el ojo derecho. El operador puede proporcionar confirmación a través del dispositivo de entrada de usuario 1410 indicando si la polarización es correcta. Si la polarización no es correcta, el programa de renderizado 1580e de ejemplo está configurado para invertir las ubicaciones donde se insertan las imágenes izquierda y derecha en la imagen estereoscópica combinada.
En otras realizaciones adicionales, el programa de renderizado 1580e de ejemplo está configurado para proporcionar proyección secuencial de fotogramas en lugar de crear una imagen estereoscópica combinada. Aquí, el programa de renderizado 1580e renderiza las imágenes y/o fotogramas de la izquierda intercalados secuencialmente en el tiempo con las imágenes y/o fotogramas de la derecha. De este modo, las imágenes izquierda y derecha se presentan alternativamente al cirujano 504. En estas otras realizaciones, la pantalla 1702 no está polarizada. En cambio, las lentes izquierda y derecha de las gafas 1712 pueden estar sincronizadas electrónica u ópticamente con su respectiva porción de una secuencia de fotogramas, lo que proporciona vistas izquierda y derecha correspondientes a un usuario para discernir la profundidad.
En algunos ejemplos, el programa de renderizado 1580e puede proporcionar algunas de las imágenes derecha e izquierda para visualizarlas en monitores de visualización separados o en ventanas separadas en un monitor de visualización. Una configuración de este tipo puede ser especialmente beneficiosa cuando las lentes de las trayectorias ópticas derecha e izquierda de los elementos ópticos 1402 se pueden ajustar de forma independiente. En un ejemplo, a una trayectoria óptica derecha se le puede establecer un primer nivel de aumento, mientras que a una trayectoria óptica izquierda se le puede establecer un segundo nivel de aumento. El programa de renderizado 1580e de ejemplo puede mostrar en consecuencia un flujo de imágenes de la vista izquierda en el monitor de visualización 512 y un flujo de imágenes de la vista derecha en el monitor de visualización 514. En algunos casos, la vista izquierda se puede mostrar en una primera ventana en el monitor de visualización 512 mientras que la vista derecha se muestra en una segunda ventana (por ejemplo, una imagen en imagen) del mismo monitor de visualización 512. Por tanto, aunque no sea estereoscópica, la visualización simultánea de las imágenes izquierda y derecha proporciona información útil al cirujano.
En otro ejemplo, las fuentes de luz 708 y el filtro 740 pueden conmutarse rápidamente para generar imágenes alternas con luz visible y luz fluorescente. El programa de renderizado 1580e de ejemplo puede combinar las vistas izquierda y derecha para proporcionar una visualización estereoscópica bajo diferentes fuentes de iluminación para resaltar, por ejemplo, una vena con un agente colorante mientras se muestra el fondo en luz visible.
En otro ejemplo más, se puede aplicar un zoom digital al sensor de imagen óptico derecho y/o izquierdo 746 o 748. El zoom digital generalmente afecta la resolución percibida de la imagen y depende de factores tales como la resolución de la pantalla y la preferencia del espectador. Por ejemplo, el procesador 1504 del módulo de captura de imágenes 1404 puede aplicar zoom digital creando píxeles interpolados sintetizados e intercalados entre los píxeles ampliados digitalmente. El procesador 1504 puede operar un programa 1510 que coordina la selección e interpolación de píxeles para los sensores de imagen ópticos 746 y 748. El procesador 1504 transmite las imágenes derecha e izquierda con zoom digital aplicado al módulo de procesador de información 1408 para su posterior renderización y visualización.
En algunas realizaciones, el procesador 1504 recibe instrucciones del procesador 1562 de que se debe grabar una imagen con zoom digital entre imágenes sin zoom digital para proporcionar una visualización de imagen en imagen (o ventana separada) de un zoom digital de una región de interés del sitio objetivo 700. El procesador 1504 aplica en consecuencia un zoom digital a cada dos lecturas de las cuadrículas de píxeles 1002 y 1004. Esto permite que el programa de renderizado 1580e muestre simultáneamente una imagen estereoscópica de resolución completa, además de una imagen estereoscópica ampliada digitalmente. Como alternativa, la imagen que se va a ampliar digitalmente se copia de la imagen actual, se escala y se coloca durante la fase de renderizado en la posición adecuada superpuesta sobre la imagen actual. Esta configuración alternativa evita el requisito de grabación "alternativa".
6. Ejemplo de calibración
El módulo de procesador de información 1408 de ejemplo de las Figuras 14 a 16 puede estar configurado para ejecutar uno o más programas de calibración 1560 para calibrar, por ejemplo, una distancia de trabajo y/o un aumento. Por ejemplo, el procesador 1562 puede enviar instrucciones al módulo de motor e iluminación 1406 para realizar un paso de calibración para mapear una distancia de trabajo (medida en milímetros) desde el conjunto objetivo principal 702 hasta el sitio objetivo 700 a una posición de motor conocida del motor de lente de distancia de trabajo 1554. El procesador 1562 realiza la calibración moviendo secuencialmente un plano de objeto en pasos discretos a lo largo del eje óptico y reenfocando las imágenes izquierda y derecha, mientras registra los conteos del codificador y la distancia de trabajo. En algunos ejemplos, la distancia de trabajo puede ser medida por un dispositivo externo, que transmite los valores de la distancia de trabajo medidos al procesador 1562 a través de la interfaz de la unidad de entrada periférica 1574 y/o una interfaz al dispositivo de entrada del usuario 1410. El procesador 1562 puede almacenar la posición de la lente de distancia de trabajo trasera 704 (basándose en la posición del motor de lente de distancia de trabajo 1554) y la distancia de trabajo correspondiente.
El procesador 1562 de ejemplo también puede ejecutar un programa 1560 para realizar la calibración de aumento. El procesador 1562 puede configurar los elementos ópticos 1402, utilizando el motor y el módulo de iluminación 1406 para seleccionar niveles de aumento. El procesador 1562 puede registrar posiciones de los elementos ópticos 1402, o posiciones de motor correspondientes con respecto a cada nivel de aumento. El nivel de aumento se puede determinar midiendo la altura en una imagen de un objeto de tamaño conocido. Por ejemplo, el procesador 1562 puede medir un objeto que tiene una altura de 10 píxeles y utilizar una tabla de consulta para determinar que una altura de 10 píxeles corresponde a un aumento de 5X.
Para hacer coincidir las perspectivas estereoscópicas de dos modalidades de imágenes diferentes, a menudo es deseable modelarlas ambas como si fueran simples cámaras estenopeicas. La perspectiva de un modelo informático 3D, tal como un tumor cerebral obtenido mediante resonancia magnética, se puede ver desde direcciones y distancias ajustables por el usuario (por ejemplo, como si las imágenes fueran grabadas por una cámara estereoscópica sintetizada). La capacidad de ajuste se puede utilizar para que coincida con la perspectiva de la imagen quirúrgica en vivo, que por lo tanto debe conocerse. El procesador 1562 de ejemplo puede calibrar uno o más de estos parámetros de la cámara estenopeica tales como, por ejemplo, un centro de proyección ("COP") de los sensores de imagen ópticos derecho e izquierdo 746 y 748. Para determinar el centro de proyección, el procesador 1562 determina una distancia de enfoque desde el centro de proyección hasta un plano del objeto. En primer lugar, el procesador 1562 establece los elementos ópticos 1402 en un nivel de aumento. A continuación, el procesador 1562 registra mediciones de la altura de una imagen a tres distancias diferentes a lo largo del eje óptico, incluida la del plano del objeto, una distanciadmenor que la distancia del plano del objeto y una distanciadmayor que la distancia del plano del objeto. El procesador 1562 utiliza una fórmula algebraica para triángulos similares en las dos posiciones más extremas para determinar la distancia de enfoque al centro de la proyección. El procesador 1562 puede determinar distancias de enfoque en otros aumentos utilizando el mismo procedimiento o determinando una relación entre los aumentos utilizados para la calibración. El procesador puede utilizar un centro de proyección para hacer coincidir la perspectiva de una imagen de un objeto de fusión deseado, tal como un modelo de tumor de resonancia magnética, con una imagen quirúrgica estereoscópica en vivo. Adicional o alternativamente, se pueden utilizar procedimientos de calibración de cámara existentes tales como calibrateCamera de OpenCV para encontrar los parámetros descritos anteriormente, así como información adicional de la cámara, tal como un modelo de distorsión para los elementos ópticos 1402.
El procesador 1562 de ejemplo puede calibrar aún más los ejes ópticos izquierdo y derecho. El procesador 1562 determina una distancia interpupilar entre los ejes ópticos izquierdo y derecho para la calibración. Para determinar la distancia interpupilar, el procesador 1562 de ejemplo registra imágenes izquierda y derecha donde los conjuntos de píxeles 1006 y 1008 están centrados en las cuadrículas de píxeles 1002 y 1004. El procesador 1562 determina las ubicaciones de los ZRP (y/o las distancias a un objeto desplazado) para las imágenes izquierda y derecha, que son indicativas de la desalineación de la imagen y el grado de paralaje. Además, el procesador 1562 escala el paralaje y/o la distancia en función del nivel de aumento. A continuación, el procesador 1562 determina la distancia interpupilar utilizando un cálculo de triangulación que tiene en cuenta el grado de paralaje y/o la distancia escalada al objeto en la pantalla. A continuación, el procesador 1562 asocia la distancia interpupilar con el eje óptico en el nivel de aumento especificado como un punto de calibración.
VII. Realización de alineación de la imagen y ajuste de paralaje espurio
Al igual que la visión humana, las imágenes estereoscópicas comprenden vistas derecha e izquierda que convergen en un punto de interés. Las vistas derecha e izquierda se registran en ángulos ligeramente diferentes desde el punto de interés, lo que genera paralaje entre las dos vistas. Los elementos en la escena delante o detrás del punto de interés presentan paralaje tal que se puede deducir la distancia o profundidad de los elementos desde el espectador. La precisión de la distancia percibida depende, por ejemplo, de la claridad de la vista del espectador. La mayoría de los seres humanos presentan algún nivel de imperfección en su visión, lo que genera algunas imprecisiones entre las vistas derecha e izquierda. Sin embargo, todavía son capaces de lograr la estereopsis, donde el cerebro fusiona las vistas con cierto nivel de precisión.
Cuando las imágenes izquierda y derecha son grabadas por una cámara en lugar de ser vistas por un humano, el paralaje entre las imágenes combinadas en una pantalla de visualización produce estereopsis, que proporciona una apariencia de una imagen estereoscópica tridimensional en una pantalla bidimensional. Los errores en el paralaje pueden afectar la calidad de la imagen estereoscópica tridimensional. La inexactitud del paralaje observado en comparación con un paralaje teóricamente perfecto se conoce como paralaje espurio. A diferencia de los humanos, las cámaras no tienen cerebros que compensen automáticamente las imprecisiones.
Si el paralaje espurio se vuelve significativo, la imagen estereoscópica tridimensional puede resultar imposible de ver hasta el punto de provocar vértigo, dolores de cabeza y náuseas. Hay muchos factores que pueden afectar el paralaje en un microscopio y/o cámara. Por ejemplo, los canales ópticos de las vistas derecha e izquierda pueden no ser exactamente iguales. Los canales ópticos pueden tener un enfoque, aumento y/o desalineación de los puntos de interés desiguales. Estos problemas pueden tener distinta gravedad en diferentes aumentos y/o distancias de trabajo, lo que reduce los esfuerzos para corregirlos mediante calibración.
Los microscopios quirúrgicos conocidos, tales como el microscopio quirúrgico 200 de la Figura 2, están configurados para proporcionar una visión adecuada a través de los oculares 206. A menudo, la calidad de imagen de los elementos ópticos de los microscopios quirúrgicos conocidos no es suficiente para las cámaras estereoscópicas. La razón de esto es que los fabricantes de microscopios quirúrgicos asumen que la visión principal se realiza a través de los oculares. Cualquier accesorio de cámara (tal como la cámara 212) es monoscópico y no está sujeto a paralaje espurio o estereoscópico con baja resolución de imagen donde el paralaje espurio no es tan aparente.
Se han desarrollado normas internacionales, tales como la ISO 10936-1:2000,Óptica e instrumentos ópticos -Microscopios quirúrgicos - Parte 1: Requisitos y procedimientos de pruebapara proporcionar límites de especificación para la calidad de imagen de los microscopios quirúrgicos. Los límites de especificación generalmente se establecen para la visualización a través de los oculares de un microscopio quirúrgico y no consideran la visualización estereoscópica tridimensional. Por ejemplo, con respecto al paralaje espurio, la norma ISO 10936-1:2000 especifica que la diferencia en los ejes verticales entre las vistas izquierda y derecha debe ser inferior a 15 minutos de arco. Las pequeñas desviaciones angulares de los ejes a menudo se cuantifican en minutos de arco, que corresponden a 1 /60o de grado, o en segundos de arco, que corresponden a 1 /60o de minuto de arco. El límite de especificación de 15 minutos de arco corresponde a una diferencia del 3 % entre las vistas izquierda y derecha para un microscopio quirúrgico habitual con una distancia de trabajo de 250 mm y un campo de visión de 35 mm (que tiene un campo de visión angular de 8°).
La diferencia del 3 % es aceptable para la visión ocular, donde el cerebro de un cirujano es capaz de superar el pequeño grado de error. Sin embargo, esta diferencia del 3 % produce diferencias notables entre las vistas izquierda y derecha cuando se observan estereoscópicamente en un monitor de visualización. Por ejemplo, cuando las vistas izquierda y derecha se muestran juntas, una diferencia del 3 % da como resultado una imagen que aparece inconexa y difícil de ver durante períodos de tiempo prolongados.
Otro problema es que los microscopios quirúrgicos conocidos pueden satisfacer el límite de especificación de 15 minutos de arco con solo uno o unos pocos niveles de aumento y/o solo los elementos ópticos individuales pueden satisfacer un cierto límite de especificación. Por ejemplo, se fabrican lentes individuales para cumplir determinados criterios. Sin embargo, cuando los elementos ópticos individuales se combinan en una trayectoria óptica, las pequeñas desviaciones del estándar pueden amplificarse en lugar de anularse. Esto puede ser especialmente pronunciado cuando se utilizan cinco o más elementos ópticos en una trayectoria óptica que incluye una lente objetivo principal común. Además, es muy difícil hacer coincidir perfectamente los elementos ópticos en canales paralelos. Como máximo, durante la fabricación, los elementos ópticos de un microscopio quirúrgico se calibran solo en uno o unos pocos niveles de aumento determinados para cumplir con el límite de especificación de 15 minutos de arco. En consecuencia, el error puede ser mayor entre los puntos de calibración a pesar de que el microscopio quirúrgico supuestamente cumple con la especificación ISO 10936-1:2000.
Además, la especificación ISO 10936-1:2000 permite tolerancias mayores cuando se añaden componentes adicionales. Por ejemplo, agregar segundos oculares (por ejemplo, los oculares 208) aumenta el paralaje espurio en 2 minutos de arco. Nuevamente, si bien este error puede ser aceptable al ver a través de los oculares 206 y 208, la desalineación de la imagen se vuelve más pronunciada cuando se ve estereoscópicamente a través de la cámara.
En comparación con los microscopios quirúrgicos conocidos, la cámara de visualización estereoscópica 300 de ejemplo dada a conocer en este documento está configurada para ajustar automáticamente al menos algunos de los elementos ópticos 1402 para reducir o eliminar el paralaje espurio. La incorporación de elementos ópticos dentro de la cámara de visualización estereoscópica 300 permite realizar ajustes precisos de manera automática (a veces en tiempo real) para la visualización estereoscópica tridimensional. En algunas realizaciones, la cámara de visualización estereoscópica 300 de ejemplo puede proporcionar una precisión de 20 a 40 segundos de arco, lo que supone una reducción cercana al 97 % del error óptico en comparación con la precisión de 15 minutos de arco de los microscopios quirúrgicos conocidos.
La mejora en la precisión permite que la cámara de visualización estereoscópica 300 de ejemplo proporcione características que no se pueden realizar con los microscopios estereoscópicos conocidos. Por ejemplo, muchos procedimientos microquirúrgicos nuevos se basan en mediciones precisas en un sitio quirúrgico en vivo para lograr un tamaño, posicionamiento, correspondencia, dirección y diagnóstico óptimos. Esto incluye determinar el tamaño de un vaso, el ángulo de colocación de una lente intraocular tórica ("LIO"), hacer coincidir la vasculatura de una imagen preoperatoria con una vista en vivo, la profundidad de un tumor debajo de una arteria, etc. La cámara de visualización estereoscópica 300 de ejemplo permite, por tanto, realizar mediciones precisas utilizando, por ejemplo, superposiciones gráficas o análisis de imágenes para determinar el tamaño de las estructuras anatómicas.
Los microscopios quirúrgicos conocidos requieren que un cirujano coloque un objeto de un tamaño conocido (tal como una microrregla) en el campo de visión. El cirujano compara el tamaño del objeto con la estructura anatómica circundante para determinar un tamaño aproximado. Sin embargo, este procedimiento es relativamente lento ya que el cirujano tiene que colocar el objeto en el lugar adecuado y luego retirarlo después de realizar la medición. Además, la medición sólo proporciona una aproximación ya que el tamaño se basa en la comparación y medición subjetiva del cirujano. Algunas cámaras estereoscópicas conocidas proporcionan superposiciones gráficas para determinar el tamaño. Sin embargo, la precisión de estas superposiciones se reduce si existe un paralelaje espurio entre las vistas izquierda y derecha.
A. ZRP como fuente de paralaje espurio
La inexactitud de ZRP proporciona una fuente importante de error entre las imágenes izquierda y derecha, lo que da como resultado un paralaje espurio. ZRP, o punto de repetición de zoom, se refiere a un punto en un campo de visión que permanece en la misma ubicación a medida que se cambia el nivel de aumento. Las Figuras 18 y 19 muestran ejemplos de ZRP en un campo de visión izquierdo y derecho para diferentes niveles de aumento. Específicamente, la Figura 18 muestra un campo de visión izquierdo 1800 para un nivel de aumento bajo y un campo de visión izquierdo 1850 para un nivel de aumento alto. Además, la Figura 19 muestra un campo de visión derecho 1900 para un nivel de aumento bajo y un campo de visión derecho 1950 para un nivel de aumento alto.
Cabe señalar que las Figuras 18 y 19 muestran los retículos 1802 y 1902 para proporcionar un punto de referencia ejemplar para esta invención. Los retículos 1802 incluyen un primer hilo 1802a posicionado a lo largo de una dirección y o eje y y un segundo hilo 1802b posicionado a lo largo de una dirección x o eje x. Además, los retículos 1902 incluyen un primer hilo 1902a posicionado a lo largo de una dirección y o eje y y un segundo hilo 1902b posicionado a lo largo de una dirección x o eje x. En la implementación real, la cámara de visualización estereoscópica 300 de ejemplo por defecto habitualmente no incluye ni agrega retículos a la trayectoria óptica a menos que lo solicite un operador.
Lo ideal sería ubicar el ZRP en un lugar central o punto de origen. Por ejemplo, el ZRP debe estar centrado en los retículos 1802 y 1902. Sin embargo, imprecisiones en los elementos ópticos 1402 y/o ligeros desalineamientos entre los elementos ópticos 1402 hacen que el ZRP se ubique lejos del centro de los retículos 1802 y 1902. El grado de paralaje espurio corresponde a la distancia a la que se encuentra cada uno de los ZRP de las vistas izquierda y derecha de los respectivos centros, además de la desalineación de los ZRP entre las vistas izquierda y derecha. Además, las imprecisiones en los elementos ópticos 1402 pueden provocar que el ZRP se desvíe ligeramente a medida que cambia el aumento, lo que provoca, además, un mayor grado de paralaje espurio.
La Figura 18 muestra tres objetos en forma de media luna 1804, 1806 y 1808 en los campos de visión 1800 y 1850 del sitio objetivo 700 de la Figura 7. Se debe tener en cuenta que los campos de visión 1800 y 1850 son campos de visión lineales con respecto a los sensores de imagen ópticos 746 y 748. Los objetos 1804, 1806 y 1808 se colocaron en el campo de visión 1800 para ilustrar cómo se genera un paralaje espurio a partir de la desalineación de la imagen izquierda y derecha. El objeto 1804 se coloca encima del hilo 1802b a lo largo del hilo 1802a. El objeto 1806 se coloca a lo largo del hilo 1802b y a la izquierda del hilo 1802a. El objeto 1808 está situado ligeramente debajo del hilo 1802b y a la derecha del hilo 1802a. Un ZRP 1810 para el campo de visión izquierdo 1800 se coloca en una muesca del objeto 1808.
El campo de visión izquierdo 1800 se cambia al campo de visión izquierdo 1850 aumentando el nivel de aumento (por ejemplo, haciendo zoom) mediante el conjunto de lentes de zoom 716 de la cámara de visualización estereoscópica 300 de ejemplo. Al incrementar el aumento, los objetos 1804, 1806 y 1808 parecen expandirse o crecer, como se muestra en el campo de visión 1850. En el ejemplo ilustrado, el campo de visión 1850 es aproximadamente 3 veces el nivel de aumento del campo de visión 1800.
En comparación con el campo de visión de bajo aumento 1800, los objetos 1804, 1806 y 1808 en el campo de visión de alto aumento 1850 han aumentado de tamaño aproximadamente 3 veces mientras que también se han alejado entre sí 3 veces con respecto al ZRP 1810. Además, las posiciones de los objetos 1804, 1806 y 1808 se han movido con respecto al retículo 1802. El objeto 1804 ahora está desplazado hacia la izquierda del hilo1802a y ligeramente más alejado del hilo 1802b. Además, el objeto 1806 ahora está desplazado más a la izquierda del hilo 1802a y ligeramente por encima del hilo 1802b. Generalmente, el objeto 1808 se ubica en la misma posición (o casi la misma) con respecto al retículo 1802, y el ZRP 1810 se ubica exactamente en la misma posición (o casi la misma) con respecto al retículo 1802 y el objeto 1806. En otras palabras, a medida que se incrementa el aumento, los objetos 1804, 1806 y 1808 (y cualquier otra cosa en el campo de visión 1850) parecen alejarse y distanciarse del ZRP 1810.
Los mismos objetos 1804, 1806 y 1808 se muestran en los campos de visión derechos 1900 y 1950 ilustrados en la Figura 19. Sin embargo, la ubicación del ZRP es diferente. En concreto, ZRP 1910 se encuentra encima del hilo 1902b y a la izquierda del hilo 1902a en los campos de visión derechos 1900 y 1950. De este modo, el ZRP 1910 se sitúa en una posición diferente que el ZRP 1810 en los campos de visión izquierdos 1800 y 1850. En el ejemplo ilustrado, se supone que las trayectorias ópticas izquierda y derecha están perfectamente alineadas en el primer nivel de aumento. En consecuencia, los objetos 1804, 1806 y 1808 se muestran en el campo de visión derecho 1900 en la misma ubicación que los mismos objetos 1804, 1806 y 1808 en el campo de visión izquierdo 1800. Dado que las vistas izquierda y derecha están alineadas, no existe ningún paralaje espurio.
Sin embargo, en el campo de visión de alto aumento 1950, los objetos 1804, 1806 y 1808 se expanden y se alejan del ZRP 1910. Dada la ubicación del ZRP 1910, el objeto 1804 se mueve o desplaza hacia la derecha y el objeto 1806 se mueve o desplaza hacia abajo. Además, el objeto 1808 se mueve hacia abajo y hacia la derecha en comparación con su ubicación en el campo de visión 1900.
La Figura 20 muestra un diagrama de píxeles que compara el campo de visión izquierdo de alto aumento 1850 con el campo de visión derecho de alto aumento. Una cuadrícula 2000 puede representar ubicaciones de los objetos 1804(L), 1806(L) y 1808(L) en la cuadrícula de píxeles 1004 del sensor de imagen óptico izquierdo 748 superpuestas con ubicaciones de los objetos 1804(R), 1806(R) y 1808(R) en la cuadrícula de píxeles 1002 del sensor de imagen óptico izquierdo 746. La Figura 20 muestra claramente que los objetos 1804, 1806 y 1808 están en posiciones diferentes para los campos de visión izquierdo y derecho 1850 y 1950. Por ejemplo, el objeto 1804(R) está ubicado a la derecha del hilo 1902a y por encima del hilo 1902b, mientras que el mismo objeto 1804(L) está ubicado a la izquierda del hilo 1802a y por encima del hilo 1802b.
La diferencia en las posiciones de los objetos 1804, 1806 y 1808 corresponde a un paralaje espurio, que se crea por deficiencias en la alineación óptica de los elementos ópticos 1402 que producen los ZRP 1810 y 1910 en diferentes ubicaciones. Suponiendo que no hay distorsión ni otros errores de imagen, el paralaje espurio que se muestra en la Figura 20 es generalmente la misma para todos los puntos dentro de la imagen. Cuando se observan a través de los oculares de un microscopio quirúrgico (tal como el microscopio 200 de la Figura 2), la diferencia en la ubicación de los objetos 1804, 1806 y 1808 puede no ser perceptible. Sin embargo, cuando se observan en los monitores de visualización 512 y 514 en una imagen estereoscópica, las diferencias se hacen fácilmente evidentes y pueden provocar dolores de cabeza, náuseas y/o vértigo.
La Figura 21 muestra un diagrama ilustrativo del paralaje espurio con respecto a los ZRP izquierdo y derecho. El diagrama incluye una cuadrícula de píxeles 2100 que incluye superposiciones de las cuadrículas de píxeles derecha e izquierda 1002 y 1004 de la Figura 10. En este ejemplo ilustrado, un ZRP izquierdo 2102 para la trayectoria óptica izquierda se ubica en 4 a lo largo del eje x y en 0 a lo largo del eje y. Además, un ZRP derecho 2104 para la trayectoria óptica derecha se ubica en -1 a lo largo del eje x y en 0 a lo largo del eje y. Se muestra un origen 2106 en la intersección del eje x y el eje y.
En este ejemplo, el objeto 2108 está alineado con respecto a las imágenes izquierda y derecha con un primer aumento bajo. Al incrementar el aumento en 3X, el objeto 2108 aumentó de tamaño y se alejó de los ZRP 2102 y 2104. El objeto de contornos 2110 muestra una ubicación teórica del objeto 2108 en el segundo aumento más alto basado en los ZRP 2102 y 2104 alineados con el origen 2106. Específicamente, una muesca del objeto 2108 en el primer nivel de aumento está en la ubicación 2 a lo largo del eje x. Con un aumento de 3X, la muesca se mueve 3X a lo largo del eje x de modo que queda ubicada en 6 a lo largo del eje x en el nivel de aumento más alto. Además, dado que los ZRP 2102 y 2104 estarían teóricamente alineados en el origen 2106, el objeto 2110 estaría alineado entre las vistas izquierda y derecha (mostradas en la Figura 21 como un solo objeto dada la superposición).
Sin embargo, en este ejemplo, la desalineación de los ZRP izquierdo y derecho 2102 y 2104 hace que el objeto 2110 esté desalineado entre las vistas izquierda y derecha con un aumento mayor. Respecto a la trayectoria óptica derecha, el ZRP derecho 2104 se ubica en -1 a lo largo del eje x de tal manera que se encuentra a 3 píxeles de la muesca del objeto 2108 con bajo aumento. Cuando se amplía 3 veces, esta diferencia se convierte en 9 píxeles, que se muestran como objeto 2110(R). De manera similar, el ZRP izquierdo 2102 se ubica a 4 píxeles a lo largo del eje x. Con un aumento de 3X, el objeto 2108 se mueve desde una distancia de 2 píxeles a una distancia de 6 píxeles, lo que se muestra como el objeto 2110(L) en -2 a lo largo del eje x.
La diferencia en las posiciones del objeto 2110(L) y el objeto 2110(R) corresponde al paralaje espurio entre las vistas izquierda y derecha con el mayor aumento. Si las vistas derecha e izquierda se combinaran en una imagen estereoscópica para su visualización, la ubicación del objeto 2110 estaría desalineada en cada fila si el programa de renderizado 1850e utiliza un modo de intercalación de filas. La desalineación sería perjudicial para la generación de estereopsis y podría producir una imagen que parezca borrosa o confusa para el operador.
B. Otras fuentes de paralaje espurio
Si bien la desalineación ZRP entre las trayectorias ópticas izquierda y derecha es una fuente importante de paralaje espurio, también existen otras fuentes de error. Por ejemplo, puede producirse un paralaje espurio a partir de cambios de aumento no iguales entre las trayectorias ópticas derecha e izquierda. Las diferencias de aumento entre trayectorias ópticas paralelas pueden resultar de ligeras variaciones en las propiedades ópticas o características de las lentes de los elementos ópticos 1402. Además, pueden resultar ligeras diferencias en el posicionamiento si cada una de las lentes de zoom delanteras izquierda y derecha 726 y 728 y cada una de las lentes de zoom traseras izquierda y derecha 736 y 738 de las Figuras 7 y 8 se controlan independientemente.
Volviendo a las Figuras 18 y 19, las diferencias en el cambio de aumento producen objetos de diferentes tamaños y diferentes espacios entre los objetos para las trayectorias ópticas izquierda y derecha. Si, por ejemplo, la trayectoria óptica izquierda tiene un cambio de aumento mayor, entonces los objetos 1804, 1806 y 1808 aparecerán más grandes y se moverán una distancia mayor del ZRP 1810 en comparación con los objetos 1804, 1806 y 1808 en el campo de visión derecho 1950 en la Figura 19. La diferencia en la ubicación de los objetos 1804, 1806 y 1808, incluso si los ZRP 1810 y 1910 están alineados, da como resultado un paralaje espurio.
Otra fuente de paralaje espurio resulta del enfoque desigual de las trayectorias ópticas izquierda y derecha. Generalmente, cualquier diferencia de enfoque entre las vistas izquierda y derecha puede provocar una disminución percibida en la calidad de la imagen y una posible confusión sobre si debe predominar la vista izquierda o derecha. Si la diferencia de enfoque es notable, puede provocar una condición de fuera de foco (''OOF''). Las condiciones OOF son especialmente notables en imágenes estereoscópicas donde las vistas izquierda y derecha se muestran en la misma imagen. Además, las condiciones OOF no son fácilmente corregibles ya que al volver a enfocar una trayectoria óptica fuera de foco generalmente la otra trayectoria óptica queda desenfocada. Generalmente, se debe determinar un punto donde ambas trayectorias ópticas estén enfocadas, lo que puede incluir cambiar las posiciones de las lentes izquierda y derecha a lo largo de una trayectoria óptica y/o ajustar una distancia de trabajo desde el sitio objetivo 700.
La Figura 22 muestra un diagrama ilustrativo de cómo se desarrolla una condición OOF. El diagrama relaciona la resolución percibida (por ejemplo, el enfoque) con una posición de lente relativa a una sección de resolución óptima 2202. En este ejemplo, la lente de zoom trasera izquierda 734 está en la posición L1 mientras que la lente de zoom trasera derecha 732 está en la posición R1. En las posiciones L1 y R1, las lentes de zoom traseras 732 y 734 están en un rango de resolución óptima 2202 tal que las trayectorias ópticas izquierda y derecha tienen niveles de enfoque coincidentes. Sin embargo, existe una diferencia en las posiciones de L1 y R1, correspondiente a la distancia AP.
Posteriormente, se modifica la distancia de trabajo 706 de manera que un punto quede fuera de foco. En este ejemplo, ambas lentes de zoom traseras 732 y 734 se mueven la misma distancia a las ubicaciones L2 y R2 de modo que la distancia AP no cambia. Sin embargo, el cambio de posición da como resultado un cambio significativo en la resolución AR de modo que la lente de zoom trasera izquierda 734 tiene una resolución más alta (por ejemplo, mejor enfoque) que la lente de zoom trasera derecha 732. La resolución AR corresponde a la condición OOF, que produce un paralaje espurio debido a la desalineación del foco entre las trayectorias ópticas derecha e izquierda.
Otra fuente de paralaje espurio puede surgir de la toma de imágenes de objetos que se mueven en el sitio objetivo 700. El paralaje espurio resulta de pequeños errores de sincronización entre las exposiciones de los sensores de imagen ópticos derecho e izquierdo 746 y 748. Si las vistas izquierda y derecha no se registran simultáneamente, entonces el objeto parece estar desplazado o desalineado entre las dos vistas. La imagen estereoscópica combinada muestra el mismo objeto en dos ubicaciones diferentes para las vistas izquierda y derecha.
Además, otra fuente de paralaje espurio involucra un punto ZRP en movimiento durante el aumento. Los ejemplos analizados anteriormente en la Sección IV(A) suponen que los ZRP de las vistas izquierda y derecha no se mueven en la dirección x o en la dirección y. Sin embargo, los ZRP pueden desplazarse durante el aumento si las lentes de zoom 726, 728, 732 y/o 734 no se mueven exactamente paralelas a la trayectoria o eje óptico (por ejemplo, en la dirección z). Como se analizó anteriormente en referencia a la Figura 11, el portador 724 puede desplazarse o girar ligeramente cuando se aplica una fuerza a la sección de accionamiento 1108. Esta rotación puede provocar que los ZRP izquierdo y derecho se muevan levemente cuando se cambia el nivel de aumento.
En un ejemplo, durante un cambio de aumento, el portador 730 se mueve en una sola dirección mientras que el portador 724 se mueve en la misma dirección durante una parte del cambio de aumento y en una dirección opuesta durante una parte restante del cambio de aumento para el ajuste del enfoque. Si el eje de movimiento del portador 724 está inclinado o rotado ligeramente con respecto al eje óptico, el ZRP de las trayectorias ópticas izquierda y/o derecha se desplazará en una dirección para la primera porción, seguido de un desplazamiento en una dirección inversa para la segunda porción del cambio de aumento. Además, dado que la fuerza se aplica de manera desigual, las lentes de zoom frontales derecha e izquierda 726 y 728 pueden experimentar distintos grados de desplazamiento de ZRP entre las trayectorias ópticas izquierda y derecha. En conjunto, el cambio de posición del ZRP da lugar a trayectorias ópticas desalineadas, lo que produce un paralaje espurio.
C. La reducción del paralaje espurio facilita la incorporación de gráficos e imágenes digitales con una visión estereoscópica
A medida que los microscopios quirúrgicos se vuelven más digitalizados, los diseñadores agregan características que superponen gráficos, imágenes y/u otros efectos digitales a la imagen de visualización en vivo. Por ejemplo, las superposiciones de guía, la fusión de imágenes de resonancia magnética ("MRI") estereoscópica y/o datos externos se pueden combinar con imágenes grabadas por una cámara o incluso mostrar dentro de los oculares. El paralaje espurio reduce la precisión de la superposición con la imagen estereoscópica subyacente. Los cirujanos generalmente requieren, por ejemplo, que un tumor visualizado mediante resonancia magnética se coloque con la mayor precisión posible, a menudo en tres dimensiones, dentro de una visión estereoscópica quirúrgica en vivo fusionada. De lo contrario, la imagen preoperatoria del tumor aporta poca información al cirujano, lo que perjudica el rendimiento.
Por ejemplo, una guía quirúrgica puede estar alineada con una imagen de vista derecha y estar desalineada con la vista izquierda. La guía quirúrgica desalineada entre las dos vistas es fácilmente evidente para el operador. En otro ejemplo, una guía quirúrgica puede alinearse por separado con las vistas izquierda y derecha en el módulo de procesador de información 1408 antes de que la unidad de procesamiento de gráficos 1564 cree la imagen estereoscópica combinada. Sin embargo, la desalineación entre las vistas izquierda y derecha crea una desalineación entre las guías, lo que reduce la eficacia de las guías y genera confusión y retrasos durante el procedimiento microquirúrgico.
La Patente de los EE. UU. n.29,552,660, titulado"IMAGING SYSTEM AND METHODS DISPLAYING A FUSED MULTIDIMENSIONAL RECONSTRUCTED IMAGE,”(incorporada aquí como referencia) describe cómo se fusionan visualmente imágenes y/o gráficos preoperatorios con una imagen estereoscópica. Las Figuras 23 y 24 muestran diagramas que ilustran cómo el paralaje espurio hace que los gráficos y/o imágenes digitales pierdan precisión cuando se fusionan con una imagen estereoscópica. La Figura 24 muestra una vista frontal del ojo de un paciente 2402 y la Figura 23 muestra una vista en sección transversal del ojo a lo largo del plano AA de la Figura 24. En la Figura 23, se le indica al módulo de procesador de información 1408 que determine una distancia caudal d desde un plano de enfoque 2302 hasta, por ejemplo, un objeto de interés 2304 en una cápsula posterior del ojo 2402. El módulo de procesador de información 1408 opera un programa 1560 que especifica, por ejemplo, que la distanciadse determina mediante un cálculo de triangulación de datos de imagen de las vistas izquierda y derecha del ojo 2402. Se muestra una vista 2306 desde una perspectiva del sensor de imagen óptico izquierdo 748 y una vista 2308 desde una perspectiva del sensor de imagen óptico derecho 746. Se supone que las vistas izquierda y derecha 2306 y 2308 coinciden con un centro anterior 2310 del ojo 2402. Además, las vistas izquierda y derecha 2306 y 2308 son vistas bidimensionales del objeto 2304 proyectadas sobre un plano focal 2302 como proyección teórica derecha 2312 y proyección teórica izquierda 2314. En este ejemplo, el procesador 1562 determina la distanciadal objeto de interés 2304 calculando una intersección de una extrapolación de la proyección teórica derecha 2312 y una extrapolación de la proyección teórica izquierda 2314 utilizando una rutina de triangulación.
Sin embargo, en este ejemplo existe un paralaje espurio, que provoca que una proyección izquierda real 2316 se ubique a la izquierda de la proyección izquierda teórica 2314 a una distancia P, como se muestra en las Figuras 23 y 24. El procesador 1562 utiliza la proyección izquierda 2316 y la proyección derecha 2312 reales para determinar una distancia a una intersección 2320 de una extrapolación de la proyección derecha 2312 y una extrapolación de la proyección izquierda 2316 reales utilizando la rutina de triangulación. La distancia del punto de intersección 2320 es igual a la distanciadmás una distancia de error e. Por consiguiente, el paralaje espurio da como resultado un cálculo erróneo de la distancia utilizando datos obtenidos de una imagen estereoscópica. Como se muestra en las Figuras 23 y 24, incluso un pequeño grado de paralaje espurio puede crear un error significativo. En el contexto de una imagen fusionada, la distancia errónea puede resultar en una ubicación inexacta de una visualización tridimensional del tumor para la fusión con una imagen estereoscópica. La colocación incorrecta puede retrasar la cirugía, obstaculizar el trabajo del cirujano o hacer que se desestime todo el sistema de visualización. Peor aún, un cirujano puede confiar en la colocación incorrecta de la imagen del tumor y cometer un error durante el procedimiento de microcirugía.
D. La cámara de visualización estereoscópica de ejemplo reduce o elimina el paralaje espurio
La cámara de visualización estereoscópica 300 de ejemplo de las Figuras 3 a 16 está configurada para reducir o eliminar defectos visuales, paralaje espurio y/o trayectorias ópticas desalineadas que habitualmente resultan en paralaje espurio. En algunos ejemplos, la cámara de visualización estereoscópica 300 reduce o elimina el paralaje espurio alineando los ZRP de las trayectorias ópticas izquierda y derecha con los centros respectivos de los conjuntos de píxeles 1006 y 1008 de los sensores de imagen ópticos derecho e izquierdo 746 y 748. Adicional o alternativamente, la cámara de visualización estereoscópica 300 puede alinear las trayectorias ópticas de las imágenes izquierda y derecha. Se debe tener en cuenta que la cámara de visualización estereoscópica 300 puede realizar acciones para reducir el paralaje espurio durante la calibración. Además, la cámara de visualización estereoscópica 300 puede reducir el paralaje espurio detectado en tiempo real durante su uso.
Las Figuras 25 y 26 ilustran un diagrama de flujo que muestra un procedimiento 2500 de ejemplo para reducir o eliminar el paralaje espurio, de acuerdo con una realización de ejemplo de la presente invención. Aunque el procedimiento 2500 se describe con referencia al diagrama de flujo ilustrado en las Figuras 25 y 26, debe tenerse en cuenta que se pueden utilizar muchos otros procedimientos para realizar los pasos asociados con el procedimiento 2500. Por ejemplo, se puede cambiar el orden de muchos de los bloques, ciertos bloques se pueden combinar con otros bloques y muchos de los bloques descritos son opcionales. Además, las acciones descritas en el procedimiento 2500 pueden realizarse entre múltiples dispositivos incluyendo, por ejemplo, los elementos ópticos 1402, el módulo de captura de imágenes 1404, el módulo de motor e iluminación 1406, y/o el módulo de procesador de información 1408 de la cámara de visualización estereoscópica 300 de ejemplo. Por ejemplo, el procedimiento 2500 puede ser realizado por uno de los programas 1560 del módulo de procesador de información 1408.
El procedimiento 2500 de ejemplo comienza cuando la cámara de visualización estereoscópica 300 recibe una instrucción para alinear las trayectorias ópticas derecha e izquierda (bloque 2502). Las instrucciones pueden recibirse desde el dispositivo de entrada de usuario 1410 en respuesta a la solicitud de un operador de que la cámara de visualización estereoscópica 300 realice una rutina de calibración. En otros ejemplos, las instrucciones pueden recibirse del módulo de procesador de información 1408 después de determinar que las imágenes derecha e izquierda están desalineadas. El módulo de procesador de información 1408 puede determinar que las imágenes no están alineadas ejecutando un programa 1560 que superpone imágenes derecha e izquierda y determina las diferencias en los valores de los píxeles, donde diferencias mayores en áreas grandes de píxeles son indicativas de imágenes desalineadas. En algunos ejemplos, el programa 1560 puede comparar los datos de píxeles de las imágenes izquierda y derecha sin realizar una función de superposición, donde, por ejemplo, los datos de píxeles izquierdos se restan de los datos de píxeles derechos para determinar la gravedad de la desalineación.
Después de recibir instrucciones para reducir el paralaje espurio, la cámara de visualización estereoscópica 300 de ejemplo localiza un ZRP de una de las trayectorias ópticas izquierda o derecha. Para fines ilustrativos, el procedimiento 2500 incluye determinar primero el ZRP de la trayectoria óptica izquierda. Sin embargo, en otras realizaciones, el procedimiento 2500 puede determinar primero el ZRP de la trayectoria óptica derecha. Para determinar la ZRP izquierda, la cámara de visualización estereoscópica 300 mueve al menos una lente de zoom (por ejemplo, la lente de zoom frontal izquierda 728 y/o la lente de zoom trasera izquierda 734) a un primer nivel de aumento a lo largo de una dirección z de la trayectoria óptica izquierda (bloque 2504). En los casos en que las lentes de zoom frontales 726 y 728 están conectadas al mismo portador 724 y las lentes de zoom traseras 732 y 734 están conectadas al mismo portador 730, el movimiento de las lentes izquierdas hace que las lentes derechas también se muevan. Sin embargo, durante esta sección del procedimiento sólo se considera el movimiento de las lentes izquierdas 2500.
En el primer nivel de aumento, la cámara de visualización estereoscópica 300 hace que la lente de zoom izquierda se mueva a lo largo de la dirección z (bloque 2506). El movimiento puede incluir, por ejemplo, un movimiento de ida y vuelta alrededor del primer nivel de aumento. Por ejemplo, si el primer nivel de aumento es 5X, el movimiento puede ser entre 4X y 6X. El movimiento también puede incluir movimiento en una dirección, tal como de 5X a 4X. Durante este movimiento, la cámara de visualización estereoscópica 300 puede ajustar una o más lentes para mantener el enfoque del sitio objetivo 700. En el bloque 2508, durante el movimiento de la lente de zoom izquierda, la cámara de visualización estereoscópica 300 graba un flujo o una secuencia de imágenes y/o fotogramas 2509 del sitio objetivo 700 utilizando, por ejemplo, el sensor de imagen óptico izquierdo 748. Las imágenes 2509 se graban utilizando un conjunto de píxeles de gran tamaño 1008 configurado para abarcar un origen de la cuadrícula de píxeles 1004 y ubicaciones potenciales del ZRP izquierdo.
El procesador 1562 de ejemplo del módulo de procesador de información 1408 analiza el flujo de imágenes para localizar una porción de área que no se mueva en una dirección x o una dirección y entre las imágenes (bloque 2510). La porción del área puede incluir uno o unos pocos píxeles y corresponde al ZRP izquierdo. Como se analizó anteriormente, durante un cambio de aumento, los objetos se alejan del ZRP o se mueven hacia el ZRP. Sólo los objetos en el ZRP permanecen constantes en su posición con respecto al campo de visión a medida que cambia el aumento. El procesador 1562 puede calcular deltas entre el flujo de imágenes para cada píxel utilizando datos de píxeles. Un área con el delta más pequeño a lo largo del flujo de imágenes corresponde al ZRP izquierdo.
A continuación, el procesador 1562 de ejemplo del módulo de procesador de información 1408 determina las coordenadas de una porción del área que no se mueve entre el flujo de imágenes (por ejemplo, determina una ubicación del ZRP izquierdo) con respecto a la cuadrícula de píxeles 1004 (bloque 2512). En otros ejemplos, el procesador 1562 del módulo de procesador de información 1408 determina una distancia entre el origen y la porción del área correspondiente al ZRP izquierdo. La distancia se utiliza para determinar la posición del ZRP izquierdo en la cuadrícula de píxeles 1004. Una vez que se determina la ubicación del ZRP izquierdo, el procesador 1562 del módulo de procesador de información 1408 determina un conjunto de píxeles (por ejemplo, el conjunto de píxeles 1008) para el sensor de imagen óptico izquierdo 748 de modo que el ZRP izquierdo esté ubicado en un centro (dentro de un píxel) del conjunto de píxeles (bloque 2514). En este punto, el ZRP izquierdo está centrado dentro de la trayectoria óptica izquierda.
En algunos ejemplos, los bloques 2504 a 2514 se pueden ejecutar de manera iterativa volviendo a seleccionar el conjunto de píxeles hasta que el ZRP izquierdo esté a un píxel del origen y se minimice el paralaje espurio. Una vez determinada la cuadrícula de píxeles, el procesador 1562 del módulo de procesador de información 1408 almacena al menos una de las coordenadas del conjunto de píxeles y/o las coordenadas del ZRP izquierdo en la memoria 1570 como un punto de calibración (bloque 2516). El procesador 1562 del módulo de procesador de información 1408 puede asociar el primer nivel de aumento con el punto de calibración de tal manera que se seleccione el mismo conjunto de píxeles cuando la cámara de visualización estereoscópica 300 regrese al primer nivel de aumento.
La Figura 27 muestra un diagrama ilustrativo de cómo se ajusta el ZRP izquierdo con respecto a la cuadrícula de píxeles del sensor de imagen óptico izquierdo 748. Inicialmente, se selecciona un conjunto de píxeles inicial (por ejemplo, de gran tamaño) 2702, que está centrado en el origen 2704. El conjunto de píxeles 2702 es lo suficientemente grande para registrar ZRP potenciales en el flujo de imágenes. En este ejemplo ilustrado, un ZRP 2706 izquierdo se ubica encima y a la derecha del origen 2704. El procesador 1562 del módulo de procesador de información 1408 determina el conjunto de píxeles 2708 basándose en una ubicación del ZRP izquierdo 2706 de modo que el ZRP izquierdo 2706 esté ubicado o posicionado en un centro del conjunto de píxeles 2708.
Después de determinar el ZRP izquierdo y alinearlo con un origen de un conjunto de píxeles en la Figura 25, el procedimiento 2500 de ejemplo alinea las imágenes izquierda y derecha en la Figura 26. Para alinear las imágenes, el procesador 1562 de ejemplo compara los datos de píxeles de las imágenes izquierda y derecha registradas después de que el ZRP izquierdo se alinea con el origen. En algunas realizaciones, el procesador 1562 superpone las imágenes izquierda y derecha para determinar diferencias utilizando, por ejemplo, un procedimiento de sustracción y/o plantilla. El procesador 1562 selecciona o determina un conjunto de píxeles para la trayectoria óptica derecha de modo que las imágenes derechas resultantes se alineen o coincidan con las imágenes izquierdas (bloque 2519).
El procesador 1562 de ejemplo, en la realización ilustrada, determina el ZRP derecho. Los pasos son similares a los pasos analizados en los bloques 2504 a 2512 para el ZRP izquierdo. Por ejemplo, en el bloque 2518 la cámara de visualización estereoscópica 300 mueve una lente de zoom derecha al primer nivel de aumento. En algunas realizaciones, el nivel de aumento de la lente derecha es diferente del nivel de aumento utilizado para determinar la ZRP izquierda. A continuación, el procesador 1562 de ejemplo del módulo de procesador de información 1408 mueve la lente de zoom derecha alrededor del nivel de aumento y recibe un flujo de imágenes 2521 desde el sensor de imagen óptico derecho 746 durante el movimiento (bloques 2520 y 2522). El procesador 1562 de ejemplo del módulo de procesador de información 1408 determina el ZRP derecho a partir del flujo de imágenes derecho localizando una porción de un área que no se mueve entre las imágenes (bloque 2524). A continuación, el procesador 1562 determina las coordenadas del ZRP derecho y/o una distancia entre un centro de un conjunto de píxeles alineado 1006 y el ZRP derecho (bloque 2526).
Luego, el procesador 1562 instruye al módulo de motor e iluminación 1406 para mover al menos una lente en la trayectoria óptica derecha en al menos una de una dirección x, una dirección y y/o una dirección de inclinación para alinear el ZRP derecho con el centro del conjunto de píxeles alineados 1006 usando, por ejemplo, la distancia o las coordenadas del ZRP derecho (bloque 2528). En otras palabras, el ZRP derecho se mueve para coincidir con el centro del conjunto de píxeles alineados 1006. En algunos ejemplos, la lente frontal derecha 720, el cilindro de lentes derecho 736, el elemento óptico final derecho 745 y/o el sensor de imagen derecho 746 se mueven (usando, por ejemplo, un elemento de flexión) en la dirección x, la dirección y y/o una dirección de inclinación con respecto a la dirección z de la trayectoria óptica derecha. El grado de movimiento es proporcional a la distancia del ZRP derecho desde el centro del conjunto de píxeles 1006. En algunas realizaciones, el procesador 1562 cambia digitalmente las propiedades de la lente frontal derecha 720, el cilindro de lentes derecho 736 y/o el elemento óptico final derecho 745 para tener el mismo efecto que mover las lentes. El procesador 1562 puede repetir los pasos 2520 a 2528 y/o usar imágenes derechas posteriores para confirmar que el ZRP derecho está alineado con el centro del conjunto de píxeles 1006 y/o para determinar iterativamente movimientos de lente adicionales necesarios para alinear el ZRP derecho con el centro del conjunto de píxeles.
El procesador 1562 de ejemplo almacena las coordenadas del conjunto de píxeles derecho y/o del ZRP derecho en la memoria 1570 como un punto de calibración (bloque 2530). El procesador 1562 también puede almacenar en el punto de calibración una posición de la lente derecha que se movió para alinear el ZRP derecho. En algunos ejemplos, el punto de calibración de la trayectoria óptica derecha se almacena con el punto de calibración de la trayectoria óptica izquierda junto con el primer nivel de aumento. De este modo, el procesador 1562 aplica los datos dentro del punto de calibración a los sensores de imagen óptica 746 y 748 y/o al posicionamiento radial de uno o más elementos ópticos 1402 cuando la cámara de visualización estereoscópica 300 se configura posteriormente en el primer nivel de aumento.
En algunos ejemplos, el procedimiento 2500 puede repetirse para diferentes niveles de aumento y/o distancias de trabajo. En consecuencia, el procesador 1562 determina si es necesaria la calibración ZRP para otro nivel de aumento o distancia de trabajo (bloque 2532). Si se desea seleccionar otro nivel de aumento, el procedimiento 2500 vuelve al bloque 2504 de la Figura 25. Sin embargo, si no es necesario otro nivel de aumento, el procedimiento de ejemplo finaliza.
Cada uno de los puntos de calibración se puede almacenar en una tabla de consulta. Cada fila de la tabla puede corresponder a un nivel de aumento y/o distancia de trabajo diferente. Las columnas de la tabla de consulta pueden proporcionar coordenadas para el ZRP izquierdo, el ZRP derecho, el conjunto de píxeles izquierdo y/o el conjunto de píxeles derecho. Además, una o más columnas pueden especificar posiciones relevantes (por ejemplo, posiciones radiales, rotacionales, de inclinación y/o axiales) de las lentes de los elementos ópticos 1402 para lograr el enfoque en el nivel de aumento, además de imágenes alineadas derecha e izquierda.
En consecuencia, el procedimiento 2500 tiene como resultado que el ZRP derecho y el ZRP izquierdo, además de las vistas del sitio objetivo, se alineen con las cuadrículas de píxeles de los respectivos sensores de imagen ópticos 746 y 748, así como entre sí en una imagen estereoscópica tridimensional. En algunos casos, las imágenes izquierda y derecha y los ZRP correspondientes tienen una precisión y alineación de un píxel. Tal precisión se puede observar en la pantalla 514 o 514 superponiendo vistas izquierda y derecha (por ejemplo, imágenes de las trayectorias ópticas izquierda y derecha) y observando ambas vistas con ambos ojos, en lugar de hacerlo estereoscópicamente.
Se debe tener en cuenta que, en algunos ejemplos, primero se selecciona un conjunto de píxeles derecho de modo que el ZRP derecho esté alineado con un origen del conjunto de píxeles o coincida con él. Luego, las imágenes ópticas derecha e izquierda se pueden alinear moviendo una o más lentes derecha y/o izquierda de los elementos ópticos 1402. Este procedimiento alternativo todavía proporciona ZRP derecho e izquierdo que están centrados y alineados entre sí y con respecto a los sensores de imagen ópticos 746 y 748.
El procedimiento 2500 reduce o elimina en última instancia el paralaje espurio en la cámara de visualización estereoscópica 300 en todo el rango de aumento óptico al garantizar que los ZRP izquierdo y derecho permanezcan alineados y que las imágenes derecha e izquierda permanezcan alineadas. En otras palabras, la óptica dual de los sensores de imágenes ópticas derecha e izquierda 746 y 748 están alineadas de tal manera que el paralaje en el centro de una imagen entre las trayectorias ópticas izquierda y derecha es aproximadamente cero en el plano focal. Además, la cámara de visualización estereoscópica 300 de ejemplo es par focal en todo el rango de aumento y par central en todo el rango de aumento y distancia de trabajo, ya que el ZRP de cada trayectoria óptica se ha alineado con un centro del respectivo conjunto de píxeles. En consecuencia, cambiar solamente el aumento mantendrá el foco del sitio objetivo 700 en ambos sensores de imagen ópticos 746 y 748 mientras se entrena en el mismo punto central.
El procedimiento 2500 anterior se puede realizar durante la calibración antes de realizar un procedimiento quirúrgico y/o a solicitud de un operador. El procedimiento 2500 de ejemplo también puede realizarse antes del registro de la imagen con una imagen microquirúrgica preoperatoria y/o gráficos de guía quirúrgica. Además, el procedimiento 2500 de ejemplo puede realizarse en tiempo real de forma automática durante el funcionamiento de la cámara de visualización estereoscópica 300.
1. Ejemplo de coincidencia de plantillas
En algunas realizaciones, el procesador 1562 de ejemplo del módulo de procesador de información 1408 está configurado para utilizar un programa 1560 junto con una o más plantillas para determinar una posición del ZRP derecho y/o del ZRP izquierdo. La Figura 28 muestra un diagrama ilustrativo de cómo el procesador 1562 utiliza una plantilla objetivo 2802 para determinar una ubicación de un ZRP izquierdo. En este ejemplo, la Figura 28 muestra una primera imagen izquierda que incluye la plantilla 2802 alineada con un origen 2804 o centro de la cuadrícula de píxeles izquierda 1004 del sensor de imagen óptico izquierdo 748. La plantilla 2802 se puede alinear moviendo la cámara de visualización estereoscópica 300 a la ubicación adecuada. Alternativamente, la plantilla 2802 puede moverse en el sitio objetivo 700 hasta que esté alineada. En otros ejemplos, la plantilla 2802 puede incluir otro patrón que no necesita alineación con un centro de la cuadrícula de píxeles 1004. Por ejemplo, la plantilla puede incluir un patrón de onda gráfico, un patrón de espirógrafo gráfico, una vista de un sitio quirúrgico de un paciente y/o una cuadrícula que tenga características visualmente distinguibles con cierto grado de no periodicidad en las direcciones x e y. La plantilla está configurada para evitar que un subconjunto de una imagen periódica se alinee perfectamente con la imagen más grande en una pluralidad de ubicaciones, lo que hace que dichas plantillas no sean adecuadas para la coincidencia. Una imagen de plantilla que es adecuada para la coincidencia de plantillas se conoce como una imagen de plantilla "compatible con coincidencia de plantillas".
La plantilla 2802 que se muestra en la Figura 28 está representada en un primer nivel de aumento. Se muestra un ZRP izquierdo 2806 con respecto a la plantilla 2802. El ZRP 2806 tiene coordenadas de Lx, Ly con respecto al origen 2804. Sin embargo, en este momento, el procesador 1562 aún no ha identificado el ZRP izquierdo 2806.
Para localizar el ZRP 2806, el procesador 1562 hace que una lente de zoom izquierda (por ejemplo, la lente de zoom frontal izquierda 728 y/o la lente de zoom trasera izquierda 734) cambie el aumento del primer nivel de aumento a un segundo nivel de aumento, específicamente en este ejemplo, de 1X a 2X. La Figura 29 muestra un diagrama de una segunda imagen izquierda que incluye el objetivo 2802 en la cuadrícula de píxeles 1004 con el nivel de aumento duplicado. Desde el primer nivel de aumento al segundo nivel de aumento, partes del objetivo 2802 aumentan de tamaño y se expanden uniformemente alejándose del ZRP izquierdo 2806, que permanece estacionario con respecto a la primera y la segunda imágenes. Además, la distancia entre el origen 2804 de la cuadrícula de píxeles 1004 y el ZRP izquierdo 2806 permanece igual.
El procesador 1562 de ejemplo sintetiza una imagen de plantilla digital 3000 a partir de la segunda imagen mostrada en la Figura 29. Para crear la imagen de plantilla digital, el procesador 1562 copia la segunda imagen que se muestra en la Figura 29 y escala la imagen copiada mediante el recíproco del cambio de aumento del primer al segundo aumento. Por ejemplo, si el cambio de aumento de la primera imagen a la segunda imagen fue de un factor de 2, entonces la segunda imagen se escala a la mitad. La Figura 30 muestra un diagrama de la imagen de plantilla digital 3000, que incluye la plantilla 2802. La plantilla 2802 en la imagen de plantilla digital 3000 de la Figura 30 está escalada para tener el mismo tamaño que la plantilla 2802 en la primera imagen izquierda que se muestra en la Figura 28.
El procesador 1562 de ejemplo utiliza la imagen de plantilla digital 3000 para ubicar el ZRP izquierdo 2806. La Figura 31 muestra un diagrama que muestra la imagen de plantilla digital 3000 superpuesta sobre la primera imagen izquierda (o una imagen izquierda posterior registrada en el primer nivel de aumento) registrada en la cuadrícula de píxeles 1004. La combinación de la imagen de plantilla digital 3000 con la primera imagen izquierda produce una vista resultante, como se ilustra en la Figura 31. Inicialmente, la imagen de plantilla digital 3000 está centrada en el origen 2804 de la cuadrícula de píxeles 1004.
El procesador 1562 de ejemplo compara la imagen de plantilla digital 3000 con la plantilla subyacente 2802 para determinar si están alineadas o coinciden. Luego, el procesador 1562 de ejemplo mueve la imagen de plantilla digital 3000 uno o más píxeles ya sea horizontal o verticalmente y realiza otra comparación. El procesador 1562 mueve iterativamente la imagen de plantilla digital 3000 compilando una matriz de métricas para cada ubicación con respecto a qué grado de coincidencia tienen la imagen de plantilla digital 3000 y la plantilla subyacente 2802. El procesador 1562 selecciona la ubicación en la matriz correspondiente a la métrica de mejor coincidencia. En algunos ejemplos, el procesador 1562 utiliza la función Template Match de OpenCV™.
La Figura 32 muestra un diagrama con la imagen de plantilla digital 3000 alineada con la plantilla 2802. La distancia que se movió la imagen de plantilla digital 3000 para lograr una coincidencia óptima se muestra como Ax y Ay. Sabiendo que la imagen de plantilla digital 3000 se sintetizó a una escala de M1/M2 (el primer nivel de aumento dividido por el segundo nivel de aumento), el procesador 1562 determina las coordenadas (Lx, Ly) del ZRP izquierdo 2806 utilizando las ecuaciones (1) y (2) a continuación.
L x - Ax/ (M 1/M 2) - Ecuación (1)
Ly = Ay/ (M 1/M 2) - Ecuación (2)
Después de determinar las coordenadas (Lx, Ly) del ZRP izquierdo 2806, el procesador 1562 de ejemplo selecciona o determina un subconjunto de píxeles con un origen que está alineado o coincide con el ZRP izquierdo 2806, como se analizó anteriormente junto con el procedimiento 2500 de las Figuras 25 y 26. En algunas realizaciones, el procesador 1562 puede usar la coincidencia de plantillas de manera iterativa para converger en una posición ZRP y/o un subconjunto de píxeles de alta precisión. Además, si bien en el ejemplo anterior se analizó la ubicación del ZRP izquierdo, se puede utilizar el mismo procedimiento de coincidencia de plantillas para ubicar el ZRP derecho.
En algunas realizaciones, el programa de coincidencia de plantillas 1560 descrito anteriormente se puede utilizar para alinear las imágenes izquierda y derecha. En estas realizaciones, las imágenes izquierda y derecha se registran con un nivel de aumento. Ambas imágenes pueden incluir, por ejemplo, la plantilla objetivo 2802 de la Figura 28. Se selecciona una parte de la imagen derecha y se superpone con la imagen izquierda. Luego, la porción de la imagen derecha se desplaza alrededor de la imagen izquierda uno o más píxeles horizontal y/o verticalmente. El procesador 1562 de ejemplo realiza una comparación en cada ubicación de la porción de la imagen derecha para determinar cuán cerca está de coincidir con la imagen izquierda. Una vez que se determina una ubicación óptima, se determina un conjunto de píxeles 1006 de la cuadrícula de píxeles derecha 1002 de modo que la imagen derecha generalmente coincida con la imagen izquierda. La ubicación del conjunto de píxeles 1006 se puede determinar en función de cuánto se movió la porción de la imagen derecha para coincidir con la imagen izquierda. Específicamente, el procesador 1562 utiliza una cantidad de movimiento en la dirección x, la dirección y y/o la dirección de inclinación para determinar las coordenadas correspondientes para el conjunto de píxeles derecho 1006.
2. Ejemplo de alineación de imagen derecha e izquierda
En algunas realizaciones, el procesador 1562 de ejemplo del módulo de procesador de información 1408 de las Figuras 14 a 16 muestra una superposición de imágenes derecha e izquierda en el monitor de visualización 512 y/o 514. El procesador 1562 está configurado para recibir retroalimentación del usuario para alinear las imágenes derecha e izquierda. En este ejemplo, cada dato de píxel de las imágenes derecha e izquierda se asigna con precisión a un píxel respectivo del monitor de visualización 512 utilizando, por ejemplo, la unidad de procesamiento de gráficos 1564. La visualización de imágenes superpuestas izquierda y derecha hace que cualquier paralaje espurio sea fácilmente evidente para el operador. Generalmente, sin paralaje espurio, las imágenes izquierda y derecha deberían alinearse casi exactamente.
Si un operador detecta un paralaje falso, el operador puede accionar los controles 305 o el dispositivo de entrada de usuario 1410 para mover la imagen derecha o izquierda para alinearla con la otra imagen. Las instrucciones de los controles 305 pueden hacer que el procesador 1562 ajuste en consecuencia la ubicación del conjunto de píxeles izquierdo o derecho en tiempo real, de modo que las imágenes subsiguientes se muestren en el monitor de visualización 512 reflejando la entrada del operador. En otros ejemplos, las instrucciones pueden hacer que el procesador 1562 cambie la posición de uno o más de los elementos ópticos 1402 mediante ajuste radial, ajuste rotacional, ajuste axial o inclinación. El operador continúa proporcionando información a través de los controles 305 y/o el dispositivo de entrada de usuario 1410 hasta que las imágenes izquierda y derecha estén alineadas. Al recibir una instrucción de confirmación, el procesador 1562 almacena un punto de calibración en una tabla de consulta que refleja la alineación de la imagen en el nivel de aumento establecido.
Adicional o alternativamente, el procedimiento de coincidencia de plantillas descrito anteriormente se puede utilizar para realizar la alineación de imágenes mientras se enfoca en un objetivo plano que es aproximadamente ortogonal a un eje óptico estereoscópico de la cámara de visualización estereoscópica 300. Además, el procedimiento de coincidencia de plantillas se puede utilizar para alinear las vistas izquierda y derecha en tiempo real siempre que una escena "compatible con coincidencia de plantillas" esté a la vista de ambas trayectorias ópticas izquierda y derecha. En un ejemplo, se copia una imagen de plantilla de un subconjunto de, por ejemplo, la vista izquierda, centrada en el centro de la vista o cerca de la vista. El muestreo desde el centro para obtener una imagen enfocada garantiza que habrá una vista similar del sitio objetivo 700 en la otra vista (en este ejemplo, la vista derecha). En el caso de imágenes desenfocadas, este no es el caso, por lo que en la realización actual este procedimiento de alineación se realiza solo después de una operación de enfoque automático exitosa. Luego, la plantilla seleccionada se compara con la vista actual (o una copia de la misma) de la otra vista (en este ejemplo, la vista derecha) y solo se toma un valor y del resultado. Cuando las vistas están alineadas verticalmente, el valor y de la coincidencia de plantilla es igual o cercano a cero píxeles. Un valor y distinto de cero indica una desalineación vertical entre las dos vistas y se aplica una corrección utilizando el mismo valor de y para seleccionar el conjunto de lectura de píxeles de la primera vista o se aplica una corrección utilizando el valor negado de y al conjunto de lectura de píxeles de la otra vista. Como alternativa, la corrección se puede aplicar en otras partes del proceso de visualización o dividir entre el conjunto o conjuntos de lectura de píxeles y dicha canalización.
En algunos ejemplos, el operador también puede alinear manualmente un ZRP derecho con un origen de la cuadrícula de píxeles 1002. Por ejemplo, después de determinar una ubicación del ZRP derecho, el procesador 1562 (y/o la interfaz de la unidad de entrada periférica 1574 o la unidad de procesamiento de gráficos 1564) hace que el ZRP derecho se resalte gráficamente en una imagen derecha mostrada por el monitor de visualización 512. El procesador 1562 también puede mostrar un gráfico indicativo del origen de la cuadrícula de píxeles 1002. El operador utiliza los controles 305 y/o el dispositivo de entrada de usuario 1410 para dirigir el ZRP derecho al origen. El procesador 1562 utiliza instrucciones de los controles 305 y/o del dispositivo de entrada de usuario 1410 para mover en consecuencia uno o más de los elementos ópticos 1402. El procesador 1562 puede proporcionar un flujo de imágenes derechas en tiempo real, además de mostrar gráficamente la ubicación actual del ZRP derecho y el origen para proporcionar al operador información actualizada sobre el posicionamiento. El operador continúa proporcionando información a través de los controles 305 y/o el dispositivo de entrada de usuario 1410 hasta que se alinea el ZRP derecho. Al recibir una instrucción de confirmación, el procesador 1562 almacena un punto de calibración en una tabla de consulta que refleja las posiciones de los elementos ópticos 1402 en el nivel de aumento establecido.
3. Comparación del error de alineación
La cámara de visualización estereoscópica 300 de ejemplo produce menos errores de alineación entre las imágenes derecha e izquierda en comparación con los microscopios quirúrgicos digitales conocidos con cámaras estereoscópicas. El análisis que se analiza a continuación compara el paralaje espurio generado por la desalineación ZRP para un microscopio quirúrgico digital conocido con cámara y la cámara de visualización estereoscópica 300 de ejemplo. Inicialmente, ambas cámaras se configuran en un primer nivel de aumento con un plano focal colocado en una primera posición del ojo del paciente. La siguiente ecuación (3) se utiliza para determinar la distancia de trabajo ("WD") desde cada cámara hasta el ojo.
W D = (IPD / 2) / tan(a) - Ecuación (3)
En esta ecuación, la distancia interpupilar (IPD) corresponde a la distancia interpupilar, que es de aproximadamente 23 mm. Además, a es la mitad del ángulo entre, por ejemplo, el sensor óptico de imagen derecho 746 y el sensor óptico de imagen izquierdo 748, que en este ejemplo es de 2,50°. El ángulo de convergencia es el doble de este ángulo, que es 5°, en este ejemplo. La distancia de trabajo resultante es de 263,39 mm.
Las cámaras se amplían a un segundo nivel de aumento y se triangulan en una segunda posición del ojo del paciente. En este ejemplo, la segunda posición está a la misma distancia física de la cámara que la primera posición, pero se presenta en el segundo nivel de aumento. El cambio en el aumento genera un paralaje horizontal espurio debido a la desalineación de uno o ambos ZRP con respecto al centro de una cuadrícula de píxeles del sensor. Para el sistema de cámara conocido, el paralaje espurio se determina en, por ejemplo, 3 minutos de arco, lo que corresponde a 0,05°. En la ecuación (3) anterior, se suma el valor de 0,05° a a, lo que produce una distancia de trabajo de 258,22 mm. La diferencia en la distancia de trabajo es de 5,17 mm (263,39 mm - 258,22 mm), que corresponde al error del microscopio quirúrgico digital conocido con cámara.
Por el contrario, la cámara de visualización estereoscópica 300 de ejemplo es capaz de alinear automáticamente los ZRP para que estén dentro de un píxel del centro de un conjunto de píxeles o cuadrícula. Si el campo de visión angular es de 5° y se registra con un sensor de imagen 4k utilizado junto con un monitor de visualización 4k, la precisión de un píxel corresponde a 0,00125° (5°/4000) o 4,5 segundos de arco. Utilizando la ecuación (3) anterior, se suma el valor de 0,00125° a a, lo que produce una distancia de trabajo de 263,25 mm. La diferencia en la distancia de trabajo para la cámara de visualización estereoscópica 300 es de 0,14 mm (263,39 mm - 263,25 mm). En comparación con el error de 5,17 mm del microscopio quirúrgico digital conocido, la cámara de visualización estereoscópica 300 de ejemplo reduce el error de alineación en un 97,5 %.
En algunas realizaciones, la cámara de visualización estereoscópica 300 puede ser más precisa en resoluciones más altas. En el ejemplo anterior, la resolución es de aproximadamente 4,5 segundos de arco para un campo de visión de 5°. Para un sistema de ultra alta definición 8K (con 8000 píxeles en cada una de las 4000 filas) con un campo de visión de 2°, la resolución de la cámara de visualización estereoscópica 300 es de aproximadamente 1 segundo de arco. Esto significa que el ZRP de las vistas izquierda y derecha pueden estar alineados a un píxel o 1 segundo de arco. Esto es significativamente más preciso que los sistemas de microscopios digitales conocidos, que tienen un paralaje espurio del orden de minutos de arco.
4. Reducción de otras fuentes de paralaje espurio
Los ejemplos anteriores analizan cómo la cámara de visualización estereoscópica 300 de ejemplo reduce el paralaje espurio como resultado de ZRP desalineados y/o las propias imágenes izquierda y derecha. La cámara de visualización estereoscópica 300 también puede configurarse para reducir otras fuentes de paralaje espurio. Por ejemplo, la cámara de visualización estereoscópica 300 puede reducir el paralaje espurio debido al movimiento al sincronizar simultáneamente los sensores de imagen ópticos derecho e izquierdo 746 y 748 para registrar imágenes prácticamente en el mismo instante.
La cámara de visualización estereoscópica 300 de ejemplo también puede reducir el paralaje espurio debido al aumento desigual entre las trayectorias ópticas izquierda y derecha. Por ejemplo, la cámara de visualización estereoscópica 300 puede establecer el nivel de aumento en función de la trayectoria óptica izquierda. La cámara de visualización estereoscópica 300 puede entonces realizar ajustes automáticos para que la ampliación de la imagen derecha coincida con la izquierda. El procesador 1562, por ejemplo, puede utilizar datos de imagen para calcular parámetros de control, por ejemplo midiendo un número de píxeles entre ciertas características comunes en las imágenes izquierda y derecha. El procesador 1562 puede luego igualar los niveles de aumento de las imágenes izquierda y derecha mediante escala digital, insertando píxeles interpolativos y/o eliminando píxeles extraños. El procesador 1562 de ejemplo y/o la unidad de procesamiento de gráficos 1564 pueden volver a renderizar la imagen derecha de modo que el aumento coincida con la imagen izquierda. Adicional o alternativamente, la cámara de visualización estereoscópica 300 puede incluir un ajuste independiente de los elementos ópticos izquierdo y derecho 1402. El procesador 1562 puede controlar por separado los elementos ópticos izquierdo y derecho 1402 para lograr el mismo aumento. En algunos ejemplos, el procesador 1562 puede establecer primero, por ejemplo, el nivel de aumento izquierdo y luego ajustar por separado los elementos ópticos derechos 1402 para lograr el mismo nivel de aumento.
La cámara de visualización estereoscópica 300 de ejemplo puede reducir aún más el paralaje espurio debido al enfoque desigual. En un ejemplo, el procesador 1562 puede ejecutar un programa 1560 que determina el mejor enfoque para cada trayectoria óptica para un aumento y/o distancia de trabajo determinados. El procesador 1562 primero realiza un enfoque de los elementos ópticos 1402 en un punto de mejor resolución. El procesador 1562 puede entonces verificar la condición OOF en una ubicación adecuada fuera del plano del objeto y hacer coincidir el foco para las imágenes izquierda y derecha. A continuación, el procesador 1562 vuelve a verificar el enfoque en la mejor resolución y ajusta el enfoque iterativamente hasta que los elementos ópticos izquierdo y derecho 1402 enfocan igualmente bien tanto sobre un plano del objeto como lejos del mismo.
El procesador 1562 de ejemplo puede medir y verificar el enfoque óptimo al monitorizar una señal relacionada con el enfoque de una o ambas imágenes, derecha e izquierda. Por ejemplo, la unidad de procesamiento de gráficos 1564 genera una señal de "nitidez" para las imágenes izquierda y derecha simultáneamente y/o en sincronización. La señal cambia a medida que cambia el enfoque y puede determinarse a partir de un programa de análisis de imágenes, un programa de análisis de detección de bordes, un programa de ancho de banda de transformadas de Fourier de intensidad de patrón y/o un programa de medición de función de transferencia de modulación ("MTF"). El procesador 1562 ajusta el enfoque de los elementos ópticos 1402 mientras monitoriza una señal máxima indicativa de una imagen nítida.
Para optimizar la condición OOF, el procesador 1562 puede monitorizar señales de nitidez tanto para la imagen izquierda como para la derecha. Si el foco se mueve fuera del plano del objeto y la señal relacionada, por ejemplo, con la imagen izquierda aumenta pero la señal relacionada con la imagen derecha disminuye, el procesador 1562 está configurado para determinar que los elementos ópticos 1402 se están moviendo fuera de foco. Sin embargo, si las señales relacionadas con las imágenes derecha e izquierda son relativamente altas y aproximadamente iguales, el procesador 1562 está configurado para determinar que los elementos ópticos 1402 están posicionados correctamente para enfocar.
5. Beneficios del paralaje espurio bajo
La cámara de visualización estereoscópica 300 de ejemplo tiene una serie de ventajas sobre los microscopios quirúrgicos digitales conocidos como resultado del bajo paralaje espurio entre las imágenes derecha e izquierda. Por ejemplo, las imágenes izquierda y derecha casi perfectamente alineadas producen una visualización estereoscópica casi perfecta para un cirujano, reduciendo así la fatiga ocular. Esto permite utilizar la cámara de visualización estereoscópica 300 como una extensión de los ojos de un cirujano en lugar de como una herramienta engorrosa.
En otro ejemplo, las imágenes izquierda y derecha alineadas con precisión permiten tomar digitalmente mediciones precisas del sitio quirúrgico. Por ejemplo, se puede medir el tamaño de la cápsula del cristalino de un paciente de modo que se pueda determinar e implantar con precisión una LIO de tamaño adecuado. En otro caso, se puede medir el movimiento de un vaso sanguíneo en movimiento de tal manera que se pueda colocar con precisión una superposición de fluoresceína infrarroja en una imagen fusionada. Aquí, la velocidad de movimiento real generalmente no es de interés para el cirujano, pero es fundamental para la colocación y el ajuste en tiempo real de la imagen superpuesta. La escala, el registro y la perspectiva correctamente coincidentes de las imágenes superpuestas son importantes para brindar una imagen estereoscópica en vivo combinada y fusionada con precisión y una imagen en modo alternativo.
En algunos ejemplos, el procesador 1562 puede permitir que un operador dibuje parámetros de medición en el monitor de visualización 512. El procesador 1562 recibe las coordenadas dibujadas en una pantalla y, en consecuencia, traduce las coordenadas a la imagen estereoscópica. El procesador 1562 puede determinar valores de medición escalando la regla dibujada en el monitor de visualización 512 a un nivel de aumento mostrado en las imágenes estereoscópicas. Las mediciones realizadas por el procesador 1562 incluyen mediciones punto a punto de dos o tres ubicaciones mostradas en la pantalla estereoscópica, mediciones punto a superficie, mediciones de caracterización de superficie, mediciones de determinación de volumen, mediciones de verificación de velocidad, transformaciones de coordenadas, seguimiento de instrumentos y/o tejidos, etc.
Conclusión
Se apreciará que cada uno de los sistemas, estructuras, métodos y procedimientos descritos en el presente documento pueden implementarse utilizando uno o más programas o componentes de ordenador. Estos programas y componentes pueden proporcionarse como una serie de instrucciones de ordenador en cualquier medio convencional legible por ordenador, incluida la memoria de acceso aleatorio ("RAM"), la memoria de sólo lectura ("ROM"), la memoria flash, los discos magnéticos u ópticos, la memoria óptica u otros medios de almacenamiento y combinaciones y derivados de los mismos. Las instrucciones pueden configurarse para ser ejecutadas por un procesador, el cual al ejecutar la serie de instrucciones de ordenador realiza o facilita la realización de todos o parte de los métodos y procedimientos dados a conocer.
Debe entenderse que varios cambios y modificaciones a las realizaciones de ejemplo descritas en este documento serán evidentes para los expertos en la materia. Dichos cambios y modificaciones podrán realizarse sin alejarse del ámbito de protección definido por las reivindicaciones adjuntas.

Claims (14)

REIVINDICACIONES
1. Aparato de obtención de imágenes estereoscópicas (300) configurado para reducir el paralaje espurio entre flujos de imágenes primero y segundo registrados en paralelo de un sitio objetivo (503, 700, 2802), comprendiendo el aparato:
primeros elementos ópticos posicionados a lo largo de una primera trayectoria óptica y que incluyen (i) una primera pluralidad de lentes (722, 728, 734, 738, 747) que incluyen una primera lente de zoom (728, 734) configurada para ser móvil a lo largo de la primera trayectoria óptica en una dirección z, y (ii) un primer sensor de imagen (748) que tiene una primera cuadrícula de píxeles (1004) y que está configurado para registrar el primer flujo de imágenes del sitio objetivo a partir de la luz en la primera trayectoria óptica;
segundos elementos ópticos posicionados a lo largo de una segunda trayectoria óptica paralela a la primera trayectoria óptica, e incluyendo (i) una segunda pluralidad de lentes (720, 726, 732, 736, 745) incluyendo una segunda lente de zoom (726, 732) configurada para ser móvil a lo largo de la segunda trayectoria óptica en una dirección z, y (ii) un segundo sensor de imagen (746) que tiene una segunda cuadrícula de píxeles (1002) y que está configurado para registrar el segundo flujo de imágenes del sitio objetivo a partir de la luz en la segunda trayectoria óptica;
un procesador (1562) configurado para:
localizar una posición de un primer punto de repetición de zoom (2706, 2806) mediante:
hacer que la primera lente de zoom (728, 734) se mueva a lo largo de la dirección z durante una grabación de imágenes del primer flujo de imágenes,
localizar una primera porción de área que tiene una ubicación que no se mueve en una dirección x o una dirección y dentro de las imágenes del primer flujo de imágenes, y
determinar una primera distancia entre un punto de origen (2704, 2804) en un centro de al menos una de las imágenes del primer flujo de imágenes y la ubicación de la primera porción del área como la posición del primer punto de repetición de zoom (2706),
determinar un primer conjunto de píxeles (1008, 2708) de la primera cuadrícula de píxeles (1004) utilizando la primera distancia de modo que el primer punto de repetición de zoom (2706, 2806) esté ubicado en un centro del primer conjunto de píxeles y el primer conjunto de píxeles incluya una pluralidad de píxeles en cada una de las direcciones x e y,
determinar un segundo conjunto de píxeles (1006) de la segunda cuadrícula de píxeles (1002) que incluye una imagen que coincide con una imagen del primer conjunto de píxeles,
localizar una posición de un segundo punto de repetición de zoom mediante:
hacer que la segunda lente de zoom (726, 732) se mueva a lo largo de la dirección z durante una grabación de imágenes del segundo flujo de imágenes,
localizar una segunda porción de área que tiene una ubicación que no se mueve en la dirección x o la dirección y dentro de las imágenes del segundo flujo de imágenes, y
determinar una segunda distancia entre un centro del segundo conjunto de píxeles (1006) y la ubicación de la segunda porción del área como la posición del segundo punto de repetición de zoom, y
ajustar una de la segunda pluralidad de lentes (720, 726, 732, 736, 745) o el segundo sensor de imagen (746) en al menos una de la dirección x, la dirección y y una dirección de inclinación para hacer que el segundo punto de repetición de zoom coincida con el centro del segundo conjunto de píxeles (1006) en función de la segunda distancia determinada.
2. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 1, en el que una de la segunda pluralidad de lentes es la segunda lente de zoom (726, 732).
3. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 1, en el que el procesador (1562) está configurado para almacenar, en una tabla de consulta como punto de calibración, primeras coordenadas del primer conjunto de píxeles (1008, 2708) con respecto a la primera cuadrícula de píxeles (1004), segundas coordenadas del segundo conjunto de píxeles (1006) con respecto a la segunda cuadrícula de píxeles (1002), una ubicación de una de la segunda pluralidad de lentes (720, 726, 732, 736, 745) ajustada en al menos una de la dirección x, la dirección y, y la dirección de inclinación, y un nivel de aumento de la primera y la segunda lentes de zoom (728, 734; 726, 732).
4. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 3, en el que el procesador (1562) está configurado para utilizar la tabla de consulta durante el uso del aparato de obtención de imágenes estereoscópicas para seleccionar el primer conjunto de píxeles (1008, 2708) para el primer sensor de imagen (748) y el segundo conjunto de píxeles (1006) para el segundo sensor de imagen (746) cuando la primera y la segundas lentes de zoom (728, 734; 726, 732) se mueven al nivel de aumento.
5. Aparato de imágenes estereoscópicas, según la reivindicación 3, en el que el procesador (1562) está configurado para:
localizar el primer punto de repetición de zoom (2706, 2806) y el segundo punto de repetición de zoom en diferentes niveles de aumento; y
almacenar en la tabla de consulta como puntos de calibración para los diferentes niveles de aumento, primeras coordenadas del primer conjunto de píxeles (1008, 2708) con respecto a la primera cuadrícula de píxeles (1004) para cada nivel de aumento, segundas coordenadas del segundo conjunto de píxeles (1006) con respecto a la segunda cuadrícula de píxeles (1002) para cada nivel de aumento, una ubicación de una de la segunda pluralidad de lentes (720, 726, 732, 736, 745) ajustada en al menos una de la dirección x, la dirección y, y la dirección de inclinación para cada nivel de aumento, y el nivel de aumento de la primera y segunda lentes de zoom (728, 734; 726, 732).
6. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 1, en el que el procesador (1562) está configurado para registrar, como una cantidad de movimiento, una cantidad y una dirección en la que una de la segunda pluralidad de lentes (720, 726, 732, 736, 745) se ajustó en la dirección x, la dirección y, y la dirección de inclinación para hacer que el segundo punto de repetición de zoom coincida con el centro del segundo conjunto de píxeles (1006).
7. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 1, en el que el procesador (1562) está configurado para hacer que la primera lente de zoom (728, 734) se mueva, durante la grabación del primer flujo de imágenes, desde un primer nivel de aumento a un segundo nivel de aumento que es el doble del primer nivel de aumento, y
en el que el procesador (1562) está configurado para hacer que la segunda lente de zoom (726, 732) se mueva, durante la grabación del segundo flujo de imágenes, desde el primer nivel de aumento al segundo nivel de aumento.
8. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 1, en el que la primera distancia incluye coordenadas del primer punto de repetición de zoom (2706, 2806) con respecto al punto de origen (2704, 2804).
9. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 1, en el que el sitio objetivo (503, 700, 2802) incluye al menos uno de una plantilla (2802) con características gráficas, un sitio quirúrgico (503, 700) de un paciente y una cuadrícula que tiene características visualmente distinguibles.
10. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 9, en el que la plantilla (2802) incluye al menos uno de una diana, un patrón de onda y un patrón de espirógrafo.
11. Aparato de imágenes estereoscópicas, según la reivindicación 1, en el que el procesador (1562) está configurado para:
crear una imagen sintetizada del sitio objetivo a partir de una imagen registrada al final del movimiento de la primera lente de zoom (728, 734) en un segundo nivel de aumento que se escala en función de una cantidad de movimiento de la primera lente de zoom (728, 734) a lo largo de la dirección z; y
determinar la posición del primer punto de repetición de zoom basándose en una cantidad de movimiento en la dirección x y la dirección y para alinear la imagen sintetizada del sitio objetivo con una imagen del sitio objetivo registrada en un primer nivel de aumento antes del movimiento de la primera lente de zoom (728, 734) a lo largo de la dirección z.
12. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 1, que comprende, además:
un conjunto objetivo principal (702) configurado para establecer una distancia de trabajo (706) a un plano focal en el sitio objetivo (700) y recibir luz del sitio objetivo (700),
en el que la primera pluralidad de lentes (722, 728, 734, 738, 747) incluye una primera lente frontal (722) configurada para definir la primera trayectoria óptica a partir de la luz recibida por el conjunto objetivo principal (702), y un primer elemento óptico final (747) configurado para enfocar la primera trayectoria óptica en el primer sensor de imagen (748), y
en el que la segunda pluralidad de lentes (720, 726, 732, 736, 745) incluye una segunda lente frontal (720) configurada para definir la segunda trayectoria óptica a partir de la luz recibida por el conjunto objetivo principal (702), y un segundo elemento óptico final (745) configurado para enfocar la segunda trayectoria óptica en el segundo sensor de imagen (746).
13. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 12, en el que el procesador (1562) está configurado, además, para, antes de determinar el segundo conjunto de píxeles (1006), ajustar una de la segunda pluralidad de lentes (720, 726, 732, 736, 745) o el segundo sensor de imagen (746) en al menos una de una dirección x, una dirección y, y una dirección de inclinación para hacer que el segundo punto de repetición de zoom coincida con un punto de origen dentro del segundo flujo de imágenes.
14. Aparato de obtención de imágenes estereoscópicas, según la reivindicación 13, que comprende, además, un elemento de flexión (1300) conectado a una de la segunda pluralidad de lentes (720, 726, 732, 736, 745) o al segundo sensor de imagen (746) que se ajusta en al menos una de la dirección x, la dirección y, y la dirección de inclinación, estando el elemento de flexión (1300) conectado mecánicamente a un actuador (1304) configurado para hacer que un haz (1302) del elemento de flexión (1304) se mueva para ajustar una de la segunda pluralidad de lentes (720, 726, 732, 736, 745) o el segundo sensor de imagen (746).
ES18724650T 2017-04-24 2018-04-19 Stereoscopic visualization camera and platform Active ES3030838T3 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762489289P 2017-04-24 2017-04-24
US201762489876P 2017-04-25 2017-04-25
US15/814,127 US10299880B2 (en) 2017-04-24 2017-11-15 Stereoscopic visualization camera and platform
PCT/US2018/028360 WO2018200309A2 (en) 2017-04-24 2018-04-19 Stereoscopic visualization camera and platform

Publications (1)

Publication Number Publication Date
ES3030838T3 true ES3030838T3 (en) 2025-07-02

Family

ID=63852273

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18724650T Active ES3030838T3 (en) 2017-04-24 2018-04-19 Stereoscopic visualization camera and platform

Country Status (8)

Country Link
US (3) US10299880B2 (es)
EP (2) EP3615973B1 (es)
JP (2) JP6875550B2 (es)
CN (2) CN114945089A (es)
AU (1) AU2018258089B2 (es)
CA (1) CA3059237C (es)
ES (1) ES3030838T3 (es)
WO (1) WO2018200309A2 (es)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10966614B2 (en) * 2015-01-18 2021-04-06 Dentlytec G.P.L. Ltd. Intraoral scanner
US12259231B2 (en) 2015-01-18 2025-03-25 Dentlytec G.P.L. Ltd. Intraoral scanner
WO2016178212A1 (en) 2015-05-01 2016-11-10 Dentlytec G.P.L. Ltd System, device and methods for dental digital impressions
EP3471627A4 (en) 2016-06-16 2020-02-19 Ark Surgical Ltd. TISSUE CONSTRUCTION DEVICE FOR USE IN SURGICAL OPERATIONS
WO2018047180A1 (en) 2016-09-10 2018-03-15 Ark Surgical Ltd. Laparoscopic workspace device
US12285188B2 (en) 2016-09-10 2025-04-29 Ark Surgical Ltd. Laparoscopic workspace device
EP3648703B1 (en) 2017-07-04 2023-04-26 Dentlytec G.P.L. Ltd. Dental scanner with ultrasonic sensor component for augmentation of optical data
EP3658069B1 (en) 2017-07-26 2024-06-26 Dentlytec G.P.L. Ltd. Intraoral scanner
DE102017214246B3 (de) * 2017-08-16 2018-10-31 Siemens Healthcare Gmbh Vorrichtung und Verfahren zur Feinjustage der Rekonstruktionsebene eines digitalen Kombinationsbildes sowie zugehöriges Bildauswertesystem und/oder Radiologiesystem nebst zugehörigem Computerprogrammprodukt und computerlesbaren Medium
US11432982B2 (en) * 2018-03-26 2022-09-06 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
US11291602B2 (en) 2018-03-26 2022-04-05 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
US11160710B1 (en) 2020-05-20 2021-11-02 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
US10972643B2 (en) 2018-03-29 2021-04-06 Microsoft Technology Licensing, Llc Camera comprising an infrared illuminator and a liquid crystal optical filter switchable between a reflection state and a transmission state for infrared imaging and spectral imaging, and method thereof
CN111989065A (zh) * 2018-04-20 2020-11-24 柯惠Lp公司 具有立体显示器的机器人手术系统中的观察者移动的补偿
US10924692B2 (en) * 2018-05-08 2021-02-16 Microsoft Technology Licensing, Llc Depth and multi-spectral camera
US10715705B2 (en) * 2018-06-11 2020-07-14 Pony Ai Inc. Characterizing optical characteristics of optical elements
US10536686B1 (en) * 2018-08-02 2020-01-14 Synaptive Medical (Barbados) Inc. Exoscope with enhanced depth of field imaging
JP7277088B2 (ja) * 2018-08-21 2023-05-18 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
JP2022502119A (ja) 2018-10-15 2022-01-11 メイザー ロボティックス リミテッド 汎用マルチアームロボット外科用システム
US10937193B2 (en) * 2018-12-05 2021-03-02 Goodrich Corporation Multi-sensor alignment and real time distortion correction and image registration
US11378806B1 (en) * 2018-12-07 2022-07-05 Facebook Technologies, Llc Multi-element electromechanical actuation mechanism for asymmetric optical applications
WO2020144692A2 (en) 2019-01-09 2020-07-16 Dentlytec G.P.L. Ltd Dental device with probe and methods associated therewith
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN110418393B (zh) * 2019-01-17 2022-04-19 西安电子科技大学 基于节点相对移动速度的区域路由改进方法
US12481174B2 (en) 2019-01-24 2025-11-25 Cao Group, Inc. Electronic loupe
US20220091442A1 (en) 2019-01-24 2022-03-24 Cao Group, Inc. Electronic loupe
US20200303084A1 (en) * 2019-03-19 2020-09-24 Westinghouse Electric Company Llc Radiation tolerant underwater camera with high definition viewing and recording capability
US10827162B1 (en) * 2019-04-15 2020-11-03 Synaptive Medical (Barbados) Inc. Augmented optical imaging system for use in medical procedures
US11531112B2 (en) * 2019-06-20 2022-12-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral, fluorescence, and laser mapping imaging system
US11340441B2 (en) * 2019-07-09 2022-05-24 Lightech Fiberoptics, Inc. Microscope made with CMOS camera(s)
DE102019118508B3 (de) 2019-07-09 2020-12-24 Carl Zeiss Meditec Ag Optische Abbildungsvorrichtung und Verfahren zur Verbesserung dargestellter Bilder
US20220273161A1 (en) * 2019-08-05 2022-09-01 Sony Group Corporation Surgical image-capturing system, signal processing device, and signal processing method
NL2023688B1 (en) * 2019-08-22 2021-04-21 I Med Tech B V Binocular device
JP7404534B2 (ja) * 2019-12-05 2023-12-25 アルコン インコーポレイティド 一体化された視覚化カメラ及び光学コヒーレンストモグラフィを用いた外科的応用
ES3032782T3 (en) * 2019-12-05 2025-07-24 Alcon Inc System and method for integrated visualization camera and optical coherence tomography
WO2021141887A1 (en) * 2020-01-06 2021-07-15 The Johns Hopkins University Overlaying augmented reality (ar) content within an ar headset coupled to a magnifying loupe
CN114945853A (zh) * 2020-01-15 2022-08-26 奇跃公司 用于头戴式显示系统中的变形的补偿
US11166006B2 (en) 2020-01-22 2021-11-02 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
CN113804401B (zh) * 2020-06-16 2024-07-09 三赢科技(深圳)有限公司 全自动水平校正系统及检测设备
EP4171890B1 (en) 2020-06-30 2025-08-13 Mazor Robotics Ltd. Time-spaced robotic reference frames
JP7676122B2 (ja) * 2020-09-10 2025-05-14 キヤノン株式会社 画像処理装置、画像処理方法、記憶媒体およびプログラム
CN112220568B (zh) * 2020-09-23 2025-02-25 苏州速迈医学科技股份有限公司 一种显微手术辅助装置
US11498213B2 (en) * 2020-09-23 2022-11-15 Applied Materials, Inc. Robot joint space graph path planning and move execution
TWI759880B (zh) * 2020-09-25 2022-04-01 由田新技股份有限公司 多功能性半導體光學系統以及光學檢測方法
US12274525B2 (en) 2020-09-29 2025-04-15 Mazor Robotics Ltd. Systems and methods for tracking anatomical motion
AU2021354376A1 (en) * 2020-10-01 2023-05-18 True Digital Surgery Auto-navigating digital surgical microscope
CN116568219A (zh) * 2020-10-01 2023-08-08 真实数字化外科公司 自动导航数字手术显微镜
CN112492069A (zh) * 2020-11-20 2021-03-12 华东师范大学 一种手机频闪的多光谱成像方法
JP7224559B2 (ja) * 2020-12-10 2023-02-17 三菱電機株式会社 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
CN112822367B (zh) * 2020-12-31 2022-11-18 维沃移动通信有限公司 电子设备及其摄像模组
EP4274506A4 (en) 2021-01-11 2025-02-26 Digital Surgery Systems, Inc. CORRECTION OF REGISTRATION DETERIORATION FOR SURGICAL NAVIGATION PROCEDURES
US12002153B2 (en) 2021-01-22 2024-06-04 Novocure Gmbh Methods, systems, and apparatuses for medical image enhancement to optimize transducer array placement
US12465441B2 (en) 2021-02-01 2025-11-11 Mazor Robotics Ltd. Multi-arm robotic systems and methods for identifying a target
DE102021102274A1 (de) * 2021-02-01 2022-08-04 B. Braun New Ventures GmbH Chirurgisches Assistenzsystem mit Operationsmikroskop und Kamera und Darstellungsverfahren
US11508089B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration
AU2022234974B2 (en) 2021-03-12 2025-08-21 Digital Surgery Systems, Inc. Automated touchless registration for surgical navigation
CN113749772A (zh) * 2021-04-22 2021-12-07 上海格联医疗科技有限公司 一种增强近红外4k荧光导航系统
JP7665400B2 (ja) * 2021-04-26 2025-04-21 キヤノン株式会社 電子機器、その制御方法、プログラムおよび記憶媒体
WO2023084334A1 (en) 2021-11-09 2023-05-19 Alcon Inc. Imaging apparatus with multiple stereoscopic cameras
US20230179755A1 (en) * 2021-11-09 2023-06-08 Alcon Inc. Stereoscopic imaging apparatus with multiple fixed magnification levels
US12467489B2 (en) 2022-03-17 2025-11-11 Mako Surgical Corp. Techniques for securing together components of one or more surgical carts
US20230346217A1 (en) 2022-04-28 2023-11-02 Alcon Inc. Reducing abberations in ophthalmic imaging
TWI855372B (zh) * 2022-09-05 2024-09-11 英屬維爾京群島商威爾德嘉德有限公司 影像處理方法、裝置、電子設備及介質
DE102022210623A1 (de) 2022-10-07 2024-04-18 Carl Zeiss Meditec Ag Verfahren zum Kalibrieren von Kameras eines mehrkanaligen medizinischen Visualisierungssystems und medizinisches Visualisierungssystem
DE102023100645B3 (de) 2023-01-12 2024-07-04 Carl Zeiss Meditec Ag Verfahren zum Ändern einer Gesamtvergrößerung eines optischen Beobachtungsgerätes, Steuereinrichtung für ein optisches Beobachtungsgerät sowie optisches Beobachtungsgerät
CN116330285B (zh) * 2023-03-20 2024-10-11 深圳市功夫机器人有限公司 机械臂控制方法、装置、机械臂及存储介质
DE102023123537B3 (de) 2023-08-31 2024-09-12 Carl Zeiss Meditec Ag Optisches Beobachtungssystem sowie Verfahren zum Aufnehmen von Fluoreszenzbildern
WO2025192820A1 (ko) * 2024-03-15 2025-09-18 퓨처게이트 주식회사 상품 촬영용 이동 카메라를 구비한 선반 장치, 무인 판매 시스템, 및 무인 매장용 판매 관리 시스템

Family Cites Families (216)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3431992A (en) 1966-12-16 1969-03-11 Smithkline Corp Lift truck scale
US3517183A (en) 1968-04-01 1970-06-23 Bausch & Lomb Microscope illuminator
US3867697A (en) 1969-07-29 1975-02-18 Vanzetti Infrared Computer Sys Measuring means
US4418993A (en) * 1981-05-07 1983-12-06 Stereographics Corp. Stereoscopic zoom lens system for three-dimensional motion pictures and television
US4395731A (en) 1981-10-16 1983-07-26 Arnold Schoolman Television microscope surgical method and apparatus therefor
DE3431992C2 (de) 1983-09-05 1985-12-12 Olympus Optical Co., Ltd., Tokio/Tokyo Endoskopanordnung mit einer Aufnahmeeinrichtung
FR2561400B3 (fr) * 1983-12-19 1987-04-10 Thomson Csf Dispositif de prise de vues stereoscopiques a base variable
GB8425827D0 (en) 1984-10-12 1984-11-21 Gec Avionics Position indicating apparatus
DE3508306A1 (de) 1985-03-08 1986-09-11 Fa. Carl Zeiss, 7920 Heidenheim Mikroskoptubus
US4790305A (en) 1986-06-23 1988-12-13 The Johns Hopkins University Medication delivery system
US4786155A (en) 1986-12-16 1988-11-22 Fantone Stephen D Operating microscope providing an image of an obscured object
NL8800595A (nl) 1988-03-10 1989-10-02 Philips Nv Weergeef- en opneeminrichting voor stereoscopische beeldweergave.
DE3814006A1 (de) 1988-04-26 1989-11-09 Leitz Wild Gmbh Mikroskop mit einer kamera und automatischem farbtemperaturabgleich
US5109276A (en) 1988-05-27 1992-04-28 The University Of Connecticut Multi-dimensional multi-spectral imaging system
US5200838A (en) 1988-05-27 1993-04-06 The University Of Connecticut Lateral effect imaging system
GB8817672D0 (en) 1988-07-25 1988-09-01 Sira Ltd Optical apparatus
US4989078A (en) 1988-08-15 1991-01-29 Eastman Kodak Company Still video camera for recording stereo images on a video disk
US5098426A (en) 1989-02-06 1992-03-24 Phoenix Laser Systems, Inc. Method and apparatus for precision laser surgery
US4995716A (en) 1989-03-09 1991-02-26 Par Technology Corporation Method and apparatus for obtaining the topography of an object
US4967268A (en) 1989-07-31 1990-10-30 Stereographics Liquid crystal shutter system for stereoscopic and other applications
US5054907A (en) 1989-12-22 1991-10-08 Phoenix Laser Systems, Inc. Ophthalmic diagnostic apparatus and method
JPH03209543A (ja) 1990-01-12 1991-09-12 Toshiba Corp パーソナルコンピュータ
US5048946A (en) 1990-05-15 1991-09-17 Phoenix Laser Systems, Inc. Spectral division of reflected light in complex optical diagnostic and therapeutic systems
JP3209543B2 (ja) 1990-07-13 2001-09-17 オリンパス光学工業株式会社 手術用顕微鏡
US5699798A (en) 1990-08-10 1997-12-23 University Of Washington Method for optically imaging solid tumor tissue
US6006126A (en) 1991-01-28 1999-12-21 Cosman; Eric R. System and method for stereotactic registration of image scan data
US5751927A (en) 1991-03-26 1998-05-12 Wason; Thomas D. Method and apparatus for producing three dimensional displays on a two dimensional surface
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5193000A (en) 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system
DE4134481C2 (de) 1991-10-18 1998-04-09 Zeiss Carl Fa Operationsmikroskop zur rechnergestützten, stereotaktischen Mikrochirurgie
US5359474A (en) 1992-09-18 1994-10-25 Riederer Thomas P System for the sub-micron positioning of a read/write transducer
JP3298185B2 (ja) 1992-11-05 2002-07-02 株式会社ニコン 眼科装置
DE4304571A1 (de) 1993-02-16 1994-08-18 Mdc Med Diagnostic Computing Verfahren zur Planung und Kontrolle eines chirurgischen Eingriffs
JPH07508449A (ja) 1993-04-20 1995-09-21 ゼネラル・エレクトリック・カンパニイ 外科手術の際に身体構造をよく見える様にするコンピュータ・グラフィック及びライブ・ビデオ・システム
US5579772A (en) 1993-06-14 1996-12-03 Olympus Optical Co., Ltd. Surgical microscope system
JP2607828B2 (ja) 1993-10-04 1997-05-07 永島醫科器械株式会社 ハイディフィニションテレビ統合顕微鏡システム
WO1995018512A1 (de) 1993-12-29 1995-07-06 Leica Ag Verfahren und vorrichtung zur darstellung von stereoskopischen videobildern auf einem display
DE59508357D1 (de) 1994-03-30 2000-06-21 Leica Mikroskopie Sys Ag Stereomikroscop
DE9407854U1 (de) 1994-05-11 1994-07-28 Haag-Streit AG Werkstätten für Präzisionsmechanik, Köniz Videozusatz an einem Mikroskop
JP3444980B2 (ja) 1994-07-25 2003-09-08 キヤノン株式会社 眼科撮影装置
DE59503726D1 (de) 1994-08-19 1998-10-29 Leica Mikroskopie Syteme Ag Verfahren und vorrichtung zur darstellung von stereoskopischen videobildern auf einem display
US5999840A (en) 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
US5803089A (en) 1994-09-15 1998-09-08 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
US5765561A (en) 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5662584A (en) * 1994-10-07 1997-09-02 Vista Medical Technologies, Inc. Endoscope with position display for zoom lens unit and imaging device
US6483948B1 (en) 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
US5545120A (en) 1995-01-18 1996-08-13 Medical Media Systems Endoscopic viewing system for maintaining a surgeon's normal sense of kinesthesia during endoscopic surgery regardless of the orientation of the endoscope vis-a-vis the surgeon
WO1996024083A1 (de) 1995-02-03 1996-08-08 Leica Ag Stereomikroskop
US5671085A (en) 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
US5652676A (en) 1995-04-24 1997-07-29 Grinblat; Avi Microscope-television camera adapter
JPH08317424A (ja) * 1995-05-19 1996-11-29 Olympus Optical Co Ltd 立体撮影装置
US6256529B1 (en) 1995-07-26 2001-07-03 Burdette Medical Systems, Inc. Virtual reality 3D visualization for surgical procedures
JP3114848B2 (ja) * 1995-12-28 2000-12-04 富士写真光機株式会社 ズームレンズの駆動装置
US5835133A (en) 1996-01-23 1998-11-10 Silicon Graphics, Inc. Optical system for single camera stereo video
US5867210A (en) 1996-02-09 1999-02-02 Rod; Samuel R. Stereoscopic on-screen surgical microscope systems
JP3448795B2 (ja) 1996-04-11 2003-09-22 株式会社ニコン 眼科装置
JP4136011B2 (ja) 1996-04-30 2008-08-20 オリンパス株式会社 焦点深度伸長装置
JPH10303736A (ja) 1997-03-31 1998-11-13 Texas Instr Inc <Ti> 異なるしきい電圧のmosfetで形成した論理回路
AU737530B2 (en) 1997-04-17 2001-08-23 Avimo Group Limited Ocular microcirculation examination and treatment apparatus
US6247812B1 (en) 1997-09-25 2001-06-19 Vismed System and method for diagnosing and treating a target tissue
DE19837135C5 (de) * 1997-09-29 2016-09-22 Carl Zeiss Meditec Ag Afokales Zoomsystem
AUPO981997A0 (en) 1997-10-15 1997-11-06 Lions Eye Institute Of Western Australia Incorporated, The Stereo optic disc analyser
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
US6147797A (en) 1998-01-20 2000-11-14 Ki Technology Co., Ltd. Image processing system for use with a microscope employing a digital camera
US6088470A (en) 1998-01-27 2000-07-11 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
US6144762A (en) 1998-02-23 2000-11-07 Olympus America Inc. Stereo video microscope
US6468265B1 (en) 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
DE19854852C2 (de) 1998-11-27 2001-02-15 Univ Eberhard Karls Verfahren zur Selektion von Augenstellungs-Meßdaten und Vorrichtung zur Durchführung des Verfahrens
US6522906B1 (en) 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6285902B1 (en) 1999-02-10 2001-09-04 Surgical Insights, Inc. Computer assisted targeting device for use in orthopaedic surgery
JP2000262472A (ja) 1999-03-19 2000-09-26 Kowa Co 視野計
JP3943753B2 (ja) 1999-04-13 2007-07-11 ユニ・チャーム株式会社 使い捨ての汚れ拭き取り用具の製造方法
JP3538365B2 (ja) * 1999-05-31 2004-06-14 ペンタックス株式会社 ビデオ型立体顕微鏡
DE10027166B4 (de) 1999-05-31 2007-03-08 Pentax Corp. Stereoskopmikroskop
JP2003511174A (ja) 1999-10-13 2003-03-25 ライカ ミクロジュステムス(シュヴァイツ)アーゲー 情報差込入射装置を有するステレオ手術顕微鏡
KR100603543B1 (ko) 1999-10-21 2006-07-24 테크노라스 게엠베하 옵탈몰로지쉐 시스템 광학 치료용 홍체 인식 및 추적
AT409042B (de) * 1999-11-24 2002-05-27 Life Optics Handel Und Vertrie Sehhilfe
DE19961971B4 (de) 1999-12-22 2009-10-22 Forschungszentrum Karlsruhe Gmbh Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments
US7431455B2 (en) 2005-03-22 2008-10-07 Amo Manufacturing Usa, Llc Pupilometer for pupil center drift and pupil size measurements at differing viewing distances
US6685317B2 (en) 2000-06-13 2004-02-03 Massie Research Laboratories, Inc. Digital eye camera
US7025459B2 (en) 2000-07-14 2006-04-11 Visual Pathways, Inc. Ocular fundus auto imager
US6902569B2 (en) 2000-08-17 2005-06-07 Image-Guided Neurologics, Inc. Trajectory guide with instrument immobilizer
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
US6607527B1 (en) 2000-10-17 2003-08-19 Luis Antonio Ruiz Method and apparatus for precision laser surgery
DE10052201B8 (de) 2000-10-20 2005-06-30 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Identifizierung eines Patienten und eines Operationsgebietes
DE10064910A1 (de) 2000-12-23 2002-07-04 Leica Microsystems Optische Betrachtungseinrichtung
US6631990B2 (en) 2001-01-03 2003-10-14 Acmed, Inc. System for measuring distances in the anterior chamber of the eye
JP3679331B2 (ja) 2001-01-25 2005-08-03 株式会社エクスプローラ 屈折矯正装置
US6643070B2 (en) 2001-02-23 2003-11-04 Leica Microsystems (Schweiz) Ag Viewing tube for an optical device
US6596025B2 (en) 2001-03-15 2003-07-22 Valdemar Portney Narrow profile intraocular lens
CA2342414A1 (en) 2001-03-29 2002-09-29 Motic Instruments Inc. Digital imaging microscope
AU2001297967B2 (en) 2001-04-27 2006-01-05 Bausch & Lomb Incorporated Iris pattern recognition and alignment
DE10130278B4 (de) 2001-06-26 2005-11-03 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Darstellung eines Operationsgebietes bei Laseroperationen
US7385168B2 (en) 2001-07-06 2008-06-10 Palantyr Research, Llc Imaging system, methodology, and applications employing reciprocal space optical design
US20030021016A1 (en) 2001-07-27 2003-01-30 Grier David G. Parallel scanned laser confocal microscope
JP2003052058A (ja) * 2001-08-06 2003-02-21 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置
US6634751B2 (en) 2001-09-10 2003-10-21 Bausch & Lomb Incorporated Intraocular lens derivation system
US20050117118A1 (en) 2001-10-05 2005-06-02 David Miller Digital ophthalmic workstation
US20030071893A1 (en) 2001-10-05 2003-04-17 David Miller System and method of providing visual documentation during surgery
FR2833100B1 (fr) 2001-11-30 2004-03-12 Ge Med Sys Global Tech Co Llc Procede de reconstitution d'une image d'un organe
JP3978024B2 (ja) 2001-12-03 2007-09-19 株式会社ニデック 眼科装置及び角膜手術装置
DE10161613A1 (de) 2001-12-15 2003-06-18 Leica Microsystems Verfahren zur Selbstüberwachung eines Mikroskopsystems, Mikroskopsystem und Software zur Selbstüberwachung
US20030142271A1 (en) 2002-01-30 2003-07-31 Ross Denwood F. Aberration and corneal topography measurement
DE50307047D1 (de) 2002-02-04 2007-05-31 Zeiss Carl Surgical Gmbh Stereo-Untersuchungssysteme und Stereo-Bilderzeugungsvorrichtung sowie Verfahren zum Betrieb einer solchen
CA2476072A1 (en) 2002-02-13 2003-09-18 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals
WO2003079272A1 (en) 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US6924929B2 (en) 2002-03-29 2005-08-02 National Institute Of Radiological Sciences Microscope apparatus
WO2003102498A1 (en) 2002-05-30 2003-12-11 Visx, Inc. “tracking torsional eye orientation and position”
AU2003245758A1 (en) 2002-06-21 2004-01-06 Cedara Software Corp. Computer assisted system and method for minimal invasive hip, uni knee and total knee replacement
US20050007659A1 (en) 2002-09-03 2005-01-13 Stereovision Imaging, Inc. Focusing mechanism for stereoscopic systems
JP3931139B2 (ja) 2002-12-27 2007-06-13 興和株式会社 眼科撮影装置
JP4564239B2 (ja) 2003-04-11 2010-10-20 オリンパス株式会社 内視鏡装置
JP2007512854A (ja) 2003-04-28 2007-05-24 ブラッコ イメージング ソチエタ ペル アチオニ 手術用ナビゲーションシステム(カメラプローブ)
US7525586B2 (en) 2003-05-12 2009-04-28 Altasens, Inc. Image sensor and method with multiple scanning modes
US7052134B2 (en) 2003-05-29 2006-05-30 Nidek Co., Ltd. Fundus camera
JP4493408B2 (ja) 2003-06-06 2010-06-30 富士フイルム株式会社 画像読影支援方法及び装置並びにプログラム
US7458683B2 (en) 2003-06-16 2008-12-02 Amo Manufacturing Usa, Llc Methods and devices for registering optical measurement datasets of an optical system
JP3867143B2 (ja) 2003-06-25 2007-01-10 独立行政法人産業技術総合研究所 三次元顕微鏡システムおよび画像表示方法
US7313430B2 (en) 2003-08-28 2007-12-25 Medtronic Navigation, Inc. Method and apparatus for performing stereotactic surgery
CA2540167A1 (en) 2003-09-29 2005-05-12 Pathwork Informatics, Inc. Systems and methods for detecting biological features
CN101825762A (zh) * 2003-10-23 2010-09-08 安德里斯·奥布雷斯基 成像光学系统
DE102004050893B4 (de) 2003-10-31 2015-05-21 Carl Zeiss Meditec Ag Tubus mit zwei umschaltbaren Planoptikelementen zur wahlweisen Strahlengangvertauschung und Bildumkehr für ein Mikroskop sowie Mikroskop
DE10355527A1 (de) 2003-11-21 2005-06-09 Carl Zeiss Jena Gmbh Mikroskopkamera
US7524064B2 (en) 2004-03-09 2009-04-28 Research Foundation Of The State University Of New York Apparatus and method for assessing retinal damage
US7476248B2 (en) 2004-04-06 2009-01-13 Alcon, Inc. Method of calculating the required lens power for an opthalmic implant
US7901077B2 (en) 2007-05-24 2011-03-08 Amo Development Llc. Accommodation compensation systems and methods
DE102004030904A1 (de) 2004-06-25 2006-01-19 Neuhann, Thomas, Prof.Dr.med. Vorrichtung zum Erfassen der räumlichen Lage der optischen Achse eines Auges sowie zum Zentrieren eines Bezugssystems relativ zur optischen Achse
WO2006017013A2 (en) 2004-07-09 2006-02-16 Visx, Incorporated Laser pulse position monitor for scanned laser eye surgery systems
US8339447B2 (en) 2004-10-21 2012-12-25 Truevision Systems, Inc. Stereoscopic electronic microscope workstation
DE102004055683B4 (de) 2004-10-26 2006-09-07 Carl Zeiss Surgical Gmbh Augenchirurgie-Mikroskopiesystem und Verfahren hierzu
EP1825804A1 (en) 2004-10-27 2007-08-29 Kowa Company Ltd. Ophtalmological measuring apparatus
US7815631B2 (en) 2004-11-30 2010-10-19 Alcon Refractivehorizons, Inc. Eye registration system for refractive surgery and associated methods
JP4987233B2 (ja) * 2005-01-06 2012-07-25 オリンパス株式会社 レーザ走査型顕微鏡
US20060223037A1 (en) 2005-04-01 2006-10-05 Ingrid Tanda Device for teaching biblical scripture and method of using the same
US20070140673A1 (en) * 2005-07-14 2007-06-21 Butler-Smith Bernard J Multifunction dual lens matching device for stereoscopic 3D camera system
US7912258B2 (en) 2005-09-27 2011-03-22 Vanderbilt University Method and apparatus for standardizing ultrasonography training using image to physical space registration of tomographic volumes from tracked ultrasound
DE102006012388A1 (de) * 2005-10-20 2007-04-26 Carl Zeiss Surgical Gmbh Mikroskopiesystem
US8358330B2 (en) 2005-10-21 2013-01-22 True Vision Systems, Inc. Stereoscopic electronic microscope workstation
US20070188603A1 (en) 2005-10-21 2007-08-16 Riederer Thomas P Stereoscopic display cart and system
US8131343B2 (en) 2006-02-21 2012-03-06 Rainer Burgkart Implant location positioning system
US8474974B2 (en) 2006-02-24 2013-07-02 Amo Development Llc. Induced high order aberrations corresponding to geometrical transformations
US8454160B2 (en) 2006-02-24 2013-06-04 Amo Development, Llc Zone extension systems and methods
US7695136B2 (en) 2007-08-01 2010-04-13 Amo Development, Llc. Wavefront refractions and high order aberration correction when wavefront maps involve geometrical transformations
DE102006010767B4 (de) * 2006-03-08 2008-04-17 Carl Zeiss Surgical Gmbh Mikroskopiesystem
DE602006017895D1 (de) 2006-03-16 2010-12-09 Sis Ag Ophthalmologische vorrichtung und ophthalmologisches messverfahren
EP1868157A1 (en) 2006-06-14 2007-12-19 BrainLAB AG Shape reconstruction using X-ray images
JP4721981B2 (ja) * 2006-08-09 2011-07-13 三鷹光器株式会社 立体顕微鏡
US7927344B2 (en) 2006-10-13 2011-04-19 Burba Thomas A Eye positioner
US7831096B2 (en) 2006-11-17 2010-11-09 General Electric Company Medical navigation system with tool and/or implant integration into fluoroscopic image projections and method of use
US8088124B2 (en) 2007-01-19 2012-01-03 Technolas Perfect Vision Gmbh System and method for precise beam positioning in ocular surgery
JP5507797B2 (ja) * 2007-03-12 2014-05-28 キヤノン株式会社 頭部装着型撮像表示装置及び画像生成装置
US7899226B2 (en) 2007-04-03 2011-03-01 General Electric Company System and method of navigating an object in an imaged subject
US8414123B2 (en) 2007-08-13 2013-04-09 Novartis Ag Toric lenses alignment using pre-operative images
JP5134316B2 (ja) 2007-09-05 2013-01-30 株式会社東芝 医用画像診断装置
JP5623907B2 (ja) 2007-09-05 2014-11-12 アルコン レンゼックス, インコーポレーテッド レーザ手術におけるレーザ誘起保護シールド
DE102007045525A1 (de) * 2007-09-24 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor
US8081380B2 (en) * 2007-10-10 2011-12-20 Mckinley Harry R Stereoscopic zoom endoscope
US20090137988A1 (en) 2007-11-02 2009-05-28 Lensx Lasers, Inc Methods And Apparatus For Improved Post-Operative Ocular Optical Performance
US8357145B2 (en) 2007-11-12 2013-01-22 Boston Scientific Neuromodulation Corporation Implanting medical devices
US8477416B2 (en) * 2007-12-11 2013-07-02 Mitaka Kohki Co., Ltd. Stereomicroscope
WO2009085204A2 (en) 2007-12-23 2009-07-09 Oraya Therapeutics, Inc. Methods and devices for detecting, controlling, and predicting radiation delivery
US8012157B2 (en) 2007-12-28 2011-09-06 Illuminoss Medical, Inc. Internal bone fixation sizing device and methods
JP5033650B2 (ja) * 2008-01-10 2012-09-26 三鷹光器株式会社 オフセット型手術用マニピュレータ及び手術用顕微鏡システム
JP5390377B2 (ja) 2008-03-21 2014-01-15 淳 高橋 三次元デジタル拡大鏡手術支援システム
US20090236541A1 (en) 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
US9168173B2 (en) 2008-04-04 2015-10-27 Truevision Systems, Inc. Apparatus and methods for performing enhanced visually directed procedures under low ambient light conditions
JP5192892B2 (ja) * 2008-04-23 2013-05-08 オリンパスメディカルシステムズ株式会社 立体撮影光学系
US20100134759A1 (en) 2008-06-26 2010-06-03 Silvestrini Thomas A Digital imaging system for eye procedures
DE102008034490B4 (de) 2008-07-24 2018-12-20 Carl Zeiss Meditec Ag Augenchirurgiesystem und Verfahren zur Vorbereitung und Durchführung einer Augenoperation
US9226798B2 (en) 2008-10-10 2016-01-05 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for surgical applications
US10117721B2 (en) 2008-10-10 2018-11-06 Truevision Systems, Inc. Real-time surgical reference guides and methods for surgical applications
DE102008062650B9 (de) * 2008-12-17 2021-10-28 Carl Zeiss Meditec Ag Operationsmikroskop zur Beobachtung einer Infrarot-Fluoreszenz und Verfahren hierzu
US8529060B2 (en) 2009-02-19 2013-09-10 Alcon Research, Ltd. Intraocular lens alignment using corneal center
US9173717B2 (en) 2009-02-20 2015-11-03 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for intraocular lens implantation
US8472685B2 (en) 2009-08-12 2013-06-25 The Regents Of The University Of California Apparatus and method for surface capturing and volumetric analysis of multidimensional images
CA2774536C (en) 2009-09-18 2017-12-12 Amo Development, Llc Registration of corneal flap with ophthalmic measurement and/or treatment data for lasik and other procedures
US8784443B2 (en) 2009-10-20 2014-07-22 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for astigmatism correction
CN101765021A (zh) * 2009-12-16 2010-06-30 清华大学深圳研究生院 一种时分式双目立体显示方法及时分式双目立体显示系统
JP2011146815A (ja) * 2010-01-12 2011-07-28 Casio Computer Co Ltd ズレ補正装置、ズレ補正装置を備える3次元デジタルカメラ、ズレ補正方法及びズレ補正プログラム
US8845625B2 (en) 2010-01-22 2014-09-30 Optimedica Corporation Method and apparatus for automated placement of scanned laser capsulorhexis incisions
JP5544901B2 (ja) * 2010-01-26 2014-07-09 カシオ計算機株式会社 画角中心ズレ補正装置、撮像装置、画角中心ズレ補正方法及びプログラム
US20110213342A1 (en) 2010-02-26 2011-09-01 Ashok Burton Tripathi Real-time Virtual Indicium Apparatus and Methods for Guiding an Implant into an Eye
US8363091B2 (en) * 2010-03-31 2013-01-29 Fujifilm Corporation Stereoscopic image pick-up apparatus
US8502863B2 (en) * 2010-03-31 2013-08-06 Fujifilm Corporation Stereoscopic imaging apparatus
WO2011139827A1 (en) 2010-05-06 2011-11-10 Alcon Research, Ltd. Devices and methods for assessing changes in corneal health
US8625869B2 (en) 2010-05-21 2014-01-07 Siemens Medical Solutions Usa, Inc. Visualization of medical image data with localized enhancement
EP2618722B1 (en) 2010-09-20 2019-12-11 AMO Development, LLC System and methods for mitigating changes in pupil size
GB2499749A (en) * 2010-12-23 2013-08-28 Mattel Inc Method and system for disparity adjustment during stereoscopic zoom
US10500092B2 (en) 2010-12-30 2019-12-10 Amo Wavefront Sciences, Llc Treatment planning method and system for controlling laser refractive surgery
WO2012101917A1 (ja) * 2011-01-26 2012-08-02 富士フイルム株式会社 画像処理装置、撮像装置、再生装置および画像処理方法
EP2495597A1 (de) * 2011-03-01 2012-09-05 Möller-Wedel GmbH Operationsmikroskop mit zwei Vergrößerungssystemen
DE102011015149B4 (de) * 2011-03-25 2013-01-17 Carl Zeiss Meditec Ag Operationsmikroskopiesystem
US8978660B2 (en) 2011-07-21 2015-03-17 Amo Development, Llc Tilt compensation, measurement, and associated adjustment of refractive prescriptions during surgical and other treatments of the eye
US9330477B2 (en) * 2011-09-22 2016-05-03 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
US9766441B2 (en) * 2011-09-22 2017-09-19 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
JP5647740B2 (ja) * 2011-10-31 2015-01-07 富士フイルム株式会社 視差調節装置及び方法、撮影装置、再生表示装置
US20140187857A1 (en) * 2012-02-06 2014-07-03 Vantage Surgical Systems Inc. Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery
US20130226037A1 (en) * 2012-02-27 2013-08-29 Covidien Lp Ultra-wide angle zoom projection system for real time in-situ surgical metrology
EP3734607A1 (en) 2012-08-30 2020-11-04 Alcon Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
US20140114296A1 (en) 2012-10-24 2014-04-24 Optimedica Corporation Graphical user interface for laser eye surgery system
US9332899B2 (en) 2012-11-06 2016-05-10 Clarity Medical Systems, Inc. Electronic eye marking/registration
JP2014145968A (ja) * 2013-01-30 2014-08-14 Mitaka Koki Co Ltd 手術顕微鏡システム
WO2014138571A2 (en) 2013-03-07 2014-09-12 Adventist Health System/Sunbelt, Inc. Surgical navigation planning system and associated methods
AU2014228803B2 (en) 2013-03-15 2018-08-23 Ace Vision Group, Inc. Systems and methods for affecting the biomechanical properties of connective tissue
WO2015015717A1 (ja) * 2013-07-30 2015-02-05 パナソニックIpマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
WO2015054672A1 (en) * 2013-10-10 2015-04-16 The Regents Of The University Of California Ocular cellscope apparatus
KR20150043115A (ko) * 2013-10-14 2015-04-22 엘지전자 주식회사 Oct 장치
JP6210874B2 (ja) * 2013-12-25 2017-10-11 オリンパス株式会社 立体観察装置の調整治具及び立体観察システム
DE102014108811B3 (de) * 2014-06-24 2015-11-26 Carl Zeiss Meditec Ag Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang
JP6476701B2 (ja) * 2014-09-30 2019-03-06 カシオ計算機株式会社 撮像装置、レンズの位置ずれ補正方法及びプログラム
DE102014016850B9 (de) * 2014-11-13 2017-07-27 Carl Zeiss Meditec Ag Optisches System zur Fluoreszenzbeobachtung
WO2016154537A1 (en) * 2015-03-26 2016-09-29 Kent State University Compact non-mechanical zoom lens
JP2016225811A (ja) * 2015-05-29 2016-12-28 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3383247A4 (en) * 2015-11-25 2019-06-26 Camplex, Inc. SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS
CN106406016A (zh) * 2016-11-22 2017-02-15 胡善云 三维成像装置、三维成像系统及三维成像方法
JP3209543U (ja) 2017-01-12 2017-03-23 株式会社島津製作所 フレーム式原子吸光光度計

Also Published As

Publication number Publication date
US20210361379A1 (en) 2021-11-25
CN110892305B (zh) 2022-07-26
CN110892305A (zh) 2020-03-17
AU2018258089A1 (en) 2019-11-07
CN114945089A (zh) 2022-08-26
US20180303574A1 (en) 2018-10-25
EP4561056A2 (en) 2025-05-28
US20190274776A1 (en) 2019-09-12
CA3059237C (en) 2022-05-17
WO2018200309A3 (en) 2018-12-06
EP3615973B1 (en) 2025-04-16
US11058513B2 (en) 2021-07-13
US10299880B2 (en) 2019-05-28
AU2018258089B2 (en) 2023-06-01
WO2018200309A2 (en) 2018-11-01
US11529210B2 (en) 2022-12-20
JP2020519930A (ja) 2020-07-02
EP3615973A2 (en) 2020-03-04
JP2021119398A (ja) 2021-08-12
EP4561056A3 (en) 2025-08-13
JP6875550B2 (ja) 2021-05-26
CA3059237A1 (en) 2018-11-01
JP7225300B2 (ja) 2023-02-20

Similar Documents

Publication Publication Date Title
ES3030838T3 (en) Stereoscopic visualization camera and platform
US11571272B2 (en) Stereoscopic camera with fluorescence visualization
TWI734106B (zh) 立體視覺化攝影機及整合機器人平台
US20230122367A1 (en) Surgical visualization systems and displays
US11336804B2 (en) Stereoscopic visualization camera and integrated robotics platform
US20210227200A1 (en) Open view, multi-modal, calibrated digital loupe with depth sensing
ES2220574T3 (es) Ayuda de vision en forma de unas gafas-lupa con dispositivo de enfoque automatico.
ES2807208T3 (es) Aumento en procedimientos oftálmicos y dispositivos, sistemas y métodos asociados
US20250169916A1 (en) Stereoscopic camera with fluorescence strobing based visualization
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
WO2019093426A1 (ja) 観察装置、観察ユニット及び観察方法
ES2957696T3 (es) Sistema de imágenes y procedimiento de observación