ES2818174T3

ES2818174T3 - Mejora de imagen endoscópica usando ecualización de histograma adaptativo limitado por contraste (CLAHE) implementada en un procesador

Info

Publication number: ES2818174T3
Application number: ES16797096T
Authority: ES
Inventors: Itay Sidar; Tal Davidson; Achia Kronman; Lior Mor; Idan Levy
Original assignee: EndoChoice Inc
Current assignee: EndoChoice Inc
Priority date: 2015-05-17
Filing date: 2016-05-16
Publication date: 2021-04-09
Anticipated expiration: 2036-05-16
Also published as: US20230362340A1; US20200092526A1; WO2016187124A1; EP3297515A1; US12231829B2; US20250159121A1; US20220239878A1; EP3297515B1; US10516865B2; EP3297515A4; US11750782B2; EP3747349A1; US10791308B2; US11330238B2; US20160335751A1; US20200374499A1

Abstract

Un procedimiento para mejorar imágenes obtenidas por al menos dos elementos de visualización en un sistema de endoscopio (100, 210) usando un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE) en el que dicho sistema de endoscopio (100, 210) incluye un controlador (230, 320) que tiene un módulo de placa base que comprende una matriz de puertas programable en campo (FPGA) (323, 402) configurada para implementar dicho algoritmo, comprendiendo dicho procedimiento las etapas de: introducir flujos de vídeo del espacio de color YCbCr a un adaptador en dicha FPGA; convertir dichos flujos de vídeo del espacio de color YCbCr en flujos de vídeo del espacio de color de Lab dentro de dicho adaptador; enviar dichos flujos de vídeo del espacio de color de Lab a un capturador de fotogramas en dicha FPGA; capturar dichos flujos de vídeo del espacio de color de Lab como fotogramas del espacio de color de Lab dentro de dicho capturador de fotogramas; extraer dichos fotogramas del espacio de color de Lab del capturador de fotogramas utilizando un módulo de recuperación en dicha FPGA; reorganizar los datos del fotograma del espacio de color de Lab dentro de dicho módulo de recuperación para generar flujos de Lab retardados; enviar dichos flujos de Lab retardados para separar módulos dentro de un algoritmo de interpolación en dicha FPGA; y procesar dichos flujos de Lab retardados con dicho algoritmo CLAHE dentro de dichos módulos separados para generar flujos de Lab con contraste mejorado.

Description

DESCRIPCIÓN

Mejora de imagen endoscópica usando ecualización de histograma adaptativo limitado por contraste (CLAHE) implementada en un procesador

Campo

La presente memoria descriptiva se refiere en general a sistemas de endoscopia y, más en particular, a un sistema de endoscopia de múltiples elementos de visualización que mejora la imagen mediante la implementación de un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE) en un procesador, preferentemente una matriz de puertas programable en campo (FPGA).

Antecedentes

Los endoscopios han logrado una gran aceptación dentro de la comunidad médica, ya que proporcionan un medio para realizar procedimientos con un trauma mínimo para el paciente al tiempo que permiten al médico ver la anatomía interna del paciente. A lo largo de los años, se han desarrollado y categorizado numerosos endoscopios de acuerdo con aplicaciones específicas, tales como cistoscopia, colonoscopia, laparoscopia, endoscopia digestiva alta y otras. Los endoscopios pueden insertarse en los orificios naturales del cuerpo o mediante una incisión en la piel. Un endoscopio suele ser un eje tubular alargado, rígido o flexible, que tiene una cámara de vídeo o un conjunto de lentes de fibra óptica en su extremo distal. El eje está conectado a un mango que a veces incluye un ocular para una visualización directa. La visualización también suele ser posible a través de una pantalla externa. Se pueden insertar varias herramientas quirúrgicas a través de un canal de trabajo en el endoscopio para realizar diferentes procedimientos quirúrgicos.

Los endoscopios, como los colonoscopios, que se utilizan actualmente, suelen tener una cámara frontal para ver el órgano interno, tal como el colon, un iluminador, un inyector de líquido para limpiar la lente de la cámara y, a veces, también el iluminador, y un canal de trabajo para la inserción. de herramientas quirúrgicas, por ejemplo, para extirpar pólipos que se encuentran en el colon. A menudo, los endoscopios también tienen inyectores de líquido ("chorro") para limpiar una cavidad del cuerpo, tal como el colon, en la que se insertan. Los iluminadores utilizados habitualmente son fibras ópticas que transmiten luz, generada de forma remota, a la sección de la punta del endoscopio. También se conoce el uso de diodos emisores de luz (LED) para iluminación.

Los endoscopios actuales ofrecen opciones limitadas para controlar las características de las imágenes de vídeo que muestran. La ecualización de histograma adaptativo limitado por contraste limitado (CLAHE) es un algoritmo de procesamiento de imágenes que se utiliza para intensificar el contraste tanto de la luminancia como del color en las regiones de la imagen, dependiendo de un umbral de procesamiento definido por el usuario. Como resultado de la intensificación, se mejoran los detalles finos y, por lo tanto, un médico puede detectarlos y diagnosticarlos mejor. El documento US 2012/209287 A1 desvela un procedimiento de mejora del contraste local que transforma una primera pluralidad de componentes de color de una primera imagen de color visual en un componente de brillo modificado mediante el uso de una primera transformación. La primera pluralidad de componentes de color está en un primer espacio de color. El componente de brillo modificado es un componente de brillo de un segundo espacio de color. El segundo espacio de color también incluye una pluralidad de componentes cromáticos. El procedimiento transforma todos los componentes de color del primer espacio de color en los componentes cromáticos del segundo espacio de color. A continuación, el procedimiento transforma el componente de brillo modificado y los componentes cromáticos del segundo espacio de color en una pluralidad de nuevos componentes de color, en el primer espacio de color, de una segunda imagen de color visual. El procedimiento transmite la pluralidad de nuevos componentes de color a un dispositivo, tal como un dispositivo de visualización.

Existe la necesidad en la técnica de procedimientos de procesamiento de imágenes que se puedan implementar dentro de las limitaciones de tamaño y hardware de los dispositivos médicos, tales como los endoscopios, y que también proporcionen una opción para controlar el contraste y/o el ruido en el color y las imágenes de vídeo y así mejorar las imágenes.

Sumario

A continuación se describen las realizaciones tratadas en la presente memoria descriptiva. Estas realizaciones no son necesariamente realizaciones de la invención. La invención se define únicamente por las reivindicaciones. En algunas realizaciones, la presente memoria descriptiva desvela un controlador para un sistema de endoscopio de múltiples elementos de visualización, que comprende: un módulo de placa base; una matriz de puertas programable en campo (FPGA) configurada para implementar un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE) para mejorar las imágenes obtenidas por dicho sistema de múltiples elementos de visualización. Opcionalmente, dicha FPGA comprende un adaptador que tiene módulos de conversión. Aún opcionalmente, dicha FPGA comprende un capturador de fotogramas. Opcionalmente, dicha FPGA comprende un módulo de recuperación. Aún opcionalmente, dicha FPGA comprende un algoritmo de interpolación. Aún opcionalmente, dicha FPGA comprende además un controlador de histograma.

Opcionalmente, dicho módulo de placa base comprende además memoria DDR3 en comunicación con dicho capturador de fotogramas.

En algunas realizaciones, la presente memoria desvela un procedimiento para mejorar imágenes obtenidas por un sistema de endoscopio de múltiples elementos de visualización que usa un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE) en el que dicho sistema de endoscopio incluye un controlador que tiene un módulo de placa base que comprende un procesador, tal como un unidad de procesamiento general o matriz de puertas programable en campo (FPGA), configurada para implementar dicho algoritmo, comprendiendo dicho procedimiento las etapas de: introducir flujos de vídeo de espacio de color YCbCr en un adaptador en dicho procesador; convertir dichos flujos de vídeo de espacio de color YCbCr en flujos de vídeo de espacio de color Lab dentro de dicho adaptador; empujar dichos flujos de vídeo de espacio de color Lab a un capturador de fotogramas en dicho procesador; capturar dichos flujos de vídeo del espacio de color Lab como fotogramas del espacio de color Lab dentro de dicho capturador de fotogramas; extraer dichos fotogramas del espacio de color Lab del capturador de fotogramas usando un módulo de recuperación en dicho procesador; reorganizar los datos del fotograma del espacio de color Lab dentro de dicho módulo de recuperación para generar flujos Lab retardados; empujar dichos flujos Lab retardados para separar módulos dentro de un algoritmo de interpolación en dicho procesador; y procesar dichos flujos Lab retardados con dicho algoritmo CLAHE dentro de dichos módulos separados para generar flujos Lab con contraste mejorado.

Opcionalmente, la conversión de dichos flujos de espacio de color YCbCr en flujos de vídeo de espacio de color Lab comprende las etapas de: realizar la conversión de YCbCr a RGB utilizando la instancia MAD; realizar una función similar a Y (x) = x A 2,40 usando una LUT; realizar la conversión de RGB a XYZ mediante la instancia MAD; ejecutar una función similar a Y (x) = x ^a0,33 usando una LUT; y realizar la conversión de XYZ a Lab mediante la instancia MAD.

Opcionalmente, dicho procedimiento comprende además convertir dichos flujos LAB con contraste mejorado en flujos YCbCr con contraste mejorado. Aún opcionalmente, dicha conversión de los flujos Lab con contraste mejorado en flujos YCbCr con contraste mejorado comprende las etapas de: realizar la conversión Lab a XYZ usando la instancia MAD; ejecutar una función similar a Y (x) = x a 0,33 usando una LUT; realizar la conversión de XYZ a RGB mediante la instancia MAD; realizar una función similar a Y (x) = x a (1/2,40) usando una LUT; y realizar la conversión de RGB a YCbCr utilizando la instancia MAD.

En algunas realizaciones, la presente memoria descriptiva desvela un procedimiento para mejorar imágenes obtenidas por al menos dos elementos de visualización en un sistema de endoscopio usando un procedimiento de ecualización de histograma adaptativo limitado por contraste (CLAHE) en el que dicho sistema de endoscopio incluye un controlador que tiene un módulo de placa base que comprende una matriz de puertas programable en campo (FPGA) configurada para implementar dicho procedimiento, comprendiendo dicho procedimiento las etapas de: introducir dos flujos de vídeo de espacio de color YCbCr desde al menos dos elementos de visualización a un adaptador en dicha FPGA, proporcionando cada elemento de visualización un flujo de vídeo de espacio de color YCbCr; convertir los al menos dos flujos de vídeo de espacio de color YCbCr en al menos dos flujos de vídeo de espacio de color Lab correspondientes dentro de dicho adaptador; enviar los al menos dos flujos de vídeo de espacio de color Lab a un capturador de fotogramas en dicha FPGA; capturar los al menos dos flujos de vídeo de espacio de color Lab como correspondientes a al menos dos fotogramas de espacio de color Lab dentro de dicho capturador de fotogramas; extraer los al menos dos fotogramas del espacio de color Lab del capturador de fotogramas utilizando un módulo de recuperación en dicha FPGA; reorganizar los datos del fotograma del espacio de color Lab dentro de dicho módulo de recuperación para generar al menos dos flujos Lab retardados correspondientes a los al menos dos fotogramas del espacio de color Lab extraídos por el módulo de recuperación; empujar los al menos dos flujos Lab retardados para que correspondan al menos con dos módulos separados dentro de un algoritmo de interpolación en dicha FPGA; y procesar cada flujo Lab retardado con dicho algoritmo CLAHE dentro de dichos módulos separados para generar al menos dos flujos Lab con contraste mejorado.

Opcionalmente, la conversión de un flujo de espacio de color YCbCr en un flujo de vídeo de espacio de color Lab comprende las etapas de: realizar la conversión de YCbCr a RGB usando la instancia MAD; realizar una función similar a Y (x) = x ^a2,40 usando una LUT; realizar la conversión de RGB a XYZ mediante la instancia MAD; ejecutar una función similar a Y (x) = x a 0,33 usando una LUT; y realizar la conversión de XYZ a Lab mediante la instancia MAD.

Opcionalmente, el procedimiento de mejorar las imágenes obtenidas por al menos dos elementos de visualización comprende además convertir cada uno de los al menos dos flujos Lab con contraste mejorado en al menos dos flujos YCbCr con contraste mejorado correspondientes.

Opcionalmente, convertir cada flujo Lab con contraste mejorado en un flujo YCbCr con contraste mejorado comprende las etapas de: realizar la conversión Lab a XYZ usando la instancia MAD; ejecutar una función similar a Y (x) = x ^a0,33 usando una LUT; realizar la conversión de XYZ a RGB mediante la instancia MAD; realizar una función similar a Y (x) = x A (1/2,40) usando una LUT; y realizar la conversión de RGB a YCbCr utilizando la instancia MAD.

Opcionalmente, el procedimiento de mejora de imágenes en el que las imágenes se obtienen a partir de tres elementos de visualización comprende las etapas de: introducir tres flujos de vídeo de espacio de color YCbCr desde los tres elementos de visualización a un adaptador en dicha FPGA; convertir los tres flujos de vídeo del espacio de color YCbCr en los correspondientes tres flujos de vídeo del espacio de color Lab dentro de dicho adaptador; empujar los tres flujos de vídeo del espacio de color Lab a un capturador de fotogramas en dicha FPGA en forma de un flujo de vídeo obtenido de un solo elemento de visualización, estando una entrada Y del capturador de fotogramas alimentada por un flujo de vídeo de espacio de color Lab del primer elemento de visualización, estando una entrada Cb del capturador de fotogramas alimentada por un flujo de vídeo del espacio de color Lab del segundo elemento de visualización y estando una entrada Cr del capturador de fotogramas alimentada por un flujo de vídeo de espacio de color Lab del tercer elemento de visualización; capturar los tres flujos de vídeo del espacio de color Lab como correspondientes tres fotogramas del espacio de color Lab dentro de dicho capturador de fotogramas; extraer los tres fotogramas del espacio de color Lab del capturador de fotogramas utilizando un módulo de recuperación en dicha FPGA; reorganizar los datos del fotograma del espacio de color Lab de los tres fotogramas del espacio de color Lab dentro de dicho módulo de recuperación para generar tres flujos Lab retardados correspondientes a los tres marcos del espacio de color Lab extraídos por el módulo de recuperación; empujar los tres flujos Lab retardados a los tres módulos separados correspondientes dentro de un algoritmo de interpolación en dicha FPGA; y procesar cada flujo Lab retardado con dicho algoritmo CLAHE dentro de dichos módulos separados para generar tres flujos Lab con contraste mejorado, siendo un primero, un segundo y un tercer flujo Lab con contraste mejorado, correspondiendo cada flujo Lab con contraste mejorado a un elemento de visualización del endoscopio.

Opcionalmente, el primer elemento de visualización es un elemento de visualización izquierdo del endoscopio, el segundo elemento de visualización es un elemento de visualización central del endoscopio y el tercer elemento de visualización es un elemento de visualización derecho del endoscopio.

Opcionalmente, el primero de los tres flujos Lab con contraste mejorado se muestra como una primera imagen en una o más pantallas de visualización acopladas al controlador, el segundo de los tres flujos Lab con contraste mejorado se muestra como una segunda imagen en una o más pantallas de visualización acopladas al controlador, y el tercero de los tres flujos Lab con contraste mejorado se muestra como una tercera imagen en una o más pantallas de visualización acopladas al controlador.

Opcionalmente, cada flujo Lab con contraste mejorado se muestra como una imagen con contraste mejorado en un dispositivo de visualización acoplado con el controlador, comprendiendo cada imagen mejorada con contraste una pluralidad de fotogramas que tienen un mayor grado de contraste en comparación con la correspondiente pluralidad de fotogramas en la imagen correspondiente obtenida a partir de un elemento de visualización del endoscopio antes de ser procesado usando el procedimiento de mejora de imagen de la presente memoria descriptiva.

Las realizaciones mencionadas anteriormente y otras realizaciones de la presente memoria descriptiva se describirán con mayor profundidad en los dibujos y la descripción detallada que se proporciona a continuación. Breve descripción de los dibujos

Se apreciarán estas y otras características y ventajas, a medida que se entiendan mejor con referencia a la siguiente descripción detallada cuando se considere en relación con los dibujos adjuntos, en los que:

La figura 1 ilustra un sistema de endoscopia de múltiples cámaras, de acuerdo con algunas realizaciones de la presente memoria descriptiva;

la figura 2 representa esquemáticamente un diseño e ejemplo de un sistema de endoscopia y una unidad de interfaz desplegados en un quirófano, de acuerdo con una realización de la presente memoria descriptiva; la figura 3 es un diagrama de bloques que ilustra una arquitectura de procesamiento de vídeo de ejemplo, de acuerdo con una realización de la presente memoria descriptiva;

la figura 4A ilustra los componentes de una matriz de puertas programable en campo (FPGA) y su periferia, de acuerdo con una realización de la presente memoria descriptiva;

la figura 4B ilustra la derivación de una función de distribución acumulativa (CDF) lograda recortando un histograma usando un umbral bajo, de acuerdo con una realización de la presente memoria descriptiva;

la figura 4C ilustra la derivación de una CDF lograda recortando un histograma, usando un umbral más alto que el mostrado en la Figura 4B, de acuerdo con una realización de la presente memoria descriptiva;

la figura 5A es un diagrama de flujo que ilustra las etapas de mejora de imágenes obtenidas mediante un sistema de endoscopio de múltiples elementos de visualización que usa un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE), de acuerdo con una realización de la presente memoria descriptiva; la figura 5B es un diagrama de flujo que ilustra las etapas de mejora de imágenes obtenidas por un sistema de endoscopio que tiene tres elementos de visualización, utilizando un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE), de acuerdo con una realización de la presente memoria descriptiva; la figura 6A ilustra una canalización de procedimiento que convierte el espacio de color YCbCr en espacio de color Lab, de acuerdo con las realizaciones de la memoria descriptiva;

la figura 6B es un diagrama de flujo que ilustra las etapas realizadas por la canalización de procedimiento mostrada en la figura 6A;

la figura 7A ilustra una canalización de procedimiento que convierte el espacio de color Lab en espacio de color YCbCr, de acuerdo con realizaciones de la memoria descriptiva;

la figura 7B es un diagrama de flujo que ilustra las etapas realizadas por la canalización de procedimiento mostrada en la figura 7A;

la figura 8A ilustra una imagen tradicional capturada por un endoscopio colocado dentro de una cavidad corporal; y

la figura 8B ilustra la imagen de la figura 8A mejorada utilizando el procedimiento de la presente memoria descriptiva.

Descripción detallada

La presente memoria descriptiva desvela sistemas y procedimientos para mejorar imágenes mediante el uso de un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE) en un procesador, tal como una matriz de puertas programable en campo (FPGA). Las imágenes pueden obtenerse mediante los elementos de formación de imágenes de un endoscopio de múltiples elementos de formación de imágenes de un sistema de endoscopia.

La presente memoria descriptiva se refiere a múltiples realizaciones.

Como se usan en el presente documento, los artículos indefinidos "un" y "una" significan "al menos uno" o "uno o más" a menos que el contexto indique claramente lo contrario.

Cabe señalar en el presente documento que cualquier característica o componente descrito en asociación con una realización específica puede usarse e implementarse con cualquier otra realización a menos que se indique claramente lo contrario.

Las realizaciones de procedimientos y/o dispositivos de la memoria descriptiva pueden implicar realizar o completar tareas seleccionadas de forma manual, automática o una combinación de las mismas. Algunas realizaciones de la memoria descriptiva se implementan con el uso de componentes que comprenden hardware, software, firmware o combinaciones de los mismos. En algunas realizaciones, algunos componentes son componentes de uso general, como ordenadores u osciloscopios de uso general. En algunas realizaciones, algunos componentes son componentes dedicados o personalizados, tal como circuitos, circuitos integrados o software.

Por ejemplo, en algunas realizaciones, al menos una parte de los procedimientos puede implementarse como una pluralidad de instrucciones de software ejecutadas por un procesador de datos, que puede ser parte de un ordenador de uso general o personalizado. En algunas realizaciones, el procesador de datos u ordenador comprende una memoria volátil para almacenar instrucciones y/o datos y/o un almacenamiento no volátil, por ejemplo, un disco duro magnético y/o un medio extraíble, para almacenar instrucciones y/o datos. En algunas realizaciones, la implementación incluye una conexión de red. En algunas realizaciones, la implementación incluye una interfaz de usuario, que generalmente comprende uno o más dispositivos de entrada (por ejemplo, que permite la entrada de comandos y/o parámetros) y dispositivos de salida (por ejemplo, que permite informar parámetros de funcionamiento y resultados).

Debe apreciarse que ciertas características de la memoria descriptiva que, por motivos de claridad, se describen en el contexto de realizaciones distintas, pueden también combinarse en una única realización. A la inversa, diversas características de la memoria descriptiva, que, por brevedad, se describen en el contexto de una única realización, también pueden proporcionarse por separado o en cualquier subcombinación adecuada o según sea adecuado en cualquier otra realización descrita de la memoria descriptiva. Ciertas características descritas en el contexto de diversas realizaciones no deben considerarse características esenciales de esas realizaciones, a menos que la realización no funcione sin esos elementos.

Se observa que el término "endoscopio" como se menciona en el presente documento puede hacer referencia, particularmente, a un colonoscopio, de acuerdo con algunas realizaciones, pero no se limita solo a colonoscopios. El término "endoscopio" puede referirse a cualquier instrumento utilizado para examinar el interior de un órgano hueco o cavidad del cuerpo.

También debe tenerse en cuenta que una pluralidad de términos, como sigue, que aparecen en esta memoria descriptiva, se usan indistintamente para aplicar o hacer referencia a componentes similares y de ninguna manera deben interpretarse como limitantes:

• "Tubo/cable de servicio" también puede denominarse "tubo/cable umbilical"

• Una "unidad de control principal" también puede denominarse "unidad de control", "controlador principal" o "caja de fusibles".

• Un "elemento de visualización" también puede denominarse dispositivo/componente de captura de imágenes, componentes de visualización, cámara, cámara de televisión o cámara de vídeo.

• Un "canal de trabajo" también puede denominarse "canal de servicio".

• Un "iluminador" también puede denominarse "fuente de iluminación" y, en algunas realizaciones, un LED.

• Un "eje flexible" también puede denominarse sección de flexión o mecanismo de vértebra.

• Un "flujo de vídeo" se refiere a una serie de fotogramas individuales. Debería apreciarse que, cuando los procedimientos y sistemas de la presente realización se aplican a un flujo de vídeo, se aplican a cada fotograma individual, según fotograma por fotograma o grupo de fotogramas.

Además, como se usa en esta memoria descriptiva, el término "cámara" se usa para describir un dispositivo para capturar luz. Por tanto, una cámara, en algunas realizaciones, comprende al menos un conjunto de lente óptica. En algunas realizaciones, el término "cámara" se usa para describir un conjunto de lente óptica y su sensor de imagen asociado. En algunas realizaciones, el término "cámara" se usa para describir un sistema de formación de imágenes ópticas, tal como un conjunto o conjuntos de lentes y conjuntos de detectores de estado sólido asociados. En algunas realizaciones, las expresiones "elemento de visualización" y "cámara" pueden usarse indistintamente.

Como se usa en la memoria descriptiva, la expresión "conjunto óptico" se usa para describir un conjunto de componentes que permite que el dispositivo endoscópico capture la luz y transforme esa luz en al menos una imagen. En algunas realizaciones, se emplean lentes/elementos ópticos para capturar LA luz y se emplean dispositivos de captura de imágenes, tales como sensores, para transformar esa luz en al menos una imagen.

Los dispositivos de captura de imágenes pueden ser Dispositivos de Carga Acoplada (CCD) o sensores de imagen de semiconductores complementarios de óxido metálico (CMOS), u otros dispositivos adecuados que tengan una superficie sensible a la luz que se pueda utilizar para capturar una imagen. En algunas realizaciones, se emplea un sensor tal como un Dispositivo de Carga Acoplada (CCD) o un sensor de imágenes de semiconductor complementario de óxido metálico (CMOS) (para detectar la luz reflejada recibida por un elemento óptico).

En algunas realizaciones, un elemento óptico comprende una pluralidad de elementos ópticos tales como conjuntos de lentes, lentes y vidrio protector, y está configurado para recibir la luz reflejada desde los objetos objetivo.

Un conjunto óptico, como se usa en la memoria descriptiva, comprende al menos un conjunto de lentes, su o sus sensores asociados y su placa de circuito asociada. En algunas realizaciones, un "conjunto óptico" puede comprender más de un elemento de visualización o cámara, uno más sensores asociados y una o más placas de circuito asociadas. En algunas realizaciones, un "conjunto óptico" puede comprender un elemento de visualización frontal, su sensor asociado y su placa de circuito asociada. En algunas realizaciones, un "conjunto óptico" puede comprender un elemento de visualización frontal, sus sensores asociados y su placa de circuito asociada y/o al menos un elemento de visualización lateral, sus sensores asociados y sus placas de circuito asociadas. Además, el conjunto óptico normalmente está asociado con al menos un iluminador para iluminar el campo de visión. Por tanto, por ejemplo, un conjunto óptico que apunta hacia el frente incluye un elemento de visualización que apunta al frente con un sensor asociado, una placa de circuito asociada y está asociado con al menos un iluminador.

Los endoscopios que se utilizan actualmente suelen tener elementos de visualización frontal y lateral para visualizar los órganos internos, iluminadores, un inyector de fluido para limpiar la lente de los elementos de visualización y, a veces, también iluminadores y un canal de trabajo para la inserción de herramientas quirúrgicas. Los iluminadores utilizados normalmente son fibras ópticas que transmiten luz, generada de forma remota, a la sección de la punta del endoscopio. También se conoce el uso de diodos emisores de luz (LED) para iluminación.

Se puede insertar una sección de la punta del conjunto de endoscopio en el cuerpo de un paciente a través de un orificio corporal natural, tal como la boca, la nariz, la uretra, la vagina o el ano.

De acuerdo con una realización de la presente memoria descriptiva, un capuchón en la punta puede alojar la sección de la punta. La sección de la punta, con el capuchón de la punta, se puede girar o maniobrar por medio de un eje flexible, que también puede denominarse sección de flexión, por ejemplo, un mecanismo de vértebra. El capuchón de la punta puede configurarse para que encaje sobre las partes internas de la sección de la punta, incluido un conjunto de placa de circuito electrónico y un componente de canalización de fluido, y para proporcionar protección a los componentes internos en las partes internas, tal como una cavidad corporal. A continuación, el endoscopio puede realizar procedimientos de diagnóstico o quirúrgicos dentro de la cavidad corporal. La sección de la punta lleva uno o más elementos de visualización, tales como cámaras, para ver áreas dentro de las cavidades corporales que son el objetivo de estos procedimientos.

El capuchón de la punta puede incluir paneles que tengan una superficie transparente, ventana o abertura para conjuntos de lentes ópticas de elementos de visualización. Los paneles y los elementos de visualización se pueden ubicar en la parte frontal y en los lados de la sección de la punta. Los conjuntos de lentes ópticas pueden incluir una pluralidad de lentes, estáticas o móviles, que proporcionan diferentes campos de visión.

Puede configurarse un conjunto de placa de circuito electrónico para transportar los elementos de visualización, que pueden verse a través de las aberturas de los paneles. Los elementos de visualización pueden incluir un sensor de imágenes, tal como, entre otros, un Dispositivo de Carga Acoplada (CCD) o un sensor de imágenes de Semiconductor complementario de óxido metálico (CMOS).

El conjunto de placa de circuito electrónico puede configurarse para llevar iluminadores que pueden proporcionar iluminación a través de las ventanas ópticas del iluminador. Los iluminadores pueden estar asociados con elementos de visualización y pueden colocarse para iluminar los campos de visión de los elementos de visualización.

Uno o más iluminadores pueden iluminar los campos de visualización de los elementos de visualización. En una realización, los iluminadores pueden ser iluminadores de fibra óptica que transportan luz de fuentes remotas. Las fibras ópticas son portadores de luz que transportan luz desde una fuente de luz ubicada remotamente a los iluminadores. Las fibras ópticas se extienden a lo largo de un tubo de inserción entre la sección de la punta en un extremo distal del endoscopio y un mango en un extremo proximal. Un tubo umbilical/auxiliar conecta el mango a una unidad de control principal. La unidad de control principal permite controlar varias funciones del conjunto del endoscopio, incluida la energía suministrada y la comunicación de señales entre el endoscopio y su pantalla, entre otras.

A continuación se hace referencia a la Figura 1, que muestra un sistema 100 de endoscopia de múltiples elementos de visualización. El sistema 100 puede incluir un endoscopio 102 de múltiples elementos de visualización. El endoscopio 102 de múltiples elementos de visualización puede incluir un mango 104, del cual emerge un eje alargado 106. El eje 106 alargado termina con una sección 108 de punta que se puede girar por medio de una sección 110 de flexión. El mango 104 puede usarse para maniobrar el eje 106 alargado dentro de una cavidad corporal. El mango puede incluir uno o más botones y/o perillas y/o interruptores 105 que controlan la sección 110 de flexión así como funciones tales como la inyección y la succión de fluido. El mango 104 puede incluir además al menos una, y en algunas realizaciones, una o más aberturas 112 del canal de trabajo a través de las cuales se pueden insertar herramientas quirúrgicas, así como una o más aberturas laterales del canal de servicio.

Un cable 114 de servicio, también denominado tubo umbilical, puede conectarse entre el mango 104 y una Unidad 199 de Control Principal. El cable 114 de servicio puede incluir en él uno o más canales de fluido y uno o más canales eléctricos. El canal o canales eléctricos pueden incluir al menos un cable de datos para recibir señales de vídeo de los elementos de visualización frontales y laterales, así como al menos un cable de alimentación para proporcionar energía eléctrica a los elementos de visualización y a los iluminadores discretos.

La unidad 199 de control principal contiene los controles necesarios para visualizar las imágenes de los órganos internos capturadas por el endoscopio 102. La unidad 199 de control principal puede gobernar la transmisión de energía a la sección 108 de la punta del endoscopio 102, tal como para los elementos de visualización de la sección de punta e iluminadores. La unidad 199 de control principal puede controlar además una o más bombas de fluido, líquido y/o succión que suministran las funciones correspondientes al endoscopio 102. Uno o más dispositivos 118 de entrada, tales como un teclado, una pantalla táctil y similares, pueden conectarse a la unidad 199 de control principal con el fin de que se produzca la interacción humana con la unidad 199 de control principal. En la realización mostrada en la figura 1, la unidad 199 de control principal comprende una pantalla/visualización 120 para mostrar información operativa relativa a un procedimiento de endoscopia cuando el endoscopio 102 está en uso. La pantalla 120 puede configurarse para mostrar imágenes y/o flujos de vídeo recibidos de los elementos de visualización del endoscopio 102 de múltiples elementos de visualización. La pantalla 120 puede ser operativa además para mostrar una interfaz de usuario para permitir que un operador humano establezca varias características del sistema de endoscopia.

Opcionalmente, los flujos de vídeo recibidos de los diferentes elementos de visualización del endoscopio 102 de múltiples elementos de visualización pueden mostrarse por separado en al menos un monitor (no visto) cargando información desde la unidad 199 de control principal, ya sea en paralelo o de manera intercambiable (es decir, el operador puede cambiar entre vistas de diferentes elementos de visualización manualmente). Alternativamente, estos flujos de vídeo pueden ser procesados por la unidad 199 de control principal para combinarlos en un solo fotograma de vídeo panorámico, basado en una superposición entre los campos de visión de los elementos de visualización. En una realización, se pueden conectar dos o más pantallas a la unidad 199 de control principal, cada una para mostrar un flujo de vídeo desde un elemento de visualización diferente del endoscopio 102 de múltiples elementos de visualización. La unidad 199 de control principal se describe en la solicitud de patente de Estados Unidos número 14/263,896, titulada "Procesamiento de vídeo en un sistema de endoscopio compacto de múltiples elementos de visualización" y presentada el 28 de abril de 2014.

La figura 2 representa esquemáticamente un diseño de un sistema 210 de endoscopio y una unidad 2900 de interfaz asociada desplegada en una sala de operaciones, según algunas realizaciones. Un paciente 280 está apoyado en una cama 282 y un médico 284 puede emplear un endoscopio 220 del sistema 210 de endoscopio en un procedimiento endoscópico. Un asistente 286 ayuda al médico 284 al otro lado de la cama 282 frente al médico 284. El endoscopio 220 está conectado a un controlador principal 230 mediante un cable 232 de servicio. En realizaciones, el endoscopio 220 proporciona tres vistas endoscópicas simultáneas usando tres cámaras alojadas en la punta del endoscopio 220. El controlador 230 principal está conectado a tres pantallas 240a, 240b y 240c de visualización, en las que cada pantalla de visualización puede configurarse para mostrar una vista correspondiente de las tres vistas endoscópicas proporcionadas por el sistema 210 de endoscopio, sustancialmente como se HA descrito anteriormente. Las pantallas 240a, 240b y 240c de visualización están colocadas de cara al médico 284 y posiblemente elevadas de modo que el médico 284 pueda realizar el procedimiento endoscópico mirando las pantallas de visualización y teniendo una línea de visión sin perturbaciones a las mismas. En algunas realizaciones, las pantallas 240a, 240b y 240c de visualización tienen la forma de una única pantalla grande.

La unidad 2900 de interfaz comprende un procesador de imágenes encerrado con el controlador 230 principal y una unidad 2920 de pantalla de interfaz asociada funcionalmente con el procesador de imágenes. El procesador de imágenes recibe simultáneamente datos de imagen asociados con las tres vistas proporcionadas por el endoscopio 220 desde tres canales de imagen respectivos y genera imágenes que comprenden datos de imagen de las tres vistas, en las que las imágenes se pueden visualizar en la pantalla 2920 de la unidad de interfaz. Por ejemplo, las tres cámaras del endoscopio 220 pueden proporcionar tres flujos de vídeo entrantes, respectivamente, y el procesador de imágenes puede generar entonces un solo flujo de vídeo que comprende datos de imagen de los tres flujos de vídeo entrantes, sustancialmente como se ha descrito anteriormente.

De acuerdo con algunas realizaciones, la pantalla 2920 de la unidad de interfaz está asociada funcionalmente con el procesador de imágenes encerrado con el controlador 230 principal mediante un cable. En algunas realizaciones, la pantalla 2920 de la unidad de interfaz está asociada de forma inalámbrica con el procesador de imágenes. Según algunas realizaciones, la pantalla 2920 de la unidad de interfaz es sustancialmente portátil y se puede desplegar en una multitud de posiciones dentro del quirófano. Además, según algunas realizaciones, la pantalla 2920 de la unidad de interfaz puede desplazarse fácilmente desde una posición a otra posición dentro del quirófano durante un procedimiento. Por ejemplo, la pantalla 2920b o 2920c de la unidad de interfaz puede colocarse de modo que tanto el médico 284 como el asistente 286 puedan ver su pantalla, o la pantalla 2920a de la unidad de interfaz puede colocarse frente al asistente 286.

En algunas realizaciones, la unidad 2900 de interfaz comprende un ordenador de la unidad de interfaz, asociado funcionalmente con el controlador 230 principal y con el procesador de imágenes incluido en el mismo.

En algunas realizaciones, la unidad 2900 de interfaz comprende un módulo 2922 de interfaz de usuario asociado con la pantalla 2920 de la unidad de interfaz, y el asistente 286 puede emplear el módulo 2922 de interfaz de usuario para ordenar a la unidad 2900 de interfaz y/o al ordenador de la unidad de interfaz y/o el sistema 210 de endoscopio. Por ejemplo, el asistente 286 puede emplear el módulo 2922 de interfaz de usuario para introducir y almacenar, en el ordenador de la unidad de interfaz, información textual relacionada con el paciente, tal como datos biográficos relevantes, antes o durante un procedimiento endoscópico. Según algunas realizaciones, el módulo 2922 de interfaz de usuario comprende una pantalla 2924 táctil.

Según algunas realizaciones, el ordenador de la unidad de interfaz puede comunicarse con una red informática, sustancialmente como se describe anteriormente y utilizando un punto de acceso 290 instalado en el quirófano y permitiendo el acceso a dicha red informática. El punto 290 de acceso puede comprender un conector LAN al que está conectado el ordenador de la unidad de interfaz a través de un cable LAN. Según algunas realizaciones, el punto 290 de acceso puede ser un módem Wi-Fi con el que el ordenador de la unidad de interfaz puede comunicarse de forma inalámbrica.

La figura 3 es un diagrama de circuito/componente que detalla la conexión operativa entre un controlador de vídeo o una placa 320 de circuito de controlador de la unidad de control principal 199 de la figura 1 y el endoscopio 310 y las unidades 350 de visualización. Con referencia a la figura 3, la placa 320 de circuito controlador/controlador de vídeo comprende una placa 321 de cámara que controla las fuentes de alimentación a los LED 311, transmite controles para el funcionamiento de los sensores 312 de imagen (correspondientes a una o más cámaras) en el endoscopio, y convierte las señales 313 de prevídeo de los sensores 312 de imagen en señales de vídeo estándar. Los sensores 312 de imagen pueden ser dispositivos de carga acoplada (CCD) o generadores de imágenes de semiconductores complementarios de óxido metálico (CMOS). La placa 321 de cámara recibe la señal o señales 313 de pre-vídeo generadas por los generadores de imágenes del CCD y también otros comandos 314 remotos desde el endoscopio 310.

La placa 320 de circuito del controlador comprende además elementos para procesar el vídeo obtenido de los sensores 312 de imagen a través de la placa 321 de la cámara, así como otros elementos para la supervisión y el control del sistema. Todos estos elementos están conectados con un Módulo de Placa Base 352, que es una placa de circuito impreso (PCB). En varias realizaciones, algunos de estos elementos son circuitos integrados (IC) que están conectados por soldadura, un elemento 326 (SOM o Sistema en Módulo) se conecta mediante montaje, mientras que todos los demás elementos están conectados por medio de cables.

Varios elementos conectados con el Módulo de Placa Base 352 se describen a continuación:

FPGA (Matriz de Puertas Programable en campo) 323:

Una FPGA 323 es un dispositivo lógico programable que se puede personalizar para los requisitos del sistema y realiza tareas que pueden clasificarse en dos tipos: tareas lógicas que se implementan, preferentemente mediante hardware (en lugar de software) y tareas lógicas relacionadas con el procesamiento de imágenes de vídeo. En una realización, el Módulo de Placa Base 352 puede incluir uno o más módulos de memoria dinámica de acceso aleatorio síncrona (DDR3) 333 del tipo de velocidad de datos doble en comunicación con FP-GA 323.

Las tareas lógicas que se implementan preferentemente por hardware pueden incluir, entre otras:

1. Inicialización de algunos circuitos integrados del Módulo de Placa Base 352 al encender el sistema;

2. Botones 340 de supervisión para el Equilibrio de blancos, encendido/apagado de LED, Flujo de aire y Encendido/apagado en el panel frontal 335;

3. Supervisión del correcto funcionamiento del SOM 326 mediante un mecanismo de vigilancia;

4. Realización de una copia de seguridad de algunos de los parámetros del sistema (ejemplo: nivel del flujo de aire), incluso cuando el sistema está apagado; y

5. Comunicación con la Placa de la Cámara 321.

Las tareas lógicas relacionadas con el procesamiento de imágenes de vídeo (que pueden tener parámetros configurables por software) incluyen, aunque sin limitaciones:

1. Multiplexación de entradas de vídeo: cada uno de los múltiples elementos de imagen tiene varias interfaces de vídeo que se multiplexan a través de una Interfaz 351 de Entrada de Vídeo. Además, en algunas realizaciones, varios auxiliares se multiplexan a través de una interfaz 325 de entrada de vídeo auxiliar.

2. Patrón de prueba interno para salidas de vídeo a través de la interfaz 324 de Salida de Vídeo para múltiples pantallas.

3. Conversión entre el patrón de vídeo de las cámaras para mostrar el patrón de vídeo.

4. Inserción de OSD (Visualización en Pantalla), también conocida como superposición gráfica.

5. PIP (Imagen en Imagen).

6. Unión de imágenes de varias cámaras en una imagen que se muestra en una sola pantalla.

7. Ajustes de imagen, tal como el brillo, el contraste, etc.

interfaz 325 de entrada de vídeo auxiliar:

En una realización opcional, la interfaz 325 de entrada de vídeo auxiliar puede comprender vídeo analógico, tal como en color, vídeo, supresión, sincronización (CVBS), S-Vídeo o formato ^yP^bP^ro vídeo digital (DVI), y puede mostrarse como tal.

SOM (Sistema en Módulo) 326:

El SOM 326 puede proporcionar una interfaz para dispositivos de entrada, tal como teclado, ratón y pantalla táctil a través de Touch I/F 327. A través de estos dispositivos de entrada, junto con los botones 340 en el panel frontal 335, el usuario puede controlar la funcionalidad del sistema y los parámetros operativos. En una realización, un bus de interconexión rápida de componentes periféricos (PCIe) conecta el SOM 326 con la FPGA 323. Los tipos de tráfico de datos a través del PCIe pueden incluir:

a. SOM 326 a FPGA 323: Comandos (por ejemplo, cuando el usuario cambia los parámetros operativos); y b. FPGA 323 a SOM 326: Registra valores, que proporcionan una indicación del estado interno y las imágenes capturadas.

Otras funcionalidades:

La placa 320 de circuito del controlador puede controlar además una o más bombas de fluido, líquido y/o succión que suministran las funcionalidades correspondientes al endoscopio a través de una I/F 328 neumática, una bomba 329 y una válvula 330 de retención. La placa 320 de circuito del controlador puede comprender además una fuente 345 de alimentación integrada y un panel 335 frontal que puede proporcionar botones 340 operativos para el usuario.

La placa 321 de la cámara puede recibir una o más señales 313 de vídeo que, en una realización, comprenden tres alimentaciones de vídeo, correspondientes a tomas de vídeo por tres elementos de visualización de la punta del endoscopio (uno frontal y dos elementos de visualización laterales), según lo generado por el o los sensores 312 de la imagen correspondiente. En una realización, las tres tomas de alimentación de vídeo, correspondientes a los tres elementos de visualización (los elementos de visualización de vista frontal, de vista del lado izquierdo y de vista del lado derecho) de una punta endoscópica, se muestran en tres monitores respectivos.

Como se ha tratado anteriormente, la FPGA 323 incluye módulos lógicos para varios fines, de acuerdo con realizaciones de la memoria descriptiva. En algunas realizaciones, la FPGA 323 implementa un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE) para mejorar la formación de imágenes. CLAHE es un algoritmo de procesamiento de imágenes para intensificar el contraste tanto de la luminancia y como el color en regiones de imagen donde las diferencias entre los píxeles vecinos son pequeñas. Como resultado, se mejoran los detalles finos que un médico puede detectar y diagnosticar mejor. En realizaciones, un endoscopio que usa CLAHE puede proporcionar imágenes mejoradas de pólipos o vasos sanguíneos en la pared del intestino. En realizaciones, estas imágenes son imágenes de vídeo en tiempo real capturadas por una o más cámaras del endoscopio.

La figura 4A ilustra los componentes de una FPGA 402, que puede ser similar a la FPGA 323 de la figura 3, de acuerdo con algunas realizaciones de la presente memoria descriptiva. La figura 4A también ilustra un dispositivo 470 de memoria DDR3 en comunicación con la FPGA 402. En algunas realizaciones, la FPGA 402 y el dispositivo 470 de memoria DDR3 están ubicados en un módulo de placa base 401 dentro de un sistema de endoscopio. En realizaciones, la FPGA 402 recibe imágenes capturadas por todos los elementos de visualización en el sistema de endoscopio. En realizaciones alternativas, cada elemento de visualización puede estar en comunicación con una FPGA, similar a la FPGA 402.

En algunas realizaciones, la entrada 403 de YCbCr desde cada elemento de visualización se introduce a través de las canalizaciones 404 a un adaptador 405. En algunas realizaciones, cada entrada YCbCr es de 8 bits, 10 bits o de cualquier otra longitud por componente. En una realización, la entrada YCbCr para el adaptador 405 es de 10 bits por componente. El adaptador 405 incluye módulos 406 "Lab, 10b". El adaptador 405 convierte la entrada 403 de YCbCr utilizada como parte de la canalización de imágenes en color en un espacio de color Lab, de acuerdo con algunas realizaciones. Un espacio de color "Lab" es un espacio de color con la dimensión 'L' para la luminosidad y "a" y "b" para las dimensiones del oponente de color, basado en coordenadas comprimidas no linealmente. El espacio de color Lab incluye todos los colores perceptibles. El espacio de color Lab está diseñado para ser perceptualmente uniforme y permite la correlación de la mejora del contraste de la imagen de un algoritmo utilizado en el presente documento y descrito posteriormente con su calidad de percepción. Una imagen de mapa de bits representada como Lab requiere más datos por píxel para obtener la misma precisión que su mapa de bits YCbCr homólogo. En algunas realizaciones, cada entrada 403 YCbCr que incluye 10 bits por componente de color es convertida por el adaptador 405 en un flujo de vídeo de espacio de color Lab de 12 bits por componente, de los cuales los 12 bits se usan para el componente L, mientras que 10 bits se usan para cada uno de los componentes de color a y b, con un total de 32 bits por píxel Lab.

El flujo de vídeo, es decir, el conjunto de fotogramas, generado por el adaptador 405 puede conducirse a dos destinos diferentes y, por tanto, puede tener al menos dos fines. El primer fin es, en algunas realizaciones, impulsar una línea de retraso que comprende una DDR3470 integrada y un capturador 450 de fotogramas interno de FPGA. En algunas realizaciones, un retraso del fotograma (si el vídeo es progresivo, cuando está entrelazado, como es el caso de los sensores NTSC actuales donde el retraso es un campo de vídeo) puede introducirse a través de la línea de retraso. En realizaciones alternativas, la línea de retraso puede implementarse como una memoria interna de FPGA. Como se ha mencionado anteriormente, la ruta de la línea de retraso DDR3 470, alimentada desde el adaptador 405, usa 12 bits para el componente L y 10 bits para cada uno de los componentes a y b (32 bits en total para un píxel Lab). En algunas realizaciones, DDR3470 admite ocho bancos por memoria, de los cuales dos bancos se utilizan para la línea de retraso de fotograma.

En algunas realizaciones, la FPGA 402 comprende un único capturador 450 de fotogramas interno de FPGA, común a todos los elementos de visualización. Debe apreciarse que la FPGA 402, en algunas realizaciones, comprende una pluralidad de capturadores de fotogramas internos de FPGA, similares al capturador 450 de fotogramas. En algunas realizaciones, hay al menos tres capturadores de fotogramas internos de FPGA, uno correspondiente a cada uno de los tres elementos de visualización o cámaras del endoscopio. Además, cada uno de la pluralidad de capturadores de fotogramas tiene una memoria DDR3 integrada (similar a la DDR3470). Por tanto, la placa 401 base incluye una pluralidad de componentes de memoria DDR3 asociados con la pluralidad de capturadores de fotogramas. En aún otras realizaciones, el uso de la memoria DDR3 integrada, para la línea de retraso, es opcional para reducir la latencia y el hardware de repuesto.

En realizaciones, el capturador 450 de fotogramas se alimenta con tres flujos de vídeo (uno por elemento de visualización), cada uno de los cuales comprende un espacio de color Lab. Los fotogramas individuales de los flujos se convierten mediante el adaptador 405 para formar flujos de vídeo digital compatibles. Una de las funciones implementadas por el adaptador 405 es hacer que el flujo de vídeo que alimenta el capturador 450 de fotogramas parezca como si se introdujera desde un solo elemento de visualización, y no múltiples elementos de visualización (tal como los tres elementos de visualización utilizados para el fin de esta descripción). En algunas realizaciones, la entrada Y del capturador 450 de fotogramas es alimentada por un Lab del elemento de visualización izquierdo, la entrada Cb por un Lab del elemento del elemento de visualización central y la entrada Cr por un Lab del elemento de visualización derecho, lo que significa que el capturador 450 de fotogramas es alimentado por tres elementos de visualización. Este modo de funcionamiento puede ser ventajoso al usar un único capturador de fotogramas (para usar con endoscopios de una cámara de acuerdo con algunas realizaciones) con un endoscopio de múltiples cámaras.

En algunas realizaciones, los fotogramas del espacio de color Lab, correspondientes a los tres elementos de visualización, se recuperan del capturador 450 de fotogramas mediante un módulo 460 de recuperación. El módulo 460 de recuperación puede realizar un seguimiento de la sincronización del fotograma de vídeo de entrada (por ejemplo, el recuento de líneas). En realizaciones, el módulo 460 de recuperación puede instruir al capturador 450 de fotogramas sobre qué filas recuperar desde DDR3 470. Estas filas se calculan a partir de las líneas de vídeo que pueden ser necesario mostrar y que están en un cambio de fase constante en relación con el fotograma de entrada. El módulo 460 de recuperación también reordena los datos de las filas recuperadas a un formato comprendido por un algoritmo 420 de interpolación. Los datos de las filas recuperadas pueden incluir tres flujos de vídeo (uno por cada elemento de visualización) donde cada flujo de vídeo comprende componentes Lab. Los flujos Lab retardados, correspondientes a cada elemento de visualización, se alimentan a módulos separados dentro del algoritmo 420 de interpolación donde se procesan de manera similar de acuerdo con el algoritmo CLA-HE de la presente memoria descriptiva.

Como se ha tratado, el flujo de vídeo generado por el adaptador 405 puede conducirse a dos destinos diferentes y, por lo tanto, puede tener al menos dos fines. Para el segundo fin, una segunda ruta de salida del adaptador 405 usa 6 bits por cada componente Lab para enviar a los elementos 410 que construyen y almacenan información de histograma de acuerdo con varias realizaciones de la presente memoria descriptiva. Se puede percibir que la salida de información de imagen del adaptador 405 está dividida en varios mosaicos por los elementos 410. Las unidades de las alturas de los mosaicos están en líneas de vídeo y las anchuras de los mosaicos están en píxeles. Los mosaicos pueden describirse por atributos, tales como las coordenadas verticales clave, incluido el inicio, el centro y el final. En las realizaciones, cada mosaico se solapa con sus mosaicos vecinos. La superposición puede reducir el efecto de mosaico o de borde. Como entienden los expertos en la técnica, un resultado del efecto de mosaico es que una imagen puede parecer que contiene una o más líneas verticales y/u horizontales que atraviesan los centros de los mosaicos. Las líneas verticales/horizontales pueden parecer que dividen la imagen en distintas regiones rectangulares, correspondientes a los mosaicos. Las regiones rectangulares pueden diferir en su luminancia y/o crominancia.

En las realizaciones, la superposición de mosaicos al máximo (50 % teórico - aproximadamente 48 % en la práctica, en cada lado, por eje) puede mitigar el efecto de mosaico en un grado razonable. Además, el uso de interpolación bicúbica en lugar de bilineal para la interpolación entre mosaicos puede reducir aún más el efecto de mosaico. Debe apreciarse que cuanto mayor sea el porcentaje de superposición, mejor será la reducción o mitigación del efecto de mosaico. Al mismo tiempo, la reducción del porcentaje de superposición puede aumentar el nivel de mejora local de la imagen, ya que los mosaicos pueden volverse más pequeños. Independientemente, tanto la localidad de mejora de la imagen como el efecto de mosaico mejoran a medida que aumenta el número de mosaicos. En algunas realizaciones, se utilizan/disponen 64 mosaicos como una matriz de 8x8, es decir, una estructura de mosaicos horizontales verticales de 8 x 8.

La latencia es necesaria en cualquier implementación de CLAHE en tiempo real, independientemente del tipo de plataforma que ejecute el algoritmo. La latencia práctica está entre el 30 % y el 100 % de los fotogramas, lo que significa que es imperceptible para el ojo humano (en circunstancias normales de 24 fotogramas por segundo o más), siempre que la latencia acumulada debida a otros elementos del sistema no alcance un límite crítico. La latencia CLAHE se debe al hecho de que antes de que el algoritmo 420 de interpolación pueda recuperar valores de CDF (Función de Distribución Acumulativa) de un par (par, debido a la interpolación bilineal en algunas realizaciones) de filas (mosaico) de histograma, se debe disponer de tiempo suficiente para que todos los píxeles cubiertos por dichas dos filas de mosaicos fluyeran hacia la FPGA 402 y construyeran los histogramas relevantes. Con la interpolación entre mosaicos bicúbica más preferible, en diversas realizaciones, se requiere una latencia aún mayor, ya que en lugar de dos filas, es necesario recuperar cuatro filas. Además, la etapa de transformar un histograma en una CDF mediante recorte, integración y normalización (así como otros procedimientos) añade más latencia. Por ejemplo, si hay cuatro filas de histograma (mosaicos) y se necesita un par de filas para la interpolación, el orden de magnitud de latencia se acercará al 50 % del fotograma. Una latencia práctica preferida sería del 100 % de los fotogramas (si el vídeo es progresivo) o del 100 % de campo (si el vídeo está entrelazado); esto se debe a que el ajuste de la gama (es decir, la minimización del problema de fuera de gama) requiere primero capturar un fotograma completo (o campo) para extraer sus estadísticas de ingreso (I) y mejoradas (E) (mínimo, promedio, máximo) como parte de la construcción de las funciones CDF. Cabe señalar que un retaso del 100 % también cubre el caso de recuperar cuatro filas de mosaicos como lo requiere la interpolación bicúbica.

Por línea de vídeo de entrada, el algoritmo CLAHE realiza acciones específicas. Por ejemplo, en una fila 0, las líneas de vídeo cubiertas por los mosaicos de la fila 0 son 0-70. Por lo tanto, en algún momento antes del inicio de estas líneas (línea 238, por ejemplo, el final del fotograma anterior), los histogramas se restablecen. En las líneas 0-70, los histogramas se están construyendo, por lo tanto, inmediatamente después, para reducir la latencia, las líneas 71-75 (76-79 son márgenes de seguridad o de reserva) convierten los histogramas en CDF. Para respaldar el caso en el que la fila 0 participa en una interpolación bilineal (junto con una fila 1), solo después de que la fila 1 finalice su propia generación de CDF (en la línea de entrada 135), puede ser la primera línea de vídeo que participa en la interpolación de la fila 0 1 recuperada y transmitida a la pantalla (línea 36 - centro de la fila 0). Este ejemplo también demuestra la latencia CLAHE: cuando la línea 36 se transmite a la pantalla (o la siguiente etapa de canalización), la línea de vídeo de entrada ya es 136, por lo tanto, la latencia es (136-36)/240 = 42 % de un fotograma (en realidad, un campo NTSC). Sin embargo, este ejemplo se aplica solo en las realizaciones en las que se usa la interpolación entre mosaicos bilineal y no se requiere el ajuste de la gama.

Se pueden asignar tres histogramas para cada mosaico, de modo que cada histograma corresponda a un componente de color (L/a/b). Los histogramas pueden formar funciones de distribución de los valores Lab relacionados con los píxeles de entrada que están cubiertos por el mosaico. La figura 4A ilustra un grupo de elementos de memoria incorporados en elementos 410 que corresponden a un elemento de visualización. Los elementos 410 pueden describir 384 histogramas (1 [elemento de visualización] x 3 [componentes de color de lab] x 8 [filas de histogramas] x 8 [histogramas por fila] x 2 [memoria intermedia]). Las dos memorias intermedias son necesarias en el caso de un retraso del 100 %, lo que requiere que una memoria intermedia de histogramas recopile el vídeo de entrada y se genere, mientras que la otra memoria intermedia contiene los histogramas del fotograma anterior y se convierte en una matriz de CDF. En el siguiente fotograma de vídeo de entrada, las memorias intermedias intercambian funciones. Esta técnica se llama almacenamiento en doble memoria intermedia. En otra realización en la que no se implementa el almacenamiento en doble memoria intermedia, los elementos 410 pueden describir 72 histogramas (3 componentes x 4 filas x 6 mosaicos = 72). De manera similar, en aún otra realización, los elementos 410 pueden describir 192 histogramas (3 componentes x 8 filas x 8 mosaicos = 192).

En algunas realizaciones, cada histograma se basa en un módulo de memoria de 9K bits interno de FPGA que proporciona 512 contenedores de 18 bits cada uno. En realizaciones alternativas, el número de histogramas puede variar, por ejemplo, el número podría ser 8x8 histogramas por componente de color. En realizaciones alternativas, para alcanzar una alta eficiencia de utilización de FPGA, el número de contenedores por histograma (y CDF) se puede reducir de 512 a, por ejemplo, 64 con dicho módulo de memoria de 9K bits que admite 8 histogramas en lugar de 1. En las realizaciones de la representación de CDF de 64 contenedores, la FPG^ausa interpolación bilineal entre dos contenedores de CDF adyacentes, para mejorar la precisión a un nivel comparable con el de los CDF de orden superior (256 contenedores, 512 contenedores, etc.).

En algunas formas de realización, un usuario puede establecer un umbral para los contenedores de histograma. En las realizaciones, el usuario da el umbral a través de una GUI ejecutada por SOM con la ayuda de una interfaz de entrada (teclado, ratón, pantalla táctil). En las realizaciones, cuando el médico desconecta el endoscopio y el sistema se vuelve a plegar para mostrar un generador de patrones, la FPGA 402 omite automáticamente los umbrales definidos por el usuario para que sean 0, por lo que la apariencia del generador de patrones parecerá natural para el usuario (el umbral de 0 es equivalente a la desactivación CLAHE). Una vez que se vuelve a conectar un endoscopio, se cancela la derivación; por lo tanto, se restauran los umbrales originales definidos por el usuario. Un medio alternativo de derivación comprende el uso de los píxeles Lab originales en la salida de las líneas de retraso, como la salida de CLAHE, sin reemplazarlos con los valores de CDF; por lo tanto, las CDF se omiten por completo. Los contenedores se pueden recortar más allá del nivel umbral establecido. Además, el exceso de muestras después del recorte se puede distribuir por igual en todos los contenedores del histograma. Como resultado, el usuario puede controlar el contraste y/o el ruido de una imagen que se muestra posteriormente.

Debería apreciarse que los umbrales definidos por el usuario los determina, preferentemente, un usuario basándose en lo que él o ella considera un contraste agradable. El rango de umbral teórico es [0,1], donde cero significa que no hay ninguna mejora, o desactivación del procedimiento CLAHE, y uno significa mejora máxima, que es la mejora máxima de color de CLAHE que es igual al máximo de la diferencia de contenedores CDF. en el mosaico más la interpolación. El valor máximo también se puede normalizar a otros rangos según la profundidad de bits de la imagen y el tamaño del mosaico.

La figura 4B ilustra la derivación de una CDF recortando un histograma, utilizando un umbral bajo, de acuerdo con una realización de la presente memoria descriptiva. Como se muestra, el histograma 4002 está recortado para obtener en primer lugar un gráfico 4004 intermedio que, tras el cálculo, da como resultado CDF 4008. Debido a la aplicación de un umbral más bajo durante el recorte, la CDF 4008 resultante se asemeja a una función de identidad (línea recta, pendiente constante). La figura 4C ilustra la derivación de una CDF recortando un histograma, usando un umbral más alto, de acuerdo con una realización de la presente memoria descriptiva. Como se muestra, el histograma 4010 está recortado para obtener en primer lugar un gráfico 4012 intermedio que, tras el cálculo, da como resultado CDF 4014. Debido a la aplicación de un umbral más alto durante el recorte, la CDF 4014 resultante tiene una pendiente pronunciada en la región donde el histograma alcanza su punto máximo, mientras que en otras regiones, la pendiente es moderada. En realizaciones, un nivel umbral de recorte se determina empíricamente y puede basarse en la preferencia de un médico. Para una medida dada de mejora del contraste, el umbral de recorte puede reducirse a medida que aumenta el número de histogramas (por componente de color). Esto se debe a que el aumento del número de histogramas para la misma resolución da como resultado menos píxeles cubiertos por un histograma. A la inversa, el umbral de recorte se puede aumentar a medida que aumenta la resolución de la imagen para el mismo número de mosaicos. Esto se debe a que ahora hay más píxeles cubiertos por un histograma. Cabe señalar que, en algunas realizaciones, el umbral de recorte se puede establecer por un componente de color específico (L/a/b) de una cámara específica (izquierda, frontal, derecha) de los endoscopios. Esto es útil, por ejemplo, en los casos en que las cámaras laterales (cámaras de visualización de los laterales izquierdo y derecho) pueden tener diferentes requisitos CLAHE de la cámara frontal, o donde la luminancia (L) puede tener diferentes requisitos CLAHE del color (a, b).

Los histogramas modificados, con contraste y ruido opcionalmente controlados, se pueden convertir en Funciones de Distribución Acumulativa (CDF) y normalizar, de modo que el contenido de contenedor de CDF correspondiente a un número de contenedor más alto puede representar el valor de escala completa de un componente L, a o b. Las CDF normalizadas resultantes se pueden utilizar como tablas de búsqueda (LUT) cuya entrada puede ser los valores de píxel L, a y b. La salida de las LUT puede ser valores de píxel L, a y b correspondientes de contraste modificado.

Volviendo a la figura 4A, la salida de los elementos 410 y el flujo 425 Lab retardado de 10 bits pueden alimentarse simultáneamente al módulo 420 de algoritmo de interpolación. El flujo 425 proporciona información relacionada con los valores Lab originales de los píxeles de entrada al módulo 420 de algoritmo de interpolación. La información se proporciona por píxel. El módulo 420 puede utilizar los valores Lab como entrada correspondiente a histogramas relevantes, que pueden estar en forma de CDF como se ha explicado anteriormente. En realizaciones, el módulo 420 puede interpolar desde un caso mínimo de cuatro hasta un caso máximo de treinta y dos (32) CDF por componente de color por cámara para obtener un píxel Lab único final con contraste mejorado. El primer caso, mínimo, se aplica cuando la interpolación entre mosaicos es bilineal y las CDF son amplias (es decir, 256, 512 o incluso más). El último caso, máximo, se aplica cuando la interpolación entre mosaicos es bicúbica y cada una de las 16 CDF es en sí misma una interpolación bilineal de dos CDF estrechas adyacentes (64 contenedores). Para cada píxel Lab de salida, se pueden seleccionar cuatro o dieciséis mosaicos respectivos. El píxel Lab puede residir en un rectángulo formado por puntos centrales de los cuatro (o dieciséis) mosaicos seleccionados. En las realizaciones, los valores Lab del píxel alimentan las LUT de sus respectivos cuatro (o dieciséis) mosaicos. Los valores Lab finales del píxel de salida pueden ser una interpolación bilineal de los cuatro conjuntos de valores Lab (o una interpolación bicúbica de los dieciséis conjuntos de valores Lab). Por tanto, el módulo 420 puede utilizar los valores de Lab para aplicar el algoritmo de interpolación con el fin de generar valores de Lab con contraste mejorado, de acuerdo con las realizaciones tratadas anteriormente. Los píxeles Lab con contraste mejorado se alimentan a los módulos 430 que los convierten en salidas de vídeo 440 de 10 bits YCbCr 4:2:2 con contraste mejorado.

Con referencia de nuevo a la figura 4A, los módulos 430 pueden implementarse con etapas sucesivas de multiplicación de matrices y suma de vectores (MAD) y funciones no lineales (implementadas como tablas de búsqueda, es decir, LUT). Las salidas 440 pueden alimentarse posteriormente a las siguientes etapas de la canalización de vídeo. El formateo de la salida 440 a YCbCr 4:2:2 de 10 bits puede mantener la compatibilidad entre los módulos existentes dentro de la FPGA 402 y puede reducir los esfuerzos de diseño.

En las realizaciones, cada componente dentro de la FPGA 402 puede incluir una combinación de uno o más de los siguientes elementos cuyas propiedades pueden variar según el proveedor de FPGA y la familia de FPGA:

1. tablas de búsqueda (LUT) para funciones combinatorias. Por tal LUT: Salida de 1 bit en función de la entrada de 4 ~ 6 bits.

2. Osciladores para operaciones secuenciales y registros.

3. Procesadores de señales digitales (DSP), es decir, multiplicadores y sumadores.

4. Módulos de memoria interna de 9K bits que se pueden usar, aunque sin limitaciones, como LUT de memoria de solo lectura (ROM), LUT de memoria de acceso aleatorio (RAM) y memorias de primero en entrar, primero en salir (FIFO). En las realizaciones, el tamaño de los módulos de memoria puede variar con otras familias de FPGA. En un ejemplo, se puede generar una salida de datos de 18 bits en respuesta a una dirección de entrada de 9 bits.

Las realizaciones de la presente memoria descriptiva se implementan como firmware, es decir, un módulo lógico instanciado en FPGA 402. La implementación puede operar simultáneamente en vídeo en vivo desde múltiples elementos de visualización, donde cada vídeo puede procesarse de forma independiente. Las realizaciones se pueden implementar en la canalización de procesamiento de vídeo entre la etapa de desmosaico (salidas DSP de los sensores) y la entrada del capturador de fotogramas (una de cuatro, utilizada para reescalar, hacer zoom, etc.). La implementación de acuerdo con varias realizaciones puede omitirse opcionalmente activando un conmutador 480 lógico interno de FPGA o estableciendo umbrales de recorte a cero, o configurando el interpolador para omitir las CDF. A continuación se muestran algunas de las ventajas de utilizar una implementación de FPGA en las realizaciones de la presente memoria descriptiva:

1. Fiabilidad. FPGA es una aplicación de firmware (es decir, hardware) que genera fiabilidad en una o más de las siguientes formas:

• El algoritmo se puede ejecutar incluso cuando el software falla. Esto es beneficioso durante los procedimientos en tiempo real en las clínicas.

• Es menos probable que el hardware/firmware falle en tiempo real que lo haga el software.

• Una vez simulados y probados a fondo, es menos probable que ocurran fallos inesperados, en comparación con el software.

• El algoritmo, así como todos los demás módulos de procesamiento de imágenes, puede comenzar a ejecutarse rápidamente después del encendido del sistema, sin tener que esperar a que el software se inicie mucho más lento. En una realización, pueden comenzar a funcionar en tres segundos.

2. Disponibilidad. Se puede evitar el uso de una Unidad de procesamiento General (GPU) en el sistema. La GPU puede complementar la FPGA pero no puede reemplazarla. Las limitaciones para usar una GPU pueden incluir:

• Un módulo adicional que puede fallar en el funcionamiento en tiempo real, especialmente cuando depende del software para su funcionamiento.

• Mayor coste de BOM.

• Fase de montaje del sistema más larga.

• Mantenimiento del sistema más complejo.

• Ingenieros de software adicionales para programar y depurar la GPU.

• Mayor tamaño del sistema.

• Mayor consumo de energía (aproximadamente 150 W o más, en comparación con los aproximadamente 8,5 W de FPGA en las realizaciones de la memoria descriptiva). Un mayor consumo de energía podría implicar un tamaño y un coste adicionales de la fuente de alimentación del sistema y una mayor disipación de calor, lo que requiere un ventilador más fuerte que da como resultado un mayor ruido acústico.

3. Complementación de la GPU. Incluso si el sistema incluye una GPU, aún vale la pena relevarlo de la tarea de ejecutar el algoritmo (por lo tanto, asignar la tarea a la FPGA) ya que el algoritmo introduce una carga computacional pesada en la GPU hasta el punto en que podría llegar en la forma en que la GPU ejecuta otros algoritmos importantes, tal como, por ejemplo, reconocimiento de patrones, imágenes 3d , OSD en tiempo real, etc.

4. Arquitectura. La experiencia muestra que un ordenador sin GPU tiene una potencia demasiado baja para ejecutar el algoritmo, ya que la velocidad de fotogramas de entrada equivalente máxima que puede manejar cae drásticamente a aproximadamente ~ 1-3 por segundo. En general, la arquitectura interna de una FPGa que permite realizar miles de tareas simultáneamente, en paralelo (incluso a costa de un reloj más lento -aproximadamente ~ 1/20 de un procesador) es más adecuada para este tipo de aplicación.

La figura 5A es un diagrama de flujo que ilustra las etapas de mejora de imágenes obtenidas por un sistema de endoscopio de múltiples elementos de visualización que usa un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE), de acuerdo con una realización de la presente memoria descriptiva. En la etapa 502, uno o más flujos de vídeo de espacio de color YCbCr, cada uno obtenido de uno o más elementos de visualización de un endoscopio, se introducen en un adaptador de una FPGA dentro del circuito controlador principal del endoscopio. En algunas realizaciones, la entrada de YCbCr de cada uno de al menos dos elementos de visualización del endoscopio se introduce en el adaptador. En algunas realizaciones, cada entrada YCbCr es de 8 bits, 10 bits o de cualquier otra longitud por componente. En una realización, la entrada YCbCr es de 10 bits por componente.

En la etapa 504, cada uno de los uno o más flujos de vídeo de espacio de color YCbCr se convierte en el número correspondiente de flujos de vídeo de espacio de color Lab dentro de dicho adaptador. En algunas realizaciones, el adaptador convierte cada entrada YCbCr que incluye 10 bits por componente de color en un flujo de vídeo de espacio de color Lab de 12 bits por componente, de los cuales los 12 bits se usan para el componente L, mientras que 10 bits se usan para cada uno de los componentes de color a y b, con un total de 32 bits por píxel de Lab.

En la etapa 506, cada uno de dichos uno o más flujos de vídeo de espacio de color Lab se envía a un capturador de fotogramas en dicha FPGA y en la etapa 508, dichos uno o más flujos de vídeo de espacio de color Lab se capturan como uno o más fotogramas de espacio de color Lab correspondientes dentro de dicho capturador de fotogramas. En algunas realizaciones, el capturador de fotogramas es alimentado por dos flujos de vídeo del espacio de color Lab, cada uno procedente de un elemento de visualización distinto del endoscopio.

En la etapa 510, dichos uno o más fotogramas de espacio de color Lab se recuperan del capturador de fotogramas usando un módulo de recuperación en dicha FPGA. El módulo de recuperación puede realizar un seguimiento de la temporización de los fotogramas de vídeo de entrada (es decir, el recuento de líneas) y puede indicar al capturador de fotogramas qué filas debe recuperar de un dispositivo de memoria asociado. Estas filas se calculan a partir de las líneas de vídeo que pueden ser necesario mostrar y que están en un cambio de fase constante en relación con el fotograma de entrada. En la etapa 512, los datos de fotogramas del espacio de color Lab de uno o más fotogramas de espacio de color Lab dentro de dicho módulo de recuperación se reorganizan para generar uno o más flujos Lab retardados correspondientes a uno o más fotogramas de espacio de color Lab extraídos por el módulo de recuperación. En la etapa 514, dichos uno o más flujos Lab retardados se envían a uno o más módulos separados dentro de un algoritmo de interpolación en dicha FPG^a, y cada flujo Lab retardado se alimenta a un módulo distinto dentro del algoritmo de interpolación. En la etapa 516, el uno o más flujos Lab retardados se procesan con dicho algoritmo CLAHE dentro de dichos módulos separados para generar uno o más flujos Lab correspondientes con contraste mejorado. En diversas realizaciones, el módulo de recuperación reordena los datos de las filas recuperadas a un formato comprendido por el algoritmo de interpolación. En una realización, los datos de las filas recuperadas pueden incluir dos flujos de vídeo (uno por cada elemento de visualización) donde cada flujo de vídeo comprende componentes Lab. Los flujos Lab retardados, correspondientes a cada elemento de visualización, se alimentan a módulos separados dentro del algoritmo de interpolación donde se procesan de manera similar de acuerdo con el algoritmo CLAHE como se describe en la presente memoria descriptiva.

La figura 5B es un diagrama de flujo que ilustra las etapas de mejora de imágenes obtenidas por un sistema de endoscopio que tiene tres elementos de visualización, utilizando un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE), de acuerdo con una realización de la presente memoria descriptiva. En la etapa 520 se introducen tres flujos de vídeo de espacio de color YCbCr, cada uno obtenido de uno de los tres elementos de visualización del endoscopio, en un adaptador de una FPGA dentro del circuito controlador principal del endoscopio. En algunas realizaciones, cada entrada YCbCr es de 8 bits, 10 bits o de cualquier otra longitud por componente. En una realización, la entrada YCbCr es de 10 bits por componente.

En la etapa 522, cada uno de los tres flujos de vídeo del espacio de color YCbCr se convierte en tres flujos de vídeo del espacio de color Lab, respectivamente, dentro de dicho adaptador. En algunas realizaciones, el adaptador convierte cada entrada YCbCr que incluye 10 bits por componente de color en un flujo de vídeo de espacio de color Lab de 12 bits por componente, de los cuales los 12 bits se usan para el componente L, mientras que 10 bits se usan para cada uno de los componentes de color a y b, con un total de 32 bits por píxel de Lab.

En la etapa 524, cada uno de los tres flujos de vídeo del espacio de color Lab se envía a un capturador de fotogramas en dicha FPGA y en la etapa 526, los tres flujos de vídeo del espacio de color Lab se capturan como los correspondientes tres fotogramas del espacio de color Lab dentro de dicho capturador de fotogramas. En algunas realizaciones, la entrada Y del capturador de fotogramas es alimentada por un Lab del elemento de visualización izquierdo, la entrada Cb por un Lab del elemento del elemento de visualización central y la entrada Cr por un Lab del elemento de visualización derecho, es decir, el capturador de fotogramas es alimentado por tres elementos de visualización. Este modo de funcionamiento puede ser ventajoso al usar un único capturador de fotogramas (para usar con endoscopios de una cámara de acuerdo con algunas realizaciones) con un endoscopio de múltiples cámaras.

En la etapa 528, los tres fotogramas del espacio de color Lab se recuperan del capturador de fotogramas utilizando un módulo de recuperación en dicha FPGA. El módulo de recuperación puede realizar un seguimiento de la temporización de los fotogramas de vídeo de entrada (es decir, el recuento de líneas) y puede indicar al capturador de fotogramas qué filas debe recuperar de un dispositivo de memoria asociado. Estas filas se calculan a partir de las líneas de vídeo que pueden ser necesario mostrar y que están en un cambio de fase constante en relación con el fotograma de entrada. En la etapa 530, los datos del fotograma del espacio de color Lab de los tres fotogramas de espacio de color Lab dentro de dicho módulo de recuperación se reorganizan para generar tres flujos Lab retardados, cada uno correspondiente a uno de los tres fotogramas del espacio de color Lab extraídos por el módulo de recuperación. En la etapa 532, los tres flujos Lab retardados se envían a tres módulos separados dentro de un algoritmo de interpolación en dicha FPGA, siendo cada flujo Lab retardado alimentado a un módulo distinto dentro del algoritmo de interpolación. En la etapa 534, los tres flujos Lab retardados se procesan con dicho algoritmo CLAHE dentro de dichos módulos separados para generar tres flujos Lab correspondientes con contraste mejorado. En diversas realizaciones, el módulo de recuperación reordena los datos de las filas recuperadas a un formato comprendido por el algoritmo de interpolación. En una realización, los datos de las filas recuperadas pueden incluir tres flujos de vídeo (uno por cada elemento de visualización) donde cada flujo de vídeo comprende componentes Lab. Los flujos Lab retardados, correspondientes a cada elemento de visualización, se alimentan a módulos separados dentro del algoritmo de interpolación donde se procesan de manera similar de acuerdo con el algoritmo CLAHE como se describe en la presente memoria descriptiva. En la etapa 536, cada flujo Lab con contraste mejorado se muestra como una imagen con contraste mejorado en uno o más dispositivos de visualización acoplados con el controlador.

La figura 6A ilustra una canalización de procedimiento que convierte el espacio de color YCbCr en espacio de color Lab, de acuerdo con las realizaciones de la memoria descriptiva. Esto se hace en los módulos Lab 406 10b (12b, en algunas realizaciones) dentro del adaptador 405 mostrado en la figura 4A. Los componentes YCbCr, o cualquier otro componente del espacio de color, que proceden de la cámara sufren estos procedimientos usando operadores lineales y no lineales. En las realizaciones, las MAD multiplican un vector de tres componentes por una matriz designada de 3x3, después añaden otro vector designado de 3 componentes. Las matrices y los vectores pueden ser únicos para cada instancia de MAD. Asimismo, en las realizaciones, las LUT pueden funcionar de forma independiente y simultánea en los tres componentes del vector de entrada para realizar funciones no lineales. Las funciones no lineales pueden ser únicas para cada instancia de LUT. Dentro de una LUT, se puede aplicar la misma función a los tres componentes.

El procedimiento de conversión de la figura 6A se ilustra para una cámara y se puede explicar en cinco etapas. En la etapa 602, una instancia MAD realiza la conversión de YCbCr en RGB. En 604, una LUT realiza una función similar a Y(x) = x A 2,40 (corrección gamma inversa, conocida por los expertos en la técnica). En 606, una instancia MAD realiza una conversión de RGB en XYZ. En 608, una ^lU^tejecuta una función similar a Y (x) = x ^a0,33 necesaria para la conversión Lab, que es conocida por los expertos en la técnica. En 610, una instancia MAD realiza la conversión de XYZ en Lab excluyendo la función no lineal, realizada ya en la etapa 608 anterior.

La figura 6B es un diagrama de flujo que ilustra las etapas realizadas por la canalización del procedimiento mostrada en la figura 6A. En la etapa 6102, se introduce un flujo de vídeo del espacio de color YCbCr en una instancia MAD para su conversión a un formato RGB. En la etapa 6104 se aplica una corrección de Gama inversa a los datos RGB de salida utilizando una LUT. En una realización, se aplica una función similar a Y (x) = x a 2,40 a los datos RGB. En la etapa 6106, la salida de datos RGB corregidos en la etapa 6104 se introduce en una instancia MAD para su conversión a un formato XYZ. En la etapa 6108 se aplica una función de corrección a los datos XYZ de salida utilizando una LUT. En una realización, se aplica una función similar a Y (x) = x a 0,33 a los datos XYZ. En la etapa 6120, la salida de datos XYZ corregidos en la etapa 6108 se introduce en una instancia MAD y se convierte a un formato LAB.

La figura 7A ilustra una canalización del procedimiento que convierte el espacio de color Lab en espacio de color YCbCr (o cualquier otro), de acuerdo con las realizaciones de la memoria descriptiva. Esto se hace en los módulos 430 que se muestran en la figura 4A. La canalización que se muestra en la figura 7A es la inversa de la canalización que se muestra en la figura 6A. Es posible que un formato Lab no permita que las pantallas muestren imágenes de vídeo de manera efectiva, por lo tanto, se vuelven a convertir en YCbCr (o cualquier otro espacio de color) que puede ser compatible con una o más pantallas utilizadas con el sistema de endoscopio.

El procedimiento de conversión de la figura 7A se ilustra para una cámara y puede explicarse en una pluralidad de etapas y, en una realización, cinco etapas. En la etapa 702, una instancia MAD realiza la conversión de Lab en XYZ, excluyendo la función no lineal, realizada en la siguiente etapa y es conocida por los expertos en la técnica. En la siguiente etapa 704, una LUT ejecuta una función similar a Y (x) = x A 3,00. En la etapa 706, una instancia MAD realiza la conversión de XYZ en RGB. En la etapa 708, una LUT ejecuta una función similar a Y (x) = x ^a(1/2,40) (corrección de gama). En la etapa 710, una instancia MAD realiza la conversión de RGB en YCbCr. En algunas realizaciones, los módulos 430 de la figura 4A pueden incluir un diezmador para convertir el YCbCr 4:4:4 en la salida de la etapa 520 YCbCr 4:2:2.

La figura 7B es un diagrama de flujo que ilustra las etapas realizadas por la canalización del procedimiento mostrada en la figura 7A. En la etapa 7102, se introduce un flujo de vídeo de espacio de color LAB en una instancia MAD para su conversión a un formato XYZ. En la etapa 7104 se aplica una función de corrección a los datos XYZ de salida utilizando una LUT. En una realización, se aplica una función similar a Y (x) = x a 3,00 a los datos XYZ. En la etapa 7106, la salida de datos XYZ corregidos en la etapa 7104 se introduce en una instancia MAD para su conversión a un formato RGB. En la etapa 7108 se aplica una función de corrección de gama inversa a los datos RGB de salida utilizando una LUT. En una realización, se aplica una función similar a Y (x) = x ^a(1/2,40) a los datos RGB. En la etapa 7120, los datos RGB corregidos, emitidos en la etapa 7108, se introducen en una instancia MAD y se convierten en un formato YCbCr.

La figura 8A ilustra una imagen 802 tradicional capturada por un endoscopio colocado dentro de una cavidad corporal. la figura 8B ilustra la imagen de la figura 8A mejorada utilizando el procedimiento de la presente memoria descriptiva. La imagen 804 presenta una imagen muy mejorada en comparación con la imagen 802 resultante del control del usuario sobre el contraste y el ruido de acuerdo con las realizaciones de la presente memoria descriptiva. Las ventajas de la implementación del firmware FPGA para la mejora de la imagen se han tratado anteriormente. Las realizaciones de la presente memoria descriptiva permiten la mejora de la imagen durante la captura y visualización de vídeo en tiempo real, además de permitir la mejora de la imagen de imágenes fijas. Además, las realizaciones de la memoria descriptiva operan en el espacio de color Lab, lo que permite una mayor capacidad de mejora del contraste. Además, la superposición de mosaicos, como se describe en las realizaciones anteriores, mejora aún más las implementaciones CLAHE tradicionales. Otra etapa más para la mejora es el uso de interpolación bicúbica para la interpolación entre mosaicos. Las diversas ventajas son aplicables simultáneamente a los vídeos capturados por múltiples elementos de visualización en un sistema de endoscopio.

Claims

REIVINDICACIONES

1. Un procedimiento para mejorar imágenes obtenidas por al menos dos elementos de visualización en un sistema de endoscopio (100, 210) usando un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE) en el que dicho sistema de endoscopio (100, 210) incluye un controlador (230, 320) que tiene un módulo de placa base que comprende una matriz de puertas programable en campo (FPGA) (323, 402) configurada para implementar dicho algoritmo, comprendiendo dicho procedimiento las etapas de:

introducir flujos de vídeo del espacio de color YCbCr a un adaptador en dicha FPGA;

convertir dichos flujos de vídeo del espacio de color YCbCr en flujos de vídeo del espacio de color de Lab dentro de dicho adaptador;

enviar dichos flujos de vídeo del espacio de color de Lab a un capturador de fotogramas en dicha FPGA; capturar dichos flujos de vídeo del espacio de color de Lab como fotogramas del espacio de color de Lab dentro de dicho capturador de fotogramas;

extraer dichos fotogramas del espacio de color de Lab del capturador de fotogramas utilizando un módulo de recuperación en dicha FPGA;

reorganizar los datos del fotograma del espacio de color de Lab dentro de dicho módulo de recuperación para generar flujos de Lab retardados;

enviar dichos flujos de Lab retardados para separar módulos dentro de un algoritmo de interpolación en dicha FPGA; y

procesar dichos flujos de Lab retardados con dicho algoritmo CLAHE dentro de dichos módulos separados para generar flujos de Lab con contraste mejorado.

2. El procedimiento de la reivindicación 1, en el que la conversión de dichos flujos del espacio de color YCb-Cr en flujos de vídeo del espacio de color de Lab comprende las etapas de:

realizar la conversión de YCbCr a RGB de los flujos YCbCr usando etapas de multiplicación de matrices y suma de vectores (MAD) instanciadas en dicha FPGA;

realizar una función de corrección gamma inversa Y (x) = x A 2,40 a los datos RGB usando una tabla de búsqueda (LUT);

realizar la conversión de RGB a XYZ de los datos RGB corregidos por gamma usando etapas MAD instanciadas en dicha FPGA;

ejecutar una función de corrección Y (x) = x ^a0,33 en los datos XYZ usando una LUT; y

realizar la conversión de XYZ a Lab de los datos XYZ corregidos utilizando etapas MAD instanciadas en dicha FPGA.

3. El procedimiento de la reivindicación 1, que comprende además convertir dichos flujos de Lab con contraste mejorado en flujos YCbCr con contraste mejorado.

4. El procedimiento de la reivindicación 3, en el que la conversión de dichos flujos de Lab con contraste mejorado en flujos YCbCr con contraste mejorado comprende las etapas de:

realizar la conversión de Lab a XYZ de los flujos de Lab usando las etapas de multiplicación y suma de vectores (MAD) instanciados en dicha FPGA;

ejecutar una función de corrección Y (x) = x a 0,33 en los datos XYZ usando una tabla de búsqueda (LUT); realizar la conversión XYZ a RGB de los datos XYZ corregidos usando etapas MAD instanciadas en dicha FPGA; realizar una función de corrección gamma inversa Y (x) = x a (1/2,40) a los datos RGB usando una LUT; y realizar la conversión de RGB a YCbCr de los datos RGB con corrección gamma utilizando las etapas MAD instanciadas en dicha FPGA.

5. Un procedimiento para mejorar imágenes obtenidas por al menos dos elementos de visualización en un sistema de endoscopio (100, 210) usando un algoritmo de ecualización de histograma adaptativo limitado por contraste (CLAHE) en el que dicho sistema de endoscopio (100, 210) incluye un controlador (230, 320) con un módulo de placa base que comprende un procesador configurado para implementar dicho algoritmo, comprendiendo dicho procedimiento las etapas de:

introducir dos flujos de vídeo del espacio de color YCbCr desde al menos dos elementos de visualización a un adaptador en dicho procesador, proporcionando cada elemento de visualización uno de dichos dos flujos de vídeo del espacio de color YCbCr;

convertir cada uno de los al menos dos flujos de vídeo del espacio de color YCbCr en al menos dos flujos de vídeo del espacio de color de Lab correspondientes dentro de dicho adaptador;

transmitir los al menos dos flujos de vídeo del espacio de color de Lab a un capturador de fotogramas en dicho procesador;

adquirir los al menos dos flujos de vídeo del espacio de color de Lab como correspondientes al menos dos fotogramas del espacio de color de Lab dentro de dicho capturador de fotogramas;

adquirir los al menos dos fotogramas del espacio de color de Lab del capturador de fotogramas usando un módulo de recuperación en dicho procesador;

reorganizar los datos del fotograma del espacio de color de Lab dentro de dicho módulo de recuperación para generar al menos dos flujos de Lab retardados correspondientes a los al menos dos fotogramas del espacio de color de Lab adquiridos por el módulo de recuperación;

transmitir los al menos dos flujos de Lab retardados a al menos dos módulos separados correspondientes que ejecutan un algoritmo de interpolación en dicho procesador; y

procesar cada flujo de Lab retardado con dicho algoritmo de interpolación dentro de dichos módulos separados para generar al menos dos flujos de Lab con contraste mejorado, en el que dicho algoritmo de interpolación es un algoritmo CLAHE.

6. El procedimiento de la reivindicación 5, en el que convertir un flujo del espacio de color YCbCr en un flujo de vídeo del espacio de color de Lab comprende las etapas de:

realizar la conversión de YCbCr a RGB del flujo YCbCr usando etapas de multiplicación y suma de vectores (MAD) instanciadas en dicho procesador;

realizar la conversión de RGB a XYZ de los datos RGB con corrección gamma usando etapas MAD instanciadas en dicho procesador;

ejecutar una función de corrección Y (x) = x a 0,33 en los datos XYZ usando una LUT; y

realizar la conversión de XYZ a Lab de los datos XYZ corregidos utilizando etapas MAD instanciadas en dicho procesador.

7. El procedimiento de la reivindicación 5, que comprende además convertir cada uno de los al menos dos flujos de Lab con contraste mejorado en al menos dos flujos YCbCr con contraste mejorado correspondientes.

8. El procedimiento de la reivindicación 7, en el que la conversión de cada flujo de Lab con contraste mejorado en un flujo YCbCr con contraste mejorado comprende las etapas de:

realizar la conversión de Lab a XYZ del flujo de Lab usando las etapas de multiplicación y suma de vectores (MAD) instanciadas en dicho procesador;

ejecutar una corrección Y (x) = x ^a0,33 usando una tabla de búsqueda (LUT);

realizar la conversión de XYZ a RGB de las etapas MAD de datos XYZ corregidos instanciadas en dicho procesador;

realizar una función de corrección gamma inversa Y (x) = x ^a(1/2,40) a los datos RGB a LUT; y

realizar la conversión de RGB a YCbCr de los datos RGB corregidos usando las etapas mAd instanciadas en dicho procesador.

9. El procedimiento para mejorar imágenes de la reivindicación 5, en el que las imágenes se obtienen a partir de tres elementos de visualización.

10. El procedimiento de la reivindicación 9, que comprende las etapas de:

introducir tres flujos de vídeo del espacio de color YCbCr desde los tres elementos de visualización a un adaptador en dicho procesador;

convertir los tres flujos de vídeo del espacio de color YCbCr en los correspondientes tres flujos de vídeo del espacio de color de Lab dentro de dicho adaptador;

transmitir las tres secuencias de vídeo del espacio de color de Lab a un capturador de fotogramas en dicho procesador en forma de un flujo de vídeo obtenido de un solo elemento de visualización, siendo una entrada Y del capturador de fotogramas alimentada por el flujo de vídeo del espacio de color de Lab de un primer elemento de visualización, siendo una entrada Cb del capturador de fotogramas alimentada por un flujo de vídeo del espacio de color de Lab de un segundo elemento de visualización y siendo una entrada Cr del capturador de fotogramas alimentada por el flujo de vídeo del espacio de color de Lab de un tercer elemento de visualización; adquirir los tres flujos de vídeo del espacio de color de Lab como correspondientes tres fotogramas del espacio de color de Lab dentro de dicho capturador de fotogramas;

transmitir los tres fotogramas del espacio de color de Lab desde el capturador de fotogramas utilizando un módulo de recuperación en dicho procesador;

reorganizar los datos del fotograma del espacio de color de Lab de los tres fotogramas del espacio de color de Lab dentro de dicho módulo de recuperación para generar tres flujos de Lab retardados correspondientes a los tres fotogramas del espacio de color de Lab adquiridos por el módulo de recuperación;

transmitir los tres flujos de Lab retardados a los tres módulos separados correspondientes que implementan un algoritmo de interpolación en dicho procesador; y

procesar cada flujo de Lab retardado con dicho algoritmo de interpolación dentro de dichos módulos separados para generar tres flujos de Lab con contraste mejorado, siendo un primer, un segundo y un tercer flujo de Lab con contraste mejorado, correspondiendo cada flujo de Lab con contraste mejorado a un elemento de visualización del endoscopio.

11. El procedimiento de la reivindicación 10, en el que el primer elemento de visualización es un elemento de visualización del lado izquierdo del endoscopio, el segundo elemento de visualización es un elemento de visualización frontal del endoscopio y el tercer elemento de visualización es un elemento de visualización del lado derecho del endoscopio; y/o en el que el primero de los tres flujos de Lab con contraste mejorado se muestra como una primera imagen en una o más pantallas de visualización (120, 240a, 240b, 240c) acopladas al controlador (230, 320), el segundo de los tres flujos de Lab con contraste mejorado se muestra como una segunda imagen en una o más pantallas de visualización acopladas al controlador (230, 320) y el tercero de los tes flujos de Lab con contraste mejorado se muestra como una tercera imagen en una o más pantallas de visualización acopladas al controlador (230, 320); y/o en el que cada flujo de Lab con contraste mejorado se muestra como una imagen con contraste mejorado en un dispositivo de visualización acoplado al controlador (230, 320), comprendiendo cada imagen con contraste mejorado una pluralidad de fotogramas que tienen un mayor grado de contraste en comparación con la correspondiente pluralidad de fotogramas en la imagen correspondiente obtenida de un elemento de visualización del endoscopio antes de ser procesada usando el procedimiento de mejora de imagen de la reivindicación 5.