ES2810812T3 - Dispositivo y método de procesamiento de imágenes - Google Patents

Abstract

Un dispositivo de procesamiento de imágenes para producir una imagen (120) restaurada a partir de una imagen (100) degradada de entrada, comprendiendo la imagen degradada de entrada un desenfoque por movimiento resultante del movimiento de la cámara durante la exposición, teniendo la imagen (120) restaurada un desenfoque menor que la imagen degradada, comprendiendo el dispositivo: una sección (224) de establecimiento de imagen inicial que establece una imagen restaurada provisional que ha sido producida a partir de la imagen (100) degradada usando una función de dispersión de punto, PSF, en donde la PSF provisional se establece en base a datos que representan la trayectoria de la cámara durante la exposición; caracterizado por una sección (226) de selección de bloque de imagen que selecciona una pluralidad de pares de bloques de imagen a partir de la imagen (100) degradada y de la imagen restaurada provisional, estando cada uno de los pares de bloques de imagen formado por dos bloques de imagen en idénticas coordenadas en la imagen (100) degradada y en la imagen restaurada provisional; una sección (228) de estimación de PSF que estima una pluralidad de funciones de dispersión de punto basadas respectivamente en la pluralidad de pares de bloques de imagen; una sección (230) de selección de PSF que selecciona una función de dispersión de punto candidato que define el desenfoque de la imagen degradada a partir de la pluralidad de funciones de dispersión de punto estimadas por la sección (228) de estimación de PSF mediante la selección de una PSF que tiene un error pequeño, estando el error basado en la proximidad de una imagen obtenida por medio de una convolución de la PSF y de una imagen restaurada provisional respecto a la imagen degradada; y una sección (232) de restauración de imagen que produce una imagen (120) restaurada a partir de la imagen (100) degradada usando la función de dispersión de punto candidato, en donde la imagen restaurada provisional es un nésima imagen restaurada provisional, y la imagen restaurada es una nésima imagen restaurada, donde n = 1, 2, ..., N (N es un número entero no inferior a 2), tras la producción de la nésima imagen restaurada, la sección (224) de establecimiento de imagen inicial actualiza la nésima imagen restaurada provisional con la nésima imagen restaurada, siendo la imagen restaurada actualizada usada como una (n+1)ésima imagen restaurada provisional, y la sección (226) de selección de bloque de imagen selecciona, a partir de la imagen (100) degradada y de la (n+1)ésima imagen restaurada provisional, otra pluralidad de pares de bloques de imagen de los que al menos algunos son diferentes de dicha pluralidad de pares de bloques de imagen, por lo que se repite la actualización de la función de dispersión de punto candidato y de la imagen restaurada.

Description

DESCRIPCIÓN

Dispositivo y método de procesamiento de imágenes

Campo técnico

La presente invención se refiere a un dispositivo y un método de procesamiento de imágenes para restaurar una imagen, y a un dispositivo de captura de imágenes que incluye el dispositivo de procesamiento de imágenes.

Técnica anterior

En el caso de la captura de una imagen por medio de una cámara digital, muchas veces puede que se añada ruido a la imagen debido a las características de un CCD (Dispositivo de Carga Acoplada) o a un circuito de lectura para CMOS o a las características de las rutas de transmisión. También, se produce el desenfoque de una imagen debido a la condición de estar fuera de foco en la captura de la imagen o un desenfoque de una imagen debido a las sacudidas de la cámara. De esta manera, la imagen capturada está desenfocada lo que se atribuye al manejo de la cámara por el usuario al hacer la fotografía, adicionalmente al ruido que se atribuye a características específicas de la imagen capturada, de modo que la imagen está degradada. Entre tales tipos de “desenfoque”, el desenfoque de una imagen que se atribuye a un movimiento de la cámara durante la toma de fotografías (exposición) se menciona en la presente memoria como “desenfoque por movimiento”, de modo que sea distinguible del desenfoque que se atribuye a una condición de fuera de foco (desenfoque por fuera de foco).

En los últimos años, especialmente, se está incrementado la demanda de fotografías de alta sensibilidad, y por lo tanto, es necesario restaurar una imagen degradada por desenfoque (en lo que sigue, “imagen degradada”) a una imagen que esté tan cerca de una imagen original (en lo que sigue, “imagen ideal”) como sea posible. Para consegur una imagen brillante que esté libre de ruido o de desenfoque, tal como las imágenes demandadas en fotografía de alta sensibilidad, las soluciones se dividen generalmente en dos ideas: incrementar la sensibilidad y ampliar el tiempo de exposición.

Sin embargo, incrementar la sensibilidad conduce desventajosamente a la amplificación del ruido. Como resultado, la señal queda enterrada en el ruido de modo que, en muchos casos, gran parte de una imagen resultante está formada por el ruido. Por otra parte, ampliar el tiempo de exposición permite que se produzca la acumulación de una mayor cantidad de luz en ese sitio, dando como resultado una imagen que incluye un menor ruido. En este caso, una señal no podría quedar enterrada en el ruido, pero existe un problema de generación de desenfoque por movimiento en una imagen debido a las sacudidas de la cámara.

Conforme a la técnica anterior, existen dos contramedidas contra el problema resultante del tiempo de exposición ampliado. Una es la compensación de sacudidas de la cámara óptica, tal como el desplazamiento de la lente, el desplazamiento del sensor, o similar. La otra consiste en obtener la dirección/magnitud del desenfoque por movimiento a partir de una imagen resultante, y realizar un procesamiento de señal en base a la dirección/magnitud obtenida del desenfoque para restaurar la imagen (un método de restauración basado en procesamiento de señal). El método de restauración basado en procesamiento de señal está descrito, por ejemplo, en el documento de patente 1, el documento de patente 2, y los documentos no de patentes 1 a 5.

El documento no de patente 6 describe un concepto de eliminación de borrones derivados del movimiento, mediante “aleteo” del obturador de la cámara, que abre y cierra durante el tiempo de exposición con una secuencia binaria seudo aleatoria. Se revisan planteamientos relacionados, incluyendo estimación de una función de dispersión de punto (PSF) mediante combinación de información parcial procedente de tramas de video sucesivas, o estimación de la PSF a partir de la imagen desenfocada solamente. Además, el documento describe desconvolución de imagen para estimar una señal que fue desenfocada por una PSF.

Un fenómeno que hace que una imagen se degrade debido a sacudidas de la cámara, desde una imagen ideal a una imagen degradada, puede ser modelado conforme a lo que se describe a continuación. Se cree que una función que representa el brillo de cada píxel de la imagen degradada puede ser obtenida por convolución de una función que representa el brillo de cada píxel en la imagen ideal, y de una función de dispersión de punto (PSF) que representa el desenfoque de una imagen que está causado por sacudidas de la cámara durante la toma de fotografía de la imagen. La restauración de la imagen ideal en base a la imagen degradada obtenida se realiza por desconvolución de la imagen degradada y de la PSF. Una operación de convolución es una multiplicación en el espacio de la frecuencia. Por lo tanto, en el espacio de la frecuencia, la imagen degradada se divide por la PSF, con lo que se puede obtener la imagen restaurada.

De ese modo, cuando se conoce la PSF, la imagen restaurada puede ser obtenida de forma relativamente fácil por medio de la desconvolución anteriormente descrita mientras que se descuida el efecto de ruido. Por otra parte, cuando se desconoce la PSF, es necesario estimar la PSF a partir de la imagen degradada con el fin de obtener una imagen restaurada. La estimación de la PSF puede ser realizada, por ejemplo, mediante un método basado en el concepto de codificación dispersa que se describe en el documento no de patente 1.

Según este método, en primer lugar, se obtiene un primer resultado de restauración a partir de una PSF inicial proporcionada manualmente y de una imagen degradada. A continuación el primer resultado de la restauración y la imagen degradada se usan para estimar una PSF que sea cercana a una PSF verdadera. La PSF inicial se modifica con la PSF estimada. La PSF modificada se usa para obtener el segundo resultado de restauración en base a la imagen degradada. A continuación, se repiten la etapa de obtención de la Nésima imagen restaurada a partir de la (N-1)ésima PSF y de la imagen degradada, y la etapa de estimar la Nésima PSF a partir de la Nésima imagen restaurada y de la imagen degradada, con lo que se hace que avancen simultáneamente un proceso de estimación de PSF y un proceso de restauración, realizados sobre la imagen degradada.

Listado de citas

Bibliografía de Patentes

Documento de Patente 1: Publicación de Patente Japonesa Abierta al Público n.° 2006-129236.

Documento de Patente 2: Publicación Japonesa de Fase Nacional de Patente PCT Abierta al Público n.° 2009­ 522825 .

Documento de Patente 3: Publicación de Patente Japonesa Abierta al Público n.° 2008-092515.

Bibliografía no de patentes

Documento no de patente 1: “High-quality Motion Deblurring from a Single Image”, Qi Shan, Jiaya Jia, y Aseem Agarwala, SIGGRAPH 2008.

Documento no de patente 2: Yoneji, Tanaka y Okutomi, “psf Parameter Estimation Method for Linearly Blurred Image Restoration”, Informe de Estudio para Processing Society of Japan, Vol. 2005, n.° 38, págs. 47-52, 2005.

Documento no de patente 3: J. Bioucas-Dias, “Bayesian wavelet-based image deconvolution; a gem algorithm exploiting a class of heavy-tailed priors”, IEEE Trans. Image Proc., vol. 4, págs. 937-951, Abril 2006.

Documento no de patente 4: Levin, “Blind Motion Deblurring Using Image Statistics”, Avances en Sistemas de Procesamiento de Información Neuronal (NIPS), Diciembre 2006.

Documento no de patente 5: Bob Fergus et al., “Removing camera shake from a single image”, Barum Singh Aaron Hertzmann, SIGGRAPH 2006.

Documento no de patente 6: Ramesh Raskar et al., “Coded Exposure Photography: Motion Deploring using Fluttered Sutter”, ACM TRANSACTIONS ON GRAPHICS (TOG), ACM, US, vol. 25, n.23, páginas 795 - 804, Julio 2006. Compendio de la invención

Problema técnico

La ampliación del tiempo de exposición con el objetivo de recopilar una cantidad de luz suficiente en un entorno oscuro, aumenta la posibilidad de que ocurra una sacudida de la cámara. Para evitar el desenfoque por movimiento mediante compensación de las sacudidas de la cámara óptica en un entorno oscuro de ese tipo, es necesario ampliar el rango efectivo de una lente o un sensor. Sin embargo, existe el problema de que, cuando se incrementa el rango efectivo, se produce un retardo de tiempo al mover la lente o similar. También, el incremento del rango efectivo encuentra un límite físico. Por lo tanto, la compensación de sacudidas de la cámara óptica tiene un límite. Por otra parte, conforme a un método de restauración de la técnica anterior que está basado en procesamiento de señal, la estimación de la PSF y la restauración de una imagen se realizan en base a datos procedentes de la imagen completa. Por lo tanto, la cantidad de cálculo y la cantidad de espacio de memoria requeridos para el procesamiento son desfavorablemente grandes. En general, cuando el número de píxeles que forman una imagen es n, la cantidad de cálculo requerida y la cantidad de espacio de memoria requerido se expresan mediante O(nA2). Por lo tanto, para restaurar una imagen que está formada por un gran número de píxeles, se necesita una gran cantidad de recursos computacionales. Cuando una imagen incluye ruido, desenfoque por movimiento de un objeto, o similar, la realización de un proceso de restauración con el uso de una imagen completa causa un error en la estimación de la PSF, de modo que resulta difícil la estimación de una PSF que sea más cercana a la PSF verdadera.

El Documento de Patente 3 divulga la técnica de reducir la cantidad de cálculo que se requiere para extraer un objeto principal incluido en una imagen. Según esta técnica, una imagen se divide en una pluralidad de regiones locales, y el proceso se hace conmutar dependiendo de si el objeto principal está o no incluido en cada región local, Sin embargo, la técnica divulgada en el Documento de Patente 3 no puede ser aplicada a la restauración de una imagen. Con vistas a reparar una imagen que incluye desenfoque por movimiento, es necesario realizar el mismo proceso de restauración sobre cada una de las regiones locales. En otras palabras, incluso cuando una imagen esté dividida en una pluralidad de regiones locales, las regiones locales necesitan un proceso de restauración con la misma PSF.

La presente invención ha sido concebida en vista de los problemas anteriores. Teniendo conocimiento de que el tamaño de la imagen degradada y el tamaño de la imagen restaurada son desmesuradamente más grandes que el tamaño de la PSF, el uso de la cantidad mínima necesaria de datos para la estimación permite la reducción de la cantidad de cálculo mientras que se mantiene la precisión. Uno de los objetos de la presente invención consiste en proporcionar un dispositivo de procesamiento de imágenes y un método en el que la cantidad de cálculo de la estimación de PSF se reduce mientras que se mantiene la precisión de la restauración, y un dispositivo de captura de imágenes que incluye el dispositivo de procesamiento de imágenes.

Solución al problema

Esto se ha conseguido por medio de las características de las reivindicaciones independientes.

En una realización, el dispositivo de procesamiento de imágenes de la presente invención incluye además una sección de establecimiento de PSF inicial para establecer una función de dispersión de punto provisional. La sección de establecimiento de imagen inicial produce la imagen restaurada provisional a partir de la imagen degradada usando la función de dispersión de punto provisional.

En una realización, donde una dirección horizontal y una dirección vertical de la imagen degradada y de la imagen restaurada provisional se mencionan respectivamente como dirección X y dirección Y, siendo cada una de ellas de un tamaño a lo largo de la dirección X y un tamaño a lo largo de la dirección Y de cada uno de los bloques de imagen incluidos en la pluralidad de pares de bloques de imagen que es igual al tamaño más grande a lo largo de la dirección X y a un tamaño a lo largo de la dirección Y de una región formada por píxeles en los que la función de dispersión de punto provisional tiene un valor finito.

En una realización, la sección de selección de bloque de imagen selecciona aleatoriamente la pluralidad de pares de bloques de imagen a partir de la imagen degradada y de la imagen restaurada provisional.

La imagen restaurada provisional es una nésima imagen restaurada provisional, donde n = 1,2, ..., N (N es un número entero no inferior a 2), y la imagen restaurada es una nésima imagen restaurada, y tras la producción de la nésima imagen restaurada, la sección de establecimiento de imagen inicial actualiza la nésima imagen restaurada provisional con la nésima imagen restaurada, siendo la imagen restaurada actualizada utilizada como una (n+1)ésima imagen restaurada provisional, y la sección de selección de bloque de imagen selecciona, a partir de la imagen degrada y de la (n+1)ésima imagen restaurada provisional, una pluralidad de pares de bloques de imagen de los que al menos algunos son diferentes de la pluralidad de pares de bloques de imagen, con lo que se repite la actualización de la función de dispersión de punto candidato y de la imagen restaurada.

En una realización, la sección de selección de bloque de imagen selecciona, como primer grupo de bloques de imagen, una pluralidad de bloques de imagen a partir de la imagen degradada independientemente de la selección de la pluralidad de pares de bloques de imagen, y la sección de selección de PSF selecciona la función de dispersión de punto candidato en base a una diferencia entre (skb*fk) e ib, siendo (skb*fk) una función obtenida por convolución de skb y fk, donde fk es una késima función de dispersión de punto entre la pluralidad de funciones de dispersión de punto obtenidas por la sección de estimación de PSF (k es un número entero no inferior a 1), ib es una función que representa una distribución de brillo en un bésimo de los bloques de imagen incluidos en el primer grupo de bloques de imagen (b es un número entero no inferior a 1), y skb es una función obtenida por desconvolución de ib y fk.

En una realización, la sección de selección de PSF calcula, para cada una de la pluralidad de funciones de dispersión de punto, un número de bloques de imagen en donde un error cuadrático entre (skb*fk) e ib no es mayor que un umbral predeterminado, y selecciona una de las funciones de dispersión de punto para la que el número calculado de los bloques de imagen es el mayor como función de dispersión de punto candidato.

En una realización, la sección de selección de bloque de imagen selecciona, independientemente de la selección de la pluralidad de pares de bloques de imagen, una pluralidad de bloques de imagen a partir de la imagen degradada como un primer grupo de bloques de imagen, y una pluralidad de bloques de imagen a partir de la imagen restaurada provisional como un segundo grupo de bloques de imagen, estando los bloques de imagen del segundo grupo de bloques de imagen en coordenadas idénticas a las de los bloques de imagen incluidos en el primer grupo de bloques de imagen, y la sección de selección de PSF selecciona la función de dispersión de punto candidato en base a una diferencia entre (sb*fk) e ib, siendo (sb*fk) una función obtenida por convolución de sb y fk, donde fk es una késima función de dispersión de punto entre la pluralidad de funciones de dispersión de punto obtenida por la sección de estimación de PSF (k es un número entero no inferior a 1), ib es una función que representa una distribución de brillo en un bésimo de los bloques de imagen incluidos en el primer grupo de bloques de imagen (b es un número entero no inferior a 1), y sb es una función que representa una distribución de brillo en uno de los bloques de imagen incluidos en el segundo grupo de bloques de imagen correspondiente a la ib (b es un número entero no inferior a 1).

En una realización, la sección de selección de PSF calcula, para cada una de la pluralidad de funciones de dispersión de punto, un número de bloques de imagen en el que un error cuadrático entre (sb*fk) e ib no es mayor que un umbral predeterminado, y selecciona una de las funciones de dispersión de punto para la que el número calculado de los bloques de imagen es el mayor como función de dispersión de punto candidato.

En una realización, la sección de selección de bloque de imagen selecciona aleatoriamente el primer grupo de bloques de imagen a partir de la imagen degradada.

En una realización, la sección de selección de PSF realiza los siguientes procesos: clasificar la pluralidad de funciones de dispersión de punto obtenidas por la sección de estimación de PSF en una pluralidad de clústeres, estando cada uno de los clústeres formado por una pluralidad de funciones de dispersión de punto que son similares entre sí, determinar una función promedio de dispersión de punto en cada uno de la pluralidad de clústeres como una PSF representativa del clúster, seleccionar una PSF representativa candidato a partir de la pluralidad de PSFs representativas determinadas, y seleccionar la función de dispersión de punto candidato a partir de uno de los clústeres correspondiente a la PSF representativa candidato.

Un dispositivo de captura de imágenes de la presente invención incluye: un dispositivo de procesamiento de imágenes de la presente invención, y un sensor de imagen de estado sólido, en donde una señal obtenida por el sensor de imagen de estado sólido se introduce como imagen degradada en el dispositivo de procesamiento de imágenes.

Un método de procesamiento de imágenes de la presente invención es un método de producción de una imagen restaurada a partir de una imagen degradada de entrada según se define en la reivindicación 12.

Un programa de la presente invención es un programa para controlar la operación de un dispositivo de procesamiento de imágenes según se define en la reivindicación 13.

Efectos ventajosos de la invención

Según la presente invención, en un sistema para llevar a cabo un proceso de restauración sobre una imagen degradada por medio de estimación de PSF, se puede reducir la cantidad de cálculo y la cantidad de espacio de memoria.

Breve descripción de los dibujos

La Figura 1 es un diagrama que muestra una disposición de píxel de una imagen.

La Figura 2 es un diagrama que ilustra la diferencia entre una imagen puntual en una imagen ideal y una imagen en una imagen degradada.

La Figura 3 es un diagrama que muestra una configuración general de un dispositivo de procesamiento de imágenes en la primera realización de la presente invención.

La Figura 4 es un diagrama de bloques que muestra una configuración funcional del dispositivo de procesamiento de imágenes en la primera realización de la presente invención.

La Figura 5 es un diagrama de flujo que muestra un flujo de proceso del dispositivo de procesamiento de imágenes en la primera realización de la presente invención.

La Figura 6 es un diagrama de concepto que ilustra un método de estimación de PSF en la primera realización de la presente invención.

La Figura 7 es un diagrama de concepto que ilustra un método de evaluación de PSF en la primera realización de la presente invención.

La Figura 8 es un diagrama de concepto que ilustra un método de evaluación de PSF en la segunda realización de la presente invención.

La Figura 9 es un diagrama de flujo que muestra un flujo de proceso de una sección de selección de PSF en la tercera realización de la presente invención.

La Figura 10 es un diagrama de concepto que ilustra clústeres de PSF en la tercera realización de la presente invención.

La Figura 11 es un diagrama que muestra una configuración general de un dispositivo de captura de imágenes en la cuarta realización de la presente invención.

Descripción de realizaciones

Con anterioridad a la descripción de realizaciones de la presente invención, se describe el principio básico de la presente invención.

La Figura 1 es un diagrama que muestra esquemáticamente una estructura de una imagen de la presente descripción. En esta descripción, una función que representa una imagen degradada se expresa mediante i(x,y). Las coordenadas (x,y) son coordenadas de dos dimensiones que son indicativas de la posición de un píxel en una imagen. En el caso de una imagen 130 formada, por ejemplo, por M x N píxeles 135 que están dispuestos en filas y columnas, suponiendo que x e y sean números enteros que satisfacen las relaciones de 0<x<M-1 y 0<y<N-1, respectivamente, la posición de cada uno de los píxeles que forman la imagen puede ser especificada por las coordenadas (x,y). En este caso, se supone que el origen del sistema de coordenadas, (0,0), está en la esquina superior izquierda de la imagen. El eje X se extiende en dirección vertical. El eje Y se extiende en dirección horizontal. Obsérvese que la disposición de las coordenadas es arbitraria. i(x,y) representa el brillo en una posición indicada por las coordenadas (x,y) sobre la imagen degradada. En la presente descripción, el brillo en una posición indicada por las coordenadas (x,y) sobre una imagen se menciona a veces como “valor de píxel”.

En la descripción que se proporciona a continuación, se supone que una imagen degradada i(x,y) ocurre debido a sacudidas de la cámara, y que “desenfoque por movimiento” significa un desenfoque causado por sacudidas de la cámara. La distribución de brillo de una imagen no desenfocada (imagen ideal) es s(x,y). La función de dispersión de punto (PSF) que define el desenfoque es f(x,y). f(x,y) se determina dependiendo de la trayectoria de una cámara durante la exposición. Puesto que la cámara se mueve durante la exposición, una imagen en uno de los píxeles incluidos en una imagen ideal (imagen de punto) corresponde a una imagen que se extiende sobre una pluralidad de píxeles vecinos en una imagen degradada. La Figura 2 muestra un ejemplo donde una imagen de punto en una imagen ideal corresponde a una imagen desenfocada en una imagen degradada. Si se produce tal desenfoque de igual modo entre todas las imágenes de punto, es decir, invalidante de cambio, se puede decir que f(x,y) es una función que representa con qué ponderación se extiende la imagen de punto sobre píxeles vecinos en posiciones (x,y) en un sistema de coordenadas relativas definido en torno a la imagen de punto en el origen. En la presente descripción, se supone que f(x,y) es una función que tiene valores finitos solamente en el intervalo de -m<x<m y -n<y<n (donde m y n son números enteros no inferiores a 1). En otras palabras, un intervalo en el que una única imagen de punto en una imagen ideal puede tener desenfoque debido a sacudidas de la cámara, está incluido en una región rectangular que tiene un tamaño de (2m+1)x(2n+1). Cuando se hace caso omiso del efecto de ruido, i(x,y), s(x,y) y f(x,y) satisfacen la Ecuación 1 que se muestra a continuación:

[Expresión 1]

i(x,y) = s(x,y)*f(x,y)

(D

donde el símbolo significa convolución. En general, el lado derecho de la Ecuación 1 se expresa mediante la Ecuación 2 que se muestra a continuación:

[Expresión 2]

Cuando f(x,y) está formado por (2m+1)x(2n+1) píxeles, la Ecuación 2 mostrada anteriormente puede ser expresada mediante la Ecuación 3 que se muestra a continuación:

[Expresión 3]

Si la función f(x,y), que es la función de dispersión de punto del desenfoque, es conocida, la imagen s(x,y) no desenfocada puede ser restaurada mediante desconvolución de una imagen i(x,y) degradada obtenida. Si f(x,y) es desconocida, es necesario estimar f(x,y) a partir de la imagen antes de obtener s(x,y).

En general, la transformada de Fourier de la convolución de dos funciones se expresa mediante el producto de las transformadas de Fourier de las respectivas funciones. Por lo tanto, donde las transformadas de Fourier de i(x,y), s(x,y) y f(x,y) están expresadas por I(u,v), S(u,v) y F(u,v), respectivamente, la Ecuación 4 que se muestra a continuación se deriva de la Ecuación 1. Obsérvese que (u,v) representa las coordenadas en un espacio de frecuencia, que corresponden respectivamente a las frecuencias espaciales de la dirección X y de la dirección Y en una imagen real.

[Expresión 4]

I(u,v) = S(u,v) • F(u,v)

(4)

donde el símbolo “•” significa “multiplicación” de las funciones en el espacio de frecuencia. La Ecuación 4 puede ser deformada para obtener la Ecuación 5 que se muestra a continuación.

[Expresión 5]

La Ecuación 5 significa que una función obtenida al dividir I(u,v), la cual es la transformada de Fourier de la imagen i(x,y) degradada, por F(u,v), la cual es la transformada de Fourier de la función PSF f(x,y) de dispersión de punto, es equivalente a la transformada de Fourier S(u,v) de la imagen ideal s(x,y). En resumen, si se determinan i(x,y) y f(x,y), S(u,v) será también determinada. Puesto que I(u,v) es la transformada de Fourier de la imagen i(x,y) degradada, es posible restaurar una imagen en base a la imagen degradada (para hacer que la imagen degradada sea más cercana a su imagen verdadera) por medio de procesamiento de señal mientras que se determina f(x,y) que es la función de dispersión de punto FSF de desenfoque.

Según la presente invención, se determina f(x,y) que es la función de dispersión de punto PSF, usando una imagen degradada y una imagen en mitad de un proceso de restauración (imagen restaurada provisional). En el proceso de determinación de f(x,y), se extrae una pluralidad de pares de bloques de imagen a partir de la imagen degradada y de la imagen restaurada provisional, y se estima una PSF para cada uno de los pares de bloques de imagen. Estas PSFs se obtienen conforme a un método de desconvolución ciega conocido. Para algunos pares de bloques de imagen, la PSF estimada puede ser ampliamente diferente de la PSF verdadera debido a inclusión de ruido o desenfoque de un objeto. Por lo tanto, las PSFs estimadas pueden ser funciones que sean diferentes entre los pares de bloques de imagen. A partir de esas PSFs, una PSF que se estime que es cercana a la PSF verdadera se selecciona como una PSF candidato. La selección de la PSF candidato puede ser realizada por medio de un método que esté basado, por ejemplo, en RANSAC (Random Sample Consensus). Según este método, se determina para cada una de las PSFs, la proximidad de una imagen obtenida por convolución de la PSF y de una imagen restaurada provisional respecto a la imagen degradada. En base al resultado de la determinación, una PSF que tenga un error grande se omite, mientras que una PSF que tenga un error pequeño se selecciona como PSF candidato. De ese modo, se omiten las PSFs estimadas a partir de pares de bloques de imagen que incluyen ruido o desenfoque de un objeto, y se selecciona como la PSF candidato una PSF que sea cercana a la PSF verdadera. A partir de la PSF candidato seleccionada y de la imagen degradada, se produce una imagen restaurada por desconvolución.

Puesto que la estimación de la PSF no se realiza sobre la totalidad de la imagen sino sobre una parte de la imagen para cada uno de los pares de bloques de imagen, es posible reducir la cantidad de cálculo y la cantidad de espacio de memoria que se requieren para la restauración. También, se puede seleccionar una PSF que sea cercana a la PSF verdadera sin que sea alterada por ruido local o por desenfoque de un objeto.

En lo que sigue, se van a describir realizaciones de la presente invención con referencia a los dibujos. En las descripciones que se proporcionan a continuación, los elementos iguales han sido identificados mediante las mismas marcas de referencia.

(Realización 1)

La Figura 3 es un diagrama que muestra una configuración general de un dispositivo 200 de procesamiento de imágenes en la primera realización de la presente invención. El dispositivo 200 de procesamiento de imágenes de la presente realización lleva a cabo repetidamente un proceso de restauración basado en una imagen 100 degradada de entrada, para producir una imagen 120 restaurada que es cercana a una imagen ideal. El dispositivo 200 de procesamiento de imágenes incluye una sección 220 de procesamiento de imágenes para realizar procesamiento de señal en base a la imagen 100 degradada de entrada, y una memoria 240 para almacenar diversos datos generados en el transcurso del procesamiento.

La imagen 100 degradada consiste en datos de una imagen fotografiada por un dispositivo de captura de imágenes, tal como una cámara fotográfica digital, e incluye desenfoque por movimiento que se atribuye a sacudidas de la cámara. La sección 220 de procesamiento de imágenes realiza un proceso de restauración de la imagen 100 degradada, así como diversos procesamientos de señal, tal como corrección del tono de color, cambio de resolución, y compresión de datos. La sección 220 de procesamiento de imágenes está realizada preferiblemente por una combinación de hardware, tal como un procesador de señal digital (DSP) conocido, y software para la ejecución del procesamiento de imágenes. La memoria 240 puede estar formada por una DRAM o similar. La memoria 240 almacena la imagen 100 degradada y, entretanto, almacena temporalmente datos de imagen que han sido sometidos a varios procesamientos de imagen, o datos de imagen que han sido comprimidos en la sección 220 de procesamiento de imágenes. La imagen 120 restaurada que se produce finalmente en la sección 220 de procesamiento de imágenes puede ser transmitida a otro aparato (no representado) por medio de un dispositivo de comunicación cableada o inalámbrica, no representado.

En lo que sigue, se describe la configuración de la sección 220 de procesamiento de imágenes con referencia a la Figura 4.

La sección 220 de procesamiento de imágenes incluye una sección 250 de entrada de imagen, una sección 260 de determinación de PSF, y una sección 270 de restauración. La sección 250 de entrada de imagen incluye una sección 222 de establecimiento de PSF inicial para establecer una PSF provisional, y una sección 224 de establecimiento de imagen inicial para producir una imagen restaurada provisional a partir de la imagen 100 degradada usando la PSF provisional. La sección 260 de determinación de PSF incluye una sección 226 de selección de bloque de imagen para extraer una pluralidad de pares de bloques de imagen a partir de la imagen degradada y de la imagen restaurada provisional, una sección 228 de estimación de PSF para estimar una PSF a partir de cada uno de los pares de bloques de imagen, y una sección 230 de selección de PSF para seleccionar una PSF candidato de entre la pluralidad de PSFs estimadas. La sección 270 de restauración incluye una sección 232 de restauración de imagen para producir una imagen restaurada a partir de la imagen 100 degradada con el uso de la PSF candidato seleccionada, y una sección 234 de determinación de convergencia para determinar si el proceso de restauración ha sido convergido o no. Si se determina que el proceso de restauración ha sido convergido, la sección 234 de determinación de convergencia presenta a la salida un resultado de la restauración.

En lo que sigue, se describen los componentes respectivos con mayor detalle.

La sección 222 de establecimiento de PSF inicial establece una PSF provisional que es necesaria para el proceso de restauración de imagen. La PSF provisional se establece en base a datos que representan la trayectoria de una cámara durante la toma de una fotografía, la cual se detecta, por ejemplo, por medio de un dispositivo de detección incorporado en el dispositivo de captura de imágenes usado en el fotografiado de la imagen 100 degradada, tal como un giróscopo o un sensor de aceleración. Tales datos se almacenan, por ejemplo, en la memoria 240 o en un medio de almacenaje no representado, y se recuperan por medio de la sección 222 de establecimiento de PSF inicial. La PSF provisional no tiene que ser necesariamente datos detectados por dicho dispositivo de detección sino que puede ser datos introducidos manualmente por un usuario. Desde el punto de vista de reducir el tiempo que se requiere para el procesamiento de imágenes, la PSF provisional es preferiblemente más cercana a la PSF verdadera. Sin embargo, incluso cuando la PSF provisional es considerablemente diferente de la PSF verdadera, la restauración puede ser realizada por medio de un proceso que se va a describir más adelante.

La sección 224 de establecimiento de imagen inicial recupera la imagen 100 degradada desde la memoria 240 o desde un medio de almacenaje no representado y, entretanto, establece una imagen restaurada provisional que es necesaria en un proceso de estimación de PSF que se va a describir más adelante. En el primer ciclo del proceso, la imagen restaurada provisional se produce a partir de la PSF provisional y de la imagen 100 degradada. En el segundo ciclo y en los posteriores del proceso, la imagen restaurada en el ciclo inmediatamente anterior se establece como imagen restaurada provisional. El método de reparación de la imagen 100 degradada con el uso de la PSF provisional puede ser un método de desconvolución no ciega conocido, tal como el método de filtraje de Wiener y el método de Richardson-Lucy (RL). Alternativamente, se puede usar un método de desconvolución ciega, tal como se describe en el Documento No de Patente 1. La imagen restaurada provisional puede ser producida por una sección 224 de establecimiento de imagen inicial en el primer ciclo del proceso. Alternativamente, se puede producir por medio de cualquier otro dispositivo y ser almacenada de antemano en la memoria 240 o en un medio de almacenaje no representado.

La sección 226 de selección de bloque de imagen extrae aleatoriamente una pluralidad de pares de bloques de imagen a partir de una respectiva de entre la imagen 100 degradada y la imagen restaurada provisional, estando cada uno de los pares de bloques de imagen formado por un bloque de imagen extraído desde la imagen 100 degradada y por un bloque de imagen extraído desde la imagen restaurada provisional, los cuales están en coordenadas idénticas. El tamaño del bloque de imagen se establece en un tamaño que es mayor que el tamaño de la PSF provisional y que el tamaño de la PSF estimada. En la presente realización, las dimensiones del bloque de imagen a lo largo de la dirección X y de la dirección Y se ajustan a la que sea mayor de las dimensiones a lo largo de la dirección X y de la dirección Y de la PSF provisional o de la PSF estimada en la etapa inmediatamente anterior. Por ejemplo, cuando el tamaño de la imagen degradada es de 1000 x 1000 píxeles, y los píxeles de la PSF provisional o de la PSF estimada que tienen valores finitos de píxeles (valores mayores de 0), están todos incluidos en 50 x 100 píxeles, cada uno de las bloques de imagen extraídos tiene una región rectangular de 100 x 100 píxeles. Obsérvese que, cuando el bloque de imagen es indebidamente pequeño, la proporción de los bloques de imagen que no incluyen una porción de borde en la que el desenfoque sea fácilmente distinguible (una porción en la que el brillo cambia espacialmente de manera considerable) se incrementa. En tales bloques de imagen, no se puede determinar si el cambio de brillo se atribuye a desenfoque o a textura (patrón), es difícil estimar una PSF que sea cercana a la PSF verdadera. Por lo tanto, cuando el tamaño de la PSF es indebidamente pequeño (p. ej., 30 x 30 píxeles o más pequeño), el tamaño de los bloques de imagen no es, preferiblemente, inferior a tres a cinco veces el tamaño de la PSF. Obsérvese que, aunque en la presente realización los bloques de imagen respectivos tienen iguales tamaños, el proceso puede ser realizado incluso cuando los bloques de imagen respectivos tienen tamaños diferentes.

Según se incrementa el número de bloques de imagen, se incrementa también la probabilidad de que se estime con éxito una PSF que sea cercana a la PSF verdadera. En consecuencia, se incrementa también la cantidad de cálculo y la cantidad de espacio de memoria que se necesitan para la estimación de la PSF. El número de pares de bloques de imagen extraídos puede ser establecido arbitrariamente dependiendo de los recursos computacionales. En un ejemplo de la presente realización que aquí se discute, el número de pares de bloques de imagen extraídos es (Número Total de Píxeles de la Imagen Degradada) / (Número de Píxeles de un Bloque de Píxel). Obsérvese que los pares de bloques de imagen son seleccionados aleatoriamente en la presente descripción, pero pueden ser alternativamente seleccionados conforme a un criterio predeterminado. Por ejemplo, puesto que un bloque de imagen para el que se estima que una PSF no es cercana a la PSF verdadera se puede conocer en la sección 228 de estimación de PSF que va a ser descrita más adelante, dicho bloque y sus bloques vecinos pueden ser omitidos con anterioridad a la selección aleatoria en el segundo y siguientes ciclos. Para seleccionar una PSF que sea cercana a la PSF verdadera, los pares de bloques de imagen se seleccionan preferiblemente a partir de, en particular, una porción que incluye un borde. Específicamente, se puede usar un filtro conocido, tal como un filtro Sobel o un filtro Prewitt, para calcular el borde de cada bloque de imagen con anterioridad a que sean seleccionados los pares de bloques de imagen en base a la intensidad de borde calculada. Por ejemplo, a partir de la pluralidad de bloques de imagen seleccionados aleatoriamente, solamente se pueden seleccionar bloques de imagen en los que la intensidad de borde no sea inferior a un valor predeterminado en un 50% o más de los píxeles.

La sección 226 de selección de bloque de imagen extrae también una pluralidad de bloques de imagen a partir de la imagen 100 degradada para evaluación de la PSF. Estos bloques de imagen (bloques de imagen degradada) se usan para la selección de la PSF candidato entre la pluralidad de PSFs en la sección 230 de selección de PSF que va a ser descrita más adelante. Estos bloques de imagen degrada pueden ser extraídos independientemente de los pares de bloques de imagen descritos con anterioridad para la estimación de PSF. Obsérvese que, desde el punto de vista de reducción de la cantidad de cálculo y de la cantidad de espacio de memoria, los bloques de imagen seleccionados para la estimación de PSF descrita con anterioridad pueden ser usados también para la selección de la PSF candidato. Para realizar de forma efectiva una evaluación en la sección 230 de selección de PSF que se va a describir más adelante, el tamaño de los bloques de imagen para evaluación y el sitio desde el que se seleccionan esos bloques de imagen son preferiblemente diferentes de los correspondientes a la selección de los pares de bloques de imagen descritos con anterioridad. Sin embargo, el proceso resulta posible incluso cuando el tamaño y el sitio son iguales. Obsérvese que los bloques de imagen degradada pueden ser seleccionados de forma aleatoria. Alternativamente, los bloques de imagen degrada pueden ser seleccionados conforme a un criterio predeterminado como en la selección de los pares de bloques de imagen. También, es particularmente preferible que los bloques de imagen degrada sean seleccionados a partir de un sitio que incluya un borde. El número de los bloques de imagen degradada puede ser establecido de forma arbitraria dependiendo de los recursos computacionales como en el establecimiento del número de los pares de bloques de imagen descritos con anterioridad.

La sección 228 de estimación de PSF estima la PSF en base a cada uno de los pares de bloques de imagen seleccionados por la sección 226 de selección de bloque de imagen. El método de estimación puede ser un método de desconvolución ciega conocido. Por ejemplo, la PSF puede ser estimada según la codificación de dispersión descrita en el Documento No de Patente 1, por ejemplo.

A partir de la pluralidad de PSFs estimadas por la sección 228 de estimación de PSF, la sección 230 de selección de PSF selecciona una PSF que se estima que es cercana a la PSF verdadera como PSF candidato. Los detalles de la selección de la PSF candidato van a ser descritos en una sección posterior.

La sección 232 de restauración de imagen realiza un proceso de restauración sobre la imagen 100 degradada usando la PSF candidato seleccionada. El proceso de restauración llevado a cabo en la presente memoria se realiza conforme a un método de restauración conocido al igual que en el proceso de restauración realizado en la sección 224 de establecimiento de imagen inicial. Obsérvese que, en la presente realización, la sección 232 de restauración de imagen y la sección 224 de establecimiento de imagen inicial son realizadas por bloques de función diferentes. Estas funciones pueden ser realizadas por una única sección funcional.

La sección 234 de determinación de convergencia compara una imagen restaurada por la sección 232 de restauración de imagen con la imagen restaurada provisional. Si la diferencia entre las imágenes es menor que un umbral predeterminado, la sección 234 de determinación de convergencia determina que el proceso de restauración ha convergido y presenta a la salida esa imagen como imagen 120 restaurada. Si la diferencia es igual o mayor que el umbral, la imagen se introduce en la sección 224 de establecimiento de imagen inicial y se establece como una nueva imagen restaurada provisional.

La configuración mostrada en la Figura 4 es un ejemplo del bloque de función de la sección 220 de procesamiento de imágenes. La sección 220 de procesamiento de imágenes puede ser dividida en otros bloques de función. Cada uno de los bloques de función puede ser realizado mediante hardware separado o puede ser preferiblemente realizado también, por ejemplo, mediante incorporación de software de procesamiento de imágenes para la ejecución del proceso anterior en un hardware conocido.

A continuación, se describe el flujo del proceso de restauración con referencia a la Figura 5.

En primer lugar, la sección 224 de establecimiento de imagen inicial recupera una imagen 100 degradada que es el objeto del proceso de restauración desde, por ejemplo, la memoria 240 (S502). A continuación, la sección 222 de establecimiento de PSF inicial recupera una PSF inicial desde, por ejemplo, la memoria 240 (S504). Las sección 224 de establecimiento de imagen inicial usa la imagen 100 degradada recuperada y la PSF inicial recuperada para producir una imagen restaurada provisional (S506). Obsérvese que el establecimiento de la PSF inicial y la recuperación de la imagen degradada pueden ser llevados a cabo en orden inverso o pueden ser llevados a cabo de forma simultánea.

A continuación, la sección 226 de selección de bloque de imagen selecciona una pluralidad de pares de bloques de imagen a partir de la imagen 100 degradada y de la imagen restaurada provisional (S508). La sección de estimación de PSF estima una PSF a partir de cada uno de la pluralidad de pares de bloques de imagen estimados (S510). A continuación, la sección 230 de establecimiento de PSF selecciona, entre las PSFs estimadas, una PSF que se estima que es cercana a la PSF verdadera, y asigna la PSF seleccionada como la PSF candidato (S512).

En lo que sigue, se describen los detalles de la selección de bloques de imagen (S508), de la estimación de PSF en cada bloque de imagen (S510), y de la selección de la PSF candidato (S512) con referencia a la Figura 6 y la Figura 7.

La Figura 6 es un diagrama que ilustra esquemáticamente la selección de bloques de imagen y la estimación de PSF en cada bloque de imagen. La sección 226 de selección de bloque de imagen selecciona una pluralidad de pares de bloques de imagen a partir de la imagen degradada y de la imagen restaurada provisional. Según se muestra en el diagrama, el número de pares de bloques de imagen seleccionados es K (K es un número entero no inferior a 2). La función que representa el késimo de los bloques de imagen seleccionados a partir de la imagen degradada se expresa como ik (k = 1, 2, ..., K). La función que representa el késimo de los bloques de imagen seleccionados a partir de la imagen restaurada provisional se expresa como sk (k = 1,2, ..., K). A partir de ik y de sk, se estima la PSF del késimo bloque de imagen, fk, usando un método de estimación de PSF conocido. Como resultado, se obtienen K PSFs (f¹, f², ..., fk) a partir de K pares de bloques de imagen.

En la presente, como ejemplo, se describe un método de estimación de PSF que se basa en el método descrito en el Documento No de Patente 1. La PSF, fk, se determina de tal modo que el lado derecho de la Ecuación 6 que se muestra a continuación se minimiza (optimización de fk).

[Expresión 6]

El primer término del lado derecho de la Ecuación 6 sirve como referencia para la evaluación que representa si la convolución del bloque sk de imagen restaurada y la PSF fk son cercanas o no al bloque ik de imagen degradada. La variable wk es el “peso” que se establece manualmente. 9 es un conjunto de operadores que definen la diferenciación que debe realizarse sobre la imagen. Específicamente, el conjunto de operadores incluye seis parámetros diferenciales en total, el diferencial de orden cero, los diferenciales de primer orden (un diferencial que se diferencia una vez para la dirección X y un diferencial que se diferencia una vez para la dirección Y), y los diferenciales de segundo orden (un diferencial que diferencia dos veces para la dirección X, un diferencial que se diferencia dos veces para la dirección Y, y un diferencial que se diferencia una vez para la dirección X y una vez para la dirección Y). d* es un operador diferencial. Una expresión de © con el uso de d* es © = {d0, dx, dy, dxx, dxy, dyy}. d* habilita un proceso que usa tanto los datos de brillo como los datos de borde. Por lo tanto resulta posible obtener datos que no podrían ser obtenidos solamente con el brillo. El segundo término del lado derecho de la Ecuación 6 es una norma de fk. Este término se basa en codificación dispersa. Este término optimización se usa debido a que gran parte de los elementos de la matriz que representa fk son cero (inactivos). En la presente realización, la optimización se realiza conforme al “método de punto interior” como en el documento no de patente 1, con lo que se puede realizar la optimización total. Un método de cálculo específico para la optimización de fk ha sido descrito en el documento no de patente 1.

A continuación, se describen los detalles de la selección de la PSF candidato (S512) con referencia a la Figura 7.

Después de que la sección 228 de estimación de PSF obtiene fk para cada uno de los pares de bloques de imagen, la sección 226 de selección de bloque de imagen selecciona una pluralidad de bloques de imagen para su evaluación (bloques de imagen degradada) a partir de la imagen 100 degradada. Según se muestra en la Figura 7, el número de bloques de imagen degradada seleccionados es B (B es un número entero no inferior a 2). La función que representa el bésimo de los bloques de imagen degradada se expresa como ib (b = 1,2, ..., B). La sección 230 de selección de PSF realiza convolución de fk y de la ib del bloque de imagen degradada para obtener una función skb que representa un bloque de imagen restaurada. Como resultado, para cada una de las K PSFs, se producen B bloques de imagen restaurada. La sección 230 de selección de PSF realiza además convolución del bloque skb de imagen restaurada y de fk y evalúa cada PSF en base al error entre el resultado de skb*fk y la ib del bloque de imagen degradada.

En lo que sigue, se describe un método de evaluación de PSF que se basa en el error. Supóngase que un bloque de imagen degradada incluye J píxeles. El valor del jésimo píxel en la ib del bloque de imagen degradada se expresa como ibj (j = 1, 2, ..., J). El valor del jésimo píxel en una imagen obtenida por convolución de la skb del bloque de imagen restaurada y de fk se expresa como (skb*fk)j (j = 1, 2, ..., J). En la presente realización, el error cuadrático entre (skb*fk) e ib se define como Akb. La PSF candidato se selecciona en base al número de bloques de imagen en los que el error cuadrático Akb es igual o menor que un umbral t predeterminado. Por ejemplo, una función de dispersión de punto fk para la que el número de bloques de imagen que satisfacen la Ecuación 7 que se muestra a continuación es el mayor, se seleccionada como la PSF candidato.

[Expresión 7]

Este método de evaluación está basado en RANSAC (Random Sample Consensus). Conforme a este método de evaluación, a partir de las PSFs estimadas desde una pluralidad de pares de bloques de imagen, las PSFs estimadas a partir de los pares de bloques de imagen que incluyen ruido o desenfoque de un objeto son excluidos debido a que tienen errores grandes. Puesto que cualquiera de las PSFs estimadas a partir de pares de bloques de imagen que tienen ruido o desenfoque relativamente pequeños de un objeto se selecciona como PSF candidato, una PSF que sea cercana a la PSF verdadera puede ser estimada incluso cuando la imagen incluya ruido o desenfoque de un objeto.

En la presente realización, la PSF candidato no es necesario que sea una PSF (fk) para la que el número de bloques de imagen que satisfacen la Ecuación 7 sea el más grande. Por ejemplo, una cualquiera de las PSFs (fk) para la que el número de bloques de imagen que satisfacen la Ecuación 7 sea mayor que un umbral predeterminado, puede ser seleccionada como la PSF candidato. En la presente realización, una de la pluralidad de PSFs estimadas se selecciona como la PSF candidato, pero la presente invención no se limita a este modo de selección. Por ejemplo, algunas de una pluralidad de PSFs (p. ej., alrededor de un 5% del número de pares de bloques de imagen) pueden ser seleccionadas en base a la Ecuación 7, y el promedio de las PSFs seleccionadas puede ser asignado como la PSF candidato.

Después de que la PSF candidato ha sido seleccionada, la sección 232 de restauración de imagen realiza un proceso de restauración sobre la imagen 100 degradada usando la PSF candidato (S514). El proceso de restauración puede ser realizado mediante un método conocido, tal como el método de Richardson-Lucy (LR), el método de filtrado de Wiener, o similar.

La sección 234 de determinación de convergencia compara la imagen restaurada con la imagen restaurada provisional para determinar si el proceso de restauración ha convergido o no (S518). La determinación de si el proceso de restauración ha convergido o no se hace en base a un criterio predeterminado. Por ejemplo, se puede determinar que el proceso de restauración ha convergido cuando el promedio de errores en los píxeles respectivos entre la imagen restaurada y la imagen restaurada provisional (el valor absoluto de la diferencia en valor de pixel/número total de píxeles) sea 0,0001. Si se determina que el proceso de restauración ha convergido, la imagen restaurada se presenta a la salida como imagen 120 restaurada final (S520). Si se determina que el proceso de restauración no ha convergido aún, la imagen restaurada se establece como una nueva imagen restaurada provisional en la sección 224 de establecimiento de imagen inicial (S519), y se realizan de nuevo los procesos desde S508aS518.

Según se ha descrito con anterioridad, el dispositivo 200 de procesamiento de imágenes de la presente realización realiza repetidamente el proceso de restauración en base a una imagen 100 degradada de entrada y presenta a la salida una imagen 120 restaurada que es cercana a una imagen verdadera (imagen ideal). En el curso de la restauración, se selecciona una pluralidad de bloques de imagen, y se realiza estimación y evaluación de la PSF sobre cada uno de los bloques de imagen, con lo que se selecciona la PSF candidato. Puesto que el cálculo se realiza sobre cada uno de los bloques de imagen que tienen tamaños pequeños, el dispositivo 200 de procesamiento de imágenes de la presente realización está capacitado para reducir la cantidad de cálculo y la cantidad de espacio de memoria en comparación con la técnica anterior. También, puesto que la PSF candidato se selecciona en base a RANSAC, se puede seleccionar una PSF que sea cercana a la PSF verdadera sin verse perturbada por el ruido local o el desenfoque de un objeto.

En lo que sigue, se describe la mejora de la cantidad de cálculo y de la cantidad de espacio de memoria se requieren para el proceso de restauración en el dispositivo 200 de procesamiento de imágenes de la presente realización en comparación con la técnica anterior. Cuando el número de píxeles en una imagen es N, el número de píxeles incluidos en cada uno de los bloques de imagen usados para la estimación de PSF es n, y el número de repeticiones del proceso de restauración es m, la cantidad de cálculo en la presente realización es O(mxn2), mientras que la cantidad de cálculo en la técnica anterior es O(N2). En un ejemplo en el que N = 106, n = 104 y m = 102, la cantidad de cálculo que se requiere cuando se usa la técnica anterior es O(1012), mientras que la cantidad de cálculo que se requiere en la presente realización es O(1010), de modo que la cantidad de cálculo se reduce a aproximadamente 1/100. Por otra parte, al igual que para la cantidad de espacio de memoria, una región de almacenaje temporal usada para la operación de restauración es aproximadamente proporcional a N en la técnica anterior, pero es aproximadamente proporcional a n en la presente realización. Por lo tanto, la cantidad de espacio de memoria requerido se reduce en una proporción de n/N. Cuando N = 106 y n = 104, la cantidad de espacio de memoria requerido disminuye a aproximadamente 1/100.

En la descripción anterior, el dispositivo 200 de procesamiento de imágenes se ha descrito como un dispositivo de una sola unidad, aunque el dispositivo 200 de procesamiento de imágenes puede se realizado en varias formas. Por ejemplo, un programa que esté almacenado en un medio de almacenaje, tal como un CD-ROM, una memoria flash o similar, o sea distribuido a través de una línea de comunicación eléctrica, y que permita la implementación del proceso de restauración descrito con anterioridad, se lleva a cabo en un ordenador adecuado, de tal modo que el ordenador trabaja como dispositivo 200 de procesamiento de imágenes.

En la presente descripción, el valor de píxel de la imagen degradada, i(x,y), y el valor de píxel de la imagen restaurada, s(x,y), representan los valores de brillo en las coordenadas (x,y). En este caso, el “brillo” se refiere no solo a la intensidad de lo que se conoce como señal de brillo, sino también a la intensidad de señal de cualquiera de los componentes de color RGB o a la suma de las intensidades de señal de los componentes de color RGB. Cuando se usa el dispositivo de procesamiento de imágenes de la presente realización para el proceso de restauración de una imagen obtenida por medio de una cámara de rayos X o de una cámara de infrarrojos, el “brillo” puede referirse a la intensidad de señal de los rayos X o de la luz infrarroja.

(Realización 2)

A continuación, se describe la segunda realización de la presente invención con referencia a la Figura 8. El dispositivo de procesamiento de imágenes de la presente realización es diferente del dispositivo de procesamiento de imágenes de la Realización 1 solamente en cuanto al método de selección de la PSF candidato en la sección 230 de selección de PSF, y las demás características son comunes entre las Realizaciones 1 y 2. Por lo tanto, las características que son comunes entre el dispositivo de procesamiento de imágenes de la presente realización y el dispositivo de procesamiento de imágenes de la Realización 1 no se describen en esta sección, mientras que solamente se describen las diferencias.

La diferencia entre el dispositivo de procesamiento de imágenes de la presente realización y el dispositivo de procesamiento de imágenes de la Realización 1 es que, en la etapa S512 de la Figura 5, los bloques de imagen para evaluación se seleccionan no solo a partir de la imagen degradada sino también a partir de la imagen restaurada provisional. En la etapa S508 mostrada en la Figura 5, la sección 228 de estimación de PSF obtiene fk (k = 1, 2, ..., K) para cada uno de los pares de bloques de imagen, y la sección 226 de selección de bloque de imagen selecciona una pluralidad de pares de bloques de imagen para su evaluación a partir de la imagen 100 degradada y de la imagen restaurada provisional, estando formado cada uno de los pares de bloques de imagen por un bloque de imagen extraído desde la imagen 100 degradada y por un bloque de imagen extraído desde la imagen restaurada provisional que están en idénticas coordenadas. En lo que sigue, entre los pares de bloques de imagen para evaluación, los bloques de imagen extraídos a partir de la imagen degradada se mencionan como “bloques de imagen degradada”, y los bloques de imagen extraídos a partir de la imagen restaurada provisional se mencionan como “bloques de imagen restaurada”.

Según se muestra en la Figura 8, el número de pares de bloques de imagen seleccionados para evaluación es B (B es un número entero no inferior a 2). La función que representa el bésimo de los bloques de imagen degradada se expresa como ib (b = 1, 2, B). De igual modo, la función que representa el bésimo de los bloques de imagen restaurada se expresa como sb (b = 1,2, ..., B). La sección 230 de selección de PSF realiza convolución de fk y del bloque de imagen restaurada sb, y evalúa cada PSF en base al error entre el resultado de sb*fk y el bloque de imagen degradada ib.

El método de evaluación de PSF basado en error de la presente realización es igual que el método de evaluación de la Realización 1. El valor del jésimo pixel en el bloque de imagen degradada ib se expresa como ibj (j = 1,2, ..., J). El valor del jésimo píxel en una imagen obtenida por convolución del bloque de imagen restaurada sb y de fk, se expresa como (sb*fk)j (j = 1,2, ..., J). Por ejemplo, una PSF (fk) para la que el número de bloques de imagen que satisfacen la Ecuación 8 mostrada a continuación es el más grande, se selecciona como la PSF candidato.

[Expresión 8]

donde t es un umbral predeterminado.

En este método de evaluación, las PSFs estimadas a partir de pares de bloques de imagen que incluyen ruido o desenfoque de un objeto, son también excluidas de la misma manera que en el método de evaluación de la Realización 1. Puesto que solamente una PSF estimada a partir de un de bloques de imagen que tiene un ruido o un desenfoque de un objeto relativamente pequeños se selecciona como PSF candidato, se puede estimar una PSF que sea cercana a la PSF verdadera incluso cuando la imagen incluya ruido o desenfoque de un objeto.

También en la presente realización, la PSF candidato no tiene que ser necesariamente una PSF (fk) para la que el número de bloques de imagen que satisfacen la Ecuación 8 sea el más grande. Por ejemplo, una cualquiera de las PSFs (fk) para la que el número de bloques de imagen que satisfacen la Ecuación 8 sea más grande que un umbral predeterminado, puede ser seleccionada como la PSF candidato. En la presente realización, una de una pluralidad de PSFs estimadas se selecciona como la PSF candidato, pero la presente invención no se limita a este modo de selección. Por ejemplo, algunas de una pluralidad de PSFs (p. ej., aproximadamente un 5% del número de pares de bloques de imagen) pueden ser seleccionadas en base a la Ecuación 7, y el promedio de las PSFs seleccionadas puede ser asignado como la PSF candidato.

(Realización 3)

A continuación, se describe la tercera realización de la presente invención. El dispositivo de procesamiento de imágenes de la presente realización es diferente de los dispositivos de procesamiento de imágenes de las Realizaciones 1 y 2 solamente en cuanto al método de selección de la PSF candidato en la sección 230 de selección de PDF, y las demás características son comunes entre las Realizaciones 1 a 3. Por lo tanto, las características que son comunes entre el dispositivo de procesamiento de imágenes de la presente realización y los dispositivos de procesamiento de imágenes de las Realizaciones 1 y 2 no van a ser descritas en esta sección, mientras que solamente se describen las diferencias.

La diferencia entre el dispositivo de procesamiento de imágenes de la presente realización y el dispositivo de procesamiento de imágenes de la Realización 1 es que, en la etapa S512 de la Figura 5, los bloques de imagen para evaluación se seleccionan no solo a partir de la imagen degradada sino también a partir de la imagen restaurada provisional. En la presente realización, en la etapa S512 de la Figura 5, la sección 230 de selección de PSF clasifica una pluralidad de PSFs estimadas en una pluralidad de clústeres en base a la similitud de unas con las otras, con anterioridad a seleccionar la PSF candidato a partir de uno de los clústeres que se estima que incluye una PSF que puede ser cercana a la PSF verdadera. Este modo de selección permite la reducción de la cantidad de cálculo.

La Figura 9 es un diagrama de flujo que ilustra el flujo del proceso llevado a cabo por la sección 230 de selección de PSF de la presente realización en la etapa S512. La sección 230 de selección de PSF clasifica en primer lugar una pluralidad de PSFs (f¹, f², ..., fk) en una pluralidad de clústeres en base a la similitud de unas con otras (S601). A continuación, para cada uno de los clústeres, se calcula (S602) una PSF promedio en ese clúster (PSF representativa). A continuación, a partir de la pluralidad de PSFs representativas calculadas, se selecciona (S603) una PSF representativa que se estima que es la más cercana a la pSf verdadera. En esto último, a partir del clúster correspondiente a la PSF representativa seleccionada, se selecciona una PSF que se estima que es la más cercana a la ^pS^f verdadera como la PSF candidato (S604).

En lo que sigue, se describen con mayor detalle los procesos en las etapas respectivas.

La Figura 10 es un diagrama de concepto que muestra esquemáticamente el proceso de la presente realización. La Figura 10(a) muestra un ejemplo de una pluralidad de PSFs (f¹, f², ..., fk) calculadas en la etapa S510. En la etapa S601, la sección 230 de selección de PSF clasifica esas PSFs en una pluralidad de clústeres como se muestra en la Figura 10(b).

La clasificación en la pluralidad de clústeres se llevada cabo, por ejemplo, conforme a los procedimientos siguientes. En primer lugar, se seleccionan dos fuera de la pluralidad de PSFs a partir de ^kC² combinaciones. A continuación, se calcula el valor absoluto de la diferencia entre las dos PSFs seleccionadas (norma L1), Af. Las dos PSFs seleccionadas están representadas por fk¹ y fk². Cuando se supone que éstas son imágenes, los valores de brillo de los jésimos píxeles se expresan como (fk¹ )j y (fk²)j. En este caso, Af se expresa mediante la Ecuación 9 que se muestra a continuación.

[Expresión 9]

Si Af es más pequeño que un umbral ft predeterminado, la sección 230 de selección de PSF clasifica las dos PSFs en el mismo clúster. Si Af es igual o mayor que el umbral ft, la sección 230 de selección de PDF clasifica las dos PSFs en clústeres diferentes. Este proceso se realiza sobre cualquier combinación de dos PSFs, con lo que la pluralidad de PSFs pueden ser clasificadas en una pluralidad de clústeres en base a la similitud de unas con otras.

En la etapa S602, la sección 230 de selección de PSF determina PSFs representativas para algunos respectivos de la pluralidad de clústeres de las PSFs clasificadas. La PSF representativa de cada clúster puede ser determinada mediante el cálculo del valor promedio de todas las PSFs incluidas en ese clúster. Obsérvese que la PSF representativa puede ser determinada mediante cálculo del valor central en vez del valor promedio. La Figura 10(c) muestra un ejemplo de la PSF (fs¹, fs² , ..., fsK) representativa así determinada.

En la etapa S603 siguiente, entre la pluralidad de PSFs representativas, la sección 230 de selección de PSF selecciona una PSF que se estima que es la más cercana a la PSF verdadera. El método de selección es similar al método de selección de la PSF candidato que está basado en la Ecuación 7 de la Realización 1 o en la Ecuación 8 de la Reivindicación 2.

A continuación, en la etapa S604, la sección 230 de selección de PSF selecciona, como PSF candidato, una de entre una pluralidad de PSFs incluidas en el clúster correspondiente a la PSF representativa seleccionada que se estima que es la más cercana la PSF verdadera. El método de selección de la pSf candidato puede ser realizado por medio del método de la Realización 1 o 2.

Según la presente realización, se especifica en primer lugar un grupo (clúster) de PSFs que se ha estimado que son cercanas a la PSF verdadera, en vez de realizar la determinación expresada por la Ecuación 7 o la Ecuación 8 sobre todas las PSFs estimadas por la sección 228 de estimación de PSF, y a continuación, un número relativamente pequeño de PSFs incluidas en ese clúster se someten a la determinación expresada por la Ecuación 7 o la Ecuación 8. El proceso de clasificación en los clústeres es una operación de diferencia, y por lo tanto requiere una cantidad más pequeña de cálculo que la convolución de las Ecuaciones 7 y 8. Por lo tanto, se puede reducir la cantidad de cálculo requerido para el proceso en su totalidad.

(Realización 4)

A continuación, se describe la cuarta realización de la presente invención con referencia a la Figura 11. La presente realización se refiere a un dispositivo de captura de imágenes que incluye el dispositivo de procesamiento de imágenes de la Realización 1. Por lo tanto, las características que son comunes entre la presente realización y la Realización 1, no van a ser descritas en esta sección, mientras que solamente se van a describir las diferencias.

La Figura 11 es un diagrama de bloques que muestra una configuración general de un dispositivo de captura de imágenes de la presente realización. El dispositivo de captura de imágenes de la presente realización es una cámara electrónica digital, pero la presente invención no se limita a este ejemplo. El dispositivo de captura de imágenes de la presente realización incluye, según se ha ilustrado en la Figura 11, una sección 300 de captura de imágenes, un dispositivo 200 de procesamiento de imágenes para realizar varios entre procesamientos de señal y restauración de una imagen, una sección 600 de visualización de imagen capturada para la visualización de una imagen obtenida mediante captura de imagen, una sección 400 de almacenaje para almacenar datos de la imagen, y una sección 500 de control de sistema para controlar secciones respectivas. Un diferencia importante del dispositivo de captura de imágenes de la presente realización respecto a los dispositivos de captura de imágenes conocidos consiste en la operación del dispositivo 200 de procesamiento de imágenes.

La sección 300 de captura de imágenes de la presente realización incluye un sensor de imagen 310 de estado sólido (sensor de imagen) que tiene una pluralidad de células fotosensibles (fotodiodos) dispuestas sobre una zona de formación de imágenes, un obturador 315 que tiene la función de tope de lente, y una lente 320 de fotografía para formar una imagen sobre la zona de formación de imágenes del sensor de imagen 310 de estado sólido. Un ejemplo típico del sensor de imagen 310 de estado sólido es un sensor CCD o un CMOS. La lente 320 de fotografía tiene una configuración conocida y puede ser, en realidad, una unidad de lente que esté formada por una pluralidad de lentes. El obturador 315 y la lente 320 de fotografía están accionados por un mecanismo no representado para realizar las operaciones que sean necesarias para el enfoque óptico, la Auto Exposición (AE) y el Auto Enfoque (AF).

La sección 300 de captura de imágenes incluye además una sección 330 de activación de sensor de imagen para excitar el sensor de imagen 310 de estado sólido. La sección 330 de activación de sensor de imagen puede estar realizada, por ejemplo, por medio de un circuito integrado semiconductor, tal como un controlador de CCD. La sección 330 de activación de sensor de imagen excita el sensor de imagen 310 de estado sólido para leer una señal analógica (señal convertida fotoeléctricamente) desde el sensor de imagen 310 de estado sólido, y convertir la señal analógica en una señal digital.

El dispositivo 200 de procesamiento de imágenes de la presente realización incluye una sección 220 de procesamiento de imágenes (procesador de imagen) y una memoria 240. La sección 200 de procesamiento de señales está acoplada a una sección 300 de display, tal como un panel de display de cristal líquido, y a un medio 400 de almacenaje, tal como una tarjeta de memoria.

La sección 220 de procesamiento de imágenes realiza varios procesamientos de señal, tal como corrección del tono de color, cambio de resolución, y compresión de datos, así como el proceso de restauración de la invención sobre una imagen degradada. La sección 220 de procesamiento de imágenes se realiza preferiblemente por medio de una combinación de hardware, tal como un procesador de señal digital (DSP) conocido, y software para ejecución de procesamiento de imágenes. La memoria 240 puede estar formada por una DRAM o similar. La memoria 240 almacena datos de imagen obtenidos desde la sección 300 de captura de imágenes y, mientras tanto, almacena temporalmente datos de imagen que han sido sometidos a varios procesamientos de imagen, o datos de imagen que han sido comprimidos en la sección 220 de procesamiento de imágenes. Los datos de imagen se convierten en señales analógicas y a continuación se visualizan en la sección 300 de display. Alternativamente, los datos de imagen que permanecen en forma de señales digitales se almacenan en el medio 400 de almacenaje. Los datos de imagen pueden ser transmitidos a otro aparato (no representado) a través de un dispositivo de comunicación inalámbrico o cableado, no representado.

Los componentes anteriores están controlados por la sección 500 de control de sistema, que incluye una unidad de proceso central (CPU) no representada, y una memoria flash. Obsérvese que el dispositivo de captura de imágenes de la presente realización puede incluir otros componentes conocidos, tal como un visor óptico, una fuente de alimentación (batería), y una linterna. Sin embargo, las descripciones de tales componentes no son particularmente necesarias para la comprensión de la presente invención y por lo tanto se omiten.

La configuración que antecede es simplemente un ejemplo. El dispositivo de captura de imágenes de la presente realización puede tener cualquier configuración siempre que una imagen degradada obtenida por el sensor de imagen 310 de estado sólido sea introducida en el dispositivo 200 de procesamiento de imágenes.

Cuando se fotografía un objeto por parte de un usuario haciendo uso del dispositivo de captura de imágenes de la presente realización, el sensor de imagen 310 de estado sólido de la sección 300 de captura de imágenes obtiene una señal que se produce en conformidad con una imagen formada en la zona de formación de imágenes. El dispositivo 200 de procesamiento de imágenes recibe la señal obtenida por el sensor de imagen 310 de estado sólido. La imagen así obtenida es una imagen degradada que está expresada mediante i(x,y) en el lado izquierdo de la Ecuación 7. En el dispositivo 200 de procesamiento de imágenes, la sección 220 de procesamiento de imágenes realiza un proceso para restaurar s(x,y) en base a i(x,y). El flujo de este proceso de restauración es el mismo que el flujo del proceso de restauración mostrado en la Figura 5. La imagen restaurada s(x,y) obtenida por medio del proceso de restauración se visualiza mediante la sección 600 de display.

En el dispositivo de captura de imágenes de la presente realización, el dispositivo 200 de procesamiento de imágenes realiza repetidamente el proceso de restauración en base a una imagen degradada obtenida por el sensor de imagen 310 de estado sólido y presenta a la salida una imagen restaurada que es cercana a la imagen verdadera (imagen ideal). En el transcurso de la restauración, se selecciona una pluralidad de bloques de imagen, y se realiza estimación y evaluación de la PSF sobre cada uno de los bloques de imagen, con lo que se selecciona la PSF candidato. Puesto que el cálculo se realiza sobre cada uno de los bloques de imagen que tienen tamaños pequeños, el dispositivo de captura de imágenes de la presente realización está capacitado para un proceso de restauración de alta velocidad si se compara con un dispositivo de captura de imágenes de la técnica anterior que realice un proceso de restauración de imágenes. También, puesto que la PSF candidato se selecciona en base a RANSAC, se puede obtener una imagen restaurada que sea cercana a la imagen verdadera incluso cuando una imagen fotografiada incluya ruido local o desenfoque de un objeto.

En la presente realización, el dispositivo de la Realización 1 se usa como dispositivo de procesamiento de imágenes, pero la presente invención no se limita a este ejemplo. El dispositivo de la Realización 2 o 3 puede ser usado alternativamente como dispositivo de procesamiento de imágenes. Incluso alternativamente, se puede usar otro dispositivo de procesamiento de imágenes de la presente invención.

Aplicabilidad industrial

Según la presente invención, el tiempo de proceso que se requiere para la restauración de una imagen puede reducirse mientras que se mantiene la precisión de la restauración. Por lo tanto, la presente invención es adecuadamente aplicable a un dispositivo de procesamiento de imágenes, un dispositivo de captura de imágenes que tenga una función de procesamiento de imágenes, y similares.

Listado de signos de referencia

100 imagen degradada

120 imagen restaurada

130 imagen

135 píxeles

200 dispositivo de procesamiento de imágenes

220 sección de procesamiento de imágenes

222 sección de establecimiento de PSF inicial

224 sección de establecimiento de imagen inicial

226 sección de selección de bloque de imagen

228 sección de estimación de PSF

230 sección de selección de PSF

232 sección de restauración de imagen

234 sección de actualización de parámetro

240 memoria

250 sección de entrada de imagen

260 sección de determinación de PSF

270 sección de restauración

300 sección de captura de imágenes

310 sensor de imagen de estado sólido

320 lente de fotografía

315 obturador con función de tope de lente

330 sección de excitación de sensor de imagen

400 medio de almacenaje

500 sección de control de sistema

600 sección de display

Claims (14)

1. REIVINDICACIONES

   1 Un dispositivo de procesamiento de imágenes para producir una imagen (120) restaurada a partir de una imagen (100) degradada de entrada, comprendiendo la imagen degradada de entrada un desenfoque por movimiento resultante del movimiento de la cámara durante la exposición, teniendo la imagen (120) restaurada un desenfoque menor que la imagen degradada, comprendiendo el dispositivo:

   una sección (224) de establecimiento de imagen inicial que establece una imagen restaurada provisional que ha sido producida a partir de la imagen (100) degradada usando una función de dispersión de punto, PSF, en donde la PSF provisional se establece en base a datos que representan la trayectoria de la cámara durante la exposición; caracterizado por

   una sección (226) de selección de bloque de imagen que selecciona una pluralidad de pares de bloques de imagen a partir de la imagen (100) degradada y de la imagen restaurada provisional, estando cada uno de los pares de bloques de imagen formado por dos bloques de imagen en idénticas coordenadas en la imagen (100) degradada y en la imagen restaurada provisional;

   una sección (228) de estimación de PSF que estima una pluralidad de funciones de dispersión de punto basadas respectivamente en la pluralidad de pares de bloques de imagen;

   una sección (230) de selección de PSF que selecciona una función de dispersión de punto candidato que define el desenfoque de la imagen degradada a partir de la pluralidad de funciones de dispersión de punto estimadas por la sección (228) de estimación de PSF mediante la selección de una PSF que tiene un error pequeño, estando el error basado en la proximidad de una imagen obtenida por medio de una convolución de la PSF y de una imagen restaurada provisional respecto a la imagen degradada; y

   una sección (232) de restauración de imagen que produce una imagen (120) restaurada a partir de la imagen (100) degradada usando la función de dispersión de punto candidato, en donde

   la imagen restaurada provisional es un nésima imagen restaurada provisional, y la imagen restaurada es una nésima imagen restaurada, donde n = 1,2, ..., N (N es un número entero no inferior a 2),

   tras la producción de la nésima imagen restaurada,

   la sección (224) de establecimiento de imagen inicial actualiza la nésima imagen restaurada provisional con la nésima imagen restaurada, siendo la imagen restaurada actualizada usada como una (n+1)ésima imagen restaurada provisional, y

   la sección (226) de selección de bloque de imagen selecciona, a partir de la imagen (100) degradada y de la (n+1)ésima imagen restaurada provisional, otra pluralidad de pares de bloques de imagen de los que al menos algunos son diferentes de dicha pluralidad de pares de bloques de imagen,

   por lo que se repite la actualización de la función de dispersión de punto candidato y de la imagen restaurada.
2. 2. - El dispositivo de procesamiento de imágenes de la reivindicación 1, que comprende además una sección (222) de establecimiento de PSF inicial que establece una función de dispersión de punto provisional,

   en donde la sección (222) de establecimiento de imagen inicial produce la imagen restaurada provisional a partir de la imagen (100) degradada usando la función de dispersión de punto provisional.
3. 3. - El dispositivo de procesamiento de imágenes de la reivindicación 2 en donde, cuando una dirección horizontal y una dirección vertical de la imagen (100) degradada y de la imagen restaurada provisional son denominadas respectivamente como dirección X y dirección Y,

   cada uno de un tamaño a lo largo de la dirección X y de un tamaño a lo largo de la dirección Y de cada uno de los bloques de imagen incluidos en la pluralidad de pares de bloques de imagen es igual a uno mayor de un tamaño a lo largo de la dirección X y un tamaño a lo largo de la dirección Y de una región formada por píxeles en la que la función de dispersión de punto provisional tiene un valor finito.
4. 4. - El dispositivo de procesamiento de imágenes de cualquiera de las reivindicaciones 1 a 3, en donde la sección (226) de selección de bloque de imagen selecciona aleatoriamente la pluralidad de pares de bloques de imagen a partir de la imagen (100) degradada y de la imagen restaurada provisional.
5. 5. - El dispositivo de procesamiento de imágenes de cualquiera de las reivindicaciones 1 a 4, en donde

   la sección (226) de selección de bloque de imagen selecciona, como primer grupo de bloques de imagen, una pluralidad de bloques de imagen a partir de la imagen (100) degradada independientemente de la selección de la pluralidad de pares de bloques de imagen, y

   la sección (230) de selección de PSF selecciona la función de dispersión de punto candidato en base a una diferencia entre (skb*fk) e ib, siendo (skb*fk) una función obtenida por convolución de skb y fk,

   donde fk es una késima función de dispersión de punto entre la pluralidad de funciones de dispersión de punto obtenidas por la sección de estimación de PSF, en donde k es un número entero no inferior a 1,

   ib es una función que representa una distribución de brillo en un bésimo de los bloques de imagen incluidos en el primer grupo de bloques de imagen, en donde b es un número entero no inferior a 1, y

   skb es una función obtenida por desconvolución de ib y fk.
6. 6. - El dispositivo de procesamiento de imágenes de la reivindicación 5, en donde la sección (230) de selección de PSF calcula, para cada una de la pluralidad de funciones de dispersión de punto, un número de bloques de imagen en el que un error cuadrático entre (skb*fk) e ib no es mayor que un umbral predeterminado, y selecciona una de las funciones de dispersión de punto para la que el número calculado de bloques de imagen es el mayor como la función de dispersión de punto candidato.
7. 7. - El dispositivo de procesamiento de imágenes de cualquiera de las reivindicaciones 1 a 4, en donde

   la sección (226) de selección de bloque de imagen selecciona, independientemente de la selección de la pluralidad de pares de bloques de imagen, una pluralidad de bloques de imagen a partir de la imagen (100) degradada como primer grupo de bloques de imagen y una pluralidad de bloques de imagen a partir de la imagen restaurada provisional como segundo grupo de bloques de imagen, estando los bloques de imagen del segundo grupo de bloques de imagen en coordenadas idénticas a las de los bloques de imagen incluidos en el primer grupo de bloques de imagen, y

   la sección (230) de selección de PSF selecciona la función de dispersión de punto candidato en base a una diferencia entre (sb*fk) e ib, siendo (sb*fk) una función obtenida por convolución de sb y fk,

   donde fk es una késima función de dispersión de punto entre la pluralidad de funciones de dispersión de punto obtenidas por la sección (228) de estimación de PSF, en donde k es un número entero no inferior a 1,

   ib es una función que representa una distribución de brillo en un bésimo de los bloques de imagen incluidos en el primer grupo de bloques de imagen, en donde b es un número entero no inferior a 1, y

   sb es una función que representa una distribución de brillo en uno de los bloques de imagen incluidos en el segundo grupo de bloques de imagen correspondiente a la ib, en donde b es un número entero no inferior a 1.
8. 8. - El dispositivo de procesamiento de imágenes de la reivindicación 7, en donde la sección (230) de selección de PSF calcula, para cada una de la pluralidad de funciones de dispersión de punto, un número de bloques de imagen en el que un error cuadrático entre (sb*fk) e ib no es mayor que un umbral predeterminado, y selecciona una de las funciones de dispersión de punto para la que el número calculado de los bloques de imagen es el mayor como la función de dispersión de punto candidato.
9. 9. - El dispositivo de procesamiento de imágenes de cualquiera de las reivindicaciones 5 a 8, en donde la sección (226) de selección de bloque de imagen selecciona aleatoriamente el primer grupo de bloques de imagen a partir de la imagen degradada.
10. 10. - El dispositivo de procesamiento de imágenes de cualquiera de las reivindicaciones 1 a 9, en donde la sección (230) de selección de PSF realiza los siguientes procesos:

    clasificar la pluralidad de funciones de dispersión de punto obtenidas por la sección (228) de estimación de PSF en una pluralidad de clústeres, estando formado cada uno de los clústeres por una pluralidad de funciones de dispersión de punto que son similares entre sí,

    determinar una función promedio de dispersión de punto en cada uno de la pluralidad de clústeres como PSF representativa del clúster,

    seleccionar una PSF representativa candidato entre la pluralidad de PSFs representativas determinadas, y seleccionar la función de dispersión de punto candidato a partir de uno de los clústeres correspondientes a la PSF representativa candidato.
11. 11. - Un dispositivo de captura de imágenes, que comprende:

    el dispositivo (200) de procesamiento de imágenes de cualquiera de las reivindicaciones 1 a 10; y

    un sensor (310) de imagen de estado sólido,

    en donde una señal obtenida por el sensor (310) de imagen de estado sólido se introduce como la imagen (100) degradada en el dispositivo (200) de procesamiento de imágenes.
12. 12. - Un método de producción de una imagen (120) restaurada a partir de una imagen (100) degradada de entrada, comprendiendo la imagen degradada de entrada desenfoque por movimiento resultante del movimiento de la cámara durante la exposición, teniendo la imagen (120) restaurada un desenfoque menor que el de la imagen (100) degradada, comprendiendo el método la etapa de:

    (A) establecer (S506) una nésima imagen restaurada conde n = 1, 2, ..., N, y N es un número entero no inferior a 2; la primera imagen restaurada se produce a partir de la imagen (100) degradada usando una función de dispersión de punto, PSF, provisional, en donde la PSF provisional se establece en base a datos que representan la trayectoria de la cámara durante la exposición;

    caracterizado por las etapas de:

    (B) seleccionar (S508) una pluralidad de pares de bloques de imagen a partir de la imagen (100) degradada y de la nésima imagen restaurada, estando formado cada uno de los pares de bloques de imagen por dos bloques de imagen en idénticas coordenadas en la imagen (100) degradada y en la nésima imagen restaurada;

    (C) estimar (S510) una pluralidad de funciones de dispersión de punto basadas respectivamente en la pluralidad de pares de bloques de imagen;

    (D) seleccionar (S512) una función de dispersión de punto candidato que define desenfoque de la imagen (100) degradada entre la pluralidad de funciones de dispersión de punto estimadas en la etapa (C) mediante la selección de una PSF que tiene un error pequeño, estando el error basado en la proximidad de una imagen obtenida por una convolución de la PSF y de una imagen restaurada provisional respecto a la imagen degradada; y

    (E) producir (S514) una (n+1)ésima imagen restaurada a partir de la imagen (100) degradada usando la función de dispersión de punto candidato,

    en donde las respectivas etapas (A) a (E) se inician a partir de n = 1 y se repiten hasta que se produce una N+1ésima imagen (120) restaurada.
13. 13. - Un programa para controlar una operación de un dispositivo (200) de procesamiento de imágenes que está configurado para realizar repetidamente un proceso de restauración en base a una imagen (100) degradada de entrada para producir una imagen (120) restaurada, comprendiendo la imagen degradada de entrada desenfoque por movimiento resultante del movimiento de la cámara durante la exposición, teniendo la imagen (120) restaurada un desenfoque menor que el de la imagen (100) degradada, comprendiendo el programa un código ejecutable para llevar a cabo todas las etapas de un método según la reivindicación 12.
14. 14. - Un medio de almacenaje legible con ordenador en el que está almacenado el programa de la reivindicación 13.