ES2628356T3

ES2628356T3 - Procedimiento y aparato de sustitución sensorial

Info

Publication number: ES2628356T3
Application number: ES11793370.5T
Authority: ES
Inventors: Paul O'grady; Ross O'neill; Barak A. Pearlmutter
Original assignee: National University of Ireland Maynooth
Current assignee: National University of Ireland Maynooth
Priority date: 2010-11-23
Filing date: 2011-11-21
Publication date: 2017-08-02
Anticipated expiration: 2031-11-21
Also published as: DK3245990T3; US9675777B2; PL3574951T3; LT2658491T; WO2012069429A1; PT2658491T; CY1119801T1; PT3574951T; EP3245990B1; DK2658491T3; HUE055666T2; ES2741303T3; RS56031B1; US9124979B2; US10668244B2; EP3574951A1; SI2658491T1; EP3574951B1; US20140079251A1; SI3574951T1

Abstract

Un aparato configurado para usarse en el tratamiento de acúfenos, que comprende una unidad de procesamiento de sonido, una unidad táctil y una interfaz entremedias, en el que: dicha unidad táctil comprende una agrupación de estimuladores electrocutáneos, cada uno de los cuales puede accionarse independientemente para aplicar un estímulo táctil a un sujeto y una entrada para recibir una pluralidad de señales de accionamiento desde dicha interfaz y que dirige señales de accionamiento individuales a estimuladores individuales; y dicha unidad de procesamiento de sonido comprende: una entrada configurada para recibir una señal de audio; un procesador de señal digital operable para analizar dicha señal de audio y generar dicha pluralidad de señales de accionamiento representativas de dicha señal de audio dividiendo dicha señal de audio en una serie de tramas en el dominio de tiempo, realizando una transformada en cada trama para generar un conjunto de coeficientes que representan dicha trama y mapeando dicho conjunto de coeficientes en un conjunto de señales de accionamiento a aplicar a la agrupación; y una salida configurada para recibir dicha pluralidad de señales de accionamiento desde dicho procesador de señal digital y para proporcionar dicha pluralidad de señales de accionamiento a dicha interfaz.

Description

imagen1

imagen2

imagen3

imagen4

imagen5

El procedimiento típico es determinar un valor de escalado apropiado para la señal de una manera ad hoc, después monitorizar los valores de los coeficientes resultantes, s, disminuyendo el valor de μ mediante una pequeña cantidad si ocurre recorte; el valor de escalado se establece rápidamente en un valor adecuado.

Además, los efectos perceptuales también necesitan considerarse. Por ejemplo, el estándar de compresión de audio MP3 es un procedimiento de compresión de audio con pérdidas donde los sonidos que son imperceptibles por el oído humano (debido la máscara perceptual de tales sonidos) se retiran del audio con poca diferencia perceptible desde el punto de vista del oyente. El estándar MP3 emplea un “modelo receptor inverso" donde las señales que el receptor (humano oído) no puede percibir se retiran mediante el códec MP3 con poca/ninguna degradación en la calidad de la señal perceptible. Tales efectos de enmascarado perceptual se exhibirán seguramente mediante el área del cuerpo a la que la agrupación táctil se aplica (p. ej., lengua) y pueden explotarse cuando se represente información en el sistema de representación electrotáctil.

Agrupación Electrotáctil

La agrupación de electrodo empleada en el dispositivo de la Fig. 2 usa estimuladores electrocutáneos hemisféricos que aseguran una densidad de corriente de la interfaz electrodo-piel homogénea. La electrostática dicta que la distribución de la carga sobre la superficie de un cuerpo cargado es mayor en las áreas de mayor curvatura de superficie. Esto se conoce comúnmente como el "efecto de borde". Los cuerpos cargados con bordes afilados experimentan un aumento de carga a lo largo de esos bordes. La mayoría de estimuladores electrocutáneos usan electrodos planos similares a discos. Las inspecciones microscópicas de estos electrodos revelan bordes afilados en el perímetro del electrodo. Se ha mostrado que estos bordes experimentan una distribución de corriente desigual en la interfaz de electrodo-piel durante la estimulación electrocutánea (Krasteva y Papazov, 2002). Esto afectará a la percepción cualitativa del estímulo y puede incluso causar dolor o quemazón de piel.

La Ley de Gauss para la resistencia del campo fuera de una esfera de radio R es

Ecuación 4

E = Q/4πϵR2

y la carga de densidad D (carga por unidad de área superficial) en una esfera de radio de R para una carga Q se escala de manera similar:

Ecuación 5

D = Q/4πR2

En esta configuración, estas ecuaciones significan que la resistencia de campo y la densidad de carga D son inversamente proporcionales al radio de electrodo R. Asumiendo la carga constante Q, esto implica que la resistencia de campo y la densidad de carga serán mayores en el punto de un alfiler que sobre la superficie de una esfera grande.

Esto implica, que para un tamaño de electrodo determinado, si se desea minimizar la resistencia de campo máxima, el electrodo debería ser hemisférico.

La densidad de corriente se proporciona por la ecuación:

Ecuación 6

J(r,t) = qn(r,t)vd(r,t)

donde J(r, t) es el vector de densidad de corriente en la ubicación r en el momento t (amperios de unidad SI por metro cuadrado). n (r,t) es la densidad de partículas en un recuento por volumen en la ubicación r en el momento t (unidad SI m-3) es la carga de las partículas individuales con densidad n (unidad SI: Culombios). Se emplea un estimulador electrocutáneo hemisférico con un radio uniforme y una curvatura de superficie que asegurarán una densidad de corriente homogénea en la interfaz de electrodo-piel, reduciendo así el riesgo de concentraciones de corriente dañinas.

Una agrupación de electrodo hexagonal distribuida de manera uniforme consiste en agrupaciones hexagonales concéntricas con electrodos distribuidos uniformemente. El número de electrodos e se proporciona mediante la siguiente ecuación:

imagen6

donde k es el número de agrupaciones hexagonales concéntricas en la agrupación alrededor del electrodo central.

7

imagen7

5

10

15

20

25

30

35

40

45

50

sonido, por ejemplo, diálogo.

Cuando las señales de diccionario se aprenden, es necesario aplicar el procedimiento elegido en algunos datos de entrenamiento (p. ej., diálogo, música, audio en entornos diferentes, etc.) fuera de línea, donde los datos del entrenamiento se muestrean y se pasan por tramas usando el mismo esquema descrito anteriormente, sin embargo, una secuencia de K tramas se consideraron a la vez y se usa X = [x1|...|xK] para indicar la matriz de datos de entrenamiento. El diccionario de señal resultante, W, produce codificaciones, s, que se optimizan para los datos de entrenamiento, que pueden usarse para producir codificaciones óptimas para estos tipos de datos, siempre que K sea suficientemente grande. Por ejemplo, cuando se escucha música en un evento exterior, es útil usar un diccionario de señales que se aprende a partir de registros de eventos de música exterior (en oposición a por ejemplo música de ballena) para lograr una codificación parsimoniosa.

En la Ecuación 1, W se construye a partir de este diccionario de señal precalculado y cuando el sonido se presenta en el sistema, se codifica usando esta matriz de diccionario. Los coeficientes de las codificaciones resultantes, s1, ..., sN, se organizan topológicamente dependiendo del mismo criterio (p. ej., dependencias mutuas entre s1, ... , sN) y se representan en el sistema de representación electrotáctil. Tal organización es similar a la organización tonotópica de receptores auditivos en el córtex auditivo. De esta manera, el sistema realiza la codificación perceptual de modalidad disfuncional.

Los siguientes procedimientos aprenden W a partir de un corpus de datos, X, de una manera fuera de línea, x se proyectan posteriormente sobre el diccionario de señales fijo W mediante una transformada lineal (Ecuación 1) en tiempo real cuando el sistema es operativo.

Análisis de componente principal

El Análisis de Componente Principal (PCA) (Pearson, 1901) (también conocido como la transformada de KarhunenLo'eve o la transformada de Hotelling) es una técnica para la reducción de dimensionalidad de datos multivariantes, X es una multivariada, que retiene las características de los datos que contribuyen en gran medida a su varianza estadística. PCA es una transformación lineal que no tiene un conjunto fijo de vectores básicos (a diferencia de la Transformada de Fourier, por ejemplo). En su lugar, el PCA transforma los datos de entrenamiento X en un sistema de coordenadas ortogonal que se corresponde con las direcciones de la varianza de datos. Los vectores que definen las direcciones de varianza, [w1|...| wN], se conocen como los componentes principales de los datos:

Ecuación 7

Σx = WΛW-1

Donde ΣX = 〈XXT〉es la matriz de covarianza de X y la entrada a la fase de aprendizaje. Después del aprendizaje, es decir, Ex se ha diagonalizado en la forma de la Ecuación 7, W contiene los eigen vectores (componentes principales) de ΣX y la matriz diagonal Λ contiene sus eigen valores asociados λi...λN. Durante el tiempo de ejecución, cuando una trama x, desde la misma clase de datos de audio, se proyecta en W (Ecuación 1), entonces las variantes de s, s1, ...sN, son (aproximadamente) descorrelacionadas, es decir, la matriz de correlación para s es una matriz diagonal. De esta manera, los componentes descorrelacionados del sonido pueden representarse en el dispositivo.

Análisis de componente independiente

El Análisis de Componente Independiente (ICA) (Comon, 1994) abarca un intervalo de procedimientos para la separación de datos multivariantes en componentes independientes estadísticamente. Inspirado por la hipótesis de Barlow, (Atick y Redlich, 1990) se postuló el principio de redundancia mínima, que propone un modelo que utiliza tal procedimiento como el mecanismo para lograr un código eficiente. El ICA proporciona un operador de matriz lineal, W, (que se aprende a partir de datos de entrenamiento X) que factoriza la distribución de probabilidad conjunta de s en componentes independientes,

Ecuación 8

imagen8

y se soluciona generalmente como un problema de optimización, donde W se descubre maximizando alguna medida de independencia. Tales medidas incluyen información mutua (Comon, 1994), entropía (Bell y Sejnowski, 1995), no gaussianidad (Hyvarinen y Oja, 1997) y escasez (Zibulevsky y Pearlmutter, 2001). Al usar un diccionario de señales, W, construido por ICA en la Ecuación 1, es posible representar los componentes estadísticamente independientes del sonido, lo que produce codificaciones que son tanto descorrelacionadas como mutuamente independientes.

Factorización de matriz no-negativa

(NMF) es una factorización aproximativa de bajo rango no negativa lineal para la descomposición de datos multivariantes (Lee y Seung, 2001; Paatero y Tapper, 1994). NMF es un enfoque basado en porciones que no

9

realizan ninguna suposición estadística sobre los datos. En su lugar, se asume que para el dominio en cuestión, por ejemplo, imágenes en escala de grises, los números negativos son físicamente insignificantes. Los componentes negativos no tienen representación en el mundo real en un contexto de imagen de escala de grises, lo que conduce a una limitación de que la búsqueda para W debería confinarse a valores no negativos, es decir, valores mayores que e incluyendo cero. Los datos que contienen componentes negativos, por ejemplo, sonido, deben transformarse a un formato no negativo antes de que pueda aplicarse NMF. Normalmente, el espectrograma de magnitud se usa para este fin, donde los datos de entrenamiento X también sufren el procedimiento de espectrograma de magnitud como se ha señalado antes. Normalmente, NMF puede interpretarse como

Ecuación 9

imagen9

donde A = W-1 es una matriz N x R con R ≤ N, de manera que el error de reconstrucción se minimiza. Los factores A y S se aprenden a partir de los datos de entrenamiento X usando reglas de actualización multiplicativas (Lee y Seung, 2001), donde A contiene las características de los datos y S sus activaciones, que se descartan después de la etapa de aprendizaje. Las codificaciones NMF no son negativas y de esta manera están fácilmente disponibles para la representación, mientras que las codificaciones producidas por PCA e ICA pueden incluir componentes negativos, lo que requiere una transformada no lineal adicional (p. ej., valor absoluto) antes de que puedan representarse. Durante el tiempo de ejecución, cada trama x tiene como resultado sn al realizar la siguiente optimización,

Ecuación 10

imagen10

Descomposición sobrecompleta escasa

En la Ecuación 1, el diccionario en el que el sonido de entrada x se descompone, es decir, las columnas de W-1, tiene un tamaño igual a (o menor que) la dimensionalidad N de x. Tal como se analiza, puede ser aconsejable que la descomposición de x sea escasa, lo que significa que se exprese en términos de un pequeño número de elementos de diccionario, lo que se corresponde en este caso con el vector de s, que es escaso. Si la distribución desde la que x se extrae es suficientemente rica, esto puede ser imposible con cualquier diccionario solo con N elementos.

Como alternativa, se puede usar un diccionario sobrecompleto, lo que significa que tiene más de N elementos, es decir, el diccionario de señal es una matriz gorda. Si el diccionario se coloca en las columnas de una matriz D, entonces esto se corresponde con encontrar un vector s que es escaso, y que también satisface la ecuación menos limitada Ds ≈ x.

Hasta este punto se ha descrito, usando la Ecuación 1, la transformación de x usando el diccionario de señales. Ahora se especifica un diccionario de señales sobrecompleto D, donde la transformación usando la Ecuación 1 no es posible ya que la Ecuación está menos limitada para D, y por tanto, se usa la Ecuación de optimización 11 a continuación para lograr la transformación.

Existen una variedad de algoritmos para encontrar tal vector s, el más prominente de los cuales es la descomposición L1, en la que una s se encuentra, cuyos elementos con una suma mínima de valores absolutos se somete a la anterior condición donde ≈ se hace concreta como error al cuadrado, teniendo como resultado:

Ecuación 11

imagen11

donde λ es una constante que compensa la escasez de s contra la fidelidad de la representación de x.

Justo como en el caso para W en la Ecuación 1, el diccionario D puede encontrarse mediante una variedad de medios, incluyendo PCA, ICA, NMF y variantes de los mismos, tal como un ICA sobrecompleto y una NMF convolutiva escasa (O'Grady y Pearlmutter, 2008).

Además, es posible combinar diccionarios de señales que se entrenan sobre diferentes datos y construyen un diccionario sobrecompleto. Por ejemplo, usando ICA se pueden construir dos diccionarios de señales con las mismas dimensiones que W para el diálogo, donde uno se sintoniza con el diálogo varón, que se denomina M, y el otro se sintoniza con el diálogo de mujer, que se denomina F. Se pueden combinar entonces ambos para construir D, donde D = [M|F]. La ventaja de esto es que cuando el diálogo varón se captura en el flujo de audio, la porción M

10

imagen12

Claims

imagen1

imagen2