ES2548139T3 - Procedimiento y sistema para generar datos para controlar un sistema para renderizar al menos una señal - Google Patents

Abstract

Procedimiento para generar datos para controlar un sistema de renderizado (9) para recrear la atmósfera de un evento, en particular de un concierto en directo, que incluye las etapas de:

Description

DESCRIPCIÓN

Procedimiento y sistema para generar datos para controlar un sistema para renderizar al menos una señal

CAMPO DE LA INVENCIÓN 5

La invención se refiere a un procedimiento de generación de datos para controlar un sistema de renderizado para recrear la atmósfera de un evento, en particular de un concierto en directo, a un sistema para generar datos para controlar tal sistema de renderizado y a un programa informático.

10

ANTECEDENTES DE LA INVENCIÓN

El documento WO 2005/084339 da a conocer un aparato para controlar un sistema de iluminación en respuesta a una entrada de audio. Un medio de correlación puede proporcionarse con un programa de iluminación (por ejemplo, almacenado en una tabla de correlación) que puede incluir una o más variables para recibir valores de entrada en 15 tiempo de ejecución. El medio de correlación puede recibir la salida de un descodificador de audio, de modo que información relativa a las características de la señal de audio de entrada puede proporcionarse al medio de correlación para proporcionar los valores de entrada para variables del programa de iluminación ejecutado por el medio de correlación. En una realización, la función de correlación particular utilizada puede seleccionarse en función de información proporcionada con la señal de audio que proporciona una indicación del tipo de música 20 incluida en la misma. Específicamente, algunos fragmentos de música pueden incluir una etiqueta u otra información de la música, o relacionada con la misma, que identifica el tipo de música. Tal información puede usarse para seleccionar una función de correlación que se ajuste al estilo de música. Los programas de iluminación pueden crearse en un sistema diferente y después transferirse, a través de un medio legible por ordenador, a la tabla de correlación del aparato. 25

Un problema con un sistema de este tipo es que no es muy adecuado para recrear la atmósfera de cualquier espacio escénico. Esto requeriría que se usara el mismo tipo de sistema de iluminación en el espacio escénico y que el usuario pudiera obtener el programa de iluminación usado durante la actuación.

30

Ejemplos adicionales de la técnica anterior se conocen a partir de los siguientes documentos:

El documento DE 195 38 436 A1 da a conocer un control interactivo de instalaciones de vídeo y sistemas de música mediante el análisis visual de movimientos de baile de los asistentes.

El documento WO 97/36297 A1 da a conocer un enfoque que permite sincronizar una secuencia de vídeo dada 35 con cualquier pista de audio arbitraria. Este enfoque se usa, por ejemplo, cuando se sincroniza un vídeo con un idioma diferente al idioma original. Modifica la imagen grabada originalmente de modo que el movimiento de los labios del hablante en el vídeo se sincronice con la nueva pista de sonido.

El documento US 2003/0025878 A1 da a conocer un procedimiento para analizar una grabación de audio almacenada y para determinar cuándo visualizar una secuencia de imágenes digitales almacenadas de 40 acuerdo con la grabación de audio almacenada. Este procedimiento tiene como objetivo permitir a un usuario mostrar su creatividad visual y sonora sin requerir una gran cantidad de tiempo, esfuerzo o talento especializado. Una aplicación típica de este procedimiento es mejorar la presentación de imágenes sincronizando automáticamente las imágenes con música adecuada.

El documento WO 2008/053409 A1 da a conocer un procedimiento, un dispositivo y un sistema para generar 45 un control de iluminación en respuesta a una entrada de audio. Permite generar una luz que está perceptivamente alineada con la señal de audio, por ejemplo con la música. Aplicaciones típicas son luces de discoteca que se alinean automáticamente con la música reproducida.

El documento GB2398423 A da a conocer un procedimiento para controlar una de más características de una actuación en respuesta a una señal de reacción del público, donde esta señal se genera en función de la salida 50 de dispositivos de supervisión, tales como cámaras de vídeo o micrófonos. La actuación puede comprender una actuación musical y arte visual. El documento EP1156610 A da a conocer un procedimiento de selección de música automática, que compara el estado de ánimo real del público con parámetros prefijados para proporcionar datos necesarios para la sección de ajustes de música e iluminación.

55

SUMARIO DE LA INVENCIÓN

Es deseable proporcionar un procedimiento, un sistema y un programa informático de los tipos mencionados anteriormente para proporcionar una experiencia similar pero no necesariamente idéntica a la atmósfera experimentada en cualquier espacio escénico. 60

Esto se consigue mediante un procedimiento de generación de datos para controlar un sistema de renderizado según la invención, que incluye:

- obtener datos, incluidos datos de audio y vídeo, que representan una grabación de al menos intervalos de un evento grabando de manera intermitente datos capturados obtenidos usando un micrófono y un sensor de imágenes en el lugar de celebración del evento;

- analizar los datos para determinar al menos una dependencia entre los datos de audio y los datos de vídeo en el tiempo; 5

- usar al menos un parámetro que caracteriza a los datos da audio para generar una lista de reproducción de pistas de audio caracterizadas por parámetros similares a los de los datos de audio;

- reproducir la lista de reproducción de pistas de audio;

- obtener datos que representan al menos una característica de audio de una pista de audio que está reproduciéndose actualmente; 10

- usar al menos dicha dependencia y dichos datos representativos de al menos una característica de audio de una pista de audio que está reproduciéndose actualmente para generar datos para controlar un dispositivo de iluminación para generar un patrón de iluminación; y

- renderizar el patrón de iluminación.

15

En el presente contexto se utiliza el término modalidad en el sentido en que se usa para caracterizar la interacción persona-ordenador, es decir, para denotar un sentido a través del cual una persona puede recibir la salida de un ordenador y para denotar un sensor o dispositivo a través del cual el ordenador puede recibir datos de entrada. En particular, las modalidades incluyen la modalidad de visión, la modalidad de audición y modalidades táctiles.

20

Obteniendo datos que constituyen una grabación de al menos intervalos de un evento, presentando la grabación al menos dos componentes que pueden obtenerse a través de diferentes modalidades respectivas, el procedimiento presentado en el presente documento puede usarse para recrear una gran variedad de experiencias, incluidas aquellas que no requieren espectáculos de iluminación generados por ordenador. El procedimiento es independiente de los datos de entrada usados para crear estas experiencias originales en el lugar de celebración del evento, ya 25 que se basa en una grabación de aspectos perceptibles del evento (por ejemplo sonido, luz, vibraciones, temperatura, etc.). Analizar los datos para determinar al menos una dependencia entre una primera y una segunda de las componentes y usar al menos la dependencia para proporcionar ajustes a un sistema para renderizar al menos una señal a través de una primera modalidad en función de al menos los ajustes y al menos una señal de renderizado en forma perceptible a través de una segunda modalidad hace posible crear una experiencia similar, 30 pero no idéntica, a la del evento. La experiencia será más o menos idéntica si la al menos una señal de renderizado en forma perceptible a través de una segunda modalidad (por ejemplo, una señal de audio) corresponde a una grabación realizada durante el evento original. Sin embargo, escogiendo una señal diferente (por ejemplo, un fragmento de música diferente en el caso de una señal de audio), la atmósfera puede recrearse sin tener que copiar el evento. Por ejemplo, las condiciones de iluminación ambientales pueden recrearse sin recurrir a la reproducción 35 de una grabación audiovisual del evento. Esto hace que el procedimiento sea relativamente versátil. Además, en comparación con, por ejemplo, simplemente grabar las condiciones de iluminación y reproducirlas cuando se reproduce un fragmento de música diferente al escuchado en el evento, el procedimiento generalmente evita la disonancia entre lo que se renderiza a través de la primera modalidad y lo que se renderiza a través de la segunda modalidad, ya que los ajustes se proporcionan a un sistema que renderiza al menos una señal a través de una 40 primera modalidad en función de los ajustes y de al menos una señal de renderización en forma perceptible a través de una segunda modalidad. Un efecto adicional conseguido con el procedimiento es que no depende de una grabación completa de un evento ya que, en muchas implementaciones del procedimiento, la grabación solo tiene que ser lo suficientemente completa como para determinar la dependencia de manera relativamente precisa.

45

En una realización, al menos una de las componentes se obtiene grabando de manera intermitente datos capturados obtenidos usando al menos un sensor en el lugar de celebración del evento.

Esto permite obtener la grabación de manera eficaz y discreta. No es necesaria una grabación continua, de modo que puede usarse un dispositivo con una menor capacidad de grabación de datos. En implementaciones puede 50 usarse un dispositivo de grabación alimentado por batería, permitiendo una grabación discreta.

En una variante, al menos la grabación intermitente se activa al menos parcialmente en función de datos de entrada procedentes de un sensor en el lugar de celebración del evento.

55

Un efecto es que es posible garantizar que se realicen grabaciones independientemente de que se detecte al menos uno de entre un cambio, una tendencia, la superación de un valor de umbral fijo o variable, una constelación particular de múltiples entradas de sensores, etc. Por tanto, se usan indicadores de valores de características o cambios en los valores de una o más de las componentes para activar la grabación de una o más de las componentes. 60

En una variante adicional, la activación se basa en al menos un aspecto de la fisiología de al menos una persona presente en el evento, determinado en función de datos de entrada procedentes de al menos un sensor que controla a la al menos una persona.

65

Un efecto es permitir una recreación más precisa de la atmósfera en el lugar de celebración del evento. Esos aspectos de la atmósfera que provocaron una reacción apreciable en los asistentes al evento se capturan y graban, y forman la base para determinar la dependencia que se usará para renderizar al menos una señal para recrear una atmósfera similar.

5

En una realización del procedimiento, al menos una de las componentes de la grabación incluye datos de imagen.

Por tanto, un aspecto que es muy característico de la atmósfera en un evento se usa para recrear una atmósfera similar, haciendo que esta implementación del procedimiento general sea muy eficaz.

10

En una variante, los datos de imagen se obtienen usando una cámara con un objetivo gran angular.

Una cámara con un objetivo gran angular tiene un objetivo con una longitud focal sustancialmente más corta que la de un objetivo para producir una imagen rectilínea con las dimensiones del sensor de imágenes en el plano de imagen del objetivo. Esto genera distorsión, pero la finalidad de los datos de vídeo es solamente capturar 15 características de iluminación. El uso de objetivos gran angular hace menos probable que lo que se captura sea realmente una imagen de personas que se mueven en una habitación, en lugar de las condiciones de iluminación ambiental necesarias para recrear la atmósfera de la habitación.

En una realización, los datos de imagen se obtienen usando una cámara con un objetivo, estando dirigido el objetivo 20 al menos parcialmente hacia arriba para obtener los datos de imagen.

Un efecto es aumentar la probabilidad de que los ajustes se basen en los efectos de iluminación ambiental y no, por ejemplo, en el color de la ropa de las personas que pasan por delante.

25

En una realización del procedimiento, analizar los datos incluye además analizar al menos parte de los datos correspondientes a al menos una de las componentes para determinar un valor de al menos un parámetro que caracteriza a la componente pertinente, y usar el al menos un valor para seleccionar al menos uno de: a) la al menos una señal de renderizado en forma perceptible a través de la segunda modalidad; y b) datos incluidos en los ajustes.

30

Esta realización reconoce que normalmente no basta con usar solamente la relación entre componentes de una grabación de un evento que pueden obtenerse a través de diferentes modalidades para la recreación de la atmósfera de un evento. Por ejemplo, saber cómo la iluminación en una fiesta de salsa está relacionada con la música no es suficiente si este conocimiento se usa para proporcionar efectos de iluminación que acompañan a música hard rock. Además, algunos efectos de iluminación son muy característicos de un evento pero no están muy 35 relacionados con la música tocada en el evento.

Una variante de esta realización incluye buscar un conjunto de elementos de datos de contenido para elementos de datos de contenido caracterizados por valores de parámetro similares a los de la componente analizada según una determinada métrica de distancia, con el fin de crear la señal de renderizado en forma perceptible a través de la 40 segunda modalidad.

Un efecto es que puede recrearse una atmósfera sin recrear exactamente el evento. Además, una grabación corta de un evento puede usarse para recrear la atmósfera del evento durante un periodo de tiempo mucho mayor sin crear la impresión de repetitividad. 45

Una realización del procedimiento de generación de datos para controlar un sistema de renderizado incluye hacer que el sistema que renderiza de forma perceptible al menos una salida a través de una primera modalidad funcione de acuerdo con los ajustes y al menos una señal de renderizado en forma perceptible a través de una segunda modalidad, donde la al menos una señal de renderizado en forma perceptible a través de una segunda modalidad 50 tiene una mayor duración, cuando se renderiza, que la grabación de al menos intervalos del evento.

Un efecto es que puede recrearse una atmósfera similar a la del evento, sin que resulte repetitiva, y sin usar necesariamente una grabación larga. Los ajustes pueden basarse en una grabación de algunos intervalos relativamente cortos pero característicos. La señal de renderizado en forma perceptible a través de una segunda 55 modalidad determina la duración de la atmósfera recreada. A través de esta señal se añade un elemento variable que evita la repetitividad.

Según otro aspecto, el sistema para generar datos para controlar un sistema de renderizado según la invención incluye: 60

- una interfaz para obtener datos, incluidos datos de audio y de vídeo, que representan una grabación de al menos intervalos de un evento grabando de manera intermitente datos capturados obtenidos usando un micrófono y un sensor de imágenes en el lugar de celebración del evento;

- un módulo de análisis, configurado para analizar los datos para determinar al menos una dependencia entre los 65 datos de audio y los datos de vídeo;

- un módulo de generación de datos de control, configurado para usar al menos un parámetro que caracteriza a los datos de audio para generar una lista de reproducción de pistas de audio caracterizadas por parámetros similares a los de los datos de audio, para obtener datos representativos de al menos una característica de audio de una pista de audio que está reproduciéndose actualmente, y para usar al menos dicha dependencia y dichos datos representativos de al menos una característica de audio de una pista de audio que está 5 reproduciéndose actualmente para generar datos para controlar un dispositivo de iluminación para generar un patrón de iluminación;

- un dispositivo de reproducción de sonido para reproducir la lista de reproducción de pistas de audio; y

- el dispositivo de iluminación para renderizar el patrón de iluminación.

10

El sistema puede estar comprendido en un sistema de entretenimiento doméstico que recibe grabaciones a través de una interfaz en forma de, por ejemplo, un vídeo de un evento en directo, o un portador de datos que comprende datos capturados usando un dispositivo de grabación especialmente adaptado. El sistema puede estar comprendido alternativamente en tal dispositivo de grabación especialmente adaptado, proporcionando ajustes en forma de datos de control o un portador de datos o a través de un enlace de red en un formato adecuado para usarse en un sistema 15 que comprende al menos un reproductor multimedia y un sistema ambiental.

En una realización, el sistema está configurado para ejecutar un procedimiento según la invención.

Según otro aspecto de la invención, se proporciona un programa informático que incluye un conjunto de 20 instrucciones que, cuando se incorporan en un medio legible por máquina, pueden hacer que un sistema que tiene capacidades de procesamiento de información lleve a cabo un procedimiento según la invención.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

25

La invención se describirá en mayor detalle con referencia a los dibujos adjuntos, en los que:

La Fig. 1 es un diagrama que proporciona una ilustración muy esquemática de un aparato para capturar audio e iluminación en un evento;

La Fig. 2 es un diagrama que proporciona una ilustración muy esquemática de un sistema para renderizar datos 30 de contenido con efectos envolventes incorporados; y

La Fig. 3 es un diagrama de flujo que muestra etapas de un procedimiento para reproducir la atmósfera de un evento.

DESCRIPCIÓN DETALLADA 35

A continuación se describirán sistemas que se usarán en un escenario en el que una persona asiste a un evento en el que se reproduce música en directo o grabada y desea recrear la experiencia posteriormente. Para ello, la persona puede usar un aparato de grabación 1 en el evento para capturar el sonido y algún otro aspecto perceptible de la atmósfera, en particular el patrón de iluminación, durante al menos partes de la duración del evento. Sin 40 embargo, debe observarse que el procedimiento para recrear la atmósfera también puede llevarse a cabo en función de un vídeo, por ejemplo un vídeo de un concierto en directo, al que no asistió esa persona, particularmente si los patrones de iluminación ambiental del evento se representan de manera adecuada en el vídeo.

En la realización ilustrada, el aparato de grabación 1 comprende un micrófono 2, un sensor de imágenes 3 y un 45 objetivo gran angular 4. Además o como alternativa, puede comprender un sensor adicional para generar una señal representativa de una variable medioambiental perceptible adicional, tal como la temperatura, la humedad, la visibilidad, la aceleración (para capturar vibraciones), etc. El aparato de grabación 1 funciona bajo el control de una unidad de procesamiento de datos 5 que comprende o interactúa con una memoria (no mostrada) para ejecutar rutinas con las que se ha programado. 50

Una unidad de lectura/escritura 6 está prevista para escribir datos en un medio de almacenamiento de datos (no mostrado). En realizaciones alternativas, el aparato de grabación 1 está comprendido en o puede ser accedido por un dispositivo de comunicaciones inalámbricas, tal como un teléfono móvil o un dispositivo informático con una interfaz de red inalámbrica. Por tanto, el aparato de grabación 1 puede ser, o puede comprender, un dispositivo 55 portátil. Para hacer que el aparato de grabación 1 sea más sencillo y fácil de usar, es preferible que esté alimentado por batería. Se proporcionan características para conservar la energía de la batería y utilizar de manera más eficiente la capacidad de almacenamiento del medio usado junto con la unidad de lectura/escritura 6, como se describirá.

60

El aparato de grabación 1 interactúa además con un sensor 7. En una realización, el sensor es llevado por una persona que acude al evento, o al menos está dispuesto para monitorizar a esa persona. En particular, el sensor puede estar dispuesto para medir la temperatura, las pulsaciones, la respuesta galvánica de la piel o alguna otra señal psicofisiológica para determinar si la persona monitorizada está mostrando una respuesta emocional. El sensor 7 puede monitorizar alternativa o adicionalmente algún otro aspecto del usuario. Por ejemplo, puede usarse 65 un acelerómetro para caracterizar los movimientos del usuario (si está quieto/a, bailando, gesticulando, etc.).

Además o como alternativa, el sensor 7 o un sensor adicional puede monitorizar al menos una condición medioambiental, tal como la temperatura, la humedad, el nivel de ruido, la visibilidad, etc.

El aparato de grabación 1 descrito aquí a modo de ejemplo captura las condiciones de iluminación ambiental usando la cámara digital constituida por el sensor de imagen 3 y el objetivo gran angular 4. El aparato de grabación 1 5 comprende una base 8 para su colocación sobre una superficie de soporte (no mostrada). El aparato de grabación 1 está configurado de modo que el objetivo 4 está colocado de manera que se aleja al menos parcialmente de la superficie de soporte, es decir, hacia el techo o una región superior de una gran pared. Esto garantiza que los colores de los objetos y las personas del evento dominen los datos de imagen capturados. Por tanto, los efectos de iluminación (amplitud de iluminación, colores y dinámica de los mismos) en el lugar de celebración del evento se 10 graban de manera relativamente precisa. Este efecto se mejora usando el objeto gran angular 4 con un campo de visión relativamente grande.

Para conservar la energía de la batería y la capacidad de grabación, y también para reducir la cantidad de posprocesamiento requerido, los datos de sonido y/o de imagen se graban de manera intermitente. Intervalos cortos 15 durante los cuales se realiza una grabación se intercalan con intervalos más grandes durante los cuales no se realiza la grabación. Los datos de imagen y/o los datos de sonido pueden seguir capturándose durante estos intervalos más grandes. Las longitudes de los intervalos de grabación pueden predeterminarse, dependiendo de las características de al menos una de la señal capturada o dependiendo de la relación entre características de al menos dos de las señales capturadas. Por ejemplo, el intervalo de grabación puede ser mayor si parece que los 20 datos de imagen no muestran un patrón claro, parece que son periódicos con un periodo más grande, etc. Los intervalos durante los cuales no se realiza ninguna grabación pueden tener una duración predeterminada, que puede ser constante o variable. En otra realización se proporcionan controles de usuario (no mostrados) para permitir a un usuario activar el inicio de un intervalo de grabación. Sin embargo, en la realización ilustrada, la grabación se activa al menos parcialmente en función de datos de entrada procedentes de al menos uno de entre el sensor 7, el 25 micrófono 2 y el sensor de imágenes 3.

Si la grabación se activa en función de los datos de entrada procedentes del sensor 7 y el sensor 7 está configurado para medir al menos un aspecto de la fisiología de al menos una persona presente en el evento, la activación puede basarse en una reacción fisiológica de esa persona con respecto al evento. Por ejemplo, la detección de un aumento 30 en la frecuencia cardíaca o presión sanguínea o una respuesta galvánica particular de la piel que indica una implicación emocional puede activar la grabación. Si el sensor 7 es adecuado para monitorizar el movimiento de una o más personas, la activación puede basarse en la detección de un patrón de movimiento compatible con bailar o en un cambio de tal patrón de movimiento. En esta realización, y especialmente si el aparato de grabación 1 no está colocado en su base 8 sino que es llevado encima, pueden corregirse los datos de vídeo capturados para tener en 35 cuenta el movimiento. Esto mejora la precisión con la que se captura y se graba el patrón de iluminación.

Una base adicional o alternativa para la activación puede ser la detección de un cambio en las características del sonido capturado y/o iluminación ambiental. En esta realización, la unidad de procesamiento de datos 5 llevará a cabo al menos un análisis rudimentario de la señal de sonido o los datos de vídeo, generalmente durante una 40 ventana móvil de tiempo. Por tanto, cada vez que cambie al menos uno de entre el nivel de sonido, el tipo de música, las características de la iluminación ambiental y la relación entre la señal de sonido y la señal de vídeo, se activa la grabación. En una realización sencilla, la amplitud de la señal capturada por el micrófono 2 puede servir como base para la activación. En una realización más sofisticada, la unidad de procesamiento de datos puede detectar cambios en el tempo, ritmo, género o inicio de un nuevo fragmento musical, lo que sirve como base para 45 activar la grabación. Asimismo, la intensidad de luz global o cambios en la intensidad de luz global pueden usarse como base para la activación.

La unidad de procesamiento de datos 5 puede, en algunas realizaciones, llevar a cabo un análisis preliminar de los datos de vídeo capturados, de modo que solo se graban los resultados de este análisis. Por ejemplo, en lugar de 50 almacenar imágenes completas, el aparato de grabación 1 puede almacenar solamente el histograma de colores para cada imagen, junto con los cambios temporales en la intensidad de luz global.

En la realización ilustrada, las muestras de datos de imágenes se graban y analizan posteriormente. El análisis puede incluir la creación de un histograma de colores. Esto se facilita si los datos de imagen se graban en un 55 espacio de colores adecuado, tal como YU’V’. El espacio de colores YU’V’, que usa una componente de luminancia y dos componentes de crominancia para codificar una imagen, ya tiene una clara separación entre luminancia y crominancia, lo que hace más fácil la creación de un histograma.

Haciendo referencia a la Fig. 2, un sistema de renderizado 9 para usarse en un entorno doméstico comprende una 60 estación base 10. La estación base 10 comprende una unidad de procesamiento de datos 11 configurada para controlar su funcionamiento conforme a determinados ajustes, que infiere al menos parcialmente a partir de los datos capturados y grabados por el aparato de grabación 1. Estos ajustes se usan para controlar un sistema de renderizado para renderizar música y efectos de iluminación ambiental.

65

La estación base 10 comprende una unidad de lectura 12 para leer datos de un medio de almacenamiento de datos compatible con la unidad de lectura/escritura 6 comprendida en el aparato de grabación 1. La estación base 10 comprende además una interfaz de sistema de iluminación 13 para proporcionar señales de control a dispositivos de iluminación ambiental 14a-n. Estas señales de control controlan al menos la intensidad de luz, pero generalmente también el color de la luz, dependiendo de las capacidades del dispositivo de iluminación 14 pertinente. La estación 5 base 10 ilustrada en la Fig. 2 comprende además un dispositivo de reproducción de sonido 15 indicado esquemáticamente, que interactúa con altavoces 16, 17. El dispositivo de reproducción de sonido 15 puede configurarse para renderizar archivos de música, música grabada de CD o DVD, etc. En la realización ilustrada, la estación base 10 incluye además una interfaz 18 con respecto a un dispositivo 19 para proporcionar un efecto envolvente, por ejemplo una respuesta táctil, un efecto que influye en la distribución espacial de la luz, etc. 10

La estación base 10 también está dotada de un dispositivo de almacenamiento de datos 20 para almacenar grabaciones de una pluralidad de pistas de música.

Las etapas llevadas a cabo por la estación base 10 se ilustran en la Fig. 3. En primer lugar (etapa 21), las muestras 15 de datos de audio 22 y de datos de vídeo 23 grabados por el aparato de grabación 1 se leen de un medio de grabación.

Al menos parte de los datos de audio 22 se analizan (etapa 24) para determinar un valor de al menos un parámetro que caracteriza a la señal de audio. Los valores de parámetro se usan en un algoritmo de clasificación de música 20 para clasificar la música pertinente en función de características de audio tal como el volumen, el compás, el tempo, el ritmo, coeficientes cepstrales en las frecuencias de Mel (frecuencia dominante), etc. Los resultados del análisis se usan en una siguiente etapa 25 para buscar, en una base de datos 26 de pistas de audio, pistas de audio caracterizadas por valores de parámetro similares a los de las grabaciones de audio analizadas según un determinada métrica de distancia. Por tanto, una lista de reproducción 27 de pistas de audio similares se genera en 25 estas etapas 24, 25. El tiempo requerido para reproducir las pistas de audio en la lista de reproducción 27 es generalmente mucho mayor que las longitudes de los fragmentos de audio representados por los datos de audio 22 recibidos en la primera etapa 21 ilustrada en la Fig. 3.

En la realización ilustrada, el análisis de los datos de vídeo 23 (etapa 28) también se concentra en la estación base 30 10. En otra realización puede llevarse a cabo parcial o completamente en el aparato de grabación 1, de manera intencionada, de modo los resultados del análisis se obtienen en la primera etapa 21, omitiéndose generalmente las etapas de análisis 24, 28 de solamente los datos de audio y vídeo en la estación base 10.

La etapa 28 de analizar los datos de vídeo 23 implica obtener características de iluminación a partir de los patrones 35 de vídeo/iluminación grabados. Puesto que el objetivo 4 está orientado generalmente hacia arriba durante la grabación, el análisis supone que los datos de vídeo 23 carecen generalmente de objetos. De lo contrario, puede llevarse a cabo un procesamiento de vídeo para reconocer y eliminar objetos.

Un aspecto del análisis implica determinar los colores dominantes en las tramas de vídeo. Un procedimiento para 40 extraer los colores dominantes de una trama de vídeo es crear un histograma tridimensional de los colores en un espacio de colores apropiado. En este histograma se detectan máximos locales. Después, puede determinarse la anchura del pico del máximo local. El valor de histograma integrado en el área bajo el pico según esta anchura es una indicación de la dominancia del color en la trama de vídeo. La medida se usa para clasificar los colores, permitiendo determinar los colores más dominantes. Un procesamiento posterior adicional permite llevar a cabo 45 algunas comprobaciones de los resultados. Por ejemplo, pueden descartarse colores de piel para garantizar que los colores dominantes sean los de la iluminación de fondo. Si de desea un efecto intenso, entonces solo pueden tenerse en cuenta colores saturados.

Un aspecto adicional del análisis llevado a cabo en esta etapa 28 implica determinar las formas de puntos de color 50 en las tramas de vídeo. Usando los colores dominantes extraídos y su distribución en el histograma, las tramas de vídeo pueden segmentarse en puntos de color individuales. Es decir, se lleva a cabo una separación entre fondo y primer plano. En la imagen segmentada se lleva a cabo un análisis de componentes conectados para obtener manchas etiquetadas individualmente. Después se analizan geométricamente para determinar, por ejemplo, la posición del centroide de la mancha; la longitud, posición u orientación del eje principal y/o del eje secundario de la 55 mancha; la orientación de la mancha; y/o la excentricidad de la mancha. De esta manera, puntos circulares pueden distinguirse de líneas o puntos ovalados. Además, puede determinarse la distribución espacial de las manchas y/o las características de las manchas. Todos estos análisis pueden llevarse a cabo por separado para cada uno de un conjunto de colores que comprenden ciertos colores predeterminados y/o los colores dominantes, por ejemplo.

60

Un aspecto adicional del análisis de los datos de vídeo 23 llevado a cabo en esta etapa 28 implica un análisis del desarrollo temporal de al menos una característica de los datos de vídeo durante un intervalo de tiempo correspondiente a al menos parte de un intervalo de grabación.

En particular, puede realizarse un seguimiento de un cambio en el brillo de un color. La frecuencia de cambio es una 65 característica del patrón de iluminación.

También puede realizarse un seguimiento en el tiempo de un cambio de crominancia. Usando el espacio de colores YU’V’ como un ejemplo, puntos (U’,V’) recién detectados pueden relacionarse con un punto (U’,V’) cercano. Suponiendo que el aparato de grabación 1 era estacionario, o que el movimiento del aparato se ha compensado por medio de un procesamiento de vídeo apropiado, puede usarse información espacial para determinar al menos una 5 característica de la dinámica de los efectos de iluminación. Por ejemplo, puede realizarse un seguimiento de la ubicación del centro de masa de un color particular. Como alternativa o adicionalmente, pueden caracterizarse cambios en la forma de los puntos o en la distribución de los puntos en el tiempo. Por ejemplo, el análisis puede usarse para detectar que un punto está volviéndose más alargado o que varios puntos están uniéndose. Además, el movimiento de la posición del centroide de una región de color puede determinarse y cuantificarse. Esto proporciona 10 una aproximación del movimiento de un haz de luz en el lugar de celebración del evento cuyos datos de vídeo 23 están grabándose. La forma del lugar geométrico del punto de haz y la velocidad o frecuencia de movimiento a lo largo del lugar geométrico son características útiles del patrón de iluminación.

En una siguiente etapa 29 se determina una dependencia entre los datos de audio grabados 22 y los datos de vídeo 15 grabados 23, generalmente en el tiempo. Esta etapa 29 implica, por ejemplo, determinar la relación entre el ritmo de la música y las frecuencias temporales de la señal de iluminación. Además, el género de la música puede asociarse al tipo de iluminación, por ejemplo a las variaciones de brillo, el brillo global, etc. La frecuencia y el género de la música pueden determinarse en función de metadatos asociados con la música de la lista de reproducción 27 u obtenerse analizando la propia señal de sonido. La etapa de correlación 29 da como resultado un conjunto de datos 20 30 que representan los ajustes para el sistema de control de iluminación comprendido en la estación base 10. Los datos 30 representativos de los ajustes incluyen además datos que se determinan analizando (etapa 28) solamente los datos de vídeo grabados 23.

Para crear una atmósfera similar a la del evento, se reproduce la lista de reproducción 27 (etapa 31). Se obtiene una 25 señal 32 representativa de al menos una característica de audio de la pista de audio que está reproduciéndose actualmente (etapa 33). Estos datos 32 se usan para generar (etapa 34) datos de control de iluminación y datos para controlar el dispositivo 19 para generar un efecto envolvente adicional, usando los datos 30 representativos de ajustes generados en función del análisis de la grabación del evento. Por tanto, los patrones de iluminación creados por los dispositivos de iluminación 14a-n durante la reproducción de las pistas de audio de la lista de reproducción 30 27 están en consonancia con los patrones de iluminación que se determinan analizando los datos de vídeo de vídeo grabados 23 independientemente de los datos de audio grabados 22, y están en consonancia con las relaciones entre la música y la iluminación del evento. También están adaptados a la pista de audio que está reproduciéndose realmente, que generalmente no corresponde exactamente a la música grabada en el lugar de celebración del evento. En particular, los patrones de iluminación siguen el compás, ritmo y flujo de la pista de audio que está 35 renderizándose realmente. Como resultado, los patrones de iluminación generados bajo el control de la estación base 10 son similares, pero no idénticos, a los patrones de iluminación del evento en los que están basados. En cualquier caso, tienen una mayor duración que las grabaciones obtenidas a partir del aparato de grabación 1. En determinadas realizaciones se añaden variaciones aleatorias a los patrones de iluminación para reducir aún más la probabilidad de repeticiones. 40

Debe observarse que las realizaciones mencionadas anteriormente ilustran, en lugar de limitar, la invención, y que los expertos en la técnica podrán diseñar muchas realizaciones alternativas sin apartarse del alcance de las reivindicaciones adjuntas. En las reivindicaciones no se considerará que cualquier signo de referencia colocado entre paréntesis limita la reivindicación. La palabra "comprender" no excluye la presencia de otros elementos o 45 etapas diferentes a los enumerados en una reivindicación. La palabra "un" o "una" delante de un elemento no excluye la presencia de una pluralidad de tales elementos. El mero hecho de que ciertas medidas se enumeren en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas no pueda usarse de manera ventajosa.

50

En una realización alternativa, el aparato de grabación 1 está comprendido en, o está conectado a, otro dispositivo, por ejemplo un teléfono móvil o un reproductor multimedia portátil. En otra alternativa, la grabación de al menos intervalos de un evento se transmite desde el aparato de grabación 1 hasta la estación base 10 a través de un enlace de red. En otra alternativa, las etapas de análisis 28, 29 se usan para generar secuencias de comandos para un sistema ambiental. Aunque anteriormente se ha usado el ejemplo de sonido como segunda modalidad, puede 55 usarse vídeo en su lugar. En particular, los resultados de la etapa de clasificación de música 24 pueden usarse para recuperar elementos de contenido audiovisual que se ajusten a las características de la música grabada en el evento.

60

Claims (10)

1. REIVINDICACIONES

   1. Procedimiento para generar datos para controlar un sistema de renderizado (9) para recrear la atmósfera de un evento, en particular de un concierto en directo, que incluye las etapas de:
2. 2. 5

   - obtener (21) datos, incluidos datos de audio y de vídeo (22, 23), representativos de una grabación de al menos intervalos de un evento grabando de manera intermitente datos capturados obtenidos usando un micrófono (2) y un sensor de imágenes (3) en el lugar de celebración del evento, donde los datos de audio (22) comprenden música grabada en el evento y los datos de vídeo (23) comprenden características de iluminación grabadas en el evento;

   - analizar (29) los datos para determinar al menos una dependencia entre una característica de música en los datos 10 de audio (22) y una característica de iluminación en los datos de vídeo (23) en el tiempo;

   - usar (25) al menos un parámetro que caracteriza a los datos da audio (22) para generar una lista de reproducción (27) de pistas de audio caracterizadas por parámetros similares a los de los datos de audio (22);

   - reproducir (31) la lista de reproducción (27) de pistas de audio;

   - obtener (33) datos (32) que representan al menos una característica de audio de una pista de audio que está 15 reproduciéndose actualmente;

   - usar (34) al menos dicha dependencia y dichos datos (32) representativos de al menos una característica de audio de una pista de audio que está reproduciéndose actualmente para generar datos para controlar un dispositivo de iluminación (14) para generar un patrón de iluminación; y

   - renderizar el patrón de iluminación. 20
3. 3. Procedimiento según la reivindicación 1, en el que al menos la grabación intermitente se activa al menos parcialmente en función de datos de entrada procedentes de un sensor (2, 3, 7) en el lugar de celebración del evento.

   25
4. 4. Procedimiento según la reivindicación 2, en el que la activación se basa en al menos un aspecto de la fisiología de al menos una persona presente en el evento, determinado en función de datos de entrada procedentes de al menos un sensor (7) para monitorizar a la al menos una persona.
5. 5. Procedimiento según la reivindicación 1, en el que los datos de imagen (23) se obtienen usando una 30 cámara con un objetivo gran angular (4).
6. 6. Procedimiento según la reivindicación 4, en el que los datos de imagen (23) se obtienen usando una cámara con un objetivo (4), estando dirigido el objetivo (4) al menos parcialmente hacia arriba para obtener los datos de imagen (23). 35
7. 7. Procedimiento según la reivindicación 1, en el que al menos uno de los parámetros que caracterizan a los datos de vídeo (23) se determina en una etapa de análisis adicional (28) que implica un análisis del desarrollo temporal de al menos una característica de los datos de vídeo (23), en particular de un histograma tridimensional de los colores, durante un intervalo de tiempo correspondiente a al menos parte de un intervalo de grabación. 40
8. 8. Procedimiento según la reivindicación 1, en el que el patrón de iluminación generado está adaptado a un patrón de iluminación que se determina analizando los datos de vídeo (23) de manera independiente a los datos de audio (22), y está adaptado a dicha dependencia y a dichos parámetros de dichas pistas de audio.

   45
9. 9. Sistema para generar datos para controlar un sistema de renderizado para recrear la atmósfera de un evento, en particular de un concierto en directo, que incluye:

   - una interfaz (12) para obtener datos, incluidos datos de audio y de vídeo (22, 23), representativos de una grabación de al menos intervalos de un evento grabando de manera intermitente datos capturados obtenidos usando un 50 micrófono (2) y un sensor de imágenes (3) en el lugar de celebración del evento, donde los datos de audio (22) representan música grabada en el evento y los datos de vídeo (23) representan características de iluminación grabadas en el evento;

   - un módulo de análisis (11), configurado para analizar los datos para determinar al menos una dependencia entre una característica de música en los datos de audio (22) y una característica de iluminación en los datos de vídeo 55 (23);

   - un módulo de generación de datos de control (11), configurado para usar al menos un parámetro que caracteriza a los datos de audio (22) para generar una lista de reproducción (27) de pistas de audio caracterizadas por parámetros similares a los de los datos de audio (22), para obtener datos (32) representativos de al menos una característica de audio de una pista de audio que está reproduciéndose actualmente, y para usar al menos dicha dependencia y 60 dichos datos (32) representativos de al menos una característica de audio de una pista de audio que está reproduciéndose actualmente para generar datos para controlar un dispositivo de iluminación (14) para generar un patrón de iluminación;

   - un dispositivo de reproducción de sonido (15) para reproducir la lista de reproducción (27) de pistas de audio; y

   - el dispositivo de iluminación (14) para renderizar el patrón de iluminación. 65
10. 10. Programa informático que incluye un conjunto de instrucciones que, cuando se incorporan en un medio legible por máquina, pueden hacer que un sistema que tiene capacidades de procesamiento de información lleve a cabo un procedimiento según una cualquiera de las reivindicaciones 1 a 7.

    5