[go: up one dir, main page]

ES2985072T3 - Sistema y método para espejo de maquillaje digital - Google Patents

Sistema y método para espejo de maquillaje digital Download PDF

Info

Publication number
ES2985072T3
ES2985072T3 ES17821305T ES17821305T ES2985072T3 ES 2985072 T3 ES2985072 T3 ES 2985072T3 ES 17821305 T ES17821305 T ES 17821305T ES 17821305 T ES17821305 T ES 17821305T ES 2985072 T3 ES2985072 T3 ES 2985072T3
Authority
ES
Spain
Prior art keywords
digital
user
makeup
image
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17821305T
Other languages
English (en)
Inventor
Ofer Saban
Nissi Vilcovsky
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EyesMatch Ltd Virgin Islands
Original Assignee
EyesMatch Ltd Virgin Islands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EyesMatch Ltd Virgin Islands filed Critical EyesMatch Ltd Virgin Islands
Priority claimed from PCT/US2017/040133 external-priority patent/WO2018005884A1/en
Application granted granted Critical
Publication of ES2985072T3 publication Critical patent/ES2985072T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

Un método implementado por computadora para emular un espejo utilizando la transmisión de video de una cámara y una pantalla de visualización para generar un espejo digital. El espejo digital está configurado específicamente para aplicaciones de fotografía de rostro, como sesiones de maquillaje y de prueba de anteojos. Se toman disposiciones para corregir la apariencia del rostro en la pantalla. Las implementaciones específicas permiten rastrear el movimiento del rostro o rasgos específicos del rostro y aplicar maquillaje virtual o anteojos virtuales u otros accesorios u otros filtros al rostro. Además, las sesiones de grabación y edición automática brindan al usuario un fácil acceso a la sesión de tutorial y a los productos utilizados durante la sesión. Los productos se pueden solicitar desde el dispositivo móvil del usuario en cualquier momento. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Sistema y método para espejo de maquillaje digital
Referencia cruzada a solicitudes relacionadas
Esta solicitud reivindica el beneficio de, y la prioridad a, la solicitud de patente provisional estadounidense n.° 62/356.475, presentada el 29 de junio de 2016, la solicitud de patente provisional estadounidense n.° 62/430.311, presentada el 5 de diciembre de 2016, y la solicitud de patente canadiense n.° 2.963.108, presentada el 4 de abril de 2017.
Antecedentes
1. Campo
Esta divulgación se refiere a espejos digitales y, más específicamente, a espejos digitales que están específicamente configurados para primeros planos, tales como sesiones de maquillaje y sesiones de prueba de anteojos.
2. Técnica relacionada
El espejo convencional (es decir, superficie reflectante) es la herramienta común y más fiable para que un individuo explore su propio aspecto real, en tiempo real. Se han propuesto algunas alternativas acerca de la combinación de una cámara y una pantalla para sustituir al espejo convencional. Sin embargo, estas técnicas no son convincentes y aún no se aceptan como una imagen fiable del individuo como si estuviera mirándose en un espejo convencional. Esto se debe principalmente a que la imagen generada por una cámara es muy diferente de una imagen generada por un espejo.
Los solicitantes han divulgado previamente nuevas tecnologías para convertir y transformar un vídeo en 2D o 3D o una imagen fija creados por una o más cámaras, con o sin otros sensores, en una experiencia de videoconferencia o espejo. Se describen ejemplos de la técnica anterior de los solicitantes, por ejemplo, en las patentes estadounidenses n.os 7.948.481 y 8.982.109. Los ejemplos divulgados en esos documentos pueden implementarse para cualquier uso general de un espejo. El solicitante siguió con divulgaciones adicionales relacionadas con la adaptación del espejo a necesidades específicas, tales como, por ejemplo, tiendas de ropa. Se describen ejemplos de la técnica anterior de los solicitantes, por ejemplo, en las patentes estadounidenses n.os 8.976.160 y 8.982.110. En muchos grandes almacenes y centros de belleza, se proporcionan sesiones de maquillaje de demostración a los clientes. El objetivo es que, si al cliente le gusta el resultado, el cliente compre algunos de los artículos usados durante la demostración. Sin embargo, una vez que la sesión ha terminado y el cliente ha abandonado la tienda, el cliente puede no recordar qué productos se han usado ni tampoco cómo aplicarlos. Además, a veces el cliente puede querer probar varios productos diferentes, por ejemplo, comparar diferentes colores de pintalabios, pero no desea aplicar ni retirar diferentes productos de maquillaje sucesivamente.
El documento US 2014/0016823 A1 describe un método para aplicar maquillaje virtual y producir efectos de cambio de aspecto a un modelo de cara en 3D impulsado por seguimiento facial en tiempo real que incluye las etapas: capturar imágenes faciales estáticas o en vivo de un usuario; realizar seguimiento facial de la imagen facial y obtener puntos de seguimiento en la imagen facial capturada; y producir efectos de cambio de aspecto según los puntos de seguimiento en tiempo real. El maquillaje virtual puede aplicarse usando una herramienta de introducción de maquillaje virtual tal como el dedo de un usuario que se desliza sobre una pantalla de panel táctil, un cursor de ratón o un objeto que pasa a través de la zona permitida para el maquillaje. La zona permitida para el maquillaje para producir efectos de cambio de aspecto se define extrayendo puntos de rasgos a partir de los puntos de seguimiento facial y dividiendo la zona permitida para el maquillaje en segmentos y capas; y definiendo y almacenando parámetros de zona permitida para el maquillaje. Pueden aplicarse efectos visuales virtuales incluyendo series de colores, combinación alfa y/o superposición. El efecto de cambio de aspecto tiene en cuenta las condiciones de iluminación, la rotación de la postura facial, el escalado del tamaño de la cara y la traslación de la cara, respectivamente.
El documento EP1975870A1 un sistema de simulación de maquillaje que aplica maquillaje a un vídeo que tiene una imagen de la cara de un usuario capturada en el mismo que se caracteriza por medios de captura de imagen para capturar la imagen de la cara del usuario y emitir el vídeo; medios de control para recibir el vídeo emitido a partir de los medios de captura de imagen, realizar el procesamiento de imagen en el vídeo y emitir el vídeo; y medios de visualización para visualizar el vídeo emitido a partir de los medios de control, en el que los medios de control incluyen medios de reconocimiento de cara para reconocer la cara del usuario a partir del vídeo basándose en puntos de seguimiento predeterminados; y medios de procesamiento de maquillaje para aplicar un maquillaje predeterminado en la cara del usuario incluida en el vídeo basándose en los puntos de seguimiento y emitir el vídeo al medio de visualización.
Sumario
La presente invención es tal como se define en la reivindicación 1. El siguiente sumario de la divulgación se incluye con el fin de proporcionar una comprensión básica de algunos aspectos y características de la invención. Este sumario no es una visión general extensa de la invención y, como tal, no se pretende que identifique particularmente elementos clave o críticos de la invención ni delimite el alcance de la invención. Su único propósito es presentar algunos conceptos de la invención de forma simplificada como preludio a la descripción más detallada que se presenta a continuación.
La presente solicitud incluye un módulo de transformación que transforma el flujo de vídeo recibido a partir de la cámara y genera un flujo transformado que, cuando se proyecta en la pantalla del monitor, hace que la imagen se asemeje a la imagen en un espejo. Tal como puede experimentarse con dispositivos que tienen cámaras montadas encima de la pantalla (por ejemplo, conferencia de vídeo en un ordenador portátil), la imagen generada no es personal, ya que el usuario parece apartar la mirada de la cámara. De hecho, este es el caso, ya que el usuario está mirando directamente a la pantalla, pero la cámara está posicionada encima de la pantalla. Por tanto, el módulo de transformación transforma cada fotograma (es decir, cada imagen) de manera que parece como si fuera tomada por una cámara posicionada detrás de la pantalla, es decir, la imagen parece como si el usuario estuviera mirando directamente a una cámara posicionada detrás de la pantalla, aunque la imagen es tomada por una cámara posicionada encima o al lado de la pantalla. El módulo de traslación ajusta la presentación de la imagen sobre la pantalla, de modo que la cara aparece centrada en la pantalla, independientemente de la altura del usuario. Una unidad de coincidencia de ojos transforma la imagen de los ojos del usuario, de manera que parece que los ojos están centrados y mirando directamente a la pantalla, al igual que cuando se mira a un espejo. Además, un módulo de realidad aumentada permite la aplicación de maquillaje virtual en la imagen del usuario proyectada en la pantalla del monitor.
En el presente documento se describe un sistema para capturar, almacenar y reorganizar una sesión de maquillaje, ya sea real o virtual. Se realiza una sesión de maquillaje de demostración usando cualquier realización de los espejos digitales descritos en el presente documento. La sesión de maquillaje de demostración se graba con cualquier duración deseada (por ejemplo, habitualmente es de 5-20 min). Esta sesión grabada se almacena en un dispositivo de almacenamiento, por ejemplo, servidor local o servidor informático en la nube. En algunas realizaciones, la sesión almacenada se comparte con el cliente, por ejemplo, proporcionando al cliente un enlace, de modo que el cliente podrá revisar cómo aplicó el maquillaje el estilista.
Después se edita el vídeo almacenado descomponiéndolo en subsesiones. Las subsesiones pueden incluir, por ejemplo: bases, polvo, bronceador, corrector, pintalabios, brillo de labios, rímel, sombra de ojos, delineador de ojos, pestañas y cejas. El inicio de cada una de estas subsesiones se marca en el vídeo de sesión almacenado, por ejemplo, con metadatos, y se generan iconos, teniendo cada icono un enlace a una marca correspondiente. Esto permitirá marcar cada subsesión y que el usuario salte o avance a sesiones particulares de interés. Al “fraccionar” el vídeo según las subsesiones, el cliente podrá explorar subsesiones específicas rápidamente y explorar el historial por subsesión. La revisión de las sesiones y subsesiones puede realizarse con miniaturas, iconos, etc.
Los aspectos de la invención incluyen un espejo de maquillaje digital, que comprende: una pantalla digital; una cámara digital posicionada para generar un flujo de vídeo de la cara de un usuario; un controlador acoplado a la pantalla digital y a la cámara digital y preprogramado para realizar las operaciones que comprenden: recibir el flujo de vídeo a partir de la cámara; identificar rasgos faciales dentro del flujo de vídeo; voltear cada fotograma con respecto a un eje vertical para reemplazar el lado derecho por el lado izquierdo de la imagen para imitar de ese modo una imagen especular; transformar cada fotograma para emular una imagen del usuario que mira directamente a la pantalla como si hubiera una cámara posicionada directamente detrás de la pantalla; recortar cada fotograma para permitir la visualización de la cara del usuario en el centro de la pantalla digital; y visualizar el flujo de vídeo en la pantalla digital después de las operaciones de volteo, transformación y recorte. El controlador puede realizar además la operación que comprende identificar rasgos faciales dentro de cada fotograma del flujo de vídeo para seguir la ubicación de cada uno de los rasgos faciales dentro de cada fotograma. Los rasgos faciales incluyen labios, ojos y cejas, mentón y nariz. Identificar rasgos faciales puede comprender identificar contornos de los rasgos faciales. Identificar rasgos faciales puede comprender identificar píxeles pertenecientes a cada rasgo facial.
El controlador puede realizar además la operación que comprende: visualizar en la pantalla digital una paleta de colores correspondiente a una categoría de maquillaje; permitir al usuario designar una selección a partir de la paleta de colores; y aplicar digitalmente la selección a uno de los rasgos faciales correspondientes a la categoría de maquillaje. Aplicar digitalmente la selección puede comprender cambiar atributos de píxeles pertenecientes al rasgo facial. Visualizar la paleta de colores puede comprender visualizar una pluralidad de colores y una pluralidad de atributos de color. Los atributos de color pueden incluir al menos transparencia y brillo.
El controlador puede realizar además la operación que comprende permitir al usuario modificar los atributos después de aplicar digitalmente la selección. Aplicar digitalmente la selección puede comprender además seguir la ubicación de cada uno de los rasgos faciales dentro de cada fotograma y aplicar una aplicación digital cambiante de la selección según el movimiento del rasgo facial dentro de cada fotograma. Aplicar digitalmente la selección puede realizarse usando una máscara que tiene la forma de un rasgo facial seleccionado.
El espejo de maquillaje digital puede comprender además una tabla de consulta que asocia la paleta de colores y los datos de productos. El controlador puede realizar además la operación que comprende visualizar un producto correspondiente a la selección designada. El controlador puede realizar además la operación que comprende: visualizar en la pantalla digital una pluralidad de estilos de maquillaje preprogramados; permitir al usuario designar una selección a partir de los estilos de maquillaje; y aplicar digitalmente la selección a la cara del usuario proyectada sobre la pantalla digital. El controlador puede realizar además la operación que comprende visualizar en la pantalla imágenes de los productos usados para generar el estilo de maquillaje.
El espejo de maquillaje digital puede comprender además un dispositivo de iluminación que comprende una pluralidad de fuentes de luz de una pluralidad de temperaturas. El controlador puede realizar además la operación que comprende cambiar la intensidad de iluminación de la pluralidad de fuentes de luz para generar una temperatura de luz general deseada. El controlador puede realizar además la operación que comprende: proyectar en la pantalla digital la selección de temperatura de iluminación; permitir al usuario designar una selección a partir de la selección de temperatura de iluminación; y cambiar la intensidad de iluminación de la pluralidad de fuentes de luz según la designación del usuario.
Breve descripción de los dibujos
Otros aspectos y características de la invención resultarán evidentes a partir de la descripción detallada, que se realiza con referencia a los siguientes dibujos.
Los dibujos adjuntos, que se incorporan en y constituyen una parte de esta memoria descriptiva, ejemplifican los ejemplos de la presente invención y, junto con la descripción, sirven para explicar e ilustrar los principios de la invención. Se pretende que los dibujos ilustren las principales características de las realizaciones a modo de ejemplo de una manera esquemática. No se pretende que los dibujos representen cada característica de las realizaciones reales ni las dimensiones relativas de los elementos representados, y no están dibujados a escala.
La figura 1 es un diagrama de bloques de sistema para una plataforma de realidad aumentada que soporta un vídeo/imagen grabado o en tiempo real.
La figura 2 representa un módulo de realidad aumentada, que puede corresponderse con el módulo de realidad aumentada de la figura 1.
La figura 3 representa un módulo de realidad aumentada que puede cambiar el aspecto de una parte del cuerpo, el color, la orientación y la textura de un rasgo facial o un artículo u objeto en el primer plano o fondo de la imagen, y puede usarse en la sesión de maquillaje divulgada en el presente documento.
La figura 4 representa métodos de computación para crear un modelo para el cambio de color y textura y/o tez, que puede denominarse colograma.
La figura 5 ilustra un ejemplo del espejo digital según la invención.
La figura 6 ilustra un flujo de proceso general ejecutado por el espejo de maquillaje digital para simular una sesión de maquillaje.
La figura 7 ilustra un diagrama de flujo para realizar una sesión de maquillaje virtual.
Descripción detallada
Los siguientes ejemplos ilustran aspectos de la invención.
La descripción en el presente documento implica diseños tanto de hardware como de software que están particularmente adaptados para su uso como espejo de proximidad cercana, es decir, una situación en la que el usuario observa su propia cara, tal como para aplicar maquillaje, peinar el cabello o ajustarse las gafas. Tales situaciones requieren diferentes consideraciones cuando se virtualiza un espejo. Parte de las dificultades proceden del hecho de que la pantalla del monitor debe colocarse relativamente cerca de la cara del usuario, de manera que la cámara también está muy cerca, generando de ese modo distorsiones. Es decir, aunque el usuario esté mirando directamente a la pantalla, la cámara obtiene una imagen desde arriba de la pantalla, de manera que parece que el usuario no mira directamente a la cámara. Este es un punto de vista no natural para el usuario, que está acostumbrado a mirarse en un espejo donde los ojos parece que miran directamente al espejo. Adicionalmente, también hay distorsiones de proximidad en las que partes del cuerpo más cercanas a la cámara parecen más grandes que las que están alejadas. Finalmente, la colocación de la cara del usuario con respecto al marco de la pantalla diferirá dependiendo de la altura del usuario.
Las consideraciones de iluminación también son críticas cuando se emula un espejo que está cerca de la cara del usuario. Esto es especialmente importante cuando el espejo digital se usa para inspeccionar maquillaje, en el que el aspecto de color del maquillaje debe ser lo más próximo posible al modo en que luce el maquillaje con luz del día. La figura 1 es un diagrama de bloques de sistema para una plataforma de realidad aumentada que soporta un vídeo/imagen grabado o en tiempo real. El sistema puede incluir uno o una pluralidad (1:n) de dispositivos 101 de entrada incluyendo una cámara de vídeo, una cámara fija, una cámara de IR, una cámara en 2D o una cámara en 3D. El dispositivo 101 de entrada puede estar adaptado para enviar información a una o más módulos 102, 103, 104, 105, 107, 108 y 109 de realidad aumentada de visión artificial. El uno o más módulos 102, 103, 104, 105, 107, 108 y 109 de realidad aumentada de visión artificial pueden estar adaptados para enviar información a una o una pluralidad (1:m) de pantallas 106 de visualización. El uno o más módulos 102, 103, 104, 105, 107, 108 y 109 de realidad aumentada de visión artificial pueden estar adaptados para enviar/recibir información a/procedente de una interfaz o módulo 110 de interfaz de usuario. La interfaz 110 puede estar adaptada para enviar/recibir información a/procedente de uno o más de una nube, una web/tienda o un dispositivo de usuario, por ejemplo, teléfono inteligente u ordenador tipo tableta. Obsérvese también que, en algunas realizaciones, la interfaz de usuario está implementada en forma de una pantalla táctil de la pantalla 106 de visualización.
El uno o más módulos 102, 103, 104, 105, 107, 108 y 109 de realidad aumentada de visión artificial pueden incluir un módulo 102 de captura de imagen, un módulo 103 de transformación de coincidencia de ojos, un módulo 104 de realidad aumentada, un módulo 105 de grabación de imagen de vídeo/fija, un módulo 107 de evento de activación, un módulo 108 de elemento de control y un módulo 109 de calibración de fábrica.
El módulo 102 de captura de imagen puede incluir una o más de las siguientes características: filtros de potenciación, conversión de formato, separación de fotogramas de vídeo, recorte de imagen, redimensionamiento de imagen, unión de imagen, y similares. El módulo 102 de captura de imagen puede estar adaptado para enviar información al módulo 103 de transformación de coincidencia de ojos. El módulo 102 de captura de imagen puede estar adaptado para enviar y/o recibir información a/procedente del módulo 107 de evento de activación.
El módulo 103 de transformación de coincidencia de ojos puede estar adaptado para aplicar, en la imagen, el mapeo correcto para hacer coincidir el punto de vista de la cámara con el punto de vista del espejo teórico (reflexión de los ojos del usuario) y llenar los píxeles ciegos, si los hay, después del mapeo. El módulo 103 de transformación de coincidencia de ojos también realiza traslación de imagen para colocar la imagen de la cara centralmente en el marco de la pantalla de visualización, independientemente de la altura o posición del usuario. Por tanto, el módulo 103 de transformación de coincidencia de ojos puede realizar dos funciones distintas: transformación de imagen que modifica la imagen digital capturada por el dispositivo 101 de entrada para imitar una imagen especular en la pantalla de visualización y traslación de imagen para centrar la imagen dentro del marco de la pantalla de visualización.
La transformación de imagen puede incluir centrar las pupilas dentro de los ojos del usuario, para que parezca como si la cámara estuviera colocada directamente detrás de la pantalla durante la captura de imagen. Es decir, para este proceso, el módulo 103 de transformación de coincidencia de ojos determina todos los píxeles que pertenecen a la esclerótica de cada ojo y determina todos los píxeles que pertenecen al iris de cada ojo. El módulo 103 de transformación de coincidencia de ojos calcula entonces el centro de cada esclerótica y traslada los píxeles pertenecientes al iris de modo que la pupila dentro del iris quede centrada con respecto al centro de la esclerótica. Los píxeles “faltantes” que quedan después de la traslación del iris se llenan con el mismo color y aspecto que los píxeles pertenecientes a la esclerótica.
El módulo 103 de transformación de coincidencia de ojos puede estar adaptado para enviar información al módulo 104 de realidad aumentada y/o al módulo 105 de grabación de imagen de vídeo/fija. Además, el módulo 103 de transformación de coincidencia de ojos puede estar adaptado para enviar/recibir información a/procedente del módulo 108 de elemento de control. Además, el módulo 103 de transformación de coincidencia de ojos puede estar adaptado para enviar información a la una o pluralidad de pantallas 106.
El módulo 104 de realidad aumentada puede estar adaptado, por ejemplo, para proporcionar reemplazo virtual de color y textura, vestimenta virtual, inserción de objeto, y similares. En las realizaciones específicas divulgadas en el presente documento, el módulo 104 de realidad aumentada está configurado para alterar el color y la intensidad de píxeles seleccionados para proporcionar maquillaje virtualizado. En otras realizaciones, el módulo 104 de realidad aumentada está configurado para superponer una imagen sobre la cara del usuario, por ejemplo, para virtualizare gafas sobre la cara del usuario.
El módulo 104 de realidad aumentada puede estar adaptado para enviar/recibir información a/procedente del módulo 108 de elemento de control y/o al módulo 105 de grabación de imagen de vídeo/fija. Además, el módulo 104 de realidad aumentada puede estar adaptado para enviar información a la una o pluralidad de pantallas 106.
El módulo 105 de grabación de imagen de vídeo y/o fija puede estar adaptado para grabar una única imagen o una toma corta basándose en el control de software. El módulo 105 de grabación de imagen de vídeo/fija puede estar adaptado para enviar/recibir información a/procedente del módulo 108 de elemento de control. Además, el módulo 105 de grabación de imagen de vídeo/fija puede estar adaptado para enviar información a la una o pluralidad de pantallas 106.
El módulo 107 de evento de activación es opcional y puede incluir una o más de las siguientes características: reconocimiento de un usuario enfrente del espejo, reconocimiento de cara, reconocimiento de comandos de gestos del usuario, reconocimiento de artículos, medición de distancia, mediciones/evaluaciones del cuerpo del usuario (incluyendo, por ejemplo, altura, edad, peso, grupo étnico, sexo, y similares) y cálculo del punto de vista teórico del usuario en el espejo teórico. En las realizaciones referentes a las sesiones de maquillaje, el módulo de evento de activación puede estar configurado para identificar el color y la tez de la piel del usuario, y puede usarse esa información para ajustar la iluminación. El módulo 107 de evento de activación puede estar adaptado para enviar/recibir información a/procedente del módulo 108 de elemento de control.
El módulo 108 de elemento de control puede incluir una o más de las siguientes características: control y gestión para configurar la cámara para optimizar la calidad, control y gestión para configurar el color (temperatura) y la intensidad de iluminación, para configurar otros elementos de hardware, una interfaz entre módulos de algoritmo e interfaces de código/aplicación/usuario superiores y llevar datos calibrados desde fábrica a los elementos de algoritmo. El módulo de elemento de control puede estar adaptado para enviar/recibir información a/procedente del módulo 109 de calibración de fábrica.
El módulo 109 de calibración de fábrica puede estar adaptado para definir la transformación de mapeo entre la cámara y el punto de vista del usuario enfrente de la pantalla. Además, el módulo 109 de calibración de fábrica puede estar adaptado para calibrar la imagen basándose en la distancia, una ubicación especial, la altura del usuario (traslación), otra medición de geometría de lo observado o cualquier combinación de las mismas.
La figura 1 y la siguiente descripción representan únicamente ejemplos de la presente invención; pueden asignarse otros flujos o funcionalidades entre los módulos, que representan ejemplos adicionales que forman parte de la invención. Los presentes inventores proponen dos métodos para permitir las capacidades de realidad aumentada (en tiempo real y fuera de línea). Ambos métodos envuelven el módulo 104 de realidad aumentada con datos de imagen o vídeo reales que están en tiempo real o se tomaron después del procesamiento a través de, por ejemplo, el módulo 103 de transformación de coincidencia de ojos.
Una característica que un usuario puede definir de manera manual o automática (a través de, por ejemplo, la interfaz 110) se refiere a qué artículos desearía procesar y manipular el usuario y cuál es el resultado final esperado, por ejemplo, una regla automatizada puede ser algo similar a una búsqueda de los labios de un usuario, que después pueden cambiarse a un color diferente usando colores de pintalabios preprogramados. Después, puede procesarse el objeto seleccionado y extraerse/segmentarse y grabarse en la base de datos vinculada a la imagen o al vídeo grabado original. El módulo 104 de realidad aumentada puede procesar entonces el modelo/máscara en tiempo real a una velocidad de fotograma dada, que puede ser a una velocidad de fotograma inferior o superior a la original y a un tamaño igual o diferente al original. Por ejemplo, una vez extraído, puede modificarse el aspecto de los labios mediante una coloración apropiada, creando la impresión de unos labios conformados deseados. En un ejemplo, se almacenan diferentes formas de labios de antemano, y el usuario puede seleccionar una combinación de forma de labios y color de pintalabios y el módulo 104 de realidad aumentada lo representaría en la imagen del usuario en tiempo real, permitiendo al usuario observar cómo luciría tal maquillaje y experimentar con diferentes técnicas de conformación y diferentes colores y contornos.
Los ejemplos de aplicaciones divulgadas pueden incluir realidad aumentada en vivo, que permite probarse diferentes maquillajes y/o gafas cuando el usuario desea verse con la modificación (una o más opciones). Una vez guardado el objeto extraído de la escena en vivo, es más fácil representar múltiples cambios (color, textura, tamaño, y similares) operando sobre los píxeles que se identificaron como pertenecientes al objeto extraído. Además, es más fácil realizar un proceso más largo, con mucha más precisión, con mayor calidad y utilizando un proceso que proporciona más información, por ejemplo, movimiento del usuario, mediciones corporales y calidad basándose en integración de fotogramas y similares. Para la entrada de vídeo, es muy recomendado que el proceso de representación se realice en un dispositivo de DSP o GPU con el fin de evitar la introducción de retardo en el vídeo.
En el módulo 107 de evento de activación, algunas de las funcionalidades de activación pueden estar completamente automatizadas, por ejemplo, puede iniciarse un proceso si se realiza detección de cara o detección de presencia. El proceso puede ser transformación y traslación del flujo de vídeo. Algunos de los elementos de activación pueden realizarse de manera semiautomatizada desde el módulo 110 de interfaz de usuario, que puede incluir cualquier modo para controlar el dispositivo computarizado. Algunas de las funcionalidades del evento de activación son calcular la transformación de imagen basándose en información geométrica, calibración y/o seguimiento de usuario en tiempo real, por ejemplo, ubicación de usuario, ojos, cabeza, manos, posición, movimiento, y similares. El seguimiento puede realizarse usando una o más técnicas, tales como sustracción de fondo, reconocimiento de patrones, segmentación de colores, partes del cuerpo u otros elementos de clasificación, y similares, que pueden estar basados en el procesamiento de imágenes. La funcionalidad de cálculo de seguimiento de transformación también puede implementarse en los demás módulos. El seguimiento puede ser una alimentación a la transformación desde otros módulos, como una tecnología de seguimiento diferente que no está basada en el reconocimiento de imágenes, por ejemplo, calor térmico, láseres, TOF, sensores inerciales, sensores de orientación, dispositivo móvil con ubicación y orientación por GPS, etc.
El módulo 108 de elemento de control puede estar adaptado para configurar la configuración del sistema, la autenticación del dispositivo de cámara, y similares. El módulo 108 de elemento de control también puede proporcionar información de la función de transformación de seguimiento al módulo de realidad aumentada o módulo de transformación de geometría real, y similares.
Con el módulo 109 de calibración de fábrica, alguna de la información necesaria para calcular la transformación que va a aplicarse en la imagen/vídeo puede generarse durante la calibración de fábrica o puede calcularse basándose en información adicional sobre la orientación real de la cámara en el campo, por ejemplo, altura sobre el suelo o mesa, y similares, punto de vista en 3D, campo de visión de la lente (FOV), y similares. La información de fábrica más la geometría real de la implementación pueden procesarse y suministrarse al elemento correcto en el sistema que usará la información para una mejor calibración y precisión.
La figura 2 representa un ejemplo de un módulo de realidad aumentada, que puede corresponderse con el módulo 104 de realidad aumentada descrito anteriormente. Específicamente, el módulo de realidad aumentada puede tener una función de permitir a un usuario aplicar virtualmente maquillaje o probarse anteojos, sombreros, joyas, etc. En esta realización, el sistema obtiene una imagen o un vídeo de entrada a partir de, por ejemplo, el método 201 computarizado EyesMatch, que hace funcionar una cámara posicionada encima de la pantalla de visualización. En términos generales, la imagen o el vídeo de entrada puede proceder de cualquier fuente de imagen o vídeo, por ejemplo, teléfono inteligente del usuario, cámara de seguridad, gafas de Google, cámara móvil, pantalla montada en la cabeza o cámara estacionaria. Las realizaciones adicionales pueden incluir información geométrica adicional que ayudará a calcular una proporción como la altura, la mirada, y similares, del usuario. Si el vídeo o la imagen del usuario procede del módulo EyesMatch (imagen/vídeo calibrado), puede crearse un modelo más exhaustivo que permita mediciones corporales, pose de objetos, tamaño, detección de orientación altamente precisa, y similares. La información adicional que puede calcularse a partir del objeto o vídeo calibrado puede permitir la colocación de objetos, el reemplazo de objetos y la inserción de nuevos objetos (anteojos, joyas, etc., virtualizados) en el fotograma/vídeo.
El módulo 202 de elección puede obtener información de elección procedente de la interfaz 206 manualmente a partir del usuario (X,Y o nombre de objeto) o automáticamente a partir de un método de elección, por ejemplo, un mecanismo que puede detectar automáticamente rasgos faciales predefinidos como los labios, las mejillas, los ojos, la nariz, y similares.
El módulo 203 puede obtener la ubicación y muestrea el color (o el color promedio del rasgo, que puede ser más de un color). El módulo 203 puede usar esta información para crear una máscara en blanco y negro que se usa en primer lugar para generar una máscara coloreada y sombreada texturizada en 2D o 3D. Esta información puede usarse entonces para aplicar virtualización a los rasgos faciales, tal como aplicar pintalabios a los labios o colorete a las mejillas.
La técnica para extraer el módulo se basa en correlación de color en 3D o cualquier otra técnica tal como la distancia euclidiana más cercana entre el color de píxel y el color promedio del objeto para separar los píxeles del objeto a partir de toda la imagen. Mediante este proceso, se identifican los píxeles pertenecientes al rasgo y pueden etiquetarse como pertenecientes al rasgo facial. Después puede aplicarse virtualización cambiando el color o la intensidad de los píxeles pertenecientes al rasgo facial y puede modificarse la forma virtualmente mediante la adición y/o eliminación de píxeles pertenecientes al rasgo facial. Por ejemplo, puede realizarse aplicación de pintalabios a un subconjunto de los píxeles pertenecientes a los labios y, opcionalmente, a píxeles pertenecientes a la cara alrededor de una zona particular de los labios para modificar visualmente el borde libre de los labios, por ejemplo, potenciar el aspecto del arco de Cupido.
La decisión de si el píxel está o no en el rasgo facial puede realizarse en múltiples niveles y no se limita a los siguientes ejemplos:
1. La correlación de color y la primera decisión pueden estar basadas en el umbral de distancia euclidiana, donde el umbral de distancia euclidiana se encuentra en el espacio de color RGB o espacio de color cromático.
2. Filtrar el ruido mediante la aplicación de operadores morfológicos como dilución y erosión, que pueden mejorar la decisión con respecto a píxeles que están “mal etiquetados” como parte o no parte del rasgo facial.
3. Decisión basándose en información a partir de fotogramas previos o posteriores o a partir de píxeles vecinos en una fila o alrededor del píxel. Esta etapa representa la principal decisión en el proceso.
4. Distancia del objeto con respecto a la elección original, que puede usarse como umbral.
5. Continuación de la superficie del objeto, mediante la cual, si se sabe que continúa un rasgo facial, o por el conocimiento obtenido a partir de la referencia a una forma genérica, después puede filtrarse parte del ruido. Por ejemplo, ajustando una forma seleccionada de labios y ajustando a la imagen para filtrar el ruido.
6. Bordes de objetos, mediante lo cual puede mejorarse la decisión acerca de los bordes mediante detección de bordes, que puede realizarse mediante filtros de alto paso (HP) u otras técnicas. Esto puede combinarse especialmente con la continuación de la superficie del objeto para mejorar el ajuste.
7. Decisión basándose en la energía de color. Uno de los problemas de la separación de colores es que el color en condiciones de luz baja puede verse como negro y se reduce significativamente el rango dinámico de la decisión. Pueden aislarse los píxeles oscuros/negros y pueden aplicarse otras técnicas para decidir si los píxeles oscuros/negros pertenecen o no al rasgo facial, por ejemplo, la presente invención puede determinar si el píxel está ubicado dentro del límite del rasgo o cambia la distancia de la energía con respecto al color STD del rasgo.
8. Decisión basándose en una técnica de clasificación que identifica el contorno/punto de referencia en el elemento corporal, y puede aplicarse algoritmo de curva adicional para hacer límites alrededor de los mismos que, en última instancia, representan los contornos de elemento corporal. También puede realizarse clasificación en tiempo real en módulo y/o tecnología paralelos como chip especializado externo optimizado en cuanto a clasificación (1-5 bits) u otra tecnología de IA que pueda ayudar en la segmentación del elemento corporal.
9. Usar información previa sobre la forma de rasgo esperada para obtener mejores resultados.
10. En el caso de que el rasgo facial sea una combinación de múltiples colores o formas, puede usarse correlación y combinación de múltiples colores. Adicionalmente, puede usarse cualquiera de los métodos multinivel especificados anteriormente para obtener una decisión de nivel superior con respecto al rasgo facial.
11. La decisión también puede estar basada en una mayoría o una decisión referente a un píxel/imagen vecino como factor ponderado en la decisión. En el caso en que esté procesándose la decisión en la imagen como vector, puede ser más fácil observar a los vecinos en la misma fila o alguna columna dependiendo de cómo se reconforme la matriz de imagen en un vector.
12. Estimación de la complexión del artículo, y el color STD también puede añadir información significativa para la segmentación de rasgos.
13. Cualquier combinación de una o más de las etapas 1-12 anteriores.
Tras separar los rasgos faciales, pueden crearse máscaras para permitir la virtualización. La máscara puede usarse para su representación como una simple máscara en blanco y negro. Sin embargo, con el fin de crear una sensación convincente de un rasgo u objeto virtualizado, puede mantenerse información adicional de la textura o el aspecto del rasgo u objeto. Con el fin de obtener información importante adicional, la máscara puede aplicarse sobre el fotograma o vídeo original, y puede obtenerse la escala de brillo o sombras de textura en escala de grises o RGB sobre el objeto. Esta información es mucho más precisa y convincente para los cambios de color puesto que guarda la textura de arrugas, el sombreado, la reflexión de luz, la firma de los materiales, y similares, del objeto original. La máscara modelo puede construirse en capas para una manipulación mejorada. Ejemplos de una posible estructura en capas pueden ser los siguientes:
1. Máscara en blanco y negro (para segmentar el rasgo u objeto). La máscara en blanco y negro puede ser muy importante para distinguir entre el rasgo u objeto y el fondo o entre el objeto y otro elemento alrededor del objeto. Pueden usarse múltiples técnicas para optimizar la decisión de límites/máscara del objeto.
2. Máscara de borde de objeto, que representa el borde o contorno del rasgo u objeto.
3. Máscara de color rojo, que representa zonas rojas del rasgo u objeto.
4. Máscara de color verde, que representa zonas verdes del rasgo u objeto.
5. Máscara de color azul, que representa zonas azules del rasgo u objeto.
6. Texturas que se aplican a todas las máscaras de color, que representan el aspecto de textura del rasgo u objeto. Para el rasgo facial, esta máscara puede designar la tez de la piel.
7. Máscara de brillo o sombras, que representa zonas brillantes o sombreadas del rasgo u objeto.
8. Máscara de reflexión de luz del material, que representa la reflexión de luz del rasgo u objeto.
9. Máscara de absorción de luz del material, que representa zonas de absorción de luz del rasgo u objeto.
10. Máscara a partir de otros sensores como IR, microondas, profundidad, ultrasonidos, ultrabanda, y similares. 11. Capas similares a las descritas anteriormente.
Una vez que el modelo de máscara tiene la información requerida, con el fin de cambiar el color o la textura, el módulo 204 de representación puede usarse para modificar la(s) capa(s) específica(s) y regenerar el objeto de entre las múltiples capas dando como resultado un vídeo 205 representado que es extremadamente realista. Las máscaras de color pueden hacerse funcionar a diferentes mezclas de intensidad para representar diferentes colores de pintalabios según la paleta preseleccionada de colores de pintalabios disponibles de una determinada marca. Puesto que todas las demás máscaras permanecen iguales, los labios se representarán con la totalidad de sombreado, brillo, reflexión, textura, etc., de los labios, pero con diferentes colores de pintalabios, representando así un pintalabios muy realista sobre los labios. El efecto de algunas capas puede introducirse mediante multiplicación o mediante adición de la capa modificada al fotograma. La sustracción y la división también pueden definir relaciones entre capas. Las técnicas adicionales que permiten una manipulación más compleja de artículos incluyen una técnica de registro que, basándose en algunos puntos, puede estirar/transformar un objeto o rasgo facial para ajustarse dentro de los límites del objeto o rasgo manipulado. El cambio requerido puede estar fuera o dentro de los límites de rasgo facial originales y puede crearse una máscara modificada para los nuevos límites del objeto para reemplazar el modelo de máscara original.
El cambio requerido puede obtenerse a partir de una biblioteca de rasgos faciales. Usando una técnica de registro, la máscara de biblioteca puede aplicarse para ajustarse en el rasgo facial del usuario para representar un cambio de aspecto creado por el maquillaje. Por ejemplo, la forma de las cejas puede virtualizarse en la imagen del usuario usando diversas bibliotecas de formas de las cejas para ilustrar al usuario cómo luciría la forma de las cejas en el usuario antes de implementar realmente la forma de las cejas.
La máscara puede usarse como punteros para el registro de objeto virtual. En una realización, la máscara puede usarse para registrar objetos tales como, por ejemplo, anteojos, joyas, sombreros, etc. Por ejemplo, la máscara de negro/blanco que segmenta los rasgos faciales de los ojos puede usarse para el ajuste de los anteojos.
El contorno alrededor de las marcas de referencia del elemento corporal puede realizarse en interpolación lineal entre puntos, o interpolación cúbica, o cualquier interpolación polinomial genérica, interpolación de Chebyshev, multiplicadores de LaGrange para interpolación, etc. (la interpolación puede realizarse entre dos marcas de referencia vecinas o más dependiendo de la curva requerida y la estabilidad de la interpolación). El error en la interpolación puede calcularse con los mínimos cuadrados en relación con la interpolación lineal o puede usarse cualquier otra técnica para manejar el problema de estabilidad en la interpolación de orden superior para eliminar la oscilación. Esta interpolación de contorno puede crear una capa de segmentación para ayudar en la segmentación de los elementos corporales o para ayudar en el registro de un modelo de forma o en el registro de un modelo de avatar y definir parámetros para hacer coincidir la forma o el avatar con el contador de marcas de referencia en tiempo real. La elección de un único objeto o múltiples (1:n) objetos puede obtenerse de lo que es necesario modelar. A partir del vídeo, se crea una máscara por fotograma. Si el usuario está girando, puede crearse un fotograma en 3D o parcialmente en 3D mediante el modelo de fotogramas. A partir de este fotograma mediante el modelo de fotogramas, pueden obtenerse diferentes perspectivas y usarse para crear un modelo en 3D que incluye algunas o la totalidad de los movimientos del usuario. Posteriormente, puede usarse esta información para crear una vestimenta virtual más convincente. Es decir, el presente método puede utilizar los movimientos del propio usuario para formar el modelo.
La representación puede realizarse en la GPU, CPU, GPU en la nube o CPU en la nube. Los elementos de entrada que van a representarse pueden proceder de la CPU, de la base de datos del usuario en la nube o de un enlace activo con el inventario/cualquier otra base de datos/impresión en 3D, base de datos de comercio electrónico, base de datos social, y similares.
Puede añadirse un accesorio o cualquier otro artículo aprendiendo el movimiento dinámico y el modelo de máscara del objeto relevante. Además, puede aumentarse el fondo para cambiar o crear un entorno diferente mediante la misma técnica. Una vez etiquetados todos los objetos requeridos, pueden enmascararse los objetos requeridos y puede usarse la máscara combinada para cambiar el fondo.
El módulo de representación puede representar el objeto con una técnica de representación potenciada de interpolar el objeto y el fotograma a mayor resolución, puede combinar el objeto a alta resolución, puede suavizar los bordes y puede diezmar el objeto de vuelta a la resolución requerida con mejor calidad de integración en el fotograma. Las técnicas adicionales incluyen trabajar directamente sobre el borde del objeto promediando con algún factor de ponderación el valor del píxel con el fin de combinar mejor el objeto con el color del fondo.
La figura 3 representa un módulo de realidad aumentada que puede cambiar el aspecto de una parte del cuerpo, el color, la orientación y la textura de un rasgo facial o un artículo u objeto en el primer plano o fondo de la imagen, por ejemplo, el módulo puede añadir cabello al usuario, puede cambiar el color de ojos, piel y cabello del usuario, puede cambiar la pose de los ojos, y similares.
Los módulos 301, 302, 303 y 306 pueden trabajar de manera similar en comparación con los módulos 201, 202, 203 y 206 del módulo de realidad aumentada general previamente descrito. El módulo 304 puede tener la capacidad de calcular u obtener información adicional como la pose de la cabeza o la dirección de movimiento corporal directamente a partir del módulo EyesMatch o a partir del módulo 307 utilizando un detector especializado para movimiento y orientación en 3D de artículos y puede usar esta información para modificar la parte del cuerpo requerida, por ejemplo, obtener la pose de la cabeza permitirá la corrección de la dirección de los ojos modificando los ojos de la máscara/modelo a la dirección requerida. Además, la detección de la cabeza puede permitir la adición de cabello en la orientación correcta, un sombrero, y similares.
Por ejemplo, en un caso más complejo, podría desearse representar una longitud más corta de un corte de cabello dado. Puede requerirse la manipulación de máscara en el módulo 304 para crear una máscara más corta para el nuevo corte de cabello, y la diferencia entre la máscara original y la máscara después de la manipulación puede ser una nueva máscara para la manipulación. En la nueva máscara, cierta parte será la estimación de las partes del cuerpo expuestas del usuario una vez acortado el cabello (por ejemplo, hombros) y cierta parte representará el fondo que sería nuevamente visible con la longitud de cabello más corta. La nueva máscara puede dividirse en cuerpo y fondo, y el nuevo objeto representado puede tomar la combinación de imagen de fondo y hombros predichos para crear una nueva imagen representada. El resultado después de representar la longitud de cabello modificada en el vídeo es un usuario con una longitud de cabello más corta antes de cortarse realmente el cabello, lo cual es irreversible, al menos durante un periodo de tiempo.
La figura 4 representa métodos de computación para crear un modelo para el cambio de color y textura/tez, que puede denominarse colograma. Esta técnica se centra en la computación paralela que puede soportar un gran número de usuarios o un gran número de fotogramas/vídeos a diferencia de las técnicas de cambio de color de calidad superalta que pueden encontrarse en programas de software tales como Photoshop. Tales métodos pueden tardar mucho tiempo y pueden no ser prácticos de llevar a cabo en cualquier gran número de imágenes o vídeos del usuario. La descripción de la figura 4 es sólo un ejemplo y cualquier derivado del flujo representado forma parte de la presente invención.
Un desafío para cambiar un color de un objeto en un vídeo o una imagen es identificar con precisión los píxeles relevantes del objeto. En un archivo de vídeo, la velocidad es un factor limitante para la transformación aplicable. En la figura 4, se representa un ejemplo simplificado de un método para segmentar/extraer un objeto a partir de un vídeo.
La imagen o el vídeo que va a modificarse se recibe en la etapa 401. En la etapa 402, el fotograma de la imagen o el vídeo a color se convierte en un vector de línea, que es opcional, aunque la vectorización de la imagen puede acelerar drásticamente el tiempo de proceso. Además, en la etapa 403, se elimina el efecto del brillo. Hay muchas técnicas para eliminar el efecto del brillo. En este ejemplo, se usa promediado de energía por píxel en el espacio cromático XYZ, dividiendo cada píxel entre la suma de XYZ. Por ejemplo, puede usarse una matriz 3 X 3 para convertir RGB en XYZ, usando las coordenadas de cromaticidad de un sistema RGB (xr, yr), (xg, yg) y (xb, yb) y su blanco de referencia (XW, YW, ZW). En paralelo, en la etapa 404, se realiza la selección de objeto seleccionado todos los puntos K(x,y) pertenecientes al objeto que va a transformarse. K es el número de objetos/zonas con color distinguido que pueden segmentarse del fondo o de los demás objetos. Después, en la etapa 405, se hace pasar cada punto a través de la misma transformación que se realiza en el módulo 403. En la etapa 406, se realizan k iteraciones para hallar cada píxel y para hallar el color más próximo. K>/=2 en esta técnica. Para cada k, se calcula la distancia euclidiana en 2D o 3D. Se guardan la distancia mínima y el valor de K. Esta operación puede realizarse en todos los píxeles de una sola vez en un proceso relativamente rápido.
dist=sqrt( (X-xi(k))2 (Y-yi(k))2 (Z-zi(k))2)
Después de K iteraciones, puede obtenerse la imagen etiquetada. La distancia euclidiana “dist” es sólo un ejemplo de un método computacional para distinguir entre colores; hay otros métodos para calcular la distancia entre colores, por ejemplo, un modelo de distancia entre colores basado en la percepción humana del color (cromática, saturación y brillo), técnicas calibradas avanzadas para hacer coincidir la sensibilidad y la capacidad para separar el color a simple vista como en CIE76, CIE94, CIEDE2000, y similares, o cualquier combinación con cámara de profundidad de IR/3D de estiramiento de histograma, integración de color a lo largo del tiempo o cualquier otro método para mejorar la sensibilidad de la detección de color (módulo 411). Aplicar o cruzar la información adicional desde el módulo 411 puede ocurrir en el nivel de comparación de distancia, etapa 406, al final de la creación del modelo, etapa 409, o cualquier combinación dependiendo de la naturaleza de la información adicional (determinista, estadística, variante de tiempo, y similares).
Además de la diferencia de color, también pueden usarse otras técnicas que añaden información sobre el objeto para mejorar la decisión, tales como: probabilidad de zona (es necesario que un píxel dado tenga vecinos o cierta cantidad de píxeles), característica de zona, filtros de límite para aislar el límite de objeto antes de tomar una decisión final, información de profundidad (que normalmente es necesario hacer coincidir el contorno de la información de profundidad con la imagen final del objeto en 2D o 3D), integración de tiempo para determinar si el píxel está en la zona de objeto a lo largo de múltiples fotogramas, y similares.
El módulo 407 es un ejemplo de cómo distinguir entre los colores requeridos y el otro espacio de color. En el módulo 407, todos los píxeles con una distancia superior a un umbral se ponen a cero como no relevantes (un píxel con un color diferente de uno cualquiera de los colores 1 a k), y se asigna 1 a todos los píxeles relevantes, generando de ese modo una máscara binaria. En la etapa 408, puede usarse un filtro de negro y blanco para limitar el ruido y suavizar la forma del objeto. Pueden usarse otras técnicas para mejorar la decisión de qué píxeles pertenecen al objeto. Como resultado, un índice para todos los colores relevantes comienza en 2 a K+1.
El módulo 407 es un ejemplo donde se desea separar un(os) color(es) específico(s). En este caso, pueden ponerse a cero todos los índices excepto el requerido. El proceso avanza de la siguiente manera: poner a cero todos los índices no relevantes, obtener un valor de fondo y colores no relevantes = 0 y elegir el objeto de color requerido etiquetado = 1. Si hay más de un color en el objeto, puede asignarse 1 a cualquier índice 2 a k+1 elegido y cero a todos los demás.
En el módulo 409, se aplica la máscara en blanco y negro obtenida en la imagen a color original y se obtiene el modelo en 3D para los cambios de color y textura. El modelo puede ser canal alfa en 2D de escala de grises o 3D en el espacio de color. El módulo 410 puede obtener un modelo en 2D o 3D del objeto. En el caso de vídeo a partir de una única cámara, es posible obtener un modelo en 3D incluso si el usuario está moviéndose enfrente de la cámara, por ejemplo, girándose enfrente de la cámara. En este caso, también es posible obtener la medición del objeto en múltiples tomas para estimar curvas faciales o el cuerpo en 3D del usuario.
El modelo basado únicamente en la diferencia de color no es perfecto en cuando a la calidad, por lo que pueden usarse información y técnicas adicionales para mejorar la calidad del modelo del objeto (véase el módulo 411). Las técnicas de información adicional como interpolación y diezmado o suavizado de bordes pueden aplicarse después del procesamiento mediante el módulo 410 con el fin de mejorar la calidad del modelo.
La figura 5 ilustra un ejemplo del espejo digital según la invención. Este ejemplo está configurado para imágenes de cerca, tales como para maquillaje, gafas, etc. El espejo 500 digital incluye un elemento 505 de visualización digital, al menos una cámara 510 y un dispositivo 515 de iluminación. En este ejemplo particular, el elemento 505 de visualización digital se divide en dos secciones: la sección 503 visualiza la imagen a partir de la cámara, después de la transformación y la traslación apropiadas, y la sección 504 que se usa como interfaz de usuario usando la capacidad de pantalla táctil de la pantalla 505 de visualización.
Tal como se ilustra en la sección transversal parcial dentro del recuadro, el dispositivo 515 de iluminación comprende un difusor 520 de luz y una pluralidad de LED 525 de al menos dos temperaturas diferentes. Los LED 525 están acoplados a un controlador que controla la intensidad de cada LED según la temperatura de luz deseada. El ajuste puede definirse según las condiciones ambientales, la tez de la piel, etc.
Tal como puede observarse en la figura 5, la cámara obtiene la imagen por encima de la pantalla de visualización, de manera que si la imagen a partir de la cámara se visualizara como tal, estaría distorsionada y no aparecería como una imagen reflejada. Además, dependiendo de la altura del usuario, la imagen de la cabeza aparecería en posiciones diferentes dentro del elemento 505 de visualización digital. Por consiguiente, la imagen a partir de la cámara se transforma en primer lugar según cualquiera de las realizaciones descritas anteriormente. Adicionalmente, la imagen se traslada para posicionar la cabeza del usuario dentro de una zona 518 designada como centro de la pantalla.
A medida que se obtiene la imagen a partir de la cámara, pueden analizarse las condiciones de iluminación y la tez de la piel mediante el controlador, y el controlador puede aplicar entonces diferentes señales de activación a los LED 525 de diversas temperaturas para proporcionar una iluminación apropiada en la cara del usuario. Alternativamente, pueden visualizarse digitalmente controles de temperatura de iluminación en la interfaz 504 de usuario para permitir que el usuario controle la temperatura y/o la intensidad de iluminación, tal como se ejemplifica mediante el deslizador 507.
Mediante la divulgación, se proporciona un espejo digital que se usa para grabar una sesión de maquillaje, por ejemplo, una sesión de demostración de maquillaje en una tienda. Durante la sesión de maquillaje, el demostrador puede usarse diferentes productos y usar diversas técnicas para aplicar el maquillaje. Un propósito es dotar al usuario de un vídeo grabado y editado de fácil acceso de modo que el usuario pueda poner en práctica la técnica de aplicación y también pueda volver a pedir los productos usados durante la demostración. La sección de interfaz incluye botones 508 preprogramados que indican diversas fases de la sesión de maquillaje, por ejemplo, pintalabios, pestañas, cejas, pómulos, etc. A medida que el demostrador comienza cada sección, el demostrador hace clic en el botón apropiado de modo que puede desactivar una designación apropiada en el flujo de vídeo. Además, el demostrador puede acceder al producto usado, por ejemplo, seleccionado a partir de un menú, escaneando un código de barras o simplemente sosteniendo el producto enfrente de la cámara. El controlador puede programarse para reconocer el producto a partir de la imagen, por ejemplo, identificando un código de barras, usando reconocimiento de caracteres para leer la etiqueta, usando coincidencia de imágenes con una biblioteca de imágenes de productos, etc.
Después se edita automáticamente el vídeo almacenado descomponiéndolo en subsesiones. Las subsesiones pueden incluir, por ejemplo: bases, polvo, bronceador, corrector, pintalabios, brillo de labios, rímel, sombra de ojos, delineador de ojos, pestañas y cejas. Esto puede realizarse, por ejemplo, identificando el momento en que el demostrador hizo clic en el botón 508 respectivo. El inicio de cada una de estas subsesiones se marca en el vídeo de sesión almacenado, por ejemplo, con metadatos, y se generan iconos, teniendo cada icono un enlace a una marca correspondiente. Esto permitirá marcar cada subsesión y que el usuario salte o avance a sesiones particulares de interés. Al “fraccionar” el vídeo según las subsesiones, el cliente podrá explorar subsesiones específicas rápidamente y explorar el historial por subsesión. La revisión de las sesiones y subsesiones se realiza con miniaturas, iconos, etc.
Según características adicionales, los estilistas tienen la capacidad de tomar tomas instantáneas o grabaciones cortas de los artículos que usó el estilista durante la sesión, muestras que proporcionaron al cliente y/o los artículos que adquirió el cliente. Estas tomas instantáneas pueden almacenarse en una parte independiente del vídeo almacenado para visualizarse en una parte independiente de la pantalla, por ejemplo, como miniaturas independientes. Adicionalmente, el sistema puede usar lector de código de barras u OCR, o lector de QR, o clasificadores, o etiquetas de RFID o coincidencia de imágenes, o cualquier lector de etiquetas, para identificar los artículos y proporcionar información textual sobre el artículo. De manera alternativa o adicional, un dispositivo de entrada de usuario permite al estilista añadir comentarios adicionales sobre los artículos. De esta manera, el usuario puede pedir el artículo más adelante.
El controlador del espejo está acoplado al sistema de contabilidad y/o caja registradora. Esto puede realizarse mediante la integración del espejo con un sistema de pago existente, por ejemplo, sistema de punto de venta. De esta manera, el controlador recibe información de qué artículos ha adquirido realmente el cliente. El espejo puede activarse en un modo de “asociado de ventas”. En este modo, el asociado de ventas puede ver qué adquirió el cliente y qué muestras obtuvo el cliente. Cuando el espejo está en modo de asociado de ventas, el usuario (es decir, asociado de ventas) no puede ver los vídeos. En su lugar, este modo está destinado a ayudar al asociado de ventas a seguir con el cliente y en caso de que el cliente realice una llamada con preguntas adicionales. Adicionalmente, el nombre o ID del asociado de ventas que realizó la sesión o proporcionó las muestras puede almacenarse junto con la sesión grabada y la información de producto almacenada, de manera que siempre que el cliente adquiera este artículo, el asociado de ventas puede atribuirse esa adquisición.
Otras características pueden incluir: opción de disponer de grabación de voz durante la sesión, lo cual es bueno para el tutorial; la capacidad de avanzar rápidamente en las grabaciones; integración con maquillaje virtual, también procesamiento posterior; integraciones con gafas virtuales y otros accesorios; pantalla de cualquier tamaño que incluye ordenadores tipo tableta y teléfono móvil, el espejo de memoria clásico; el vídeo puede almacenarse y editarse con y sin corrección de distorsión; sesiones de transmisión en flujo continuo a la familia de amigos o a sales de foros de Facebook, etc. La grabación puede realizarse con un micrófono inalámbrico, un micrófono cableado, un micrófono enfocado acústicamente, etc.
Se habilita un maquillaje virtual remoto, tal como aplicación remota de maquillaje a través de los espejos. Esto se implementa mediante una conexión espejo a espejo. Por ejemplo, el asociado de ventas se encuentra en una tienda en París, mientras que el cliente está en su domicilio. Tanto el asociado de ventas como el cliente están usando un espejo digital. El asociado de ventas puede demostrar la aplicación del maquillaje por en remoto al cliente y guardar la sesión. En este caso, la imagen capturada por la cámara del espejo posicionada en la ubicación del cliente se proyecta tanto en la pantalla del cliente como en la pantalla del asociado de ventas. El asociado de ventas usa entonces una interfaz de usuario para aplicar el maquillaje a la imagen proyectada en el espejo en la ubicación del asociado de ventas. La entrada a partir de la interfaz de usuario del asociado de ventas se usa para modificar la imagen proyectada en ambas pantallas, es decir, modificar la imagen en la pantalla del asociado de ventas y trasmitirla a la ubicación del cliente para modificar la imagen visualizada en el espejo del cliente. Es decir, el demostrador puede usar maquillaje virtualizado, tal como se describirá adicionalmente a continuación.
Tal como se explicó anteriormente, cuando se realiza maquillaje, para conseguir buenos resultados de vídeo, es importante disponer de una buena iluminación. El marco del espejo incluye una pluralidad de fuentes de luz, proporcionando cada una de ellas luz a una temperatura determinada. Las luces se controlan por un procesador que ajusta el brillo de las fuentes de luz para proporcionar la temperatura de luz apropiada. Un sensor detecta el entorno de iluminación alrededor de la cara de la persona que recibe la demostración. Un procesador analiza la imagen a partir de la cámara para determinar el entorno de iluminación alrededor de la cara de la persona que recibe la demostración. Usando la información de iluminación, y opcionalmente la tez de la piel de la persona que recibe la demostración, el controlador ajusta las fuentes de luz para proporcionar iluminación a una temperatura deseada. Puede generarse un bucle de retroalimentación por el controlador que analiza la imagen a partir de la cámara y que ajusta la temperatura de iluminación hasta obtener una imagen apropiada. Las fuentes de luz son LED de temperaturas de iluminación diferentes. Por ejemplo, pueden entrelazarse LED de temperaturas diferentes, de manera que puede controlarse su salida total para obtener la temperatura de iluminación deseada.
En general, durante una sesión de maquillaje, debe elegirse entre productos disponibles, aplicar el producto y ver si luce bien. Este es un proceso tedioso, incluso cuando se realiza virtualmente. Las características divulgadas en el presente documento permiten un flujo diferente para llegar al producto deseado. Según este flujo de proceso, un usuario elige atributos de un producto, independientemente de si es un producto real. El usuario puede manipular entonces los atributos hasta que el usuario llegue a los atributos deseados. En este punto, el sistema usa los atributos deseados para mapear en una lista de productos disponibles y seleccionar el producto con la mayor coincidencia. Después puede presentarse el producto con la mayor coincidencia al usuario.
El sistema mostrará al usuario sólo los colores disponibles que puede adquirir el usuario, y una vez que el usuario elige un color, el sistema puede trasladar la selección a un producto para su colocación en el carrito.
Para una mejor comprensión de estas características, en el presente documento se proporciona un ejemplo que usa pintalabios. Puede usarse un proceso similar para otros productos de maquillaje. Según este flujo, ejemplificado en la figura 6, se proporcionan paletas a un estilista o un usuario para la selección. Para este ejemplo, las paletas pueden incluir, por ejemplo, color, intensidad o transparencia de color, efecto de color (por ejemplo, brillo), etc. El estilista o usuario selecciona atributos a partir de las paletas para aplicar pintalabios virtual con los atributos seleccionados en la imagen proyectada en la pantalla del espejo digital. Esto puede realizarse o bien usando pinceladas virtuales o bien mediante el sistema que reconoce los píxeles pertenecientes a los labios y que aplica los atributos a estos píxeles para generar una imagen de los labios con el pintalabios aplicado. Otra opción es disponer de diversas plantillas de formas de los labios almacenadas en el sistema. El sistema identifica la ubicación de los labios en la imagen y después superpone una plantilla seleccionada con los atributos seleccionados sobre la imagen de los labios. Independientemente del método usado para colorear virtualmente los labios, el sistema sigue continuamente la ubicación de los labios en la imagen y ajusta la coloración según sea necesario para simular el pintalabios aplicado a los labios, incluso si el usuario mueve su cabeza de modo que cambia la ubicación de los labios en la imagen.
A medida que la imagen se presenta con el pintalabios, el usuario puede variar los atributos y los resultados se virtualizan en tiempo real en la pantalla del monitor. Este proceso continúa hasta que se indique que se ha llegado a los atributos deseados. En este punto, el sistema “mapea” los atributos seleccionados en una base de datos de productos. Esto puede realizarse, por ejemplo, creando una tabla de consulta de antemano, donde la tabla de consulta incluye los atributos de los productos disponibles. Cuando se llega a una coincidencia apropiada, puede presentarse la imagen o el nombre del producto al usuario. El usuario puede colocar entonces ese producto en un carrito de compra virtual.
El flujo de proceso general ejecutado por el espejo de maquillaje digital se muestra en la figura 6. En la etapa 600, el sistema visualiza paletas de atributos disponibles. En la etapa 602, se determina si se seleccionó un atributo. Si es así, se aplica el atributo a la imagen en la pantalla. De lo contrario, el sistema vuelve a detectar la selección de atributos. Aunque en este diagrama de flujo se muestra una única single selección de atributo, el proceso de selección puede repetirse para cualquier número de atributos, por ejemplo, color, brillo, textura, etc. Cuando se ha seleccionado y aplicado el atributo, en la etapa 606, el sistema monitoriza cualquier cambio del atributo, por ejemplo, cambio de color del pintalabios. En la etapa 608, se aplica cualquier cambio detectado a la imagen en la pantalla.
En la etapa 610, el sistema monitoriza si la selección se ha indicado como completa. Si es así, el sistema ejecuta opcionalmente la etapa 612, que es para almacenar la imagen que refleja la selección final de atributos. Esta etapa puede omitirse, especialmente cuando se registra como vídeo toda la sesión. Como alternativa a omitir esta etapa, el sistema simplemente puede insertar metadatos para los fotogramas que muestran la selección final de atributos. Esto permite al usuario saltar a estas imágenes cuando están viendo la sesión. En la etapa 614, el sistema compara o mapea los atributos seleccionados a una lista de atributos en una base de datos de productos para identificar el producto que coincide mejor con los atributos seleccionados. En la etapa 616, el sistema presenta en la pantalla el producto que coincide mejor con los atributos seleccionados. En la etapa 616, el sistema también busca datos relacionados con el producto, por ejemplo, precio, tamaño, productos complementarios, etc., y los presenta al usuario en la pantalla. Opcionalmente, en la etapa 618, el sistema añade el producto a un carrito de compra virtual. El sistema genera un archivo electrónico que permite la producción de un producto que coincide con los atributos exactos seleccionados. Por ejemplo, el sistema puede generar un archivo electrónico que permite mezclar la coloración de un pintalabios para producir un pintalabios que tenga las características exactas seleccionadas por el usuario.
La figura 7 ilustra otro ejemplo para realizar una sesión de maquillaje virtual. Este método aplica virtualmente un “estilo” completo sobre la imagen del usuario que se proyecta en la pantalla. El estilo incluye un maquillaje completo según un estilismo específico buscado en una biblioteca de estilismos programados de antemano. En la etapa 700, el sistema identifica los rasgos faciales de la imagen del usuario proyectada en la pantalla. Las características pueden incluir, por ejemplo, forma de la cabeza, tez de la piel, forma de los labios, forma y/o altura o pronunciamiento de los pómulos, forma de los ojos (por ejemplo, hundidos, monólidos, volteados hacia arriba, volteados hacia abajo, caídos, saltones, redondos, juntos, separados o con forma de almendra), etc. Usando las características determinadas, en la etapa 702, el sistema clasifica los rasgos de la cara según una lista preprogramada de clasificaciones. Opcionalmente, el sistema puede usar las clasificaciones de rasgos faciales para generar una clasificación facial unitaria. En la etapa 704, el sistema busca una coincidencia de la clasificación del usuario con las clasificaciones faciales previamente almacenadas que tienen maquillaje virtual asociado. El sistema selecciona entonces el estilo con la mejor coincidencia en la etapa 706. La selección de un estilo realizada por el sistema se realiza según la coincidencia preprogramada de estilos y clasificaciones faciales. Es decir, el sistema está programado para hacer coincidir el mejor estilo de maquillaje para la clasificación facial particular seleccionada. De manera alternativa o adicional, el usuario puede seleccionar un estilo de una lista proporcionada por el sistema. En la etapa 708, el sistema aplica virtualmente el estilo de maquillaje sobre la imagen del usuario proyectada en la pantalla.
En la etapa 710, si el usuario selecciona el estilo presentado, el sistema busca una lista de los productos de maquillaje que pueden usarse para producir ese estilo. Opcionalmente, el sistema visualiza el producto en la etapa 714 y/o coloca el producto en un carrito de compra virtual en la etapa 716.
En resumen, los diversos ejemplos divulgados anteriormente pueden resumirse como proporcionar un espejo de maquillaje digital, que comprende: una pantalla digital; una cámara digital posicionada para generar un flujo de vídeo de la cara de un usuario; un controlador acoplado a la pantalla digital y a la cámara digital y preprogramado para realizar las operaciones que comprenden: recibir el flujo de vídeo a partir de la cámara; identificar rasgos faciales dentro del flujo de vídeo; voltear cada fotograma con respecto a un eje vertical para reemplazar el lado derecho por el lado izquierdo de la imagen para imitar de ese modo una imagen especular; transformar cada fotograma para emular una imagen del usuario que mira directamente a una cámara posicionada detrás de la pantalla; recortar cada fotograma para permitir la visualización de la cara del usuario en el centro de la pantalla digital; y visualizar el flujo de vídeo en la pantalla digital después de las operaciones de volteo, transformación y recorte. El controlador puede realizar además la operación que comprende identificar rasgos faciales dentro de cada fotograma del flujo de vídeo para seguir la ubicación de cada uno de los rasgos faciales dentro de cada fotograma. Los rasgos faciales incluyen uno o más de cara, labios, ojos, mentón, nariz y cejas. Identificar rasgos faciales puede comprender identificar contornos de rasgos faciales y/o identificar píxeles pertenecientes a cada rasgo facial.
El controlador puede realizar además la operación que comprende: visualizar en la pantalla digital una paleta de colores correspondiente a una categoría de maquillaje; permitir al usuario designar una selección a partir de la paleta de colores; y aplicar digitalmente la selección a uno de los rasgos faciales correspondientes a la categoría de maquillaje. Aplicar digitalmente la selección puede comprender cambiar atributos de píxeles pertenecientes al rasgo facial. Visualizar la paleta de colores puede comprender visualizar una pluralidad de colores y una pluralidad de atributos de color. Los atributos de color pueden incluir al menos transparencia, toques de brillo y brillo. El controlador puede realizar además la operación que comprende permitir al usuario modificar los atributos después de aplicar digitalmente la selección. Aplicar digitalmente la selección puede comprender además seguir la ubicación de cada uno de los rasgos faciales dentro de cada fotograma y aplicar una aplicación digital cambiante de la selección según el movimiento del rasgo facial dentro de cada fotograma. Aplicar digitalmente la selección puede realizarse usando una máscara que tiene la forma de un rasgo facial seleccionado.
El espejo de maquillaje digital puede comprender además una tabla de consulta que asocia la paleta de colores y los datos de productos. El controlador puede realizar además la operación que comprende visualizar un producto correspondiente a la selección designada.
El controlador realiza además la operación que comprende: visualizar en la pantalla digital una pluralidad de estilos de maquillaje preprogramados; permitir al usuario designar una selección a partir de los estilos de maquillaje; y aplicar digitalmente la selección a la cara del usuario proyectada sobre la pantalla digital. El controlador puede realizar además la operación que comprende visualizar en la pantalla imágenes de los productos usados para generar el estilo de maquillaje. El espejo de maquillaje digital puede comprender además un dispositivo de iluminación que comprende una pluralidad de fuentes de luz de una pluralidad de temperaturas. El controlador puede realizar además la operación que comprende cambiar la intensidad de iluminación de la pluralidad de fuentes de luz para generar una temperatura de luz general deseada.
El controlador puede realizar además la operación que comprende: proyectar en la pantalla digital la selección de temperatura de iluminación; permitir al usuario designar una selección a partir de la selección de temperatura de iluminación; y cambiar la intensidad de iluminación de la pluralidad de fuentes de luz según la designación del usuario.
Los ejemplos adicionales pueden resumirse como proporcionar un espejo de maquillaje digital, que comprende: una pantalla digital; una cámara digital posicionada para generar un flujo de vídeo de la cara de un usuario; un controlador acoplado a la pantalla digital y a la cámara digital y preprogramado para realizar las operaciones que comprenden: recibir el flujo de vídeo a partir de la cámara digital; visualizar el flujo de vídeo en la pantalla digital; segmentar el flujo de vídeo en subsecciones de maquillaje insertando datos de segmentación en el flujo de vídeo para generar de ese modo un flujo de vídeo segmentada; y almacenar el flujo de vídeo segmentada.
El controlador puede realizar la segmentación según datos de entrada introducidos por un usuario. Las subsecciones de maquillaje pueden incluir al menos ojos, mejillas y labios. El controlador puede realizar además la etapa de almacenar una lista de productos asociados con cada subsección de maquillaje.
El controlador realiza además las etapas de: identificar contornos de rasgos de la cara en el flujo de vídeo; y seguir la ubicación de cada rasgo de la cara identificado en cada fotograma.
El controlador puede aplicar realidad virtual modificando atributos de píxeles pertenecientes a rasgos de la cara identificados. El controlador aplica realidad virtual construyendo adicionalmente una máscara correspondiente a los rasgos de la cara identificados.
El controlador puede realizar además la etapa que comprende: identificar el contorno de la cara dentro del fotograma; y trasladar píxeles pertenecientes a la cara de modo que el contorno quede centrado dentro de la pantalla digital.
Tal como puede entenderse a partir de la divulgación proporcionada en el presente documento, los aspectos de la invención incluyen un controlador acoplado a una pantalla digital y a una cámara digital, incorporando el controlador un procesador y una memoria, y preprogramado para realizar las operaciones que comprenden: recibir el flujo de vídeo a partir de la cámara; identificar rasgos faciales dentro del flujo de vídeo; voltear cada fotograma con respecto a un eje vertical para reemplazar el lado derecho por el lado izquierdo de la imagen para imitar de ese modo una imagen especular; transformar cada fotograma para emular una imagen del usuario que mira directamente a la cámara digital como si estuviera colocada detrás de la pantalla; recortar cada fotograma para permitir la visualización de la cara del usuario en el centro de la pantalla digital; y visualizar el flujo de vídeo en la pantalla digital después de las operaciones de volteo, transformación y recorte.

Claims (15)

REIVINDICACIONES
1. Dispositivo de espejo de maquillaje digital, que comprende:
una pantalla digital;
una cámara digital posicionada para generar un flujo de vídeo de una sesión de maquillaje de la cara de un usuario;
un controlador acoplado a la pantalla digital y a la cámara digital y preprogramado para realizar las operaciones que comprenden:
recibir el flujo de vídeo a partir de la cámara digital;
visualizar el flujo de vídeo en la pantalla digital;
almacenar el flujo de vídeo;
descomponer el flujo de vídeo almacenada en subsesiones de maquillaje identificando el momento de inicio de las subsesiones e insertando marcas en el flujo de vídeo almacenada para generar de ese modo un flujo de vídeo marcado;
generar iconos, teniendo cada icono un enlace a una de las marcas respectivas;
almacenar el flujo de vídeo marcado.
2. Dispositivo de espejo de maquillaje digital según la reivindicación 1, en el que el controlador realiza la descomposición según datos de entrada introducidos por un usuario identificando el momento de inicio de cada una de las subsesiones, particularmente en el que las subsesiones de maquillaje incluyen al menos ojos, mejillas y labios.
3. Dispositivo de espejo de maquillaje digital según la reivindicación 1, en el que el controlador realiza además la etapa de almacenar una lista de productos asociados con cada una de las subsesiones de maquillaje.
4. Dispositivo de espejo de maquillaje digital según la reivindicación 1, en el que el controlador realiza además las etapas de:
identificar contornos de rasgos de la cara en el flujo de vídeo; y
seguir la ubicación de cada rasgo de la cara identificado en cada fotograma,
particularmente en el que el controlador aplica realidad virtual modificando atributos de píxeles pertenecientes a rasgos de la cara identificados.
5. Dispositivo de espejo de maquillaje digital según la reivindicación 1, en el que el controlador realiza además la etapa que comprende:
identificar el contorno de la cara dentro del fotograma; y
trasladar los píxeles pertenecientes a la cara de modo que el contorno quede centrado dentro de la pantalla digital.
6. Dispositivo de espejo de maquillaje digital según la reivindicación 1, en el que el controlador realiza además la etapa que comprende:
recibir el flujo de vídeo a partir de la cámara;
identificar rasgos faciales dentro del flujo de vídeo;
voltear cada fotograma con respecto a un eje vertical para reemplazar el lado derecho por el lado izquierdo de la imagen para imitar de ese modo una imagen especular;
transformar cada fotograma para emular una imagen del usuario que mira directamente a una cámara posicionada detrás de la pantalla;
recortar cada fotograma para permitir la visualización de la cara del usuario en el centro de la pantalla digital; y
visualizar el flujo de vídeo en la pantalla digital después de las operaciones de volteo, transformación y recorte.
7. Dispositivo de espejo de maquillaje digital según la reivindicación 6, en el que el controlador realiza además la operación que comprende identificar rasgos faciales dentro de cada fotograma del flujo de vídeo para seguir la ubicación de cada uno de los rasgos faciales dentro de cada fotograma, particularmente en el que los rasgos faciales incluyen uno o más de cara, labios, ojos y cejas.
8. Dispositivo de espejo de maquillaje digital según la reivindicación 6, en el que identificar rasgos faciales comprende identificar contornos de rasgos faciales, o en el que identificar rasgos faciales comprende identificar píxeles pertenecientes a cada rasgo facial.
9. Dispositivo de espejo de maquillaje digital según la reivindicación 6, en el que el controlador realiza además la operación que comprende:
visualizar en la pantalla digital una paleta de colores correspondiente a una categoría de maquillaje; permitir al usuario designar una selección a partir de la paleta de colores;
aplicar digitalmente la selección a uno de los rasgos faciales correspondientes a la categoría de maquillaje, particularmente en el que aplicar digitalmente la selección comprende cambiar atributos de píxeles pertenecientes al rasgo facial.
10. Dispositivo de espejo de maquillaje digital según la reivindicación 9, en el que los atributos de color incluyen al menos transparencia, toques de brillo y brillo, particularmente en el que el controlador realiza además la operación que comprende permitir al usuario modificar los atributos después de aplicar digitalmente la selección.
11. Dispositivo de espejo de maquillaje digital según la reivindicación 9, en el que aplicar digitalmente la selección comprende además seguir la ubicación de cada uno de los rasgos faciales dentro de cada fotograma y aplicar una aplicación digital cambiante de la selección según el movimiento del rasgo facial dentro de cada fotograma.
12. Dispositivo de espejo de maquillaje digital según la reivindicación 9, que comprende además una tabla de consulta que asocia la paleta de colores y los datos de productos, o en el que el controlador realiza además la operación que comprende visualizar un producto correspondiente a la selección designada.
13. Dispositivo de espejo de maquillaje digital según la reivindicación 6, en el que el controlador realiza además la operación que comprende:
visualizar en la pantalla digital una pluralidad de estilos de maquillaje preprogramados;
permitir al usuario designar una selección a partir de los estilos de maquillaje;
aplicar digitalmente la selección a la cara del usuario proyectada sobre la pantalla digital.
14. Dispositivo de espejo de maquillaje digital según la reivindicación 6, que comprende además un dispositivo de iluminación que comprende una pluralidad de fuentes de luz de una pluralidad de temperaturas.
15. Dispositivo de espejo de maquillaje digital según la reivindicación 14, en el que el controlador realiza además la operación que comprende cambiar la intensidad de iluminación de la pluralidad de fuentes de luz para generar una temperatura de luz general deseada,
o en el que el controlador realiza además la operación que comprende:
proyectar en la pantalla digital la selección de temperatura de iluminación;
permitir al usuario designar una selección a partir de la selección de temperatura de iluminación; cambiar la intensidad de iluminación de la pluralidad de fuentes de luz según la designación del usuario.
ES17821305T 2016-06-29 2017-06-29 Sistema y método para espejo de maquillaje digital Active ES2985072T3 (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662356475P 2016-06-29 2016-06-29
US201662430311P 2016-12-05 2016-12-05
CA2963108A CA2963108A1 (en) 2016-06-29 2017-04-04 System and method for digital makeup mirror
PCT/US2017/040133 WO2018005884A1 (en) 2016-06-29 2017-06-29 System and method for digital makeup mirror

Publications (1)

Publication Number Publication Date
ES2985072T3 true ES2985072T3 (es) 2024-11-04

Family

ID=60804747

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17821305T Active ES2985072T3 (es) 2016-06-29 2017-06-29 Sistema y método para espejo de maquillaje digital

Country Status (8)

Country Link
US (2) US11908052B2 (es)
EP (2) EP3479351B1 (es)
CN (1) CN109690617B (es)
CA (1) CA2963108A1 (es)
ES (1) ES2985072T3 (es)
FR (1) FR3053502B1 (es)
IL (1) IL264002A (es)
RU (1) RU2019101747A (es)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
CN107367983B (zh) * 2017-07-25 2023-08-22 浙江快奇控股有限公司 一种眼镜智能服务系统
CN109407912A (zh) * 2017-08-16 2019-03-01 丽宝大数据股份有限公司 电子装置及其提供试妆信息方法
US10431010B2 (en) * 2018-02-09 2019-10-01 Perfect Corp. Systems and methods for virtual application of cosmetic effects to a remote user
CN109272473B (zh) * 2018-10-26 2021-01-15 维沃移动通信（杭州）有限公司 一种图像处理方法及移动终端
US11182963B2 (en) * 2019-04-03 2021-11-23 Posnap, Inc. Computerized system and method for providing a mobile augmented reality item display and selection experience
WO2021150880A1 (en) * 2020-01-22 2021-07-29 Stayhealthy, Inc. Augmented reality custom face filter
US11404086B2 (en) 2020-02-14 2022-08-02 Perfect Mobile Corp. Systems and methods for segment-based virtual application of makeup effects to facial regions displayed in video frames
US11212483B2 (en) * 2020-02-14 2021-12-28 Perfect Mobile Corp. Systems and methods for event-based playback control during virtual application of makeup effects
US11922540B2 (en) 2020-02-14 2024-03-05 Perfect Mobile Corp. Systems and methods for segment-based virtual application of facial effects to facial regions displayed in video frames
TWI733377B (zh) * 2020-03-17 2021-07-11 建國科技大學 一種具有髮型系統之多功能美髮鏡台
WO2021227859A1 (zh) * 2020-05-13 2021-11-18 华为技术有限公司 图像显示方法、装置、终端设备、存储介质及程序产品
CN113468372B (zh) * 2020-07-15 2024-10-22 海信集团控股股份有限公司 一种智能镜及视频推荐方法
CN112001303A (zh) * 2020-08-21 2020-11-27 四川长虹电器股份有限公司 一种电视留影的装置及方法
KR102664835B1 (ko) * 2020-09-03 2024-05-08 세메스 주식회사 물품 저장 장치 및 물품 저장 장치의 제어 방법
KR102870143B1 (ko) * 2020-09-16 2025-10-14 (주)아모레퍼시픽 스마트 미러, 이의 제어 방법 및 화장품 구매 시스템
EP4217954A1 (en) 2020-09-28 2023-08-02 Snap Inc. Ar-based makeup product sets in messaging
US11798202B2 (en) 2020-09-28 2023-10-24 Snap Inc. Providing augmented reality-based makeup in a messaging system
US12062078B2 (en) 2020-09-28 2024-08-13 Snap Inc. Selecting color values for augmented reality-based makeup
US12136173B2 (en) 2020-12-30 2024-11-05 L'oreal Digital makeup palette
US11321882B1 (en) * 2020-12-30 2022-05-03 L'oreal Digital makeup palette
US11330021B1 (en) 2020-12-31 2022-05-10 Benjamin Slotznick System and method of mirroring a display of multiple video feeds in videoconferencing systems
US11546385B1 (en) * 2020-12-31 2023-01-03 Benjamin Slotznick Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform
US11621979B1 (en) 2020-12-31 2023-04-04 Benjamin Slotznick Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants
IL309234A (en) * 2021-06-10 2024-02-01 Eyesmatch Ltd System and method for digital measurements of subjects
US11763496B2 (en) * 2021-09-30 2023-09-19 Lemon Inc. Social networking based on asset items
US12494056B2 (en) 2021-09-30 2025-12-09 Lemon Inc. Social networking based on asset items
CN113835594A (zh) * 2021-10-22 2021-12-24 维沃移动通信有限公司 交互方法和装置、电子设备以及可读存储介质
CN113949924A (zh) * 2021-10-26 2022-01-18 云知声智能科技股份有限公司 显示的方法、设备、终端与存储介质
US12042037B2 (en) 2021-12-29 2024-07-23 Ann Marie Benison Virtual wig display assembly
US11526324B2 (en) * 2022-03-24 2022-12-13 Ryland Stefan Zilka Smart mirror system and method
US11825184B1 (en) 2022-05-09 2023-11-21 Perfect Mobile Corp. Systems and methods for event-based playback control during virtual application of accessories
US12363355B2 (en) 2022-05-09 2025-07-15 Perfect Mobile Corp. Systems and methods for event-based playback control during virtual application of effects
JP2023171165A (ja) * 2022-05-20 2023-12-01 株式会社スクウェア・エニックス スタイル変換プログラム、スタイル変換装置、およびスタイル変換方法
KR102656674B1 (ko) * 2022-09-23 2024-04-11 네이버웹툰 유한회사 타겟 스타일 및 타겟 색상 정보에 기반하여, 입력 이미지를 변환하는 방법 및 장치
US20240265433A1 (en) * 2023-02-02 2024-08-08 Modaviti Emarketing Private Limited Interactive system and method for recommending one or more lifestyle products
CN116524088B (zh) * 2023-07-03 2023-09-19 深圳星坊科技有限公司 珠宝虚拟试戴方法、装置、计算机设备和存储介质
CN117834838B (zh) * 2024-03-05 2024-05-14 成都白泽智汇科技有限公司 一种双目视觉检测投影设备及检测投影方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001268594A (ja) 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
JP2003219255A (ja) * 2002-01-21 2003-07-31 Masashi Okawa カメラを見ると同時に、相手の映像の目を見ながら話ができるビデオ通信会話用パソコンカメラ
DE10212200A1 (de) * 2002-03-19 2003-10-16 Klaus Mueller Vorrichtung zur Darstellung einer Person
JP4435809B2 (ja) * 2002-07-08 2010-03-24 株式会社東芝 仮想化粧装置及びその方法
US7006945B2 (en) * 2003-01-10 2006-02-28 Sharp Laboratories Of America, Inc. Processing of video content
US20050149411A1 (en) 2003-11-11 2005-07-07 Colwell Felton T. System and method for creating individualized product and color palettes
JP4411059B2 (ja) * 2003-12-12 2010-02-10 キヤノン株式会社 カメラ付きディスプレイ装置、通信装置および通信システム
EP2884738A1 (en) 2005-03-01 2015-06-17 Nissi Vilcovsky Method to enable appearance comparison of a user
US8982109B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
US8976160B2 (en) 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
US8982110B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
EP1975870B1 (en) * 2006-01-17 2020-08-26 Shiseido Co., Ltd. Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program
US20070186946A1 (en) 2006-02-16 2007-08-16 Castleberry Aric C System and method for cosmetic application
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US8139122B2 (en) * 2007-08-20 2012-03-20 Matthew Rolston Photographer, Inc. Camera with operation for modifying visual perception
US8643691B2 (en) * 2008-05-12 2014-02-04 Microsoft Corporation Gaze accurate video conferencing
US20110210970A1 (en) 2008-06-18 2011-09-01 Kazu Segawa Digital mirror apparatus
CN201311536Y (zh) * 2008-11-10 2009-09-16 赵之瑰 便携多功能证件照摄制箱
JP2011128885A (ja) * 2009-12-17 2011-06-30 Toshiba Corp 情報表示装置及び情報表示方法
CN101778260B (zh) * 2009-12-29 2012-01-04 公安部第三研究所 一种基于结构化描述的视频监控管理方法及系统
US9554111B2 (en) * 2010-03-08 2017-01-24 Magisto Ltd. System and method for semi-automatic video editing
JP5156807B2 (ja) * 2010-08-23 2013-03-06 株式会社ノングリッド インタラクティブミラーの表示制御プログラム
US8767030B2 (en) * 2011-04-07 2014-07-01 Tara Chand Singhal System and method for a grooming mirror in a portable electronic device with a user-facing camera
CN104067311B (zh) 2011-12-04 2017-05-24 数码装饰有限公司 数字化妆
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
US8702250B2 (en) 2012-04-02 2014-04-22 GM Global Technology Operations LLC System and method for adjusting vehicle mirrors automatically based on driver head position
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
US9137509B2 (en) * 2012-10-08 2015-09-15 Fuji Xerox Co., Ltd. Systems and methods for instructional video navigation and note taking
JP6441231B2 (ja) 2012-12-18 2018-12-19 アイズマッチ エルティーディー．ＥｙｅｓＭａｔｃｈ Ｌｔｄ． 外観を撮像及び表示する装置、システム及び方法
US9070015B2 (en) 2013-02-07 2015-06-30 Ittiam Systems (P) Ltd. System and method for iris detection in digital images
KR102266361B1 (ko) 2013-08-04 2021-06-16 아이즈매치 리미티드 거울을 가상화하는 디바이스들, 시스템들 및 방법들
EP3039990B1 (en) * 2013-08-30 2019-07-24 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
PL408468A1 (pl) * 2014-06-09 2015-12-21 Aktywator Innowacji Spółka Z Ograniczoną Odpowiedzialnością System prezentowania przepisów kulinarnych i sposób prezentowania przepisów kulinarnych
KR102327146B1 (ko) * 2014-11-06 2021-11-16 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 장치 화면 제어방법
CN105094337B (zh) * 2015-08-19 2018-06-22 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法

Also Published As

Publication number Publication date
CA2963108A1 (en) 2017-12-29
EP4404154A2 (en) 2024-07-24
FR3053502B1 (fr) 2021-07-30
IL264002A (en) 2019-01-31
EP4404154A3 (en) 2025-03-05
US12444110B2 (en) 2025-10-14
CN109690617A (zh) 2019-04-26
RU2019101747A (ru) 2020-07-29
EP3479351A1 (en) 2019-05-08
US20180278879A1 (en) 2018-09-27
FR3053502A1 (fr) 2018-01-05
US11908052B2 (en) 2024-02-20
CN109690617B (zh) 2023-11-21
EP3479351A4 (en) 2020-02-19
US20240193833A1 (en) 2024-06-13
EP3479351B1 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
ES2985072T3 (es) Sistema y método para espejo de maquillaje digital
US11450075B2 (en) Virtually trying cloths on realistic body model of user
ES2995983T3 (en) Devices, systems and methods of virtualizing a mirror
WO2018005884A1 (en) System and method for digital makeup mirror
US8908904B2 (en) Method and system for make-up simulation on portable devices having digital cameras
ES2984065T3 (es) Dispositivos, sistemas y métodos para presentación de vídeo autorretardada
US9959453B2 (en) Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
US9269157B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
US8976160B2 (en) User interface and authentication for a virtual mirror
KR20090098798A (ko) 비디오 이미지들의 시퀀스의 가상 시뮬레이션을 위한 방법 및 디바이스
CN111066060A (zh) 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪
CN111435433A (zh) 信息处理装置、信息处理方法以及存储介质
JP2001109913A (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
TW200805175A (en) Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program
US20200065559A1 (en) Generating a video using a video and user image or video
JP2021144582A (ja) メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
KR20250125406A (ko) 메이크업 가상 시착 방법들 및 장치들
FR3147891A1 (fr) Procédé et appareils d'essayage virtuel de maquillage
HK40017285A (en) Virtual facial makeup removal, fast facial detection and landmark tracking
BR112016002493B1 (pt) Método para realizar mudança de cor em um objeto dentro de uma imagem digital