CN114974168A - 显示装置处的基于帧速率的照明控制 - Google Patents
显示装置处的基于帧速率的照明控制 Download PDFInfo
- Publication number
- CN114974168A CN114974168A CN202210518840.1A CN202210518840A CN114974168A CN 114974168 A CN114974168 A CN 114974168A CN 202210518840 A CN202210518840 A CN 202210518840A CN 114974168 A CN114974168 A CN 114974168A
- Authority
- CN
- China
- Prior art keywords
- lighting
- frame
- strobe
- illumination
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
- G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
- G09G3/3426—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
- G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0237—Switching ON and OFF the backlight within one frame
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/08—Details of timing specific for flat panels, other than clock recovery
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
- G09G2320/062—Adjustment of illumination source parameters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0633—Adjustment of display parameters for control of overall brightness by amplitude modulation of the brightness of the illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/064—Adjustment of display parameters for control of overall brightness by time modulation of the brightness of the illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Liquid Crystal Display Device Control (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of El Displays (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
为了更好地平衡抖动、运动模糊和延迟,经由一种或多种照明控制技术基于一个或多个参数来控制由显示装置采用来照明显示帧的照明配置,所述一个或多个参数包括帧速率、用户偏好、OEM设置、硬件性能能力、当前硬件状态、图像内容、用户凝视方向等。此类照明控制技术一般被分类为:用于配置基于帧速率在帧周期内实现的照明水平和持续时间的技术;用于配置帧周期内的照明频闪的位置的技术;以及用于在逐区域基础上控制所述照明配置的技术。
Description
本申请是申请号为201980088986.3、申请日为2019年12月23日、发明名称为“显示装置处的基于帧速率的照明控制”的申请的分案申请。
背景技术
液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器以及其他发射式显示器、透射式显示器和反射式显示器通常实现两种照明配置中的一种:恒定照明配置,其中背光或发射像素元素在每个帧周期的持续时间内以固定水平持续激活;以及频闪配置,其中背光或发射像素元素在每个帧周期的仅一小部分内被频闪(或“闪烁”),否则在频闪之前和之后的周期中被停用。实现恒定照明配置的显示器通常表现出很少(如果有的话)闪烁,因为照明水平在每个帧周期内和每个帧周期之间都是恒定的。然而,由于人类视觉系统表现出的视觉现象的持久性,所显示内容中的对象在帧之间的任何移动都容易产生运动模糊。相反地,实现频闪配置的显示器通常由于每个帧周期期间的短暂照明周期而表现出显著降低的运动模糊,但背光或发射像素元素的频闪会引入闪烁,这可能会有损用户体验。此外,提供足够亮的频闪以便在一系列帧周期内保持足够平均亮度所需的电流通常导致提供此类电流的背光驱动器或提供闪光的发射像素元素的寿命缩短。
附图说明
通过参考附图,可以更好地理解本公开,并且本公开的许多特征和优点对本领域技术人员来说可显而易见。在不同附图中使用相同附图标记来指示相似或相同项。
图1是示出根据一些实施方案的在显示装置处显示帧期间的照明控制的图示。
图2是示出根据一些实施方案的各种照明控制技术及其组合的图示。
图3是示出根据一些实施方案的采用一种或多种照明控制技术的显示系统的框图。
图4是示出根据一些实施方案的示例性透射型显示装置的框图。
图5是示出根据一些实施方案的示例性发射型显示装置的框图。
图6是示出根据一些实施方案的用于区域性照明控制的各种示例性显示装置配置的框图。
图7是示出根据一些实施方案的由图3的显示系统实现的软件/硬件堆栈的框图。
图8是示出根据一些实施方案的用于显示装置的基于帧速率的照明控制的方法的流程图。
图9是示出根据一些实施方案的用于基于帧速率确定频闪和填充照明输出的技术的图示。
图10是示出根据一些实施方案的基于帧速率的频闪和频闪后填充照明输出之间的示例性关系的图示。
图11是示出根据一些实施方案的用于基于图10的关系的在不同帧速率下的显示装置的示例性照明配置的图示。
图12是示出根据一些实施方案的基于帧速率的频闪、频闪前填充和频闪后照明输出之间的示例性关系的图示。
图13是示出根据一些实施方案的用于基于图12的关系的在不同帧速率下的显示装置的示例性照明配置的图示。
图14是示出根据一些实施方案的示例性照明频闪时序的图示。
图15是示出根据一些实施方案的用于照明频闪时序的技术的图示。
图16是示出根据一些实施方案的便于接收关于各种照明控制参数的用户输入的图形用户界面的图示。
图17是示出根据一些实施方案的用于众包照明控制的技术的图示。
图18是示出根据一些实施方案的用于基于区域性亮度的每区域照明控制的方法的流程图。
图19是示出根据一些实施方案的用于图18的方法的示例性实现方式的图示。
图20是示出根据一些实施方案的用于基于区域性运动估计的每区域照明控制的方法的流程图。
图21是示出根据一些实施方案的用于图20的方法的示例性实现方式的图示。
图22是示出根据一些实施方案的图20的方法对两个连续帧的示例性应用的图示。
图23是示出根据一些实施方案的用于图3的显示系统的凝视跟踪子系统的图示。
图24是示出根据一些实施方案的用于中央凹照明控制的方法的流程图。
图25是示出根据一些实施方案的用于图24的方法的示例性实现方式的图示。
图26是示出根据一些实施方案的图24的方法对两个连续帧的示例性应用的图示。
具体实施方式
在以下描述中,阐述了众多特定细节以提供对本文呈现的系统和技术的透彻理解。然而,本领域普通技术人员应认识到,可在没有这些具体细节的情况下实践各种实施方案。在一些情况下,并未详细示出众所周知的结构、部件、信号、计算机程序指令和技术,以避免混淆本文所述的方法。此外,应了解,出于说明简明和清楚起见,在图中示出的元件不一定按比例绘制。例如,一些元件的尺寸可相对于其他元件被放大。
显示装置通过显示帧(以下简称“帧”)序列的显示向用户呈现视频、图形和其他图像,其中序列的每一帧的显示与对应的帧周期相关联,所述对应的帧周期是对应序列的帧速率的倒数。每个帧被渲染或以其他方式生成,并且表示该帧的像素数据被缓冲在帧缓冲器或其他存储部件中。如图1的时序图100所示,在帧周期102-1的开始处(例如,通过垂直同步(VSYNC)104-1或垂直消隐间隔(VBI)的断言发信号通知),要在帧周期期间显示的帧的像素数据在逐行基础上从帧缓冲器扫描输出并传输到显示装置(如扫描输出线106所表示),由此显示装置基于当前正在扫描输入的帧行的像素数据来配置由例如液晶(LC)、发光二极管(LED)或有机LED(OLED)的矩阵构成的像素矩阵的对应行。显示装置通过在每个像素处根据与该像素位置相关联的像素数据调制的显示光的发射来“显示”帧。对于液晶显示器(LCD)和其他透射型显示装置,显示光的发射是通过使用白色背光并且通过基于像素位置的像素数据在该像素位置处配置每个LC来实现的,以便调制通过LC的背光的频率和强度,使得产生的透射光具有对应的颜色和强度。反射型显示器以类似的方式操作,但使用反射光而不是背光。对于LED显示器、OLED显示器和其他发射型显示装置,显示光的发射是通过以不同强度激活不同颜色(例如,红色、绿色和蓝色)的LED或OLED子像素来实现的,使得由子像素发射的组合光组合以提供对应于与该像素相关联的像素数据的特定颜色和强度。
无论是通过光的发射、透射还是反射,在此期间由显示装置生成显示光以便向用户显示对应帧的帧周期的部分在本文被称为帧的“照明”。一些传统的显示系统采用恒定照明方法,其中照明强度在帧周期的整个持续时间内保持在恒定水平。为了说明,图1的时序图110示出了传统的恒定照明技术,其中显示装置控制照明源(例如,用于LCD显示器的背光或用于LED或LED显示器的像素本身),使得对于每个帧周期102-1、102-2等,光输出112在整个帧周期中保持在恒定水平L。这种方法通常会消除显示闪烁,因为照明水平在帧周期内和帧周期之间是恒定的,但由于视觉现象的持久性,可能会为连续帧之间的运动中的显示内容注入运动模糊。
因此,为了减轻运动模糊,一些传统的显示系统采用相反的方法,其中照明在帧周期的仅一小部分内发生,这种短暂的照明被称为照明“频闪”(或“闪光”)。为了说明,时序图120示出了传统的频闪照明技术,其中显示装置控制照明源,使得照明源的光输出122在每个帧周期102的仅相对小部分内为非零(也就是说,不大于帧周期的25%、20%、15%或甚至10%),并且因此有效地形成在帧周期102(例如,0.5至2毫秒)期间短暂激活的照明频闪124。虽然这导致帧仅在相对短的时间段内被“显示”为发射的显示光并且因此基本上避免了图像持久性并因此减轻了运动模糊,但在每个帧周期102期间发生的照明频闪124引入了可被一些用户视为显示闪烁的低频闪烁。此外,为了提供足够的平均亮度水平,一般必须将照明频闪124的强度水平设置得大大高于恒定照明方法所需的强度水平,并且因此导致照明源的驱动器在照明频闪124期间有大量电流流出。这种增加的电流流出通常会导致照明源的使用寿命缩短,或者需要实现重型驱动器电路,而这通常成本过高。此外,频闪124本身的时序可能会影响帧的显示,其中在帧周期中较早发生的频闪提供降低的延迟但增加了重影的可能性,而较晚发生的频闪可能降低或消除重影,但以增加的延迟为代价。
为了更好地平衡抖动、运动模糊和延迟,本申请公开了用于基于一个或多个参数(包括帧速率、用户偏好、原始装置制造商(OEM)设置、硬件性能能力、当前硬件状态、图像内容、用户凝视方向等)来控制显示装置用于照明显示帧的照明配置的各种技术。现在参考图2,参考图1的时序图130示出了这些各种照明控制技术及其各种组合的分类法200。本文描述的照明控制技术一般可分类为:用于基于帧速率配置在帧周期内实现的照明水平和持续时间的技术(以下称为“基于帧速率的照明控制技术202”);用于配置照明频闪在帧周期内的位置的技术(以下称为“频闪位置控制技术204”);以及用于在逐区域基础上控制照明配置的技术(以下称为“区域性照明控制技术206”)。
在至少一个实施方案中,背光水平(对于透射型显示装置)或基线照明水平(对于发射型显示装置)在根据该帧周期的“照明配置”的帧序列的显示期间在每个帧周期上变化。如图1的时序图130所示,帧周期的照明配置包括例如:照明频闪134的选择性实现方式;照明频闪134之前的恒定照明水平的选择性实现方式(在本文称为“前照明填充”或简称为“前填充”);以及照明频闪134之后的恒定照明水平的选择性实现方式(在本文称为“后照明填充”或简称为“后填充”);或它们的组合。前照明填充138“填充”在照明频闪134之前的帧周期102的部分(也就是说,从帧周期102的开始延伸到照明频闪134的开始)。背光照明填充140“填充”在照明频闪134之后的帧周期的部分(也就是说,从照明频闪134的结束延伸到帧周期102的结束)。因此,在此类情况下,采用基于帧速率的照明控制技术202来控制照明频闪134是否在给定帧周期内实现,以及所实现的照明频闪134、前照明填充138和后照明填充140中的一个或多个至少基于正在显示的帧序列的帧速率的“输出”。如本文所用,照明频闪或照明填充的“输出”是指对应频闪或填充的照明水平和持续时间的乘积。此类技术包括但不限于:用于基于帧速率相对于前照明填充138或后照明填充140中的一者或两者调整频闪134的照明水平或持续时间的技术208;以及用于基于帧速率相对于彼此调整前照明填充138和后照明填充140的技术210。下面参考图9至图13更详细地描述这些技术。
在照明频闪将被实现为帧周期的照明配置的一部分的情况下,照明频闪在对应帧周期内的位置(例如,时序图130的照明频闪134的位置136,图1)可能会影响帧的显示以及用户对所显示帧的感知。因此,可实现一种或多种频闪位置控制技术204以基于多种因素(诸如帧速率、用户偏好、延迟VSYNC的存在或下一帧开始等)中的任一个在帧周期内更有效地定位照明频闪。下面参考图14和图15更详细地描述频闪位置控制技术204。
此外,在一些实施方案中,显示装置采用具有可独立控制的照明区域(也就是说,可在逐区域基础上进行控制)的背光或显示矩阵。在此类情况下,可采用区域性照明控制技术206来基于多种考虑因素控制每个照明区域的照明配置。例如,用于区域性照明控制的技术212对要显示的帧采用每区域亮度测量或其他亮度表示,以在对应于该帧的帧周期内针对一个或多个照明区域设置基于频闪的照明配置。作为另一示例,用于区域性照明控制的技术214采用运动估计或其他运动分析来评价与显示装置的对应照明区域相关联的帧的每个区域内的对象的运动并且在显示帧时为每个照明区域设置照明配置。作为又一示例,技术216依赖凝视跟踪子系统来识别显示矩阵上的凝视位置以识别哪个照明区域是中央凹区域以及哪个照明区域是外围区域,然后相应地在显示帧期间针对每个照明区域设置照明配置。需注意,如本文所用的对“区域”、“区域性”或“区域地”的引用,除了指多个区域之外,还可指整个显示装置的单个全局区域,除非另有说明。此外,本文所述的每区域分析可用于控制不同数量的区域的照明,也就是说,所分析的区域数可大于、小于或等于由于此类分析而得到的具有照明控制的区域数。下面参考图18至图26更详细地描述这些区域性照明控制技术206。
本文描述的用于照明控制的技术在确定一个或多个帧周期的对应照明配置时通常考虑一个或多个因素,诸如帧速率。在一些实施方案中,照明配置的输入因子与所得参数之间的关系是固定关系218,其被实现为例如一个或多个查找表(LUT)、实现为功能表示或算法表示等。在其他实施方案中,照明配置的输入因子与所得参数之间的关系是自适应关系220,其采用机器学习来基于显示系统的行为的建模动态地调整该关系。在其他实施方案中,该关系是固定关系218和自适应关系220的组合。无论是固定的、自适应的还是它们的组合,一个或多个帧周期的照明配置的输入因子与输出参数之间的关系可基于原始装置制造商(OEM)输入或控制222来设置,基于用户输入或控制224来设置,基于来自类似系统的其他用户的输入或控制来设置,或它们的组合,如下面参考图16和图17更详细地描述的。
如线228、230和232所表示的,对帧周期的照明配置的控制不限于仅采用一种技术或仅采用相同类型的技术。为了说明,在一些实施方案中,将一种或多种基于帧速率的照明控制技术202单独采用或与一种或多种区域性照明控制技术206结合使用、与一种或多种频闪位置控制技术204结合使用、或与一种或多种区域性照明控制技术206和一种或多种频闪位置控制技术204两者结合使用。类似地,在一些实施方案中,将一种或多种频闪位置控制技术204被单独采用或与一种或多种区域性照明控制技术206结合使用,或者将一种或多种区域性照明控制技术206一起采用。
需注意,为了便于说明,本文将一些照明控制技术描述为涉及基于要显示的帧的一个或多个方面来确定照明配置,然后针对要显示相同帧的帧周期来实现该照明配置。然而,应了解,由于根据此类帧中的一个或多个确定照明配置所涉及的处理工作,照明配置通常不会准备好用于实现其所基于的相同帧的显示。在此类情况下,照明配置相反被用于一个或多个后续帧,并且根据这些后续帧确定的照明配置被用于一个或多个更进一步的后续帧等。因此,除非另有说明,对照明配置的应用用于显示确定照明配置的同一帧的参考也应理解为类似地描述照明配置用于显示后续帧的应用。
图3示出了根据一些实施方案的用于实现本文描述的一种或多种照明配置控制技术的示例性显示系统300。显示系统300包括通过有线或无线互连305连接的渲染装置302和显示装置304。渲染装置302包括用于生成视频内容的多种装置中的任一种,包括笔记本计算机、台式计算机、服务器、游戏控制台、支持计算的智能电话等。显示装置304包括用于显示视频内容的数字显示装置,诸如数字电视、计算机监测器、便携式装置显示器等。需注意,在一些实现方式中,渲染装置302和显示装置304在同一装置中实现,诸如在平板计算机、笔记本计算机、支持计算的电话等的情况下。渲染装置302包括至少一个存储器306、至少一个处理器(诸如GPU 308和中央处理单元(CPU)310)以及显示接口(IF)312。显示装置304包括显示接口314、显示控制器316和显示矩阵318。显示接口312、314包括有线或无线互连接口,诸如HDMI接口、DisplayPort接口、嵌入式DisplayPort(eDP)接口等。显示控制器316被实现为一个或多个处理器以执行存储在存储器(未示出)中的软件指令、一个或多个可编程逻辑部件、一个或多个硬编码逻辑部件或它们的组合。显示矩阵318包括用于显示显示图像序列的二维像素阵列,并且包括例如发光二极管(LED)矩阵、有机LED(OLED)矩阵、液晶(LC)矩阵、用于数字光处理(DLP)显示器的可移动反射镜矩阵等。
作为一般操作概述,存储器306存储一个或多个可执行软件指令集以操纵CPU 310和GPU 308来呈现包括一系列显示帧和对应元数据的视频流并将该视频流经由显示接口312、314和互连305传输到显示装置304。在显示装置304处,显示控制器316依次接收每个显示帧和对应元数据,并在对应的帧周期期间依次处理显示帧以在显示矩阵318处显示。
显示装置304被实现为例如发射型显示器、透射型显示器、反射型显示器或它们的混合。如图4所示,透射型显示装置404(显示装置304的一个实施方案)将显示矩阵318实现为LC矩阵402和背光405,并且显示控制器316被实现为LC控制器406和背光控制器408。LC矩阵402实现了LC像素410的阵列,其中每个LC像素410由表示像素的对应颜色(例如,红色、绿色和蓝色)的一个或多个LC子像素构成。在操作中,帧的每一行像素数据被顺序地馈送到LC控制器406,所述LC控制器基于该行中的对应像素的像素值(例如,像素(X,Y)是X列和Y行处帧的像素值)选择性地激活对应行中的LC像素410。背光405由被选择性地激活以发射光的LED的阵列或其他组构成,然后将所述光基于用于选择性地激活LC像素410的对应像素值来偏振并选择性地传输穿过LC矩阵402的每个LC像素410。
因此,为了“显示”帧,背光控制器408使用一个或多个LED驱动器414来驱动LED412,其中由LED驱动器414驱动的电流、电压或脉冲形状(统称为“功率”)的量,以及因此由LED 412发射的光的照明强度在每个帧周期期间,经由由背光控制器408控制的照明控制(CTL)信号416来控制。因此,随着照明CTL信号416的水平或值在帧周期内变化,LED 412发射的背光相应地变化。因此,通过由背光控制器408对照0明CTL信号416的水平或值的配置,在透射型显示装置404中实现帧周期的照明配置。也就是说,背光控制器408通过对照明CTL信号416的对应控制来实现帧周期内的任何前照明填充、照明频闪和后照明填充。
转到图5,发射型显示装置504(显示装置304的一个实施方案)将显示矩阵318实现为LED矩阵502,并且显示控制器316被实现为LED控制器506。LED矩阵502实现像素510阵列,其中每个像素510由一个或多个子像素512构成,每个子像素表示像素的对应颜色(例如,红色、绿色和蓝色)。每个子像素都被实现为LED或OLED。在操作中,帧的每一行像素数据被顺序地馈送到LED控制器506,所述LED控制器基于该行中对应像素的像素值选择性地激活该行中像素510的子像素512。因此,为了在显示装置504处“显示”帧,每个子像素512均由对应的驱动器514驱动,其中由驱动器514提供给子像素512的功率,以及因此由子像素512发射的光的照明强度通过由子像素512表示的像素的相关联子像素值和如由照明CTL信号516表示的帧周期的照明配置的当前照明水平的组合来控制在一些实施方案中,子像素值和照明CTL信号516的值相乘以生成控制由驱动器514供应的电流、电压或脉冲形状的量值的所得值。因此,表示帧周期中对应时间点的当前照明配置值的照明CTL信号516用于缩放每个子像素的照明强度。例如,如果照明CTL信号516被表示为八位值,则LED矩阵502的子像素512的照明强度可按比例放大或缩小超过256步。因此,显示装置504通过对照明CTL信号516的对应控制来实现帧周期内的任何前照明填充、照明频闪和后照明填充。
尽管图4和图5示出了其中在帧周期期间根据帧的所有像素的相同照明配置全局放大或缩小照明强度的显示装置304的实施方案,但在其他实施方案中,显示装置304实现其中显示矩阵318被划分为多个可独立控制的照明区域的区域性照明方法。也就是说,每个照明区域是可单独控制的,以便在帧周期期间实现区域特定照明配置。如图6所示,该划分通过多种方式中的任一种来实现。全局划分602示出了其中无划分的配置;也就是说,整个显示矩阵318是单个或全局照明区域604。行划分612示出了其中显示矩阵318按行划分,使得显示矩阵318的一行或多行的每个子集被组织为单独照明区域614的显示装置304的配置。相反地,列划分622示出了其中显示矩阵318按列划分,使得显示矩阵318的一个或多个列的每个子集被组织为单独照明区域624的显示装置304的配置。网格划分632示出了其中显示矩阵318按行和按列划分,使得像素被划分为多个照明区域634的显示装置304的配置,每个区域包括来自一个或多个行和一个或多个列的像素。可采用其他划分方案来将显示矩阵318划分为可出于照明强度目的而单独控制的照明区域。
图7示出了根据一些实施方案的在渲染装置302和显示装置304处实现以便于实现一种或多种照明配置控制技术的软件堆栈。软件堆栈702在渲染装置302中实现,并且包括一个或多个视频内容应用程序704、一个或多个操作系统(OS)接口706、软件开发工具包(SDK)/OS接口708、图形驱动器710和显示驱动器712。视频内容应用程序704包括作为要渲染的视频内容的源的软件应用程序,诸如游戏应用程序、虚拟现实(VR)或增强现实(AR)应用程序、视频回放应用程序等。该视频内容的显示图像的绘制指令经由OS接口706提供给图形驱动器710,由此图形驱动器710与GPU 308协调以渲染对应的显示帧,所述对应的显示帧被缓冲在渲染装置302的帧缓冲器或其他存储部件中。然后,显示驱动器712操作以在逐行基础上将代表缓冲帧的像素数据连同相关联的元数据经由互连305传输到显示装置304。
在一些实施方案中,对一个或多个帧周期的照明配置的控制主要由渲染装置302实现。在此类实施方案中,软件堆栈702包括源侧照明控制模块714以实现本文描述的照明配置控制技术中的一种或多种。在图7的示例中,源侧照明控制模块714被示为图形驱动器710的一部分,但在其他实施方案中在软件堆栈702中的别处实现。在这些实施方案中,源侧照明控制模块714确定要针对一组对应的一个或多个帧实现的照明配置并且将该照明配置的表示经由例如边带传输或作为伴随帧的像素数据的元数据的一部分经由例如边带传输或作为该照明配置的表示传输至显示装置304。显示装置304的软件堆栈716的显示侧照明控制模块718接收该所传输的照明配置的表示,然后将显示控制器316配置为实现由照明配置在对应的帧周期期间表示的照明水平和段持续时间。在其他实施方案中,对帧周期的照明配置的控制主要在显示装置304本身处实现,在这种情况下,显示侧照明控制模块718基于从渲染装置302所接收的帧数据直接在显示装置处确定和实现照明配置。
此外,在一些实现方式中,可通过用户输入来控制或修改照明配置的控制。在一些实施方案中,在渲染装置302处接收该用户输入,并且因此软件堆栈702包括图形用户界面(GUI)720或其他用户界面以接收关于照明配置的用户输入并相应地实现用户输入。GUI720可被实现为例如图形驱动器710的一部分,或替代地,可被实现为视频内容应用程序704或软件堆栈702的其他软件模块的一部分。在其中显示装置304控制照明配置的设置的其他实施方案中,在显示装置304的软件堆栈716的GUI 724处接收和实现用户输入。
图8示出了表示根据一些实施方案的通过基于帧速率的照明输出控制技术202(图2)所采用的一般过程的方法800。为了便于说明,在其中源侧照明控制模块714(图7)负责确定要实现的照明配置设置的实现方式上下文中描述方法800。然而,下面描述的过程可适于由显示器侧照明控制模块718使用本文提供的指南来实现。
在框802处,GPU 308在视频内容应用程序704的方向上渲染或以其他方式生成帧序列中的帧,并且将生成的帧缓冲在渲染装置302处的帧缓冲器或其他存储部件中。然后,显示驱动器712在逐行基础上将代表生成的帧的缓冲的像素数据和元数据经由互连305传输到显示装置304。在框804处,对于针对正在传输的帧所接收的每一行像素数据,显示控制器316将显示矩阵318的每一行像素配置为表示所接收的像素数据行的对应像素值,使得当在相关联帧周期期间在显示装置304处发生帧的照明时,代表该帧的显示光由显示矩阵318直接经由LED、OLED、等离子或其他发射像素配置发射,经由LC或其他透射像素配置的选择性背光传输,或经由数字光处理(DLP)的选择性光反射,或其他反射像素配置。
与框802和804的渲染、传输和预显示矩阵配置过程并行,源侧照明控制模块714确定要用于显示对象帧的照明配置的参数。该子过程开始于框806,其中照明控制模块714确定正在生成的帧序列的当前帧速率。在一些实施方案中,帧速率是固定的并且通过由照明控制模块714访问或参考的一些控制设置来表示。在其他实施方案中,显示系统300采用可变帧速率,在这种情况下,照明控制模块714监测一个或多个先前显示的帧的帧周期(如由基于软件的或物理VSYNC信号或“帧完成”信号所指定)以估计当前帧速率,或从GPU 308接收GPU 308正实现的当前帧速率的指示。由此,照明控制模块714经由例如线性外推、多项式最佳拟合分析、卡尔曼滤波、机器学习过程等估计下一帧周期的持续时间。
基于当前帧速率,在框808处,照明控制模块714确定用于显示帧的照明配置是否包括照明频闪,并且如果是,则确定将针对照明频闪使用的照明水平或持续时间中的至少一个。同时,在框810处,照明控制模块714确定将针对照明配置的前照明填充和后照明填充实现的照明水平。下面参考图9至图13更详细地描述框808和810的过程。
在确定了照明配置的情况下,照明控制模块714将照明配置的表示传输到显示装置304。照明配置的照明水平、持续时间和位置的这种表示可以多种格式中的任一种来实现并且以多种方式中的任一种(包括作为元数据或边带数据)传输到显示装置304。为了说明,可以假设显示装置304可配置成为具有非零前照明填充、照明频闪和非零后照明填充的照明配置提供固定段位置和持续时间,照明配置可表示为具有三个值的控制数据结构,其中第一值表示照明频闪的照明水平,第二值表示前照明填充的照明水平,并且第三值表示后照明填充的照明水平。在照明频闪的位置和持续时间可变的其他实施方案中,传输段中至少两个段的宽度,并且因此允许在帧周期固定或已知的情况下推导第三段的宽度和位置。在其他实施方案中,显示控制器316包括配置有前照明水平填充水平、后照明水平填充水平和频闪照明水平的不同组合的预填充表,并且所确定的照明水平配置的表示可包括在显示控制器316处传输表示表的对应条目的索引值。
响应于接收到所确定的照明配置的表示,在框814处,显示侧照明控制模块718将显示控制器316配置为在对应的帧周期的过程中控制显示矩阵318的照明水平,使得帧由显示矩阵318照明并且所得显示光投射到用户。对于透射型显示装置(例如,显示装置404,图4),通过控制背光405的照明强度或光输出来实现在敌营帧周期内对显示矩阵318的照明水平的控制以反映帧周期内对应时间点的照明配置的照明水平。通过控制反射的光源的照明水平,以类似的方式控制反射型显示装置。对于发射型显示装置(例如,显示装置504,图5),通过基于表示帧周期内的对应时间点的照明配置的照明水平的照明控制值缩放每个子像素值来实现在对应的帧周期内对显示矩阵318的照明水平的控制,使得驱动LED、OLED或其他发射像素的电流、电压、脉冲形状或其他功率与照明配置内的照明水平成比例。也就是说,用于驱动发射像素的功率实际上代表该发光像素的子像素值与表示帧周期中该时间点的照明配置中的当前照明水平的值的乘积。
然后,方法800的流程返回到框802,用于下一帧的生成、缓冲、传输和预显示配置。在一些实施方案中,对于在两个或更多个帧的序列(例如,表示在场景变化之间生成的帧或具有与其前一帧显著不同的亮度水平的两个帧之间的帧的序列)内生成的每个帧采用相同的照明配置,在这种情况下,框806、808、810和812的子过程每个帧序列仅执行一次。在其他实施方案中,针对要显示的每个帧单独确定照明配置,在这种情况下,针对每个生成的帧重新执行框806、810和812的子过程。
现在转向图9,示出了用于实现方法800的框808和810的照明输出确定过程的示例性技术。在一个实施方案中,照明控制模块714实现输出确定模块900以获得各种输入参数902,并且根据这些输入参数902生成照明配置(例如,照明配置906或照明配置908)的表示904以被实现用于在显示装置304处照明帧。
连续帧显示的频率(也就是说,帧速率)通常是用户感知到的各种显示伪影表现的主要因素。在较低帧速率下(例如,等于或低于60帧每秒(FPS)),大多数用户可能会感觉到由照明频闪或帧之间平均照明水平的其他变化引起的闪烁。在较高帧速率下(例如,等于或高于100FPS),闪烁可能变得难以感知,但由于显示装置的像素的逐行扫描输出和稳定时间,照明频闪的时序可能会导致重影或撕裂。此外,由于大多数用户表现出的视觉持久性,当使用恒定照明水平时,较高的帧速率可能会导致运动模糊。因此,在至少一个实施方案中,当前帧速率(信号910)被用作输出确定模块900在确定照明配置的照明输出时考虑的输入参数902中的一个(也就是说,照明水平和持续时间中的至少一个)。
输出确定模块900也可采用用户输入(信号912)。为了说明,用户可能较少受到闪烁的困扰,并且因此提供用户输入,与输出确定模块900另外设置的阈值相比,所述用户输入指示用于采用照明频闪的较低阈值。相反地,另一用户可能对闪烁更敏感,并且因此提供为采用照明频闪设置了更高阈值的用户输入。下面将参考图16更详细地描述使用用户输入作为设置照明配置的因子。
在一个实施方案中,输出确定模块900还利用显示系统300的一个或多个当前操作参数(信号914)作为输入参数902,用于确定所得照明配置的适当照明水平。此类当前操作参数包括例如:环境光的水平(其继而暗示了显示装置的目标平均亮度);用于背光405或LED矩阵502的驱动器的当前温度(其指示驱动器是否有过载的风险);GPU 308的当前操作状态(其例如指示下一帧周期是否因GPU 308无法及时渲染对应帧而延迟);等等。
在至少一个实施方案中,照明配置由至少三个参数表示:频闪水平值916,其表示在帧周期中的照明频闪(如果被激活)所采用的照明水平;前填充水平值918,其表示照明频闪之前的前照明填充所采用的照明水平;以及后填充水平值920,其表示照明频闪之后的后照明填充所采用的照明水平。为了说明,照明配置906(其不具有前照明填充、照明水平X1的照明频闪和照明水平X2的后照明填充)可由元组<0,X1,X2>表示,而照明配置908(其具有照明水平X3的前照明填充921、照明水平X5的照明频闪923和照明水平X4的后照明填充925)可由元组<X3,X5,X4>表示。
如下所述,可调整照明频闪的位置,并且因此照明配置可还包括一个或多个段位置参数927,所述一个或多个段位置参数指定帧周期内的照明频闪、前照明填充和后照明填充中的一个或多个的位置。对应段的“位置”例如被表示为帧周期开始之后的开始时间以及段的宽度或其他持续时间表示。如果帧周期是恒定的,则照明频闪、前照明填充和后照明填充中任意两个的位置的指定允许计算其余的未指定段的位置。在照明配置中未实现照明频闪的情况下,频闪水平值916被设置为零,或者替代地,被设置为与前填充水平值918或后填充水平值918相同的值,从而实际上延长了相应照明填充的持续时间。在其他实施方案中,照明频闪的照明水平(如果被激活)是固定的或设置的,其中表示904省略了频闪水平值916,或包括例如二进制值以识别是否将照明频闪包括在照明配置。在其他实施方案中,频闪持续时间也可基于帧速率或其他输入参数902进行调整,在这种情况下,表示904还将包括表示照明频闪的宽度或其他持续时间表示的频闪持续时间值915(应了解,频闪持续时间值915用作特定段位置参数927)。
值916、918和920可以多种格式中的任一种表示。在一些实施方案中,每个值都是在对应照明水平的最小阈值和最大阈值之间设置的绝对值。例如,每个值916、918和920均可实现为八位值,从而每个值提供256个照明水平。在其他实施方案中,值916、918和920中的一些或全部为相对值。例如,值918和920可表示由频闪水平值916表示的照明值的某个百分比。
在一个实施方案中,输出确定模块900使用多种机制中的任一种或其组合,基于输入参数902识别要采用的照明水平、要采用的频闪持续时间(在具有可变频闪持续时间的实现方式中)以及频闪以及前填充和后填充的位置/持续时间。在一些实施方案中,输出确定模块900维护一个或多个LUT 922或其他表,所述其他表表示一个或多个输入参数902的值与对应的照明水平、频闪持续时间和将在照明配置中实现的段位置之间的关系。为了使用基于帧速率并且段的持续时间或位置固定的简单示例进行说明,可如表1所示配置LUT922:
表1:示例性LUT实现方式
| FPS | 频闪水平 | 前填充水平 | 口填充水平 |
| <60 | 30 | 30 | 30 |
| 60-100 | 50 | 20 | 20 |
| >100 | 70 | 0 | 40 |
因此,帧速率低于60FPS导致恒定照明配置(也就是说,照明水平在整个帧周期内保持不变),帧速率为75FPS将导致在50的照明水平下实现照明频闪,在20的照明水平下的前照明填充和在20的照明水平下的背面照明填充,以及120FPS的帧速率将导致在70的照明水平下实施照明频闪,背面照明以40的照明水平填充,没有正面照明填充(也就是说,在照明水平为0时的正面照明填充)。
在其他实施方案中,输入参数902与照明配置的照明水平和分段位置之间的关系由一个或多个函数924或以软件代码实现的其他功能算法提供。例如,表1中的频闪水平值916和FPS的示例性关系可表示为函数924,所述函数为以下格式:
在其他实施方案中,输入参数902与照明配置的照明水平/位置/持续时间之间的关系是使用使用神经网络或其他机器学习(ML)技术开发的学习模型926提供的。为了说明,在一些实施方案中,向用户呈现使用不同照明配置显示的测试视频以及用户对每个测试视频的性能的反馈,用作学习模型926的初始训练的训练集。此后,可基于用户输入进一步细化学习模型,所述用户输入基于对帧速率或其他各种操作参数与使用所得照明配置显示帧的有效性等之间的相关性的观察来调整各种照明配置参数以更好地适应用户的特定偏好。
一个或多个操作参数902与照明配置的对应照明水平、持续时间和位置之间的关系以多种方式中的任一种配置。在一些实施方案中,该关系由图形驱动器710或GPU 308的OEM或供应商预定义,并且因此可使用固件或软件更新来定期更新。例如,图形驱动器更新版本可包括LUT 922的更新值。此外,在一些实施方案中,用户输入用于最初创建关系的表示,或调整先前确定的值。例如,使用GUI 720(图7和图16),用户可设置用于改变照明水平的FPS阈值以激活或停用照明频闪的使用、改变照明水平本身等。更进一步,如上所述,该关系可为动态关系,如例如由基于各种训练输入不断更新的学习模型表示。
现在参考图10和图11,示出了帧速率(作为输入参数902)与用于照明配置的照明参数之间的更详细的示例性关系。图10描绘了两个图表(图表1000-1和1000-2),所述两个图表示出了照明频闪的使用和水平/持续时间与基于帧速率的周围填充的对应水平之间的指定关系,以便在闪烁减轻和运动模糊减轻之间实现比通常仅使用恒定水平照明或仅频闪照明可能实现的更合适的平衡。在某些情况下,这种指定关系被概括为随着帧速率的增加而增加照明频闪的输出和减少照明填充的量值,反之亦然。对于这种方法,在较低帧速率下降低或消除频闪加重可减轻可感知闪烁的可能性,而在较高帧速率下增加频闪加重和减少填充加重可减轻图像重影和运动模糊的可能性。
在图表1000-1中,帧速率由横坐标表示,左侧纵坐标表示频闪和周围填充的照明水平,并且右侧纵坐标表示频闪的持续时间(在本示例中是固定的)。线1002表示基于帧速率在0与最大照明水平STRB_MAX1之间变化的频闪照明水平。线1004表示基于帧速率在0与最大照明填充水平FILL_MAX之间变化的照明填充水平,其中周围填充水平表示在任何存在的照明频闪之前和之后的照明填充,或表示在无照明频闪情况下的恒定照明水平。线1006表示照明频闪的持续时间或宽度,在本示例中,一旦照明频闪被激活(以帧速率F_LOW),所述持续时间或宽度在本示例中固定为WIDTH_C(例如,4ms)。左侧纵坐标表示周围填充水平的照明水平标度,而右侧纵坐标表示照明频闪(如果存在)的照明水平标度。
如线1002和1004所示,在0和F_LOW(例如,80FPS)的帧速率之间,照明配置完全依赖于周围填充来提供照明,所述照明具有FILL_MAX的恒定填充照明水平。在帧速率F_LOW下,照明频闪被激活,其中所述频闪具有WIDTH_C的固定持续时间(如线1006所示)。因此,在帧速率F_LOW和F_HIGH(例如,120FPS)之间,频闪照明水平增加(在本示例中基本上线性地增加),而照明填充的照明水平从FILL_MAX水平降低(在本示例中非线性地降低)为零。此后,对于在F_HIGH和F_MAX之间的帧速率,照明仅由照明频闪提供,其中频闪照明水平减少(在本示例中非线性地减少)以补偿增加的频闪速率(由于增加的帧速率)引起以保持基本上恒定的照明水平。对于每个级,填充水平、频闪水平和频闪持续时间之间的关系被配置为保持基本上恒定的照明水平,而不管帧速率如何。因此,如帧速率F_LOW和F_HIGH之间的级所示,随着频闪照明水平的增加,填充照明水平减少,使得整体照明输出恒定。同样,在帧速率F_HIGH和F_MAX之间,虽然照明频闪是唯一的照明源,但鉴于每秒频闪次数的增加,频闪的照明水平随着帧速率的增加而减少,以保持每单位时间的恒定照明。
转到图表1000-2,在该图表中,帧速率由横坐标表示,左侧纵坐标表示频闪和周围填充的照明水平,并且右侧纵坐标表示频闪的持续时间(在本示例中是可变的)。线1012表示基于帧速率在0与最大照明水平STRB_MAX2之间变化的频闪照明水平。线1014表示基于帧速率在0与最大照明填充水平FILL_MAX之间变化的照明填充水平,其中周围填充水平表示在任何存在的照明频闪之前和之后的照明填充,或表示在无照明频闪情况下的恒定照明水平。线1016表示照明频闪的持续时间或宽度,在本示例中,一旦照明频闪被激活(以帧速率F_LOW),所述持续时间或宽度基于帧速率而变化直到最大持续时间WIDTH_MAX。左侧纵坐标表示周围填充水平的照明水平标度,而右侧纵坐标表示照明频闪(如果存在)的照明水平标度。
如线1012和1014所示,在0和F_LOW的帧速率之间,照明配置完全依赖于周围填充来提供照明,所述照明具有FILL_MAX的恒定填充照明水平。在帧速率F_LOW下,照明频闪被激活,其中所述频闪具有基于帧速率的可变持续时间(如线1014所示)。因此,在帧速率F_LOW和F_HIGH之间,频闪照明水平和频闪持续时间两者都增加(在本示例中基本上线性地增加),而照明填充的照明水平从FILL_MAX水平降低(在本示例中非线性地降低)为零。此后,对于在F_HIGH和F_MAX之间的帧速率,照明仅由照明频闪提供,其中频闪持续时间在WIDTH_MAX恒定并且频闪照明水平减少(在本示例中非线性地减少)以补偿增加的频闪速率(由于增加的帧速率)引起以保持基本上恒定的照明水平。与图表1000-1表示的关系一样,图表1000-2中表示的填充水平、频闪水平和频闪持续时间之间的关系被配置为保持基本上恒定的照明水平,而不管帧速率如何。因此,如帧速率F_LOW和F_HIGH之间的级所示,随着频闪输出的增加,填充照明输出减少,从而使整体照明输出恒定。同样,在帧速率F_HIGH和F_MAX之间,虽然照明频闪是唯一的照明源,但鉴于每秒频闪次数的增加,频闪的照明水平随着帧速率的增加而减少(在恒定的频闪持续时间内),以保持每单位时间的恒定照明。
图11示出了在不同帧速率下由图10的图表1000-1表示的关系产生的各种示例性照明配置。时序图1100示出了用作所示照明配置的相应时序的参考的两个帧周期1102-1和1102-2的序列。需注意,帧周期1102-1和1102-2的持续时间与在对应照明配置中参考的帧速率成反比。
照明配置1104表示在低于阈值帧速率F_LOW的帧速率F1下根据图表1000-1确定的照明配置,所述阈值帧速率定义了实现照明频闪的最低帧速率(例如,大约50FPS)。因此,如在帧速率F1下根据线1002和1004的值所确定的,对于照明配置1104,周围填充水平被设置为最大填充水平FILL_MAX并且频闪照明水平被设置为STROBE_MIN(例如,0),导致照明配置1104在帧周期1102-1和1102-2的每一个上具有恒定照明水平1106。因此,使用该照明配置以帧速率F1显示帧序列时,由于不存在频闪而表现出降低或消除的闪烁。
照明配置1108表示以高于阈值帧速率F_LOW但低于阈值帧速率F_HIGH的帧速率F2根据图表1000-1确定的照明配置,在所述阈值帧速率下,照明频闪用作帧周期期间的主要照明源。在图表1000-1的示例中,频闪照明水平随着帧速率从F_LOW增加到F_HIGH而增加,如线1002的对应渐增段所示(再次回顾,在本示例中,频闪持续时间是恒定的,而不管从帧速率F_LOW开始的帧速率如何),而周围填充照明水平随着帧速率从F_LOW增加到F_HIGH而减少,如线1004的对应递减段所示。因此,随着帧速率在该范围内的增加,频闪照明水平增加而周围填充照明水平相应地减少。因此,在帧速率F2下,所得照明配置1108包括具有照明水平Y2(<FILL_MAX)的周围填充1110和具有照明水平Y3的照明频闪1112。因此,在包括帧速率F2的中等帧速率下,照明配置采用频闪量值和填充量值的平衡混合,并且因此实现采用照明频闪降低了运动模糊的益处,同时还通过用填充照明包围频闪来降低由照明频闪引起的闪烁的影响,并且因此降低由照明频闪引起的照明水平变化的净差。此外,通过在帧周期1102-1和1102-2中使用中等水平的填充,可通过较低水平照明频闪来实现帧周期的给定平均照明,并且因此需要来自背光源或发射光像素的驱动器的较低瞬态电流或其他功率输出来实现频闪,并且能够延长诸如OLED的光源的寿命,所述光源在更强的驱动水平下会随着时间的推移而降低寿命。
照明配置1114表示以高于阈值帧速率F_HIGH的帧速率F3根据图表1000-1确定的照明配置,在所述阈值帧速率下,照明频闪在帧周期期间用作主要照明源。在图表1000-1的示例中,频闪照明水平在F_HIGH下达到其最大水平STROBE_MAX1,然后针对高于F_HIGH的所有帧速率降低,如线1002的对应向下倾斜段所示,以便保持基本上恒定的每单位照明时间,而周围填充照明水平以帧速率F_HIGH达到其最低照明水平FILL_MIN。因此,随着帧速率在该范围内的增加,频闪照明水平随着帧速率而逐渐减少,以便鉴于增加的帧速率(以及因此增加的频闪速率)保持恒定的照明水平。因此,在帧速率F3下,所得照明配置1114包括具有照明水平FILL_MIN(<Y2)的周围填充1116和具有照明水平Y4(>Y3)的照明频闪1118。因此,在包括帧速率F3的更高帧速率(例如,100FPS或更高)下,照明配置加重照明频闪的使用来降低或消除运动模糊,并且去加重周围填充,因为在此类帧速率下,典型用户不可能检测到由周围填充与频闪之间的照明水平的变化量值引起的任何闪烁。此外,与照明配置1108一样,通过在帧周期1102-1和1102-2中使用非零填充水平,照明配置1114可针对具有较低水平照明频闪的帧周期提供给定平均照明,这需要来自背光源或发光像素的驱动器的较低瞬态电流或电压来实现频闪。然而,在最大频闪水平的驱动电流不太可能显著降低驱动器或光源的使用寿命的实现方式中,最高帧速率下的照明配置可例如仅使用照明频闪(也就是说,将所有周围填充水平设置为零)。
如图表1000-1和照明配置1104、1108和1114所示,在帧速率和照明水平之间的所示表示中,对应照明配置从较低帧速率下的恒定照明水平配置切换到中间帧速率下的照明频闪与照明填充的混合平衡(其中随着帧速率的增加,平衡朝向照明频闪倾斜),切换到最高帧速率下以照明频闪为主导的配置。以这种方式,可定制照明配置以处理更可能以给定帧速率出现的视觉伪影。
图12和图13示出了帧速率(作为输入参数902,图9)与用于照明配置的照明水平之间的另一更详细的示例性关系。图12的图表1200表示帧速率(横坐标)、频闪照明水平(线1202)、前填充照明水平(线1204)和后填充照明水平(线1206)之间的关系。左侧纵坐标表示前填充照明水平和后填充照明水平的照明水平标度,而右侧纵坐标表示照明频闪(如果存在)的照明水平标度。在本示例中,为了便于说明,频闪持续时间是固定的,并且因此频闪输出基于频闪照明水平的变化而变化。
图表1200表示照明频闪的使用和水平与基于帧速率的前照明填充和后照明填充的对应水平之间的指定关系的示例性实现方式,以便在闪烁减轻和运动模糊减轻之间实现比通常仅使用恒定水平照明或仅频闪照明可能实现的更合适的平衡。这种指定关系可概括为随着帧速率的增加而增加照明频闪的量值和减少照明填充的量值,反之亦然。对于这种方法,在较低帧速率下降低或消除频闪加重可减轻可感知闪烁的可能性,而在较高帧速率下增加频闪加重和减少填充加重可减轻图像重影和运动模糊的可能性。此外,关于前照明填充和后照明填充,所表示的关系可进一步概括为随着帧速率的增加,前照明填充水平相对于后照明填充水平降低。
图13示出了在不同帧速率下由图12的图表1200表示的关系产生的各种示例性照明配置。时序图1300示出了用作所示照明配置的相应时序的参考的两个帧周期1302-1和1302-2的序列。需注意,帧周期1302-1和1302-2的持续时间与在对应照明配置中参考的帧速率成反比。
照明配置1304表示以低于阈值帧速率F_LOW的帧速率F1根据图表1300确定的照明配置,所述阈值帧速率定义了实现照明频闪的最低帧速率(例如,大约50FPS)。因此,如在帧速率F1下根据线1202、1204和1206的值所确定的,对于照明配置1304,前填充水平和后填充水平两者都被设置为最大填充水平FILL_MAX并且频闪照明水平被设置为STROBE_MIN(例如,0),导致照明配置1304在帧周期1302-1和1302-2中的每一个上具有恒定照明水平1306。因此,使用该照明配置以帧速率F1显示帧序列时,由于不存在频闪而表现出降低或消除的闪烁,并且通常不会遭受明显的运动模糊,因为在此类帧速率下,典型用户一般不容易检测到运动模糊,这是因为在较低帧速率下,运动抖动通常是一个比较突出的问题。
照明配置1308表示以高于阈值帧速率F_LOW但低于阈值帧速率F_HIGH的帧速率F2根据图表1200确定的照明配置,在所述阈值帧速率下,照明频闪在帧周期期间用作主要照明源。在图表1200的示例中,频闪照明水平随着帧速率从F_LOW增加到F_HIGH而增加,如线1202的对应渐增段所示,而前填充照明水平和后填充照明水平随着帧速率从F_LOW增加到F_HIGH而减少,如线1204和1206的对应递减段所示。因此,随着帧速率在该范围内的增加,频闪照明水平增加而周围填充照明水平成比例地减少。然而,还如图表1200所示,随着帧速率在两个阈值F_LOW和F_HIGH之间的增加,前填充水平以比后填充水平更大的速率减少,并且因此导致前照明填充随着帧速率的增加而以比后填充水平更大的速率被去加重。因此,在帧速率F2下,所得照明配置1308包括具有照明水平Y1(<FILL_MAX)的前照明填充1310、具有照明水平Y2(>Y1)的后照明填充1312和位于它们之间并且具有照明水平Y3(>Y2)的照明频闪1314。因此,在包括帧速率F2的中等帧速率下,所得照明配置采用频闪量值和填充量值的平衡混合,并且因此实现采用照明频闪降低了运动模糊的益处,同时还通过用填充照明包围频闪来降低由照明频闪引起的闪烁的影响,因而降低由照明频闪引起的照明水平变化的净差。
如下文更详细描述的,从帧到显示装置的逐行扫描输出以及用以将每个像素配置为反映正在扫描输入像素数据的设置时间(特别是对于基于LC的像素)通常会导致显示矩阵318的下部像素行尚未被完全配置为反映正在用于显示正被扫描输入的帧的帧周期的早期部分中输入当前帧(而是表示来自前一帧的对应像素被扫描输入或过渡状态)。因此,在帧周期的该早期部分的照明可能会导致显示由当前帧的上部像素行和前一帧的下部像素行构成的混合图像,这种现象称为屏幕撕裂。屏幕撕裂的可能性随着帧速率的增加而增加,因为帧周期相对于帧的扫描输入和设置时间而缩短。因此,通过实现帧速率-填充照明输出关系,所述关系使后照明填充和前照明填充之间的差随着帧速率在帧速率阈值F_LOW和F_HIGH之间的增加而增加,在帧周期的早期部分期间随着帧速率的增加生成较少的照明,并且因此降低了在帧周期的早期部分期间混合帧的任何无意照明的影响,同时在帧周期的后期部分期间随着帧速率的增加生成更多的照明,并且因此在当前帧的所有像素行都被扫描输入并且有时间稳定之后,增加了表示显示矩阵318的显示光的比例。因此,随着帧速率的增加以及随之而来的屏幕撕裂和重影的风险,在帧周期的早期部分中生成的显示光的影响减少,而在帧周期的后期部分中生成的显示光的影响增加,从而随着屏幕撕裂/重影风险的增加而缩放屏幕撕裂/重影减轻。通过延长照明填充1310并延迟照明频闪1314和照明填充1312,直到完成对由帧周期1302-1表示的帧中的新像素的扫描输出,还可进一步减少屏幕撕裂的可见性,尽管此类延迟会增加延迟,以降低屏幕撕裂。
照明配置1316表示以高于阈值帧速率F_HIGH的帧速率F3根据图表1200确定的照明配置,在所述阈值帧速率下,照明频闪在帧周期期间用作主要照明源。在图表1200的示例中,频闪照明水平在F_HIGH达到其最大水平STROBE_MAX,然后对于高于F_HIGH的所有帧速率下降,如线1202的相应下降段所示,而前填充水平对于高于F_HIGH的所有帧速率下降(以更大的速率),在帧速率F_MAX达到F_FILL_MIN,如线1204的对应下降段所示。类似地,后填充水平继续以更大速率下降,直到它以帧速率F_MAX达到最低水平B_FILL_MIN。因此,随着帧速率在该范围内的增加,频闪照明水平、前填充水平或后填充水平中的至少一个下降以保持恒定照明。因此,在帧速率F3下,所得照明配置1316包括具有照明水平Y4(<Y1)的前照明填充1318、具有照明水平Y5(<Y2)的后照明填充1320和具有照明水平Y6(<=STROBE_MAX)的照明频闪1322。因此,在包括帧速率F3的更高帧速率(例如,120FPS或更高)下,照明配置加重照明频闪的使用来降低或消除运动模糊,并且去加重周围填充,因为在此类帧速率下,典型用户不可能检测到由周围填充与频闪之间的照明水平的变化量值引起的任何闪烁。此外,与照明配置1308一样,通过在帧周期1302-1和1302-2中使用非零填充水平,照明配置1114可针对具有较低水平照明频闪的帧周期提供给定平均照明,这需要来自背光源或发射像素的驱动器的较低瞬态电流来实现频闪。此外,如上所述,在这些最高帧速率下有利于后照明填充的前照明填充的去加重降低了在此类高帧速率下可能发生的任何屏幕撕裂的影响。
应注意的是,尽管图表1000和1200示出了其中为了便于描述,在照明配置的帧速率与对应频闪和填充照明水平之间存在分段基本线性关系的示例,但在其他实施方案中,这些关系是非线性的、分段的或其他。此外,帧速率与对应照明水平之间的关系可具有多于两个拐点,而不是在它们之间仅具有两个帧速率阈值和恒定斜率。
图14和图15一起示出了根据一些实施方案的频闪位置控制技术204(图2)所采用的一般过程。在至少一个实施方案中,该过程可被实现为方法800的扩展,其中与框808的频闪输出确定过程并行地确定频闪位置,并且在下文中在此上下文中进行描述。此外,该过程在其中源侧照明控制模块714(图7)负责确定要实施的照明配置设置的实施上下文中被描述。然而,下面描述的过程可适于由显示器侧照明控制模块718使用本文提供的指南来实现。
转到图14,时序图1400示出了用作所示频闪定位过程的相应时序的参考的两个帧周期1402-1和1402-2的序列。如上所述,在帧周期1402的开始(例如,由VYSNC或VBI的断言来发信号通知),在帧周期期间要显示的帧的像素数据在逐行基础上从帧缓冲器中扫描输出并且被传输到显示装置(如扫描输出线1406所表示),因此显示装置304基于当前正被扫描输入的帧的行的像素数据来配置显示矩阵318的对应行。每一行的像素数据的扫描不是瞬时的,而是需要一些时间来使表示像素的电路元件从表示来自前一帧的对应像素的第一状态过渡到表示来自当前帧的对应像素的第二状态。由于像素的LC改变状态需要时间,因此对于LCD显示器而言,这种过渡时间特别长。
在时序图1400中,时间T1表示帧周期1402-1中的时间点,在所述时间点,当前帧的所有像素行都已被扫描输入并且最后一行像素已稳定到它们的新状态。从帧周期开始到时间T1的持续时间相对独立于帧速率,也就是说,通常在使用可变帧速率技术(诸如可从高级微装置公司获得的Radeon(TM)FreeSync(TM)技术)时,在帧中完全扫描到显示矩阵318所需的时间大致相同,而不管帧传输的速率如何(否则通常会延长扫描输出时间以通过使用较低的像素传输速率来填充帧时间)。因此,随着帧速率的增加(并且帧周期持续时间的减少),在帧中进行扫描并允许充分稳定所需的时间占据帧周期持续时间的越来越大的比例。
考虑到扫描输入和稳定过程,照明配置中照明频闪在帧周期内的位置对显示质量有影响。在帧周期中较早地启动照明频闪可降低延迟,但如果在当前帧的扫描输入和稳定完成之前激活照明频闪,则有引入屏幕撕裂的风险。为了说明,照明配置1408实现照明频闪1410,所述照明频闪被定位成在时间T0(<T1)开始,并且因此在当前帧的大约下部40%的行尚未扫描输入并稳定时开始。因此,照明频闪1410将导致混合帧的照明,所述混合帧具有当前帧的上部行的大约60%和前一帧的下部行的大约40%(或前一帧的下部行与当前帧的下部行之间的一些过渡状态)。为了避免此类伪影,如照明配置1412所示,照明频闪1414被定位为更接近帧周期的结尾,诸如在时间T2(>T1)。这允许在启动照明频闪之前扫描并稳定全帧,但会引入延迟。此外,如果显示装置304实现可变帧速率并且如果下一帧周期开始较早,则照明频闪在当前帧周期期间实际上无法激活,而是移得太远,进入下一帧周期的早期部分,从而导致无法显示当前帧并且下一帧可能出现画面撕裂。
为了在过早照明频闪的屏幕撕裂风险与过晚照明频闪的延迟和潜在跳帧显示之间实现合适的平衡,如照明配置1416所示,频闪位置控制技术204寻求确定将在照明配置1416中实现的照明频闪1418的适当位置T(X),所述适当位置减少或消除了与当前帧的扫扫描输出和稳定周期的重叠,同时还降低或消除了由过度延迟的频闪引入的等待时间或由于在下一帧周期开始之前未定位为激活的频闪而导致的跳帧。
频闪位置控制技术204单独或与基于帧速率的照明控制技术202结合实现以设置照明配置。例如,在一些实现方式中,取决于帧速率,显示系统300使用恒定填充配置或仅频闪配置。当处于仅频闪配置时,可实现频闪位置控制技术204以在帧周期内适当地定位频闪。在其他实现方式中,显示系统基于帧速率使用变化的填充水平和变化的频闪输出,在这种情况下,频闪位置控制技术204可用于将频闪连同前照明填充和后照明填充中的一者或两者一起定位在帧周期中。然而,应了解,照明频闪的位置定义了前照明填充和后照明填充的持续时间,并且因此通常将考虑到帧周期的平均亮度不随频闪位置而改变的频闪位置,基于每次填充的持续时间调整针对前照明填充和后照明填充设置的照明水平。
图15示出了根据一些实施方案的实现频闪位置控制技术204以便确定合适的频闪位置的频闪定位模块1500。频闪定位模块1500接收一个或多个输入参数1502,并且根据这些参数生成将被实现用于在显示装置304处照明所讨论的帧的照明配置中的照明频闪的位置的表示1504。为了描述的目的,将照明频闪的位置描述为帧周期内照明频闪开始或被激活的位置。然而,在其他实现方式中,所述位置是指照明频闪的中间位置或照明频闪的结束位置。频闪位置的表示1504可表示为表示绝对时序参考的值,诸如从帧周期开始的特定毫秒数或时钟周期数,或者表示绝对时序参考的值,诸如整个帧周期的特定百分比(例如,<0.25>的值,表示照明频闪应在帧周期的25%处发起)。在至少一个实施方案中,频闪位置的表示1504与传输到显示装置304(或在显示装置304本身处确定)的照明配置的表示的其他参数值一起被包括在内。例如,照明配置的表示可以元组的形式提供为元数据或边带数据,格式为:<[频闪位置]、[频闪持续时间]、[频闪水平]、[前填充水平]、[后填充水平]>。
在一个实施方案中,频闪定位模块1500利用显示系统300的一个或多个当前操作参数(信号1506)作为输入参数1502,用于确定对应照明配置中的适当频闪位置。具体地,此类操作参数代表渲染装置302的当前负载,并且因此可用于预测下一帧周期早开始、晚开始还是准时开始。例如,当前操作参数可包括功率状态的表示、正在渲染的当前帧或将渲染的下一帧的复杂性的表示、或GPU 308的当前负载的其他指示符,并且因此指示下一帧的渲染和传输的时序的概率。
如上所述,帧周期与帧速率成反比,且因为无论帧速率如何,帧的扫描输入和稳定时间都是相对恒定的,并且因此照明配置内的频闪位置的合适时序随着帧速率的增加而变得更有害,因为扫描输入和稳定周期的结束与帧周期的结束之间的时序窗口变窄,以及由于下一帧周期将被延迟的可能性随着帧速率的增加而增加。因此,在一些实施方案中,当前帧速率(信号1508)被用作由频闪定位模块1500在确定合适的频闪位置时考虑的输入参数1502中的一个。
相对于对延迟、跳帧和抖动的敏感性,对屏幕撕裂的敏感性通常因用户而异。例如,游戏玩家通常寻求最小化延迟并接受更频繁的屏幕撕裂的代价,而视频的临时观众通常更喜欢以增加延迟为代价尽可能避免屏幕撕裂。因此,用户输入1510(信号912的一个实施方案,图9)也被频闪定位模块1500用作输入参数1502。为了说明,一个用户提供指示考虑到降低延迟,较早激活照明频闪比较晚激活照明频闪更优选的用户输入,而另一用户提供指示较晚激活照明频闪更更优选以便减轻屏幕撕裂的用户输入。此外,不同的显示器具有从前一像素到当前像素值的不同的过渡时间,范围从小于1ms以下到多个ms,尤其是对于LC显示器,这会影响特定频闪位置撕裂的可见性。用户输入或从显示器或显示器数据库所检索的参数便于改变频闪位置以更好地适应监测器特性。
在渲染装置302处(或在显示装置304处)使用多种结构或机制中的任一种来表示输入参数1502的值与所得频闪位置(如表示1504所指示)之间的关系。在一些实施方案中,使用一个或多个LUT 1510或其他表来表示所述关系,其中LUT 1510的每个条目基于输入参数和包含表示1504的对应条目或表示1504所基于的值中一个或组合来索引。在其他实施方案中,由一个或多个函数1512或其他功能算法提供输入参数1502与照明配置的频闪位置之间的关系,所述其他功能算法以软件代码实现并且作为例如在渲染装置302处执行的图形驱动器710的一部分来执行,或在显示装置304的显示控制器316处执行。
在其他实施方案中,输入参数1502与照明配置的频闪位置之间的关系使用学习模型1514来提供,所述学习模型使用神经网络或其他ML算法来开发,所述ML算法结合有一些或所有输入参数的历史1502来训练和细化学习模型1514。为了说明,在可变帧速率实现方式中,ML算法监测先前帧周期的历史1516(包括它们的开始以及它们是早开始、晚开始还是准时开始),并将该信息与各种操作参数(包括GPU负载、功率状态、正在执行的视频内容应用程序704的识别、在各种访客之间共享资源等)相关联,并且根据该训练输入开发学习模型1514,所述学习模型基于所接收的当前操作参数来估计下一帧周期的开始时间。在预测了下一帧开始时间并且了解了帧速率和其他考虑因素的情况下,然后学习模型926可提供避免在下一帧开始时间之后激活同时还设法避免在扫描输入和稳定周期期间激活的频闪位置。
用于定义一个或多个操作参数1502与照明配置的对应频闪位置之间的关系的LUT1510、函数1512或学习模型1514可以多种方式中的任一种进行配置。例如,OEM或其他供应商可运行广泛的建模、模拟或其他测试来确定输入参数1502的值的一些或所有可能组合中的每一个的合适频闪位置,并填充一个或多个LUT 1510或相应地配置一个或多个函数1512。此外,在一些实施方案中,用户输入可用于最初填充一个或多个LUT 1510或配置一个或多个函数1512,或调整由一个或多个LUT 1510或一个或多个函数1512表示的先前确定的设置。更进一步,如上所述,在一些情况下,所述关系是例如由学习模型1514表示的动态关系,所述学习模型基于各种训练输入(包括输入参数1502本身)不断更新。
如上所述,用户可提供用户输入,所述用户输入操作来定义一个或多个输入参数的各种值与照明配置的一个或多个参数的对应值之间的关系的某些方面,所述一个或多个参数包括频闪定位、频闪照明水平、频闪持续时间,以及前填充水平和后填充水平中的一者或两者。在一个实施方案中,该输入可经由呈现给用户的一个或多个GUI来接收,诸如由图形驱动器710在渲染装置处实现的GUI 720(例如,作为对应GPU 308的配置GUI)或在显示装置304处实现的GUI 724(例如,作为屏幕上显示(OSD))。替代地,在一个实施方案中,GUI724存在于本地连接装置(诸如电话)上,或存在于完全远程位置(诸如用于从远处控制公共广告牌或电影院)上。图16示出了根据一些实施方案实现为GUI 720或GUI 724的示例性GUI1600。GUI 1600通常包括用以图形地表示输入参数与照明配置的对应参数之间的关系的一个或多个面板以及用以实现输入机制以接收用户输入来以对应方式设置或调整所示关系的一个或多个面板。作为示例,GUI 1600可包括显示图表1604的关系面板1602,所述图表示出了帧速率、频闪照明水平以及前填充水平和后填充水平之间的当前关系。关系面板1602可进一步显示时序图1606,所述时序图示出了相对于帧周期的时序(包括帧扫描输入和设置阶段的时序)而对于频闪定位和频闪持续时间的当前设置。相应地,在本示例中,GUI1600包括用以接收用户输入的输入面板1608,所述用户输入设置或修改在图表1604或时序图1606中表示的关系参数中的一个或多个。一个示例包括:输入字段1610和1612,用以接收针对所得照明配置的前填充水平,分别设置或修改最小照明水平(F_FILL_MIN)和最大照明水平(F_FILL_MAX)的用户输入;以及输入字段1614和1616,用以接收针对所得照明水平配置的后填充水平,分别设置或修改最小照明水平(B_FILL_MIN)和最大照明水平(B_FILL_MAX)的用户输入。
类似地,输入面板1608可包括用以配置照明频闪的一个或多个参数的输入字段。为了说明,在所描绘的示例中,频闪照明水平和帧速率之间的关系被表示为分段线性关系(线1618),其中在帧速率S0下具有拐点(其控制何时开始使用照明频闪)、在帧速率S1下具有拐点以及在帧速率S2下具有拐点(其控制照明频闪何时达到其最大照明水平)。因此,输入面板1608可包括:输入字段1620和1622,用以接收分别设置或修改照明频闪的最小照明水平(STROBE_MIN)和最大照明水平(STROBE_MAX)的用户输入;以及输入字段1624、1626、1268、1630、1632和1634,用以接收设置或修改针对拐点S0、S1、S2的特定帧速率值以及将在拐点中的每一个处使用的频闪照明水平的用户输入。输入面板1608可进一步促进通过输入字段1636或1638对频闪定位或通过输入字段1640或1642对频闪持续时间的配置。
输入面板1608的输入字段可被实现为填充字段、下拉字段等。在某些情况下,将绝对值输入到输入字段。例如,字段1610、1612、1614、1616各自接收落入指定范围内的值,其中输入的值直接表示对应的照明水平。作为另一示例,分别控制频闪定位和频闪持续时间的字段1636和1640接收表示以毫秒为单位的值的值。在其他情况下,将相对值输入到输入字段。例如,输入字段1636、1638可接收表示帧周期的持续时间的百分比的值,并且因此与所讨论的特定帧周期相关。更进一步,输入面板1608可为用户提供指定对由显示系统300动态确定的值的调整的能力,而不是设置特定的固定值。为了说明,在一些实现方式中,GPU负载、帧速率和照明频闪的开始位置之间的关系是动态的,并且由学习模型频繁地更新。一位用户发现,学习模型导致一种关系,所述关系使得照明频闪在帧周期中稍早发生,并且因此比用户希望的更频繁地触发屏幕撕裂实例。因此,用户在输入字段1644中提供调整值,所述调整值向由频闪定位模块1500(图15)以其他方式确定的任何频闪位置值添加静态调整。例如,值-0.4的输入使得频闪定位模块1500将频闪位置从频闪位置向后移动0.4毫秒,这原本在无用户输入的情况下会实现以适应用户。
此外,在一些实施方案中,作为使用输入字段来获得用户输入的替代或补来充,一个或多个所示关系是用户可经由鼠标光标、触摸屏或其他输入机制操纵的,以便允许用户以图形方式操纵所描绘的图形或图表,从而实现期望的关系。例如,拐点S1可以是用户可经由鼠标光标或触摸屏沿着图表1604的横坐标和纵坐标移动以便改变与拐点相关联的帧速率值和频闪照明水平中的一者或两者的图形特征。
除了从显示系统300的用户获得用户输入以定义或修改各种输入参数与将针对一个或多个帧实现的照明配置的参数之间的关系之外,在一些实施方案中,由其他显示器的其他用户定义的关系系统用于设置或修改由显示系统300实现的关系。图17示出了用于针对照明配置提供此类分布式关系设置的示例性分布式系统1700。分布式系统1700包括远程服务器1702,显示系统300经由网络1703(例如,无线局域网(WLAN)、互联网等)连接到该远程服务器,一个或多个远程显示系统(诸如远程显示系统1704-1、1704-2、1704-3)也是如此。远程显示系统1704中的每一个操作以生成和显示帧序列,并且利用本文描述的技术来设置用于显示这些序列的帧的照明配置。
在操作过程中,每个远程显示系统1704向远程服务器1702发送照明配置更新1706。照明配置更新1706包括如由发送远程显示系统1704在其操作过程中所确定的一个或多个输入参数与一个或多个输入配置参数之间的关系的表示。这采取例如一个或多个LUT或其他表、一个或多个软件函数的描述、学习模型的副本等的形式。照明配置更新1706还包括在生成关系时与远程显示系统1704本身的状态有关的信息。该状态信息包括例如远程显示系统1704的部件的序列号或型号、用作与照明配置更新1706相关联的帧的源的视频内容应用程序的标识符、远程显示系统1704的一个或多个硬件规格或操作状态(例如,GPU负载)的表示等。
远程服务器1702从远程显示系统1704中的每一个接收周期性照明配置更新1706并将它们集成到一个或多个远程训练的照明配置关系中,这表示各种输入参数与输出配置的参数之间的一致性或合并,应基于多个系统的经验得出结果。然后,这些远程训练的照明配置在远程服务器1702处使用多种标记中的任一种进行分类或索引,所述标记包括硬件设置标记、模型标记、与关系相关联的特定视频内容应用程序的标识符等。
当准备执行视频内容应用程序704时,显示系统300通过向远程服务器1702发送照明配置请求1708来查询远程服务器1702。照明配置请求1708包括显示系统300的各种相关参数的标识符,诸如序列号、型号、硬件规格、视频内容应用程序704的标识符、当前GPU加载、用户偏好等。作为响应,远程服务器1702识别与照明配置请求1708中提供的相关参数最匹配的合适的远程训练的照明配置关系1710,并将所识别的远程训练的照明配置关系1710传输到显示系统300以供实施。与照明配置更新1706一样,远程训练的照明配置关系1710由例如一个或多个LUT、一个或多个软件函数、一个或多个学习模型等表示。
作为示例,显示系统300可包括游戏控制台,所述游戏控制台被设置为执行特定视频游戏(视频内容应用程序704的一个实施方案)。因此,显示系统300发送照明配置请求1708,所述照明配置请求识别游戏控制台的型号和将要玩的特定视频游戏。然后,远程服务器1702识别作为来自执行相同或类似视频游戏应用程序的相同或类似游戏控制台的远程显示系统1704中的一个或多个的反馈的结果而创建的远程训练的照明配置关系1710,并且因此允许显示系统300快速地将用于显示由视频游戏应用程序生成的帧的照明配置调整为其他玩家在其他类似显示系统上发现有用的设置,而无需训练或进一步的用户输入。
现在转到图18至图26,更详细地描述了用于显示逐区域照明配置控制的区域性照明控制技术206的示例性实现方式。如上所述,这些技术采用能够在每区域基础上进行单独照明控制的显示装置,其中每个照明区域是例如显示装置的像素阵列的列的子集、像素阵列的行的子集、或表示一个或多个列的子集与一个或多个行的子集的相交处的像素的像素块。这些区域性照明控制技术206单独使用,或彼此结合使用,以及与上述一种或多种基于帧速率的照明控制技术202或频闪位置控制技术204结合使用。
图18和图19一起示出了用于基于对应于照明区域的帧的区域的亮度的评价来控制给定照明区域的照明配置的基于亮度的区域性照明控制技术212的实现方式。图18的方法1800示出了根据一些实施方案的该技术的一般流程,并且参考图19中表示的示例性实现方式来描述,其中源侧照明控制模块714(图7)负责确定将由显示装置304实现的照明配置设置。然而,下面描述的过程可适于由显示器侧照明控制模块718使用本文提供的指南来实现。
在框1802处,GPU 308在视频内容应用程序704的方向上渲染或以其他方式生成帧序列中的帧1902,并且在渲染装置302处的帧缓冲器1904中缓冲生成的帧。在框1804处,显示驱动器712然后在逐行基础上将代表生成的帧1902的缓冲的像素数据和元数据经由互连305传输到显示装置304。
与框1802和1804的帧生成和传输过程同时,图形驱动器710的照明控制模块714发起确定显示矩阵318的每个照明区域的照明配置的过程。在图19的示例中,显示矩阵318被配置为基于网格的区域性划分,其具有九个照明区域1906-1至1906-9。然而,虽然示出了九区域示例,但应了解,显示矩阵318可被划分为更多或更少的区域。在某些情况下,每个像素都表示为它自己的单独区域,其中针对模糊和闪烁分析每个单独的颜色元素或子像素,并单独照明每个单独的颜色元素或子像素。因此,在框1806处,照明控制模块714选择照明区域并且确定对应于所选择的照明区域的帧的区域(帧的该区域在本文称为“帧区域”)的亮度表示。为了说明,在一些实施方案中,图形驱动器710要求GPU 308生成帧区域的直方图1812,其中直方图1812指示帧区域内具有对应像素值或落入对应像素数值范围或“桶”内的像素数量。然后,照明控制模块714基于直方图1812确定帧区域的亮度表示。例如,亮度表示指示像素值大于阈值像素值的像素的数量或比例、直方图1812中的像素的平均像素值等。在其他实施方案中,图形驱动器710要求GPU 308针对帧区域生成平均亮度值1814(例如,类似于平均图片水平(APL),但针对该特定帧区域而不是整个帧),并且因此,帧区域的亮度表示包括或基于该平均亮度值。需注意,在一些实施方案中,亮度表示是基于白色亮度水平来确定的,而在其他实施方案中,单独的亮度表示是针对单独子颜色和亮度中的每一个来确定的。为了便于说明,在下面的描述和示例中使用了基于白色亮度水平的亮度表示的计算。
在框1808处,照明控制模块714或者确定照明区域的照明配置或者基于区域的亮度表示修改先前针对照明区域所识别的照明配置。为了说明,在一些实施方案中,照明控制模块714使用上述技术中的一种或组合来确定帧的默认照明配置,然后照明控制模块714基于对应帧区域的亮度表示来修改每个照明区域的默认照明配置以生成特定的区域特定照明配置。例如,如下所述,亮度表示可用于使频闪输出相对其默认水平增加并使填充输出相对其默认水平减少,或者相反地,使频闪输出相对其默认水平减少并使填充输出相对其默认水平增加。在其他实施方案中,亮度表示用于从针对该区域使用的一组预定义照明配置中选择特定照明配置。
在一个实施方案中,使用一个或多个LUT 1816、一个或多个软件函数1818、或由在各种设置的先前使用和先前用户输入上训练的ML算法开发的学习模型1820来实现帧区域的亮度表示与照明区域的对应照明配置(或在每区域基础上修改为默认照明配置)之间的关系。例如,LUT 1816具有基于对应亮度表示或对应亮度表示范围来索引的多个条目,并且其中每个对应条目存储对应照明配置的表示,包括诸如特定前照明填充水平、后照明填充水平、频闪水平、频闪位置、频闪持续时间等参数的值。作为另一示例,指定默认全帧照明配置,并且LUT 1816的每个条目包括对默认照明配置的特定修改的指示,诸如指定频闪水平将从默认频闪水平减少的量和填充水平将从默认频闪水平增加的量。由于由照明频闪引起的闪烁通常在较亮像素水平上更明显而在较暗像素水平上不太明显,因此在至少一个实施方案中,亮度表示与对应区域特定照明配置之间的关系是导致在较亮帧区域中照明频闪去加重而填充水平加重,并且相反地导致在较暗帧区域中照明频闪加重而填充水平去加重的原因。为了说明,对于具有高于高阈值的亮度表示并且因此指示第一帧区域具有高平均亮度的第一帧区域,在本示例中,照明控制模块714针对与第一帧区域相关联的照明区域实现恒定水平填充照明配置,而对于具有低于低阈值的亮度表示并且因此指示第二帧区域具有低平均亮度的第二帧区域,在本示例中,照明控制模块714针对与第二帧区域相关联的照明区域实现仅频闪照明配置。然而,对于具有介于低阈值和高阈值之间的亮度表示的第三帧区域,照明控制模块714基于亮度表示在相反方向上线性或非线性地调整频闪输出和填充输出,使得在该范围内随着平均亮度的增加,频闪输出加重并且填充输出去加重。
照明控制模块714针对显示矩阵318的每个照明区域重复框1806和1808的过程,以便针对每个照明区域确定基于区域的照明配置(或基于区域的照明配置修改),并且针对每个照明区域将照明配置或照明配置修改的表示1908传输到在显示装置304的显示控制器316处实现的照明控制模块718。例如,表示1908可包括具有针对照明区域1906-1至1906-9中的每一个的条目的数据结构,其中每个条目存储将针对该照明区域实现的照明配置的各种参数的值。替代地,数据结构包括表示一般照明配置的条目,并且每个区域相关联条目包括指示如何修改一般照明配置以针对该照明区域创建区域特定照明配置的数据。
在框1822处,显示装置304在其对应的帧周期期间继续显示帧1902。作为该过程的一部分,照明控制模块718经由显示控制器316控制在帧1902的帧周期期间显示矩阵318的每个照明区域处的照明,以便实现如在每区域表示1908中指定的该照明区域的照明配置。在其他实施方案中,照明控制模块714传输一个或多个数据结构,其值表示每个帧区域的亮度表示,并且照明控制模块718基于针对该区域的所接收的亮度表示来确定或修改每个照明区域的照明配置。在其他实施方案中,显示装置304的照明控制模块718在显示装置304处确定每个帧区域的亮度表示(例如,通过生成直方图或其他每区域亮度表示),然后基于局部确定的每区域亮度表示来确定每区域照明配置,而不是从渲染装置302接收亮度表示。
图20至图22一起示出了用于基于对应帧区域中的运动的估计控制给定照明区域的照明配置的基于运动的区域性照明控制技术214的实现方式。图20的方法2000示出了根据一些实施方案的该技术的一般流程,并且参考图21中表示的示例性实现方式来描述,其中源侧照明控制模块714(图7)负责确定将由显示装置304实现的照明配置设置。然而,下面描述的过程可适于由显示器侧照明控制模块718使用本文提供的指南来实现。
在框2002处,GPU 308在视频内容应用程序704的方向上渲染或以其他方式生成帧序列中的帧2102,并且在渲染装置302处的帧缓冲器2104中缓冲生成的帧。在框2004处,显示驱动器712然后在逐行基础上将代表生成的帧2102的缓冲的像素数据和元数据经由互连305传输到显示装置304。
与框2002和2004的帧生成和传输过程同时,图形驱动器710的照明控制模块714发起基于每个对应帧区域的运动估计确定显示矩阵318的每个照明区域的照明配置的过程。在图21的示例中,显示矩阵318被配置为基于网格的区域性划分,其具有九个照明区域2106-1至2106-9。因此,在框2006处,照明控制模块714选择当前帧的区域并且确定对应于所选择区域的帧区域的运动估计区域表示。
如本领域所熟知,运动估计是确定先前帧变换为当前帧的过程。通常,运动估计反映当前帧与前一帧或其他先前参考帧的比较,并且确定表示对象或像素块从它们在参考帧中的位置移动到它们在当前帧中的位置的运动矢量。GPU 308可使用多种众所周知或专有技术中的任一种技术来确定表示当前帧的运动的运动矢量,所述技术包括全搜索技术和其他块匹配技术、相位相关技术、频率匹配技术、像素递归技术和光流技术。根据针对帧所确定的运动矢量,然后GPU 308或渲染装置302的其他部件基于在当前帧的主题区域中具有原点的运动矢量、在当前帧的主题区域中具有目的地的运动矢量或它们的组合确定对应于照明区域2106-1至2106-9的帧区域中的每个帧区域的运动估计表示。为了说明,在一个实施方案中,GPU 308计算帧区域中具有运动矢量(或高于特定量值阈值以过滤抖动的运动矢量)的宏块或编码树单元(CTU)的数量,然后基于该数量确定该帧区域的运动估计表示。作为另一示例,在另一实施方案中,GPU 308根据帧区域中的宏块或CTU的运动矢量生成平均运动矢量量值或其他统计评价,并基于该统计评价生成该帧区域的运动估计表示。
在框2008处,照明控制模块714或者确定照明区域的照明配置,或者基于对应帧区域的运动估计表示修改先前针对该区域所识别的照明配置。为了说明,在一些实施方案中,照明控制模块714使用上述技术中的一种或组合来确定帧的默认照明配置,然后照明控制模块714基于帧区域的运动估计表示修改每个照明区域的默认照明配置以生成特定的区域特定照明配置。在其他实施方案中,使用运动估计表示来从针对该区域使用的一组预定义照明配置中选择特定照明配置。
可使用一个或多个LUT 2016、一个或多个软件函数2018、或由在各种设置的先前使用和先前用户输入上训练的ML算法开发的学习模型2020来实现帧区域的运动估计表示与对应照明区域的对应照明配置(或在每区域基础上修改为默认照明配置)之间的关系。例如,LUT 2016具有基于对应的运动估计表示或对应运动估计表示范围来索引的多个条目,并且其中每个对应条目都存储对应照明配置的表示,包括诸如特定前照明填充水平、后照明填充水平、频闪水平、频闪位置、频闪持续时间等参数的值。作为另一示例,指定默认全帧照明配置,并且LUT 2016的每个条目包括对默认照明配置的特定修改的指示,诸如指定频闪水平将从默认频闪水平减少的量和填充水平将从默认频闪水平增加的量。
关于帧区域的运动估计与照配置控制的关系,应注意,具有相对低运动的帧区域不太可能出现运动模糊,因此针对对应照明区域实现明显的照明频闪对于运动模糊减轻可能是不必要的,但可能会根据帧速率引入闪烁而没有任何益处。相反,具有相对高运动的帧区域可能表现出运动模糊,并且对于此类区域,加重照明频闪。因此,在至少一个实施方案中,由照明控制模块714实现的用于设置或修改照明区域的照明配置的关系一般会随着运动估计的增加而增加频闪加重并减少填充加重,并且相反地,随着帧区域的运动估计的减少而减少频闪加重并增加填充加重。因此,对于其中在逐区域基础上修改全帧默认或一般照明配置的方案,照明控制模块714可使用运动估计表示来针对被识别为包含相对小的运动的帧区域使频闪输出相对其默认水平减少并使填充输出相对其默认水平增加,或者相反地,针对被识别为包含相对高的运动的区域使频闪输出相对其默认水平增加并使填充输出相对其默认水平减少。为了说明,对于具有低于低阈值的运动估计表示并且因此指示第一帧区域具有非常低或零运动估计的第一帧区域,在一个实施方案中,照明控制模块714针对对应于第一帧区域的照明区域实现恒定水平填充照明配置,而对于具有高于高阈值的运动估计表示并且因此指示第二帧区域具有非常高的运动估计的第二帧区域,在一个实施方案中,照明控制模块714针对对应于第二帧区域的照明区域实现仅频闪照明配置。然而,对于具有介于低阈值和高阈值之间的运动估计表示的第三帧区域,照明控制模块714基于运动估计表示在相反方向上线性地或非线性地调整频闪水平和持续时间以及填充水平中的一者或两者,使得在该范围内随着运动估计的增加而加重频闪输出并且去加重填充输出。
照明控制模块714针对对应于显示矩阵318的照明区域的帧的每个帧区域重复框2006和2008的过程,以便针对每个照明区域确定基于区域的照明配置(或基于区域的照明配置修改),并且针对每个照明区域将照明配置或照明配置修改的表示2108传输到在显示装置304的显示控制器316处实现的照明控制模块718。如上面类似地所述,表示2108可包括具有针对照明区域2106-1至2106-9中的每一个的条目的数据结构,其中每个条目存储将针对该照明区域实现的照明配置的各种参数的值。替代地,数据结构包括表示一般照明配置的条目,并且每个区域相关联条目包括指示如何修改一般照明配置以针对该照明区域创建区域特定照明配置的数据。
在框2022处,显示装置304在其对应的帧周期期间继续显示帧2102。作为该过程的一部分,照明控制模块718经由显示控制器316控制在帧2102的帧周期期间显示矩阵318的每个照明区域处的照明,以便实现如在每区域表示2108中指定的该照明区域的照明配置。在其他实施方案中,照明控制模块714传输一个或多个数据结构,其值表示每个照明区域的运动估计表示,并且照明控制模块718基于针对该区域的所接收的运动估计表示来确定或修改每个照明区域的照明配置。
为了说明方法2000的示例,图22描绘了两个帧2202-1和2202-2的示例性序列2200,其中帧2202-1按显示顺序在帧2202-2之前。帧2202-1和2202-2中的每一个被划分为帧区域的3x3网格,其中每个帧区域对应于显示矩阵318的独立控制的照明区域。在本示例中,序列2200表示代表汽车对象2204水平行进时的像素内容的运动,其中大部分像素内容起源于帧2202-1的区域2206并出现在帧2202-2的帧区域2208中。对于本示例,可以假设序列中无其他重要运动。因此,对于帧2202-2,帧区域2206和2208表现出相对前一帧2202-1的相当大的运动,并且因此帧2202-2的帧区域2206和2208将被分配具有代表相当大运动的高值的运动估计表示,而帧2202-2的其余帧区域将被分配具有代表低或零运动的低值的运动估计表示。因此,对于帧区域2206和2208中的每一个,照明控制模块714将生成区域特定照明配置,所述区域特定照明配置提供突出的照明频闪和去加重的照明填充(不包照明填充),以便减轻在照明频闪不太加重的两个对应照明区域中原本可能出现的运动模糊。对于包含少量运动并因此由小的非零运动估计表示来表示的帧区域2210和2212,照明控制模块714将生成区域特定照明配置,所述区域特定照明配置基于帧区域的运动估计表示来平衡频闪输出和填充输出,以便平衡相关联照明区域中的运动模糊与闪烁的风险。对于其余区域中的每一个,照明模块714将生成区域特定照明配置,所述区域特定照明配置提供突出的照明填充和去加重的照明频闪(不包括无频闪,或包括恒定水平的填充照明),以便减轻在使用了更突出的频闪的情况下在这些照明区域原本可能出现的闪烁。
图23至图26一起示出了用于基于照明区域是中央凹区域还是外围区域来控制给定照明区域的照明配置的中央凹区域性照明控制技术216的实现方式。为了实现此类技术,显示系统300利用凝视跟踪子系统2300来确定用户的当前凝视位置,如图23所示。在至少一个实施方案中,凝视跟踪子系统2300利用与显示装置304的显示矩阵318位于同一地点的一个或多个光源2302(例如,红外(IR)LED)来照明用户的一只或两只眼睛2304,并且利用指向眼睛2304的位置的一个或多个成像相机2306,以便在光源2302照明时捕获用户眼睛2304的图像。凝视跟踪模块2308使用多种众所周知的或专有的凝视跟踪技术中的任一种,并且根据成像相机2306的位置、显示矩阵318的位置、用户眼睛的位置2304和凝视方向2310之间的已知几何配置,分析所捕获的图像以确定眼睛2304的当前凝视方向2310,对当前凝视位置2312(也就是说,显示矩阵318上是用户当前中央凹视图的目标的点)进行三角测量。然后,凝视跟踪模块2308将当前凝视位置2312的凝视位置表示2314提供给图形驱动器710、GPU308或渲染装置302的其他部件。凝视位置表示2314可包括例如识别当前凝视位置2312相对于显示矩阵318的像素的(X,Y)位置的(X,Y)坐标对、识别包含当前凝视位置2312的位置的显示矩阵318的照明区域的值等。
现在转向图24,图24的方法2400示出了根据一些实施方案的中央凹区域性照明控制技术216的一般流程,并且参考图25中表示的示例性实现方式进行描述,其中源侧照明控制模块714(图7)负责确定将由显示装置304实现的照明配置设置。然而,下面描述的过程可适于由显示器侧照明控制模块718使用本文提供的指南来实现。
在框2402处,GPU 308在视频内容应用程序704的方向上渲染或以其他方式生成帧序列中的帧2502,并且在渲染装置302处的帧缓冲器2504中缓冲生成的帧。在框2404处,显示驱动器712然后在逐行基础上、在逐列基础上、在逐框基础上或在某个其他图案基础上将代表生成的帧2502的缓冲的像素数据和元数据经由互连305传输到显示装置304。
与框2402和2404的帧生成和传输过程同时,图形驱动器710的照明控制模块714发起基于当前凝视位置2312及其与照明区域的关系来针对显示矩阵318的每个照明区域确定照明配置的过程。在图25的示例中,显示矩阵318被配置为基于网格的区域性划分,其具有照明区域2501-1至2501-25的5x5布置。在框2406处,凝视跟踪子系统2300确定当前凝视位置2312并将对应的凝视位置表示2314提供给照明控制模块714。在框2408处,照明控制模块714基于由凝视位置表示2314表示的当前凝视位置2312相对于所讨论的照明区域的位置对照明区域2501-1至2501-25中的每一个进行分类。在一些实施方案中,照明控制模块714实现两层方法,其中将每个照明区域基于区域距当前凝视位置2312的距离分类为中央凹区域或外围区域。在这种情况下,将包含当前凝视位置2312的照明区域被指定为中央凹区域并且将所有其余的照明区域指定为外围区域。在其他实施方案中,多于两层的分类基于距当前凝视位置2312的距离来实现。例如,在一个实施方案中,照明控制模块714实施三层方法,其中将包含当前凝视位置2312的照明区域分类为中央凹区域,将紧邻中央凹区域的照明区域分类为中间区域,并且将其余的照明区域被分类为外围区域。可使用本文提供的指南来实现其他分类方案。
在框2410处,照明控制模块714或者确定所选择照明区域的照明配置,或者基于所选择区域的分类修改先前针对所选择照明区域识别的照明配置。为了说明,在一些实施方案中,照明控制模块714使用上述技术中的一种或组合来确定帧的默认照明配置,然后照明控制模块714基于区域的分类来修改每个照明区域的默认照明配置以生成特定的区域特定照明配置。在其他实施方案中,使用区域的分类来从针对该区域使用的一组预定义照明配置中选择特定照明配置。
在至少一个实施方案中,使用一个或多个LUT 2412、一个或多个软件函数2414、或由在各种设置的先前使用和先前用户输入上训练的ML算法开发的学习模型2416来实现照明区域的基于凝视的分类与照明区域的对应照明配置(或在每区域基础上修改为默认照明配置)之间的关系。例如,LUT 2412具有基于对应的基于凝视的分类来索引的多个条目,其中每个对应条目存储对应照明配置的表示,包括诸如特定前照明水平填充水平、后照明填充水平、频闪水平、频闪位置、频闪持续时间等参数的值。作为另一示例,指定默认全帧照明配置,并且LUT 2412的每个条目包括对默认照明配置的特定修改的指示,诸如指定频闪水平将从默认频闪水平减少的量和填充水平将从默认频闪水平增加的量。
在人类视觉系统中,用户的周边视觉通常比用户的中央凹视觉更容易注意到闪烁。相反,用户周边视觉的敏锐度降低通常会导致用户不太容易注意到外围视觉中的运动模糊,而更有可能注意到中央凹视觉中的运动模糊。因此,在至少一个实施方案中,由照明控制模块714实现的用于设置或修改照明区域的照明配置的关系一般针对分类为中央凹区域的照明区域增加频闪加重并减少填充加重,并且相反地,针对分类为外围区域的照明区域减少频闪加重并增加填充加重。此外,在其中利用了中间区分类的实施方案中,该关系针对这样识别的区域提供频闪输出和填充输出之间的平衡。因此,对于其中在逐区域基础上修改全帧默认或一般照明配置的方案,照明控制模块714可使用针对照明区域的基于凝视的分类来针对被识别为外围区域的照明区域使频闪输出相对其默认水平减少并使填充输出相对其默认水平增加,或者相反地,针对被识别为中央凹区域的区域使频闪输出相对其默认水平增加并使填充输出相对其默认水平减少。此外,对于分类为中间区域的照明区域,在本示例中不加修改地采用一般照明配置。
照明控制模块714针对显示矩阵318的每个照明区域重复框2410的过程,以便针对每个照明区域确定基于区域的照明配置(或基于区域的照明配置修改),并且将针对每个区域的照明配置或照明配置修改的表示2508传输到在显示装置304的显示控制器316处实现的照明控制模块718。如上面类似地所述,表示2508可包括具有针对照明区域2501-1至2501-25中的每一个的条目的数据结构,其中每个条目存储将针对该照明区域实现的照明配置的各种参数的值。替代地,数据结构包括表示一般照明配置的条目,并且每个区域相关联条目包括指示如何修改一般照明配置以针对该照明区域创建区域特定照明配置的数据。
在框2418处,显示设备304在其对应的帧周期期间继续显示帧2502。作为该过程的一部分,照明控制模块718经由显示控制器316控制在帧2502的帧周期期间显示矩阵318的每个照明区域处的照明,以便实现如在每区域表示2508中所指定的针对该照明区域的照明配置。在其他实施方案中,照明控制模块714传输一个或多个数据结构,其值表示每个照明区域的基于凝视的分类的值,并且照明控制模块718基于针对该区域的所接收的基于凝视的分类来确定或修改针对每个照明区域的照明配置。
为了说明方法2400的示例,图26描绘了两个不同的帧2602-1和2602-2。帧2602-1和2602-2中的每一个被划分为帧区域的5x5网格,其中每个帧区域对应于显示矩阵318的独立控制的照明区域2501。帧2602-1示出了上述两层分类方法。在本示例中,当前凝视位置(由图标2604标识)位于与照明区域2501-17(参见图25)相关联的区中,并且因此照明区域2501-17被分类为中心凹区域,并且其余照明区域2501-1至2501-16和2501-18-2501-25被分类为外围区域。因此,将设置或修改由显示装置304针对照明区域2501-17采用的区域特定照明配置以加重照明频闪的使用并且去加重照明填充的使用,而其他照明区域将具有将被设置或修改以去加重频闪使用并加重填充使用的区域特定照明配置。
帧2602-2示出了上述两层分类方法。在本示例中,当前凝视位置(由图标2604标识)位于与照明区域2501-13(参见图25)相关联的区中,并且因此照明区域2501-13被分类为中央凹区域。照明区域2501-7、2501-8、2501-9、2501-12、2501-14、2501-17、2501-18和2501-19紧邻照明区域2501-13,并且因此被分类为中间区域,并且其余照明区域被分类为外围区域。因此,在本示例中,将设置或修改由显示装置304针对中央凹区域采用的区域特定照明配置以加重照明频闪的使用并且去加重照明填充的使用,将设置或修改外围区域的区域特定照明配置区域以去加重频闪使用并加重填充使用,并且中间区域的区域特定照明配置可例如默认为使用上述其他照明配置控制技术中的一种确定的一般全帧照明配置。
在一些实施方案中,上述设备和技术在包括一个或多个集成电路(IC)装置(也称为集成电路封装或微芯片)的系统中实现,所述装置诸如上面参考图1至图26所描述的显示系统300的一个或多个部件。这些IC装置的设计和制造中通常使用了电子设计自动化(EDA)和计算机辅助设计(CAD)软件工具。这些设计工具通常被表示为一个或多个软件程序。所述一个或多个软件程序包括代码,所述代码可由计算机系统执行以操纵计算机系统来操作代表一个或多个IC装置的电路的代码,以便执行用于设计或调适制造系统的过程的至少一部分来制造电路。此代码可包括指令、数据或指令和数据的组合。表示设计工具或制造工具的软件指令通常存储在可由计算系统访问的计算机可读存储介质中。同样地,代表IC装置的设计或制造的一个或多个阶段的代码存储在相同的计算机可读存储介质或不同的计算机可读存储介质中并从其中进行访问。
计算机可读存储介质包括任何非暂时性存储介质或非暂时性存储介质的组合,所述非暂时性存储介质在使用期间可由计算机系统访问,以将指令和/或数据提供给计算机系统。此类存储介质可包括但不限于光学介质(例如,压缩光盘(CD)、数字通用光盘(DVD)、蓝光光盘)、磁性介质(例如,软盘、磁带或磁性硬盘)、易失性存储器(例如,随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如,只读存储器(ROM)或闪存存储器)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质例如嵌入在计算系统中(例如,系统RAM或ROM),固定地附接到计算系统(例如,磁性硬盘驱动器),可移除地附接到计算系统(例如,光盘或基于通用串行总线(USB)的闪存存储器),或通过有线或无线网络联接到计算机系统(例如,网络可存取存储装置(NAS))。
在一些实施方案中,上文所描述的技术的某些方面由执行软件的处理系统的一个或多个处理器实现。软件包括存储或以其他方式有形地体现在非暂时性计算机可读存储介质上的一个或多个可执行指令集。软件可包括在由一个或多个处理器执行时操纵一个或多个处理器来执行上文所描述的技术的一个或多个方面的指令和某些数据。非暂时性计算机可读存储介质可以包括例如磁盘或光盘存储装置、例如闪存存储器的固态存储装置、高速缓存、随机存取存储器(RAM)或其他一个或多个非易失性存储器装置等。存储在非暂时性计算机可读存储介质上的可执行指令以源代码、汇编语言代码、对象代码或者由一个或多个处理器解译或以其他方式执行的其他指令格式来实施。
应注意,并不需要上文在一般描述中所描述的所有活动或元件,特定活动或装置的一部分可能是不需要的,并且可进行一个或多个其他活动,或者可包括除所述的那些元件之外的元件。此外,列出活动的顺序不一定是执行活动的顺序。另外,已经参考具体实施方案描述了概念。然而,本领域中的普通技术人员应了解,可在不背离所附权利要求中所阐述的本公开范围的情况下,做出各种修改和改变。因此,本说明书和附图将被视为说明性而非限制性的,并且所有此类修改都意图被包括在本公开的范围内。
上文已经参照具体实施方案描述了益处、其他优点以及问题的解决方案。然而,所述益处、优点、问题解决方案以及可使任何益处、优点或问题解决方案出现或变得更突出的任何特征都不应被解释为是任何或所有权利要求的关键、必需或必要特征。此外,以上所公开的特定实施方案只是说明性的,因为所公开的主题可以按受益于本文教义的本领域的技术人员显而易知的不同但等效的方式来修改和实践。除了如所附权利要求中所描述的之外,并不意图限于本文所示的构造或设计的细节。因此,明显的是以上所公开的特定实施方案可进行更改或修改,并且所有此类变化形式都被认为在所公开的主题的范围内。因此,本文所寻求的保护如所附权利要求中所阐述。
Claims (20)
1.一种计算机实现的方法,其包括:
在与所述帧序列的对应帧相关联的每个帧周期期间使用照明频闪在显示装置处显示帧序列;以及
基于一个或多个输入参数确定每个帧周期内的所述照明频闪的位置,每个输入参数均表示用于生成所述帧序列的渲染装置的对应操作特性。
2.如权利要求1所述的计算机实现的方法,其中确定所述照明频闪的所述位置包括确定所述照明频闪的位置以便跟在用于准备所述显示装置的像素矩阵的扫描输入和稳定过程的完成之后来显示帧并在下一帧周期的开始之前。
3.如权利要求2所述的计算机实现的方法,其还包括:
基于所述帧序列的帧速率和在所述帧序列的生成期间所述渲染装置的操作负载中的至少一个来预测所述下一帧周期的所述开始。
4.如权利要求3所述的计算机实现的方法,其中预测所述下一帧周期的所述开始包括基于由机器学习算法基于与至少一个先前帧序列相关联的操作特性的历史而训练的学习模型来预测所述下一帧的所述开始。
5.如权利要求1所述的计算机实现的方法,其中所述一个或多个输入参数包括所述帧序列的帧速率。
6.如权利要求5所述的计算机实现的方法,其还包括:
基于所述帧速率确定所述照明频闪的照明水平、所述照明频闪之前的照明填充的照明水平和所述照明频闪之后的照明填充的照明水平中的至少一个。
7.如权利要求1所述的计算机实现的方法,其中所述一个或多个输入参数包括用于修改所述照明频闪的所述位置的设置的用户输入。
8.如权利要求1所述的计算机实现的方法,其中所述一个或多个输入参数包括所述帧序列所源于的视频内容应用程序的标识符。
9.一种显示系统,其被配置为:
渲染帧序列以供在显示装置处显示,其中所述显示装置用于在与所述帧序列的对应帧相关联的每个帧周期期间使用照明频闪;以及
基于一个或多个输入参数确定每个帧周期内的所述照明频闪的位置,每个输入参数均表示所述渲染装置或所述显示装置中的一个的对应操作特性。
10.如权利要求9所述的显示系统,其中所述显示系统被配置为通过以下一项来确定所述照明频闪的所述位置:
设置所述照明频闪的所述位置以便在完成用于准备所述显示装置的像素矩阵的扫描输入和稳定过程之后发生来显示帧并在下一帧周期的开始之前;以及
设置所述照明频闪的所述位置以便在所述帧周期的所述开始之后和所述扫描输入和稳定过程完成之前发生。
11.如权利要求10所述的显示系统,其中所述显示系统还被配置为:
基于所述帧序列的帧速率和在所述帧序列的生成期间渲染装置的操作负载中的至少一个来预测所述下一帧周期的所述开始。
12.如权利要求11所述的显示系统,其中所述显示系统被配置为基于由机器学习算法基于与至少一个先前帧序列相关联的操作特性的历史而训练的学习模型来预测所述下一帧周期的所述开始。
13.如权利要求9所述的显示系统,其中所述一个或多个输入参数包括所述帧序列的帧速率。
14.如权利要求13所述的显示系统,其中所述显示系统还被配置为:
基于所述帧速率确定所述照明频闪的照明水平、所述照明频闪之前的照明填充的照明水平和所述照明频闪之后的照明填充的照明水平中的至少一个。
15.如权利要求9所述的显示系统,其中所述一个或多个输入参数包括用于修改所述照明频闪的所述位置的设置的用户输入。
16.如权利要求9所述的显示系统,其中所述一个或多个输入参数包括所述帧序列所源于的视频内容应用程序的标识符。
17.如权利要求9所述的显示系统,其还包括:
所述显示装置,其中所述显示装置被配置为针对所述帧周期接收照明配置的表示并且在所述帧周期期间实现所述照明配置,其中所述照明配置的所述表示包括所述照明频闪的所述位置的表示。
18.如权利要求17所述的显示系统,其中所述显示装置为透射型显示装置,并且所述显示装置被配置为经由根据所述照明配置对背光的控制来实现所述照明配置。
19.如权利要求17所述的显示系统,其中所述显示装置为发射型显示装置,并且所述显示装置被配置为通过根据所述照明配置调整提供给所述显示装置的像素的功率来实现所述照明配置。
20.一种显示系统,其包括:
显示装置,所述显示装置被配置为:
从渲染装置接收帧序列以供显示;
在与所述帧序列的对应帧相关联的每个帧周期期间采用照明频闪;以及
基于一个或多个输入参数确定每个帧周期内的所述照明频闪的位置,每个输入参数均表示所述渲染装置或所述显示装置中的任一者的对应操作特性。
Applications Claiming Priority (16)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962788536P | 2019-01-04 | 2019-01-04 | |
| US62/788,536 | 2019-01-04 | ||
| US201962853032P | 2019-05-26 | 2019-05-26 | |
| US62/853,032 | 2019-05-26 | ||
| US16/670,664 US11183150B2 (en) | 2019-01-04 | 2019-10-31 | Foveated illumination control at display device |
| US16/670,618 US11120771B2 (en) | 2019-01-04 | 2019-10-31 | Frame-rate based illumination control at display device |
| US16/670,651 | 2019-10-31 | ||
| US16/670,635 US11443715B2 (en) | 2019-01-04 | 2019-10-31 | Strobe configuration for illumination of frame at display device |
| US16/670,635 | 2019-10-31 | ||
| US16/670,651 US11183149B2 (en) | 2019-01-04 | 2019-10-31 | Region-by-region illumination control at display device based on per-region motion estimation |
| US16/670,664 | 2019-10-31 | ||
| US16/670,673 | 2019-10-31 | ||
| US16/670,673 US12223927B2 (en) | 2019-01-04 | 2019-10-31 | Region-by-region illumination control at display device based on per-region brightness |
| US16/670,618 | 2019-10-31 | ||
| PCT/IB2019/061315 WO2020141410A1 (en) | 2019-01-04 | 2019-12-23 | Frame-rate based illumination control at display device |
| CN201980088986.3A CN113646831B (zh) | 2019-01-04 | 2019-12-23 | 显示装置处的基于帧速率的照明控制 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980088986.3A Division CN113646831B (zh) | 2019-01-04 | 2019-12-23 | 显示装置处的基于帧速率的照明控制 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114974168A true CN114974168A (zh) | 2022-08-30 |
Family
ID=71404480
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210518840.1A Pending CN114974168A (zh) | 2019-01-04 | 2019-12-23 | 显示装置处的基于帧速率的照明控制 |
| CN201980088986.3A Active CN113646831B (zh) | 2019-01-04 | 2019-12-23 | 显示装置处的基于帧速率的照明控制 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980088986.3A Active CN113646831B (zh) | 2019-01-04 | 2019-12-23 | 显示装置处的基于帧速率的照明控制 |
Country Status (6)
| Country | Link |
|---|---|
| US (7) | US11443715B2 (zh) |
| EP (1) | EP3906545A4 (zh) |
| JP (1) | JP7461954B2 (zh) |
| KR (2) | KR102714065B1 (zh) |
| CN (2) | CN114974168A (zh) |
| WO (1) | WO2020141410A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11978415B2 (en) * | 2019-11-13 | 2024-05-07 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| CN112420779B (zh) * | 2019-12-30 | 2024-08-06 | 义明科技股份有限公司 | 电子装置及其环境光感测方法 |
| EP4018431A4 (en) | 2020-01-03 | 2022-10-12 | Samsung Electronics Co., Ltd. | DISPLAY MODULE AND METHOD OF CONTROLLING IT |
| WO2022010490A1 (en) * | 2020-07-10 | 2022-01-13 | Google Llc | Dynamic power converter switching for displays based on predicted power usage |
| TWI744089B (zh) * | 2020-11-11 | 2021-10-21 | 瑞昱半導體股份有限公司 | 顯示器背光源控制方法 |
| CN112911776B (zh) * | 2021-01-22 | 2022-11-25 | 深圳市永诺电器有限公司 | 一种闪光灯控制方法及系统 |
| GB2605578A (en) * | 2021-03-31 | 2022-10-12 | Continental Automotive Gmbh | A system and a method for adjusting a level of luminance of a display |
| US11436987B1 (en) * | 2021-05-11 | 2022-09-06 | Meta Platforms Technologies, Llc | Adaptive backlight activation for low-persistence liquid crystal displays |
| US11918899B2 (en) * | 2021-07-26 | 2024-03-05 | Nintendo Co., Ltd. | Systems and methods of processing images |
| US12293731B2 (en) * | 2021-12-17 | 2025-05-06 | Apple Inc. | Emission profile tracking for electronic displays |
| CN114677975A (zh) * | 2022-03-07 | 2022-06-28 | 深圳Tcl新技术有限公司 | 画面调节方法、装置、电子设备及计算机可读存储介质 |
| US20240345875A1 (en) * | 2023-04-13 | 2024-10-17 | Hewlett Packard Enterprise Development Lp | Job allocations to graphics processing units with tenant isolation |
| KR20250143564A (ko) * | 2024-03-25 | 2025-10-02 | 삼성전자주식회사 | 디스플레이 장치 및 그 동작 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050259064A1 (en) * | 2002-12-06 | 2005-11-24 | Michiyuki Sugino | Liquid crystal display device |
| CN101563724A (zh) * | 2007-11-09 | 2009-10-21 | 香港应用科技研究院有限公司 | 具有背光照明的图像显示的方法和装置 |
| US20150109286A1 (en) * | 2013-10-18 | 2015-04-23 | Nvidia Corporation | System, method, and computer program product for combining low motion blur and variable refresh rate in a display |
| US20170201669A1 (en) * | 2014-10-20 | 2017-07-13 | Apical Ltd | Method of reducing digital video flicker |
| US20180025686A1 (en) * | 2015-02-11 | 2018-01-25 | Max-Panck-Gesellschaft Zur Förderung Der Wissenschaften E.V. | Method and device for emulating continuously varying frame rates |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002072944A (ja) | 2000-08-23 | 2002-03-12 | Patoraito:Kk | Led表示装置 |
| JP3971892B2 (ja) | 2000-09-08 | 2007-09-05 | 株式会社日立製作所 | 液晶表示装置 |
| JP2003050569A (ja) | 2000-11-30 | 2003-02-21 | Hitachi Ltd | 液晶表示装置 |
| ES2871000T3 (es) * | 2001-02-27 | 2021-10-28 | Dolby Laboratories Licensing Corp | Dispositivos y método para visualizar una imagen |
| JP3964646B2 (ja) | 2001-10-25 | 2007-08-22 | 富士フイルム株式会社 | 画像処理方法、画像処理装置、および画像信号作成方法 |
| KR100868159B1 (ko) | 2002-10-29 | 2008-11-12 | 샤프 가부시키가이샤 | 조명 장치 및 그것을 이용한 액정 표시 장치 |
| JP4341839B2 (ja) | 2003-11-17 | 2009-10-14 | シャープ株式会社 | 画像表示装置、電子機器、液晶テレビジョン装置、液晶モニタ装置、画像表示方法、表示制御プログラムおよび記録媒体 |
| JP3783959B2 (ja) | 2003-12-02 | 2006-06-07 | 株式会社オーバル | コリオリ流量計 |
| JP3816505B2 (ja) | 2004-02-19 | 2006-08-30 | シャープ株式会社 | 映像表示装置および映像表示方法 |
| JP3742093B2 (ja) | 2004-02-19 | 2006-02-01 | シャープ株式会社 | 映像表示装置 |
| US20070126757A1 (en) | 2004-02-19 | 2007-06-07 | Hiroshi Itoh | Video display device |
| TWI274213B (en) | 2004-09-07 | 2007-02-21 | Chi Mei Optoelectronics Corp | Display method of a display |
| JP4904783B2 (ja) * | 2005-03-24 | 2012-03-28 | ソニー株式会社 | 表示装置及び表示方法 |
| US8106865B2 (en) | 2006-06-02 | 2012-01-31 | Semiconductor Energy Laboratory Co., Ltd. | Display device and driving method thereof |
| CN101647056B (zh) | 2007-03-16 | 2013-01-23 | 索尼株式会社 | 图像处理设备、图像显示器和图像处理方法 |
| JP2008287119A (ja) | 2007-05-18 | 2008-11-27 | Semiconductor Energy Lab Co Ltd | 液晶表示装置の駆動方法 |
| JP5080899B2 (ja) | 2007-08-08 | 2012-11-21 | キヤノン株式会社 | 映像処理装置及びその制御方法 |
| JP5219609B2 (ja) | 2008-05-01 | 2013-06-26 | キヤノン株式会社 | フレームレート変換装置、方法及びプログラム |
| US8917231B2 (en) * | 2010-12-17 | 2014-12-23 | Atmel Corporation | Regulation of gamma characteristic in a display |
| US9373286B2 (en) | 2011-09-13 | 2016-06-21 | Raman Research Institute | Method to display an image on a display device |
| CN102333200A (zh) | 2011-10-28 | 2012-01-25 | 冠捷显示科技(厦门)有限公司 | 液晶电视利用2d区域调光技术实现运动图像补偿的方法 |
| US9104048B2 (en) | 2012-01-25 | 2015-08-11 | International Business Machines Corporation | Three dimensional image projector with single modulator |
| US9325977B2 (en) | 2012-01-25 | 2016-04-26 | International Business Machines Corporation | Three dimensional LCD monitor display |
| US9728142B2 (en) | 2015-07-15 | 2017-08-08 | Christie Digital Systems Usa, Inc. | Reduced blur, low flicker display system |
| US9728166B2 (en) | 2015-08-20 | 2017-08-08 | Qualcomm Incorporated | Refresh rate matching with predictive time-shift compensation |
| US10354598B2 (en) | 2015-09-10 | 2019-07-16 | Sony Corporation | Light source control for displaying video |
| CN205487172U (zh) | 2016-03-25 | 2016-08-17 | 昆山工研院新型平板显示技术中心有限公司 | 显示器 |
| US10860859B2 (en) | 2017-11-30 | 2020-12-08 | Nvidia Corporation | Budget-aware method for detecting activity in video |
| WO2019152874A1 (en) * | 2018-02-02 | 2019-08-08 | Apple Inc. | Pulsed backlight systems and methods |
| US10636340B2 (en) | 2018-04-16 | 2020-04-28 | Facebook Technologies, Llc | Display with gaze-adaptive resolution enhancement |
| US11000029B2 (en) | 2018-05-29 | 2021-05-11 | Flambeau, Inc. | Hull and keel for a buoyant hunting decoy |
| CN108806578B (zh) | 2018-06-08 | 2021-04-13 | 上海天马有机发光显示技术有限公司 | 一种显示面板及显示装置 |
| US10699673B2 (en) * | 2018-11-19 | 2020-06-30 | Facebook Technologies, Llc | Apparatus, systems, and methods for local dimming in brightness-controlled environments |
-
2019
- 2019-10-31 US US16/670,635 patent/US11443715B2/en active Active
- 2019-10-31 US US16/670,673 patent/US12223927B2/en active Active
- 2019-10-31 US US16/670,651 patent/US11183149B2/en active Active
- 2019-10-31 US US16/670,664 patent/US11183150B2/en active Active
- 2019-10-31 US US16/670,618 patent/US11120771B2/en active Active
- 2019-12-23 KR KR1020247016702A patent/KR102714065B1/ko active Active
- 2019-12-23 CN CN202210518840.1A patent/CN114974168A/zh active Pending
- 2019-12-23 KR KR1020217023380A patent/KR20210110630A/ko not_active Ceased
- 2019-12-23 WO PCT/IB2019/061315 patent/WO2020141410A1/en not_active Ceased
- 2019-12-23 JP JP2021537924A patent/JP7461954B2/ja active Active
- 2019-12-23 CN CN201980088986.3A patent/CN113646831B/zh active Active
- 2019-12-23 EP EP19906885.9A patent/EP3906545A4/en active Pending
-
2021
- 2021-09-02 US US17/464,889 patent/US11430409B2/en active Active
-
2025
- 2025-01-17 US US19/027,136 patent/US20250166585A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050259064A1 (en) * | 2002-12-06 | 2005-11-24 | Michiyuki Sugino | Liquid crystal display device |
| CN101563724A (zh) * | 2007-11-09 | 2009-10-21 | 香港应用科技研究院有限公司 | 具有背光照明的图像显示的方法和装置 |
| US20150109286A1 (en) * | 2013-10-18 | 2015-04-23 | Nvidia Corporation | System, method, and computer program product for combining low motion blur and variable refresh rate in a display |
| US20170201669A1 (en) * | 2014-10-20 | 2017-07-13 | Apical Ltd | Method of reducing digital video flicker |
| US20180025686A1 (en) * | 2015-02-11 | 2018-01-25 | Max-Panck-Gesellschaft Zur Förderung Der Wissenschaften E.V. | Method and device for emulating continuously varying frame rates |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210398505A1 (en) | 2021-12-23 |
| US11430409B2 (en) | 2022-08-30 |
| KR20240093815A (ko) | 2024-06-24 |
| JP2022515847A (ja) | 2022-02-22 |
| CN113646831B (zh) | 2022-06-03 |
| US11120771B2 (en) | 2021-09-14 |
| KR102714065B1 (ko) | 2024-10-11 |
| KR20210110630A (ko) | 2021-09-08 |
| EP3906545A4 (en) | 2022-10-05 |
| US20200219309A1 (en) | 2020-07-09 |
| US20250166585A1 (en) | 2025-05-22 |
| US11183150B2 (en) | 2021-11-23 |
| CN113646831A (zh) | 2021-11-12 |
| US11443715B2 (en) | 2022-09-13 |
| US20200218344A1 (en) | 2020-07-09 |
| WO2020141410A1 (en) | 2020-07-09 |
| EP3906545A1 (en) | 2021-11-10 |
| JP7461954B2 (ja) | 2024-04-04 |
| US11183149B2 (en) | 2021-11-23 |
| US20200219463A1 (en) | 2020-07-09 |
| US20200219429A1 (en) | 2020-07-09 |
| US20200219464A1 (en) | 2020-07-09 |
| US12223927B2 (en) | 2025-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113646831B (zh) | 显示装置处的基于帧速率的照明控制 | |
| KR102582631B1 (ko) | 표시 패널 구동 방법 및 이를 채용한 유기 발광 표시 장치 | |
| WO2016182681A1 (en) | Light emitting diode display with ageing compensation | |
| JP2009134237A (ja) | 表示装置 | |
| US20160240147A1 (en) | Display control apparatus and control method thereof | |
| JP2022172980A (ja) | 表示制御装置、電子機器、制御プログラムおよび表示制御方法 | |
| KR20250078874A (ko) | 전자 장치 및 그 제어 방법 | |
| KR100847084B1 (ko) | 액정 디스플레이 장치 및 그의 제어 방법 | |
| US20220351669A1 (en) | Electronic apparatus and control method thereof | |
| JP2019102184A (ja) | 画像表示装置及びその制御方法 | |
| KR100846797B1 (ko) | 픽셀로 처리되는 입력 이미지를 디스플레이하는 방법 및 시스템 | |
| EP1826745A1 (en) | Liquid crystal display device and controlling method thereof | |
| JP2015081996A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP2025178105A (ja) | 表示装置、および表示方法 | |
| CN118865905A (zh) | 显示设备及显示方法 | |
| JP2018045151A (ja) | 表示装置、バックライト制御方法、制御プログラム、記録媒体、およびテレビジョン受像機 | |
| JP2024143294A (ja) | 表示装置および表示方法、並びに、表示システム | |
| JP2019168587A (ja) | 表示装置及びその制御方法 | |
| CN116110345A (zh) | 影像显示设备及其控制方法 | |
| JP2015176055A (ja) | 表示装置、表示装置の制御方法、及び、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |