CN120471816A - 图像显示方法和电子设备 - Google Patents

Abstract

本申请实施例提供了一种图像显示方法和电子设备，该方法由电子设备执行，包括：获取第一图像，第一图像为电子设备中任意一个待增强显示的图像；通过预设模型对第一图像进行处理，生成第一图像对应的预增强图像；计算预增强图像和第一图像之间的信息差，以及根据信息差和第一图像创建并显示第一图像对应的增强图像，增强图像的显示动态范围大于或等于第一图像的显示动态范围。由此，该过程不再需要进行场景亮度信息或增益图的采集，即可以实现对任意图像进行动态范围增强显示，显示出对应的增强图像，具有较强的适用性。

Description

图像显示方法和电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像显示方法和电子设备。

背景技术

随着电子设备各项性能的不断提高，电子设备的显示屏可以支持显示高动态范围(high dynamic range，HDR)图像，与传统的标准动态范围(standard dynamic range，SDR)图像相比，HDR图像可以获取更多的画面细节、展现更广的亮度范围。

在相关技术中，如果要显示HDR图像，通常需要在采集基础图像(如SDR图像)的过程中同时采集场景亮度信息或增益图，进而基于场景亮度信息或增益图对基础图像进行色调映射，显示出对应的HDR图像。但是，由于相关技术需要采集场景亮度信息或增益图，对于一些硬件能力偏弱的电子设备来说，可能采集不到这些信息，那么就无法显示对应的HDR图像。

发明内容

本申请提供了一种图像显示方法和电子设备，可以实现对任意图像进行动态范围增强显示，显示出对应的增强图像，具有较强的适用性。

第一方面，本申请提供一种图像显示方法，该方法由电子设备执行，包括：

获取第一图像，第一图像为电子设备中任意一个待增强显示的图像；通过预设模型对第一图像进行处理，生成第一图像对应的预增强图像；计算预增强图像和第一图像之间的信息差，以及根据信息差和第一图像创建并显示第一图像对应的增强图像，增强图像的显示动态范围大于或等于第一图像的显示动态范围。

其中，第一图像(也即基础图像)可以是电子设备中存储的任意一张图像，电子设备可以对任意的第一图像进行增强显示。例如，第一图像可以为SDR图像，在对第一图像增强显示时可以显示出更高的动态范围，如从标准动态范围SDR显示为高动态范围HDR。本申请的实现方式中，电子设备可以通过对第一图像进行处理，生成预增强图像，进而将预增强图像与第一图像之间的信息差作为增益信息(或增益图)，对第一图像进行增强显示，由此，该过程不再需要进行场景亮度信息或增益图的采集，不需要依赖电子设备的硬件采集能力，即可以实现对任意图像进行动态范围增强显示，显示出对应的增强图像，具有较强的适用性。

结合第一方面，在第一方面的有些实现方式中，上述根据信息差和第一图像创建并显示第一图像对应的增强图像，包括：根据信息差、电子设备的显示亮度和第一图像创建增强图像，并显示增强图像。

在增强图像的显示过程中，除了考虑上述信息差之外，电子设备还可以考虑自身的显示亮度，以使增强图像更加适配于电子设备的显示效果。因此，电子设备可以基于信息差、当前的显示亮度和第一图像创建增强图像，并显示最终的增强图像。

结合第一方面，在第一方面的有些实现方式中，上述根据信息差、电子设备的显示亮度和第一图像创建增强图像，包括：根据信息差、可扩展动态范围以及第一图像确定创建增强图像，其中，可扩展动态范围由电子设备的显示亮度以及信息差对应的元数据所确定。

在一些实现方式中，为使第一图像在计算过程中保持数据的统一性，电子设备也可以先将第一图像映射到线性空间进行归一化处理，然后再对第一图像进行增强显示。

示例性地，假设第一图像(BaseImage或者BI)的位宽为8bit，传递函数为Gamma2.2，电子设备可以通过BI_LINEAR＝clip((BI/255)**2.2，0，1)的方式将第一图像转换至线性空间，并归一化至[0，1]区间，这里的**2.2表示图像中像素值的Gamma 2.2次方。

结合第一方面，在第一方面的有些实现方式中，上述根据信息差、可扩展动态范围以及第一图像创建增强图像，包括：根据包含BaseImage*Gap*H/Hmax的关系式创建增强图像，BaseImage表示第一图像，Gap表示信息差，H表示电子设备当前的可扩展动态范围，Hmax表示第一图像可扩展的动态范围的最大值(可以包含在信息差对应的元数据中)，H＝Lheadroom/Lcurrent，Lheadroom表示电子设备可提供的扩展亮度，Lcurrent表示电子设备当前的显示亮度，Lheadroom大于或者等于Lcurrent、且Lheadroom小于或者等于电子设备当前状态下可提供的最大显示亮度。

即在假设电子设备的显示亮度与电子设备当前的可扩展动态范围H的关系可表示为：H＝Lheadroom/Lcurrent的情况下，电子设备可以根据包含BaseImage*Gap*H/Hmax的关系式创建增强图像。在一些实现方式中，电子设备创建得到增强图像(EnhancedImage或EI)后，也可以对其进行归一化处理，例如增强图像的位宽为8bit，传输函数为Gamma2.2，则可以通过EI_Normalized＝(clip((EI-EImin)/(EImax-EImin)，0，1)**(1/2.2))*255的方式进行归一化处理，EImax表示EI的最大值，EImin表示EI的最小值。

结合第一方面，在第一方面的有些实现方式中，预设模型可以为人工智能模型，例如神经网络模型，以实现对低动态范围图像进行动态范围增强，生成相对较高动态范围的图像。

结合第一方面，在第一方面的有些实现方式中，预设模型包括第一模型和第二模型，第一模型用于对第一图像中的像素点进行颜色映射，生成与第一图像具有不同显示动态范围的第二图像，第二模型用于对第二图像进行细节增强，生成预增强图像。

示例性地，第一模型可以为颜色映射模型，可以通过卷积神经网络模型实现逐像素点一对一的颜色映射关系。第二模型可以为细节增强模型，可以对颜色映射模型的输出结果进行进一步增强，去除伪影以及断层等问题，重建出质量更高的图像。那么，电子设备将第一图像输入预设模型后，可以分别经由颜色映射模型和细节增强模型的处理，输出预增强图像。

结合第一方面，在第一方面的有些实现方式中，第一模型为图像金字塔结构，第二模型为自编码器结构。

即电子设备将第一图像输入第一模型后，可以通过图像金字塔结构结合更多尺度的颜色信息作为颜色先验信息，并对颜色映射模型的输出按一次函数进行微调，将第一图像转换为初始预增强图像。然后可以再通过自编码器(即编码-解码结构)对初始预增强图像进行重建，在重建过程中可以也结合上述得到的颜色先验信息，使生成的预增强图像中细节更加完善、去除更多的伪影以及断层等问题。

结合第一方面，在第一方面的有些实现方式中，上述计算预增强图像和第一图像之间的信息差，包括：计算预增强图像中各像素点的第一通道的值与第一图像中对应像素点的第一通道的值之间的比值，将各像素点的比值确定为信息差。

在一些实现方式中，电子设备可以对预增强图像和第一图像进行逐像素对比，将各像素之间的信息差异作为整体的信息差。

在另一些实现方式中，电子设备可以将预增强图像中各像素点的第一通道的值与第一图像中对应像素点的第一通道的值进行对比，计算各像素点对应的比值以作为整体的信息差。

在第一通道为Y通道的情况下，电子设备可以将预增强图像中像素点Y通道的值与第一图像中对应像素点Y通道的值之间的比值定义为上述信息差。示例性地，信息差Gap＝Y-HDR/Y-SDR，Y-HDR表示预增强图像中像素点Y通道的值，Y-SDR表示第一图像中像素点Y通道的值。

在第一通道包括R通道、G通道和B通道的情况下，电子设备可以分别将预增强图像中像素点R、G、B通道的值与第一图像中对应像素点R、G、B通道的值之间的比值定义为上述信息差。示例性地，信息差Gap(R)＝R-HDR/R-SDR、Gap(G)＝G-HDR/G-SDR、Gap(B)＝B-HDR/B-SDR，R-HDR表示预增强图像中像素点R通道的值，R-SDR表示第一图像中像素点R通道的值，G-HDR表示预增强图像中像素点G通道的值，G-SDR表示第一图像中像素点G通道的值，B-HDR表示预增强图像中像素点B通道的值，B-SDR表示第一图像中像素点B通道的值。

结合第一方面，在第一方面的有些实现方式中，在计算预增强图像和第一图像之间的信息差之后，上述方法还包括：将第一图像与信息差封装保存至同一个图像文件中。

也即是说，电子设备计算得到信息差之后，可以将信息差进行编码保存，以及将保存的信息差与第一图像封装至同一个图像文件中，以供后续进行读取显示。

结合第一方面，在第一方面的有些实现方式中，上述根据信息差和第一图像创建并显示第一图像对应的增强图像，包括：对图像文件进行解码，得到第一图像和信息差；基于信息差和第一图像创建并显示增强图像。

在电子设备将第一图像和信息差封装保存在同一个图像文件的情况下，在显示增强图像的过程中，电子设备可以对图像文件进行解码，得到上述第一图像和信息差，然后显示过程中通过信息差和第一图像创建并显示出增强图像。

结合第一方面，在第一方面的有些实现方式中，在将第一图像与信息差封装保存至同一个图像文件中的情况下，上述方法还包括：保存信息差对应的元数据，元数据包括信息差最大值、信息差最小值以及第一图像可扩展的动态范围的最大值(Hmax)中的至少一个。

即电子设备除了保存第一图像对应的信息差之外，还可以保存信息差对应的元数据，以在后续对第一图像进行增强显示时提供更多的数据参考，显示出效果更加的增强图像。

第二方面，本申请提供一种装置，该装置包含在电子设备中，该装置具有实现上述第一方面及上述第一方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，接收模块或单元、处理模块或单元等。

第三方面，本申请提供一种电子设备，电子设备包括：一个或多个处理器，以及存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得电子设备执行第一方面的技术方案中任意一种方法。

第四方面，本申请提供一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行第一方面及其任意可能的实现方式中的方法。

可选地，芯片系统还包括存储器，存储器与处理器通过电路或电线连接。

进一步可选地，芯片系统还包括通信接口。

第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行第一方面的技术方案中任意一种方法。

第六方面，本申请提供一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码在电子设备上运行时，使得该电子设备执行第一方面的技术方案中任意一种方法。

附图说明

图1是本申请实施例提供的一例电子设备的结构示意图；

图2是本申请实施例提供的一例电子设备的软件结构框图；

图3是本申请实施例提供的一例开启HDR图片高动态展示的示意图；

图4是本申请实施例提供的另一例开启HDR图片高动态展示的示意图；

图5是本申请实施例提供的又一例开启HDR图片高动态展示的示意图；

图6是本申请实施例提供的一例图像显示方法的流程示意图；

图7是本申请实施例提供的一例预设模型的处理过程示意图；

图8是本申请实施例提供的一例图像金字塔结构的示意图；

图9是本申请实施例提供的一例自编码器结构的示意图；

图10是本申请实施例提供的一例基于第一图像和预增强图像确定信息差的示意图；

图11是本申请实施例提供的另一例图像显示方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。

为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。

1、动态范围(dynamic range，DR)

动态范围用于表示信号的最大值与最小值的比值。例如，DR值可以通过以10为底数的对数表示。将DR值反映在图像中的情况下，可以理解为图像中存在高光区域和暗光区域，高光区域的亮度值和暗光区域的亮度值之间的比值。

2、高动态范围HDR

高动态范围指信号最高值和最低值之间的比值(即动态范围)大于或等于预设的第一阈值。将HDR反映在图像中的情况下，可以理解为图像中存在高光区域和暗光区域，高光区域的亮度值和暗光区域的亮度值之间的比值超过第一阈值，应理解，对应的图像也可称之为HDR图像。

3、标准动态范围SDR

标准动态范围是指信号最大值和最小值之间的比值(即动态范围)小于预设的第一阈值且大于或等于预设的第二阈值(第二阈值小于第一阈值)。将SDR反映在图像中的情况下，可以理解为图像中存在高光区域和暗光区域，高光区域的亮度值和暗光区域的亮度值之间的比值小于预设的第一阈值且大于或等于预设的第二阈值，应理解，对应的图像也可称为SDR图像。

4、红绿蓝(red green blue，RGB)

RGB代表了红、绿、蓝，即显示器、面板、投影机、打印机或者其他设备中色彩再现所使用的三个基本色素。其中，RGB的色彩空间基于独立的色彩坐标，可以使色彩在不同的设备使用传输中对应于同一的色彩坐标体系，而不受这些设备各自具有的不同色彩坐标的影响。

5、HDR传输函数(transfer functions)

在进行HDR显示图像时，需要从真实环境亮度到电子设备的显示亮度进行调整，使得所显示的图像效果更佳，而由于人类视觉对亮度的感知是非线性的，对暗处的敏感程度要大于亮处，那么真实环境亮度到电子设备的显示亮度的调整过程应是非线性的，这个过程就要进行线性信号到非线性信号的转换，即基于HDR传输函数(也可称之为传递函数)来进行转换。当前，较常用的传输函数包括但不限于感知量化曲线(perceptual quantizer，PQ)和混合对数伽马(hybrid log-gamma，HLG)。

6、元数据：元数据是一种附加在HDR图像或视频中的信息，可以帮助显示设备以更好的方式来显示画面内容，元数据的内容可以包括图像的最大亮度、最小亮度、平均亮度、色域等信息。其中，HDR元数据可以包括静态元数据和动态元数据，静态元数据为一系列图像制定的一个固定亮度和对比度的范围，可以应用到系列图像构成的视频流上，动态元数据是根据每一帧图像动态生成的，可以为每一帧图像动态的调整亮度和对比度。

随着电子设备各项性能的不断提高，电子设备的显示屏已可以支持显示HDR图像，由上述描述可知，HDR图像与传统的SDR图像相比具有更高的显示动态范围，因此HDR图像可以获取更多的画面细节、展现更广的亮度范围。

在相关技术中，如果要显示HDR图像，通常需要在采集基础图像(如SDR图像)的过程中同时采集场景亮度信息或增益图，进而基于场景亮度信息或增益图对基础图像进行色调映射，显示出对应的HDR图像。示例性地，电子设备可以具备HDR拍照功能，在开启HDR拍照功能时，电子设备可以同时采集基础图像和场景亮度信息，并将基础图像和场景亮度信息保存在一个图像文件中，如果用户点击显示图像，则电子设备可以根据场景亮度信息对基础图像进行色调映射，显示对应的HDR图像。

由此可以看出，相关技术主要是在拍照的场景中，通过采集场景亮度信息对基础图像进行增强显示，显示出HDR图像，但是对于一些硬件能力偏弱(如图像采集能力较弱)的电子设备来说，可能采集不到场景亮度信息，那么就无法显示对应的HDR图像。进一步地，对于电子设备中不是拍照场景中获取的图像来说，由于没有对应的场景亮度信息或增益图的情况，也无法进行HDR显示。

有鉴于此，本申请实施例提供一种图像显示方法，电子设备通过对基础图像进行预处理，生成预增强图，再基于预增强图和基础图像生成增益图，进而基于生成的增益图对基础图像进行增强显示，该过程不再需要进行场景亮度信息或增益图的采集，不需要依赖电子设备的硬件采集能力，即可以实现对任意图像进行动态范围增强显示，显示出对应的增强图像(如HDR图像)，具有较强的适用性。可以理解，本申请实施例提供的图像显示方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、个人计算机(personal computer，PC)、上网本、个人数字助理(personal digital assistant，PDA)等具有图像处理能力的电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

示例性地，图1是本申请实施例提供的一例电子设备100的结构示意图。以电子设备100是手机为例，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identity module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB、YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

在电子设备100是手机的示例中，电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

示例性地，图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。可以理解，用户使用相机所拍摄的图像、通过WLAN网络所下载的图像、或者从视频中截取的图像等都可以保存在图库应用中，后续用户在通过图库应用查看图像时，电子设备便可以响应用户的查看操作，显示出对应的图像。

在一些实现方式中，用户在图库应用中查看某张图像时，图库应用可以提供该图像对应的HDR显示入口，如果用户选择以HDR显示，则图库应用可以对该图像进行动态范围增强处理，并调用显示驱动显示出该图像对应的HDR图像。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。

Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

为了便于理解，本申请以下实施例将以具有图1和图2所示结构的电子设备为例，结合附图和应用场景，对本申请实施例提供的图像显示方法进行具体阐述。

在一些场景中，以电子设备是手机为例，如图3所示，用户可以点击桌面界面上的图库应用图标，触发图库应用运行。在图库应用的运行界面上，展示有拍摄或下载的图像和视频列表，同时，在该运行界面上，还呈现有设置控件31。在用户点击设置控件31的情况下，电子设备可以显示出图库应用对应的设置界面，在该设置界面上，呈现有HDR图片高动态显示的开关控件32，如果用户触发打开HDR图片高动态显示的开关，则在查看某个HDR图像(例如采用HDR拍照功能所拍摄的图像)时，电子设备可以以HDR显示该图像。但是对于非HDR图像来说，正常情况下，电子设备无法进行HDR显示。对于此情况，本申请实施例在图库应用中提供有HDR显示入口，使电子设备可以以HDR显示任意一张图像。

示例性地，如图4所示，用户在图库应用的运行界面上点击任意一张图像时，电子设备可以大图显示出该图像，在显示界面的下方呈现有多个操作控件，例如有分享、收藏、编辑、删除等控件。如果用户点击了编辑控件41，则电子设备可以跳转至该图像的编辑界面，在该编辑界面上呈现有HDR显示控件42。如果用户点击该HDR显示控件42，则电子设备可以对该图像进行动态范围增强处理，得到并显示对应的HDR图像，关于电子设备对图像的处理过程详见下述实施例的描述。

在另一些场景中，以电子设备是PC为例，如图5所示，电子设备的存储空间(如硬盘)中可以存储多个图像和视频，在用户点击某个图像的情况下，电子设备可以采用安装的图片查看器打开该图像。如果用户想要以HDR显示该图像，则可以点击图像显示界面上的HDR显示控件51，电子设备便可以对该图像进行动态范围增强处理，得到并显示对应的HDR图像，关于电子设备对图像的处理过程详见下述实施例的描述。

需要说明的是，本申请实施例提供的图像显示方法不仅仅适用于上述两种场景，对于可支持HDR显示的电子设备中任意需要对图像进行HDR显示的场景，本申请实施例提供的图像显示方法都可适用。

图6是本申请实施例提供的一例图像显示方法的流程示意图，该方法可以由电子设备执行，具体可以包括：

S101，获取第一图像。

其中，第一图像(即基础图像)可以是电子设备中存储的任意一张图像。例如，在电子设备是手机的情况下，第一图像可以是图库应用中的任意一张图像，在电子设备是PC的情况下，第一图像可以是PC的硬盘中存储的任意一张图像。

在一些实现方式中，第一图像可以为SDR图像。在一些实现方式中，电子设备可以在接收到用户触发HDR显示操作的情况下，对第一图像执行下述处理过程。

S102，通过预设模型对第一图像进行处理，生成第一图像对应的预增强图像。

其中，预设模型对第一图像进行处理生成预增强图像的目的在于，后续电子设备可以基于预增强图像和第一图像生成信息差(或增益图)，即信息差是电子设备通过预设模型以及计算得到的，不再需要采集得到。

在一些实现方式中，在第一图像是8bit位宽的SDR图像的情况下，预增强图像可以为10bit位宽的HDR图像。可以理解，8bit位宽的图像可以提供256个采样点，10bit位宽的图像可以提供1024个采样点，10bit位宽的图像的色彩精度和显像画质都优于8bit位宽的图像。

在一些实现方式中，预设模型可以为人工智能(artificial intelligence，AI)模型，例如神经网络模型，该预设模型可以实现对低动态范围图像进行动态范围增强，生成相对较高动态范围的图像。

在一些实现方式中，预设模型可以包括第一模型和第二模型，第一模型可以用于对第一图像中的像素点进行颜色映射，生成与第一图像具有不同显示动态范围的图像，第二模型可以用于对第一模型颜色映射后的结果进行进一步增强。

可选地，第一模型可以为颜色映射模型，颜色映射模型可以为卷积神经网络模型，即电子设备可以通过卷积神经网络模型实现逐像素点一对一的颜色映射关系；第二模型可以为细节增强模型，可以对颜色映射模型的输出结果进行进一步增强，去除伪影以及断层等问题，重建出质量更高的图像。那么，如图7所示，电子设备将第一图像输入预设模型后，可以分别经由颜色映射模型和细节增强模型的处理，输出预增强图像。

示例性地，如图8所示，颜色映射模型可以为图像金字塔结构，图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效结构。一幅图像的图像金字塔是一系列以金字塔形状(自下而上)逐步降低，且来源于同一张原始图的图像分辨率集合，金字塔的层级越高，则图像越小，分辨率越低。因此，电子设备将第一图像输入颜色映射模型后，可以通过图像金字塔结构结合更多尺度的颜色信息作为颜色先验信息，并对颜色映射模型的输出按一次函数进行微调，将第一图像转换为初始预增强图像。例如将8bit位宽的SDR图像转换为初始的10bit位宽的HDR图像。

然后，如图9所示，细节增强模型可以为自编码器(autoencoder，AE)结构，自编码器是一类在半监督学习和非监督学习中使用的人工神经网络(artificial neuralnetworks，ANNs)，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习(representation learning)。自编码器包含编码器(encoder)和解码器(decoder)两部分，由于输入数据与输出数据结构基本一致，因此自动编码器的网络结构会呈现出“大-小-大”的对称性，从高维到低维的网络为编码器，从低维到高维的网络为解码器。因此，电子设备通过上述颜色映射模型输出初始预增强图之后，可以再通过自编码器(即编码-解码结构)对初始预增强图像进行重建，在重建过程中可以也结合上述得到的颜色先验信息，使得到的预增强图像中细节更加完善、去除更多的伪影以及断层等问题。

S103，计算预增强图像和第一图像之间的信息差，以及将第一图像与信息差封装至同一个图像文件。

在电子设备生成上述的预增强图像之后，可以计算该预增强图像与第一图像(即基础图像)之间的信息差(Gap)，该信息差可以表征第一图像与预增强图像之间的像素差异。

在一些实现方式中，电子设备可以对预增强图像和第一图像进行逐像素对比，将各像素之间的像素信息差异作为整体的信息差。

在另一些实现方式中，电子设备可以采用以下方式计算预增强图像和第一图像之间的信息差：假设第一图像为8bit位宽的SDR图像，编码格式为YUV格式，预增强图像为10bit位宽的HDR图像，传递函数为PQ或HLG，编码格式为YUV格式，那么电子设备可以将预增强图像中像素点Y通道的值与第一图像中对应像素点Y通道的值之间的比值定义为上述信息差。可选地，在可以将第一图像中Y通道的值与预增强图像中Y通道的值转换到线性域上的情况下，则信息差Gap＝Y-HDR/Y-SDR，Y-HDR表示预增强图像中像素点Y通道的值，Y-SDR表示第一图像中像素点Y通道的值。可以理解，对于第一图像中的每个像素点，都可以计算其与预增强图像中对应位置的像素点之间的信息差。

假设第一图像为8bit位宽的SDR图像，编码格式为RGB格式，预增强图像为10bit位宽的HDR图像，传递函数为PQ或HLG，编码格式为RGB格式，那么电子设备可以分别将预增强图像中像素点R、G、B通道的值与第一图像中对应像素点R、G、B通道的值之间的比值定义为上述信息差。可选地，在可以将第一图像中各通道的值与预增强图像中各通道的值转换到线性域上的情况下，则信息差Gap(R)＝R-HDR/R-SDR、Gap(G)＝G-HDR/G-SDR、Gap(B)＝B-HDR/B-SDR，R-HDR表示预增强图像中像素点R通道的值，R-SDR表示第一图像中像素点R通道的值，G-HDR表示预增强图像中像素点G通道的值，G-SDR表示第一图像中像素点G通道的值，B-HDR表示预增强图像中像素点B通道的值，B-SDR表示第一图像中像素点B通道的值。

在一些实现方式中，电子设备计算得到信息差之后，可以将信息差进行编码保存。可选地，电子设备可以将信息差以图像形式进行保存(即由每个像素点对应的信息差组成图像)，在以图像形式进行保存的情况下，信息差即可以表示为增益图。示例性地，电子设备基于第一图像和预增强图像计算得到信息差，并以图像形式保存信息差的示意图可参见图10。同时，电子设备还可以将保存的信息差与第一图像封装至同一个图像文件中，以供后续进行读取显示。

在一些实现方式中，电子设备在对信息差进行编码保存时，还可以保存信息差对应的元数据。可选地，元数据所包含的内容可以包括但不限于信息差最大值GapMax、信息差最小值GapMin以及第一图像可扩展的动态范围的最大值Hmax。

在一些实现方式中，电子设备在计算得到预增强图像和第一图像之间的信息差之后，还可以对信息差进行归一化处理(或者其他方式的线性或非线性转换)，然后再将归一化后的信息差进行编码保存，以使信息差的数据具有一定的统一性。可选地，电子设备对信息差进行归一化的方式可以为：G_Normalized＝(Gap-GapMin)/(GapMax-GapMin)。

S104，基于图像文件创建并显示第一图像对应的增强图像。

其中，电子设备在将第一图像和信息差封装完成之后，便可以开始创建并显示第一图像对应的增强图像，例如显示SDR图像对应的HDR图像。

在一些实现方式中，电子设备在显示第一图像对应的增强图像的过程中，可以先将图像文件进行解码，得到上述第一图像和信息差，然后显示过程中基于信息差、电子设备的显示亮度以及第一图像创建并显示增强图像。

示例性地，电子设备可以采用以下方式创建增强图像：假设第一图像(BaseImage或BI)的位宽为8bit，传递函数为Gamma 2.2，首先将第一图像转换到线性空间进行归一化处理，例如可以通过BI_LINEAR＝clip((BI/255)**2.2，0，1)的方式将第一图像转换至线性空间，并归一化至[0，1]区间，这里的**2.2表示图像中像素值的Gamma 2.2次方。然后假设电子设备的显示亮度与电子设备当前的可扩展动态范围H的关系可表示为：H＝Lheadroom/Lcurrent，其中，Lcurrent为电子设备当前的显示亮度，Lheadroom为电子设备可提供的扩展亮度，这里Lheadroom大于或者等于Lcurrent、且Lheadroom小于或者等于电子设备当前状态下可提供的最大显示亮度。那么，增强图像(EnhancedImage或EI)可以通过EI＝BI_LINEAR*Gap*H/Hmax的方式得到，Hmax表示上述信息差对应的元数据中包含的第一图像可扩展的动态范围的最大值。或者，在不考虑对第一图像进行归一化的情况下，增强图像也可以通过BaseImage*Gap*H/Hmax的方式得到。再或者，在考虑到信息差需要归一化的情况下，增强图像也可以通过BI_LINEAR*G_Normalized*H/Hmax或BaseImage*G_Normalized*H/Hmax的方式得到。由此，电子设备创建得到最终的增强图像后便可以显示在显示屏上，例如增强图像可以选择8bit或10bit位宽进行显示。

可选地，电子设备得到增强图像(EI)后，也可以对其进行归一化处理，例如增强图像的位宽为8bit，传输函数为Gamma2.2，则可以通过EI_Normalized＝(clip((EI-EImin)/(EImax-EImin)，0，1)**(1/2.2))*255的方式进行归一化处理，EImax表示EI的最大值，EImin表示EI的最小值。

在一些实现方式中，如果不考虑电子设备的显示亮度影响的情况下，电子设备也可以仅根据上述信息差以及第一图像创建增强图像。示例性地，电子设备可以基于信息差和第一图像之间的乘积关系式创建得到增强图像。

对于上述实现过程，在一些实现方式中，在预设模型的处理性能足够好的情况下，例如生成的预增强图像的精度足够高，电子设备也可以直接将预设模型所生成的预增强图像作为最终的增强图像，不再进行信息差的计算，以提高图像处理效率。

上述图像显示方法，电子设备获取到任意一张图像后，可以对该图像进行预处理，生成预增强图，再基于预增强图和基础图像计算信息差(例如信息差可以为增益图)，进而基于信息差和基础图像创建并显示增强图像(例如显示更高动态范围的图像)，该过程不再需要进行场景亮度信息或增益图的采集，不需要依赖电子设备的硬件采集能力，即可以实现对任意图像进行动态范围增强显示，显示出对应的增强图像，具有较强的适用性。

基于上述实施例的过程，下面再以一个应用场景为例对本申请实施例提供的图像显示方法进行描述，示例性地，以上述图4所示的场景为例，在用户点击了HDR显示控件42之后，电子设备即可以开始执行下述图像处理过程，如图11所示，该过程可以包括：

S201，图库应用接收到对第一图像的第一操作。

示例性地，第一操作可以为图4中的对HDR显示控件42的点击操作，即触发对第一图像(当前图库应用所显示的图像)进行HDR显示。

S202，图库应用响应于第一操作，调用预设模型对第一图像进行处理，生成第一图像对应的预增强图像。

也即是说，图库应用在接收到第一操作后，便可以响应该第一操作，调用预设模型对第一图像进行处理。示例性地，这里图库应用可以通过预设模型提供的接口来调用预设模型，以生成第一图像对应的预增强图像。关于图库应用对第一图像进行处理的过程可以参见上述S102的描述，在此不再赘述。

S203，图库应用计算预增强图像和第一图像之间的信息差，以及将第一图像与信息差封装至同一个图像文件。

关于图库应用计算信息差的过程可以参见上述S103的描述，在此不再赘述。

S204，图库应用对图像文件进行解码，得到第一图像和信息差。

S205，图库应用根据信息差、电子设备的显示亮度和第一图像创建HDR图像。

其中，S204-S205步骤的实现过程可以参见上述S104的描述。

在一些实现方式中，因当前用户是实时触发图库应用对第一图像以HDR显示，因此，在实际场景中，图库应用在计算得到信息差之后，也可以先不将第一图像与信息差进行封装保存，而是直接通过信息差、电子设备的显示亮度以及第一图像创建得到HDR图像，以提高处理效率。

在另一些实现方式中，图库应用在创建得到HDR图像之后，可以将HDR图像进行保存，如果用户下一次又触发对第一图像进行HDR显示，则图库应用可以直接获取到所保存的HDR图像来显示。

S206，图库应用调用显示驱动显示HDR图像。

即图库应用在创建得到HDR图像之后，便可以通过系统提供的接口调用显示驱动以显示该HDR图像。

上述图像显示方法，用户在通过图库应用对任意一张图像触发HDR显示时，图库应用可以对该图像进行预处理，生成预增强图像，再基于预增强图像和基础图像计算信息差，进而基于信息差和基础图像创建并显示增强图像(例如从SDR图像显示为HDR图像)，该过程不再需要进行场景亮度信息或增益图的采集，也不局限于图像是由相机拍摄而来，即可以实现对任意图像进行动态范围增强显示，显示出对应的增强图像，具有较强的适用性。

上文详细介绍了本申请实施例提供的图像显示方法的示例。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分为各个功能模块，例如检测单元、处理单元、显示单元等，也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的电子设备，用于执行上述图像显示方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，电子设备还可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processor，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图1所示结构的设备。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得处理器执行上述任一实施例的图像显示方法。存储介质可以包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像显示方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的图像显示方法。

其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种图像显示方法，所述方法由电子设备执行，其特征在于，所述方法包括：

获取第一图像，所述第一图像为所述电子设备中任意一个待增强显示的图像；

通过预设模型对所述第一图像进行处理，生成所述第一图像对应的预增强图像；

计算所述预增强图像和所述第一图像之间的信息差，以及根据所述信息差和所述第一图像创建并显示所述第一图像对应的增强图像，所述增强图像的显示动态范围大于或等于所述第一图像的显示动态范围。

2.根据权利要求1所述的方法，其特征在于，所述根据所述信息差和所述第一图像创建并显示所述第一图像对应的增强图像，包括：

根据所述信息差、所述电子设备的显示亮度和所述第一图像创建所述增强图像，并显示所述增强图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述信息差、所述电子设备的显示亮度和所述第一图像创建所述增强图像，包括：

根据所述信息差、可扩展动态范围以及所述第一图像创建所述增强图像，其中，所述可扩展动态范围由所述电子设备的显示亮度以及所述信息差对应的元数据所确定。

4.根据权利要求3所述的方法，其特征在于，所述根据所述信息差、可扩展动态范围以及所述第一图像创建所述增强图像，包括：

根据包含BaseImage*Gap*H/Hmax的关系式创建所述增强图像，所述BaseImage表示所述第一图像，所述Gap表示所述信息差，所述H表示所述电子设备当前的可扩展动态范围，所述Hmax表示所述元数据中包含的所述第一图像可扩展的动态范围的最大值，H＝Lheadroom/Lcurrent，所述Lheadroom表示所述电子设备可提供的扩展亮度，所述Lcurrent表示所述电子设备当前的显示亮度，所述Lheadroom大于或者等于所述Lcurrent、且所述Lheadroom小于或者等于所述电子设备当前状态下可提供的最大显示亮度。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述预设模型包括第一模型和第二模型，所述第一模型用于对所述第一图像中的像素点进行颜色映射，生成与所述第一图像具有不同显示动态范围的第二图像，所述第二模型用于对所述第二图像进行细节增强，生成所述预增强图像。

6.根据权利要求5所述的方法，其特征在于，所述第一模型为图像金字塔结构，所述第二模型为自编码器结构。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述计算所述预增强图像和所述第一图像之间的信息差，包括：

计算所述预增强图像中各像素点的第一通道的值与所述第一图像中对应像素点的第一通道的值之间的比值，将各像素点的所述比值确定为所述信息差。

8.根据权利要求7所述的方法，其特征在于，所述第一通道为Y通道。

9.根据权利要求7所述的方法，其特征在于，所述第一通道包括R通道、G通道和B通道。

10.根据权利要求1至9中任一项所述的方法，其特征在于，在所述计算所述预增强图像和所述第一图像之间的信息差之后，所述方法还包括：

将所述第一图像与所述信息差封装保存至同一个图像文件中。

11.根据权利要求10所述的方法，其特征在于，所述根据所述信息差和所述第一图像创建并显示所述第一图像对应的增强图像，包括：

对所述图像文件进行解码，得到所述第一图像和所述信息差；

基于所述信息差和所述第一图像创建并显示所述增强图像。

12.根据权利要求10或11所述的方法，其特征在于，在所述将所述第一图像与所述信息差封装保存至同一个图像文件中的情况下，所述方法还包括：

保存所述信息差对应的元数据，所述元数据包括信息差最大值、信息差最小值以及所述第一图像可扩展的动态范围的最大值中的至少一个。

13.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器，以及存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的方法。

14.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1至12中任一项所述的方法。