[go: up one dir, main page]

CN116506630A - 一种图像采集方法、图像显示方法及装置 - Google Patents

一种图像采集方法、图像显示方法及装置 Download PDF

Info

Publication number
CN116506630A
CN116506630A CN202211302042.1A CN202211302042A CN116506630A CN 116506630 A CN116506630 A CN 116506630A CN 202211302042 A CN202211302042 A CN 202211302042A CN 116506630 A CN116506630 A CN 116506630A
Authority
CN
China
Prior art keywords
image
data
jpeg
image frame
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211302042.1A
Other languages
English (en)
Inventor
文锦松
钟顺才
徐巍炜
翟其彦
龚文洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP23742806.5A priority Critical patent/EP4429245A4/en
Priority to PCT/CN2023/072023 priority patent/WO2023138491A1/zh
Publication of CN116506630A publication Critical patent/CN116506630A/zh
Priority to US18/731,364 priority patent/US20240323544A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Digital Computer Display Output (AREA)

Abstract

一种图像采集方法、图像显示方法及装置，以缩小显示端显示的图像与采集端的显示的图像的差别。采集端在编码时将用于表达压缩前图像与压缩后图像的亮度映射关系的数据传输给显示端，以尽量保证采集端与显示端的图像的一致性。此外，用于表达采集端亮度的屏幕相关信息传输给显示端，从而显示端在调整背光以及像素值时参考该屏幕相关信息，以提高采集端与显示端的图像的一致性。

Description

一种图像采集方法、图像显示方法及装置
本申请要求在2022年01月18日提交中国专利局、申请号为202210056484.6、申请名称为“一种图像采集方法、图像显示方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像采集方法、图像显示方法及装置。
背景技术
现有终端设备，比如手机，平板等等，在完成图像采集之后对图像数据进行压缩编码，并没有考虑其他设备信息，显示端随着环境光变化，会自动调整屏幕亮度，不管哪种亮度下，送显数据不变，可能会导致显示端与采集端的显示效果相差较大。
发明内容
本申请实施例提供一种图像采集方法、图像显示方法及装置，以缩小显示端显示的图像与采集端的显示的图像的差别。
第一方面，本申请实施例提供一种图像采集方法，应用于采集端设备，包括：采集第一图像以获得第一图像的图像数据；根据所述第一图像的图像数据对所述第一图像压缩处理获取第二图像的图像数据，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；根据所述第一图像的图像数据和所述第二图像的图像数据获得所述第二图像的传输数据；其中，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第一图像与第二图像的亮度映射关系；发送所述第二图像的传输数据。
目前方案中，采集端设备在进行拍摄时，虽然保留了较多的高亮细节，但没有完整的记录真实场景的相对亮暗关系，这种相对亮暗关系被减弱了。而本申请实施例通过第一亮度相关数据将拍摄时图像细节传输给显示端设备。进而显示端设备可以根据第一亮度相关数据对接收到图像的像素值进行调整得到待显示的图像，使得待显示的图像更靠近采集端设备采集的图像。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光参数、所述第二图像的图像数据以及至少一个设定屏幕背光参数确定的，所述至少一个设定屏幕背光参数与所述采集端设备的屏幕背光参数不同。
上述方案中，采集端设备在编码阶段，根据采集端使用的屏幕信息，生成用于在其他可能屏幕亮度下的色调映射曲线，用于保持采集端观看到的动态范围。
在一种可能的设计中，所述传输数据还包括屏幕相关信息，屏幕相关信息包括如下至少一项：所述采集端设备的屏幕背光参数、或者所述采集端设备的屏幕背光参数下的背光亮度与至少一个设定屏幕背光参数下的背光亮度的映射关系、或者至少一个设定屏幕背光参数下的背光亮度相对于所述采集端设备的屏幕背光参数下的背光亮度的调整比例。
上述设计中，采集端向显示端传输采集端的屏幕相关信息，可以用于指导显示时背光的提升倍率。尽量提高显示端设备显示效果与采集端的显示效果的一致性。
在一种可能的设计中，根据所述第一图像和所述第二图像获得所述第一亮度相关数据，包括：根据所述第一图像和所述第二图像的比特位数，分别对所述第一图像的图像数据和所述第二图像的图像数据进行归一化处理，得到所述第一图像的归一化数据以及所述第二图像的归一化数据；根据所述第一图像的归一化数据以及所述第二图像的归一化数据获得所述第一亮度相关数据。
上述设计中，通过归一化处理，可以减少编码数据量以及传输的数据量，提高编码和传输效率。
在一种可能的设计中，所述第一图像的比特位数为N，所述第二图像的比特位数为M,所述第一图像的归一化数据的范围为0-X，所述第二图像的归一化数据的范围为0-Y；其中，Y/X＝2M-N。
在一种可能的设计中，所述根据所述第一图像的归一化数据以及所述第二图像的归一化数据获得所述亮度相关数据，包括：根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成所述第一亮度相关数据。
在一种可能的设计中，根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成所述第一亮度相关数据，包括：获取所述第一图像与第二图像对应像素点的归一化数据的比值；当所述第一图像的第一像素点的归一化数据与所述第二图像的第一像素点的归一化数据比值小于1时，对所述第一像素点的归一化数据的比值进行修正，以得到所述第一亮度相关数据；所述第一像素点为第一图像或者第二图像的一个像素点。
在一种可能的设计中，所述根据所述第一图像的归一化数据以及所述第二图像的归一化数据获得所述第一亮度相关数据，包括：根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成第二亮度相关数据；识别到所述第一图像包括设定高亮物体，根据光电转换曲线对所述第二亮度相关数据中所述高亮物体对应的像素点的亮度映射关系进行调整得到所述第一亮度相关数据。
由于人眼是非线性的，因此在执行压缩处理时，比如在将12bit的图像压缩为8bit图像后，可以进一步采用S曲线对8bit的图像进行压缩，使得图像细节得到增强。但是采用S曲线可能导致第二图像中某些像素点的亮度值高于第一图像中对应像素点的亮度值，因此本申请通过上述设计可以对确定的亮度相关数据(比值或者调整值)再进行进一步调整，以使得第二图像中的像素点的亮度值不再高于第一图像中对应像素点的亮度值。提高显示端显示图像的准确度。
在一种可能的设计中，根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成所述第二亮度相关数据，包括：获取所述第一图像与第二图像对应像素点的归一化数据的比值；当所述第一图像的第一像素点的归一化数据与所述第二图像的第一像素点的归一化数据比值小于1时，对所述第一像素点的归一化数据的比值进行修正，以得到所述第二亮度相关数据；所述第一像素点为第一图像或者第二图像的一个像素点。
在一种可能的设计中，所述光电转换曲线包括感知量化PQ转换曲线、混合对数伽马HLG转换曲线或者场景亮度保真SLF转换曲线中的至少一项。
在一种可能的设计中，所述第一亮度相关数据承载于所述第二图像的元数据中。
在一种可能的设计中，所述第一亮度相关数据、屏幕相关信息以及至少一条色调映射曲线是按照所述第二图像的编码数据的编码格式编码的。
在一种可能的设计中，所述第二图像的传输数据包含于采用联合图像专家小组JPEG格式编码的JPEG文件中，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中。
上述设计中，通过APP字段来将第一亮度相关数据编码给显示端，显示端在解码第一JPEG图像帧的过程来解码得到第一亮度相关数据，进而根据第一亮度相关数据对接收到图像的像素值进行调整得到待显示的图像，使得待显示的图像更靠近采集端设备采集的图像。
在一种可能的设计中，所述第一亮度相关数据以元数据的形式承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型标识的取值为第一值，用于指示所述第一亮度相关数据的数据类型为元数据类型。
在一种可能的设计中，所述第二图像的传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述第二图像的传输数据包含于采用JPEG格式编码的JPEG文件中，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，所述第二JPEG图像帧承载所述第一亮度相关数据。
上述设计中，通过独立的JPEG图像帧来编码第一亮度相关数据，以提供一种简单且有效的编码方式。第一亮度相关数据与第二图像的图像数据分别采用独立编码的方式，从而可以独立解码，在并行解码不同帧的情况，可以提高解码效率。
在一种可能的设计中，所述第一JPEG图像帧的APP字段包括第一位置标识，所述第一位置标识用于指示所述第二JPEG图像帧在所述JPEG文件的起始位置。
在一种可能的设计中，所述第一JPEG图像帧和第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值，用于指示第一JPEG图像帧的APP字段承载第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值，用于指示第二JPEG图像帧的APP字段承载所述第一亮度相关数据。
其中，第三值和第四值的取值不同。
在一种可能的设计中，所述第二JPEG图像帧的APP字段包括数据类型标识，所述数据类型标识的取值为第二值，用于指示所述第一亮度相关数据的数据类型为图像帧类型。
其中，第一值和第二值的取值不同。
在一种可能的设计中，所述第二图像的传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中或者承载与所述第二JPEG图像帧的APP字段中。
在一种可能的设计中，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述第一图像放大后的图像中相比第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比第一减少的像素值信息，所述高频纹理增强数据用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息或者用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。
上述设计中，将缩放显示的数据发送给显示端，从而在显示端需要放大或者缩小显示图像的情况下，可以进一步增加显示的图像的细节部分，以实现对显示的图像进行进一步增强。
在一种可能的设计中，所述缩放增强数据承载于所述第一JPEG图像帧的APP字段。
在一种可能的设计中，当所述缩放显示数据包括所述用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线承载于所述第一JPEG图像帧的APP字段；或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/或第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；
所述缩放增强方式标识为第五值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上加权叠加所述高频纹理增强数据；或者，所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
其中，第一值与第二值取值不同。第三值与第四值取值不同。第五值、第六值以及第七值取值均不相同。一些场景中，第一值、第二值、第三值、第四值、第五值、第六值和第七值中可以存在重复取值，比如，第一值与第三值相同，第四值与第五值相同等等，本申请实施例对此不作具体限定。
第二方面，本申请实施例提供一种图像显示方法，应用于显示端设备，包括：接收第二图像的传输数据，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第二图像与第一图像的亮度映射关系，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第二图像是在所述第一图像的基础上压缩得到的图像；确定第一色调映射曲线；根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；根据所述亮度相关数据对第三图像的像素点的像素值进行调整得到待显示的图像。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光信息、所述第二图像以及至少一个设定屏幕显示参数确定的；确定第一色调映射曲线，包括：根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配。
上述方案中，显示端根据采集端传输的TM曲线生成适配显示端设备的TM曲线，并作用到图像上，使得在各种亮度屏幕下，用户查看到的图像效果和采集端在参考屏幕上的效果尽可能一致。
在一种可能的设计中，接收第二图像的传输数据包括：
接收码流，所述码流中包括采用联合图像专家小组JPEG格式编码的JPEG文件，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，以及所述第一亮度相关数据承载于第一所述JPEG图像帧的应用标识APP字段中；
从所述第一JPEG图像帧解码所述第二图像以及从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型的取值为第一值，指示所述第一亮度相关数据的数据类型为元数据类型。所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第一值时，从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的应用标识APP字段中；
所述方法还包括：
从所述第一JPEG图像帧的应用标识APP字段中解码所述至少一条色调映射曲线。
在一种可能的设计中，所述接收第二图像的传输数据包括：
接收码流，所述码流中包括采用JPEG格式编码的JPEG文件，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧；
从所述第一JPEG图像帧解码所述第二图像以及从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型的取值为第二值，指示所述第一亮度相关数据的数据类型为图像帧类型。所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第二值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段包括第一位置标识，所述第一位置标识用于指示所述第二JPEG图像帧在所述JPEG文件的起始位置；
从所述第一JPEG图像帧解码所述第二图像以及从所述第二JPEG图像帧中解码所述第一亮度相关数据，包括：
从所述第一JPEG图像帧解码所述第二图像以及获取所述第一位置标识；
根据所述第一位置标识从所述JPEG文件确定所述第二JPEG图像帧的起始位置，以及根据所述起始位置从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值时，指示第一JPEG图像帧的APP字段承载所述第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值时，指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据。
从所述第一JPEG图像帧解码所述第二图像的图像数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的文件类型标识为第三值时，从所述第一JPEG图像帧中解码所述第二图像的图像数据；
所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第二JPEG图像帧的APP字段解码的文件类型标识为第四值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中或者所述第二JPEG图像帧的APP字段中；
所述方法还包括：
从所述第一JPEG图像帧的APP字段中或者所述第二JPEG图像帧的APP字段中解码所述至少一条色调映射曲线。
在一种可能的设计中，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述第一图像缩小后的图像相比所述第一图像减小的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减小的高频纹理信息。
在一种可能的设计中，所述方法还包括：
响应于用户针对所述待显示图像的放大或缩小操作，从所述JPEG文件中解码所述缩放显示数据，并根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像。
作为一种举例，所述缩放显示数据包括缩放增强数据，所述缩放增强数据包括用于描述第一图像放大后的图像中相比第一图像增加的像素值信息。用户针对待显示图像执行放大操作的情况下，显示端设备根据该缩放增强数据对待显示图像进行增强处理。比如，在待显示图像的基础上叠加缩放增强数据。
作为一种举例，所述缩放显示数据包括缩放增强数据，所述缩放增强数据包括用于描述第一图像缩小后的图像中相比第一图像减少的像素值信息。用户针对待显示图像执行放大操作的情况下，显示端设备根据该缩放增强数据对待显示图像进行调整处理。比如，在待显示图像的基础上减去缩放增强数据。
作为一种举例，所述缩放显示数据包括高频纹理增强数据，所述缩放增强数据包括用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息。用户针对待显示图像执行放大操作的情况下，显示端设备根据该高频纹理增强数据对待显示图像进行增强处理。比如，根据设定的增强系数对所述高频纹理增强数据进行增强，并将所述增强后的高频纹理增强数据叠加到所述待显示图像上得到所述增强后的待显示图像。
作为一种举例，所述缩放显示数据包括高频纹理增强数据，所述缩放增强数据包括用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。用户针对待显示图像执行缩小操作的情况下，显示端设备根据该高频纹理增强数据对待显示图像进行调整处理。比如，比如，根据设定的增强系数对所述高频纹理增强数据进行负增强，并将所述负增强后的高频纹理增强数据叠加到所述待显示图像上得到所述增强后的待显示图像。
在一种可能的设计中，所述缩放显示数据承载于所述第一JPEG图像帧的APP字段，从所述JPEG文件中解码所述缩放显示数据，包括：
从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线。
在一种可能的设计中，当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；从JPEG文件中解码所述缩放显示数据，包括：
从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线；
或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；从JPEG文件中解码所述缩放显示数据，包括：
从所述第三JPEG图像帧中解码所述缩放增强数据；
或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据；从JPEG文件中解码所述缩放显示数据，包括：
从所述第四JPEG图像帧中解码所述高频纹理增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置；
从所述第三JPEG图像帧中解码所述缩放增强数据，包括：
根据所述第二位置标识从所述JPEG文件确定所述第三JPEG图像帧的起始位置，以及根据所述起始位置从所述第三JPEG图像帧中解码所述缩放增强数据；或者，
从所述第四JPEG图像帧中解码所述高频纹理增强数据，包括：
根据所述第三位置标识从所述JPEG文件确定所述第四JPEG图像帧的起始位置，以及根据所述起始位置从所述第四JPEG图像帧中解码所述缩放增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；所述缩放增强方式标识为第五值时，指示缩放增强方式为叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为加权叠加所述高频纹理增强数据；所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
在一种可能的设计中，根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像，包括：
当所述缩放增强方式标识为所述第五值时，将所述缩放增强数据叠加到所述待显示图像上得到所述增强后的待显示图像；或者，
当所述缩放增强方式标识为所述第六值时，根据设定的增强系数对所述高频纹理增强数据进行增强，并将所述增强后的高频纹理增强数据叠加到所述待显示图像上得到所述增强后的待显示图像；
当所述缩放增强方式标识为所述第七值时，基于用于缩放显示的色调映射曲线调整所述待显示图像的亮度。
在一种可能的设计中，根据所述第一亮度相关数据对第三图像的像素点的像素值进行调整得到待显示的图像，包括：确定调整前所述显示端设备的屏幕背光以及确定调整后的所述显示端设备的屏幕背光；根据调整前所述显示端设备的屏幕背光以及调整后所述显示端设备的屏幕背光调整所述第三图像的像素点的像素值得到第四图像；对所述第四图像和所述第三图像进行加权融合处理得到所述待显示图像；其中，所述第三图像以及所述第四图像的像素点的权重根据所述第一亮度相关数据确定。
一些实施例中，显示端设备可以根据解码得到的屏幕相关信息来确定显示端设备需提升的屏幕背光。比如屏幕相关信息中包括采集端设备的屏幕背光参数、或者所述采集端设备的屏幕背光参数下的背光亮度与至少一个设定屏幕背光参数下的背光亮度的映射关系、或者至少一个设定屏幕背光参数下的背光亮度相对于所述采集端设备的屏幕背光参数下的背光亮度的调整比例。
在一种可能的设计中，所述第四图像的各个像素点的像素值满足如下所示的条件：
pixel1i＝pow(BL0/BL1，1/gamma)*pixel0i；
其中，pixel1i表示第四图像的第i个像素点的像素值，pixel0i表示第三图像的第i个像素点的像素值，BL0表示调整前所述显示端设备的屏幕背光，BL1表示调整后所述显示端设备的屏幕背光，gamma表示所述显示端设备的伽马值，pow(xExp，nExp)表示以xExp为底数的nExp次幂。
在一种可能的设计中，所述待显示图像的各个像素点的像素值满足如下所示的条件：
weighti＝hdrlayeri/2N；
pixeli＝pixel0i*weighti+pixel1i*(1-weighti)；
其中，N表示所述第二图像占用的比特位数，hdrlayeri表示第i个像素点对应的第一亮度相关数据，pixel1i表示所述第四图像的第i个像素点的像素值，pixel0i表示所述第三图像的第i个像素点的像素值，pixeli表示所述待显示图像的各个像素点的像素值。
在一种可能的设计中，所述方法还包括：调整所述显示端设备的屏幕背光。
在一种可能的设计中，调整后的显示端设备的屏幕背光满足如下所示的条件：
BL1＝BL0*(k1*AVG(hdrlayeri)+b1)；或者，
BL1＝BL0*(k2*max(hdrlayeri)+b2)；
其中，BL1表示调整后所述显示端设备的屏幕背光，BL0表示调整前的所述显示端设备的屏幕背光，hdrlayeri表示所述显示端设备的显示屏的第i个像素点对应的亮度相关数据，AVG(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度相关数据的平均值，max(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度相关数据的最大值，k1、k2均为正数，b1、b2均为小于1的正数。
第三方面，本申请实施例提供一种图像采集装置，应用于采集端设备，包括：
采集模块，用于采集第一图像以获得第一图像的图像数据；
处理模块，用于根据所述第一图像数据对所述第一图像压缩处理获取第二图像的图像数据，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；根据所述第一图像的图像数据和所述第二图像的图像数据获得所述第二图像的传输数据；其中，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第一图像与第二图像的亮度映射关系；
发送模块，用于发送所述传输数据。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光参数、所述第二图像的图像数据以及至少一个设定屏幕背光参数确定的，所述至少一个设定屏幕背光参数与所述采集端设备的屏幕背光参数不同。
在一种可能的设计中，所述处理模块，具体用于根据所述第一图像和所述第二图像的比特位数，分别对所述第一图像的图像数据和所述第二图像的图像数据进行归一化处理，得到所述第一图像的归一化数据以及所述第二图像的归一化数据；根据所述第一图像的归一化数据以及所述第二图像的归一化数据获得所述第一亮度相关数据。
在一种可能的设计中，所述第一图像的比特位数为N，所述第二图像的比特位数为M,所述第一图像的归一化数据的范围为0-X，所述第二图像的归一化数据的范围为0-Y；其中，Y/X＝2M-N。
在一种可能的设计中，所述处理模块，具体用于根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成所述第一亮度相关数据。
在一种可能的设计中，所述处理模块，具体用于获取所述第一图像与第二图像对应像素点的归一化数据的比值；当所述第一图像的第一像素点的归一化数据与所述第二图像的第一像素点的归一化数据比值小于1时，对所述第一像素点的归一化数据的比值进行修正，以得到所述第一亮度相关数据；所述第一像素点为第一图像或者第二图像的一个像素点。
在一种可能的设计中，所述处理模块，具体用于根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成第二亮度相关数据；识别到所述第一图像包括设定高亮物体，根据光电转换曲线对所述第二亮度相关数据中所述高亮物体对应的像素点的亮度映射关系进行调整得到所述第一亮度相关数据。
在一种可能的设计中，所述处理模块，具体用于获取所述第一图像与第二图像对应像素点的归一化数据的比值；当所述第一图像的第一像素点的归一化数据与所述第二图像的第一像素点的归一化数据比值小于1时，对所述第一像素点的归一化数据的比值进行修正，以得到所述第二亮度相关数据；所述第一像素点为第一图像或者第二图像的一个像素点。
在一种可能的设计中，所述光电转换曲线包括感知量化PQ转换曲线、混合对数伽马HLG转换曲线或者场景亮度保真SLF转换曲线中的至少一项。
在一种可能的设计中，所述第一亮度相关数据承载于所述第二图像的元数据中。
在一种可能的设计中，所述第一亮度相关数据、屏幕相关信息以及至少一条色调映射曲线是按照所述第二图像的编码数据的编码格式编码的。
在一种可能的设计中，所述第二图像的传输数据包含于采用联合图像专家小组JPEG格式编码的JPEG文件中，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中。
在一种可能的设计中，所述第一亮度相关数据以元数据的形式承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型标识的取值为第一值时，指示所述第一亮度相关数据的数据类型为元数据类型。
在一种可能的设计中，所述第二图像的传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述第二图像的传输数据包含于采用JPEG格式编码的JPEG文件中，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，所述第二JPEG图像帧承载所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段包括第一位置标识，所述第一位置标识用于指示所述第二JPEG图像帧在所述JPEG文件的起始位置。
在一种可能的设计中，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值时，指示第一JPEG图像帧的APP字段承载所述第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值时，指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据。
在一种可能的设计中，所述第二JPEG图像帧的APP字段包括数据类型标识，所述数据类型标识的取值为第二值时，指示所述第一亮度相关数据的数据类型为图像帧类型。
在一种可能的设计中，所述第二图像的传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中或者承载于所述第二JPEG图像帧的APP字段中。
在一种可能的设计中，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述所述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减少的高频纹理信息。
在一种可能的设计中，所述缩放显示数据承载于所述第一图像帧的APP字段中。
在一种可能的设计中，当所述缩放显示数据包括所述用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线承载于所述第一JPEG图像帧的APP字段；或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/或第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；
所述缩放增强方式标识为第五值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上加权叠加所述高频纹理增强数据；或者，所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
第四方面，本申请实施例提供一种图像显示装置，应用于显示端设备，包括：
解码模块，用于接收第二图像的传输数据，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第二图像与第一图像的亮度映射关系，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第二图像是在所述第一图像的基础上压缩得到的图像；确定第一色调映射曲线；
处理模块，用于根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；根据所述亮度相关数据对第三图像的像素点的像素值进行调整得到待显示的图像。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光信息、所述第二图像以及至少一个设定屏幕显示参数确定的；
所述解码模块，具体用于根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配。
在一种可能的设计中，还包括接收模块，用于接收码流，所述码流中包括采用联合图像专家小组JPEG格式编码的JPEG文件，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，以及所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中；
所述解码模块具体用于，从所述JPEG图像帧解码所述第二图像以及从所述JPEG图像帧的APP字段中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型的取值为第一值，指示所述第一亮度相关数据的数据类型为元数据类型。所述解码模块，具体用于：当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第一值时，从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的应用标识APP字段中；
所述解码模块，还用于从所述第一JPEG图像帧的应用标识APP字段中解码所述至少一条色调映射曲线。
在一种可能的设计中，还包括接收模块，用于接收码流，所述码流中包括采用JPEG格式编码的JPEG文件，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧；
所述解码模块具体用于从所述第一JPEG图像帧解码所述第二图像以及从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型的取值为第二值，指示所述第一亮度相关数据的数据类型为图像帧类型。所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第二值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段包括第一位置标识，所述第一位置标识用于指示所述第二JPEG图像帧在所述JPEG文件的起始位置；
所述解码模块具体用于从所述第一JPEG图像帧解码所述第二图像以及获取所述第一位置标识；根据所述第一位置标识从所述JPEG文件确定所述第二JPEG图像帧的起始位置，以及根据所述起始位置从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值时，指示第一JPEG图像帧的APP字段承载所述第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值时，指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据。所述解码模块，具体用于：当所述从所述第一JPEG图像帧的APP字段解码的文件类型标识为第三值时，从所述第一JPEG图像帧中解码所述第二图像的图像数据；当所述从所述第二JPEG图像帧的APP字段解码的文件类型标识为第四值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中或者所述第二JPEG图像帧的APP字段中；
所述解码模块还用于从所述第一JPEG图像帧的APP字段中或者所述第二JPEG图像帧的APP字段中解码所述至少一条色调映射曲线。
在一种可能的设计中，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像增加的高频纹理信息；
所述解码模块，还用于从所述JPEG文件中解码所述缩放显示数据。所述处理模块还用于响应于用户针对所述待显示图像的放大或缩小操作，并根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像。
在一种可能的设计中，所述缩放显示数据承载于所述第一JPEG图像帧的APP字段，所述解码模块具体用于：
从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线。
在一种可能的设计中，当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；所述解码模块具体用于从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线；
在一种可能的设计中，当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；所述解码模块具体用于从所述第三JPEG图像帧中解码所述缩放增强数据；
在一种可能的设计中，当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据；所述解码模块具体用于从所述第四JPEG图像帧中解码所述高频纹理增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置；
所述解码模块具体用于根据所述第二位置标识从所述JPEG文件确定所述第三JPEG图像帧的起始位置，以及根据所述起始位置从所述第三JPEG图像帧中解码所述缩放增强数据；或者，
所述解码模块具体用于根据所述第三位置标识从所述JPEG文件确定所述第四JPEG图像帧的起始位置，以及根据所述起始位置从所述第四JPEG图像帧中解码所述缩放增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；所述缩放增强方式标识为第五值时，指示缩放增强方式为叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为加权叠加所述高频纹理增强数据；所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度；
所述处理模块，还用于：
当所述缩放增强方式标识为所述第五值时，将所述缩放增强数据叠加到所述待显示图像上得到所述增强后的待显示图像；或者，
当所述缩放增强方式标识为所述第六值时，根据设定的增强系数对所述高频纹理增强数据进行增强，并将所述增强后的高频纹理增强数据叠加到所述待显示图像上得到所述增强后的待显示图像；
当所述缩放增强方式标识为所述第七值时，基于用于缩放显示的色调映射曲线调整所述待显示图像的亮度。
在一种可能的设计中，所述处理模块，具体用于确定调整前所述显示端设备的屏幕背光以及确定调整后的所述显示端设备的屏幕背光；根据调整前所述显示端设备的屏幕背光以及调整后所述显示端设备的屏幕背光调整所述第三图像的像素点的像素值得到第四图像；对所述第四图像和所述第三图像进行加权融合处理得到所述待显示图像；其中，所述第三图像以及所述第四图像的像素点的权重根据所述第一亮度相关数据确定。
在一种可能的设计中，所述第四图像的各个像素点的像素值满足如下所示的条件：
pixel1i＝pow(BL0/BL1，1/gamma)*pixel0i；
其中，pixel1i表示第四图像的第i个像素点的像素值，pixel0i表示第三图像的第i个像素点的像素值，BL0表示调整前所述显示端设备的屏幕背光，BL1表示调整后所述显示端设备的屏幕背光，gamma表示所述显示端设备的伽马值，pow(xExp，nExp)表示以xExp为底数的nExp次幂。
在一种可能的设计中，所述待显示图像的各个像素点的像素值满足如下所示的条件：
weighti＝hdrlayeri/2N；
pixeli＝pixel0i*weighti+pixel1i*(1-weighti)；
其中，N表示所述第二图像占用的比特位数，hdrlayeri表示第i个像素点对应的第一亮度相关数据，pixel1i表示所述第四图像的第i个像素点的像素值，pixel0i表示所述第三图像的第i个像素点的像素值，pixeli表示所述待显示图像的各个像素点的像素值。
在一种可能的设计中，所述处理模块，还用于调整所述显示端设备的屏幕背光。
在一种可能的设计中，调整后的显示端设备的屏幕背光满足如下所示的条件：
BL1＝BL0*(k1*AVG(hdrlayeri)+b1)；或者，
BL1＝BL0*(k2*max(hdrlayeri)+b2)；
其中，BL1表示调整后所述显示端设备的屏幕背光，BL0表示调整前的所述显示端设备的屏幕背光，hdrlayeri表示所述显示端设备的显示屏的第i个像素点对应的亮度相关数据，AVG(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度相关数据的平均值，max(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度相关数据的最大值，k1、k2均为正数，b1、b2均为小于1的正数。
第五方面，本申请实施例提供一种图像编码的方法，应用于编码装置，包括：将第二图像的图像数据和第一亮度相关数据编入码流，所述码流中包括联合图像专家小组JPEG文件，所述JPEG文件承载所述第二图像的图像数据和所述第一亮度相关数据；所述第二图像的图像数据是对第一图像的图像数据进行压缩得到的，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第一亮度相关数据用于表征所述第一图像与所述第二图像的亮度映射关系；发送所述码流。
目前方案中，采集端设备在进行拍摄时，虽然保留了较多的高亮细节，但没有完整的记录真实场景的相对亮暗关系，这种相对亮暗关系被减弱了。而本申请实施例通过第一亮度相关数据将拍摄时图像细节编码给显示端设备。进而显示端设备可以根据第一亮度相关数据对接收到图像的像素值进行调整得到待显示的图像，使得待显示的图像更靠近采集端设备采集的图像。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中。
上述设计中，将第一亮度相关数据与第二图像的图像数据统一编码，将第一亮度相关数据复用在图像帧的APP字段，从而显示端设备在解码第二图像的图像数据的过程即将第一亮度相关数据解码出来，实现简单且有效。
在一种可能的设计中，所述第一亮度相关数据以元数据的形式承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型标识的取值为第一值时，指示所述第一亮度相关数据的数据类型为元数据类型。
在一种可能的设计中，所述方法还包括：将至少一条色调映射曲线编入所述第一JPEG图像帧的APP字段。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，所述第二JPEG图像帧承载所述第一亮度相关数据。
上述设计中，通过独立的JPEG图像帧来编码第一亮度相关数据，以提供一种简单且有效的编码方式。第一亮度相关数据与第二图像的图像数据分别采用独立编码的方式，从而可以独立解码，在并行解码不同帧的情况，可以提高解码效率。
在一种可能的设计中，所述第一JPEG图像帧的APP字段包括第一位置标识，所述第一位置标识用于指示所述第二JPEG图像帧在所述JPEG文件的起始位置。
在一种可能的设计中，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值，用于指示第一JPEG图像帧的APP字段承载所述第二图像的图像数据，所述第二JPEG图像帧的文件类型标识取值为第四值，用于指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据。
在一种可能的设计中，所述第二JPEG图像帧的APP字段包括数据类型标识，所述数据类型标识的取值为第二值时，指示所述第一亮度相关数据的数据类型为图像帧类型。
在一种可能的设计中，所述方法还包括：
将至少一条色调映射曲线编入所述第二JPEG图像帧的APP字段中。
在一种可能的设计中，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光参数、所述第二图像的图像数据以及至少一个设定屏幕背光参数确定的，所述至少一个设定屏幕背光参数与所述采集端设备的屏幕背光参数不同。
在一种可能的设计中，所述方法还包括：
将缩放显示数据编入所述第一JPEG图像帧的APP字段；
所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述所述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减少的高频纹理信息。
在一种可能的设计中，所述JPEG文件还包括第三JPEG图像帧，所述方法还包括：
将缩放显示数据编入所述JPEG文件中，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述所述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减少的高频纹理信息。
当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述缩放增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/或第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；
所述缩放增强方式标识为第五值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上加权叠加所述高频纹理增强数据；或者，所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
第六方面，本申请实施例提供一种图像解码的方法，具体效果可以参见第五方面的相关描述，此处不再赘述。该方法包括：接收码流，所述码流中包括联合图像专家小组JPEG格式编码的JPEG文件；从所述JPEG文件中解码第二图像的图像数据以及第一亮度相关数据；其中，所述第二图像的图像数据是对第一图像的图像数据进行压缩得到的，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第一亮度相关数据用于表征所述第一图像与所述第二图像的亮度映射关系。所述第一亮度相关数据用于对第二图像的图像数据进行中增强处理。
在一种可能的设计中，根据所述第一亮度相关数据对所述第二图像的图像数据进行增强处理，以得到待显示图像。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，以及所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中；
所述从所述JPEG文件中解码所述第二图像的图像数据以及第一亮度相关数据，包括：
针对所述第一JPEG图像帧进行解码，得到所述第二图像的图像数据，并从所述第一JPEG图像帧的APP字段中获取所述第一亮度相关数据。
在一种可能的设计中，所述第一亮度相关数据以元数据的形式承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型的取值为第一值，指示所述第一亮度相关数据的数据类型为元数据类型。所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第一值时，从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据。
在一种可能的设计中，所述方法还包括：
从所述第一JPEG图像帧的应用标识APP字段中解码至少一条色调映射曲线；
根据所述第一亮度相关数据对所述第二图像的图像数据进行增强处理，以得到待显示图像，包括：
根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配；
根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；
根据所述第一亮度相关数据对所述第三图像的像素点的像素值进行调整得到所述待显示的图像。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，所述第二JPEG图像帧承载所述第一亮度相关数据；
所述从所述JPEG文件中解码所述第二图像的图像数据以及第一亮度相关数据，包括：
从所述第一JPEG图像帧解码所述第二图像的图像数据，并从所述第二JPEG图像帧解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型的取值为第二值，指示所述第一亮度相关数据的数据类型为图像帧类型。所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第二值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值时，指示第一JPEG图像帧的APP字段承载所述第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值时，指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据。
从所述第一JPEG图像帧解码所述第二图像的图像数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的文件类型标识为第三值时，从所述第一JPEG图像帧中解码所述第二图像的图像数据。
所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第二JPEG图像帧的APP字段解码的文件类型标识为第四值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述方法还包括：
从所述第一JPEG图像帧的应用标识APP字段或者从所述第二JPEG图像帧的APP字段中解码至少一条色调映射曲线；
根据所述第一亮度相关数据对所述第二图像的图像数据进行增强处理，以得到待显示图像，包括：
根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配；
根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；
根据所述第一亮度相关数据对所述第三图像的像素点的像素值进行调整得到所述待显示的图像。
在一种可能的设计中，所述JPEG文件还编码有缩放显示数据；所述方法还包括：
响应于用户针对所述待显示图像的放大或缩小操作，从所述JPEG文件中解码所述缩放显示数据，并根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像；
其中，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述所述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减少的高频纹理信息。
在一种可能的设计中，所述缩放显示数据承载于所述第一JPEG图像帧的APP字段，从JPEG文件中解码所述缩放显示数据，包括：
从所述第一JPEG图像帧的APP字段解码所述缩放显示数据。
在一种可能的设计中，当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；从JPEG文件中解码所述缩放显示数据，包括：
从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线；
或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；从JPEG文件中解码所述缩放显示数据，包括：
从所述第三JPEG图像帧中解码所述缩放增强数据；
或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据；从JPEG文件中解码所述缩放显示数据，包括：
从所述第四JPEG图像帧中解码所述高频纹理增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置；
从所述第三JPEG图像帧中解码所述缩放增强数据，包括：
根据所述第二位置标识从所述JPEG文件确定所述第三JPEG图像帧的起始位置，以及根据所述起始位置从所述第三JPEG图像帧中解码所述缩放增强数据；或者，
从所述第四JPEG图像帧中解码所述高频纹理增强数据，包括：
根据所述第三位置标识从所述JPEG文件确定所述第四JPEG图像帧的起始位置，以及根据所述起始位置从所述第四JPEG图像帧中解码所述缩放增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；所述缩放增强方式标识为第五值时，指示缩放增强方式为叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为加权叠加所述高频纹理增强数据；所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
第七方面，本申请实施例提供一种编码装置，包括：
编码模块，用于将第二图像的图像数据和第一亮度相关数据编入码流，所述码流中包括联合图像专家小组JPEG文件，所述JPEG文件承载所述第二图像的图像数据和所述第一亮度相关数据；所述第二图像的图像数据是对第一图像的图像数据进行压缩得到的，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第一亮度相关数据用于表征所述第一图像与所述第二图像的亮度映射关系；
发送模块，用于发送所述码流。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中。
在一种可能的设计中，所述第一亮度相关数据以元数据的形式承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型标识的取值为第一值时，指示所述第一亮度相关数据的数据类型为元数据类型。
在一种可能的设计中，所述编码模块，还用于：
将至少一条色调映射曲线编入所述第一JPEG图像帧的APP字段。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，所述第二JPEG图像帧承载所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段包括第一位置标识，所述第一位置标识用于指示所述第二JPEG图像帧在所述JPEG文件的起始位置。
在一种可能的设计中，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值，用于指示第一JPEG图像帧的APP字段承载所述第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值，用于指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据。
在一种可能的设计中，所述第二JPEG图像帧的APP字段包括数据类型标识，所述数据类型标识的取值为第二值时，指示所述第一亮度相关数据的数据类型为图像帧类型。
在一种可能的设计中，所述编码模块，还用于：
将至少一条色调映射曲线编入所述第二JPEG图像帧的APP字段中。
在一种可能的设计中，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光参数、所述第二图像的图像数据以及至少一个设定屏幕背光参数确定的，所述至少一个设定屏幕背光参数与所述采集端设备的屏幕背光参数不同。
在一种可能的设计中，所述编码模块，还用于：
将缩放显示数据编入所述第一JPEG图像帧的APP字段；
所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述所述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减少的高频纹理信息。
在一种可能的设计中，所述JPEG文件还包括第三JPEG图像帧，所述编码模块，还用于：
将缩放显示数据编入所述JPEG文件中，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述所述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减少的高频纹理信息。
当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述缩放增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/或第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；
所述缩放增强方式标识为第五值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上加权叠加所述高频纹理增强数据；或者，所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
第八方面，本申请实施例提供一种解码装置，包括：
接收模块，用于接收码流，所述码流中包括联合图像专家小组JPEG格式编码的JPEG文件；
解码模块，用于从所述JPEG文件中解码第二图像的图像数据以及第一亮度相关数据；
其中，所述第二图像的图像数据是对第一图像的图像数据进行压缩得到的，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第一亮度相关数据用于表征所述第一图像与所述第二图像的亮度映射关系。所述第一亮度相关数据用于对所述第二图像的图像数据进行增强处理。
在一种可能的设计中，解码装置，还包括
处理模块，用于根据所述第一亮度相关数据对所述第二图像的图像数据进行增强处理，以得到待显示图像。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，以及所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中；
解码模块，具体用于针对所述第一JPEG图像帧进行解码，得到所述第二图像的图像数据，并从所述第一JPEG图像帧的APP字段中获取所述第一亮度相关数据。
在一种可能的设计中，所述第一亮度相关数据以元数据的形式承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型的取值为第一值，指示所述第一亮度相关数据的数据类型为元数据类型。解码模块，具体用于当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第一值时，从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据。
在一种可能的设计中，所述解码模块，还用于从所述第一JPEG图像帧的应用标识APP字段中解码至少一条色调映射曲线；
所述处理模块，具体用于：
根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配；
根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；
根据所述第一亮度相关数据对所述第三图像的像素点的像素值进行调整得到所述待显示的图像。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，所述第二JPEG图像帧承载所述第一亮度相关数据；
所述解码模块，具体用于从所述第一JPEG图像帧解码所述第二图像的图像数据，并从所述第二JPEG图像帧解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型的取值为第二值，指示所述第一亮度相关数据的数据类型为图像帧类型。所述解码模块，具体用于当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第二值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值时，指示第一JPEG图像帧的APP字段承载所述第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值时，指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据。
所述解码模块，具体用于当所述从所述第一JPEG图像帧的APP字段解码的文件类型标识为第三值时，从所述第一JPEG图像帧中解码所述第二图像的图像数据；当所述从所述第二JPEG图像帧的APP字段解码的文件类型标识为第四值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
在一种可能的设计中，所述解码模块，还用于从所述第一JPEG图像帧的应用标识APP字段或者从所述第二JPEG图像帧的APP字段中解码至少一条色调映射曲线；
所述处理模块，具体用于：
根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配；
根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；
根据所述第一亮度相关数据对所述第三图像的像素点的像素值进行调整得到所述待显示的图像。
在一种可能的设计中，所述JPEG文件还编码有缩放显示数据；所述解码模块，还用于响应于用户针对所述待显示图像的放大或缩小操作，从所述JPEG文件中解码所述缩放显示数据；
所述处理模块，还用于根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像；
其中，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述所述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减少的高频纹理信息。
在一种可能的设计中，所述缩放显示数据承载于所述第一JPEG图像帧的APP字段，所述解码模块，还用于从所述第一JPEG图像帧的APP字段解码所述缩放显示数据。
在一种可能的设计中，当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；所述解码模块，具体用于从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线；
或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；所述解码模块，具体用于从所述第三JPEG图像帧中解码所述缩放增强数据；
或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据；所述解码模块，具体用于从所述第四JPEG图像帧中解码所述高频纹理增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置；
所述解码模块，具体用于根据所述第二位置标识从所述JPEG文件确定所述第三JPEG图像帧的起始位置，以及根据所述起始位置从所述第三JPEG图像帧中解码所述缩放增强数据；或者，
所述解码模块，具体用于根据所述第三位置标识从所述JPEG文件确定所述第四JPEG图像帧的起始位置，以及根据所述起始位置从所述第四JPEG图像帧中解码所述缩放增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；所述缩放增强方式标识为第五值时，指示缩放增强方式为叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为加权叠加所述高频纹理增强数据；所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
第九方面，本申请实施例提供一种采集端设备，用于实现第一方面或者第五方面所述的方法。
第十方面，本申请实施例提供一种采集端设备包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行第一方面或者第一方面的任一设计所述的方法，或者执行第五方面或者第五方面的任一设计所述的方法。采集端设备还可以包括传感器，用于采集图像。
第十一方面，本申请实施例提供一种显示端设备，用于实现第二方面或者第六方面所述的方法。
第十二方面，本申请实施例提供一种显示端设备包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行第二方面或者第二方面的任一设计所述的方法，或者执行第六方面或者第六方面的任一设计所述的方法。
第十三方面，本申请实施例提供一种图像处理系统，包括第五方面或者第六方面所述的采集端设备，以及第十一方面或者第十二方面所述的显示端设备。
第十四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令，或者用于执行第二方面的任意一种方法的部分或全部步骤的指令，或者用于执行第五方面的任意一种方法的部分或全部步骤的指令，或者用于执行第六方面的任意一种方法的部分或全部步骤的指令。
第十五方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤，或者使得所述计算机执行第二方面的任意一种方法的部分或全部步骤，或者使得所述计算机执行第五方面的任意一种方法的部分或全部步骤，或者使得所述计算机执行第六方面的任意一种方法的部分或全部步骤。
应当理解的是，本申请的第三至十五方面的有益效果可以参见第一方面至第二方面的相关描述，不再赘述。
本申请在上述各方面提供的实现的基础上，还可以进行进一步组合以提供更多实现。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1A为本申请实施例提供的一种图像显示系统的示意性框图；
图1B为本申请实施例提供的另一种图像显示系统的示意性框图；
图2为本申请实施例提供的图像处理方法流程示意图；
图3为本申请实施例提供的采集端设备执行的图像采集方法流程示意图；
图4为本申请实施例提供的图像编码的方法流程示意图；
图5A为本申请实施例提供的显示端设备执行的图像显示方法流程示意图；
图5B为本申请实施例提供的显示端设备的屏幕背光调整流程示意图；
图6为本申请实施例提供的图像解码的方法流程示意图；
图7为本申请实施例中一种图像采集装置示意图；
图8为本申请实施例中一种图像显示装置示意图；
图9为本申请实施例中一种编码装置示意图；
图10为本申请实施例中一种解码装置示意图；
图11为本申请实施例中采集端设备结构示意图；
图12为本申请实施例中显示端设备结构示意图。
具体实施方式
本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
为了便于理解本申请的实施例的技术方案，先介绍相关的技术术语和物理概念。
(1)像素点是构成图像的基本单元，像素点的颜色通常用若干个(示例性的，比如三个)相对独立的属性来描述，这些独立属性综合作用，自然就构成一个空间坐标，即颜色空间。在本申请实施例中，组成像素点的独立属性称为每个像素点的颜色分量或者称为每个像素点的像素值。例如R分量、G分量、B分量或Y分量。
(2)元数据(metadata)：记录视频或者场景或者帧中图像的关键信息。静态元数据(static metadata)：序列中不变的元数据。动态元数据(dynamic metadata)：随图像或者场景变化的元数据。
(3)图像的比特位数：是指能够显示的图像的颜色的数量的位数。比如若R、G、B每种颜色使用一个字节(8bit)表示，每幅图像可以有1670万种颜色；若R、G、B每种颜色使用两个字节(16bit)表示，每幅图像可以有10的12次方种颜色；如果是灰度图像，每个像素点用一个字节(8bit)表示，一幅图像可以有256级灰度；若每个像素点用两个字节(16bit)表示，一幅图像可以有65536级灰度。
(4)动态背光技术(content adaptive backlight control，CABC)，是根据显示环境和显示内容控制全局的背光，来节省功耗的背光调节现有技术，目前主要应用于手机等移动设备上。
边缘区域调光(edge-lit local dimming)的调光技术中，所有显示屏的背光光源都位于显示屏的面向屏幕中心的边缘。边缘背光被划分为多个区域，从而提供对屏幕这些区域的背光调光控制。所划分的区域越多，对显示内容的背光控制就越精细。
全矩阵区域调光(full-array local dimming)的调光技术中，一般显示屏面板后面有一系列单独的显示屏背光区域用于点亮显示屏，而不是使用任何类型的侧光式背光。每个显示屏背光区域都是独立控制的，将显示屏幕拆分成很多单独的小块“区域”，并以这种小块区域为单位进行局部调光。对于屏幕上同一时间出现的画面内容，可以大致分出不同数量的亮部区域和暗部区域，根据每个区域里不同的亮暗程度分别进行区域性的调光，以达到提高对比度的目的。划分的区域越多、越小，对屏幕上显示内容的调光控制就越好，对比度就越高。
(5)直方图信息：直方图信息是用以表示数字图像中亮度分布的直方图，描绘了图像中每个亮度值的像素数。可以借助观察该直方图了解需要如何调整亮度分布。这种直方图中，横坐标的左侧为纯黑、较暗的区域，而右侧为较亮、纯白的区域。因此，一张较暗图片的图像直方图中的数据多集中于左侧和中间部分；而整体明亮、只有少量阴影的图像则相反。
(6)背光亮度：本申请中指屏幕光源的亮度。背光亮度通常是指采用背光式照射屏幕(如LCD)的光源亮度，而自发光式屏幕通常不采用“背光”的提法。为了方便表述，在本申请中所说的“背光亮度”包括自发光式屏幕的自发光亮度。
屏幕背光参数，是指屏幕显示的最高亮度或者屏幕支持的最高显示亮度，比如可以是600nit等。屏幕背光参数可以是整个屏幕一个最高显示亮度，也可以不同区域对应一个最高显示亮度。
(7)色调映射曲线：
采集端设备通过自然场景的光信号，生成包含自然场景的图片或视频。为了便于图像或视频的传输，需要将光信号转换为电信号，并且通过取值范围固定的亮度值或色度值(例如灰度值介于0～255)，记录各个像素点的图像信息。将光信号转换为电信号的曲线为光电转移函数，常见的光电转移函数有PQ(perceptual quantizer)光电转移函数、HLG(hybrid log-gamma)光电转移函数、场景亮度保真(scene luminance fidelity，SLF)光电转移函数。显示设备可以通过显示图片或视频再现自然场景。显示设备可以根据光电转移函数和图像中各个像素的亮度值或灰度值，确定拍摄时某物体的亮度，即电子设备可以将YUV或RGB信息转化为单位为nit的亮度。然而物体的亮度可能超过了显示设备的显示能力。由于采集端设备获取的亮度信息与显示设备的亮度显示能力不匹配，因此存在使用低亮度显示能力的显示设备显示高亮度图像的情况，以及使用高亮度显示能力的显示设备显示低亮度图像的情况。这些情况都需要对采集端设备获取的图像进行色调映射(tone-mapping)，以使得图像符合显示设备的显示能力。示例性的，可以基于色调映射曲线，将高动态范围图像色调映射在低动态范围显示能力的显示设备。
(7)元数据(metadata)：用于描述视频或者图像处理过程中需要的关键信息或者特征。静态元数据(static metadata)为视频中保持不变的元数据。动态元数据(dynamicmetadata)为随一段视频或者图像变化的元数据。
(8)位流语法的描述方法：
位流语法描述方法类似C语言。位流的语法元素使用粗体字表示，每个语法元素通过名字(用下划线分割的英文字母组，所有字母都是小写)、语法和语义来描述。语法表和正文中语法元素的值用常规字体表示。
某些情况下，可在语法表中应用从语法元素导出的其他变量值，这样的变量在语法表或正文中用带下划线的小写字母命名，或者用小写字母和大写字母混合命名。大写字母开头的变量用于解码当前以及相关的语法结构，也可用于解码后续的语法结构。小写字母开头的变量只在它们所在的小节内使用。
语法元素值的助记符和变量值的助记符与它们的值之间的关系在正文中说明。在某些情况下，二者等同使用。
位串的长度是4的整数倍时，可使用十六进制符号表示。十六进制的前缀是“0x”，例如“0x1a”表示位串“0001 1010”。
条件语句中0表示FALSE，非0表示TRUE。
语法表描述了所有符合本文件的位流语法的超集，附加的语法限制在相关条中说明。
参见图1A和图1B所示，为本申请实施例提供的一种示例性的图像显示系统的示意性框图。图像显示系统可以包括采集端设备100、显示端设备200。示例性的，采集端设备100可以采集图像，采集的图像可以是HDR图像或者标准动态范围(standard dynamic range，SDR)图像。显示端设备200可对由采集端设备100所采集的图像进行显示。
采集端设备100和显示端设备200之间可通过链路102进行通信连接，显示端设备200可经由链路102从采集端设备100接收图像数据。链路102可包括一个或多个通信媒体或装置。一个或多个通信媒体可包含无线和/或有线通信媒体，例如射频(radio frequency，RF)频谱或一个或多个物理传输线。可选的，一个或多个通信媒体可形成基于分组的网络的一部分，基于分组的网络例如可以为局域网、广域网或全球网络(例如，因特网)。一个或多个通信媒体可包含路由器、交换器、基站或促进从采集端设备100到显示端设备200的通信的其它设备。在一种可选的情况中，链路102可以为蓝牙无线链路。
示例性的，采集端设备100包括图片源11、以及通信接口12。通信接口12也可以称为传输接口。另外可选地，采集端设备100还可以包括图像处理器13。具体实现形态中，所述图像处理器13、图片源11、以及通信接口12可能是采集端设备100中的硬件部件，也可能是采集端设备100中的软件程序，或者通信接口12也可以是由硬件模块结合软件程序。
图片源11，可以包括或可以为任何类别的图片捕获设备，用于例如捕获现实世界图片，和/或任何类别的图片或评论(对于屏幕内容编码，屏幕上的一些文字也认为是待编码的图片或图像的一部分)生成设备，例如，用于生成计算机动画图片的计算机图形处理器，或用于获取和/或提供现实世界图片、计算机动画图片(例如，屏幕内容、虚拟现实(virtual reality，VR)图片)的任何类别设备，和/或其任何组合(例如，实景(augmentedreality，AR)图片)。示例性的，图片源11可以为用于捕获图片的相机或者用于存储图片的存储器，图片源11还可以包括存储先前捕获或产生的图片和/或获取或接收图片的任何类别的(内部或外部)接口。当图片源11为相机时，图片源11可例如为本地的或集成在采集端设备中的集成相机。当图片源11为存储器时，图片源11可为本地的或例如集成在采集端设备中的集成存储器。当所述图片源11包括接口时，接口可例如为从外部视频源接收图片的外部接口，外部视频源例如为外部图片捕获设备，比如相机、外部存储器或外部图片生成设备，外部图片生成设备例如为外部计算机图形处理器、计算机或服务器。
其中，图片可以视为像素点的二维阵列或矩阵。阵列中的像素点也可以称为采样点。在一种可选的情况中，为了表示颜色，每个像素点包括三个颜色分量。例如在RGB格式或颜色空间中，图片包括对应的红色、绿色及蓝色采样阵列。但是，在视频编码中，每个像素通常以亮度/色度格式或颜色空间表示，例如对于YUV格式的图片，包括Y指示的亮度分量(有时也可以用L指示)以及U和V指示的两个色度分量。亮度(luma)分量Y表示亮度或灰度水平强度(例如，在灰度等级图片中两者相同)，而两个色度(chroma)分量U和V表示色度或颜色信息分量。相应地，YUV格式的图片包括亮度采样值(Y)的亮度采样阵列，和色度值(U和V)的两个色度采样阵列。RGB格式的图片可以转换或变换为YUV格式，反之亦然，该过程也称为色彩转换或颜色格式转换。如果图片是黑白的，该图片可以只包括亮度采样阵列。本申请实施例中，由图片源11传输至图像处理器的图片也可称为原始图片数据。
图像处理器13，用于执行图像处理，例如亮度映射、色调映射(tone-mapping)、色彩格式转换(例如，从RGB格式转换为YUV格式)、色域转换、饱和度调节、调色、分辨率调节或去噪等。
通信接口12，可用于接收经图像处理的图片数据，并可通过链路102将经图像处理的图片数据传输至显示端设备200做进一步的图像处理，或者传输至存储器进行存储。示例性的，通信接口12可以用于将经图像处理的图片数据封装成合适的格式，例如数据包，以在链路102上传输。
一些实施例中，图像处理器还具有编码功能，用于对处理后的图像数据进行编码。
另一些实施例中，采集端设备100中还可以包括编码器14。编码器用于对图像处理器13处理后的图像数据进行编码，参见图1B所示。
显示端设备200包括通信接口21、图像处理器22和显示设备23。分别描述如下：
通信接口21，可用于从采集端设备100或任何其它源接收经图像处理的图片数据，所述任何其它源例如为存储设备。示例性的，通信接口12和通信接口21的具体实例可参考前述对接口的说明，此处不再赘述。通信接口21可以用于藉由采集端设备100和显示端设备200之间的链路102或其他任何类别的网络传输或接收经图像处理的图片数据，通信接口21可以例如用于解封装通信接口12所传输的数据包以获取经图像处理的图片数据。
通信接口21和通信接口12都可以配置为单向通信接口或者双向通信接口，以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经图像处理的图片数据和/或与数据传输有关的信息。示例性的，通信接口21和通信接口12可以为根据任何专有或标准化接口协议的任何类别的接口，例如高清晰度多媒体接口(highdefinition multimedia interface，HDMI)、移动产业处理器接口(MobileIndustryProcessor Interface，MIPI)、MIPI标准化的显示串行接口(Display SerialInterface，DSI)、视频电子标准协会(Video Electronics Standards Association，VESA)标准化的嵌入式显示端口(Embedded Display Port，eDP)、Display Port(DP)或者V-By-One接口，VBy-One接口是一种面向图像传输开发的数字接口标准，以及各种有线或无线接口、光接口等。
图像处理器22，用于对经图像处理的图片数据执行色调映射处理，以获得经色调映射处理的图片数据。图像处理器22执行的处理还可以包括：超分辨率、色彩格式转换(例如，从YUV格式转换为RGB格式)、去噪、色域转换、饱和度调节、亮度映射、上采样、下采样和图像锐化等处理，还可用于将经色调映射处理的图片数据传输至显示设备23。应当理解，图像处理器13以及图像处理器22可以是通用中央处理器(Central Processing Unit，CPU)、片上系统(System on Chip，SOC)、集成在SOC上的处理器、单独的处理器芯片或控制器等；图像处理器22以及图像处理器13还可以为专用处理设备，例如可以包括专用集成电路(Applica tion Specif ic Integ ra ted Circuit，ASIC)、图像信号处理器(imagesignal processor，ISP)，现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或数字信号处理器(Digital Signal Processor，DSP)、专用的视频或图形处理器、图形处理单元(Graphics Processing Unit，GPU)以及神经网络处理单元(Neural-networkProcessing Unit，NPU)等。图像处理器13以及图像处理器22还可以是多个处理器构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。
显示设备23，用于接收经色调映射处理的图片数据以向用户或观看者显示图片。显示设备23可以为或可以包括任何类别的用于呈现经重构图片的显示器，例如，集成的或外部的显示器或监视器。例如，显示器可以包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微LED显示器、硅基液晶(liq uid crystal on silicon，LCoS)、数字光处理器(digital light processor，DLP)或任何类别的其它显示器。在一种可选的情况中，显示设备23本身具有图像处理的功能，图像的色调映射也可以在显示设备23处实现。一种可选地的情况中，显示设备23也可以不设置于显示端设备200中，可以理解，显示端设备200不具有显示功能。
一些实施例中，图像处理器23还具有编码功能，用于对处理后的图像数据进行编码。
另一些实施例中，显示端设备200中还可以包括解码器24。解码器24用于接收到码流进行解码，参见图1B所示。
在一种可选的情况中，一个图像处理装置可以同时具备采集端设备100和显示端设备200两者的功能，例如智能移动手机具备相机、图像处理器和显示屏，其中，相机对应采集端设备100，图像处理器对应显示端设备200，显示屏对应显示设备23。再例如智能电视具备摄像头、图像处理器和显示屏，摄像头对应采集端设备100，图像处理器对应显示端设备200，显示屏对应显示设备23。
在一种可能场景中，采集端设备100需要向显示端设备传输由连续的多个图像构成的视频流。采集端设备100在向显示端设备200传输视频流之前，可以对视频流中的各个图像进行编码为码流通过链路102传输给显示端设备200。在该场景中，显示端设备200接收到编码后的码流后，从码流中解码得到视频流中的各个图像，然后对各个图像进行进一步处理。作为一种示例，在该场景下，采集端设备100可以称为编码器或者编码设备，则显示端设备200可以称为解码器或者解码设备。
在一种可选的情况中，显示端设备包括硬件层、运行在硬件层之上的操作系统层，以及运行在操作系统层上的应用层。该硬件层包括CPU、内存管理单元(memor ymanagementunit，MMU)和内存(也称为主存)等硬件。该操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。并且，本申请实施例并未对本申请实施例提供的方法的执行主体的具体结构特别限定，只要能够通过运行相关代码以实现本申请实施例提供的方法进行图像处理即可，例如，本申请实施例提供的方法的执行主体可以是电子设备，或者，是电子设备中能够调用程序并执行程序的功能模块，例如可以是电子设备中的处理器。
应当理解，采集端设备100和显示端设备200可以包括任何类别的手持或静止设备，例如，笔记本或膝上型计算机、移动电话、智能手机、平板或平板计算机、摄像机、台式计算机、机顶盒、电视机、相机、车载设备、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备(例如内容服务服务器或内容分发服务器)、广播接收器设备、广播发射器设备等，并可以不使用或使用任何类别的操作系统。
目前，采集端设备在进行拍摄时，为了记录真实场景的高动态范围，会采用多帧不同曝光的图片进行融合或者采用高动态范围的传感器(sensor)，从而得到比特位数较高的图像，但为了保留高亮细节，经过图像处理后，保存较低比特位数(比如8bit)的JPG图或者视频，往往需要进行高亮区域压缩。采集端设备的图像数据经过压缩编码后，分发出去。显示端设备的显示屏亮度一般最大能达到600～1200nit，但会随着环境光变化自适应调整屏幕亮度，环境光低于1000nit时，基本上只使用200nit左右，不管在哪种亮度下，直接送显解码出来的图像数据，导致显示端设备与采集端设备的显示效果相差较大。
基于此，本申请实施例提供一种图像采集方法、图像显示方法及装置，降低采集端设备的图像与显示端设备的显示图像的差异性。
参见图2所示为本申请实施例提供的图像处理方法流程示意图。该方法的步骤201-204可以应用于采集端设备。比如，该方法的步骤201-204可以由一个或者多个处理器实现。该一个或者多个处理器可以包括图1A或者图1B所示的采集端设备100中的图像处理器。或者说，图2所示的步骤201-204可以在编码端实现。该方法中的步骤205-207可以应用于显示端设备。比如，该方法的步骤205-207可以由一个或者多个处理器实现。该一个或者多个处理器可以包括图1A或者图1B所示的显示端设备200中的图像处理器。或者说，图2所示的步骤205-207在解码端实现。
201，采集端设备采集第一图像以获得第一图像的图像数据。需要说明的是，第一图像可以是通过图像传感器拍摄得到的一张图像，也可以通过图像传感器采集多帧不同曝光的图像进行融合得到的一张图像，或者，也可以是拍摄的视频流中的一个视频帧图像。
在一种可能的设计中，第一图像的图像数据的格式可以包括：RAW格式、RGB格式或YUV格式、HSV格式、Lab格式、CMY格式或YCbCr格式中的一种。
例如，采集端设备中的图像传感器采集图像的图像帧格式可以是RAW格式，根据传感器设计的不同，RAW的格式也相应不同。例如RAW格式可以是拜耳RGGB、RYYB、RCCC、RCCB、RGBW、CMYW等多种格式。在一些实施例中，采集端设备中还可以包括ISP，将各种格式的RAW图像转换成RGB格式。ISP也可以将RAW格式转换成下列格式中第一种：YUV格式、HSV格式、Lab格式、CMY格式、YCbCr格式。
需要说明的是，采集端设备采集的第一图像通过占用高比特位数来尽量表示所拍场景的相对亮度关系，可以不作任何数据压缩。比如第一图像占用的比特位数为12bit。
202，采集端设备根据所述第一图像数据对所述第一图像压缩处理获取第二图像的图像数据，所述第一图像占用的比特位数高于所述第二图像占用的比特位数。
本申请实施例中压缩处理是将高比特位数的图像数据压缩为低比特位数的图像数据。此处为了便于与第一图像进行区分将压缩之后的图像称为第二图像。
203，采集端设备根据所述第一图像的图像数据和所述第二图像的图像数据获得所述第二图像的传输数据。
例如，可以先根据第一图像的图像数据和第二图像的图像数据获得亮度相关数据，为了与后续出现的亮度相关数据进行区分，此处将获得的亮度相关数据称为第一亮度相关数据。其中，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第一图像与第二图像的亮度映射关系。本申请实施例中的亮度相关数据也可以称为亮度提升关系数据或者亮度提升数据，或者lightmap数据或者称为hdrlayer数据或者HDR layer数据等等，本申请实施例对此不作具体限定。
一种可能的示例中，第一亮度相关数据可以基于第一图像的像素点的亮度值与第二图像的对应像素点的亮度值的比值确定。以第一像素点为例，第一亮度相关数据可以是第一图像中的第一像素点的亮度值与第二图像中第一像素点的亮度值的比值，或者是比值再经过调整后的值，具体调整方式后续对此进行详细描述，此处不再赘述。另一种示例中，第一亮度相关数据也可以是第二图像的像素点的亮度值相对于第一图像的对应像素点的亮度值的变化值，或者是针对变化值再经过调整后的值，具体调整方式后续对此进行详细描述，此处不再赘述。以第一像素点为例，第一亮度相关数据可以是第二图像中的第一像素点的亮度值相对于第二图像中第一像素点的亮度值的变化值。
另一种可能的示例中，可以图像划分为图像块，进而根据两个图像的对应图像块的亮度值来确定该图像块的第一亮度相关数据。图像块的亮度值可以图像块包括的像素点的亮度平均值(或者最大亮度值或者最小亮度值)之间比值，或者变化值。比如第一图像和第二图像均被划分为Km*Kn个图像块。Km和Kn均为正整数。以比值为例，第i个图像块的第一亮度相关数据可以是第一图像中第i个图像块包括的像素点的亮度平均值与第二图像的第i个图像块包括的像素点的亮度平均值的比值，或者是第一图像中第i个图像块包括的像素点的亮度最大值与第二图像的第i个图像块包括的像素点的亮度最大值的比值，或者是第一图像中第i个图像块包括的像素点的亮度最小值与第二图像的第i个图像块包括的像素点的亮度最小值的比值。i取值大于0且小于或者等于Km*Kn。
在一些可能的实施例中，为了减少第一亮度相关数据在编码传输过程中占用的比特位，可以先对第一图像的图像数据以及第二图像的图像数据进行归一化处理后，然后再结合归一化后的数据获得第一亮度相关数据。
示例性地，可以结合第一图像的比特位数以及第二图像的比特位数来对第一图像的图像数据和第二图像的图像数据进行归一化处理。为了便于区分，将第一图像进行归一化处理后得到的归一化数据称为第一归一化数据，将第二图像进行归一化处理得到的归一化数据称为第二归一化数据。进一步地，根据第一归一化数据和第二归一化数据得到第一亮度相关数据。以第一亮度相关数据是第一图像的像素点的亮度值与第二图像的对应像素点的亮度值的比值为例，经过归一化后，可以将第一归一化数据中像素点的亮度值与第二归一化数据中对应像素点的亮度值的比值作为该像素点的亮度相关数据。
比如，将低比特位数的第二图像的图像数据归一化到[0,X]，则可以进一步根据第一图像的比特位数以及第二图像的比特位数来确定第一图像的归一化数据的范围。例如，第一图像的比特位数为N，第二图像的比特位数为M,第一图像的归一化数据的范围为[0,X]，进而可以确定第二图像的归一化数据的范围为[0,X]；其中，Y/X＝2M-N。举例来说，第一图像的比特位数是8bit，第一图像的图像数据可以归一化处理到[0,1.0]。第二图像的比特位数是12比特，则第二图像的图像数据可以归一化处理到[0,16.0]。
在一些实施例中，第二图像的图像数据传输之前，需要进行编码传输。具体可以把原始图像转换成易于被人眼识别并且占用存储空间更小的媒体数据格式。图像的媒体数据格式例如可以有：ipg格式、jpge格式、bmp格式、tga格式png格式以及gif格式等。视频帧的媒体格式例如可以有：MPEG格式、AVI格式、nAVI格式、ASF格式、MOV格式、WMV格式、3GP格式、RM格式、RMVB格式、FLV/F4V格式、H.264格式以及H.265格式等。示例性地，在编码第一亮度相关数据时，可以采用第二图像的编码数据的编码格式进行编码。比如第二图像的编码数据采用jpg格式，即第二图像编码为一张jpg图，第一亮度相关数据也可以编码为一张jpg图，然后将第二图像编码的jpg图与第一亮度相关数据编码的jpg图链接在一起。再比如，也可以将第二图像的图像数据和第一亮度相关数据编码到一张jpg图中。
204，采集端设备发送所述传输数据。
显示端设备用于执行步骤205-207。
205，显示端设备接收采集端设备发送的第二图像的传输数据。传输数据包括所述第二图像的编码数据以及第一亮度相关数据。
206，显示端设备确定色调映射曲线，根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像。
207，显示端设备根据亮度相关数据对第三图像的像素点的像素值进行调整得到待显示的图像。
目前方案中，采集端设备在进行拍摄时，虽然保留了较多的高亮细节，但没有完整的记录真实场景的相对亮暗关系，这种相对亮暗关系被减弱了。而本申请实施例通过第一亮度相关数据将拍摄时图像细节传输给显示端设备。进而显示端设备可以根据第一亮度相关数据对接收到图像的像素值进行调整得到待显示的图像，使得待显示的图像更靠近采集端设备采集的图像。
在一些可能的场景中，采集端设备所采集的场景中可能包括高亮物体，比如太阳、珠宝等等物体。采集端设备采集的高bit位数的图像也可能存在过曝的区域，虽然通过第一亮度相关数据可以解决由于位宽和ISP处理导致的高亮区域信息缺失，但是人眼响应是非线性的，而第一亮度相关数据中像素级或者块级比例是线性的，为了提高准确性可以使用光电转换曲线对设定高亮物体所对应的像素点或者图像块的亮度相关数据进行调整，使得调整后的第一亮度相关数据满足光电转换曲线的转换关系。为了便于区分，将高亮物体所在区域的亮度相关数据的调整称为亮度相关数据的第一调整。
在一些实施例中，由于人眼是非线性的，因此在执行压缩处理时，比如在将12bit的图像压缩为8bit图像后，可以进一步采用S曲线对8bit的图像进行压缩，使得图像细节得到增强。但是采用S曲线可能导致第二图像中某些像素点的亮度值高于第一图像中对应像素点的亮度值，因此可以对确定的亮度相关数据(比值或者调整值)再进行进一步调整，以使得第二图像中的像素点的亮度值不再高于第一图像中对应像素点的亮度值。为了便于区分，将此处的调整称为亮度相关数据的第二调整。需要说明的是，可以先进行高亮物体的区域的亮度相关数据的调整，即亮度相关数据的第一调整，然后再进行此处的调整，即亮度相关数据的第二调整。也可以先进行此处调整，即亮度相关数据的第二调整，然后再进行高亮物体的区域的亮度相关数据的调整，即亮度相关数据的第一调整，本申请实施例对此不作具体限定。
在一些实施例中，采集端设备所采集的场景中可能不包括高亮物体，在该情况下，可以不再执行高亮物体所在区域的亮度相关数据的调整。在该情况下，在确定比值或者调整值后，可以经过亮度相关数据的第二调整后获得各个像素点或者各个图像块的第一亮度相关数据。
下面结合存在高亮物体的场景，对本申请实施例中由采集端设备执行的方法流程进行描述。参见图3所示。图3中以亮度相关数据采用像素级比值为例。
301，采集端设备中的图像传感器采集高比特位数的第一图像得到第一图像的图像数据。以第一图像的比特位数为12bit为例。
302，采集端设备中的ISP对该第一图像进行压缩处理得到第二图像的图像数据。以第二图像的比特位数为8bit为例。
示例性地，采集端设备的ISP在对第一图像进行压缩处理时，可以采用压缩曲线对第一图像压缩处理以获得第二图像的图像数据。
一些实施例中，将12bit的第一图像压缩为8bit的图像后，可以采用S曲线对8bit的图像进行细节增强处理得到第二图像。示例性地，可以得到12bit的第一图像压缩处理为第二图像的压缩曲线。
303a，采集端设备对第一图像的图像数据进行归一化处理得到第一图像的归一化数据。以将第二图像的图像数据归一化到0-16.0为例。
303b，采集端设备对第二图像的图像数据进行归一化处理得到第二图像的归一化数据。以将第一图像的图像数据归一化到0-1.0为例。
304，采集端设备识别第一图像中高亮物体，比如太阳、珠宝等。在识别高亮物体时可以采用设定的高亮分类网络来从第一图像识别高亮物体，比如采用神经网络。本申请实施例中对用于识别高亮物体的高亮分类网络不作具体限定。
305，采集端设备对第一图像的归一化数据以及第二图像的归一化数据进行比值处理得到每个像素点的亮度相关数据。为了便于区分将此处的比值称为第二亮度相关数据。
示例性地，第二亮度相关数据满足公式(1)所示的条件。
其中，hdrlayeri表示第i个像素点的第二亮度相关数据，表示第一图像中第i个像素点的像素值的归一化数据，表示第二图像中第i个像素点的像素值的归一化数据。I取值为小于或等于第一图像或者第二图像的像素点数量的正整数。
306，采集端设备对第二亮度相关数据进行修正处理得到第一亮度相关数据。比如对高亮物体区域进行修正处理，即亮度相关数据的第一调整。再比如基于压缩曲线对第一调整后的亮度相关数据进行第二调整。例如，压缩曲线如果做S曲线处理，则可以执行第二调整。
进一步采集端设备在将第二图像输出之前会对第二图像进行编码处理。在一些实施例中，在将第一亮度相关数据以及第二图像的图像数据编码以外，还可以编码至少一条色调映射(TM)曲线和/或屏幕相关信息。在该情况下，传输数据中除了包括第一亮度相关数据、第二图像的编码数据以外，还可以包括至少一条色调映射曲线和/或屏幕相关信息。一种可能的示例中，可以结合采集端设备的屏幕背光参数以及第二图像的直方图信息来生成TM曲线。一些场景中，可以对第二图像进行分块的直方图统计来生成不同块对应的TM曲线。比如，将第二图像划分为M*N个图像块。针对每个图像块进行直方图统计，以生成不同块对应的TM曲线。需要说明的是，本申请实施例中不限定生成TM曲线的方式，比如可以采用直方图均衡化方法，还可以采用其他方法，本申请实施例对此不作具体限定。另一种可能的示例中，可以通过配置方式来生成不同的采集端设备的屏幕参数与设定屏幕参数的色调映射曲线关系。比如，采集端设备的屏幕参数为1000nit，对应设定设备屏幕参数500nit、200nit，10nit屏幕。示例性地，可以通过将4个物体屏幕分别为1000nit、500nit、200nit，10nit屏幕来显示同一场景画面，从而调色人员使用调整算法或者软件，通过对500nit、200nit，10nit屏幕进行调整，使得500nit、200nit，10nit屏幕尽量靠近1000nit的屏幕显示效果。从而获得1000nit屏幕分别与500nit、200nit，10nit屏幕对应的色调映射曲线。一些实施例中，也可以通过其他的处理方式来获得不同采集端设备的屏幕参数与多个设定屏幕参数的屏幕之间的色调映射曲线。
在一些实施例中，屏幕相关信息可以是所述采集端设备的屏幕背光参数、或者所述采集端设备的屏幕背光参数下的背光亮度与至少一个设定屏幕背光参数下的背光亮度的映射关系、或者至少一个设定屏幕背光参数下的背光亮度相对于所述采集端设备的屏幕背光参数下的背光亮度的调整比例。
示例性地，以第二图像的编码格式采用jpg图为例，在编码第一亮度相关数据、第二图像的图像数据、至少一条色调映射(TM)曲线和/或屏幕相关信息时，可以将第二图像的图像数据的编码为一张jpg图，然后将第一亮度相关数据编码为另一张jpg图，然后可以将两张jpg图的编码数据连接。至少一条色调映射(TM)曲线和/或屏幕相关信息可以作为元数据承载在jpg图的APP字段中。具体编码方式，本申请对此不作具体限定。
例如，第二图像的编码数据可以采用联合图像专家小组(Joint PhotographicExperts Group，JPEG)格式编码得到。
参见图4所示，为本申请实施例提供的一种图像编码的方法流程示意图。该方法应用编码装置。
401，将第二图像的图像数据和第一亮度相关数据编入码流，所述码流中包括联合图像专家小组JPEG文件，所述JPEG文件承载所述第二图像的图像数据和所述第一亮度相关数据；所述第二图像的图像数据是对第一图像的图像数据进行压缩得到的，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第一亮度相关数据用于表征所述第一图像与所述第二图像的亮度映射关系；
402，发送所述码流。
在编码第一亮度相关数据、第二图像的图像数据可以编码在同一个图像帧中，也可以编码在不同的图像帧中。编码在不同的图像帧，可以理解为，第二图像的图像数据可以编码到一个JPEG图像帧，第一亮度相关数据编码到另一种JPEG图像帧中。示例性地，该一个或者多个JPEG图像帧与包含第二图像的编码数据的JPEG图像帧连接。
一些实施例中，上述提及至少一条色调映射(TM)曲线和/或屏幕相关信息也可以与第二图像的图像数据编码在同一个JPEG图像帧，也可以独立于编码第二图像的图像数据的JPEG图像帧，单独编码为另一个JPEG图像帧。
如下先对JPEG图像帧的格式进行介绍。JPEG格式的图像帧是最常用的图像文件格式，后缀名为.jpg或.jpeg。以JPEG图像帧的存储格式为JFIF(JPEG file interchangeformat)格式为例。JPEG图像帧可以包括图像开始(Start of Image，SOI)字段、图像帧头、有效载荷和图像结束(end of frame，EOI)字段。
在SOI字段中，记录指示原始图像的开始的标志信息。在图像帧头中，可记录诸如作为编码方案的JPEG、图像尺寸、量化表格、霍夫曼表格等的信息。在有效载荷中，记录实际编码的原始图像。在EOI字段中，记录指示原始图像的结束的标志信息。
图像帧头中可以包括应用标识(application，APP)字段、帧开始(start offrame，SOF)字段、定义哈夫曼表(Difine Huffman Table，DHT)字段、定义差分编码累计复位的间隔(Define Restart Interval，DRI)字段、扫描开始(Start of Scan，SOS)字段等中的一个或者多个。APP字段可以包括APP0、APP1……APPn。n＝0～15(任选)。
(1)SOI字段的标记代码占用2字节，一般为固定值0xFFD8。
(2)APP0字段。标记代码占用2字节，一般为固定值0xFFE0。APP0字段可以包括9个具体字段：
①数据长度，占用2字节，用于表示①～⑨9个字段的总长度。即不包括标记代码，但包括本字段。
②标识符，占用5字节，一般为固定值0x4A46494600，即字符串“JFIF0”。
③版本号，占用2字节，一般为固定值0x0102，表示JFIF的版本号1.2可能会有其他数值代表其他版本。
④X和Y的密度单位，占用1字节，有三个值可选。0表示无单位；1表示点数/英寸；2表示点数/厘米。
⑤X方向像素密度，占用2字节。
⑥Y方向像素密度，占用2字节。
⑦缩略图水平像素数目，占用1字节。
⑧缩略图垂直像素数目，占用1字节。
⑨缩略图RGB位图，占用长度可能是3的倍数，表示缩略图RGB位图数据。本标记段可以包含图像的一个微缩版本，存为24位的RGB像素。如果没有微缩图像(这种情况更常见)，则字段⑦“缩略图水平像素数目”和字段⑧“缩略图垂直像素数目”的值均为0。
(3)APPn，Application，应用标识n，其中n＝1～15(任选)。
标记代码占用2字节，一般为固定值0xFFE1～0xFFF中一个。
APPn可以包含2个具体字段：
①数据长度2字节①～②2个字段的总长度，即不包括标记代码，但包括本字段。
②详细信息，一般数据长度为2字节。
(4)DQT：标记代码占用2字节，一般为固定值0xFFDB。
DQT可以包含9个具体字段：
①数据长度，占用2字节，用于表示字段①和多个字段②的总长度，即不包括标记代码，但包括本字段。
②量化表，占用的数据长度为2字节。量化表包括如下a)和b)。
a)精度及量化表ID，一般占用1字节，高4位表示精度，取值为0时表示8位，取值为1时，表示为16位。低4位：量化表ID，取值范围为0～3。
b)表项，一般占用(64×(精度+1))字节，例如8位精度的量化表，其表项长度为64×(0+1)＝64字节。本标记段中，字段②可以重复出现，表示多个量化表。
(5)SOF0，标记代码为2字节，一般为固定值0xFFC0。
SOF0可以包含9个具体字段：
①数据长度，占用2字节，表示①～⑥六个字段的总长度，即不包括标记代码，但包括本字段。
②精度，占用1字节，表示每个数据样本的位数。通常是8位。
③图像高度，占用2字节，用于表示图像高度(单位：像素)。
④图像宽度，占用2字节，用于表示图像宽度(单位：像素)。
⑤颜色分量数，占用1字节。取值为1表示灰度图；取值为3表示YCrCb或YIQ；取值为4表示CMYK。JFIF中使用YCrCb，故这里颜色分量数为3。
⑥颜色分量信息，占用的字节数为颜色分量数×3字节(通常为9字节)。颜色分量信息包括如下：
a)颜色分量ID，占用1字节。
b)水平/垂直采样因子，占用1字节。一般性的，高4位表示水平采样因子，低4位表示垂直采样因子。
c)量化表，占用1字节，当前分量使用的量化表的ID。本标记段中，字段⑥应该重复出现，有多少个颜色分量(字段⑤)，将出现多少次。
(6)DHT的标记代码占用2字节，一般为固定值0xFFC4。
DHT字段可以包含2个具体字段：
①数据长度，占用2字节，表示字段①和多个字段②的总长度，即不包括标记代码，但包括本字段。
②哈夫曼表，数据长度为2字节。哈夫曼表包括如下：
a)表ID和表类型，占用1字节。其中高4位表示类型，取值为0表示DC直流；取值为1表示AC交流。低4位表示哈夫曼表ID。
b)不同位数的码字数量，一般占用16字节。
c)编码内容，16个不同位数的码字数量之和(字节)。
本标记段中，字段②可以重复出现，也可以仅出现1次。
(7)DRI的标记代码占用2字节，一般为固定值0xFFDD。
DRI可以包含2个具体字段：
①数据长度为2字节，一般为固定值0x0004，表示①～②两个字段的总长度，即不包括标记代码，但包括本字段。
②最小编码单元(Minimum Coded Unit，MCU)块的单元中的重新开始间隔。占用2字节。比如设其值为n，则表示每n个MCU块就有一个复位(RST)n标记。第一个标记是RST0，第二个是RST1等，RST7后再从RST0重复。如果没有本标记段，或间隔值为0时，就表示不存在重开始间隔和标记RST。在JPEG中，把间隔编码的数据单元的最小组称为最小编码单元(MCU)。
(8)SOS，标记代码占用2字节，一般为固定值0xFFDA。
SOS可以包含2个具体字段：
①数据长度，占用2字节，表示①～④两个字段的总长度，即不包括标记代码，但包括本字段。
②颜色分量数，占用1字节。取值为1表示灰度图。取值为3表示YCrCb或YIQ；取值为4表示CMYK。
③颜色分量信息，包括：
a)颜色分量ID，占用1字节。
b)直流/交流系数表号，占用1字节。其中高4位表示直流分量使用的哈夫曼树编号，低4位表示交流分量使用的哈夫曼树编号。
④压缩图像数据
a)谱选择开始1字节固定值0x00。
b)谱选择结束1字节固定值0x3F。
c)谱选择1字节在基本JPEG中总为00。
本标记段中，字段③应该重复出现，有多少个颜色分量(字段②)，就出现多少次(一般为3次)。本段结束后，紧接着就是真正的图像信息了。图像信息直至遇到一个标记代码就自动结束，一般就是以EOI标记表示结束。
如下示例性的描述第二图像的传输数据的编码传输方式。
示例1：
以第一亮度相关数据与第二图像的图像数据编码于一个JPEG图像帧中为例。
例如，第一亮度相关数据承载在JPEG图像帧的应用标识(application，APP)字段中。可以理解为，第二图像的传输数据中包括第一亮度相关数据和第二图像的图像数据。第二图像的图像数据包含于采用联合图像专家小组JPEG格式编码的JPEG图像帧中，第一亮度相关数据承载于该JPEG图像帧的应用标识APP字段中，比如APPn字段中。
在一些实施例中，第一亮度相关数据可以以元数据的形式承载在该JPEG图像帧的应用标识APP字段中。
作为一种举例，将用于承载第一亮度相关数据的元数据称为高亮增强元数据。例如，高亮增强元数据可以通过语法元素enhence_metadata()表示。当然也可以通过其他的语法元素表示，本申请实施例中对此不作具体限定。
示例性地，JPEG图像帧对应的HDR图像格式可以参见表1-1所示。表1-1以第二图像为8bit SDR图像为例。第一图像为12bit图像。第二图像的传输数据编码于表1-1所示的JPEG图像帧中。第一亮度相关数据以元数据的形式承载在APPn字段。APPn字段的标记代码可以表示HDR基础SDR图像标记，可以理解除APPn字段以外的字段承载的信息均用于解码第二图像。
表1-1
示例性地，APPn字段的位流语法的描述可以参见表1-2所示。当然APPn字段的位流语法中可以包括相比表1-2更多或者更少的位流语法，本申请实施例对此不作限定。
表1-2
其中，start_code，为16位无符号整数。用于表示JPEG APP段标识。APP0的startcode的描述符为0xFFE0，APPn的start code的描述符为0xFFEn。
Length，为16位无符号整数。用于表示整个APP段的长度。
ITUT35_tag为6个ASCII字符，表示段类型标记。一般其ASCII值为0x49、0x54、0x55、0x54、0x33、0x35，标识“ITUT35”。
itu_t_t35_country_code为8位无符号整数。ITU T35中标识自定义内容块所属组织的所属国家的编码。本申请实施例的HDR图片格式中采用0x26。
itu_t_t35_country_code_extension_byte为8位无符号整数。ITU T35中标识自定义内容块所属组织的所属国家的扩展码。一般HDR图片格式中不出现。
terminal_provide_code为16位无符号整数。ITU T35中标识自定义内容块所属组织的编码。本申请实施例的HDR图片格式中可以采用0x04。
terminal_provide_oriented_code为16位无符号整数。ITU T35中标识自定义内容块所属组织内所属编码。本申请实施例的HDR图片格式中可以采用0x07。
enhence_metadata_size占用16位无符号正数。表示高亮增强元数据的总大小。高亮增强元数据用于承载第一亮度相关数据。
enhence_metadata()表示高亮增强元数据，用于承载第一亮度相关数据。
u(n)为使用n位无符号整数表示，由n位bit换算获得。
示例2：
以第一亮度相关数据与第二图像的图像数据编码于两个JPEG图像帧中为例。
第二图像的传输数据编码于JPEG文件中。JPEG文件包括第一JPEG图像帧和第二JPEG图像帧。第一JPEG图像帧编码有第二图像的图像数据。第二JPEG图像帧编码有第一亮度相关数据。可以理解为，第二图像的传输数据中包括第一亮度相关数据和第二图像的图像数据。第二图像的图像数据包含于采用联合图像专家小组JPEG格式编码的第一JPEG图像帧中，第一亮度相关数据承载于采用联合图像专家小组JPEG格式编码的第一JPEG图像帧中。
一些实施例中，第一JPEG图像帧的APP字段还可以包括用于指示第二JPEG图像帧在JPEG文件的起始位置的位置标识。本申请实施例将该标识称为第一位置标识。示例性地，位置标识可以通过语法元素frame_offset[i]来表示。frame_offset[i]用于指示当前JPEG图像帧在JPEG文件中的起始位置。比如frame_offset[i]可以表示为当前JPEG图像帧(即JPEG文件中的第i个图像帧)从JPEG文件中的起始位置开始的偏移量。
进一步地，显示端设备(或者说显示端设备中的解码装置)在解码时，可以从第一JPEG图像帧解码第二图像的图像数据以及获取该第一位置标识；然后，根据第一位置标识从JPEG文件确定第二JPEG图像帧的起始位置，以及根据起始位置从第二JPEG图像帧中解码第一亮度相关数据。
一些实施例中，JPEG图像帧的APP字段还可以包括文件类型标识，用于指示当前JPEG图像帧的文件类型。比如文件类型可以包括SDR原始图像数据，第一亮度相关数据(也可以称为高亮增强数据)等等。一些场景中，图像的传输数据中还包括其他类型数据的情况下，并且该其它类型的数据承载在独立的图像帧中，也可以通过文件类型标识的不同取值来指示。例如，文件类型标识可以通过语法元素file_type来表示，也可以采用其它的语法元素来表示，本申请实施例对此不作具体限定。
具体的，第一JPEG图像帧和第二JPEG图像帧的APP字段分别包括文件类型标识，第一JPEG图像帧的文件类型标识取值为第三值，用于指示第一JPEG图像帧的APP字段承载第二图像的图像数据(可以理解为SDR原始图像数据)，第二JPEG图像帧的文件类型标识取值为第四值，用于指示第二JPEG图像帧的APP字段承载第一亮度相关数据(即高亮增强数据)。第三值和第四值的取值不同。
示例性地，JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，JPEG文件的格式可以参见表2-1所示。表2-1以第二图像为8bit SDR图像为例。第一图像为12bit图像。第二图像的数据编码于表2-1所示的第一JPEG图像帧中。第一亮度相关数据编码于表2-1所示的第二JPEG图像帧中。
表2-1
示例性地，第一JPEG图像帧的APPn字段的位流语法的描述可以参见表2-2所示。当然APPn字段的位流语法中可以包括相比表2-2更多或者更少的位流语法，本申请实施例对此不作限定。
表2-2
其中，表2-2中与表1-2中相同的语法元素的解释可以参见表1-2中的相关描述，此处不再赘述。
frame_number，占用8位无符号整数。表示JPEG文件中包含的JPEG图像帧的数目。
File_type，占用16位无符号整数。表示当前的JPEG图像帧(也可以称为当前的JPEG独立帧)的类型，也可以理解当前JPEG图像帧的APPn字段包括的数据的数据类型，可以称为文件类型标识。例如，不同的取值表示不同的数据类型。比如，File_type取值为第三值，用于表示当前JPEG图像帧承载第二图像的图像数据，即SDR原始图像数据。File_type取值为第四值表示当前JPEG图像帧编码第一亮度相关数据。例如，第三值为1，第四值为2，反之亦然。当然还可以采用其他的取值，本申请实施例对此不作具体限定。需要说明的是，如果第二图像的传输数据中还包括除图像数据、第一亮度相关数据以外的其他数据的情况下，还可以通过定义其他的取值来表达其他数据的数据类型。
frame_offset[]，为32位无符号整数。用于指示当前JPEG图像帧在JPEG文件中的起始位置。比如可以是当前JPEG图像帧从JPEG文件中的起始位置开始的偏移量。
示例性地，第二JPEG图像帧的APPn字段的位流语法的描述可以参见表2-3所示。当然APPn字段的位流语法中可以包括相比表2-3更多或者更少的位流语法，本申请实施例对此不作限定。
表2-3
其中，表2-3中与表1-2和表2-2中相同的语法元素的解释可以参见表1-2和表2-2中的相关描述，此处不再赘述。
enhence info size表示高亮增强信息的总大小，为16位无符号整数。
enhence_Info表示高亮增强信息。当图像帧中的enhence_type指示数据采用图像帧形式的情况下，该图像帧的APP字段包括该高亮增强信息。需要说明的是，该图像帧中APP字段以外的其他字段所编码的数据以及该APP字段包括的高亮增强信息共同组成第一亮度相关数据。示例性地，高亮增强信息可以用于指示使用第一亮度相关数据对第二图像进行处理的关键信息或者规则。
在一些可能的场景中，可以支持采用示例1或者示例2的方式的选择。
如下通过示例3来描述采用示例1或者示例2的方式的选择方案。
示例3：
例如，可以在位流语法中增加用于指示第一亮度相关数据的数据形式的标识。用于第一亮度相关数据的数据形式的标识可以称为数据类型标识，可以通过语法元素enhence_type来表示。enhence_type，采用16位无符号整数。表示JPEG图像帧中所承载的第一亮度相关数据的数据形式。比如不同的取值用于表达不同的数据形式。数据类型标识取值为第一值时，指示所述第一亮度相关数据的数据类型为元数据类型，取值为第二值时，指示所述第一亮度相关数据的数据类型为图像帧类型。例如，取值为1表示采用图像帧形式，取值为2表示采用元数据形式。第一值和第二值的取值不同。
一些场景中，第一值可以与第三值相同，第二值与第四值相同，或者第二值可以与第三值相同，第一值与第四值相同。本申请对此不作限定。
示例性地，编码第二图像的数据的JPEG图像帧的APPn字段的位流语法的描述可以参见表3-1所示。
表3-1
以传输数据包括第一亮度相关数据和第二图像的图像数据为例。当第一亮度相关数据的数据形式采用元数据形式时，frame_number＝＝1，enhence_type＝＝2。当第一亮度相关数据的数据形式采用图像帧形式时，frame_number＝＝2，enhence_type＝＝1。
示例4：
一些场景中，传输数据除了包括第一亮度相关数据、第二图像的图像数据以外，还包括至少一条色调映射曲线为例。色调映射曲线可以包括全局色调映射(GTM)曲线，或者包括全局色调映射曲线和局部色调映射(LTM)曲线。在使用局部色调映射技术时，可以将图像划分为M*N个区域，每个区域对应有色调映射曲线。采集端可以将至少一条色调映射曲线的参数通过元数据的形式传递到显示端。
从而显示端可以从第二图像的图像数据中解码得到SDR图像数据，在基于SDR图像数据和局部色调映射曲线的参数生成HDR图像时，可以反向使用LTM技术恢复色调/亮度。在各个实施例中，可以在RGB色彩空间或YUV色彩空间等任一色调空间中执行LTM技术。
色调映射曲线可以承载在第二图像的图像数据所在的JPEG图像帧，也可以承载在第一亮度相关数据所在的JPEG图像帧，还可以单独承载在一个独立的JPEG图像帧中。
如下先以色调映射曲线承载在第二图像的图像数据所在的JPEG图像帧为例。第二图像的图像数据以及第一亮度相关数据共同编码在一个JPEG图像帧为例。JPEG图像帧的格式参见表1-1所示。
一些实施例中，色调映射曲线通过元数据的形式也承载在JPEG图像帧的APPn字段。APPn字段中可以包括用于指示GTM或者GTM+LTM的标识。例如，可以将该标识为色调指示标识，当然也可以命名为其他的名字，本申请实施例对此不作具体限定。例如，色调指示标识可以通过语法元素meta_type表示，当然也可以采用其他的语法元素来表示色调指示标识，本申请实施例对此不作具体限定。meta_type的不同取值用于指示不同的色调映射曲线参数的类型。例如，meta_type取值为1表示，采用GTM，meta_type取值为2，表示采用GTM+LTM，反之也适用。再例如，meta_type取值为0表示，采用GTM，meta_type取值为1，表示采用GTM+LTM，反之也适用。
色调映射曲线的元数据可以包括GTM元数据，或者包括GTM元数据和LTM元数据。
作为一种举例，JPEG图像帧的APPn字段的位流语法的描述可以参见表4-1所示。当然APPn字段的位流语法中可以包括相比表4-1更多或者更少的位流语法，本申请实施例对此不作限定。
表4-1
其中，表4-1中与表1-2、表2-2和表2-3中相同的语法元素的解释可以参见表1-2、表2-2和表2-3中的相关描述，此处不再赘述。
其中，HDR_metedata size表示GTM元数据的数据长度，采用16位无符号整数表示。HDR metadata()表示GTM元数据。HDR metadata both size表示GTM元数据+LTM元数据的数据长度，采用16位无符号整数表示。HDR_metedata_enhence表示LTM元数据。
meta_type，采用16位无符号整数。表示当前的JPEG图像帧中的APP字段所携带的色调映射曲线参数的数据类型。meta_type的不同取值用于表示不同的色调映射曲线参数的数据类型，比如meta_type取值为1表示全局色调映射GTM曲线数据，为2表示GTM+局部色调映射LTM曲线数据。
如下以色调映射曲线承载在第二图像的图像数据所在的JPEG图像帧为例。第二图像的图像数据以及第一亮度相关数据独立编码在两个JPEG图像帧为例。JPEG图像帧的格式参见表2-1所示。色调映射曲线的参数承载在第一JPEG图像帧的APPn字段中。
作为一种举例，第一JPEG图像帧的APPn字段的位流语法的描述可以参见表4-2所示。第二JPEG图像帧的APPn字段的位流语法的描述可以参见表2-3所示。当然第一JPEG图像帧的APPn字段的位流语法中可以包括相比表4-2更多或者更少的位流语法，本申请实施例对此不作限定。
表4-2
示例5：
在一些场景中，传输数据中可以包括用于缩放显示的增强数据。例如，用于缩放显示的增强数据可以与第二图像的图像数据承载在同一JPEG图像帧中。又比如，用于缩放显示的增强数据可以编码在独立的一个或者多个JPEG图像帧中。后续描述时，将用于缩放显示的增强数据称为缩放显示数据。
缩放显示数据可以包括缩放增强数据以及高频纹理增强数据，还可以包括用于缩放显示的色调映射曲线。
缩放增强数据用于描述第一图像缩放(放大和/或缩小)后的图像的像素与第一图像像素的差异。缩放增强数据包括用于描述第一图像放大后的图像的像素相比第一图像增加的像素值信息，和/或，用于描述所述第一图像缩小后的图像相比第一减少的像素值信息。
例如，细节信息可以包括对于小分辨率图像使用预设算法(双线性插值，双三次样条插值等)放大到与大分辨率图像相同分辨率，然后逐点计算每个像素的RGB或者YUV像素差异值。或者，细节信息可以包括对于小分辨率图像使用预设算法(双线性插值，双三次样条插值等)放大到与大分辨率图像相同分辨率，然后选择与大分辨率图像差异最小的插值算法，该算法所包括的信息。
高频纹理增强数据可以包括第一图像缩放(放大和/或缩小)的图像中与第一图像的高频纹理差异。所述高频纹理增强数据用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息或者用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。
一些实施例中，缩放增强数据和高频纹理增强数据可以分别独立承载在不同的JPEG图像帧中。也可以承载在用于承载第二图像的图像数据的JPEG图像帧的APPn字段中。可以以元数据的形式承载在用于承载第二图像的图像数据的JPEG图像帧的APPn字段中。例如该元数据可以称为缩放显示增强元数据，缩放显示增强元数据用于承载缩放显示数据。
一些实施例中，用于缩放显示的色调映射曲线可以承载在用于承载第二图像的图像数据的JPEG图像帧的APPn字段中。
示例性地，可以通过定义用于指示缩放显示数据的数据类型的标识来指示缩放增强数据或者高频纹理增强数据或者用于缩放显示的色调映射曲线。例如，该标识可以通过语法元素HDR_type来表示。当然还可以采用其他的语法元素，本申请实施例对此不作具体限定。
HDR_type，可以采用16位无符号整数。表示当前JPEG图像包含的缩放显示数据的数据类型。一些实施例中，本申请实施例中缩放显示数据的数据类型可以包括缩放增强数据或者高频纹理增强数据或者用于缩放显示的色调映射曲线。
作为一种举例，取值为1时表示JPEG文件中包括缩放增强数据，取值为2时表示包括高频纹理增强数据，取值为3表示包括用于缩放显示的色调映射曲线。
HDR_type也用于指示采用的缩放增强方式，该HDR_type可以称为缩放增强方式标识，也可以采用其它的命名，本申请实施例对此不作具体限定。
缩放增强方式标识为第五值时，指示缩放增强方式为在根据第一亮度相关数据针对第二图像进行增强后的图像的基础上叠加缩放增强数据；缩放增强方式标识为第六值时，指示缩放增强方式为在根据第一亮度相关数据针对第二图像进行增强后的图像的基础上加权叠加高频纹理增强数据；或者，缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据第一亮度相关数据针对第二图像进行增强后的图像的亮度。
在本申请实施例中，第一值与第二值取值不同。第三值与第四值取值不同。第五值、第六值以及第七值取值均不相同。一些场景中，第一值、第二值、第三值、第四值、第五值、第六值和第七值中可以存在重复取值，比如，第一值与第三值相同，第四值与第五值相同等等，本申请实施例对此不作具体限定。
一些实施例中，传输数据中包括缩放增强数据和高频纹理增强数据的情况下，缩放增强数据和高频纹理增强数据可以编码于同一个JPEG图像帧，也可以编码于不同的JPEG图像帧。
例如，JPEG文件中包括第一JPEG图像帧和第三JPEG图像帧，第一JPEG图像帧用于承载第二图像的图像数据和用于缩放显示的色调映射曲线。第三JPEG图像帧用于承载缩放显示数据(缩放增强数据和/高频纹理增强数据)。
示例性地，JPEG文件的对应的HDR图像根式可以参见表5-1所示。表5-1以第二图像为8bit SDR图像为例。第一图像为12bit图像。第二图像的数据编码于表5-1所示的第一JPEG图像帧中。缩放显示数据编码于表5-1所示的第三JPEG图像帧中。
表5-1
作为一种举例，第一JPEG图像帧的APPn字段的位流语法的描述可以参见表5-2所示。第三JPEG图像帧的APPn字段的位流语法的描述可以参见表5-3所示。当然第一JPEG图像帧的APPn字段的位流语法中可以包括相比表5-2更多或者更少的位流语法，第三JPEG图像帧的APPn字段的位流语法中可以包括相比表5-3更多或者更少的位流语法，本申请实施例对此不作限定。
表5-2
其中，HDR_scale_metedata_size可以采用16位无符号整数。表示用于缩放显示的色调映射曲线的数据总大小。HDR_scale_metedata()表示用于缩放显示的色调映射曲线。
表5-3
示例6：
在一些场景中，传输数据中包括除第二图像的图像数据以外，所包括的其他数据可以根据实际情况来确定。传输数据中除第二图像的图像数据以外，可以包括第一亮度相关数据、至少一个色调映射曲线、缩放显示数据中的一项或者多项。具体包括哪些数据可以通过不同的语法元素来指示。缩放显示数据可以包括缩放增强数据、高频纹理增强数据以及用于缩放显示的色调映射曲线。
作为一种举例，以传输数据包括第一亮度相关数据、缩放增强数据以及高频纹理增强数据为例。第一亮度相关数据、缩放增强数据以及高频纹理增强数据均独立编码于不同的JPEG图像帧中。JPEG文件中包括第一JPEG图像帧、第二JPEG图像帧、第三JPEG图像帧以及第四图像帧。第一JPEG图像帧用于承载第二图像的图像数据和用于缩放显示的色调映射曲线，第二JPEG图像帧用于承载第一亮度相关数据，第三JPEG图像帧用于承载缩放增强数据，第四图像帧用于承载高频纹理增强数据。
示例性地，JPEG文件的对应的HDR图像根式可以参见表6-1所示。
表6-1
作为一种举例，第一JPEG图像帧的APPn字段的位流语法的描述可以参见表6-2所示。当然第一JPEG图像帧的APPn字段的位流语法中可以包括相比表6-2更多或者更少的位流语法，本申请实施例对此不作限定。
表6-2
作为一种举例，第二JPEG图像帧的APPn字段的位流语法的描述可以参见表6-3所示。当然第二JPEG图像帧的APPn字段的位流语法中可以包括相比表6-3更多或者更少的位流语法，本申请实施例对此不作限定。
表6-3
其中，meta_type＝＝0表示缺省，不传输。HDR_type＝＝0表示缺省，不传输。
作为一种举例，第三JPEG图像帧的APPn字段的位流语法的描述可以参见表6-4所示。当然第三JPEG图像帧的APPn字段的位流语法中可以包括相比表6-4更多或者更少的位流语法，本申请实施例对此不作限定。
表6-4
其中，meta_type＝＝0表示缺省，不传输。enhence_type＝＝0表示缺省，不传输。
作为一种举例，第四图像帧的APPn字段的位流语法的描述可以参见表6-5所示。当然第四图像帧的APPn字段的位流语法中可以包括相比表6-5更多或者更少的位流语法，本申请实施例对此不作限定。
表6-5
其中，meta_type＝＝0表示缺省，不传输。enhence_type＝＝0表示缺省，不传输。
上述方案中，采集端设备在采集处理阶段，根据采集端使用的屏幕信息，生成用于在其他可能屏幕亮度下的TM曲线，用于保持采集端观看到的动态范围。同时记录采集端的屏幕相关信息，用于指导显示时背光的提升倍率。尽量提高显示端设备显示效果与采集端的显示效果的一致性。
下面对显示端设备获取待显示图像的方法流程进行说明。参见图5A所示。
501，显示端设备从第二图像的传输数据中解码第二图像的图像数据、第一亮度相关数据。
一些实施例中，传输数据还可以包括至少一条色调映射曲线和/或屏幕相关信息，则显示端设备还从传输数据中解码出至少一条色调映射曲线和/或屏幕相关信息。
示例性地，显示端设备接收码流，从码流中获取第二图像的图像数据和第一亮度相关数据。
一些场景中，传输数据中还包括其他数据，则显示端设备还从码流中解码其他数据。
一种可能的实施方式中，码流中包括JPEG文件。JPEG文件包括第一JPEG图像帧，第一JPEG图像帧承载第二图像的编码数据，以及第一亮度相关数据承载于第一JPEG图像帧的应用标识APP字段中。则显示端设备可以从JPEG图像帧解码第二图像以及从JPEG图像帧的APP字段中解码所述第一亮度相关数据。示例性地，解码时的位流语法可以参见表1-2和表1-3所示。或者可以参见表3-1和表1-3所示。
另一种可能的实施方式中，码流中包括JPEG文件，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧。显示端设备从所述第一JPEG图像帧解码所述第二图像以及从所述第二JPEG图像帧中解码所述第一亮度相关数据。示例性地，解码时的位流语法可以参见表3-1和表2-3所示。
又一种可能实施方式中，所述传输数据中还包括缩放增强数据。所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述第一图像放大后的图像中相比第一图像增加的像素值信息或者用于描述所述第一图像缩小后的图像相比第一减少的像素值信息，所述高频纹理增强数据用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息或者用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。
一种情况下，所述缩放增强数据承载于所述第一JPEG图像帧的APP字段。显示端设备还可以从第一JPEG图像帧的APP字段解码缩放增强数据。
又一种情况下，当所述缩放显示数据包括所述用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线承载于所述第一JPEG图像帧的APP字段；或者，当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；或者，当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据。
502，显示端设备从元数据的至少一条色调映射曲线中获得第一色调映射曲线，该第一色调映射曲线与显示端设备的屏幕显示参数匹配。为了便于描述，本申请实施例中将匹配的色调映射曲线称为第一色调映射曲线。例如，至少一条色调映射曲线包括三条，分别包括：1000nit与500nit屏幕对应的色调映射曲线1，1000nit与200nit屏幕对应的色调映射曲线2，1000nit与100nit屏幕对应的色调映射曲线3。比如，显示端设备的屏幕显示参数为500nit。则显示端设备从3条色调映射曲线中匹配到色调映射曲线1。
示例性地，至少一条色调映射曲线承载于所述JPEG图像帧的应用标识APP字段中。则显示端设备可以从所述JPEG图像帧的应用标识APP字段的元数据中解码至少一条色调映射曲线。
再比如，显示端设备的屏幕显示参数为600nit，由于没有600nit的色调映射曲线，可以通过对500nit的色调映射曲线进行插值的方式来获得600nit的色调映射曲线。
上述方案中，显示端根据采集端传输的TM曲线生成适配显示端设备的TM曲线，并作用到图像上，使得在各种亮度屏幕下，用户查看到的图像效果和采集端在参考屏幕上的效果尽可能一致。
503，将第一色调映射曲线作用到第二图像上。示例性地，可以通过如下公式(2)来作用到第二图像上获得第三图像的图像数据。例如，图像数据包括像素点的R分量、G分量以及B分量。
outR＝inR*gain；
outG＝inG*gain；
outB＝inB*gain； 公式(2)
其中，inY表示显示屏的背光亮度，LUT表示第一色调映射曲线，LUT[inY]表示第一色调映射曲线中显示屏的背光亮度所映射的背光亮度。Gain表示像素值调整增益。inR表示调整前像素点的R分量，outR表示调整后像素点的R分量，inG表示调整前像素点的G分量，outG表示调整后像素点的G分量，inB表示调整前像素点的B分量，outB表示调整后像素点的B分量。
504，提升显示端设备的屏幕背光。一种可能的实施方式中，显示端设备可以根据解码得到的屏幕相关信息来确定显示端设备需提升的屏幕背光。比如屏幕相关信息中包括采集端设备的屏幕背光参数、或者所述采集端设备的屏幕背光参数下的背光亮度与至少一个设定屏幕背光参数下的背光亮度的映射关系、或者至少一个设定屏幕背光参数下的背光亮度相对于所述采集端设备的屏幕背光参数下的背光亮度的调整比例。此处所述的提升显示端设备的屏幕背光，也是为了提升图像的亮度。
显示端设备可以根据屏幕相关信息确定显示端设备的背光亮度的提升比例。然后基于当前的背光亮度以及提升比例确定提升后的背光亮度。将显示端设备的当前的背光亮度通过BL0表示。将提升后的背光亮度通过BL1表示。
例如，提升后的背光亮度与提升前的背光亮度可以满足如下公式(3)所示的条件。
BL1＝U*BL0 公式(3)
一种示例中，显示端设备可以根据采集端设备的屏幕背光参数以及显示端设备的屏幕背光参数确定提升比例U。比如U＝采集端设备的屏幕背光参数/显示端设备的屏幕背光参数。
再比如，U＝a*采集端设备的屏幕背光参数/显示端设备的屏幕背光参数+q。a和q可以根据经验值确定。a和q的取值可以是配置在显示端设备中的。
另一种示例中，显示端设备可以根据所述采集端设备的屏幕背光参数下的背光亮度与至少一个设定屏幕背光参数下的背光亮度的映射关系来确定提升比例U。从至少一个设定屏幕背光参数中查找与显示端设备的屏幕背光参数匹配的设定屏幕背光参数1。然后再获取采集端设备的屏幕背光参数下的背光亮度与该设定屏幕背光参数1的背光亮度比值作为U。
又一种示例中，显示端设备可以根据至少一个设定屏幕背光参数下的背光亮度相对于所述采集端设备的屏幕背光参数下的背光亮度的调整比例来确定U。比如，从至少一个设定屏幕背光参数中查找与显示端设备的屏幕背光参数匹配的设定屏幕背光参数1，然后获取该设定屏幕背光参数1的背光亮度相对于所述采集端设备的屏幕背光参数下的背光亮度的调整比例作为U。
另一种可能的实施方式中，显示端设备可以根据第一亮度相关数据以及显示端设备的当前背光亮度来确定提升后的背光亮度(也可以称为屏幕背光)。
例如，提升后的屏幕背光亮度满足如下公式(4)-公式(7)任一公式所示的条件。
BL1＝BL0*(k1*AVG(hdrlayeri)+b1) 公式(4)
BL1＝BL0*(k2*max(hdrlayeri)+b2) 公式(5)
BL1＝BL0*k1*AVG(lhdrlayeri)+b1 公式(6)
BL1＝BL0*k2*max(lhdrlayeri)+b2 公式(7)
其中，BL1表示调整后所述显示端设备的屏幕背光，BL0表示调整前的所述显示端设备的屏幕背光(也可以称为背光亮度)，hdrlayeri表示所述显示端设备的显示屏的第i个像素点对应的亮度提升数据，AVG(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度提升数据的平均值，max(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度提升数据的最大值，k1、k2均为正数，b1、b2均为小于1的正数。
一些实施例中，屏幕的不同区域可以采用不同的背光。则第L区域的屏幕背光可以通过如下公式(8)-公式(11)任一公式来表示。
其中，BL1L表示调整后所述显示端设备的第L区域的屏幕背光，BL0L表示调整前的所述显示端设备的第L区域的屏幕背光(也可以称为背光亮度)，表示所述显示端设备的显示屏的第L区域的第i个像素点对应的亮度提升数据，AVG表示所述显示端设备的显示屏第L区域包括的像素点对应的亮度提升数据的平均值，max表示所述显示端设备的显示屏第L区域包括的像素点对应的亮度提升数据的最大值，k3、k4均为正数，b3、b4均为小于1的正数。
一些实施例中，对于Full Array Local Dimming屏幕来说，可以针对每个图像块的背光亮度进行调整。则第L区域的屏幕背光可以通过如下公式(12)公式来表示。
其中，BL1L表示调整后所述显示端设备的第L区域的屏幕背光，BL0L表示调整前的所述显示端设备的第L区域的屏幕背光(也可以称为背光亮度)，表示所述显示端设备的显示屏的第L区域的第i个像素点对应的亮度提升数据，AVG表示所述显示端设备的显示屏第L区域包括的像素点对应的亮度提升数据的平均值，AVG(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度提升数据的平均值，k5为正数，b5均为小于1的正数。一些场景中，上述AVG也可以替换为max。
一些实施例中，对于Edge Local Dimming屏幕来说，可以针对每个图像块的背光亮度进行调整。则第L区域的屏幕背光可以通过如下公式(13)公式来表示。
其中，BL1L表示调整后所述显示端设备的第L区域的屏幕背光，BL0L表示调整前的所述显示端设备的第L区域的屏幕背光(也可以称为背光亮度)，表示所述显示端设备的显示屏的第L个边缘区域的第i个像素点对应的亮度提升数据，AVG表示所述显示端设备的显示屏第L边缘区域包括的像素点对应的亮度提升数据的平均值，AVG(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度提升数据的平均值，k6为正数，b6均为小于1的正数。
需要说明的是，亮度提升数据可以是像素级别也可以是图像块级别的。则上述即为第L区域包括第i个图像块的亮度提升数据。图像块的划分也可以与屏幕区域的划分相同，也可以不同。
505，调整第三图像的像素值。
在一具体的实施例中，可以根据调整前所述显示端设备的屏幕背光以及调整后所述显示端设备的屏幕背光调整所述第三图像的像素点的像素值，以得到第四图像。
一些实施例中，所述第四图像的各个像素点的像素值满足如下公式(14)所示的条件：
pixel1i＝pow(BL0/BL1，1/gamma)*pixel0i 公式(14)
其中，pixel1i表示第四图像的第i个像素点的像素值，pixel0i表示第三图像的第i个像素点的像素值，BL0表示调整前所述显示端设备的屏幕背光，BL1表示调整后所述显示端设备的屏幕背光，gamma表示所述显示端设备的伽马值，pow(xExp，nExp)表示以xExp为底数的nExp次幂。
需要说明的是，一些场景中，BL0和BL1可以区域级别的。则公式(14)中的BL0可以理解为第i个像素点的所在区域的当前背光亮度(调整前)。BL1可以理解为第i个像素点所在区域的调整后的背光亮度。一些场景中，BL0和BL1可以是屏幕级别的，则每个像素点对应的调整前的背光亮度均相同，每个像素点对应的调整后的背光亮度也均相同。
506，将第三图像和第四图像进行加权融合处理来获得待显示图像。
示例性地，所述第三图像以及所述第四图像的像素点的权重根据所述第一亮度提升数据确定。
例如，所述待显示图像的各个像素点的像素值满足如下公式(15)所示的条件：
weighti＝hdrlayeri/(2N-1)；
pixeli＝pixel0i*weighti+pixel1i*(1-weighti) 公式(15)
其中，N表示所述第二图像占用的比特位数，hdrlayeri表示第i个像素点对应的第一亮度相关数据，pixel1i表示所述第四图像的第i个像素点的像素值，pixel0i表示所述第三图像的第i个像素点的像素值，pixeli表示所述待显示图像的各个像素点的像素值。
目前采用的方案中，采集端设备进行编码时，仅编码了图像数据，却没有记录采集端效果调试时使用的屏幕信息，也没有考虑到显示端可能使用的屏幕信息，只要采集端使用的屏幕和显示端使用的屏幕不一致，那么显示端观看到的效果就不是采集端想要表达的内容，中间存在一定偏差。显示端设备直接送显图像数据，没有考虑到当前屏幕亮度和采集端使用的屏幕亮度之间的差异，没有做相应的适配，导致效果不是最佳的。而本申请实施例中，显示端根据采集端传输的亮度相关数据以及元数据等，来提升显示屏的亮度，同时调整图像像素值，使得人眼感知的亮度维持不变，同时，根据亮度相关数据确定权重，对调整像素值前的图像和调整像素值后的图像进行加权，尽可能的呈现出真实场景的相对亮暗关系。
在显示屏显示阶段，可以结合亮度相关数据，并结合局部控光屏幕对屏幕背光进行调整，提升亮区亮度，降低暗区亮度，使得人眼感知的亮度维持不变，不影响细节的同时，尽可能的呈现出真实场景的相对亮暗关系。
示例性地，参见图5B所示，为显示端设备的屏幕背光调整流程示意图。显示端设备确定待显示图像。具体的确定过程可以参见图5A所示的实施例的描述，此处不再赘述。显示端设备根据第一亮度相关数据来控制显示端设备的显示屏的屏幕背光。比如，可以根据同的显示屏的类型来进行局部背光调整。调整后的显示屏的背光参数可以采用前面公式(3)-公式(13)任一种可能的方式确定。
一些实施例中，传输数据中还包括缩放显示数据的情况下。用户对待显示图像执行放大或缩小操作的情况下，显示端可以根据解码得到的缩放显示数据来对待显示图像进行增强处理。
作为一种举例，所述缩放显示数据包括缩放增强数据，所述缩放增强数据包括用于描述第一图像放大后的图像中相比第一图像增加的像素值信息。用户针对待显示图像执行放大操作的情况下，显示端设备根据该缩放增强数据对待显示图像进行增强处理。比如，在待显示图像的基础上叠加缩放增强数据。
作为一种举例，所述缩放显示数据包括缩放增强数据，所述缩放增强数据包括用于描述第一图像缩小后的图像中相比第一图像减少的像素值信息。用户针对待显示图像执行放大操作的情况下，显示端设备根据该缩放增强数据对待显示图像进行调整处理。比如，在待显示图像的基础上减去缩放增强数据。
作为一种举例，所述缩放显示数据包括高频纹理增强数据，所述缩放增强数据包括用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息。用户针对待显示图像执行放大操作的情况下，显示端设备根据该高频纹理增强数据对待显示图像进行增强处理。比如，根据设定的增强系数对所述高频纹理增强数据进行增强，并将所述增强后的高频纹理增强数据叠加到所述待显示图像上得到所述增强后的待显示图像。
作为一种举例，所述缩放显示数据包括高频纹理增强数据，所述缩放增强数据包括用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。用户针对待显示图像执行缩小操作的情况下，显示端设备根据该高频纹理增强数据对待显示图像进行调整处理。比如，比如，根据设定的增强系数对所述高频纹理增强数据进行负增强，并将所述负增强后的高频纹理增强数据叠加到所述待显示图像上得到所述增强后的待显示图像。
例如，缩放显示数据承载于用于承载第二图像的编码数据的JPEG图像帧。显示端设备还可以从所述JPEG文件中解码该缩放显示数据。在响应于用户针对所述待显示图像的放大或缩小操作，显示端设备根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像。
再例如，缩放显示数据承载在所述JPEG文件的第三JPEG图像帧中。显示端设备从所述第三JPEG图像帧中解码所述缩放增强数据。在响应于用户针对所述待显示图像的放大或缩小操作，并根据所述缩放增强数据对所述待显示图像进行增强处理得到增强后的待显示图像。
一些实施例中，所述第一JPEG图像帧(SDR图像数据)的APP字段还包括缩放增强方式标识；所述缩放增强方式标识为第五值时，指示缩放增强方式为叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为加权叠加所述高频纹理增强数据；所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
根据所述缩放增强数据对所述待显示图像进行增强处理得到增强后的待显示图像，包括：
当所述缩放增强方式标识为第五值时，将所述缩放增强数据叠加到所述待显示图像上得到所述增强后的待显示图像；或者，
当所述缩放增强方式标识为第六值时，根据设定的增强系数对所述高频纹理增强数据进行增强，并将所述增强后的高频纹理增强数据叠加到所述待显示图像上得到所述增强后的待显示图像；或者，
当缩放增加方式标识为第七值时，根据缩放的色调映射曲线对所述待显示图像的亮度值进行调整得到调整后的待显示图像。
例如，缩放增强方式标识采用元素HDR_type表示。
HDR_type等于1时，该JPEG帧解码获得的数据为JPEG_scale1[](即缩放增强数据)，从通路获得的HDR缩放图HDR_scale[]，则最终的缩放显示数据HDR_scale_display[]为：
HDR_scale_display[]＝HDR_scale[]+JPEG_scale1[]。
本申请实施例中从通路获得的HDR缩放图HDR_scale[]，可以是针对SDR图像进行处理得到的HDR图像。比如可以是基于第一亮度提升数据针对第二图像进行处理后得到的图像。
HDR_type等于2时，该JPEG帧解码获得的数据为JPEG_scale2[](即高频纹理增强数据)，从通路获得的HDR缩放图HDR_scale[]，则最终的缩放显示数据HDR_scale_display[]为：
HDR_scale_display[]＝HDR_scale[]-JPEG_scale2[]+A*JPEG_scale2[]。
一些实施例中，A可以基于预设值和当前显示设备的背光来确定。A也可以由发送端设备承载在元数据中发给显示端设备。
HDR_type等于3时，该JPEGzhen解码获得的数据为JPEG_scale_lut[]，从通路获得的HDR缩放图为HDR_scale_display[]，则最终的缩放显示数据HDR_scale_display3[]为：
HDR_scale_display3.R[]＝HDR_scale_display.R*JPEG_scale_lut[HDR_scale_display.MAXRGB[]]
HDR_scale_display3.G[]＝HDR_scale_display.G*JPEG_scale_lut[HDR_scale_display.MAXRGB[]]
HDR_scale_display3.B[]＝HDR_scale_display.B*JPEG_scale_lut[HDR_scale_display.MAXRGB[]]
其中，HDR_scale_display表示待显示图的图像帧数据。HDR_scale_display.MAXRGB[]表示针对HDR_scale_display进行处理后的图像帧数据。HDR_scale_display.MAXRGB[]的图像帧中每个像素值等于HDR_scale_display中所述每个像素的RGB分量值中的最大分量值。
JPEG_scale_lut[]表示第一图像的放大后的图像对应的色调映射曲线。通过该JPEG_scale_lut[]查询得到处理后的图像帧数据中每个像素的亮度值经过映射后的亮度，或者查询得到相比处理后的图像帧数据中每个像素的亮度所进行亮度放大或者缩小的倍数。
如下对本申请实施例提供的图像解码的方法流程进行详细说明。
参见图6所示，为本申请实施例提供的一种图像解码的方法流程示意图。
601，接收码流，所述码流中包括联合图像专家小组JPEG格式编码的JPEG文件。
602，从所述JPEG文件中解码第二图像的图像数据以及第一亮度相关数据；其中，所述第二图像的图像数据是对第一图像的图像数据进行压缩得到的，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第一亮度相关数据用于表征所述第一图像与所述第二图像的亮度映射关系，所述第一亮度相关数据用于对第二图像的图像数据进行中增强处理。
一些实施例中，采集端设备中的处理器可以根据所述第一亮度相关数据对所述第二图像的图像数据进行增强处理，以得到待显示图像。
在一些实施例中，JPEG文件包括第一JPEG图像帧，第一JPEG图像帧承载第二图像的图像数据，以及第一亮度相关数据承载于第一JPEG图像帧的应用标识APP字段中。进一步地，在从所述JPEG文件中解码所述第二图像的图像数据以及第一亮度相关数据，可以通过如下方式实现：
针对第一JPEG图像帧进行解码，得到所述第二图像的图像数据，并从所述第一JPEG图像帧的APP字段中获取所述第一亮度相关数据。
在一些实施例中，编码端还会向解码端发送至少一条色调映射曲线。至少一条色调映射曲线是根据所述采集端设备的屏幕背光参数、所述第二图像的图像数据以及至少一个设定屏幕背光参数确定的，所述至少一个设定屏幕背光参数与所述采集端设备的屏幕背光参数不同。从而解码装置还会从所述第一JPEG图像帧的应用标识APP字段中解码至少一条色调映射曲线。
一些实施例中，采集端设备中的处理器在根据第一亮度相关数据对第二图像的图像数据进行增强处理时，可以根据显示端设备的屏幕显示参数从至少一条色调映射曲线中确定第一色调映射曲线，显示端设备的屏幕显示参数与第一色调映射曲线对应的设定屏幕显示参数匹配；根据第一色调映射曲线对第二图像进行色调映射处理得到第三图像；根据第一亮度相关数据对第三图像的像素点的像素值进行调整得到待显示的图像。
在一些实施例中，第二图像的图像数据和第一亮度相关数据单独编码。所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，所述第二JPEG图像帧承载所述第一亮度相关数据。
进一步地，解码装置从所述第一JPEG图像帧解码所述第二图像的图像数据，并从所述第二JPEG图像帧解码所述第一亮度相关数据。
在一些实施例中，至少一条色调映射曲线可以承载在第二JPEG图像帧的APP字段或者第一JPEG图像帧的应用标识APP字段中。解码装置可以从所述第一JPEG图像帧的应用标识APP字段或者从所述第二JPEG图像帧的APP字段中解码至少一条色调映射曲线。
在一些实施例中，所述JPEG文件还编码有缩放显示数据。所述解码装置还会从JPEG文件解码该缩放显示数据。其中，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据用于描述第一图像放大后的图像中相比第一图像增加的像素值信息或者用于描述所述第一图像缩小后的图像相比第一减少的像素值信息，所述高频纹理增强数据用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息或者用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。
在一些实施例中，所述缩放显示数据承载于所述第一JPEG图像帧的APP字段，从JPEG文件中解码所述缩放显示数据，包括：
从所述第一JPEG图像帧的APP字段解码所述缩放显示数据。
在一些实施例中，当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段。解码装置可以从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线。
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；解码装置可以从所述第三JPEG图像帧中解码所述缩放增强数据。
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据；解码装置可以从所述第四JPEG图像帧中解码所述高频纹理增强数据。
在一些实施例中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置；解码装置可以根据所述第二位置标识从所述JPEG文件确定所述第三JPEG图像帧的起始位置，以及根据所述起始位置从所述第三JPEG图像帧中解码所述缩放增强数据；或者，解码装置可以根据所述第三位置标识从所述JPEG文件确定所述第四JPEG图像帧的起始位置，以及根据所述起始位置从所述第四JPEG图像帧中解码所述缩放增强数据。
在一些实施例中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；所述缩放增强方式标识为第五值时，指示缩放增强方式为叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为加权叠加所述高频纹理增强数据；所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
在一些实施例中，当缩放增强方式标识为第五值时，从JPEG文件解码缩放增强数据。当缩放增强方式标识为第六值时，从JPEG文件中解码高频纹理增强数据。当所述缩放增强方式标识为第七值时，从JPEG文件解码用于缩放显示的色调映射曲线。
缩放增强数据、高频纹理增强数据以及用于缩放显示的色调映射曲线是在用于执行缩放大待显示图像的操作时用于对放大的待显示图像进行增强处理。
根据与上述方法相同的发明构思，本申请实施例提供一种图像采集装置，应用于采集端设备，参见图7所示。
采集模块701，用于采集第一图像以获得第一图像的图像数据；
处理模块702，用于根据所述第一图像数据对所述第一图像压缩处理获取第二图像的图像数据，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；根据所述第一图像的图像数据和所述第二图像的图像数据获得所述第二图像的传输数据；其中，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第一图像与第二图像的亮度映射关系；
发送模块703，用于发送所述传输数据。
在一种可能的实施方式中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光参数、所述第二图像的图像数据以及至少一个设定屏幕背光参数确定的，所述至少一个设定屏幕背光参数与所述采集端设备的屏幕背光参数不同。
在一种可能的实施方式中，所述处理模块702，具体用于根据所述第一图像和所述第二图像的比特位数，分别对所述第一图像的图像数据和所述第二图像的图像数据进行归一化处理，得到所述第一图像的归一化数据以及所述第二图像的归一化数据；根据所述第一图像的归一化数据以及所述第二图像的归一化数据获得所述第一亮度相关数据。
在一种可能的实施方式中，所述第一图像的比特位数为N，所述第二图像的比特位数为M,所述第一图像的归一化数据的范围为0-X，所述第二图像的归一化数据的范围为0-Y；其中，Y/X＝2M-N。
在一种可能的实施方式中，所述处理模块702，具体用于根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成所述第一亮度相关数据。
在一种可能的实施方式中，所述处理模块702，具体用于获取所述第一图像与第二图像对应像素点的归一化数据的比值；当所述第一图像的第一像素点的归一化数据与所述第二图像的第一像素点的归一化数据比值小于1时，对所述第一像素点的归一化数据的比值进行修正，以得到所述第一亮度相关数据；所述第一像素点为第一图像或者第二图像的一个像素点。
在一种可能的实施方式中，所述处理模块702，具体用于根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成第二亮度相关数据；识别到所述第一图像包括设定高亮物体，根据光电转换曲线对所述第二亮度相关数据中所述高亮物体对应的像素点的亮度映射关系进行调整得到所述第一亮度相关数据。
在一种可能的实施方式中，所述处理模块702，具体用于获取所述第一图像与第二图像对应像素点的归一化数据的比值；当所述第一图像的第一像素点的归一化数据与所述第二图像的第一像素点的归一化数据比值小于1时，对所述第一像素点的归一化数据的比值进行修正，以得到所述第二亮度相关数据；所述第一像素点为第一图像或者第二图像的一个像素点。
在一种可能的实施方式中，所述光电转换曲线包括感知量化PQ转换曲线、混合对数伽马HLG转换曲线或者场景亮度保真SLF转换曲线中的至少一项。
在一种可能的实施方式中，所述第一亮度相关数据承载于所述第二图像的元数据中。
在一种可能的实施方式中，所述第一亮度相关数据、屏幕相关信息以及至少一条色调映射曲线是按照所述第二图像的编码数据的编码格式编码的。
本申请实施例还提供一种图像显示装置，应用于显示端设备，参见图8所示，该装置包括：
解码模块801，用于接收第二图像的传输数据，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第二图像与第一图像的亮度映射关系，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第二图像是在所述第一图像的基础上压缩得到的图像；确定第一色调映射曲线；
处理模块802，用于根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；根据所述亮度相关数据对第三图像的像素点的像素值进行调整得到待显示的图像。
在一种可能的设计中，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光信息、所述第二图像以及至少一个设定屏幕显示参数确定的；
所述解码模块801，具体用于根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配。
在一种可能的设计中，所述处理模块802，具体用于确定调整前所述显示端设备的屏幕背光以及确定调整后的所述显示端设备的屏幕背光；根据调整前所述显示端设备的屏幕背光以及调整后所述显示端设备的屏幕背光调整所述第三图像的像素点的像素值得到第四图像；对所述第四图像和所述第三图像进行加权融合处理得到所述待显示图像；其中，所述第三图像以及所述第四图像的像素点的权重根据所述第一亮度提升数据确定。
在一种可能的设计中，所述第四图像的各个像素点的像素值满足如下所示的条件：
pixel1i＝pow(BL0/BL1，1/gamma)*pixel0i；
其中，pixel1i表示第四图像的第i个像素点的像素值，pixel0i表示第三图像的第i个像素点的像素值，BL0表示调整前所述显示端设备的屏幕背光，BL1表示调整后所述显示端设备的屏幕背光，gamma表示所述显示端设备的伽马值，pow(xExp，nExp)表示以xExp为底数的nExp次幂。
在一种可能的设计中，所述待显示图像的各个像素点的像素值满足如下所示的条件：
weighti＝hdrlayeri/2N；
pixeli＝pixel0i*weighti+pixel1i*(1-weighti)；
其中，N表示所述第二图像占用的比特位数，hdrlayeri表示第i个像素点对应的第一亮度相关数据，pixel1i表示所述第四图像的第i个像素点的像素值，pixel0i表示所述第三图像的第i个像素点的像素值，pixeli表示所述待显示图像的各个像素点的像素值。
在一种可能的设计中，所述处理单元，还用于调整所述显示端设备的屏幕背光。
在一种可能的设计中，调整后的显示端设备的屏幕背光满足如下所示的条件：
BL1＝BL0*(k1*AVG(hdrlayeri)+b1)；或者，
BL1＝BL0*(k2*max(hdrlayeri)+b2)；
其中，BL1表示调整后所述显示端设备的屏幕背光，BL0表示调整前的所述显示端设备的屏幕背光，hdrlayeri表示所述显示端设备的显示屏的第i个像素点对应的亮度提升数据，AVG(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度提升数据的平均值，max(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度提升数据的最大值，k1、k2均为正数，b1、b2均为小于1的正数。
参见图9所示，为本申请实施例提供一种编码装置结构示意图。编码装置包括：
编码模块901，用于将第二图像的图像数据和第一亮度相关数据编入码流，码流中包括联合图像专家小组JPEG文件，JPEG文件承载第二图像的图像数据和第一亮度相关数据；第二图像的图像数据是对第一图像的图像数据进行压缩得到的，第一图像占用的比特位数高于第二图像占用的比特位数；第一亮度相关数据用于表征第一图像与第二图像的亮度映射关系；
发送模块902，用于发送码流。
在一种可能的实现方式中，JPEG文件包括第一JPEG图像帧，第一JPEG图像帧承载第二图像的图像数据，第一亮度相关数据承载于第一JPEG图像帧的应用标识APP字段中。
在一种可能的实现方式中，第一亮度相关数据以元数据的形式承载于第一JPEG图像帧的APP字段中。
在一种可能的实现方式中，第一JPEG图像帧的APP字段还包括数据类型标识，数据类型标识的取值为第一值时，指示第一亮度相关数据的数据类型为元数据类型。
在一种可能的实现方式中，编码模块901，还用于：
将至少一条色调映射曲线编入第一JPEG图像帧的APP字段。
在一种可能的实现方式中，JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，第一JPEG图像帧承载第二图像的编码数据，第二JPEG图像帧承载第一亮度相关数据。
在一种可能的实现方式中，第一JPEG图像帧的APP字段包括第一位置标识，第一位置标识用于指示第二JPEG图像帧在JPEG文件的起始位置。
在一种可能的实现方式中，第一JPEG图像帧和第二JPEG图像帧的APP字段分别包括文件类型标识，第一JPEG图像帧的文件类型标识取值为第三值，用于指示第一JPEG图像帧的APP字段承载第二图像的编码数据，第二JPEG图像帧的文件类型标识取值为第四值，用于指示第二JPEG图像帧的APP字段承载第一亮度相关数据。
在一种可能的实现方式中，第二JPEG图像帧的APP字段包括数据类型标识，数据类型标识的取值为第二值时，指示第一亮度相关数据的数据类型为图像帧类型。
在一种可能的实现方式中，编码模块901，还用于：
将至少一条色调映射曲线编入第二JPEG图像帧的APP字段中。
在一种可能的实现方式中，至少一条色调映射曲线是根据采集端设备的屏幕背光参数、第二图像的图像数据以及至少一个设定屏幕背光参数确定的，至少一个设定屏幕背光参数与采集端设备的屏幕背光参数不同。
在一种可能的实现方式中，编码模块901，还用于：
将缩放显示数据编入第一JPEG图像帧的APP字段；
所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据用于描述第一图像放大后的图像中相比第一图像增加的像素值信息或者用于描述所述第一图像缩小后的图像相比第一减少的像素值信息，所述高频纹理增强数据用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息或者用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。
在一种可能的实现方式中，JPEG文件还包括第三JPEG图像帧，编码模块，还用于：
将缩放显示数据编入JPEG文件中，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据用于描述第一图像放大后的图像中相比第一图像增加的像素值信息或者用于描述所述第一图像缩小后的图像相比第一减少的像素值信息，所述高频纹理增强数据用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息或者用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。
当缩放显示数据包括用于缩放显示的色调映射曲线时，用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；或者，
当缩放显示数据包括缩放增强数据时，JPEG文件还包括第三JPEG图像帧，第三JPEG图像帧承载缩放增强数据；或者，
当缩放显示数据包括高频纹理增强数据时，JPEG文件还包括第四JPEG图像帧，第四JPEG图像帧承载缩放增强数据。
在一种可能的实现方式中，第一JPEG图像帧的APP字段还包括第二位置标识和/或第三位置标识，第二位置标识用于指示第三JPEG图像帧在JPEG文件的起始位置，第三位置标识用于指示第四JPEG图像帧在JPEG文件的起始位置。
在一种可能的实现方式中，第一JPEG图像帧的APP字段还包括缩放增强方式标识；
缩放增强方式标识为第五值时，指示缩放增强方式为在根据第一亮度相关数据针对第二图像进行增强后的图像的基础上叠加缩放增强数据；缩放增强方式标识为第六值时，指示缩放增强方式为在根据第一亮度相关数据针对第二图像进行增强后的图像的基础上加权叠加高频纹理增强数据；或者，缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据第一亮度相关数据针对第二图像进行增强后的图像的亮度。
参见图10所示，为本申请实施例提供的一种解码装置结构示意图。
接收模块1001，用于接收码流，所述码流中包括联合图像专家小组JPEG格式编码的JPEG文件；
解码模块1002，用于从所述JPEG文件中解码第二图像的图像数据以及第一亮度相关数据；
其中，所述第二图像的图像数据是对第一图像的图像数据进行压缩得到的，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第一亮度相关数据用于表征所述第一图像与所述第二图像的亮度映射关系。
在一种可能的实现方式中，解码装置还包括：
处理模块(图10中为示出)，用于根据所述第一亮度相关数据对所述第二图像的图像数据进行增强处理，以得到待显示图像。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，以及所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中；
解码模块1002具体用于针对所述第一JPEG图像帧进行解码，得到所述第二图像的图像数据，并从所述第一JPEG图像帧的APP字段中获取所述第一亮度相关数据。
在一种可能的设计中，所述第一亮度相关数据以元数据的形式承载于所述第一JPEG图像帧的APP字段中。
在一种可能的设计中，所述解码模块1002，还用于从所述第一JPEG图像帧的应用标识APP字段中解码至少一条色调映射曲线。
在一种可能的设计中，所述处理模块，具体用于：根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配；根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；根据所述第一亮度相关数据对所述第三图像的像素点的像素值进行调整得到所述待显示的图像。
在一种可能的设计中，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的图像数据，所述第二JPEG图像帧承载所述第一亮度相关数据；
所述解码模块1002，具体用于从所述第一JPEG图像帧解码所述第二图像的图像数据，并从所述第二JPEG图像帧解码所述第一亮度相关数据。
在一种可能的设计中，所述解码模块1002，还用于从所述第一JPEG图像帧的应用标识APP字段或者从所述第二JPEG图像帧的APP字段中解码至少一条色调映射曲线。
在一种可能的设计中，所述处理模块，具体用于：根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配；根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；根据所述第一亮度相关数据对所述第三图像的像素点的像素值进行调整得到所述待显示的图像。
在一种可能的设计中，所述JPEG文件还编码有缩放显示数据；所述解码模块1002，还用于从所述JPEG文件中解码所述缩放显示数据。
其中，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据用于描述第一图像放大后的图像中相比第一图像增加的像素值信息或者用于描述所述第一图像缩小后的图像相比第一减少的像素值信息，所述高频纹理增强数据用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息或者用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息。
所述处理模块，响应于用户针对所述待显示图像的放大或缩小操作，根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像。
在一种可能的设计中，所述缩放显示数据承载于所述第一JPEG图像帧的APP字段，所述解码模块，还用于从所述第一JPEG图像帧的APP字段解码所述缩放显示数据。
在一种可能的设计中，当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；所述解码模块1002，具体用于从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线；
或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；所述解码模块1002，具体用于从所述第三JPEG图像帧中解码所述缩放增强数据；
或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据；所述解码模块1002，具体用于从所述第四JPEG图像帧中解码所述高频纹理增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括第二位置标识和/第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置；
所述解码模块1002，具体用于：
根据所述第二位置标识从所述JPEG文件确定所述第三JPEG图像帧的起始位置，以及根据所述起始位置从所述第三JPEG图像帧中解码所述缩放增强数据；或者，
所述解码模块1002，具体用于：根据所述第三位置标识从所述JPEG文件确定所述第四JPEG图像帧的起始位置，以及根据所述起始位置从所述第四JPEG图像帧中解码所述缩放增强数据。
在一种可能的设计中，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；所述缩放增强方式标识为第五值时，指示缩放增强方式为叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为加权叠加所述高频纹理增强数据；所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
本申请实施例还提供一种采集端设备，如图11所示，采集端设备1100中可以包括通信接口1110、处理器1120。可选的，采集端设备1100中还可以包括存储器1130。其中，存储器1130可以设置于采集端设备内部，还可以设置于采集端设备外部。上述图7中所示的采集模块701、处理模块702均可以由处理器1120实现。一些实施例中，上述图9中所示的编码装置中编码模块901的功能可以由处理器1120实现，发送模块902的功能可由通信接口1110实现。
一些实施例中，采集端设备1100中还包括图像传感器1140，用于采集图像。一些实施例中，采集端设备1100中还包括显示屏1150。当然显示屏1150也可以是设置于采集端设备1100之外。
在一种可能的实施方式中，处理器1120用于实现图2～图6中所述的采集端所执行的任一方法，并通过通信接口1110输出传输数据。
在实现过程中，处理流程的各步骤可以通过处理器1120中的硬件的集成逻辑电路或者软件形式的指令完成图2～图6中采集端(或者编码装置)所执行的方法。为了简洁，在此不再赘述。处理器1120用于实现上述方法所执行的程序代码可以存储在存储器1130中。存储器1130和处理器1120耦合。
本申请实施例中涉及到的任一通信接口可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。比如采集端设备1100中的通信接口1110，示例性地，该其它装置可以是与该采集端设备1100相连的设备，比如，该其它装置可以是显示端设备等。
处理器1120可能和存储器1130协同操作。存储器1130可以是非易失性存储器，比如硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)。存储器1130是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
本申请实施例中不限定上述通信接口1110、处理器1120以及存储器1130之间的具体连接介质。本申请实施例在图11中以存储器1130、处理器1120以及通信接口1110之间通过总线连接，总线在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供一种显示端设备，如图12所示，显示端设备1200中可以包括通信接口1210、处理器1220。可选的，显示端设备1200中还可以包括存储器1230。其中，存储器1230可以设置于显示端设备内部，还可以设置于显示端设备外部。上述图8中所示的解码模块801、处理模块802均可以由处理器1220实现。一些实施例中，显示端设备还可以包括显示屏1240，用于显示待显示图像。一些实施例中，上述图10中所示的解码装置中接收模块1001的功能可以由通信接口1210实现，解码模块1002的功能可由处理器1220实现。
在一种可能的实施方式中，处理器1220用于通过通信接口1210获取传输数据，并实现图2～图6中所述的显示端设备(或者解码装置)所执行的任一方法。
在实现过程中，处理流程的各步骤可以通过处理器1220中的硬件的集成逻辑电路或者软件形式的指令完成图2～图6中显示端所执行的方法。为了简洁，在此不再赘述。处理器1220用于实现上述方法所执行的程序代码可以存储在存储器1230中。存储器1230和处理器1220耦合。
本申请实施例中涉及到的任一通信接口可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。比如显示端设备1200中的通信接口1210，示例性地，该其它装置可以是与该显示端设备1200相连的设备，比如，该其它装置可以是采集端设备等。
处理器1220可能和存储器1230协同操作。存储器1230可以是非易失性存储器，比如硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)。存储器1230是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
本申请实施例中不限定上述通信接口1210、处理器1220以及存储器1230之间的具体连接介质。本申请实施例在图12中以存储器1230、处理器1220以及通信接口1210之间通过总线连接，总线在图12中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例中涉及的处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本申请实施例中的耦合是装置、模块或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、模块或模块之间的信息交互。
基于以上实施例，本申请实施例还提供了一种计算机存储介质，该存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时可实现上述任意一个或多个实施例提供的方法。所述计算机存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
基于以上实施例，本申请实施例还提供了一种芯片，该芯片包括处理器，用于实现上述任意一个或多个实施例所涉及的功能，例如用于实现图2-图6中采集端所执行的方法，或者用于实现图2-图6中显示端设备所执行的方法。可选地，所述芯片还包括存储器，所述存储器，用于处理器所执行必要的程序指令和数据。该芯片，可以由芯片构成，也可以包含芯片和其他分立器件。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (47)

1.一种图像采集方法，其特征在于，应用于采集端设备，包括：
采集第一图像以获得第一图像的图像数据；
根据所述第一图像的图像数据对所述第一图像进行压缩处理获取第二图像的图像数据，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；
根据所述第一图像的图像数据和所述第二图像的图像数据获得所述第二图像的传输数据；
其中，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第一图像与所述第二图像的亮度映射关系；
发送所述第二图像的传输数据。
2.如权利要求1所述的方法，其特征在于，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光参数、所述第二图像的图像数据以及至少一个设定屏幕背光参数确定的，所述至少一个设定屏幕背光参数与所述采集端设备的屏幕背光参数不同。
3.如权利要求1或2所述的方法，其特征在于，根据所述第一图像和所述第二图像获得所述第一亮度相关数据，包括：
根据所述第一图像和所述第二图像的比特位数，分别对所述第一图像的图像数据和所述第二图像的图像数据进行归一化处理，得到所述第一图像的归一化数据以及所述第二图像的归一化数据；
根据所述第一图像的归一化数据以及所述第二图像的归一化数据获得所述第一亮度相关数据。
4.如权利要求3所述的方法，其特征在于，所述第一图像的比特位数为N，所述第二图像的比特位数为M，所述第一图像的归一化数据的范围为0-X，所述第二图像的归一化数据的范围为0-Y；其中，Y/X＝2M-N。
5.如权利要求3或4所述的方法，其特征在于，所述根据所述第一图像的归一化数据以及所述第二图像的归一化数据获得所述亮度相关数据，包括：
根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成所述第一亮度相关数据。
6.如权利要求5所述的方法，其特征在于，根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成所述第一亮度相关数据，包括：
获取所述第一图像与第二图像对应像素点的归一化数据的比值；
当所述第一图像的第一像素点的归一化数据与所述第二图像的第一像素点的归一化数据比值小于1时，对所述第一像素点的归一化数据的比值进行修正，以得到所述第一亮度相关数据；
所述第一像素点为第一图像或者第二图像的一个像素点。
7.如权利要求3或4所述的方法，其特征在于，所述根据所述第一图像的归一化数据以及所述第二图像的归一化数据获得所述第一亮度相关数据，包括：
根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成第二亮度相关数据；
识别到所述第一图像包括设定高亮物体，根据光电转换曲线对所述第二亮度相关数据中所述高亮物体对应的像素点的亮度映射关系进行调整得到所述第一亮度相关数据。
8.如权利要求7所述的方法，其特征在于，根据所述第一图像与所述第二图像对应像素点的归一化数据的比值生成所述第二亮度相关数据，包括：
获取所述第一图像与第二图像对应像素点的归一化数据的比值；
当所述第一图像的第一像素点的归一化数据与所述第二图像的第一像素点的归一化数据比值小于1时，对所述第一像素点的归一化数据的比值进行修正，以得到所述第二亮度相关数据；
所述第一像素点为第一图像或者第二图像的一个像素点。
9.如权利要求7或8所述的方法，其特征在于，所述光电转换曲线包括感知量化PQ转换曲线、混合对数伽马HLG转换曲线或者场景亮度保真SLF转换曲线中的至少一项。
10.如权利要求1-9任一项所述的方法，其特征在于，所述第二图像的传输数据包含于采用联合图像专家小组JPEG格式编码的JPEG文件中，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中。
11.如权利要求10所述的方法，其特征在于，所述第一亮度相关数据以元数据的形式承载于所述第一JPEG图像帧的APP字段中。
12.如权利要求11所述的方法，其特征在于，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型标识的取值为第一值时，指示所述第一亮度相关数据的数据类型为元数据类型。
13.如权利要求10-12任一项所述的方法，其特征在于，所述第二图像的传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中。
14.如权利要求1-9任一项所述的方法，其特征在于，所述第二图像的传输数据包含于采用JPEG格式编码的JPEG文件中，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，所述第二JPEG图像帧承载所述第一亮度相关数据。
15.如权利要求14所述的方法，其特征在于，所述第一JPEG图像帧的APP字段包括第一位置标识，所述第一位置标识用于指示所述第二JPEG图像帧在所述JPEG文件的起始位置。
16.如权利要求14或15所述的方法，其特征在于，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值时，指示第一JPEG图像帧的APP字段承载所述第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值时，指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据。
17.如权利要求16所述的方法，其特征在于，所述第二JPEG图像帧的APP字段包括数据类型标识，所述数据类型标识的取值为第二值时，指示所述第一亮度相关数据的数据类型为图像帧类型。
18.如权利要求14-17任一项所述的方法，其特征在于，所述第二图像的传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中或者承载于所述第二JPEG图像帧的APP字段中。
19.如权利要求14-18任一项所述的方法，其特征在于，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述所述第一图像放大后的图像相比所述第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比所述第一图像减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比所述第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比所述第一图像减少的高频纹理信息。
20.如权利要求19所述的方法，其特征在于，所述缩放显示数据承载于所述第一图像帧的APP字段中。
21.如权利要求19所述的方法，其特征在于，当所述缩放显示数据包括所述用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线承载于所述第一JPEG图像帧的APP字段；或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据。
22.如权利要求21所述的方法，其特征在于，所述第一JPEG图像帧的APP字段还包括第二位置标识和/或第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置。
23.如权利要求19-22任一项所述的方法，其特征在于，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；
所述缩放增强方式标识为第五值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为在根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的基础上加权叠加所述高频纹理增强数据；或者，所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度。
24.一种图像显示方法，其特征在于，应用于显示端设备，包括：
接收第二图像的传输数据，所述第二图像的传输数据包括所述第二图像的编码数据以及第一亮度相关数据，所述第一亮度相关数据用于表征所述第二图像与第一图像的亮度映射关系，所述第一图像占用的比特位数高于所述第二图像占用的比特位数；所述第二图像是在所述第一图像的基础上压缩得到的图像；
确定第一色调映射曲线；
根据所述第一色调映射曲线对所述第二图像进行色调映射处理得到第三图像；
根据所述第一亮度相关数据对所述第三图像的像素点的像素值进行调整得到待显示的图像。
25.如权利要求24所述的方法，其特征在于，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线是根据所述采集端设备的屏幕背光信息、所述第二图像以及至少一个设定屏幕显示参数确定的；
确定第一色调映射曲线，包括：
根据所述显示端设备的屏幕显示参数从所述至少一条色调映射曲线中确定第一色调映射曲线，所述显示端设备的屏幕显示参数与所述第一色调映射曲线对应的设定屏幕显示参数匹配。
26.如权利要求24或25所述的方法，其特征在于，所述接收第二图像的传输数据包括：
接收码流，所述码流中包括采用联合图像专家小组JPEG格式编码的JPEG文件，所述JPEG文件包括第一JPEG图像帧，所述第一JPEG图像帧承载所述第二图像的编码数据，以及所述第一亮度相关数据承载于所述第一JPEG图像帧的应用标识APP字段中；
从所述第一JPEG图像帧解码所述第二图像以及从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据。
27.如权利要求26所述的方法，其特征在于，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型标识的取值为第一值，指示所述第一亮度相关数据的数据类型为元数据类型，所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第一值时，从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据。
28.如权利要求26或27所述的方法，其特征在于，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的应用标识APP字段中；
所述方法还包括：
从所述第一JPEG图像帧的应用标识APP字段中解码所述至少一条色调映射曲线。
29.如权利要求24或25所述的方法，其特征在于，所述接收第二图像的传输数据包括：
接收码流，所述码流中包括采用JPEG格式编码的JPEG文件，所述JPEG文件包括第一JPEG图像帧和第二JPEG图像帧；
从所述第一JPEG图像帧解码所述第二图像以及从所述第二JPEG图像帧中解码所述第一亮度相关数据。
30.如权利要求29所述的方法，其特征在于，所述第一JPEG图像帧的APP字段包括第一位置标识，所述第一位置标识用于指示所述第二JPEG图像帧在所述JPEG文件的起始位置；
从所述第一JPEG图像帧解码所述第二图像以及从所述第二JPEG图像帧中解码所述第一亮度相关数据，包括：
从所述第一JPEG图像帧解码所述第二图像以及获取所述第一位置标识；
根据所述第一位置标识从所述JPEG文件确定所述第二JPEG图像帧的起始位置，以及根据所述起始位置从所述第二JPEG图像帧中解码所述第一亮度相关数据。
31.如权利要求30所述的方法，其特征在于，所述第一JPEG图像帧的APP字段还包括数据类型标识，所述数据类型标识的取值为第二值，指示所述第一亮度相关数据的数据类型为图像帧类型，所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的数据类型标识为第二值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
32.如权利要求30或31所述的方法，其特征在于，所述第一JPEG图像帧和所述第二JPEG图像帧的APP字段分别包括文件类型标识，所述第一JPEG图像帧的文件类型标识取值为第三值时，指示第一JPEG图像帧的APP字段承载所述第二图像的编码数据，所述第二JPEG图像帧的文件类型标识取值为第四值时，指示所述第二JPEG图像帧的APP字段承载所述第一亮度相关数据；
从所述第一JPEG图像帧解码所述第二图像的图像数据，包括：
当所述从所述第一JPEG图像帧的APP字段解码的文件类型标识为第三值时，从所述第一JPEG图像帧中解码所述第二图像的图像数据；
所述从所述第一JPEG图像帧的APP字段中解码所述第一亮度相关数据，包括：
当所述从所述第二JPEG图像帧的APP字段解码的文件类型标识为第四值时，从所述第二JPEG图像帧中解码所述第一亮度相关数据。
33.如权利要求29-32任一项所述的方法，其特征在于，所述传输数据还包括至少一条色调映射曲线，所述至少一条色调映射曲线承载于所述第一JPEG图像帧的APP字段中或者所述第二JPEG图像帧的APP字段中；
所述方法还包括：
从所述第一JPEG图像帧的APP字段中或者所述第二JPEG图像帧的APP字段中解码所述至少一条色调映射曲线。
34.如权利要求26-33任一项所述的方法，其特征在于，所述传输数据中还包括缩放显示数据，所述缩放显示数据包括缩放增强数据、高频纹理增强数据或者用于缩放显示的色调映射曲线中的至少一项；所述缩放增强数据包括用于描述第一图像放大后的图像中相比第一图像增加的像素值信息和/或用于描述所述第一图像缩小后的图像相比第一减少的像素值信息，所述高频纹理增强数据包括用于描述所述第一图像的放大后的图像相比第一图像增加的高频纹理信息和/或用于描述所述第一图像的缩小后的图像相比第一图像减少的高频纹理信息；
所述方法还包括：
响应于用户针对所述待显示图像的放大或缩小操作，从所述JPEG文件中解码所述缩放显示数据，并根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像。
35.如权利要求34所述的方法，其特征在于，所述缩放显示数据承载于所述第一JPEG图像帧的APP字段，从所述JPEG文件中解码所述缩放显示数据，包括：
从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线。
36.如权利要求34所述的方法，其特征在于，当所述缩放显示数据包括用于缩放显示的色调映射曲线时，所述用于缩放显示的色调映射曲线编码于第一JPEG图像帧的APP字段；从JPEG文件中解码所述缩放显示数据，包括：
从所述第一JPEG图像帧的APP字段解码所述用于缩放显示的色调映射曲线；
或者，
当所述缩放显示数据包括所述缩放增强数据时，所述JPEG文件还包括第三JPEG图像帧，所述第三JPEG图像帧承载所述缩放增强数据；从JPEG文件中解码所述缩放显示数据，包括：
从所述第三JPEG图像帧中解码所述缩放增强数据；
或者，
当所述缩放显示数据包括所述高频纹理增强数据时，所述JPEG文件还包括第四JPEG图像帧，所述第四JPEG图像帧承载所述高频纹理增强数据；从JPEG文件中解码所述缩放显示数据，包括：
从所述第四JPEG图像帧中解码所述高频纹理增强数据。
37.如权利要求36所述的方法，其特征在于，所述第一JPEG图像帧的APP字段还包括第二位置标识和/第三位置标识，所述第二位置标识用于指示所述第三JPEG图像帧在所述JPEG文件的起始位置，所述第三位置标识用于指示所述第四JPEG图像帧在所述JPEG文件的起始位置；
从所述第三JPEG图像帧中解码所述缩放增强数据，包括：
根据所述第二位置标识从所述JPEG文件确定所述第三JPEG图像帧的起始位置，以及根据所述起始位置从所述第三JPEG图像帧中解码所述缩放增强数据；或者，
从所述第四JPEG图像帧中解码所述高频纹理增强数据，包括：
根据所述第三位置标识从所述JPEG文件确定所述第四JPEG图像帧的起始位置，以及根据所述起始位置从所述第四JPEG图像帧中解码所述缩放增强数据。
38.如权利要求31-37任一项所述的方法，其特征在于，所述第一JPEG图像帧的APP字段还包括缩放增强方式标识；所述缩放增强方式标识为第五值时，指示缩放增强方式为叠加所述缩放增强数据；所述缩放增强方式标识为第六值时，指示缩放增强方式为加权叠加所述高频纹理增强数据；所述缩放增强方式标识为第七值时，指示缩放增强方式为基于用于缩放显示的色调映射曲线调整根据所述第一亮度相关数据针对所述第二图像进行增强后的图像的亮度；
根据所述缩放显示数据对所述待显示图像进行增强处理得到增强后的待显示图像，包括：
当所述缩放增强方式标识为所述第五值时，将所述缩放增强数据叠加到所述待显示图像上得到所述增强后的待显示图像；或者，
当所述缩放增强方式标识为所述第六值时，根据设定的增强系数对所述高频纹理增强数据进行增强，并将所述增强后的高频纹理增强数据叠加到所述待显示图像上得到所述增强后的待显示图像；
当所述缩放增强方式标识为所述第七值时，基于用于缩放显示的色调映射曲线调整所述待显示图像的亮度。
39.如权利要求24-38任一项所述的方法，其特征在于，根据所述第一亮度相关数据对第三图像的像素点的像素值进行调整得到待显示的图像，包括：
确定调整前所述显示端设备的屏幕背光以及确定调整后的所述显示端设备的屏幕背光；
根据调整前所述显示端设备的屏幕背光以及所述调整后的所述显示端设备的屏幕背光调整所述第三图像的像素点的像素值得到第四图像；
对所述第四图像和所述第三图像进行加权融合处理得到所述待显示图像；
其中，所述第三图像以及所述第四图像的像素点的权重根据所述第一亮度相关数据确定。
40.如权利要求39所述的方法，其特征在于，所述第四图像的各个像素点的像素值满足如下所示的条件：
pixel1i＝pow(BL0/BL1,1/gamma)*pixel0i；
其中，pixel1i表示第四图像的第i个像素点的像素值，pixel0i表示第三图像的第i个像素点的像素值，BL0表示调整前所述显示端设备的屏幕背光，BL1表示调整后所述显示端设备的屏幕背光，gamma表示所述显示端设备的伽马值，pow(xExp,nExp)表示以xExp为底数的nExp次幂。
41.如权利要求39或40所述的方法，其特征在于，所述待显示图像的各个像素点的像素值满足如下所示的条件：
weighti＝hdrlayeri/2N；
pixeli＝pixel0i*weighti+pixel1i*(1–weighti)；
其中，N表示所述第二图像占用的比特位数，hdrlayeri表示第i个像素点对应的第一亮度相关数据，pixel1i表示所述第四图像的第i个像素点的像素值，pixel0i表示所述第三图像的第i个像素点的像素值，pixeli表示所述待显示图像的各个像素点的像素值。
42.如权利要求24-41任一项所述的方法，其特征在于，所述方法还包括：
调整所述显示端设备的屏幕背光。
43.如权利要求39-42任一项所述的方法，其特征在于，调整后的显示端设备的屏幕背光满足如下所示的条件：
BL1＝BL0*(k1*AVG(hdrlayeri)+b1)；或者，
BL1＝BL0*(k2*max(hdrlayeri)+b2)；
其中，BL1表示调整后所述显示端设备的屏幕背光，BL0表示调整前的所述显示端设备的屏幕背光，hdrlayeri表示所述显示端设备的显示屏的第i个像素点对应的亮度相关数据，AVG(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度相关数据的平均值，max(hdrlayeri)表示所述显示端设备的显示屏包括的像素点对应的亮度相关数据的最大值，k1、k2均为正数，b1、b2均为小于1的正数。
44.一种采集端设备，其特征在于，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如权利要求1-23任一项所述的方法。
45.一种显示端设备，其特征在于，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如权利要求24-43任一项所述的方法。
46.一种图像处理系统，其特征在于，包括如权利要求44所述的采集端设备和如权利要求45所述的显示端设备。
47.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码包括用于处理器执行如权利要求1-43任一项所述方法的指令。
CN202211302042.1A 2022-01-18 2022-10-24 一种图像采集方法、图像显示方法及装置 Pending CN116506630A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP23742806.5A EP4429245A4 (en) 2022-01-18 2023-01-13 Image capturing method, image display method, and device
PCT/CN2023/072023 WO2023138491A1 (zh) 2022-01-18 2023-01-13 一种图像采集方法、图像显示方法及装置
US18/731,364 US20240323544A1 (en) 2022-01-18 2024-06-03 Image capture method, image display method, and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022100564846 2022-01-18
CN202210056484 2022-01-18

Publications (1)

Publication Number Publication Date
CN116506630A true CN116506630A (zh) 2023-07-28

Family

ID=87329090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211302042.1A Pending CN116506630A (zh) 2022-01-18 2022-10-24 一种图像采集方法、图像显示方法及装置

Country Status (4)

Country Link
US (1) US20240323544A1 (zh)
EP (1) EP4429245A4 (zh)
CN (1) CN116506630A (zh)
WO (1) WO2023138491A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120186314A (zh) * 2025-05-21 2025-06-20 广东名威科技有限公司 一种可视喉镜投影系统的图像数据处理方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392075B (zh) * 2023-10-10 2024-09-17 天翼数字生活科技有限公司 一种epg图像缺失检测方法和系统、电子设备及存储介质
WO2025152050A1 (zh) * 2024-01-16 2025-07-24 华为技术有限公司 数据封装方法及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261637A (ja) * 1996-03-26 1997-10-03 Toyota Motor Corp 画像圧縮装置、画像前処理方法及び画像伝送システム
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
WO2014025588A1 (en) * 2012-08-08 2014-02-13 Dolby Laboratories Licensing Corporation Image processing for hdr images
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
CN106961557B (zh) * 2016-01-08 2020-01-31 中强光电股份有限公司 光场相机及其影像处理方法
EP3399735A1 (en) * 2017-05-02 2018-11-07 Thomson Licensing Method and device for color gamut mapping
CN107343187B (zh) * 2017-07-24 2021-08-24 深圳Tcl新技术有限公司 色域映射方法、显示终端及计算机可读存储介质
EP3557872A1 (en) * 2018-04-16 2019-10-23 InterDigital VC Holdings, Inc. Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
CN110505412B (zh) * 2018-05-18 2021-01-29 杭州海康威视数字技术股份有限公司 一种感兴趣区域亮度值的计算方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120186314A (zh) * 2025-05-21 2025-06-20 广东名威科技有限公司 一种可视喉镜投影系统的图像数据处理方法及系统

Also Published As

Publication number Publication date
WO2023138491A1 (zh) 2023-07-27
EP4429245A1 (en) 2024-09-11
EP4429245A4 (en) 2025-03-19
US20240323544A1 (en) 2024-09-26

Similar Documents

Publication Publication Date Title
AU2020201708B2 (en) Techniques for encoding, decoding and representing high dynamic range images
CN104813666B (zh) 解码装置和解码方法、编码装置以及计算机可读介质
JP6234920B2 (ja) ハイダイナミックレンジ画像信号生成及び処理
RU2640717C1 (ru) Кодирование, декодирование и представление изображений с расширенным динамическим диапазоном
EP4429245A1 (en) Image capturing method, image display method, and device
CN110574376B (zh) 用于解码高动态范围图像的方法和设备
TWI707309B (zh) 圖片文件處理方法、系統及儲存介質
US12333694B2 (en) Image processing method and apparatus
CN112215760A (zh) 一种图像处理的方法及装置
CN110830804B (zh) 用于用信号通知画面/视频格式的方法和设备
CN115567694B (zh) 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质
EP4548297A1 (en) High dynamic range video formats with low dynamic range compatibility
US10757426B2 (en) Method and apparatus for processing image data
CN120343268A (zh) 多媒体的元数据编解码方法
WO2025036300A1 (zh) 编码方法、解码方法和相关设备
WO2025152130A1 (zh) 图像编解码方法及相关装置
Léonce et al. High dynamic range video transmission and display using standard dynamic range technologies
HK40009290B (zh) 用於对高动态范围图像进行编码、解码和表示的技术
HK40009915A (zh) 用於对高动态范围图像进行编码、解码和表示的技术
HK40009290A (zh) 用於对高动态范围图像进行编码、解码和表示的技术
HK40009915B (zh) 用於对高动态范围图像进行编码、解码和表示的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination