[go: up one dir, main page]

WO2016017961A1 - 방송 신호 송수신 방법 및 장치 - Google Patents

방송 신호 송수신 방법 및 장치 Download PDF

Info

Publication number
WO2016017961A1
WO2016017961A1 PCT/KR2015/007202 KR2015007202W WO2016017961A1 WO 2016017961 A1 WO2016017961 A1 WO 2016017961A1 KR 2015007202 W KR2015007202 W KR 2015007202W WO 2016017961 A1 WO2016017961 A1 WO 2016017961A1
Authority
WO
WIPO (PCT)
Prior art keywords
caption
subtitle
metadata
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/007202
Other languages
English (en)
French (fr)
Inventor
오현묵
서종열
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020167033466A priority Critical patent/KR20170007764A/ko
Priority to US15/322,604 priority patent/US10368144B2/en
Publication of WO2016017961A1 publication Critical patent/WO2016017961A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Definitions

  • the present invention relates to an apparatus and method for transmitting and receiving broadcast signals.
  • broadcasting subtitle service is provided in the form of closed caption or DVB (Digital Video Broadcasting) subtitle.
  • DVB subtitles are provided in the form of a bitmap image. Therefore, subtitles of different sizes should be provided for images of various sizes, or services should be provided by scaling subtitles of a single standard. In this case, in the former case, the efficiency decreases in terms of bandwidth, and in the latter case, a sharpness due to scaling occurs.
  • the discussion of high-definition broadcasting service through UHDTV is being actively conducted, and a need for a new broadcasting subtitle service is emerging to solve this problem.
  • high-definition subtitle service with backward compatibility is required in accordance with the step-by-step image quality change of UHD.
  • An object of the present invention is to improve transmission efficiency in a method and apparatus for transmitting a broadcast signal.
  • Another object of the present invention is to provide a transmission apparatus and method for providing a caption service in a broadcasting network.
  • Another object of the present invention is to provide a broadcast apparatus and method for improving the quality of a subtitle service.
  • the broadcast signal transmission method may include generating a broadcast signal including video data and subtitle data and transmitting the generated broadcast signal.
  • the caption data may include XML caption data.
  • the XML caption data may include caption text and caption metadata.
  • the caption metadata may include extended color gamut and high dynamic range for high quality broadcasting.
  • the caption metadata may include basic information about the color gamut of the caption, the dynamic range of the caption, the bit depth of the caption, and additional information.
  • the broadcast signal receiving method may include receiving a broadcast signal including video data and caption data, and processing and outputting the video data and caption data.
  • the caption data may include XML caption data.
  • the XML caption data may include caption text and caption metadata.
  • the caption metadata may include information corresponding to an extended color gamut and a high dynamic range for high quality broadcasting.
  • the caption metadata may include information corresponding to an extended color gamut and a high dynamic range for high quality broadcasting.
  • the caption metadata may include basic information about the color gamut of the caption, the dynamic range of the caption, the bit depth of the caption, and additional information.
  • the broadcast signal receiving method may further include detecting whether a match between a receiver display property and the caption metadata.
  • the caption metadata may include information on at least one color gamut, dynamic range, and bit depth supporting a plurality of services.
  • the caption metadata may include information about a color gamut, dynamic range, and bit depth, and a color transform function.
  • a high quality subtitle service can be provided in a broadcasting network.
  • a subtitle service having backward compatibility may be provided in a broadcasting network.
  • the broadcast reception device may extract and display a subtitle included in a broadcast signal.
  • FIG. 1 is a diagram illustrating an XML-based broadcast subtitle service according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an operation of a receiver for XML-based subtitles according to an embodiment of the present invention.
  • FIG. 3 illustrates a preprocessing process for a subtitle of a broadcast receiver according to an embodiment of the present invention.
  • FIG 4 illustrates dynamic range mapping for brightness according to an embodiment of the present invention.
  • FIG. 5 illustrates metadata including information about a subtitle according to an embodiment of the present invention.
  • FIG. 6 illustrates metadata including information about a subtitle according to another embodiment of the present invention.
  • FIG. 7 illustrates a detailed description of elements of meta data of a caption according to an embodiment of the present invention.
  • FIG. 8 shows a detailed description of elements of meta data of a caption according to an embodiment of the present invention.
  • FIG. 9 shows a detailed description of elements of meta data of a caption according to an embodiment of the present invention.
  • FIG. 10 illustrates a method of expressing a color of a subtitle according to an embodiment of the present invention.
  • FIG. 11 illustrates a method of expressing colors of subtitles according to another embodiment of the present invention.
  • FIG. 12 illustrates a method of expressing colors of subtitles according to another embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a broadcast transmitter according to an embodiment of the present invention.
  • FIG. 14 is a block diagram illustrating a broadcast receiver according to an embodiment of the present invention.
  • 15 is a diagram illustrating a detailed configuration of a broadcast receiver according to an embodiment of the present invention.
  • FIG. 16 illustrates a method of transmitting a broadcast signal including XML subtitles according to an embodiment of the present invention.
  • FIG. 17 illustrates a method of receiving a broadcast signal including XML subtitles according to an embodiment of the present invention.
  • the present invention provides digital subtitle services using XML subtitles (TTML, SMPTE-TT, EBU-TT-D, etc.) in existing and new receivers based on high definition image elements such as WCG, HDR and higher bit depth. It describes a method for providing a subtitle service.
  • XML subtitles TTML, SMPTE-TT, EBU-TT-D, etc.
  • TTML time text markup language
  • EBU-TT EBU time text
  • XML-based subtitle can support various sizes of video and is considered as one of UHD-based next-generation subtitle service method because it is suitable for IP streaming-based service. This is because the change from HD to UHD will not only improve resolution but also bring about changes in various image quality aspects such as dynamic range, color gamut, and bit depth, and these video elements need to be considered in the next-generation subtitle service.
  • current TTML-based XML subtitle does not consider these elements, and it is necessary to consider elements such as WCG and HDR to cope with various service environments.
  • XML subtitle metadata capable of delivering information on an XML subtitle production environment to support receivers and displays having various performances in terms of HDR and WCG. Describe the service method.
  • the present invention can propose a method of extending the expression up to 16 bits while maintaining the support for the existing 8-bit system in a situation where the bitdepth expression of the XML subtitle is limited to 8 bits.
  • a receiver operation may be described in terms of color gamut, dynamic range, and bit depth in a case where the subtitle production environment and the image reproduction environment are different.
  • High Efficiency Video Coding is a high-efficiency video coding standard that offers the same video quality with approximately twice the compression rate compared to traditional H.265 / AVC technology.
  • Extensible Markup Language is a language that is an improvement of HTML. It has improved the homepage building function and search function, and can easily handle the complex data of the client system.
  • the caption data is used as a language, and the XML caption may be composed of a head and a body.
  • PTS Presentation Time Stamp
  • the PTS can be used to synchronize the video ES and the subtitle ES.
  • ES Electronic Stream
  • outputs of the video encoder and the audio encoder may be defined as a video ES and an audio ES, respectively.
  • the XML subtitle ES can be defined and used.
  • TS Transport Stream
  • TS is a transport stream including one or several programs in an MPEG-2 system and can be used for a transmission medium in which a transport error exists.
  • TS may mean a transport stream in which at least two of a video ES, an audio ES, and a subtitle ES are multiplexed and transmitted.
  • FIG. 1 is a diagram illustrating an XML-based broadcast subtitle service according to an embodiment of the present invention. 1 illustrates a diagram of a transmitter, a receiver, and an end-to-end system for a digital broadcast service.
  • the XML-based subtitles used in the present invention can be applied to both UHD / HD / SD since they are not affected by the size of the image.
  • the transmitting end may transmit the compressed image and the modified XML subtitle for transmission through a multiplexer.
  • the receiver demultiplexes the received signal and provides subtitles through image decoding and XML parser, and the graphic engine may modify the subtitle expression method according to the receiver's environment and output it to the display processor.
  • the display processor may output the decoded image and the subtitle.
  • the transmitting end may receive video data and subtitle information.
  • the resolution of the video data input to the transmitter may be UHD, HD or SD.
  • the caption information input to the transmitting end may be written in XML.
  • Video data input to the transmitting end may be encoded by an encoder at the transmitting end (101).
  • the transmitting end may use HEVC (High Efficiency Video Coding) as an encoding method for video data.
  • the transmitting end may synchronize the encoded video data with XML subtitles and multiplex using a multiplexer (102).
  • the XML subtitle can be modified for transmission.
  • the transformation method for the XML subtitle and the metadata generation method for the XML subtitle will be described in detail below.
  • the transmitter may perform channel coding and modulation of the synchronized and multiplexed data and then transmit the broadcast signal as a broadcast signal.
  • the receiving end may receive a broadcast signal and perform demodulation and transport packet decoding.
  • the receiving end may perform video decoding and XML parsing after demultiplexing the decoded transport packet.
  • XML parsing can be performed through an XML parser.
  • the video decoder and the XML parser may exchange metadata. Such metadata may be used as additional information when displaying an image and a subtitle together.
  • the receiving end may demodulate the received broadcast signal and perform transport packet decoding (104).
  • the decoded transport packet is input to the video decoder 106 and the XML parser 107 after demultiplexing 105.
  • the video decoder 106 may decode the UHD, HD or SD video data according to the resolution of the received video data.
  • the XML parser 107 may extract XML captions.
  • the receiving end may consider an image element in displaying video data and XML subtitles using meta data.
  • the image element may include, for example, a dynamic range, a color gamut, a bit depth, and the like.
  • WCG wide color gamut
  • HDR high dynamic range
  • the standard of subtitle production Information about the image quality element may be provided to the receiver.
  • the receiver can change the color or brightness of the subtitle appropriately for the display environment.
  • the graphics engine 108 may modify a method of expressing XML subtitles corresponding to the above-described image element.
  • the decoded video data and the XML subtitle in which the presentation method is modified may be processed and displayed by the display processor 109.
  • FIG. 2 is a diagram illustrating an operation of a receiver for XML-based subtitles according to an embodiment of the present invention.
  • a subtitle service and a receiver capable of providing a subtitle service suitable for a receiver's environment based on a single subtitle for a case of providing different quality services for the same content, such as DVB UHD-1 phase 1 and phase 2
  • the structure can be described.
  • the service and similar structure are proposed as an IP streaming based service that can adaptively provide different video quality depending on the transmission environment or a storage media based video service that can provide different services according to the receiver environment.
  • Receiver can be used.
  • An IP streaming based service capable of adaptively providing different picture quality according to a transmission environment may be, for example, MPEG-DASH (dynamic adaptive streaming over HTTP) service.
  • the receiver can analyze the content through the XML parser for XML-based subtitles.
  • the receiver may transmit the contents of the subtitles and information for expressing the subtitles to the graphic engine.
  • the information for expressing the caption may include an element for distinguishing the image quality of the content. That is, the information for representing the subtitle may include at least one of bitdepth, dynamic range, color gamut, MidTone, and / or colors.
  • the receiver of the present invention may perform a preprocessing process before delivering subtitles and subtitle information to the graphics engine.
  • the receiver may selectively use the color, brightness, and bitdepth information provided in the subtitle according to the type of service that can be received or transform the information based on the information given in the subtitle.
  • the receiver can deliver the selected or modified subtitle information to the graphics engine through preprocessing.
  • the graphics engine may generate subtitles using the contents of the subtitles and information about the modified subtitles and transmit them to the display processor.
  • the preprocessing process may include detecting whether the subtitle production environment matches the display environment, and selecting or transforming.
  • the receiver may detect or determine a match based on metadata about the target video format of the subtitle and metadata about the display of the receiver.
  • the metadata about the target video format of the subtitle may include bitdepth, dynamic range, color gamut, subtitle brightness reference values HighTone, LowTone, and transformation function information.
  • the criterion can be delivered through metadata in XML, and in case of EBU-TT-D, the basic quality factors of subtitles are delivered to receiver through ebuttm: Gamut, ebuttm: DynamicRange, ebuttm: EOTF, and ebuttm: BitDepth. Can be.
  • the supported subtitle quality factors may be delivered to the receiver through ebuttm: SupplementaryGamut, ebuttm: SupplementaryDynamicRange, ebuttm: SupplementaryEOTF, and ebuttm: SupplementaryBitDepth.
  • the image quality element that is the basis of the subtitle and additionally supported image quality elements may be delivered to the receiver together through ebuttm: Gamuts, ebuttm: DynamicRanges, ebuttm: EOTFs, and ebuttm: BitDepths.
  • ebuttm Gamuts
  • ebuttm DynamicRanges
  • ebuttm EOTFs
  • ebuttm BitDepths.
  • the comparison criteria are gamut, dynamic range, and bitdepth aspects, and a comparison in terms of resolution and aspect ratio can also be performed.
  • the metadata of the display of the receiver may include display environment information, and may include bitdepth, dynamic range, and color gamut information of the receiver display.
  • the processing proceeds to the next step without further processing.
  • the graphics engine may generate captions using the received caption text data and meta data about the captions and deliver the captions to the display processor.
  • the preprocessing method may select another subtitle presentation method in terms of color and brightness of the subtitle. It may include the process of selecting or modifying the subtitle representation method.
  • a caption expression method included in the caption metadata may be selected or modified based on the metadata of the target video format of the caption and the metadata of the display of the receiver.
  • the selection process may be performed when the meta data of the caption includes a plurality of caption expression methods. That is, when there are a plurality of expression methods including bitdepth, dynamic range, color gamut, and the like in the metadata of the subtitle, the receiver may select one of them to suit the receiver metadata.
  • the selected bitdepth, selected dynamic range and selected color gamut are transmitted to the graphics engine or the transformed bitdepth, transformed dynamic range and transformed color gamut Can be delivered to.
  • the modified or selected meta data and subtitle text can be delivered to the graphics engine for the UHD-1 Phase 2 receiver.
  • the graphics engine may generate captions using the received caption text data and the selected or modified meta data about the captions and deliver the captions to the display processor. If there is a difference in color gamut, dynamic range, and bitdepth between the subtitle metadata and the display metadata in the preprocessing, the selection or modification of each element is performed.
  • the graphics engine transforms the text information into image information, and the receiver combines the elements for video, subtitles, and other video components through display processing on the output of the graphics engine to form an image for final display.
  • Subtitles transmitted by the present invention can be used by comparing the performance of the supported performance with the performance of the receiver and selecting appropriate values in terms of color gamut, dynamic range, and bitdepth according to a suitable format.
  • ebuttm Gamut
  • ebuttm DynamicRange
  • ebuttm EOTF
  • basic color gamut dynamic range
  • EOTF bitdepth information
  • ebuttm SupplementaryGamut
  • ebuttm SupplementaryDynamicRange
  • ebuttm Supplementary Comparison and selection can be made based on additional olor gamut, dynamic range, EOTF, and bitdepth information.
  • comparison and selection are performed based on color gamut, dynamic range, EOTF, and bitdepth information delivered through ebuttm: Gamuts, ebuttm: DynamicRanges, ebuttm: EOTFs, and ebuttm: BitDepths, together with basic and additional information. can do.
  • the receiving device proceeds by (1) ignoring the difference between the presentation information, (2) selecting a value suitable for the given format based on the given information in the metadata, or (3) a conversion function for the presentation information. You can perform conversion or dynamic range conversion.
  • (2) the method of selecting the presentation information will be described, and in the case of (3), the method of converting the presentation information, particularly the method of converting the dynamic range will be described.
  • the dynamic range mapping of the luminance of the XML-based subtitles is shown. That is, the receiver is an example of a case where the receiver plays the XML subtitle produced for the SDR image on the HDR display. In this case, the brightness of the image is changed through dynamic range mapping. At this time, if the brightness of the subtitle is changed to be the same as the image without considering the image brightness range, a problem occurs that the caption is brighter than necessary. For example, the maximum brightness of an HDR image can be set to a very high value to represent a realistic glare effect, such as high light. In this case, subtitles may become brighter than necessary.
  • HighTone can be understood as the optimal maximum brightness of the subtitle for a given brightness range.
  • HighTone can be understood as the optimal maximum brightness of the subtitle for a given brightness range.
  • LowTone can be set to the appropriate minimum brightness of the subtitle for the given brightness range.
  • HighTone and LowTone may be given in units of nit, and the receiver may perform dynamic range mapping of subtitles independently of brightness of an image based on given information.
  • the receiver since the brightness range of the HDR image and the brightness range of the subtitle are different, it is necessary to express the digital value of the brightness range of the image when converting the brightness / color of the subtitle.
  • FIG. 5 illustrates metadata including information about a subtitle according to an embodiment of the present invention. That is, an embodiment of the caption metadata proposed by the present invention is expressed in EBU-TT-D. Specifically, the metadata shown is for the color gamut BT. 709, minimum brightness 0.05nits maximum brightness 100nits, EOTF BT1886, Bitdepth 8 bit, color gamut BT.2020, minimum brightness 0.01nits, maximum brightness 2000nits EOTF SMPTE 2084 and Bitdepth 12bit for phase 2 Indicates.
  • the metadata about the caption may include color gamut, dynamic range, EOTF, and bitdepth information.
  • the metadata about the subtitles can support the case where a stepwise approach to image quality is applied, such as UHD phases 1 & 2.
  • the metadata about the caption is a method for indicating the support range for each of the UHD phase 1 and phase 2, and may include basic color gamut, basic dynamic range, basic EOTF, and basic bitdepth information.
  • the metadata about the subtitle may include additional color gamut, additional dynamic range, additional EOTF, and additional bitdepth information, which is additional information about each basic information for indicating information supported in the case of the highest quality through the scalable approach.
  • backgroundColor “r'r'g'g'b'b '” as basic information about the subtitle's background color
  • tts: backgroundColorSupplementary “# -R' as additional information about the subtitle's background color.
  • R'R'G'G'G'B'B'B 'B 'B '" the metadata may define basic information and additional information on the subtitle representation method through different fields and inform the receiver. have.
  • FIG. 6 illustrates metadata including information about a subtitle according to another embodiment of the present invention. That is, an embodiment of the caption metadata proposed by the present invention is expressed in EBU-TT-D. Specifically, the metadata shown is for the color gamut BT. 709, minimum brightness 0.05nits maximum brightness 100nits, Bitdepth 8 bit is set, the color gamut BT.2020, minimum brightness 0.01nits, maximum brightness 2000nits and Bitdepth 12bit is set for phase 2.
  • the metadata about the caption may include color gamut, dynamic range, EOTF, and bitdepth information.
  • the metadata about the subtitles can support the case where a stepwise approach to image quality is applied, such as UHD phases 1 & 2.
  • the meta data about the caption is a method for indicating the support range for each of the UHD phase 1 and phase 2 and may include color gamut, dynamic range, EOTF, and bitdepth information having a plurality of attributes.
  • ebuttm: ColorTransformation may represent an example of providing a color transformation method in metadata.
  • each information may have two values supporting each phase, and the meaning of each information is as described above.
  • the meta data may define a caption expression method and inform a receiver by using an information field having a plurality of attributes to support UHD phase 1 and phase 2.
  • This metadata generation method can be extended to XML-based subtitle standards such as TTML, SMPTE-TT, CFF-TT, Youview, and EBU-TT.
  • subtitle metadata may be indicated by specifying ebuttm: Gamut and ebuttm: SupplementaryGamut elements, respectively.
  • the attribute for each element can provide information about any color gamut by specifying well-known color gamuts such as BT.709 or BT.2020, or by specifying CIExy coordinates directly.
  • the subtitle's metadata can pass CIExy coordinates (xRed, yRed, xGreen, yGreen, xBlue, yBlue, xWhite, yWhite) for the red, green, blue, and white points, as shown.
  • the meta data of the subtitle may be used after specifying the BT709 or BT2020 property in advance as shown.
  • BT.2020 For the case where BT.2020 can be additionally supported based on 709, it is expressed using ⁇ namedGamut> attribute. This field may be used as information for judging whether the color space of the caption production and display environment (or image) match, determining the service supported by the subtitle, and color gamut mapping if necessary.
  • the metadata of the caption may indicate a reference color gamut, which is one of the expression information on the caption, and a color gamut that can be additionally supported on one element.
  • the attribute to be referred to may be described first, and then additionally supported attributes may be described next.
  • the meta data may use ebuttm: DynamicRange and ebuttm: AuxiliaryDynamicRange elements, respectively, as shown in (a) to indicate the basic dynamic range and the additional supported dynamic range considered in the subtitle. Attributes for each element may represent maximum brightness, minimum brightness, and high contrast of the dynamic range as PeakBrightness, BlackLevel, and ContrastRatio, respectively.
  • the metadata may include HighTone and LowTone attributes indicating subtitle proper maximum brightness and minimum brightness, which are criteria for dynamic range processing independent of video.
  • ContrastRatio may represent the ratio between the maximum brightness and the minimum brightness, and for example, 10,000: 1 may deliver a value of 10,000.
  • the reference dynamic range and the additionally supportable dynamic range may be represented in one element.
  • the ebuttm: DynamicRanges element may include attributes of PeakBrightness, BlackLevel, ContrastRatio, PeakBrightness2, BlackLevel2, ContrastRatio2, HighTone, and LowTone.
  • the independent dynamic range of the subtitle can be additionally described using HighTone and LowTone.
  • an example of delivering HighTone and LowTone in ebuttm: ColorTransformation is given.
  • PeakBrightness, BlackLevel, and ContrastRatio may use values defined in namedDynamicRange. PeakBrightness2, BlackLevel2, and ContrastRatio2 can also be used after defining them in namedDynamicRange.
  • FIG. 9 shows a detailed description of elements of meta data of a caption according to an embodiment of the present invention.
  • (a) shows the EOTF field and
  • (b) shows the BitDepth.
  • Ebuttm SupplementaryEOTF along with ebuttm: EOTF, which is information on the basic EOTF.
  • Ebuttm: EOTFs can be used to convey information about two EOTFs in a single element, in which case the front element is the primary element.
  • previously defined EOTF information such as BT.1886 and SMPTE 2084, can be defined and used in namedEOTF. This field can be used for luminance linearization before applying dynamic range mapping.
  • the meta data may indicate bitdepth through ebuttm: BitDepth and ebuttm: SupplementaryBitDepth when different types of bitdepth are supported according to a broadcast service.
  • the supported bitdepth can be expressed simultaneously by using the basic information element and the additional information element representing each, or by using Ebuttm: BitDepths.
  • the base element is described earlier.
  • This field can be used as a reference for comparing the bitdepth of the subtitle itself and the bitdepth of the receiver or the image, and can be used for notifying or detecting that more than 8 bit bitdepth is used for the received subtitle. If ebuttm: RefBitDepth is used and has a value of 9 or more, the metadata can express colors using a newly defined color expression method.
  • the receiver in the case of utilizing the caption metadata transmitted through the present invention includes ebuttm: Gamut, ebuttm: DynamicRange, ebuttm: EOTF, ebuttm: BitDepth, and additional information ebuttm: Subtitles supported by the subtitles supported by the receiver and the video supported by SupplementaryGamut, ebuttm: SupplementaryDynamicRange, ebuttm: SupplementaryEOTF, ebuttm: SupplementaryBitDepth, ebuttm: Gamuts, ebuttm: DynamicRanges, ebuttm: EOTFs, ebuttm: BitDepths Comparisons can be made on video elements.
  • an appropriate value may be selected and used in terms of color gamut, dynamic range, and bitdepth according to a suitable format.
  • the receiver may express the image characteristics supported by the caption based on the information in the metadata and simultaneously express the actual color expression values of each characteristic for the plurality of characteristics.
  • the brightness and bit depth may be included in the color representation. Since it is assumed that XML subtitle described in the present invention has backward compatibility, a method of expressing information about a subtitle in a method that can be processed by both an existing receiver and a new receiver is required. The following describes how to express the color of the subtitles.
  • a) is a method of expressing the caption color using a named color value.
  • Color representations in XML subtitles are expressed in hexadecimal by default, but can be expressed in color names for well-known colors. For example, red can be expressed as # FF0000 in 8-bit RGB, or “red”.
  • red can be expressed as # FF0000 in 8-bit RGB, or “red”.
  • different colors may be expressed for one digital value when the digital values have different digital values in different color gamuts for a specific color.
  • even different color gamut can express the same color.
  • BT Receivers using 709 can be interpreted as # C80000 and # FF0000 in receivers using BT.2020.
  • the receiver may also directly convey color values representing additional video characteristics supported by XML subtitles. That is, the expression in the color expression method in the existing EBU-TT-D, such as tts: color, is preserved as it is, and additionally, color values for color gamut, dynamic range, and bit depth, which are additionally supported through tts: colorSupplementary, may be additionally transmitted.
  • the existing receiver interprets only tts: color that can be interpreted, and additional color gamut (and bitdepth) can be interpreted, and the functionally supported receiver uses the color represented by tts: colorSupplementary.
  • a higher bit depth may be used in case of additionally supported color gamut and dynamic range.
  • ⁇ ebuttdt: distributionColorTypeExtension12> or ⁇ ebuttdt: distributionColorTypeExtension16> may be defined as shown.
  • the meta data about the caption can directly deliver a value corresponding to the additional support element as in the above-described embodiment, but can also transmit a difference from the base value in consideration of bit efficiency through additional information.
  • a color difference type as shown in order to express the sign and the size of the difference value may be defined, that is, tts: colorSupplementary
  • An example of an expression method using ⁇ ebuttdt: distributionColorDifferenceTypeExtension12> or ⁇ ebuttdt: distributionColorDifferenceTypeExtension16> may be shown to convey a difference between color representation values supported for.
  • Each difference information may include a sign and a magnitude of a difference value, and the receiver may acquire information about the extended color by adding or subtracting the difference information from the basic information about the color.
  • the meta data may indirectly deliver colors by providing information on how to directly convert the corresponding value for the additional support service, as well as how to convert from the base color.
  • this may be referred to as transformation method or conversion method.
  • the conversion method can implement the color of the caption for each receiver based on the color gamut, dynamic range, and bitdepth of the target service of the metadata, and additionally, HighTone and LowTone, which are brightness ranges of the caption.
  • a scalable approach may be provided in video, and a video conversion method may be used when the base and target of the video match the base and target provided by the subtitle.
  • the present invention can explain a method in which each receiver provides a subtitle service having a certain quality in a situation where video and a service type considered are different, or when a conversion performance provided by video and a receiver is different.
  • ebuttm ColorTransformation can be used.
  • ebuttm ColorTransformation
  • the meta data about the caption may transmit information related to color gamut scalability and information related to dynamic range scalability as color transformation.
  • Method (1) can be expressed as “video” within ebuttm: ColorTransformation, and when borrowing from video transformations, no additional information is required to pass specifically as metadata.
  • Method (2) can be expressed as “tone” in ebuttm: ColorTransformation and can use the preferred brightness transformation in receiver through subtitle proper brightness (HighTone, LowTone) information transmitted through metadata. At this time, the linear mapping may be designated as default.
  • Method (3) can be expressed as “LUT” in ebuttm: ColorTransformation and can pass the value corresponding to input / output of mapping.
  • Method (4) can be expressed as “function” in ebuttm: ColorTransformation.
  • metadata can include type of function and each coefficient.
  • ebuttm ColorTransformation can deliver a value for RGB to RGB transformation and, if a separate conversion equation is given, can transmit coefficient of transformation matrix.
  • Dynamic range transformation is thought about the change of Y value, and when given as a conversion equation, it can be divided into functions such as linear, exponential, piecewise linear, log, s-curve, etc., and metadata can pass coefficients required for each function. have.
  • an appropriate brightness range for subtitle transformation is required, and HighTone and LowTone can be delivered in ebuttm: ColorTransformation.
  • HighTone and LowTone can be defined as separate elements in metadata or parts related to dynamic range, that is, ebuttm: DynamicRanges and ebuttm: SupplementaryDynamicRange.
  • the case in which the color gamut scaling and the dynamic range scaling information are separately transmitted is considered, but the conversion from BT.709 + SDR to BT.709 + HDR, BT.2020 + SDR, or BT.2020 + HDR is performed in one embodiment. You can also pass it as a function.
  • the broadcast transmitter 1701 may include an encoder 1702, a multiplexer 1703, and / or a transmitter 1704.
  • the resolution of video data input to the broadcast transmitter 1701 may be UHD, HD, or SD.
  • the caption information input to the broadcast transmitter 1701 may be written in XML.
  • Video data input to the broadcast transmitter 1701 may be encoded by the encoder 1702.
  • the transmitting end may use HEVC (High Efficiency Video Coding) as an encoding method for video data.
  • the transmitting end may synchronize the encoded video data and the XML subtitle and multiplex using the multiplexer 1703.
  • the XML subtitle may include metadata about the subtitle and may include information about color gamut, dynamic range, EOTF, and / or bitdepth of the subtitle.
  • the metadata about the caption may include caption expression information corresponding to a service supporting different color gamut, dynamic range, EOTF, and / or bitdepth, and may include a plurality of values for the same information. This may allow the caption expression information to be selectively determined according to a service that can be supported by each receiver.
  • the caption expression information may include basic information and a transformation function, and may support the basic information as it is or may be modified and used by the receiver.
  • the transmitter 1704 may transmit the transport stream output from the multiplexer 1703 as a broadcast signal.
  • the transport stream may be transmitted as a broadcast signal after being channel coded and modulated before transmission.
  • the broadcast receiver 1801 may include a receiver 1802, a demultiplexer 1803, and / or a decoder 1804.
  • the broadcast signal received by the receiver 1802 may be demodulated and then channel decoded.
  • the channel decoded broadcast signal may be input to the demultiplexer 103 and demultiplexed into a video stream and a subtitle stream.
  • the output of the demultiplexer may be input to the decoder 1804.
  • the decoder may include a video decoder and an XML parser. That is, the video stream may be decoded by the video decoder, the subtitle stream by the subtitle decoder, or parsed by an XML parser and output as video data and subtitle data, respectively.
  • the video decoder and the XML parser may exchange meta data. That is, as described above, the XML parser may compare metadata about video and metadata about subtitles.
  • the metadata to be compared may include dynamic range, color gamut, bit depth, etc. of an image and a subtitle. It is also possible to compare the metadata for the display of the receiver and the metadata for the subtitles.
  • the metadata to be compared may include a display environment, a subtitle dynamic range, a color gamut, a bit depth, and the like.
  • the receiver may display the caption by selecting or modifying caption expression information suitable for the receiver by referring to the caption metadata. Detailed description thereof is as described above. Video data and subtitle data can be synchronized and displayed by the receiver.
  • the broadcast receiver includes a receiver 1901, a demodulator 1902, a demultiplexer 1803, a video decoder 1904, an XML subtitle decoder 1905, an audio / video subtitle synchronizer (A / V / S sync, 1906), It may include a system information processor (SI processor) 1907, a graphics engine 1908, and / or a display processor 1909.
  • SI processor system information processor
  • the receiver 1901 may receive a broadcast signal transmitted by a transmitter.
  • the received broadcast signal may be input to the demodulator 1902.
  • the demodulator 1902 can demodulate a broadcast signal and output a transport stream (TS).
  • the TS may be input to the demultiplexing unit 1903 and demultiplexed.
  • the demultiplexed TS may include a HEVC bitstream, an XML subtitle, and system information (SI).
  • SI system information
  • the XML subtitle may include metadata.
  • the video decoder 1904 may receive an HEVC bitstream, decode it, and output a video frame.
  • the XML subtitle decoder 1905 may receive an XML subtitle and extract a subtitle.
  • the XML subtitle decoder 1905 may parse metadata included in the XML subtitle and compare it with metadata about an image or a display environment.
  • the metadata to be compared may include a dynamic range, color gamut, bit depth, and the like.
  • the XML subtitle decoder 1905 may select or modify the meta data of the subtitle according to whether the compared meta data is matched. When the compared subtitle data is matched or the DVB UHD phase 1 receiver is matched, the XML subtitle decoder 1905 may deliver the subtitle information and the subtitle included in the meta data of the subtitle to the graphics engine without performing any modification.
  • the XML subtitle decoder 1905 selects basic information and additional information from the metadata for the subtitles when the compared subtitle data does not match the metadata of the image or the display, or supports the DVB UHD phase 2 receiver.
  • Basic information can be transformed, and caption data and selected or transformed meta data can be passed to the graphics engine. Through this, it is possible to adaptively support the quality of subtitles depending on the receiver. Detailed description thereof is as described above.
  • the system information processor 1907 may extract the OSD information by receiving the system information (SI) information output from the demultiplexer.
  • SI system information
  • the graphics engine 1908 may receive captions and caption metadata from the XML caption decoder 1905 and output caption images.
  • the caption image is generated based on the caption and the metadata of the caption, and the color, brightness, etc. of the output caption image may vary according to whether to convert the caption metadata.
  • the display processor 1909 may receive the video frame and the subtitle and output the display frame.
  • the display processor 1909 may receive OSD (On Screen Display) information in addition to the video frame and the subtitle to output the display frame.
  • the output display frame may be displayed by the image output device, and the XML caption and video frame described in the present invention may be displayed together.
  • the method for transmitting a broadcast signal including XML subtitles includes: generating video data by encoding a video stream (S2210), generating a broadcast signal including the generated video data and subtitle information (S2220), and generating the broadcast. It may include the step of transmitting a signal (S2230).
  • Generating video data by encoding the video stream may receive a video stream having a resolution of UHD, HD, or SD, and may generate video data by encoding the video stream.
  • the video stream may be encoded by High Efficiency Video Coding (HEVC).
  • HEVC High Efficiency Video Coding
  • XML caption data can be generated.
  • the XML subtitle data may include metadata and the metadata may include XML subtitle related data suitable for UHD broadcasting. That is, the metadata may include dynamic range, color gamut, bit depth, and EOTF information, and these information may have values corresponding to wide color gamut (WCG) and high dynamic range (HDR) of UHD broadcasting.
  • the metadata may support the receiver adaptive caption expression by selectively selecting the caption expression information for each receiver by including dynamic range, color gamut, bit depth, and EOTF information for each receiver performance.
  • Generating a broadcast signal including the generated video data and subtitle data may build a broadcast signal frame and generate a broadcast signal using a modulation process.
  • the generated broadcast signal may be transmitted as a broadcast signal.
  • a method for receiving a broadcast signal including XML captions includes receiving a broadcast signal (S2310), demultiplexing the received broadcast signal into video data and caption data (S2320), and decoding the video data and caption data. Step S2330 may be included.
  • the broadcast signal received using the receiver may be demodulated and then channel decoded.
  • Demultiplexing the received broadcast signal into video data and caption data may demultiplex the channel decoded broadcast signal into video data and caption data using a demultiplexer.
  • Decoding the video data and the caption data, respectively may decode the video data and obtain the video data using the video decoder.
  • the caption data may be acquired using a caption decoder or an XML parser.
  • the receiver may extract the caption by receiving the XML subtitle.
  • the receiver can parse the metadata included in the XML subtitle and compare it with metadata about the video or display environment.
  • the metadata to be compared may include a dynamic range, color gamut, bit depth, and the like.
  • the receiver may select or modify the meta data of the subtitle according to whether the matched meta data is matched.
  • the receiver may transmit the subtitle information and the subtitles included in the subtitle's metadata to the graphics engine without any selection or modification. Can be.
  • the receiver selects or modifies the metadata for the subtitles when the compared subtitle data does not match the metadata of the image or display, or when the receiver supports the basic and additional information included in the metadata. Data and selected or modified metadata can be output. Through this, it is possible to increase the consistency of subtitles and images and to support the subtitle service differentiated by the receiver.
  • the metadata for the caption described in the present invention may support a caption service supporting backward compatibility.
  • UHD As an image quality factor, the variety of contents and receivers is likely to expand. However, for text-based subtitles, it's inefficient to create separate versions for different video or receiver types. In the case of XML subtitles, there is an advantage that they can be applied independently to the image size, but there is no consideration in the case of changing elements such as WCG, HDR, etc. It can provide the same quality of service for.
  • the present invention is described in terms of a receiver, it can be used in a production or subtitle production environment. In addition, it can be used in all broadcasting services (e.g. DVB UHD-1 service) using XML-based subtitle service as well as IP streaming-based service.
  • UHD-1 phase 2 service is expected to be provided to satisfy backward compatibility with phase 1, and in this case, it is possible to use this proposal as a subtitle service method that can simultaneously satisfy the operation of an existing receiver. Can be.
  • IP streaming service or storage media can provide a variety of image quality, and at this time, the proposed method can be used to support a variety of image quality with a single subtitle service.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention has industrial applicability that is usable and repeatable in the field of broadcast and video signal processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 자막 서비스를 포함한 방송 신호를 송수신하는 장치 및 방법에 관한 것이다. 본 발명의 일 실시예는, 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 생성하는 단계, 및 상기 생성된 방송 신호를 전송하는 단계를 포함하는 방송 신호 송신 방법을 제공한다. 본 발명의 실시예에 따르면, XML 자막을 이용한 디지털 방송 자막 서비스를 제공하는 전송 스트림을 전송할 수 있다.

Description

방송 신호 송수신 방법 및 장치
본 발명은 방송 신호를 송수신하는 장치 및 방법에 관한 것이다.
디지털 기술 및 통신 기술의 발전으로 방송, 영화뿐만 아니라 인터넷 및 개인 미디어 등의 다양한 영역에서 오디오/비디오 중심의 멀티미디어 컨텐츠 보급 및 수요가 급속도로 확대되고 있다. 나아가 방송 및 영화를 통하여 입체감을 제공하는 실감미디어에 대한 소비자 요구가 증가되고 있다. 또한, 디스플레이 기술의 발전과 더불어 가정에서의 TV 화면이 대형화 됨에 따라 HD (High Definition)급 이상의 고화질에 실감나는 컨텐츠를 즐기고자 하는 소비가 증가되고 있다. 3DTV와 더불어 UHDTV (Ultra High Definition TV)와 같은 실감방송이 차세대 방송 서비스로 관심을 받고 있으며, 특히 UHD (Ultra High Definition) 방송 서비스에 대한 논의가 증가되고 있는 추세이다.
현재 방송 자막 서비스는 closed caption 혹은 DVB (Digital Video Broadcasting) subtitle의 형태로 제공되고 있다. 이 중 DVB subtitle의 경우 자막을 bitmap image 형태로 제공하기 때문에 다양한 크기의 영상에 대해 서로 다른 크기의 자막을 제공하거나, 단일 규격의 subtitle을 스케일링하는 식으로 서비스를 제공해야 한다. 이 때, 전자의 경우 대역폭 측면에서 효율성이 떨어지며 후자의 경우 스케일링에 의한 선예도가 떨어지는 문제가 발생한다. 특히 UHDTV를 통한 고해상도의 방송 서비스에 대한 논의가 활발한 요즈음, 이러한 문제를 해결하기 위한 새로운 방송 자막 서비스의 필요성이 대두되고 있다. 또한 UHD의 단계별 화질 요소 변화에 맞추어 하위 호환성을 갖는 고화질 자막 서비스도 요구되고 있다.
본 발명의 목적은, 방송 신호를 전송하는 방법 및 장치에 있어서 전송 효율을 높이는 것이다.
본 발명의 다른 목적은, 자막 서비스를 방송망에서 제공하기 위한 전송 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은, 자막 서비스의 품질을 향상시키는 방송 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법에서 상기 자막 데이터는 XML 자막 데이터를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법에서 상기 XML 자막 데이터는 자막 텍스트 및 자막 메타 데이터를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법에서 상기 자막 메타 데이터는 고화질 방송을 위한 확장 색상 영역 및 하이 다이내믹 레인지에 대응하는 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법에서 상기 자막 메타 데이터는 자막의 색 영역, 자막의 다이내믹 레인지, 자막의 비트 뎁스에 대한 기본 정보 및 추가 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 방송 신호 수신 방법은 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 수신하는 단계 및 상기 비디오 데이터 및 자막 데이터를 처리하여 출력하는 단계를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 데이터는 XML 자막 데이터를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 XML 자막 데이터는 자막 텍스트 및 자막 메타 데이터를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 메타 데이터는 고화질 방송을 위한 확장 색상 영역 및 하이 다이내믹 레인지에 대응하는 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 메타 데이터는 고화질 방송을 위한 확장 색상 영역 및 하이 다이내믹 레인지에 대응하는 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 메타 데이터는 자막의 색 영역, 자막의 다이내믹 레인지, 자막의 비트 뎁스에 대한 기본 정보 및 추가 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법은 수신기 디스플레이 속성 및 상기 자막 메타 데이터 사이의 매칭 여부를 디텍트하는 단계를 더 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 메타 데이터는 복수의 서비스를 지원하는 적어도 하나 이상의 색 영역, 다이내믹 레인지 및 비트 뎁스에 대한 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법에서 상기 자막 메타 데이터는 색 영역, 다이내믹 레인지 및 비트 뎁스에 대한 정보 및 색상 변형 함수를 포함할 수 있다.
본 발명의 실시예에 따르면, 방송 시스템의 전송 효율을 높일 수 있다.
본 발명의 실시예에 따르면, 높은 품질의 자막 서비스를 방송망에서 제공할 수 있다.
본 발명의 실시예에 따르면, 하위 호환성을 갖는 자막 서비스를 방송망에서 제공할 수 있다.
본 발명의 실시예에 따르면, 방송 수신 장치는 방송 신호에 포함된 자막을 추출하여 디스플레이할 수 있다.
도 1은 본 발명의 일 실시예에 따른 XML 기반 방송 자막 서비스를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 XML 기반 자막에 대한 수신기의 동작 실시예를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 방송 수신기의 자막에 대한 전처리 과정을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 밝기에 대한 다이내믹 레인지 매핑을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 자막에 대한 정보를 포함하는 메타 데이터를 나타낸다.
도 6은 본 발명의 다른 실시예에 따른 자막에 대한 정보를 포함하는 메타 데이터를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 자막의 메타 데이터의 요소에 대한 자세한 설명을 나타낸다.
도 8은 본 발명의 일 실시예에 따른 자막의 메타 데이터의 요소에 대한 자세한 설명을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 자막의 메타 데이터의 요소에 대한 자세한 설명을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 자막의 색상을 표현하는 방법을 나타낸다.
도 11은 본 발명의 다른 실시예에 따른 자막의 색상을 표현하는 방법을 나타낸다.
도 12는 본 발명의 다른 실시예에 따른 자막의 색상을 표현하는 방법을 나타낸다.
도 13은 본 발명의 일 실시예에 따른 방송 송신기를 나타낸 블록도이다.
도 14는 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 블록도이다.
도 15는 본 발명의 일 실시예에 따른 방송 수신기의 상세 구성을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 XML 자막을 포함하는 방송 신호를 전송하는 방법을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 XML 자막을 포함하는 방송 신호를 수신하는 방법을 나타낸 도면이다.
차세대 방송 서비스로써 IP를 통해 방송 서비스를 제공하기 시작하면서, 기존 방송 자막을 대신할 새로운 자막 서비스 표준이 제정되었다. 향후 방송 서비스는 기존 방송과 IP의 융합의 형태로 제공될 것으로 보이는데, 이 때 서로 다른 표준으로 만들어진 자막을 각각 서비스 하는 것은 비효율 적이다.
본 발명은 XML 자막 (TTML, SMPTE-TT, EBU-TT-D 등)을 이용한 디지털 영상 자막 서비스를 제공할 때, WCG, HDR, higher bit depth 등의 고화질 영상 요소를 기준으로 기존 및 신규 수신기에서의 자막 서비스를 제공하기 위한 방법에 대해 기술한다.
최근 TTML (time text markup language), EBU-TT (EBU time text) 등 XML 언어 기반의 자막에 대한 표준이 제정되었다. 이들의 목적은 media 및 IP streaming 환경에서의 자막 서비스를 목표로 하지만, 이를 방송 서비스에서도 이용하고자 하는 요구가 DVB 및 ATSC 등의 표준 단체에서 나타나고 있다. 이는 다양한 방송 환경에대해 통합된 자막 source를 이용할 수 있다는 장점 뿐 아니라, 동일 자막 소스를 기반으로 다양한 서비스 환경(예를 들어 HD, UHD 등)에 적응적으로 사용 가능하다는 장점을 이용하기 위한 것이다.
XML 기반 subtitle은 다양한 크기의 영상을 지원할 수 있으며, IP streaming 기반 서비스에 적합하다는 점에서 UHD 기반 차세대 subtitle 서비스 방법 중 하나로 고려되고 있다. 이는 HD에서 UHD로의 변화는 해상도 향상 뿐 아니라 dynamic range, color gamut, bit depth 등 다양한 화질 측면에서의 변화를 가져올 것으로 보이며, 차세대 subtitle 서비스에서는 이러한 영상 요소를 고려할 필요가 있다. 하지만 현재 TTML 기반의 XML subtitle 은 이러한 요소에 대한 고려가 없으며, 다양한 서비스 환경에 대응하기 위해 WCG, HDR 등의 요소를 고려할 필요가 있다.
아래에서는 XML 기반 방송 미디어 자막 서비스를 제공함에 있어서 색영역, 밝기 범위 등의 화질 요소 측면에서 자막 제작 환경과 디스플레이 환경이 다른 경우에도 적절한 자막 서비스를 제공를 할 수 있는 방법을 설명할 수 있다.
본 발명에서는 XML 기반으로 제작된 자막을 방송 미디어 서비스에서 사용하기 위한 방법으로써, HDR, WCG 측면에서 다양한 성능의 수신기 및 디스플레이를 지원하기 위해 XML subtitle의 제작 환경에 대한 정보를 전달할 수 있는 XML subtitle metadata 서비스 방법을 설명할 수 있다.
또한 본 발명에서는 XML subtitle의 bitdepth 표현이 8 bit로 제약이 있는 상황에서 기존 8bit 시스템에 대한 지원을 유지하면서 최대 16bit까지 확장하여 표현할 수 있는 방법을 제안할 수 있다.
또한 본 발명에서는 자막 제작 환경과 영상 재생 환경이 다른 경우에 대해 color gamut, dynamic range, bit depth 관점에서 수신기 동작을 설명할 수 있다.
본 발명의 이해와 설명의 편의를 위하여, 용어 및 약어에 대하여 아래와 같이 정의한다.
HEVC (High Efficiency Video Coding)은 기존 H.265/AVC 기술과 비교하여 약 2배 높은 압축률을 가지면서 동일한 비디오 품질을 제공하는 고효율 비디오 코딩 표준이다.
XML (Extensible Markup Language)은 HTML을 개선하여 만든 언어로써 보다 홈페이지 구축 기능, 검색 기능 등이 향상되었고 클라이언트 시스템의 복잡한 데이터 처리를 쉽게 할 수 있다. 본 발명에서는 자막 데이터를 구성하는 언어로써 사용되며 XML 자막은 헤드와 바디로 구성될 수 있다.
PTS (Presentation Time Stamp)는 디코딩 된 access unit 이 재생되는 시점을 나타내는 값을 의미할 수 있다. 본 발명에서 PTS는 비디오 ES와 자막 ES를 동기화하는데 사용될 수 있다.
ES(Elementary Stream)는 데이터 인코더의 출력을 의미할 수 있다. 즉, 비디오 인코더 및 오디오 인코더의 출력을 각각 비디오 ES 및 오디오 ES로 정의할 수 있다. 본 발명에서는 XML 자막 ES를 정의하고 사용할 수 있다.
TS (Transport Stream)는 MPEG-2 시스템에서 하나 또는 여러개의 프로그램을 포함한 전송용 스트림으로써 전송에러가 존재하는 전송 매체에 이용할 수 있다. 본 발명에서 TS는 비디오 ES, 오디오 ES 및 자막 ES 중 적어도 두 개가 다중화되어 전송되는 전송 스트림을 의미할 수 있다.
도 1은 본 발명의 일 실시예에 따른 XML 기반 방송 자막 서비스를 나타낸 도면이다. 도 1은 디지털 방송 서비스를 위한 송신단 및 수신단, 단대단 (end-to-end) 시스템에 대한 다이어그램을 나타낸다. 본 발명에서 사용하는 XML 기반 자막은 영상의 크기에 영향을 받지 않기 때문에 UHD/HD/SD 모두에 적용 가능하다.
전송단에서는 압축된 영상 및 전송을 위해 변형된(modified) XML 자막을 다중화기를 통해 전송할 수 있다. 또한 수신기에서는 수신된 신호를 역다중화한 후 영상 디코딩 및 XML parser를 통해 자막을 제공하며, graphic engine 에서는 수신기의 환경에 따라 자막 표현 방법을 변형한(modify) 후 디스플레이 프로세서로 출력할 수 있다. 디스플레이 프로세서는 디코딩된 영상 및 자막을 출력할 수 있다.
도 1에서 전송단은 비디오 데이터 및 자막 정보를 입력 받을 수 있다. 전송단에 입력되는 비디오 데이터의 해상도는 UHD, HD 또는 SD가 될 수 있다. 또한 전송단에 입력되는 자막 정보는 XML로 작성될 수 있다. 전송단에 입력된 비디오 데이터는 전송단에서 인코더에 의해 인코딩될 수 있다(101). 전송단은 비디오 데이터에 대한 인코딩 방식으로써 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 전송단은 인코딩된 비디오 데이터와 XML 자막을 동기화하고 다중화부를 이용하여 다중화할 수 있다 (102). 여기서 XML 자막은 전송을 위해 변형될 수 있다. XML 자막에 대한 변형 방법 및 XML 자막에 대한 메타 데이터 생성 방법은 아래에서 자세히 설명하기로 한다. 전송단은 동기화되고 다중화된 데이터를 채널 코딩 및 변조한 후 방송 신호로써 전송할 수 있다.
수신단은 방송 신호를 수신하고 복조 및 전송 패킷 디코딩을 수행할 수 있다. 또한 수신단은 디코딩된 전송 패킷을 역다중화 후 비디오 디코딩 및 XML 파싱을 수행할 수 있다. XML 파싱은 XML parser를 통해 수행될 수 있다. 여기서 비디오 디코더와 XML 파서는 메타 데이터를 교환할 수 있다. 이러한 메타 데이터는 영상과 자막을 함께 디스플레이함에 있어서 부가 정보로 사용될 수 있다. 수신단에서는 수신된 방송 신호를 복조하고 트랜스포트 패킷 디코딩을 수행할 수 있다(104). 디코딩된 트랜스포트 패킷은 역다중화(105) 과정을 거친 후 비디오 디코더(106) 및 XML 파서(parser, 107)에 입력된다. 여기서 비디오 디코더(106)는 수신된 비디오 데이터의 해상도에 따라 UHD, HD 또는 SD 비디오 데이터를 디코딩할 수 있다. 또한 XML 파서(107)는 XML 자막을 추출할 수 있다. 이 과정에서 수신단은 메타 데이터를 이용하여 비디오 데이터와 XML 자막을 디스플레이함에 있어서 영상 요소를 고려할 수 있다. 여기서 영상 요소는 예를 들어 dynamic range, color gamut, bit depth 등을 포함할 수 있다. 특히 본 발명에서는 UHD 화질 요소 중 wide color gamut (WCG), high dynamic range (HDR)이 서비스에 포함되는 경우 (예를 들어, DVB UHD-1 phase 2 혹은 BD UHD-FE 등), 자막 제작의 기준이 되는 화질 요소에 대한 정보를 수신기에 제공할 수 있다. 이를 통해 자막 제작 환경과 디스플레이 환경이 다른 경우 수신기에서 디스플레이 환경에 맞게 자막의 색상 혹은 밝기를 적절하게 변형할 수 있다. 그래픽 엔진(108)은 상술한 영상 요소에 대응하여 XML 자막의 표현 방법을 변형할 수 있다. 디코딩된 비디오 데이터 및 표현 방법이 변형된 XML 자막은 디스플레이 프로세서(109)에 의해 처리되고 디스플레이될 수 있다.
도 2는 본 발명의 일 실시예에 따른 XML 기반 자막에 대한 수신기의 동작 실시예를 나타낸 도면이다. 본 발명에서는 DVB UHD-1 phase 1 과 phase 2와 같이 동일 컨텐츠에 대해서 서로 다른 화질의 서비스를 제공하는 경우에 대해 단일 자막을 기반으로 수신기의 환경에 적합한 자막 서비스를 제공할 수 있는 자막 서비스 및 수신기 구조에 대해 기술할 수 있다. 또한, 전송 환경에 따라 서로 다른 화질을 적응적으로 제공할 수 있는 IP streaming 기반 서비스 혹은 수신기의 환경에 따라 서로 다른 서비스를 제공할 수 있는 스토리지 미디어 기반 영상 서비스에 대해서도 제안하는 방법으로 서비스 및 유사한 구조의 수신기를 사용할 수 있다. 전송 환경에 따라 서로 다른 화질을 적응적으로 제공할 수 있는 IP streaming 기반 서비스는 MPEG-DASH (dynamic adaptive streaming over HTTP) 서비스를 예로 들 수 있다.
수신기는 XML 기반 자막에 대해 XML parser를 통해 내용을 분석할 수 있다. 또한 수신기는 자막의 내용, 자막을 표현하기 위한 정보를 그래픽 엔진으로 전달할 수 있다. 여기서, 자막을 표현하기 위한 정보는 컨텐츠의 화질을 구분 짓는 요소를 포함할 수 있다. 즉, 자막을 표현하기 위한 정보는 bitdepth, dynamic range, color gamut, MidTone 및/또는 colors 중 적어도 하나의 정보를 포함할 수 있다.
본 발명의 수신기는 자막 및 자막에 대한 정보를 그래픽 엔진으로 전달하기에 앞서 전처리 (preprocessing) 과정을 수행할 수 있다. 수신기는 수신 가능한 서비스의 종류에 따라 자막에서 제공되는 색상, 밝기, bitdepth 정보를 선택적으로 또는 자막 내에 주어지는 정보를 기반으로 상기 정보들을 변형(transform) 하여 사용할 수 있다.
수신기는 preprocessing 을 통해 선택되거나 변형된 자막 정보를 그래픽 엔진에 전달할 수 있다. 그래픽 엔진은 자막의 내용 및 변형된 자막에 대한 정보를 이용하여 자막을 생성하고 디스플레이 프로세서로 전달할 수 있다.
도 3은 본 발명의 일 실시예에 따른 방송 수신기의 자막에 대한 전처리 과정을 나타낸다. 수신된 자막이 DVB UHD-1 phase 1과 2를 모두 지원하는 경우 이에 대한 전처리 과정을 나타낸다. preprocessing 과정은 자막 제작 환경과 디스플레이 환경의 매칭 여부를 디텍트하는 단계 및 선택(selection) 또는 변형(transformation) 단계를 포함할 수 있다. 수신기는 preprocessing 과정에서 자막의 타겟 비디오 포맷에 대한 메타 데이터 및 수신기의 디스플레이에 대한 메타 데이터에 기초하여 매칭 여부를 디텍트하거나 판단할 수 있다. 자막의 타겟 비디오 포맷에 대한 메타 데이터는 bitdepth, dynamic range, color gamut, 자막 밝기 기준 값인 HighTone, LowTone, transformation function 정보를 포함할 수 있다. 이 때 판단 기준은 XML 내 metadata를 통해 전달될 수 있으며, EBU-TT-D에의 경우 ebuttm:Gamut, ebuttm:DynamicRange, ebuttm:EOTF, ebuttm:BitDepth를 통해 자막의 기본이 되는 화질 요소가 수신기에 전달될 수 있다. 추가적으로 지원되는 자막의 화질 요소는 ebuttm:SupplementaryGamut, ebuttm:SupplementaryDynamicRange, ebuttm:SupplementaryEOTF, ebuttm:SupplementaryBitDepth를 통해 수신기에 전달될 수 있다. 또는 자막의 기본이 되는 화질 요소 및 추가적으로 지원되는 화질 요소가 ebuttm:Gamuts, ebuttm:DynamicRanges, ebuttm:EOTFs, ebuttm:BitDepths 를 통해 함께 수신기에 전달될 수 있다. 위에서는 EBU-TT-D metadata 에 정의하는 경우에 대해 예를 들어 설명하였으나, 동일한 정보가 TTML metadata (ttm), parameter (ttp), style (tts)에 정의될 수 있다. 즉, 본 발명에서 새로 정의한 요소들은 TTML, EBU-TT, SMPTE-TT, CFF-TT, Youview, EBU-TT 등 XML 기반 자막 표준에 확장하여 적용할 수 있다. 본 발명에서의 비교 기준은 gamut, dynamic range, bitdepth 측면이며, resolution, aspect ratio 측면에서의 비교도 필요한 경우 수행할 수 있다. 또한 수신기의 디스플레이에 대한 메타 데이터는 디스플레이 환경 정보를 포함할 수 있으며, 수신기 디스플레이의 bitdepth, dynamic range, color gamut 정보를 포함할 수 있다.
매칭 단계에서 자막 제작 환경의 메타 데이터와 디스플레이 환경에 대한 메타 데이터가 매칭되는 경우, 자막 텍스트 데이터와 자막에 대한 메타 데이터는 UHD-1 Phase 1 수신기를 위한 그래픽 엔진으로 전달된다. 즉, UHD-1 Phase 1 수신기가 수신한 자막의 타겟 비디오 포맷이 비디오 혹은 디스플레이에 대한 메타 데이터와 일치하거나 수용 가능하다고 판단되는 경우 별다른 처리 없이 다음 단계로 진행한다. 그래픽 엔진은 전달받은 자막 텍스트 데이터와 자막에 대한 메타 데이터를 이용하여 자막을 생성하고 디스플레이 프로세서에 생성된 자막을 전달할 수 있다.
이와 달리 매칭 단계에서 자막의 메타 데이터와 디스플레이 환경이 매칭되지 않는 경우, 즉 자막의 표현 방법에 대한 선택 또는 변형(transformation)이 필요한 경우, 전처리 과정은 자막의 색상 및 밝기 측면에서 다른 자막 표현 방법을 선택하거나 자막 표현 방법을 변형하는 과정을 포함할 수 있다. 선택 또는 변형(transformation) 과정에서는 자막의 타겟 비디오 포맷에 대한 메타 데이터 및 수신기의 디스플레이에 대한 메타 데이터에 기초하여 자막의 메타 데이터에 포함된 자막 표현 방법을 선택하거나 변형할 수 있다. 선택 과정은 자막의 메타 데이터가 복수의 자막 표현 방법을 포함하는 경우에 수행될 수 있다. 즉, 수신기는 자막의 메타 데이터 내에 bitdepth, dynamic range, color gamut 등을 포함한 표현 방법이 복수 개 존재하는 경우, 이들 중 하나를 수신기 메타 데이터에 적합하도록 선택할 수 있다. 즉, 자막의 메타 데이터에 포함된 bitdepth, dynamic range, color gamut을 선택하거나 변형하여 selected bitdepth, selected dynamic range, selected color gamut을 그래픽 엔진에 전달하거나 transformed bitdepth, transformed dynamic range, transformed color gamut을 그래픽 엔진에 전달할 수 있다. 변형 또는 선택된 메타 데이터 및 자막 텍스트는 UHD-1 Phase 2 수신기를 위한 그래픽 엔진으로 전달될 수 있다. 그래픽 엔진은 전달받은 자막 텍스트 데이터와 자막에 대한 선택 또는 변형된 메타 데이터를 이용하여 자막을 생성하고 디스플레이 프로세서에 생성된 자막을 전달할 수 있다. 전처리 과정에서 자막의 메타 데이터와 디스플레이의 메타 데이터 사이에 color gamut, dynamic range, bitdepth 측면에서 차이가 있는 경우 각 요소에 대한 선택 또는 변형을 수행한다.
그래픽 엔진은 텍스트 정보를 영상 정보로 재생하기 위한 변형 작업이 일어나며, 수신기는 그래픽 엔진의 출력에 대해 디스플레이 프로세싱을 통해 영상과 자막, 기타 영상 구성을 위한 요소들을 합해 최종 디스플레이를 위한 영상을 구성한다.
본 발명에 의해 전달되는 자막은 지원하는 성능과 수신기의 성능을 비교한 후 적합한 format에 맞추어 color gamut, dynamic range, bitdepth 측면에서 적절한 값을 선택하여 사용할 수 있다. 이 때, ebuttm:Gamut, ebuttm:DynamicRange, ebuttm:EOTF, ebuttm:BitDepth를 통해 전달된 기본적인 color gamut, dynamic range, EOTF, bitdepth 정보 및 ebuttm:SupplementaryGamut, ebuttm:SupplementaryDynamicRange, ebuttm:SupplementaryEOTF, ebuttm:SupplementaryBitDepth을 통해 전달된 추가적인 olor gamut, dynamic range, EOTF, bitdepth 정보를 기반으로 비교 및 선택을 할 수 있다. 또한 다른 실시예로써 기본 정보 및 추가 정보를 함께 포함하는 ebuttm:Gamuts, ebuttm:DynamicRanges, ebuttm:EOTFs, ebuttm:BitDepths를 통해 전달된 color gamut, dynamic range, EOTF, bitdepth 정보를 기반으로 비교 및 선택을 할 수 있다. 수신 장치는 (1) 표현 정보 간의 차이를 무시하고 진행하거나 (2) metadata 내 주어진 정보에 기반하여 주어진 포맷에 적합한 값을 선택하거나 (3) 표현 정보에 대한 변환 식(function)이 주어지는 경우 color gamut 변환 혹은 dynamic range 변환을 수행할 수 있다. 아래에서는 (2)의 경우 표현 정보를 선택하는 방법에 대해 설명하고 또한 (3)경우 표현 정보를 변환하는 방법, 특히 Dynamic range을 변환하는 방법을 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 밝기에 대한 다이내믹 레인지 매핑을 나타낸다. 즉, XML 기반 자막의 밝기(luminance)에 대한 다이내믹 레인지 매핑(dynamic range mapping)이 이뤄지는 경우를 나타낸다. 즉, SDR 영상을 대상으로 제작 된 XML subtitle을 수신기가 HDR 디스플레이에서 재생하는 경우에 대한 예이다. 이 경우 dynamic range mapping을 통해 영상의 밝기를 변화시키는데, 이 때 영상 밝기 범위에 대한 고려 없이 자막의 밝기를 영상과 동일하게 변화시키는 경우 필요 이상으로 자막이 밝게되는 문제가 발생한다. 예를 들어 HDR 영상의 최대 밝기는 high light와 같이 실제와 같은 눈부심 효과를 표현하기 위해 매우 높은 값으로 설정될 수 있는데, SDR에서 최대 밝기로 설정 된 자막을 HDR 영상에서도 동일하게 최대 밝기로 설정하는 경우 자막이 필요이상을 밝게 되는 문제가 발생할 수 있다.
이를 방지하기 위해 인코딩 당시에 타겟 영상 밝기 범위에 대한 적정 자막 밝기를 설정하여 전달할 수 있으며, 혹은 metadata에 자막 밝기 기준 값(HighTone, LowTone)을 전달하고 기준 밝기 내에서 HDR 영상을 위한 자막 밝기 변환을 수행할 수 있다. 예를 들어 HighTone은 주어진 밝기 범위에 대한 자막의 적정 최대 밝기로 이해할 수 있는데, dynamic range transformation을 수행할 때 영상의 dynamic range의 peak brightness를 기준으로 또는 목표로 하는 수신기에서 지원하는 dynamic range의 peak brightness를 기준으로 밝기 변경을 하는 것이 아니라 HighTone을 기준으로 자막의 dynamic range를 변경할 수 있다. 즉 자막의 밝기에 대한 threshold를 설정할 수 있다. 이와 유사하게 LowTone으로 주어진 밝기 범위에 대한 자막의 적정 최소 밝기로 설정될 수 있다. 이 때, HighTone, LowTone은 nit 단위로 주어질 수 있으며, 수신기에서는 주어진 정보를 기반으로 영상의 밝기와 독립적으로 자막의 dynamic range mapping이 수행될 수 있다. 이 때, HDR 영상의 밝기 범위와 자막의 밝기 범위가 다르기 때문에 자막의 밝기/색상 변환 시 영상의 밝기 범위에 대한 digital value 값으로 표현해야 할 필요가 있다.
도 5는 본 발명의 일 실시예에 따른 자막에 대한 정보를 포함하는 메타 데이터를 나타낸다. 즉, 본 발명이 제안하는 자막 메타 데이터에 대한 실시예를 EBU-TT-D 에 대해 표현한 것이다. 구체적으로 도시된 메타 데이터는 UHD phase 1에 대해 색상 영역 BT. 709, 최소 밝기 0.05nits 최대 밝기 100nits, EOTF BT1886, Bitdepth 8 bit를 설정하고, phase 2에 대해 색상 영역 BT.2020, 최소 밝기 0.01nits, 최대 밝기 2000nits EOTF SMPTE 2084 및 Bitdepth 12bit를 설정하는 실시예를 나타낸다.
자막에 대한 메타 데이터는 color gamut, dynamic range, EOTF, bitdepth 정보를 포함할 수 있다. 자막에 대한 메타 데이터는 UHD phase 1 & 2와 같이 화질에 대한 단계별 접근 방법이 적용되는 경우를 지원할 수 있다. 자막에 대한 메타 데이터는 UHD phase 1 및 phase 2 각각에 대한 지원 범위를 나타내기 위한 방법으로써 기본 color gamut, 기본 dynamic range, 기본 EOTF, 기본 bitdepth 정보를 포함할 수 있다. 예를 들어 자막에 대한 메타 데이터는 기본 정보로써 ebuttm:Gamut = “BT709”, ebuttm:DynamicRange = 100 500 2000 , ebuttm:EOTF = “BT1886”, ebuttm:BitDepth = 8와 같은 정보를 포함할 수 있다. 각 정보에 대한 의미는상술한 바와 같다.
또한 자막에 대한 메타 데이터는 scalable approach를 통한 최고 화질의 경우에 지원되는 정보를 나타내기 위한 각 기본 정보에 대한 추가 정보인 추가 color gamut, 추가 dynamic range, 추가 EOTF, 추가 bitdepth 정보를 포함할 수 있다. 예를 들어 자막에 대한 메타 데이터는 추가 정보로써 ebuttm:SupplementaryGamut = “BT2020” , ebuttm:SupplementaryDynamicRange = 2000 100 200000 500 100, ebuttm:SupplementaryEOTF = “SMPTE2084”, ebuttm:SupplementaryBitDepth = 12를 포함할 수 있다. 이는 타겟 영상의 최대 밝기 2,000 nit, 최소 밝기 0.01 nit, 고대비 200,000:1, 독립적인 자막 적정 최대 밝기가 500nit, 최소 밝기가 0.01 nit임을 나타낼 수 있다.
또한 자막의 색상에 대해 기본 정보로써 tts:color = “rrggbb”를 포함하고, 추가 정보로써 tts:colorSupplementary = “#RRRGGGBBB”를 포함할 수 있다. 또한 자막의 배경 색상에 대한 기본 정보로써 tts:backgroundColor = “r’r’g’g’b’b’”를 포함하고, 자막의 배경 색상에 대한 추가 정보로써 tts:backgroundColorSupplementary= “#-R’R’R’G’G’G’B’B’B’"를 포함할 수 있다. 이와 같이 메타 데이터는 자막 표현 방법에 대한 기본 정보 및 추가 정보를 각각 다른 필드를 통해 정의하고 수신기에 알려줄 수 있다.
도 6은 본 발명의 다른 실시예에 따른 자막에 대한 정보를 포함하는 메타 데이터를 나타낸다. 즉, 본 발명이 제안하는 자막 메타 데이터에 대한 실시예를 EBU-TT-D 에 대해 표현한 것이다. 구체적으로 도시된 메타 데이터는 UHD phase 1에 대해 색상 영역 BT. 709, 최소 밝기 0.05nits 최대 밝기 100nits, Bitdepth 8 bit를 설정하고, phase 2에 대해 색상 영역 BT.2020, 최소 밝기 0.01nits, 최대 밝기 2000nits 및 Bitdepth 12bit를 설정하는 실시예를 나타낸다.
자막에 대한 메타 데이터는 color gamut, dynamic range, EOTF, bitdepth 정보를 포함할 수 있다. 자막에 대한 메타 데이터는 UHD phase 1 & 2와 같이 화질에 대한 단계별 접근 방법이 적용되는 경우를 지원할 수 있다. 자막에 대한 메타 데이터는 UHD phase 1 및 phase 2 각각에 대한 지원 범위를 나타내기 위한 방법으로써 복수의 속성(attribute)를 갖는 color gamut, dynamic range, EOTF, bitdepth 정보를 포함할 수 있다. 예를 들어 자막에 대한 메타 데이터는 표현 정보로써 ebuttm:Gamuts = “BT709” “BT2020”, ebuttm:DynamicRanges = 100 500 2000 2000 100 200000 500 100, ebuttm:EOTFs = “BT1886” “SMPTE2084”, ebuttm:BitDepths = 8 10 12, ebuttm:ColorTransformation= “video” “function” “linear” 500 와 같은 정보를 포함할 수 있다. 여기서 ebuttm:ColorTransformation는 metadata에서 색상 변환 방법을 제공하는 경우에 대한 예시를 나타낼 수 있다. 전술한 바와 같이 각 정보는 각 phase를 지원하는 두 개의 값을 가질 수 있으며, 각 정보에 대한 의미는 상술한 바와 같다. 이와 같이 메타 데이터는 UHD phase 1 및 phase 2를 지원하기 위해 복수의 속성을 갖는 정보 필드를 이용하여 자막 표현 방법에 대한 정의하고 수신기에 알려줄 수 있다. 이러한 메타 데이터 생성 방법은 TTML, SMPTE-TT, CFF-TT, Youview, EBU-TT 등 XML 기반 자막 표준에 확장하여 적용할 수 있다.
도 7은 본 발명의 일 실시예에 따른 자막의 메타 데이터의 요소에 대한 자세한 설명을 나타낸다. (a) 및 (b)는 color gamut 필드를 나타낸다. 자막의 메타 데이터는 (a)와 같이 자막이 지원하는 기본 color gamut과 추가 지원할 수 있는 color gamut을 각각 ebuttm:Gamut와 ebuttm:SupplementaryGamut 엘리먼트를 지정하여 나타낼 수 있다. 각 엘리먼트에 대한 속성(attribute)은 BT.709 나 BT.2020과 같이 잘 알려진 color gamut을 지정하거나, CIExy 좌표를 직접 명시함으로써 임의의 color gamut에 대한 정보를 제공할 수 있다. 임의의 color gamut의 경우 자막의 메타 데이터는 도시된 바와 같이 red, green, blue 및 white point에 대한 CIExy 좌표(각각, xRed, yRed, xGreen, yGreen, xBlue, yBlue, xWhite, yWhite)를 전달할 수 있으며, 이 때 value = originalValue *10000 에 따라 원 좌표값에 10000배 값을 전달한다. 기존의 color gamut을 이용하는 경우 자막의 메타 데이터는 도시된 바와 같이 BT709나 BT2020 속성을 미리 지정해 놓고 사용할 수 있다. 실시 예에서는 BT. 709 기반으로 BT.2020을 추가적으로 지원 가능한 경우에 대해 <namedGamut> attribute를 이용해 표현하였다. 본 필드는 자막 제작과 디스플레이 환경(혹은 영상)의 색공간이 일치 여부에 대한 판단, 자막이 지원하는 서비스에 대한 판단, 필요시 color gamut mapping을 위한 정보로 사용할 수 있다.
자막의 메타 데이터는 (b)와 같이 자막에 대한 표현 정보 중 하나인 기준 color gamut과 추가 지원 가능한 color gamut을 하나의 element에 나타낼 수도 있다. 여기서 기준이 되는 속성을 먼저 기술하고, 추가 지원 가능한 속성을 그 다음에 기술할 수 있다.
도 8은 본 발명의 일 실시예에 따른 자막의 메타 데이터의 요소에 대한 자세한 설명을 나타낸다. (a) 및 (b)는 다이내믹 레인지를 나타낸다. 메타 데이터는 자막에서 고려하는 기본 dynamic range 및 추가 지원 dynamic range를 나타내기 위해 (a)에 도시된 바와 같이 ebuttm:DynamicRange와 ebuttm:AuxiliaryDynamicRange 엘리먼트(element)를 각각 사용할 수 있다. 각 엘리먼트에 대한 속성(attribute)은 dynamic range의 최대 밝기, 최소 밝기, 고대비를 각각 PeakBrightness, BlackLevel, ContrastRatio으로 나타낼 수 있다. 또한 메타 데이터는 비디오와 독립적인 dynamic range 처리에 대한 기준이 되는 자막 적정 최대 밝기 및 최소 밝기를 나타내는 HighTone, LowTone 속성을 포함할 수 있다. 이 때, ContrastRatio는 최대 밝기와 최소 밝기의 비율을 나타낼 수 있으며, 예를 들어 10,000:1의 경우 10,000 값을 전달할 수 있다. 나머지 값들은 nit (cd/m^2) 단위로, BlackLevel (및 LowTone)의 경우 1 이하의 값임을 감안하여 BlackLevel = OriginalValue *10000 에 해당하는 값을 전달할 수 있다.
만약 HD같이 표준화된 dynamic range가 있다면, 예를 들어 SMPTE reference HDTV 표준, namedDynamicRange 값으로 지정하여 아래와 같이 사용할 수 있다. 향후 HDR에 대한 표준이 나오는 경우 namedDynamicRange에 정의한 후 사용할 수 있다. 본 필드는 자막 제작과 디스플레이 환경(혹은 영상)의 밝기 범위의 일치 여부에 대한 판단과, 필요시 dynamic range mapping을 위한 정보로 사용할 수 있다.
다른 실시예로, 도시된 (b)와 같이 기준 dynamic range와 추가 지원 가능한 dynamic range를 하나의 엘리먼트에 나타낼 수도 있다. 즉 ebuttm:DynamicRanges 엘리먼트는 PeakBrightness, BlackLevel, ContrastRatio, PeakBrightness2, BlackLevel2, ContrastRatio2, HighTone, LowTone의 속성을 포함할 수 있다. 이와 같은 실시예에서도 자막의 독립적인 dynamic range를 HighTone, LowTone을 이용하여 추가적으로 기술할 수 있다. 전술한 실시예에서는 ebuttm:ColorTransformation 내에 HighTone, LowTone 을 전달하는 예를 들었지만, HighTone, LowTone에 대한 정보는 메타 데이터 내에 별도의 엘리먼트로 정의하거나 dynamic range 와 관련된 부분, 예를 들어 ebuttm:DynamicRanges, ebuttm:SupplementaryDynamicRange 등에도 정의할 수 있다. (b)의 실시예에서도 전술한 바와 같이 PeakBrightness, BlackLevel, ContrastRatio는 namedDynamicRange에 정의한 값을 사용할 수 있다. 또한 PeakBrightness2, BlackLevel2, ContrastRatio2도 namedDynamicRange에 정의한 후 사용될 수 있다.
도 9는 본 발명의 일 실시예에 따른 자막의 메타 데이터의 요소에 대한 자세한 설명을 나타낸다. (a)는 EOTF 필드를 나타내고, (b)는 BitDepth를 나타낸다.
메타 데이터는 각 dynamic range 에 따라 사용 된 EOTF 가 다른 경우 기본 EOTF에 대한 정보인 ebuttm:EOTF 와 함께 ebuttm:SupplementaryEOTF 를 통해 추가 EOTF에 대한 정보를 전달할 수 있다. 또는 Ebuttm:EOTFs를 통해 두개의 EOTF에 대한 정보를 하나의 엘리먼트에 묶어서 전달할 수도 있으며, 이 경우 앞에 위치하는 것이 기본 요소이다. 각각의 경우, BT.1886, SMPTE 2084와 같이 기존에 정의 된 EOTF 정보를 namedEOTF에서 정의하고 이를 사용할 수 있다. 본 필드는 dynamic range mapping 적용 전 luminance linearization을 을 위해 사용할 수 있다.
메타 데이터는 방송 서비스에 따라 서로 다른 종류의 bitdepth가 지원되는 경우 ebuttm:BitDepth와 ebuttm:SupplementaryBitDepth를 통해 각각의 bitdepth를 표시할 수 있다. 이전의 예와 같이 각각을 표현하는 기본 정보 엘리먼트 및 추가 정보 엘리먼트를 사용하거나 혹은 Ebuttm:BitDepths를 사용하여 지원되는 bitdepth를 동시에 표현할 수 있다. 이 경우 base가 되는 요소를 앞에 기술한다. 본 필드는 자막 자체의 bitdepth와 수신기 혹은 영상의 bitdepth를 비교하는 기준으로 사용될 수 있으며, 수신된 자막에 8bit bitdepth 이상의 bitdepth가 사용되었음을 알리거나 디텍트 하는 용도로 사용할 수 있다. ebuttm:RefBitDepth가 사용되고, 9 이상의 값을 갖는 경우 메타 데이터는 새로 정의되는 색상 표현 방법을 이용하여 색상을 표현할 수 있다.
전술한 바와 같이 본 발명을 통해 전달되는 자막의 메타데이터를 활용하는 경우의 수신기는 영상 특성 메타 데이터 중 기본 정보인 ebuttm:Gamut, ebuttm:DynamicRange, ebuttm:EOTF, ebuttm:BitDepth, 추가 정보인 ebuttm:SupplementaryGamut, ebuttm:SupplementaryDynamicRange, ebuttm:SupplementaryEOTF, ebuttm:SupplementaryBitDepth, 기본 및 추가 정보를 모두 포함하는 ebuttm:Gamuts, ebuttm:DynamicRanges, ebuttm:EOTFs, ebuttm:BitDepths를 통해 자막이 지원하는 비디오 요소와 수신기에서 지원하는 비디오 요소에 대한 비교를 수행할 수 있다. 또한 수신기가 추가 지원 요소를 사용하는 것으로 판단되는 경우, 적합한 format에 맞추어 color gamut, dynamic range, bitdepth 측면에서 적절한 값을 선택하여 사용할 수 있다.
또한 수신기는 메타 데이터 내의 정보를 기반으로 자막에서 지원하는 영상 특성을 표현함과 동시에, 각 특성에 대한 실제 색상 표현 값을 복수의 특성에 대해 모두 표현할 수 있다. 여기서 밝기, bit depth는 색상 표현에 포함될 수 있다. 본 발명에서 기술하는 XML subtitle은 하위 호환성을 갖는 것을 기본으로 가정하기 때문에, 기존 수신기 및 신규 수신기에서 모두 처리 가능한 방법으로 자막에 대한 정보를 표현하는 방법이 필요하다. 아래에서는 자막의 색상을 표현하는 방법에 대해 설명할 수 있다.
도 10은 본 발명의 일 실시예에 따른 자막의 색상을 표현하는 방법을 나타낸다. a)는 named color value를 사용하여 자막의 색상을 표현하는 방법이다. XML 자막에서의 색상 표현은 기본적으로 16진수로 표현하게 되지만, 잘 알려진 색상에 대해 색상의 이름으로 표현할 수 있다. 예를 들어 red를 8bit RGB 로 #FF0000으로 표현할 수 있으며, “red” 로 표현할 수도 있다. 이 때, 특정 색상에 대해 서로 다른 color gamut에서 서로 다른 digital 값을 갖는 경우에 하나의 digital 값에 대해 서로 다른 color가 표현될 수 있다. 하지만 색상의 이름으로 표현된 경우 서로 다른 color gamut이라도 동일한 색상을 표현할 수 있다. 예를 들어, 도시된 바와 같이 named color "red"로 표현하는 경우 BT. 709를 사용하는 수신기에서는 #FF0000값으로 BT.2020를 사용하는 수신기에서는 #C80000으로 각각 해석하여 적용할 수 있다. 이러한 named color에 대한 매핑은 표준 문서에 미리 정의될 수 있다.
b)는 matching color value를 전달하는 경우를 나타낸다. 수신기는 XML 자막이 지원하는 추가 영상 특성을 표현하는 색상 값을 직접 전달할 수도 있다. 즉, tts:color 와 같이 기존 EBU-TT-D 등에서 색상 표현 방법에서의 표현은 그대로 살리고, tts:colorSupplementary를 통해 추가적으로 지원되는 color gamut, dynamic range, bit depth에 대한 색상 값을 추가적으로 전달할 수 있다. 이 때, 기존 수신기는 해석 가능한 tts:color 만을 해석하게 되고, 추가 color gamut (및 bitdepth)에 대한 해석이 가능하고 기능상으로 지원되는 수신기에서는 tts:colorSupplementary에서 표현하는 색상을 사용하게 된다. 이 때, 추가 지원되는 color gamut, dynamic range등의 경우 높은 bit depth를 사용할 수 있다. 예를 들어 12 bit 혹은 16 bit 색상 표현 방법이 사용되는 경우, 도시된 바와 같이 <ebuttdt:distributionColorTypeExtension12> 혹은 <ebuttdt:distributionColorTypeExtension16>을 정의할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 자막의 색상을 표현하는 방법을 나타낸다. 자막에 대한 메타 데이터는 전술한 실시예와 같이 추가 지원요소에 해당하는 값을 직접 전달할 수 있지만, bit 효율 등을 고려하여 base가 되는 값과의 차이를 추가 정보를 통해 전달할 수도 있다. 즉, “Supplementary color = base color + diff” 를 만족하는 diff 를 전달하는 개념으로써, 차이값에 대한 부호 및 크기를 표현하기 위해 도시된 바와 같은 color difference type을 정의할 수 있다.즉, tts:colorSupplementary 에 대해 지원하는 색상 표현 값 사이의 차이를 전달하기 위해 <ebuttdt:distributionColorDifferenceTypeExtension12> 또는 <ebuttdt:distributionColorDifferenceTypeExtension16>을 이용한 표현 방법에 대한 예시를 나타낼 수 있다. 각 차이 정보는 sign 및 차이값의 크기를 포함할 수 있으며 수신기는 색상에 대한 기본 정보에서 차이 정보를 가감하여 확장된 색상에 대한 정보를 획득할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 자막의 색상을 표현하는 방법을 나타낸다. 메타 데이터는 전술한 실시예와 같이 추가 지원 서비스에 대해 대응되는 값을 직접적으로 전달하는 방법 뿐 아니라 base color로부터 변환하는 방법에 대한 정보를 제공함으로써 간접적으로 색상을 전달할 수 있다. 본 발명에서는 이를 transformation 방법 또는 conversion 방법으로 칭할 수 있다. conversion 방법은 메타 데이터의 타겟 서비스의 color gamut, dynamic range, 및 bitdepth, 추가적으로 자막의 밝기 범위인 HighTone 및 LowTone을 바탕으로 각 수신기에 맞게 자막의 색상을 구현할 수 있다. 또는 video에서 scalable approach를 제공하고, video의 base 및 target이 자막에서 제공하는 base 및 target과 일치할 때 video의 conversion 방법을 사용할 수도 있다. 본 발명은 video와 고려하는 서비스의 종류가 다른 상황, 또는 video와 수신기에서 제공하는 conversion 성능이 서로 다른 상황에서 각각의 수신기가 일정한 품질의 자막 서비스를 제공하는 방법을 설명할 수 있다. 본 발명에서는 ebuttm:ColorTransformation을 이용할 수 있다.
ebuttm:ColorTransformation에 대한 실시 예로써 다음을 고려할 수 있다. 자막에 대한 메타 데이터는 Color Transformation으로는 각각 color gamut scalability와 관련된 정보와 dynamic range scalability와 관련된 정보를 전달할 수 있다. 이를 지원하기 위한 방법으로는 (1) video의 transformation 함수를 사용하는 방법, (2) HighTone, LowTone 정보를 통해 별도 변환 식 없이 수신기 자율에 맞기는 방법, (3) LUT를 전달하는 방법, 및 (4) transformation function을 전달하는 방법을 사용할 수 있다. 방법 (1)은 ebuttm:ColorTransformation 내에서 “video”로 표현될 수 있으며 video의 transformation을 차용해서 쓰는 경우 메타데이터로 특별히 전달할 추가 정보는 필요하지 않을 수 있다. 방법 (2)는 ebuttm:ColorTransformation 내에서 “tone”으로 표현될 수 있으며 메타 데이터를 통해 전달되는 자막 적정 밝기 (HighTone, LowTone) 정보를 통해 수신기에서 선호하는 밝기 변환을 사용할 수 있다. 이 때, Linear mapping이 default로 지정될 수 있다. 방법 (3)은 ebuttm:ColorTransformation 내에서 “LUT”로 표현될 수 있으며 mapping 의 input/output에 해당하는 값을 전달할 수 있다. 방법 (4)는 ebuttm:ColorTransformation 내에서 “function”으로 표현될 수 있으며 별도의 변환 함수를 사용하는 경우로써 메타 데이터는 함수의 type 및 각각의 계수를 포함할 수 있다. Color gamut transformation을 위한 LUT의 경우 ebuttm:ColorTransformation는 RGB to RGB 변환을 위한 값을 전달할 수 있고, 별도 변환식이 주어지는 경우 transformation matrix의 계수를 전달할 수 있다. Dynamic range transformation은 Y 값에 대한 변화를 중심으로 생각하며, 변환식으로 주어지는 경우 linear, exponential, piecewise linear, log, s-curve 등의 함수로 나눌 수 있으며, 메타 데이터는 각 함수에 필요한 계수를 전달할 수 있다. 이 때, 자막 변환을 위한 적정 밝기 범위가 필요한데, ebuttm:ColorTransformation 내에 HighTone, LowTone 을 전달할 수 있다. 또한 메타 데이터 내에 별도 엘리먼트로 정의하거나 dynamic range 와 관련된 부분, 즉 ebuttm:DynamicRanges, ebuttm:SupplementaryDynamicRange 등에도 HighTone, LowTone을 정의할 수 있다.
본 실시예에서는 color gamut scaling과 dynamic range scaling 정보를 별도로 전달하는 경우를 고려하였지만, BT.709+SDR 로부터 BT.709+HDR, BT.2020+SDR, 또는 BT.2020+HDR 로의 변환을 하나의 function으로 합쳐서 전달할 수도 있다.
도 13은 본 발명의 일 실시예에 따른 방송 송신기를 나타낸 블록도이다. 본 발명에 따른 방송 송신기(1701)은 인코더(1702), 다중화부(1703) 및/또는 송신부(1704)를 포함할 수 있다.
방송 송신기(1701)에 입력되는 비디오 데이터의 해상도는 UHD, HD 또는 SD가 될 수 있다. 또한 방송 송신기(1701)에 입력되는 자막 정보는 XML로 작성될 수 있다. 방송 송신기(1701)에 입력된 비디오 데이터는 인코더(1702)에 의해 인코딩될 수 있다. 전송단은 비디오 데이터에 대한 인코딩 방식으로써 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 전송단은 인코딩된 비디오 데이터와 XML 자막을 동기화하고 다중화부(1703)를 이용하여 다중화할 수 있다. 여기서 XML 자막은 전술한 바와 같이 자막에 대한 메타 데이터를 포함할 수 있으며, 자막의 color gamut, dynamic range, EOTF 및/또는 bitdepth에 대한 정보를 포함할 수 있다. 또한 자막에 대한 메타 데이터는 서로 다른 color gamut, dynamic range, EOTF 및/또는 bitdepth를 지원하는 서비스에 대응하는 자막 표현 정보를 포함할 수 있으며 동일 정보에 대해 복수의 값을 포함할 수도 있다. 이는 각 수신단에서 지원할 수 있는 서비스에 따라 선택적으로 자막 표현 정보를 결정하게 할 수 있다. 또한 실시예에 따라 자막 표현 정보는 기본 정보 및 변형 함수를 포함하여 수신기에 따라 기본 정보를 그대로 사용하거나 변형하여 사용할 수 있게 지원할 수 있다.
송신부(1704)는 다중화부(1703)로부터 출력된 트랜스포트 스트림을 방송 신호로써 전송할 수 있다. 여기서, 트랜스포트 스트림은 전송 전에 채널 코딩 및 변조된 후 방송 신호로써 전송될 수 있다.
도 14는 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 블록도이다. 본 발명에 따른 방송 수신기(1801)은 수신부(1802), 역다중화부(1803) 및/또는 디코더(1804)를 포함할 수 있다.
수신부(1802)에 의해 수신된 방송 신호는 복조된 후 채널 디코딩될 수 있다. 채널 디코딩된 방송 신호는 역다중화부(103)에 입력되어 비디오 스트림 및 자막 스트림으로 역다중화될 수 있다. 역다중화부의 출력은 디코더(1804)에 입력될 수 있다. 디코더는 비디오 디코더 및 XML 파서를 포함할 수 있다. 즉 비디오 스트림은 비디오 디코더에 의해, 자막 스트림은 자막 디코더에 의해 디코딩되거나 또는 XML 파서에 의해 파싱되어 각각 비디오 데이터 및 자막 데이터로 출력될 수 있다. 여기서 비디오 디코더와 XML 파서는 상호 메타 데이터를 교환할 수 있다. 즉, XML 파서는 전술한 바와 같이 비디오에 대한 메타 데이터와 자막에 대한 메타 데이터를 비교할 수 있다. 여기서 비교 대상이 되는 메타 데이터는 영상 및 자막의 dynamic range, color gamut, bit depth 등을 포함할 수 있다. 또한 수신기의 디스플레이에 대한 메타 데이터와 자막에 대한 메타 데이터를 비교할 수도 있다. 여기서 비교 대상이 되는 메타 데이터는 디스플레이 환경 및 자막의 dynamic range, color gamut, bit depth 등을 포함할 수 있다.
특히 본 발명에서는 DVB UHD phase 2를 서비스하는 경우에도 phase 1 수신기가 자막을 제공 받을 수 있도록 메타 데이터를 생성하여 수신기에 제공할 수 있다. 즉, 하위 호환성을 갖는 자막 서비스를 제공할 수 있다. 수신기는 자막의 메타 데이터를 참고하여 수신기에 적합한 자막 표현 정보를 선택하거나 변형하여 자막을 디스플레이할 수 있다. 이에 대한 자세한 설명은 전술한 바와 같다. 비디오 데이터 및 자막 데이터는 동기화되어 수신기에 의해 디스플레이될 수 있다.
도 15는 본 발명의 일 실시예에 따른 방송 수신기의 상세 구성을 나타낸 도면이다. 방송 수신기는 수신부(1901), 복조부(1902), 역다중화부(1903), 비디오 디코더(1904), XML 자막 디코더(1905), 오디오 비디오 자막 동기화부(A/V/S sync, 1906), 시스템 정보 처리부(SI processor, 1907), 그래픽 엔진(1908) 및/또는 디스플레이 처리부(1909)를 포함할 수 있다.
수신부(1901)는 송신기에 의해 송신된 방송 신호를 수신할 수 있다. 수신된 방송 신호는 복조부(1902)에 입력될 수 있다.
복조부(1902)는 방송 신호를 복조하여 TS (transport stream)를 출력할 수 있다. TS는 역다중화부(1903)에 입력되어 역다중화될 수 있다. 역다중화된 TS는 HEVC bitstream, XML subtitle, SI(system information)을 포함할 수 있다. 여기서 XML subtitle은 메타 데이터를 포함할 수 있다.
비디오 디코더(1904)는 HEVC bitstream을 입력받아 디코딩하고 video frame을 출력할 수 있다.
XML 자막 디코더(1905)는 XML subtitle을 입력 받아 자막을 추출할 수 있다. XML 자막 디코더(1905)는 XML subtitle에 포함된 메타 데이터를 파싱하고 영상 또는 디스플레이 환경에 대한 메타 데이터와 비교할 수 있다. 여기서 비교 대상이 되는 메타 데이터는 dynamic range, color gamut, bit depth 등을 포함할 수 있다. XML 자막 디코더(1905)는 비교된 메타 데이터 간의 매칭 여부에 따라 자막의 메타 데이터에 대한 선택 또는 변형을 수행할 수 있다. XML 자막 디코더(1905)는 비교된 자막 데이터가 매칭되거나 DVB UHD phase 1 수신기를 지원하는 경우, 별도의 변형을 수행하지 않고 자막의 메타 데이터에 포함된 기본 정보와 자막을 그래픽 엔진으로 전달할 수 있다. 이와 달리 XML 자막 디코더(1905)는 비교된 자막 데이터가 영상 또는 디스플레이의 메타 데이터와 매칭되지 않는 경우 또는 DVB UHD phase 2 수신기를 지원하는 경우, 자막에 대한 메타 데이터 중 기본 정보 및 추가 정보를 선택하거나 기본 정보를 변형하고, 자막 데이터와 선택 또는 변형된 메타 데이터를 그래픽 엔진으로 전달할 수 있다. 이를 통해 수신기에 따라 적응적으로 자막의 품질을 지원할 수 있다. 이에 대한 자세한 설명은 전술한 바와 같다.
시스템 정보 처리부(1907)는 역다중화부로부터 출력된 SI(system information) 정보를 수신하여 OSD 정보를 추출할 수 있다.
그래픽 엔진(1908)은 XML 자막 디코더(1905)로부터 자막 및 자막의 메타 데이터를 수신하여 자막 영상을 출력할 수 있다. 자막 영상은 자막 및 자막의 메타 데이터에 기초하여 생성되며, 자막의 메타 데이터에 대한 컨버젼 여부에 따라 출력되는 자막 영상의 색상, 밝기 등이 달라질 수 있다.
디스플레이 처리부(1909)은 비디오 프레임 및 자막을 수신하여 디스플레이 프레임을 출력할 수 있다. 디스플레이 처리부(1909)은 비디오 프레임 및 자막에 추가적으로 OSD(On Screen Display)정보를 수신하여 디스플레이 프레임을 출력할 수도 있다. 출력된 디스플레이 프레임은 영상 출력 장치에 의해 디스플레이될 수 있으며, 본 발명에서 설명한 XML 자막과 비디오 프레임이 함께 디스플레이될 수 있다.
도 16은 본 발명의 일 실시예에 따른 XML 자막을 포함하는 방송 신호를 전송하는 방법을 나타낸 도면이다. XML 자막을 포함하는 방송 신호를 전송하는 방법은 비디오 스트림을 인코딩하여 비디오 데이터를 생성하는 단계(S2210), 생성된 비디오 데이터 및 자막 정보를 포함하는 방송신호를 생성하는 단계(S2220) 및 생성된 방송신호를 전송하는 단계(S2230)를 포함할 수 있다.
비디오 스트림을 인코딩하여 비디오 데이터를 생성하는 단계(S2210)는 UHD, HD 또는 SD의 해상도를 갖는 비디오 스트림을 입력 받고, 비디오 스트림을 인코딩하여 비디오 데이터를 생성할 수 있다. 여기서, 비디오 스트림은 HEVC(High Efficiency Video Coding)에 의해 인코딩될 수 있다. 이와 함께 XML 자막 데이터를 생성할 수 있다. 전술한 바와 같이, XML 자막 데이터는 메타 데이터를 포함할 수 있으며 메타 데이터는 UHD 방송에 적합한 XML 자막 관련 데이터를 포함할 수 있다. 즉, 메타 데이터는 dynamic range, color gamut, bit depth, EOTF 정보를 포함할 수 있으며, 이들 정보는 UHD 방송의 wide color gamut (WCG), high dynamic range (HDR)에 대응하는 값을 가질 수 있다. 또한 메타 데이터는 수신기 성능별 dynamic range, color gamut, bit depth, EOTF 정보를 포함함으로써 수신기 별로 선택적으로 상기 자막 표현 정보들을 선택함으로써 수신기 적응적인 자막 표현을 지원할 수 있다.
생성된 비디오 데이터 및 자막 데이터를 포함하는 방송신호를 생성하는 단계(S2220)는 방송 신호 프레임을 빌드하고 변조 과정을 이용하여 방송 신호를 생성할 수 있다.
생성된 방송신호를 전송하는 단계(S2230)는 트랜스포트 스트림을 방송 신호로써 전송할 수 있다.
도 17은 본 발명의 일 실시예에 따른 XML 자막을 포함하는 방송 신호를 수신하는 방법을 나타낸 도면이다. XML 자막을 포함하는 방송 신호를 수신하는 방법은 방송 신호를 수신하는 단계(S2310), 수신된 방송 신호를부터 비디오 데이터 및 자막 데이터로 역다중화하는 단계(S2320) 및 비디오 데이터 및 자막 데이터를 디코딩하는 단계(S2330)를 포함할 수 있다.
방송 신호를 수신하는 단계(S2310)는 수신부를 이용하여 수신된 방송 신호는 복조된 후 채널 디코딩될 수 있다.
수신된 방송 신호를 비디오 데이터 및 자막 데이터로 역다중화하는 단계(S2320)는 채널 디코딩된 방송 신호를 역다중화부를 이용하여 비디오 데이터 및 자막 데이터로 역다중화할 수 있다.
비디오 데이터 및 자막 데이터를 각각 디코딩하는 단계(S2330)는 비디오 디코더를 이용하여 비디오 데이터를 디코딩하고 비디오 데이터를 획득할 수 있다. 이 단계에서 자막 데이터에 대해서는 자막 디코더 또는 XML 파서를 이용하여 자막 데이터를 획득할 수 있다. 수신기는 XML subtitle을 입력 받아 자막을 추출할 수 있다. 수신기는 XML subtitle에 포함된 메타 데이터를 파싱하고 영상 또는 디스플레이 환경에 대한 메타 데이터와 비교할 수 있다. 여기서 비교 대상이 되는 메타 데이터는 dynamic range, color gamut, bit depth 등을 포함할 수 있다. 수신기는 비교된 메타 데이터 간의 매칭 여부에 따라 자막의 메타 데이터에 대한 선택 또는 변형을 수행할 수 있다. 수신기는 비교된 자막 데이터가 매칭된 경우 또는 수신기가 메타 데이터에 포함된 기본 정보를 지원하는 경우, 별도의 선택 또는 변형을 수행하지 않고 자막의 메타 데이터에 포함된 기본 정보와 자막을 그래픽 엔진으로 전달할 수 있다. 이와 달리 수신기는 비교된 자막 데이터가 영상 또는 디스플레이의 메타 데이터와 매칭되지 않는 경우 또는 수신기가 메타 데이터에 포함된 기본 정보 및 추가 정보를 지원하는 경우, 자막에 대한 메타 데이터를 선택 또는 변형하고, 자막 데이터와 선택 또는 변형된 메타 데이터를 출력할 수 있다. 이를 통해 자막과 영상의 정합성을 높이고 수신기에 따른 차별적인 자막 서비스를 지원할 수 있다. 또한 본 발명에서 설명한 자막에 대한 메타 데이터는 하위 호환성을 지원하는 자막 서비스를 지원할 수 있다.
UHD는 다양한 특성을 영상의 화질 요소로 고려하는 만큼 컨텐츠 및 수신기의 다양성이 확대될 가능성이 크다. 하지만 텍스트 기반 자막의 경우 다양한 비디오 혹은 수신기 종류에 대해 각각의 버전을 만드는 것은 비효율 적이다. XML 자막의 경우 영상 크기에 독립적으로 적용할 수 있다는 장점이 있지만, WCG, HDR 등의 요소가 변하는 경우에 대한 고려는 없는데, 본 발명의 방법을 통해 단일 XML 자막을 이용해 다양한 color gamut, dynamic range 환경에 대해 동일한 품질의 서비스를 제공할 수 있다. 본 발명은 수신기의 입장에서 기술하지만, production 혹은 자막 제작 환경에서도 사용할 수 있다. 또한, IP streaming 기반의 서비스 뿐 아니라 XML 기반 자막 서비스를 이용하는 모든 방송 서비스(e.g. DVB UHD-1 서비스)에서 이용 가능하다. 특히, DVB와 같은 경우 UHD-1 phase 2 서비스는 phase 1과의 하위 호환성을 만족시키도록 서비스가 이뤄질 것으로 보이며, 이 경우 기존 수신기에서의 동작을 동시에 만족시킬 수 있는 자막 서비스 방법으로써 본 제안을 사용할 수 있다. 또한, IP streaming service 혹은 storage media의 경우 다양한 화질의 영상을 제공할 수 있으며, 이 때 단일 자막 서비스로 다양한 화질의 영상을 지원하는데에도 제안하는 방법을 사용할 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태는 위의 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본원 발명은 방송 및 비디오 신호 처리 분야에서 사용 가능하고 반복 가능성이 있는 산업상 이용가능성이 있다.

Claims (15)

  1. 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;를 포함하는 방송 신호 송신 방법.
  2. 제 1 항에 있어서,
    상기 자막 데이터는 XML 자막 데이터를 포함하는 방송 신호 송신 방법.
  3. 제 2 항에 있어서,
    상기 XML 자막 데이터는 자막 텍스트 및 자막 메타 데이터를 포함하는 방송 신호 송신 방법.
  4. 제 3 항에 있어서,
    상기 자막 메타 데이터는 고화질 방송을 위한 확장 색상 영역 및 하이 다이내믹 레인지에 대응하는 정보를 포함하는 방송 신호 송신 방법.
  5. 제 3 항에 있어서,
    상기 자막 메타 데이터는 자막의 색 영역, 자막의 다이내믹 레인지, 자막의 비트 뎁스에 대한 기본 정보 및 추가 정보를 포함하는 방송 신호 송신 방법.
  6. 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 수신하는 단계; 및
    상기 비디오 데이터 및 자막 데이터를 처리하여 출력하는 단계;를 포함하는 방송 신호 수신 방법.
  7. 제 6 항에 있어서,
    상기 자막 데이터는 XML 자막 데이터를 포함하는 방송 신호 수신 방법.
  8. 제 7 항에 있어서,
    상기 XML 자막 데이터는 자막 텍스트 및 자막 메타 데이터를 포함하는 방송 신호 수신 방법.
  9. 제 8 항에 있어서,
    상기 자막 메타 데이터는 고화질 방송을 위한 확장 색상 영역 및 하이 다이내믹 레인지에 대응하는 정보를 포함하는 방송 신호 수신 방법.
  10. 제 8 항에 있어서,
    상기 자막 메타 데이터는 자막의 색 영역, 자막의 다이내믹 레인지, 자막의 비트 뎁스에 대한 기본 정보 및 추가 정보를 포함하는 방송 신호 수신 방법.
  11. 제 8 항에 있어서,
    수신기 디스플레이 속성 및 상기 자막 메타 데이터 사이의 매칭 여부를 디텍트하는 단계를 더 포함하는 방송 신호 수신 방법.
  12. 제 8 항에 있어서,
    상기 자막 메타 데이터는 복수의 서비스를 지원하는 적어도 하나 이상의 색 영역, 다이내믹 레인지 및 비트 뎁스에 대한 정보를 포함하는 방송 신호 수신 방법.
  13. 제 8 항에 있어서,
    상기 자막 메타 데이터는 색 영역, 다이내믹 레인지 및 비트 뎁스에 대한 정보 및 색상 변형 함수를 포함하는 방송 신호 수신 방법.
  14. 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 생성하는 인코더; 및
    상기 생성된 방송 신호를 전송하는 송신부;를 포함하는 방송 신호 송신 장치.
  15. 비디오 데이터 및 자막 데이터를 포함하는 방송 신호를 수신하는 수신부; 및
    상기 비디오 데이터 및 상기 자막 데이터를 디코딩하는 디코더;를 포함하는 방송 신호 수신 장치.
PCT/KR2015/007202 2014-07-29 2015-07-10 방송 신호 송수신 방법 및 장치 Ceased WO2016017961A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020167033466A KR20170007764A (ko) 2014-07-29 2015-07-10 방송 신호 송수신 방법 및 장치
US15/322,604 US10368144B2 (en) 2014-07-29 2015-07-10 Method and device for transmitting and receiving broadcast signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462030581P 2014-07-29 2014-07-29
US62/030,581 2014-07-29

Publications (1)

Publication Number Publication Date
WO2016017961A1 true WO2016017961A1 (ko) 2016-02-04

Family

ID=55217795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007202 Ceased WO2016017961A1 (ko) 2014-07-29 2015-07-10 방송 신호 송수신 방법 및 장치

Country Status (3)

Country Link
US (1) US10368144B2 (ko)
KR (1) KR20170007764A (ko)
WO (1) WO2016017961A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169075A (ja) * 2016-03-17 2017-09-21 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3157242B1 (en) 2014-06-10 2019-07-03 Panasonic Intellectual Property Management Co., Ltd. Display system, display method, and display device
EP3196882A4 (en) * 2014-09-12 2018-05-16 Sony Corporation Information processing device, information processing method, program, and recording medium
US10595099B2 (en) * 2015-04-05 2020-03-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for broadcast service on basis of XML subtitle
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
JP6519329B2 (ja) * 2015-06-09 2019-05-29 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
US10237591B2 (en) * 2015-09-09 2019-03-19 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080078217A (ko) * 2007-02-22 2008-08-27 정태우 영상에 포함된 객체 색인 방법과 그 색인 정보를 이용한부가 서비스 방법 및 그 영상 처리 장치
WO2010095838A2 (ko) * 2009-02-17 2010-08-26 삼성전자 주식회사 그래픽 화면 처리 방법 및 장치
US20100220175A1 (en) * 2009-02-27 2010-09-02 Laurence James Claydon Systems, apparatus and methods for subtitling for stereoscopic content
KR20100115845A (ko) * 2009-04-21 2010-10-29 문강환 동영상 데이터 스트리밍 상에 실시간 자막송출 시스템
US20110242104A1 (en) * 2008-12-01 2011-10-06 Imax Corporation Methods and Systems for Presenting Three-Dimensional Motion Pictures with Content Adaptive Information

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939711B1 (ko) 2002-12-12 2010-02-01 엘지전자 주식회사 텍스트 기반의 서브타이틀 재생장치 및 방법
KR100739680B1 (ko) 2004-02-21 2007-07-13 삼성전자주식회사 스타일 정보를 포함하는 텍스트 기반 서브타이틀을 기록한저장 매체, 재생 장치 및 그 재생 방법
US7603620B2 (en) 2004-12-20 2009-10-13 Ricoh Co., Ltd. Creating visualizations of documents
US8885229B1 (en) * 2013-05-03 2014-11-11 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
JP4980018B2 (ja) 2006-09-21 2012-07-18 パナソニック株式会社 字幕生成装置
US8942289B2 (en) 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
JP5219183B2 (ja) * 2007-03-01 2013-06-26 任天堂株式会社 映像コンテンツ表示プログラム、情報処理装置、映像コンテンツ表示方法および映像コンテンツ表示システム
CN104065950B (zh) 2008-12-02 2016-06-15 Lg电子株式会社 3d字幕显示方法和设备以及发送3d字幕的方法和设备
US20140009677A1 (en) 2012-07-09 2014-01-09 Caption Colorado Llc Caption extraction and analysis
US8718367B1 (en) * 2009-07-10 2014-05-06 Intuit Inc. Displaying automatically recognized text in proximity to a source image to assist comparibility
CN102065234B (zh) 2009-11-12 2014-11-05 新奥特（北京）视频技术有限公司 基于分布式字幕处理系统的字幕制播方法及系统
WO2011129631A2 (ko) 2010-04-14 2011-10-20 삼성전자 주식회사 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
IN2014CN00513A (ko) 2011-07-29 2015-04-03 Sony Corp
CN103179093B (zh) 2011-12-22 2017-05-31 腾讯科技（深圳）有限公司 视频字幕的匹配系统和方法
EP2890139A4 (en) 2012-08-27 2016-04-06 Sony Corp TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE AND RECEIVER METHOD
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US9161066B1 (en) 2013-03-14 2015-10-13 Google Inc. Methods, systems, and media for generating and presenting supplemental content based on contextual information
WO2015005189A1 (ja) 2013-07-12 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
JP6419807B2 (ja) * 2013-07-19 2018-11-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒメタデータ転送
CN103826114B (zh) 2013-11-15 2017-04-19 青岛海信电器股份有限公司 一种立体显示方法及自由立体显示装置
EP3036883B3 (en) 2014-02-24 2021-11-24 LG Electronics Inc. Apparatus for transmitting broadcast signals and method for transmitting broadcast signals
JP6217462B2 (ja) * 2014-03-05 2017-10-25 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像処理システム
JP6423016B2 (ja) 2014-06-09 2018-11-14 エルジー エレクトロニクス インコーポレイティド サービスガイド情報送信方法、サービスガイド情報受信方法、サービスガイド情報送信装置及びサービスガイド情報受信装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080078217A (ko) * 2007-02-22 2008-08-27 정태우 영상에 포함된 객체 색인 방법과 그 색인 정보를 이용한부가 서비스 방법 및 그 영상 처리 장치
US20110242104A1 (en) * 2008-12-01 2011-10-06 Imax Corporation Methods and Systems for Presenting Three-Dimensional Motion Pictures with Content Adaptive Information
WO2010095838A2 (ko) * 2009-02-17 2010-08-26 삼성전자 주식회사 그래픽 화면 처리 방법 및 장치
US20100220175A1 (en) * 2009-02-27 2010-09-02 Laurence James Claydon Systems, apparatus and methods for subtitling for stereoscopic content
KR20100115845A (ko) * 2009-04-21 2010-10-29 문강환 동영상 데이터 스트리밍 상에 실시간 자막송출 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169075A (ja) * 2016-03-17 2017-09-21 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2017159313A1 (en) * 2016-03-17 2017-09-21 Sony Corporation Information processing apparatus, information recording medium, information processing method, and program
US10750149B2 (en) 2016-03-17 2020-08-18 Sony Corporation Information processing apparatus, information recording medium, information processing method, and program

Also Published As

Publication number Publication date
US20170142499A1 (en) 2017-05-18
US10368144B2 (en) 2019-07-30
KR20170007764A (ko) 2017-01-20

Similar Documents

Publication Publication Date Title
US20230007316A1 (en) Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
WO2016006970A1 (ko) 방송 신호 송수신 방법 및 장치
US10567811B2 (en) Method and device for transmitting and receiving broadcast signal on basis of color gamut resampling
Jack Video demystified: a handbook for the digital engineer
US11838564B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
WO2016017961A1 (ko) 방송 신호 송수신 방법 및 장치
US10595099B2 (en) Method and device for transmitting and receiving broadcast signal for broadcast service on basis of XML subtitle
JP6261741B2 (ja) デジタル放送システムにおける高画質ｕｈｄ放送コンテンツの送受信方法及び装置
JP7775952B2 (ja) 送信方法および送信装置
US10582269B2 (en) Method and device for transmitting and receiving broadcast signal
WO2016129891A1 (ko) 방송 신호 송수신 방법 및 장치
WO2016089093A1 (ko) 방송 신호 송수신 방법 및 장치
CN108353196B (zh) 发送设备、发送方法、接收设备、以及接收方法
WO2016129981A1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
WO2017171391A1 (ko) 방송 신호 송수신 방법 및 장치
WO2012015288A2 (en) Method and apparatus for transmitting and receiving extended broadcast service in digital broadcasting
US20210195254A1 (en) Device for transmitting broadcast signal, device for receiving broadcast signal, method for transmitting broadcast signal, and method for receiving broadcast signal
WO2017164551A1 (ko) 방송 신호 송수신 방법 및 장치
JP6658944B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2016036012A1 (ko) 방송 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15827777

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167033466

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15322604

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15827777

Country of ref document: EP

Kind code of ref document: A1