[go: up one dir, main page]

WO2016003254A1 - 통신 시스템에서 데이터 송수신 장치 및 방법 - Google Patents

통신 시스템에서 데이터 송수신 장치 및 방법 Download PDF

Info

Publication number
WO2016003254A1
WO2016003254A1 PCT/KR2015/006968 KR2015006968W WO2016003254A1 WO 2016003254 A1 WO2016003254 A1 WO 2016003254A1 KR 2015006968 W KR2015006968 W KR 2015006968W WO 2016003254 A1 WO2016003254 A1 WO 2016003254A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
mpu
mmt
mfu
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/006968
Other languages
English (en)
French (fr)
Inventor
박경모
부현철
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US15/323,592 priority Critical patent/US10701408B2/en
Priority to JP2017500078A priority patent/JP6732725B2/ja
Priority to CN201580036656.1A priority patent/CN106471812B/zh
Publication of WO2016003254A1 publication Critical patent/WO2016003254A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present disclosure relates to a method and apparatus for transmitting and receiving data using network congestion control in a communication system for multimedia transmission and reception.
  • MPEG-2 TS Motion Picture Experts Group-2 Transport Stream
  • MPEG-2 TS has been used as a representative transmission technique for transmitting multiplexed bitstreams in which a plurality of broadcast programs (coded multiple video bitstreams) are multiplexed in a faulty transmission environment.
  • MPEG-2 TS is suitable for use in digital TV broadcasting in the multimedia age.
  • MPEG-2 TS has some limitations in supporting multimedia services. That is, the MPEG-2 TS has unnecessary overhead when transmitting using unidirectional communication, transmission inefficiency due to a fixed frame size, a transmission protocol specialized for audio / video, and an Internet protocol (IP). Occurrence is the limit point. Therefore, MPEG has newly proposed the MMT (MPEG MEDIA Transport) standard as one of multimedia transmission technologies to support multimedia services based on MPEG technology. In particular, the MMT standard has been proposed to overcome the limitations of MPEG-2TS.
  • MMT MPEG MEDIA Transport
  • the MMT standard can be applied to efficiently transmit composite content over heterogeneous networks.
  • the composite content refers to a set of contents having multimedia elements by video / audio / application / widget.
  • the heterogeneous network refers to a network in which a broadcast network and a communication network are mixed.
  • the MMT standard defines IP-friendly transmission technology, which is the basic technology in transmission networks for multimedia services. That is, the MMT standard is to provide an efficient MPEG transmission technology in a multimedia service environment that is typically changed based on IP, and standardization has been progressed with continuous research.
  • Embodiments of the present disclosure provide a method and apparatus for transmitting and receiving composite content in a communication system.
  • Embodiments of the present disclosure provide a method and apparatus for transmitting and receiving composite content during network congestion in a communication system.
  • Embodiments of the present disclosure provide a method and apparatus for transmitting and receiving composite content by performing data drop in a communication system.
  • Embodiments of the present disclosure provide a method and apparatus for determining data to be dropped in a communication system.
  • Embodiments of the present disclosure provide a method and apparatus for notifying a data drop when data is dropped and transmitted in a communication system.
  • a method of transmitting data includes: determining a data piece not to be transmitted, in consideration of importance information for each data piece constituting a data unit to be transmitted; Generating an incomplete data indicator indicating that at least one data fragment of all of the constituent data fragments is not transmitted, remaining data fragments other than the data fragment determined not to be transmitted, and transmitting the incomplete data indicator It includes.
  • a method of receiving data includes receiving a data unit including at least one piece of data, and at least one piece of data among all pieces of data constituting the data unit. Receiving an incomplete data indicator indicating that the transmission was not transmitted, and decoding other pieces of data except the unsent data fragment according to the incomplete data indicator.
  • An apparatus for transmitting data in a communication system includes a control unit for determining a data fragment not to be transmitted in consideration of importance information for each data fragment constituting a data unit to be transmitted, and the data unit.
  • a data processor for generating an incomplete data indicator indicating that at least one data fragment of all of the constituent data fragments is not transmitted; remaining data fragments except the data fragment determined not to be transmitted; and transmitting the incomplete data indicator. It includes a transceiver.
  • a data unit including at least one data fragment and at least one data fragment of all the data fragments constituting the data unit are not transmitted.
  • FIG. 1 is a diagram illustrating an MMT data model according to the present disclosure
  • FIG. 2 is a diagram schematically illustrating how an MMT transmitting entity 210 and an MMT receiving entity 220 transmit and receive an MMT package according to the present disclosure
  • FIG. 3 is a diagram illustrating an ISO based media file format in which an MPU is encapsulated according to the present disclosure
  • FIG. 4 is a diagram illustrating congestion control between a transmitting entity 210 and a receiving entity 220 according to the present disclosure
  • FIG. 5 is a diagram illustrating message transmission and reception between a transmitting entity 210 and a receiving entity 220 according to the present disclosure
  • FIG. 6 is a diagram illustrating the operation of a transmitting entity 210 according to the present disclosure
  • FIG. 7 illustrates an operation of a receiving entity 220 according to the present disclosure.
  • FIG. 8 is a diagram illustrating a message flow between an MMT server, a base station, and a UE according to the present disclosure
  • FIG. 9 is a diagram illustrating a message flow between an MMT server, a base station, and a UE when a base station, which is a network entity, performs congestion control of an MPU in another embodiment according to the present disclosure
  • FIG. 10 is a diagram illustrating a configuration of a transmitting entity 210 device according to the present disclosure
  • FIG. 11 is a diagram illustrating a configuration of a receiving entity 220 device according to the present disclosure.
  • Embodiments of the present disclosure described below are separated for convenience of description, but at least two or more embodiments may be combined and performed within a range that does not conflict with each other.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • LTE Long-Term Evolution
  • LTE-A Long-Term Evolution-Advanced
  • HSDPA high speed downlink packet access
  • HSUPA high speed uplink packet access
  • 3GPP2 3rd generation project partnership 2
  • a high rate packet data (HRPD) mobile communication system, a 3GPP2 wideband code division multiple access (WCDMA) mobile communication system, and a 3GPP2 code division multiple access (Code Division Multiple Access) CDMA) mobile communication system, Institute of Electrical and Electronics Engineers (IEEE) 802.16m communication system, and evolved packet system System (EPS), Mobile Internet Protocol (Mobile IP) system and the like can be applied to various communication systems.
  • HRPD packet data
  • WCDMA wideband code division multiple access
  • CDMA Code Division Multiple Access
  • IEEE Institute of Electrical and Electronics Engineers
  • EPS evolved packet system System
  • Mobile IP Mobile Internet Protocol
  • the transmitting entity When a transmitting entity wants to transmit data to a receiving entity, for some reason, the transmitting entity may intentionally miss some of the data to be transmitted and transmit only the remaining data. In this case, the transmitting entity considers the importance of the data to be transmitted to determine the data to be missing from the total data. In addition, when data to be omitted is determined and only the remaining data except for the determined data is transmitted, information indicating that some data is missing from the entire data is transmitted to the receiving entity. In this way, even if the receiving entity finds some missing data in the entire data, the receiving entity knows that the data is intentionally missing. Therefore, the receiving entity can decode only the currently received data without waiting for reception of missing data or requesting retransmission, and thus can efficiently use the transmission / reception resource. In particular, the present disclosure can be very useful in situations where the network is congested.
  • FIG. 1 is a diagram illustrating an MMT data model according to the present disclosure.
  • an MMT flow called a package 100 is defined as a set of encoded media data and metadata related thereto.
  • Package 100 includes at least one MMT asset 110, 120, 130, at least one or " Transport Characteristic " or " Asset Delivery Characteristics " 115, 125, at least one presentation.
  • Information (PI) 140 MMT asset refers to multimedia data that can be used to generate a multimedia presentation such as video, audio, text, file, widget, and the like.
  • Each MMT asset 110, 120, 130 may be divided into at least one media processing unit (MPU).
  • MPU media processing unit
  • the MMT asset 1 110 is illustrated as being divided into a plurality of MPUs 111, 112,... 113.
  • the MPU is a unit in which the MMT stream is independently processed, that is, transmitted or decoded.
  • one MPU may be divided into a plurality of pieces, wherein the divided pieces are referred to as "MPU Fragment Unit (MFU)".
  • MFU Media Processing Unit
  • the MMT transmitting entity divides and processes media data in units of MPUs, and the MMT receiving entity receives media data in units of MPUs and performs processing for playback.
  • the transmission characteristic information or the ADCs 115 and 125 include information for providing transmission characteristics of the corresponding MMT asset for each MMT asset. That is, the ADC 115 represents the transmission characteristics of the Asset 1 110, and the ADC 125 represents the transmission characteristics of the Asset 2 120 and the Asset 3 130.
  • Presentation Information (PI) 140 includes information describing a temporal and spatial relationship between a plurality of assets 110, 120, and 130.
  • FIG. 2 is a diagram schematically illustrating how an MMT transmitting entity 210 and an MMT receiving entity 220 transmit and receive an MMT package according to the present disclosure.
  • MMT transmit entity 210 (hereinafter referred to as "transmit entity 210") 210 refers to MMT receive entity 220 (hereinafter referred to as "receive entity 220") as MMT packet flows. Transmit to 220.
  • the transmitting entity 210 may be any entity transmitting MMT media data.
  • the transmitting entity 210 may be an MMT broadcasting server.
  • the receiving entity 220 may be any entity that receives MMT media data.
  • the receiving entity 220 may be a terminal or a user equipment (UE) that is an MMT client.
  • UE user equipment
  • the MMT broadcast server may transmit MMT media data to the UE via a base station or a network entity performing a similar function.
  • a network entity that performs a function similar to the base station may be, for example, an access point (AP) of a wireless LAN system.
  • AP access point
  • the base station will be used as a concept including a base station of a cellular communication system and an AP of a wireless LAN communication system. However, the base station is not shown in FIG.
  • the transmitting entity 210 may collect content from the asset providers 203 and 205 based on the presentation information (PI) of the package provided by the package provider 201.
  • the package provider 201 and the asset providers 203 and 205 may be physically located together.
  • the transmitting entity 210 may transmit a package including an asset, transmission specific information, and presentation information using an MMT protocol (MMTP Protocol) (230).
  • MMTP Protocol MMT protocol
  • the transmitting entity 210 and the receiving entity 220 may transmit and receive signaling information using the MMTP (240). Signaling messages are sent and received to manage the delivery and consumption of packages.
  • the MMT protocol is an application layer transmission protocol for packetizing and transmitting an MMT package and is designed to efficiently and reliably transmit a package.
  • the MMT protocol has advanced features such as media multiplexing and network jitter calculation. These features enable efficient transmission of content consisting of media data encoded in various types.
  • the MMT protocol may operate at an upper layer of an existing network protocol, for example, UDP or IP.
  • the MMT protocol is designed to support a variety of applications.
  • FIG. 3 is a diagram illustrating an ISO-based media file format in which an MPU is encapsulated according to the present disclosure.
  • the MPU file 300 which is an ISO-based media file in which an MPU is encapsulated, includes MPU metadata 310 including information of MPU metadata, and MPU media data including at least one MFU 321, 322,... 32N) includes a mdat box 320 is included.
  • Each MFU includes an MFU payload and an MFU header (h).
  • the MPU media file 310 includes a fytp box 311, a sidx box 312, an mmpu box 313, a moov box 314, and a moof box 317.
  • the fytp box 311 includes type information of media data
  • the sidx box 312 includes index information of fragments constituting the MPU.
  • the mmpu box 313 contains an identifier of the asset to which the current MPU belongs and other information about the current MPU.
  • mmpu box 313 includes information ("is complete") indicating whether the current MPU contains all MFUs.
  • the moov box 314 contains all codec setting information for decoding and presentation of media data.
  • the moov box 314 may include at least one media track 316 and may also include an MMT hint track 317 for MFUs.
  • the MMT hint track 317 includes information necessary for converting the media file 300 including the MPU into a packetized media stream using a transmission protocol such as the MMT protocol. That is, the MMT hint track 317 includes information necessary for generating a plurality of MFUs constituting one MPU. In particular, the MMT hint track 317 includes priority information (“priority”) of other MFUs included in one MPU and information about the number of MFUs decoded by referring to the MFU (“dependency counter”). ").
  • FIG. 4 is a diagram illustrating congestion control between a transmitting entity 210 and a receiving entity 220 according to the present disclosure.
  • FIG. 4 illustrates that one MPU media data 403 of one video asset 401 is encapsulated as an ISO-based MPU file 403 at the transmitting entity 210, and the MMT file 405 uses the MMT protocol. Transmitted (409), the receiving entity 220 describes the process of receiving the MPU file. However, FIG. 4 illustrates a case where congestion occurs in a network and congestion control according to the present disclosure is performed.
  • the network congestion means, for example, a situation in which the channel capacity on the channel path from the MMT broadcast server generating the MMT package to the UE cannot support the channel capacity due to the system design. For example, assuming that the system channel capacity of the path to the base station is 100 Mbps, and that the radio channel capacity from each base station to the UE is 75 Mbps, if any base station is down, the broadcast server is not a base station currently down. Even when bypassing the base station, it may be necessary to transmit at a capacity lower than the system setting capacity in the case of a specific service such as a streaming service. In this case, the broadcast server may provide a streaming service by transmitting only MFUs except for some MFUs constituting the MPU.
  • this method can be used in the case of network congestion because there is no problem for the user to receive the entire media data service.
  • the method of providing a service in response to a network congestion situation is called congestion control.
  • the MMT protocol does not specify a specific method for congestion control, and congestion control remains an implementation issue.
  • the present disclosure proposes a method for performing congestion control when traffic is congested in the MMT protocol.
  • reference numeral 401 denotes one video asset.
  • one package includes at least one asset such as an audio asset, a video asset, a widget asset, and the like.
  • Asset 401 may be composed of at least one MPU, and reference numeral 403 denotes scenes corresponding to one MPU.
  • Reference numeral 405 denotes one MPU file corresponding to scenes of reference numeral 403.
  • MPU file 405 is exactly the same as MPU file 300 shown in FIG. As described above, the MPU file 405 includes boxes constituting MPU metadata and an mdat box including at least one MFU.
  • Reference numeral 407 denotes the order in which the MFU payloads and the MFU headers are encapsulated in the mdat box in the MPU file 405. That is, MFU headers labeled “h” at reference numeral 407 are arranged between the headers (406), and MFU payloads labeled "payload” are arranged between the MFU payloads after the MFU headers (408).
  • Reference numeral 409 denotes an order of transmission by the MMT protocol after the MPU file 403 is encapsulated as shown by reference numeral 407. That is, MPU meta data is transmitted first, and then each MFU including the MFU header and the MFU payload is sequentially transmitted.
  • the present disclosure transmits only the remaining MFUs except the at least one MFU included in the MPU file 405.
  • the second MFU 431 of the MPU file 405 is excluded. That is, even if some MFUs are excluded from one MPU, if there is no big problem in the whole service, if the network state or the state of the terminal is not good, some MFUs may not be transmitted.
  • the transmission rate can be adaptively adjusted.
  • the transmitting entity 210 determines MFUs not transmitted in consideration of importance information of a plurality of MFUs constituting one MPU.
  • the "importance information” is information indicating how important the MFU is compared with other MFUs belonging to the MPU.
  • the importance information includes at least one of "priority information” and "reference count information”.
  • the MFU is an MFU necessary for processing such as decoding of the MPU, the importance of the MFU will be set high.
  • the MFU corresponds to a random access point required for the user to randomly access the multimedia data, the importance of the MFU may be set high. In these examples, the importance may be "priority information.”
  • an MPEG video format image includes I frames, P frames, and B frames, and the P frames and B frames refer to I frames.
  • the I frame may be used as a random access point. That is, the importance of the I frame is higher than the B frame or the P frame. Therefore, the MFU corresponding to the I frame has a high importance of the MFU.
  • the importance information may be "reference count information.”
  • the transmitting entity 210 may individually determine importance of each MFU in consideration of characteristics of each MFU. For example, in the case of a video asset, importance values of MFUs corresponding to each of I frames, B frames, P frames, and control information constituting the video may be determined according to the corresponding frame or control information, respectively. Alternatively, in the present disclosure, the importance of the corresponding MFU may be determined using a message defined in the existing MMT standard.
  • the MMT hint track 317 includes “priority” information indicating priority of other MFUs of the corresponding MFU, and the number of MFUs decoded with reference to the corresponding MFU.
  • Information that is, "dependency counter” which is reference count information.
  • the importance information of the corresponding MFU may be determined using “priority” or "dependency counter” defined in the MMT standard. That is, in the present disclosure, the importance information of the MFU includes “priority information” or “reference count information” of the corresponding MFU, and the "priority information” or “reference count information” is “priority” defined in the MMT standard, respectively. Or through the "dependency counter". For example, in the case of a video asset, the corresponding frame or control information using "priority” or “dependency counter” information of MFUs corresponding to each of I frame, B frame, P frames, and control information constituting the video. Determine the importance of
  • the transmitting entity 210 may determine at least one MFU not to be transmitted, that is, drop, among MFUs belonging to the MPU in consideration of the importance information of the corresponding MFU.
  • the transmitting entity 210 transmits the MPU including only the other MFUs except the MFUs determined to drop in this way.
  • the receiving entity 220 does not receive the MFU from which the transmitting entity 210 has been dropped.
  • the receiving entity 220 determines whether the MFU that has not been received is intentionally dropped by the transmitting entity 210, or the transmitting entity. 210 has sent the corresponding MFUs but is not sure if it is lost on the network.
  • the transmitting entity 210 includes information or an indicator indicating that at least one MFU has been dropped in the MPU in order to inform that it intentionally dropped the MFU and transmitted the MPU. This information will be referred to as an "incomplete MPU indicator".
  • the incomplete MPU indicator may define and use a message of a new format that does not exist in the existing MMT standard.
  • a message of a format included in an existing MMT standard may be used as an incomplete indicator.
  • the present disclosure uses an "is complete” message.
  • mmpu box 313 in MPU metadata 310 contains “is complete” information, and "is complete” indicates whether the current MPU includes all MFUs. .
  • the transmitting entity 210 may set the value of the "is complete” message to a predetermined specific value. In this way, the transmitting entity 210 may drop the at least one MFU using the "is complete” message and inform the receiving entity 220 that the MPU has been transmitted.
  • the transmitting entity 210 considers the importance information of the MFU, that is, at least one of “priority” and “dependency counter” in the MMT hint track 317, and thus the second MFU in the MPU file 405. Suppose you decide to drop 431.
  • the MFU headers 406 and the MFU payloads 408 are sequentially arranged in the mdat box in the MPU file 405, but the MFU protocol is to transmit the corresponding MFUs. If so, the transmitting entity 210 drops the second MFU header 425 and the second MFU payload 427 and transmits the remaining MFUs (409).
  • an "incomplete MPU indicator" is set or included in the MPU metadata to inform that at least one MFU has been dropped from the corresponding MPU. That is, "is complete” is set to a specific value in the mmpu box in the MPU metadata.
  • the receiving entity 220 receives the MPU in which the second MFU is dropped and restores the MPU file 411 in which the MFU is dropped. If the receiving entity 220 detects an incomplete MPU indicator in the mmpu box in the MPU file 411, it can be seen that at least one MFU has been dropped from the MPU. That is, when the "is complete" is set to a specific value in the mmpu box in the MPU file 411, the receiving entity 220 may know that at least one MFU is dropped from the corresponding MPU.
  • FIG. 5 is a diagram illustrating message transmission and reception between a transmitting entity 210 and a receiving entity 220 according to the present disclosure.
  • the transmitting entity 210 may be an MMT server, and the receiving entity 220 is assumed to be an MMT client, for example, a UE that is a UE. However, it is common that there is a base station between the transmitting entity 210 and the receiving entity 220.
  • each process of FIG. 5 has been described in a step-by-step manner for convenience, each operation is not necessarily in order unless they contradict or conflict with each other. In addition, operations of each step may be omitted in some cases.
  • the receiving entity 220 transmits at least one of network state information and UE state information to the transmitting entity 210.
  • the receiving entity 220 may generate UE state information indicating the state of the terminal.
  • the receiving entity 220 may generate network state information by measuring a radio channel state between the receiving entity 220 and the base station.
  • the receiving entity 220 may transmit such network state information and / or UE state information to the transmitting entity 210 via the base station.
  • the network state information or the UE state information may be generated by the base station without the involvement of the receiving entity 220 and transmitted to the transmitting entity 210.
  • the network state information may include an available bit rate, a packet loss ratio, a delay, or a jitter.
  • delay and packet loss rate measured as a result of the Real Time Transport Protocol (RTCP), a real-time control packet transmission protocol, or a medium access control (MAC) layer of a wireless local area network (WLAN) or a third generation partnership project (3GPP).
  • RTCP Real Time Transport Protocol
  • MAC medium access control
  • WLAN wireless local area network
  • 3GPP third generation partnership project
  • Results measured at the RAN may be included.
  • the UE state information may include capability information of the UE or UE buffer state information.
  • the transmitting entity 210 determines whether to perform an MFU drop using the network state information and / or the UE state information received from the receiving entity 220 or the base station.
  • the base station may determine the MFU drop in consideration of network state information and / or UE state information, and the base station may instruct the transmitting entity 210 the MFU drop.
  • step 501 is not necessary and may be omitted in some cases. That is, the transmitting entity 210 does not need to determine the drop of the MFU according to the information received in step 501, and may determine the drop of the MFU by its own decision.
  • the transmitting entity 210 determines the MFU to drop in the MPU in consideration of the importance of the MFU. That is, at least one MFU to be dropped is determined in consideration of at least one of “priority” and “dependency counter” in the MMT hint track 317.
  • the transmitting entity 210 includes an incomplete MPU indicator in the MPU file in step 503, and transmits to the receiving entity 220 an MPU missing MFU including the incomplete MPU indicator. That is, "is complete” may be set to a specific value in the mmpu box in the MPU metadata.
  • FIG. 6 is a diagram illustrating the operation of the transmitting entity 210 according to the present disclosure.
  • each process of FIG. 6 has been described in a step-by-step manner for convenience, each operation is not necessarily in order unless they contradict or conflict with each other. In addition, operations of each step may be omitted in some cases.
  • the transmitting entity 210 receives network state information and / or UE state information generated by the base station or the terminal. However, step 601 may be omitted.
  • the transmitting entity 210 may determine that the network is in a congestion state in consideration of network state information and / or UE state information, and may determine to perform congestion control. Performing congestion control in the present disclosure means dropping the MFU.
  • the transmitting entity 210 may receive the congestion control execution instruction or the MFU drop instruction from the base station, or the transmitting entity 210 may determine the MFU drop in consideration of the network state.
  • the transmitting entity 210 determines the MFU to drop in the MPU in consideration of the importance of the MFU. That is, the transmitting entity 210 determines at least one MFU to drop in consideration of at least one of “priority” and “dependency counter” in the MMT hint track 317.
  • the transmitting entity 210 includes the incomplete MPU indicator in the MPU file, and generates an MPU excluding the MFU determined to drop. That is, the MPU is generated by setting "is complete" to a specific value in the mmpu box in the MPU metadata.
  • the transmitting entity 210 transmits an MPU in which at least one MFU including an incomplete MPU indicator is dropped.
  • FIG. 7 is a diagram illustrating an operation of the receiving entity 220 according to the present disclosure.
  • each process of FIG. 7 has been described in a step-by-step manner for convenience, each operation is not necessarily in order unless they contradict or conflict with each other. In addition, operations of each step may be omitted in some cases.
  • step 701 the receiving entity 220 transmits network state information and / or UE state information. However, step 701 may be omitted.
  • step 703 the receiving entity 220 receives an MPU in which at least one MFU including an incomplete MPU indicator is missing. If the receiving entity 220 detects the incomplete MPU indicator in step 705, the received entity 220 ignores the dropped MFU and decodes the MPU using only the received MFUs to generate corresponding media data.
  • the transmitting entity 210 is an MMT server
  • the receiving entity 220 is a UE
  • the MMT server transmits an MMT stream via a base station
  • FIG. 8 illustrates a message flow between an MMT server 801, a base station 803, and a UE 805 according to the present disclosure.
  • each process of FIG. 8 has been described in a step-by-step manner for convenience, each operation is not necessarily in order unless they contradict or conflict with each other. In addition, operations of each step may be omitted in some cases.
  • step 811 the UE 805 generates UE state information and transmits it to the base station 803.
  • the UE 805 may measure the network state between the UE 805 and the base station 803 and may also transmit network state information thereof.
  • step 811 may be omitted.
  • the base station 803 transmits UE state information and / or network state information received from the UE 805 to the MMT server 801. If the base station 803 receives only the UE state information from the UE 805, the base station 803 may measure the network state, generate network state information, and transmit it to the MMT server 801.
  • the MMT server 801 that has received the network state information and / or the UE 805 state information uses this information to determine whether to perform an MFU drop.
  • the base station 803 may determine the MFU drop in consideration of network state information and / or UE state information, and the base station 803 may instruct the transmitting entity 210 to drop the MFU.
  • the MMT server 801 determines the MFU to drop in the MPU in consideration of the importance of the MFU. That is, at least one MFU to be dropped is determined in consideration of at least one of "priority" and "dependency counter" in the MMT hint track 317, and an incomplete MPU indicator is included in the MPU file.
  • the MMT server 801 transmits an MPU including an incomplete MPU indicator to the base station 803 including a missing MFU. That is, "is complete” may be set to a specific value in the mmpu box in the MPU metadata.
  • the base station 803 transmits to the UE 805 an MPU missing MFU including an incomplete MPU indicator.
  • the UE 805 detects an incomplete MPU indicator from the received MPU, ignores the dropped MFU, and decodes the MPU using only the received MFUs to generate corresponding media data.
  • the transmitting entity 210 is an MMT server, and according to the present disclosure, the MMT server has been described in an MPU transmission / reception scheme according to congestion control.
  • the base station performs congestion control will be described with reference to FIG. 9.
  • the embodiment of FIG. 9 assumes that the base station receives a MPU from the MMT server and includes a function of performing congestion control like the MMT server.
  • the "base station” described below may refer to any network entity capable of receiving an MPU from an MMT server and performing congestion control to forward to the UE.
  • FIG. 9 is a diagram illustrating a message flow between an MMT server 801, a base station 803, and a UE 805 when a base station 803, which is a network entity, performs congestion control of an MPU in another embodiment according to the present disclosure. to be.
  • FIG. 9 Although the processes of FIG. 9 have been described in a step-by-step manner for convenience, the operations are not necessarily performed in order unless the operations contradict or conflict with each other. In addition, operations of each step may be omitted in some cases.
  • step 911 the UE 805 generates a UE status report and transmits it to the base station 803.
  • the UE 805 may measure the network state between the UE 805 and the base station 803 and may also transmit network state information thereof.
  • step 911 may be omitted.
  • the base station 803 may determine whether the network is in a congested state by using the UE 805 state information and / or network state information received in step 911 or network state information measured by the base station 803.
  • the MMT server 801 transmits the MPU to the base station 803.
  • the MPU transmitted by the MMT server 801 is a complete MPU with no MFU dropped. Since the base station 803 has received the MPU from the MMT server 801 in a state of knowing that the network is already congested, it is decided to drop the MFU and forward it to the UE 805 to perform congestion control on the received MPU. Can be. Accordingly, the MFU to be dropped in the MPU is determined in consideration of the importance of the MFU. That is, at least one MFU to be dropped is determined in consideration of at least one of "priority" and "dependency counter" in the MMT hint track 317, and an incomplete MPU indicator is included in the MPU file.
  • the base station 803 transmits to the UE 805 an MPU missing MFU including an incomplete MPU indicator. That is, "is complete” may be set to a specific value in the mmpu box in the MPU metadata. Thereafter, the UE 805 detects an incomplete MPU indicator from the received MPU, ignores the dropped MFU, and decodes the MPU using only the received MFUs to generate corresponding media data.
  • FIG. 10 is a diagram illustrating a configuration of a transmitting entity 210 device according to the present disclosure.
  • the transmitting entity 210 is generally an MMT server as described in FIG. 8, but may be the network entity described in FIG. 9 as another embodiment.
  • the apparatus for transmitting entity 210 includes a transceiver 1001, a controller 1003, and an MMT stream processor 1005.
  • the configuration of the transmitting entity 210 device may be implemented using a combination of at least one of hardware, firmware, and software.
  • the transceiver 1001 may be embodied in a configuration commonly referred to as a modem and an RF transceiver, and the controller 1003 may be an AP (or AP). application processor).
  • the MMT stream processor 1005 may be configured as a part of the controller, or may be configured separately.
  • the transceiver transmits and receives signals with other entities.
  • the transmitting entity 210 is an MMT server
  • the transceiver unit receives network state information and / or UE state information generated by the base station or the terminal and transmits the MPU to the base station or the terminal. If the transmitting entity 210 is a network entity such as a base station, it receives an MPU from an MMT server.
  • the controller controls the overall operation according to the present disclosure. If the controller determines that the network is in a congestion state in consideration of the network state information and / or the UE state information, the controller determines to drop the MFU to perform congestion control.
  • the transmitting entity 210 is an MMT server, it may receive a congestion control instruction or an MFU drop instruction from a base station, or may determine an MFU drop according to its own network state determination. If the transmitting entity 210 is a network entity, such as a base station, the base station itself will determine the MFU drop.
  • the MMT stream processor determines an MFU to drop in the MPU in consideration of the importance of the MFU. That is, the MMT stream processor determines at least one MFU to drop in consideration of at least one of “priority” and “dependency counter” in the MMT hint track 317.
  • an incomplete MPU indicator is included in the MPU file, and an MPU is generated except for the MFU determined to be dropped. That is, the MPU is generated by setting "is complete" to a specific value in the mmpu box in the MPU metadata.
  • FIG. 11 is a diagram illustrating a configuration of a receiving entity 220 device according to the present disclosure.
  • the receiving entity 220 is typically a UE device, such as a UE.
  • the receiving entity 220 device includes a transceiver 1101, a controller 1103, and an MMT stream processor 1105.
  • the configuration of the receiving entity 220 device may be implemented using a combination of at least one of hardware, firmware, and software.
  • the transceiver 1101 may be embodied in a configuration commonly referred to as a modem and an RF transceiver, and the controller 1103 may be an AP (usually an AP). application processor).
  • the MMT stream processor 1105 may be configured as a part of the controller, or may be separately configured.
  • the transceiver 1101 transmits and receives a signal with a base station. That is, the transceiver transmits network state information and / or UE state information to the base station and receives the MPU.
  • the controller 1103 controls the overall operation according to the present disclosure.
  • the controller detects an incomplete MPU indicator in the received MPU. That is, it is checked whether "is complete” is set to a specific value in the mmpu box in the MPU metadata. If an incomplete MPU indicator is detected, the MMT stream processor controls the MMT stream processor 1105 to decode the MPU with only the remaining MFUs except the dropped MFU.
  • the receiving entity 220 may know the size of the deleted or unreceived MFU from the mmpu header information. Accordingly, the receiving entity 220 fills the data in the corresponding MPU by the size of the MFU deleted or not received. This prevents problems from occurring during the decryption step. For example, an error in which the decoder stops the decoding operation may be prevented by filling the MPU with a value of "0" as much as unreceived data size.
  • the time for reconfiguring the corresponding MPU may be reduced. Since the receiving entity 220 can know in advance that the MPU it receives is incomplete, the receiving entity 220 can receive the MPU for a predetermined time and then reassemble the incomplete MPU to transfer it to the decoding step.
  • the MMT stream processing unit 1105 generates media data by restoring the MPU using the remaining MFUs except for the dropped MFU under the control of the control unit 1103.
  • a computer readable recording medium is any data storage device capable of storing data that can be read by a computer system. Examples of the computer readable recording medium include read-only memory (ROM), random-access memory (RAM), CD-ROMs, magnetic tapes, Floppy disks, optical data storage devices, and carrier waves.
  • the computer readable recording medium can also be distributed through network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, code, and code segments for achieving the present disclosure may be readily interpreted by those skilled in the art to which the present disclosure applies.
  • any such software may be, for example, volatile or nonvolatile storage, such as a storage device such as a ROM, whether or not removable or rewritable, or a memory such as, for example, a RAM, a memory chip, a device or an integrated circuit. Or, for example, CD or DVD, magnetic disk or magnetic tape and the like can be stored in a storage medium that is optically or magnetically recordable and simultaneously readable by a machine (eg computer).
  • a machine eg computer
  • the method according to an embodiment of the present disclosure may be implemented by a computer or a portable terminal including a control unit and a memory, the memory suitable for storing a program or programs including instructions for implementing the embodiments of the present disclosure. It will be appreciated that this is an example of a machine-readable storage medium.
  • the present disclosure includes a program comprising code for implementing the apparatus or method described in any claim herein and a machine-readable storage medium storing such a program.
  • a program may be transferred electronically through any medium, such as a communication signal transmitted over a wired or wireless connection, and the present disclosure suitably includes equivalents thereof.
  • the apparatus may receive and store the program from a program providing apparatus connected by wire or wirelessly.
  • the program providing apparatus includes a memory for storing a program including instructions for causing the program processing apparatus to perform a preset content protection method, information necessary for the content protection method, and wired or wireless communication with the graphic processing apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)

Abstract

본 개시의 일 실시예가 제공하는 통신 시스템에서 데이터를 송신하는 방법은, 송신할 데이터 유닛을 구성하는 데이터 조각들 별 중요도 정보를 고려하여, 송신하지 않을 데이터 조각을 결정하는 과정과, 상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않음을 지시하는 불완전 데이터 지시자를 생성하는 과정과, 상기 송신하지 않기로 결정된 데이터 조각을 제외한 나머지 데이터 조각과, 상기 불완전 데이터 지시자를 송신하는 과정을 포함한다.

Description

통신 시스템에서 데이터 송수신 장치 및 방법
본 개시는 멀티 미디어 송수신을 위한 통신 시스템에서 네트워크 혼잡 제어를 이용하여 데이터를 송수신하는 방법 및 장치에 관한 것이다.
종래 방송 네트워크에서는 멀티미디어 콘텐츠의 송신을 위해서 MPEG-2 TS(Moving Picture Experts Group-2 Transport Stream)를 사용하는 것이 일반적이었다. MPEG-2 TS는 오류가 있는 송신 환경에서 복수의 방송 프로그램(부호화된 다수의 비디오 비트 열)이 다중화된 비트 열을 송신하기 위한 대표적인 송신 기술로 사용되고 있다. 일 예로 MPEG-2 TS는 멀티미디어 시대의 디지털 TV 방송 등에서의 사용이 적합하다. 하지만, MPEG-2 TS는 멀티미디어 서비스를 지원함에 있어 몇 가지의 한계점을 가진다. 즉, 상기 MPEG-2 TS는 단방향 통신, 고정된 프레임 크기로 인한 송신의 비효율성, 오디오/비디오에 특화되어 있는 송신 프로토콜 및 인터넷 프로토콜 (IP: Internet Protocol)을 사용하여 송신할 시에 불필요한 오버헤드 발생 등이 한계점이라 할 수 있다. 따라서 MPEG에서는 MPEG 기술을 기반으로 멀티미디어 서비스를 지원하기 위한 멀티미디어 송신 기술 중 하나로 MMT(MPEG MEDIA Transport) 표준을 새로이 제안하였다. 특히 상기 MMT 표준은 MPEG-2TS의 한계점을 극복하기 위해 제안되었다.
예컨대 MMT 표준은 이종 네트워크를 통해 복합 콘텐츠를 효율적으로 송신하기 위해 적용될 수 있다. 여기서 상기 복합 콘텐츠는 비디오(Video)/오디오(Audio)/어플리케이션(Application)/위젯(Widget) 등에 의한 멀티미디어 요소를 가지는 콘텐츠의 집합을 의미한다. 그리고 상기 이종 네트워크는 방송 네트워크와 통신 네트워크 등이 혼재하는 네트워크를 의미한다.
뿐만 아니라 MMT 표준은 멀티미디어 서비스를 위한 송신 네트워크에서의 기본 기술이 되고 있는 IP에 보다 친화적인 송신 기술을 정의하고 있다. 즉, 상기 MMT 표준은 대표적으로 IP를 기반으로 변화하는 멀티미디어 서비스 환경에서 효율적인 MPEG 송신 기술을 제공하기 위한 것으로서, 지속적인 연구와 함께 표준화가 진행되고 있다.
본 개시의 실시예는 통신 시스템에서 복합 콘텐츠를 송수신하는 방법 및 장치를 제공한다.
본 개시의 실시예는 통신 시스템에서 네트워크 혼잡 시 복합 콘텐츠를 송수신하는 방법 및 장치를 제공한다.
본 개시의 실시예는 통신 시스템에서 데이터 드롭을 수행하여 복합 콘텐츠를 송수신하는 방법 및 장치를 제공한다.
본 개시의 실시예는 통신 시스템에서 드롭될 데이터를 결정하기 위한 방법 및 장치를 제공한다.
본 개시의 실시예는 통신 시스템에서 데이터가 드롭되어 송신될 경우 데이터 드롭을 알리기 위한 방법 및 장치를 제공한다.
본 개시의 일 실시예가 제공하는 통신 시스템에서 데이터를 송신하는 방법은, 송신할 데이터 유닛을 구성하는 데이터 조각들 별 중요도 정보를 고려하여, 송신하지 않을 데이터 조각을 결정하는 과정과, 상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않음을 지시하는 불완전 데이터 지시자를 생성하는 과정과, 상기 송신하지 않기로 결정된 데이터 조각을 제외한 나머지 데이터 조각과, 상기 불완전 데이터 지시자를 송신하는 과정을 포함한다.
본 개시의 일 실시예가 제공하는 통신 시스템에서 데이터를 수신하는 방법은, 적어도 하나의 데이터 조각을 포함하는 데이터 유닛을 수신하는 과정과, 상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않았음을 지시하는 불완전 데이터 지시자를 수신하는 과정과, 상기 불완전 데이터 지시자에 따라, 상기 송신되지 않은 데이터 조각을 제외한 다른 데이터 조각들을 복호하는 과정을 포함한다.
본 개시의 일 실시예가 제공하는 통신 시스템에서 데이터를 송신하는 장치는, 송신할 데이터 유닛을 구성하는 데이터 조각들 별 중요도 정보를 고려하여, 송신하지 않을 데이터 조각을 결정하는 제어부와, 상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않음을 지시하는 불완전 데이터 지시자를 생성하는 데이터 처리부와, 상기 송신하지 않기로 결정된 데이터 조각을 제외한 나머지 데이터 조각과, 상기 불완전 데이터 지시자를 송신하는 송수신부를 포함한다.
본 개시의 일 실시예가 제공하는 통신 시스템에서 데이터를 수신하는 장치는, 적어도 하나의 데이터 조각을 포함하는 데이터 유닛과, 상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않았음을 지시하는 불완전 데이터 지시자를 수신하는 송수신부와, 상기 불완전 데이터 지시자에 따라, 상기 송신되지 않은 데이터 조각을 제외한 다른 데이터 조각들을 복호하도록 제어하는 제어부를 포함한다.
도 1은 본 개시에 따른 MMT 데이터 모델을 설명하는 도면,
도 2는 본 개시에 따른 MMT 송신 엔터티(210)와 MMT 수신 엔터티(220)가 MMT 패키지를 송수신하는 모습을 개략적으로 설명하는 도면,
도 3은 본 개시에 따른 MPU가 인캡슐레이션되는 ISO 기반 미디어 파일 포맷을 설명하는 도면,
도 4는 본 개시에 따른 송신 엔터티(210)와 수신 엔터티(220) 간의 혼잡 제어를 설명하는 도면,
도 5는 본 개시에 따른 송신 엔터티(210)와 수신 엔터티(220) 간의 메시지 송수신을 설명하는 도면,
도 6은 본 개시에 따른 송신 엔터티(210)의 동작을 설명하는 도면,
도 7은 본 개시에 따른 수신 엔터티(220)의 동작을 설명하는 도면,
도 8은 본 개시에 따른 MMT 서버, 기지국, UE 간의 메시지 흐름을 설명하는 도면,
도 9는 본 개시에 따른 다른 실시예에서 네트워크 엔터티인 기지국이 MPU의 혼잡 제어를 수행할 경우, MMT 서버, 기지국, UE 간의 메시지 흐름을 설명하는 도면,
도 10은 본 개시에 따른 송신 엔터티(210) 장치의 구성을 설명하는 도면,
도 11은 본 개시에 따른 수신 엔터티(220) 장치의 구성을 설명하는 도면.
하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 상기한 본 개시의 실시예를 구체적으로 설명하기로 한다.
이하에서 설명되는 본 개시의 실시예들은 설명의 편의를 위하여 분리된 것이지만, 상호 충돌되지 않는 범위 내에서 적어도 둘 이상의 실시예는 결합되어 수행될 수 있다.
이하에서 후술되는 용어들은 본 개시의 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시 예들을 가질 수 있는바, 특정 실시 예들을 도면들에 예시하여 상세하게 설명한다. 그러나 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다." 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 개시의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면들을 참조하여 다양한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 개시의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 개시의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 개시의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 개시에서 제안하는 장치 및 방법은 롱 텀 에볼루션(Long-Term Evolution: LTE) 이동 통신 시스템과, 롱 텀 에볼루션-어드밴스드(Long-Term Evolution-Advanced: LTE-A) 이동 통신 시스템과, 고속 하향 링크 패킷 접속(high speed downlink packet access: HSDPA) 이동 통신 시스템과, 고속 상향 링크 패킷 접속(high speed uplink packet access: HSUPA) 이동 통신 시스템과, 3세대 프로젝트 파트너쉽 2(3rd generation project partnership 2: 3GPP2)의 고속 레이트 패킷 데이터(high rate packet data: HRPD) 이동 통신 시스템과, 3GPP2의 광대역 부호 분할 다중 접속(Wideband Code Division Multiple Access: WCDMA) 이동 통신 시스템과, 3GPP2의 부호 분할 다중 접속(Code Division Multiple Access: CDMA) 이동 통신 시스템과, 국제 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers: IEEE) 802.16m 통신 시스템과, 진화된 패킷 시스템(Evolved Packet System: EPS)과, 모바일 인터넷 프로토콜(Mobile Internet Protocol: Mobile IP) 시스템 등과 같은 다양한 통신 시스템들에 적용 가능하다.
본 개시의 상세한 설명에 앞서 본 개시의 주요 개념에 대하여 간략히 설명한다.
송신 엔터티가 수신 엔터티에게 데이터를 송신하고자 할 때, 어떠한 원인에 의하여 송신 엔터티가 의도적으로 송신할 데이터의 일부를 누락하고, 나머지 데이터만을 송신하는 경우가 생길 수 있다. 이러한 경우, 송신 엔터티는 송신할 데이터들의 중요도를 고려하여 전체 데이터 중에서 누락할 데이터를 결정한다. 또한, 누락할 데이터가 결정되고, 결정된 데이터를 제외한 나머지 데이터만을 송신할 때, 전체 데이터 중 일부 데이터가 누락되었음을 알리는 정보를 수신 엔터티에 송신한다. 이렇게 하면, 수신 엔터티는 전체 데이터 중 일부 누락된 데이터를 발견한 경우에도, 송신 엔터티가 의도적으로 해당 데이터를 누락하였음을 알 수 있다. 따라서 수신 엔터티는 누락된 데이터의 수신을 대기하거나, 재송신을 요청하는 등의 동작을 수행하지 않고 현재 수신한 데이터만을 복호할 수 있어, 송수신 자원을 효율적으로 사용할 수 있다. 특히, 본 개시는 네트워크가 혼잡한 상황에서 매우 유용할 수 있다.
이하에서 본 개시의 실시예들에 대하여 상세히 설명한다. 다만, 이하의 설명은 MMT 표준 기술을 기준으로 설명될 것이다. 그러나 이는 설명의 편의를 위한 것일 뿐 본 개시가 MMT 표준 기술에 한정되어 적용되지 않음은 물론이다.
도 1은 본 개시에 따른 MMT 데이터 모델을 설명하는 도면이다.
MMT에서는 부호화된 미디어 데이터와 그에 관련된 정보인 메타 데이터들의 집합을 패키지(package)(100)라는 MMT 플로우를 정의한다.
패키지(100)는 적어도 하나의 MMT 에셋(110, 120, 130), 적어도 하나의 또는 "송신 특성(Transport Characteristic)" 또는 ADC(Asset Delivery Characteristics)"(115, 125) 정보, 적어도 하나의 프리젠테이션 정보(Presentation Information: PI)(140)를 포함한다. 참고로 MMT 에셋은 비디오, 오디오, 텍스트, 파일, 위젯 등과 같이 멀티미디어 프리젠테이션(multimedia presentation)을 생성하기 위하여 사용될 수 있는 멀티미디어 데이터를 의미한다.
각각의 MMT 에셋(110, 120, 130)은 적어도 하나의 MPU(Media Processing Unit)로 분할될 수 있다. 도 1에서 MMT 에셋 1(110)은 복수 개 MPU들(111, 112, . . . , 113)로 분할된 것으로 도시되었다. MPU는 MMT 스트림이 독립적으로 처리, 즉, 송신 또는 복호되는 단위이다. 한편, 하나의 MPU는 복수 개의 조각들로 분할될 수 있으며, 이때 분할된 조각은 "MPU 프래그먼트 유닛(MPU Fragment Unit: MFU)"라고 한다.
MMT 송신 엔터티는 MPU 단위로 미디어 데이터를 분할하고 처리하고, MMT 수신 엔터티는 MPU 단위로 미디어 데이터를 수신하여 재생을 위한 처리를 한다.
송신 특성 정보 또는 ADC(115, 125)는MMT 에셋 별로 해당 MMT 에셋의 송신 특성을 제공할 수 있는 정보를 포함한다. 즉, ADC 115는 에셋 1(110)의 송신 특성을 나타내고, ADC 125는 에셋 2(120) 및 에셋 3(130)의 송신 특성을 나타낸다.
프리젠테이션 정보(Presentation Information: PI)(140)는 복수 개의 에셋들(110, 120, 130) 간의 시간 및 공간 관계를 설명하는 정보를 포함한다.
도 2는 본 개시에 따른 MMT 송신 엔터티(210)와 MMT 수신 엔터티(220)가 MMT 패키지를 송수신하는 모습을 개략적으로 설명하는 도면이다.
MMT 송신 엔터티(210)(이하 "송신 엔터티(210)"로 약칭한다.)(210)는 패키지를 MMT 패킷 플로우들로서 MMT 수신 엔터티(220)(이하 "수신 엔터티(220)"로 약칭한다.)(220)로 송신한다. 한편, 송신 엔터티(210)는 MMT 미디어 데이터를 송신하는 임의의 엔터티가 될 수 있으며, 일 예로, MMT 방송 서버가 될 수 있다. 수신 엔터티(220)는 MMT 미디어 데이터를 수신하는 임의의 엔터티가 될 수 있으며, 일 예로, MMT 클라이언트인 단말 또는 UE(User Equipment)가 될 수 있다.
만일 송신 엔터티(210)가 MMT 방송 서버이고, 수신 엔터티(220)가 UE라면, MMT 방송 서버는 기지국 또는 유사 기능을 수행하는 네트워크 엔터티를 경유하여 MMT 미디어 데이터를 UE로 송신할 수 있다. 상기 기지국과 유사한 기능을 수행하는 네트워크 엔터티란 예를 들어, 무선 랜 시스템의 액세스 포인트(Access Point: AP)가 될 수 있다. 다만, 편의상 이하에서 "기지국"은 셀 룰러 통신 시스템의 기지국과 무선 랜 통신 시스템의 AP를 포함하는 개념으로 사용될 것이다. 다만, 도 2에서 기지국은 도시되지 않았다.
송신 엔터티(210)는 패키지 제공자(201)에 의하여 제공되는 패키지의 프리젠테이션 정보(PI)에 기초하여 에셋 제공자(203, 205)들로부터 콘텐츠를 수집할 수 있다. 여기서 패키지 제공자(201) 및 에셋 제공자(203, 205)는 물리적으로 함께 위치할 수 있다.
송신 엔터티(210)는 에셋, 송신 특정 정보, 프리젠테이션 정보를 포함하는 패키지를 MMT 프로토콜(MMT Protocol: MMTP)을 이용하여 송신할 수 있다(230). 또한, 송신 엔터티(210)와 수신 엔터티(220)는 시그널링 정보를 MMTP를 이용하여 송수신할 수 있다(240). 시그널링 메시지는 패키지의 전달 및 소비를 관리하기 위하여 송수신된다.
참고로 MMT 프로토콜에 대하여 간략히 설명한다. MMT 프로토콜은 MMT 패키지를 패킷화하여 송신하기 위한 응용 계층 송신 프로토콜이며, 패키지를 효율적이고 신뢰성 있게 송신하기 위하여 설계되었다. MMT 프로토콜은 미디어 다중화와 네트워크 지터(jitter) 계산과 같은 향상된 특징을 가지고 있다. 이 특징들은 다양한 타입으로 부호화된 미디어 데이터로 구성되는 콘텐츠를 효율적으로 송신할 수 있도록 한다. MMT 프로토콜은 MMT 프로토콜은 현존하는 네트워크 프로토콜, 예를 들면, UDP 또는 IP의 상위 계층에서 동작할 수 있다. 또한, MMT 프로토콜은 다양한 어플리케이션을 지원하도록 설계되었다.
도 3은 본 개시에 따른 MPU가 인캡슐레이션되는 ISO 기반 미디어 파일 포맷을 설명하는 도면이다.
하나의 MPU는 ISO(International Standardization Organization) 기반 미디어 파일 포맷에 따라 인캡슐레이션될 수 있다. MPU가 인캡슐레이션되는 ISO 기반 미디어 파일인 MPU 파일(300)은 MPU 메타 데이터의 정보를 포함하는 MPU 메타 데이터(310)와, MPU 미디어 데이터가 적어도 하나의 MFU(321, 322, . . . ,32N)로 분할되어 포함된 mdat 박스(320)를 포함한다. 각각의 MFU는 MFU 페이로드(payload)와 MFU 헤더(h)를 포함한다.
MPU 미디어 파일(310)은 fytp박스(311), sidx 박스(312), mmpu 박스(313), moov 박스(314), moof 박스(317)를 포함한다. fytp박스(311)는 미디어 데이터의 타입 정보를 포함하고, sidx 박스(312)는 MPU를 구성하는 프래그먼트들의 인덱스 정보를 포함한다.
mmpu 박스(313)는 현재 MPU가 속하는 에셋의 식별자 및 현재 MPU에 관한 기타 정보를 포함한다. 특히, mmpu박스(313)는 현재 MPU가 모든 MFU들을 포함하고 있는지 여부를 지시하는 정보("is complete")를 포함한다.
moov 박스(314)는 미디어 데이터의 복호 및 프리젠테이션을 위한 모든 코덱 설정 정보를 포함한다. 구체적으로, moov 박스(314)는 적어도 하나의 미디어 트랙(316)을 포함하고, 또한 MFU들을 위한 MMT 힌트 트랙(317)을 포함할 수 있다.
상기 MMT 힌트 트랙(317)은 MPU를 포함하고 있는 미디어 파일(300)을 MMT 프로토콜과 같은 송신 프로토콜을 이용하여 패킷화된 미디어 스트림으로 변환하기 위하여 필요한 정보를 포함한다. 즉, MMT 힌트 트랙(317)은 하나의 MPU를 구성하는 복수 개의 MFU를 생성하기 위해 필요한 정보를 포함한다. 특히, MMT 힌트 트랙(317)은 해당 MFU가 하나의 MPU에 포함된 다른 MFU들에 대한 우선 순위 정보("priority")와, 해당 MFU를 참조하여 복호하는 MFU들의 개수에 대한 정보("dependency counter")를 포함한다.
도 4는 본 개시에 따른 송신 엔터티(210)와 수신 엔터티(220) 간의 혼잡 제어를 설명하는 도면이다.
도 4는 하나의 비디오 에셋(401) 중 하나의 MPU 미디어 데이터(403)가 송신 엔터티(210)에서 ISO 기반 MPU 파일(403)로서 인캡슐레이션되고, MMT 파일(405)가 MMT 프로토콜을 이용하여 송신되고(409), 수신 엔터티(220)가 MPU 파일을 수신하는 과정을 설명한다. 다만, 도 4에서는 네트워크에서 혼잡(congestion)이 발생하여, 본 개시에 따른 혼잡 제어가 수행되는 경우를 설명한다.
여기서 네트워크 혼잡이란 예를 들어, MMT 패키지를 생성하는 MMT 방송 서버로부터 UE까지의 채널 경로 상의 채널 용량이 임의의 원인으로 인하여, 시스템 설계에 의한 채널 용량을 지원하지 못하는 상황을 의미한다. 예를 들어, 기지국까지의 경로의 시스템 채널 용량이 100Mbps이고, 각 기지국으로부터 UE까지의 무선 채널 용량이 75Mbps라고 가정할 때, 임의의 기지국이 다운된 경우, 방송 서버가 현재 다운된 기지국이 아닌 다른 기지국을 우회하더라도, 스트리밍 서비스와 같은 특정 서비스의 경우에는 시스템 설정 용량보다 낮은 용량으로 송신해야 하는 경우가 생길 수 있다. 이러한 경우 방송 서버는 MPU를 구성하는 일부의 MFU를 제외한 나머지 MFU들만을 송신하여 스트리밍 서비스를 제공할 수 있다. 스트리밍 서비스의 경우 일부 미디어 데이터가 누락되더라도 사용자가 전체 미디어 데이터 서비스를 수신하는 데 문제가 없기 때문에, 네트워크 혼잡 시 이러한 방식이 사용될 수 있다. 이렇게 네트워크 혼잡 상황 시 그에 대응하여 서비스를 제공하는 방식을 혼잡 제어라고 한다.
다만, MMT 프로토콜은 혼잡 제어(congestion control)에 대한 구체적인 방식을 규정하고 있지 않으며, 혼잡 제어는 구현상의 이슈로 남겨두었다. 본 개시는 MMT 프로토콜에서 트래픽이 혼잡 상황 시, 혼잡 제어를 수행하기 위한 방안을 제안한다.
도 4를 참조하면, 참조 번호 401은 하나의 비디오 에셋을 나타낸다. 상술한 바와 같이 하나의 패키지는 오디오 에셋, 비디오 에셋, 위젯 에셋 등과 같은 적어도 하나의 에셋으로 구성된다.
에셋 401은 적어도 하나의 MPU들로 구성될 수 있고, 참조 번호 403은 하나의 MPU에 대응하는 장면들을 나타낸다. 참조 번호 405는 참조 번호 403의 장면들에 대응하는 하나의 MPU 파일을 나타낸다. MPU 파일 405는 도 3에서 도시된 MPU 파일(300)과 완전히 동일하다. 앞서 설명된 바와 같이 MPU 파일(405)은 MPU 메타 데이터들을 구성하는 박스들과 적어도 하나의 MFU를 포함하는 mdat 박스를 포함한다.
참조 번호 407은 MPU 파일(405) 내의 mdat 박스에서 MFU 페이로드들과 MFU 헤더들이 인캡슐레이션되는 순서를 나타낸다. 즉, 참조 번호 407에서 "h"로 표기된 MFU 헤더들은 헤더들끼지 배열되고(406), "payload"로 표기된 MFU 페이로드들은 MFU 헤더들 뒤에서 MFU 페이로드들끼리 배열된다(408).
참조 번호 409는 MPU 파일(403)이 참조 번호 407과 같이 인캡슐레이션된 이후, MMT 프로트콜에 의하여 송신되는 순서를 나타낸다. 즉, MPU 메타 데이터들이 먼저 송신되고, 이후, MFU 헤더와 MFU 페이로드를 포함하는 각각의 MFU들이 순차로 송신된다.
그런데 만일 네트워크 상태가 어떠한 이유로 인하여, 혼잡 상태인 경우, 본 개시에서는 MPU 파일(405)에 포함된 적어도 하나의 MFU를 제외한 나머지 MFU들만을 송신한다. 도 4에서는 MPU 파일(405)의 두 번째 MFU(431)를 제외하는 것으로 가정한다. 즉, 하나의 MPU에서 일부의 MFU를 제외하여도 전체 서비스에 큰 지장이 없을 경우, 네트워크 상태 또는 단말의 상태가 좋지 못한 경우에는 일부의 MFU를 송신하지 않도록 하여 네트워크 상태 또는 단말의 상태에 따라 데이터 송신률을 적응적으로 조절할 수 있다.
그런데 하나의 MPU를 구성하는 복수 개의 MFU들 중 어떤 MFU를 제외할지 여부는 매우 중요한 문제이다. 각각의 MFU들의 중요도는 서로 다를 수 있으므로, 어떤 MFU가 누락되는지 여부에 따라 수신 측의 복호 성능이나 서비스 품질에 영향을 줄 수 있기 때문이다.
본 개시에서 송신 엔터티(210)는 하나의 MPU를 구성하는 복수 개의 MFU들의 중요도 정보를 고려하여 송신하지 않은 MFU들을 결정한다. 여기서 "중요도 정보"란 해당 MFU가 해당 MPU에 속한 다른 MFU들과 비교하여 어느 정도의 중요한 것인지를 나타내는 정보이다. 본 개시에서 상기 중요도 정보는 "우선 순위 정보"와 "참조 개수 정보" 중 적어도 하나를 포함한다.
예를 들어, 해당 MFU가 MPU의 복호 등의 프로세싱 시 반드시 필요한 MFU라면, 해당 MFU의 중요도는 높게 설정될 것이다. 다른 예로, 해당 MFU가 사용자가 해당 멀티 미디어 데이터에 랜덤 액세스하기 위해 필요한 랜덤 액세스 포인트에 해당한다면, 해당 MFU의 중요도는 높게 설정될 것이다. 이러한 예들에서 중요도는 "우선 순위 정보"가 될 수 있다.
또 다른 예로, 해당 MFU를 참조하여 복호되는 다른 MFU들의 개수가 많을수록 해당 MFU의 중요도는 높을 것이다. 비디오 영상을 예로 들면, MPEG 비디오 포맷 영상은 I프레임, P프레임, B 프레임으로 구성되는데 P 프레임과 B 프레임은 I 프레임을 참조한다. 또한, I프레임은 랜덤 액세스 포인트로 사용될 수 있다. 즉, I 프레임의 중요도가 B 프레임 또는 P 프레임보다 높다. 따라서 I 프레임에 해당하는 MFU의 경우 해당 MFU의 중요도가 높다. 이러한 예에서 중요도 정보는 "참조 개수 정보"가 될 수 있다.
본 개시에서 송신 엔터티(210)가 MFU 별 중요도를 해당 MFU 별 특성을 고려하여 개별적으로 결정할 수 있다. 예를 들어, 비디오 에셋의 경우에, 비디오를 구성하는 I프레임, B프레임, P 프레임들과 제어 정보들 각각에 대응하는 MFU들의 중요도 값을 해당 프레임 또는 제어 정보에 따라 각각 결정할 수 있다. 다른 방안으로, 본 개시에서는 기존의 MMT 규격에 정의된 메시지를 이용하여 해당 MFU의 중요도가 결정될 수 있다.
MMT 규격에 정의된 메시지를 이용하는 예는 다음과 같다.
앞서 도 3에서 설명된 바와 같이 MMT 힌트 트랙(317)은 해당 MFU의 다른 MFU들에 대한 우선 순위를 지시하는 "우선 순위(priority)" 정보와, 해당 MFU를 참조하여 복호하는 MFU들의 개수에 대한 정보, 즉, 참조 개수 정보인 "dependency counter"를 포함한다. 본 개시에서는 MMT 규격에서 정의된 "priority" 또는 "dependency counter"를 이용하여 해당 MFU의 중요도 정보를 결정할 수 있다. 즉, 본 개시에서 MFU의 중요도 정보는 해당 MFU의 "우선 순위 정보" 또는 "참조 개수 정보"를 포함하고, 상기 "우선 순위 정보" 또는 "참조 개수 정보"는 각각 MMT 규격에서 정의된 "priority" 또는 "dependency counter"를 통하여 알 수 있다. 예를 들어, 비디오 에셋의 경우에, 비디오를 구성하는 I프레임, B프레임, P 프레임들과 제어 정보들 각각에 대응하는 MFU들의 "priority" 또는 "dependency counter" 정보를 이용하여 해당 프레임 또는 제어 정보의 중요도를 결정할 수 있다.
이처럼 송신 엔터티(210)는 해당 MFU의 중요도 정보를 고려하여 MPU에 속하는 MFU들 중 송신하지 않을, 즉, 드롭(drop)할 적어도 하나의 MFU를 결정할 수 있다. 송신 엔터티(210)는 이렇게 드롭하기로 결정된 MFU들을 제외한 다른 MFU들만을 포함하여 MPU를 송신한다. 이때, 수신 엔터티(220)는 송신 엔터티(210)가 드롭된 MFU를 수신하지 못하게 되는데, 수신 엔터티(220)는 수신하지 못한 MFU가 송신 엔터티(210)에 의하여 의도적으로 드롭된 것인지, 아니면 송신 엔터티(210)가 해당 MFU들을 송신하였지만 네트워크 상에서 유실된 것인지 알 수 없다.
본 개시에서 송신 엔터티(210)는 자신이 의도적으로 MFU를 드롭하고 MPU를 송신하였음을 알리기 위하여, MPU 내에 적어도 하나의 MFU가 드롭되었음을 알리는 정보 또는 지시자를 포함한다. 이러한 정보를 "불완전 MPU 지시자"로 칭할 것이다.
본 개시에서는 기존의 MMT 규격에 없는 새로운 포맷의 메시지를 상기 불완전 MPU 지시자는 정의하여 사용할 수 있다. 또한, 본 개시에서는 기존의 MMT 규격에 포함된 포맷의 메시지를 불완전 지시자로 활용할 수도 있다.
기존의 MMT 규격의 메시지를 이용하는 예로서, 본 개시는 "is complete" 메시지를 이용한다. 앞서 도 3에서 설명된 바와 같이, MPU 메타 데이터(310) 내의 mmpu박스(313)는 "is complete" 정보를 포함하고, 상기 "is complete"는 현재 MPU가 모든 MFU들을 포함하고 있는지 여부를 지시한다. 본 개시에서 송신 엔터티(210)가 적어도 하나의 MFU를 드롭하고 MPU를 송신하고자 할 경우, 송신 엔터티(210)는 "is complete" 메시지의 값을 미리 결정된 특정 값으로 설정할 수 있다. 이렇게 송신 엔터티(210)는 "is complete" 메시지를 이용하여 적어도 하나의 MFU를 드롭하고 MPU를 송신하였음을 수신 엔터티(220)에게 알릴 수 있다.
다시 도 4를 참조하면, 송신 엔터티(210)가 MFU의 중요도 정보, 즉, MMT 힌트 트랙(317) 내의 "priority"와 "dependency counter" 중 적어도 하나를 고려하여 MPU 파일(405)에서 두 번째 MFU(431)를 드롭하기로 결정하였다고 가정한다.
참조 번호 407에 도시된 바와 같이, MPU 파일(405) 내의 mdat 박스에서 MFU 헤더들(406)과 MFU 페이로드들(408)이 순차로 배열되어 있으나, MMT 프로토콜을 이용하여 해당 MFU들을 송신하고자 할 경우, 송신 엔터티(210)는 두 번째 MFU 헤더(425) 및 두 번째 MFU 페이로드(427)를 드롭하고, 나머지 MFU들을 송신한다(409). 이때 본 개시에서는 해당 MPU에서 적어도 하나의 MFU가 드롭되었음을 알리기 위하여 MPU 메타 데이터 내에 "불완전 MPU 지시자"를 설정 또는 포함시킨다. 즉, MPU 메타 데이터 내의 mmpu 박스에서 "is complete"를 특정 값으로 설정한다.
수신 엔터티(220)는 이렇게 두 번째 MFU가 드롭된 MPU를 수신하고, 해당 MFU가 드롭된 MPU 파일(411)을 복원한다. 수신 엔터티(220)가 해당 MPU 파일(411) 내의 mmpu 박스에서 불완전 MPU 지시자를 검출하면, 해당 MPU에서 적어도 하나의 MFU가 드롭되었음을 알 수 있다. 즉, 수신 엔터티(220)는 MPU 파일(411) 내의 mmpu 박스에서 "is complete"가 특정 값으로 설정된 경우, 해당 MPU에서 적어도 하나의 MFU가 드롭되었음을 알 수 있다.
도 5는 본 개시에 따른 송신 엔터티(210)와 수신 엔터티(220) 간의 메시지 송수신을 설명하는 도면이다.
송신 엔터티(210)는 MMT 서버가 될 수 있고, 수신 엔터티(220)는 MMT 클라이언트, 일 예로, UE인 UE로 가정한다. 다만, 송신 엔터티(210)와 수신 엔터티(220) 간의 기지국이 존재하는 것이 일반적이다.
도 5의 각 과정들은 편의상 단계별로 구분하여 설명하였지만, 각 동작들이 서로 모순되거나 충돌되지 않는 이상 반드시 순서대로 동작해야 하는 것은 아니다. 또한, 각 단계의 동작들이 경우에 따라 생략될 수도 있다.
501단계에서 수신 엔터티(220)는 네트워크 상태 정보 또는 UE 상태 정보 중 적어도 하나를 송신 엔터티(210)에게 송신한다. 수신 엔터티(220)는 단말의 상태를 알리는 UE 상태 정보를 생성할 수 있다. 또한, 수신 엔터티(220)는 수신 엔터티(220)와 기지국 간의 무선 채널 상태 등을 측정하여 네트워크 상태 정보를 생성할 수 있다. 수신 엔터티(220)는 이러한 네트워크 상태 정보 및/또는 UE 상태 정보를 기지국을 경유하여 송신 엔터티(210)에게 송신할 수 있다. 경우에 따라서 상기 네트워크 상태 정보 또는 UE 상태 정보는 수신 엔터티(220)의 관여 없이 기지국에서 생성하여 송신 엔터티(210)로 송신할 수도 있다.
참고로 상기 네트워크 상태 정보는 가용 비트율(available bitrate), 패킷 손실율(Packet Loss Ratio), 지연(Delay) 또는 지터(Jitter) 등을 포함할 수 있다. 일 예로 실시간 제어 패킷 송신 프로토콜인 RTCP(Real Time Transport Protocol)의 결과로 측정된 지연과 패킷 손실율, 또는, WLAN(Wireless Local Area Network)의 MAC(Medium Access Control) 계층이나 3GPP(3rd Generation Partnership Project) RAN에서 측정된 결과가 포함될 수 있다. 또한, 상기 UE 상태 정보는 UE의 능력(capability) 정보 또는 UE 버퍼 상태 정보 등을 포함할 수 있다.
송신 엔터티(210)는 수신 엔터티(220) 또는 기지국으로부터 수신한 네트워크 상태 정보 및/또는 UE 상태 정보를 이용하여 MFU 드롭을 수행할지 여부를 결정한다. 다른 실시예로, 기지국이 네트워크 상태 정보 및/또는 UE 상태 정보를 고려하여 MFU 드롭을 결정하고, 기지국이 송신 엔터티(210)에게 MFU 드롭을 지시할 수도 있다.
또 다른 실시예로, 경우에 따라서 501단계는 반드시 필요한 것은 아니며 생략될 수 있다. 즉, 송신 엔터티(210)는 501단계에서 수신되는 정보에 따라 MFU의 드롭을 결정할 필요는 없으며, 자신의 판단으로 MFU의 드롭을 결정할 수 있다.
송신 엔터티(210)가 MFU 드롭을 결정하면, 송신 엔터티(210)는 MFU의 중요도를 고려하여 MPU 내에서 드롭할 MFU를 결정한다. 즉, MMT 힌트 트랙(317) 내의 "priority"와 "dependency counter" 중 적어도 하나를 고려하여 드롭할 적어도 하나의 MFU를 결정한다.
드롭할 MFU가 결정되었으면, 송신 엔터티(210)는 503단계에서 MPU파일에 불완전 MPU 지시자를 포함시키고, 이 불완전 MPU 지시자를 포함하는, MFU가 누락된 MPU를 수신 엔터티(220)로 송신한다. 즉, MPU 메타 데이터 내의 mmpu 박스에서 "is complete"를 특정 값으로 설정할 수 있다.
도 6은 본 개시에 따른 송신 엔터티(210)의 동작을 설명하는 도면이다.
도 6의 각 과정들은 편의상 단계별로 구분하여 설명하였지만, 각 동작들이 서로 모순되거나 충돌되지 않는 이상 반드시 순서대로 동작해야 하는 것은 아니다. 또한, 각 단계의 동작들이 경우에 따라 생략될 수도 있다.
601단계에서 송신 엔터티(210)는 기지국 또는 단말에서 생성된 네트워크 상태 정보 및/또는 UE 상태 정보를 수신한다. 다만, 601단계는 생략될 수 있다. 603단계에서 송신 엔터티(210)는 네트워크 상태 정보 및/또는 UE 상태 정보를 고려하여, 네트워크 혼잡 상태라고 판단하여, 혼잡 제어를 수행할 것을 결정한 수 있다. 본 개시에서 혼잡 제어의 수행은 MFU의 드롭을 의미한다. 다만, 경우에 따라 송신 엔터티(210)는 기지국으로부터 혼잡 제어 수행 지시 또는 MFU 드롭 지시를 수신하거나, 또는 송신 엔터티(210) 자신이 네트워크 상태를 측정하고, 이를 고려하여 MFU 드롭을 결정할 수 있다.
603단계에서 MFU 드롭이 결정되었으므로, 605단계에서 송신 엔터티(210)는 MFU의 중요도를 고려하여 MPU 내에서 드롭할 MFU를 결정한다. 즉, 송신 엔터티(210)는 MMT 힌트 트랙(317) 내의 "priority"와 "dependency counter" 중 적어도 하나를 고려하여 드롭할 적어도 하나의 MFU를 결정한다.
607단계에서 송신 엔터티(210)는 불완전 MPU 지시자를 MPU 파일에 포함시키고, 드롭하기로 결정된 MFU를 제외한 MPU를 생성한다. 즉, MPU 메타 데이터 내의 mmpu 박스에서 "is complete"를 특정 값으로 설정하여 MPU를 생성한다. 609단계에서 송신 엔터티(210)는 불완전 MPU 지시자를 포함하는 적어도 하나의 MFU가 드롭된 MPU를 송신한다.
도 7은 본 개시에 따른 수신 엔터티(220)의 동작을 설명하는 도면이다.
도 7의 각 과정들은 편의상 단계별로 구분하여 설명하였지만, 각 동작들이 서로 모순되거나 충돌되지 않는 이상 반드시 순서대로 동작해야 하는 것은 아니다. 또한, 각 단계의 동작들이 경우에 따라 생략될 수도 있다.
701단계에서 수신 엔터티(220)는 네트워크 상태 정보 및/또는 UE 상태 정보를 송신한다. 다만, 701단계는 생략될 수 있다. 703단계에서 수신 엔터티(220)는 불완전 MPU 지시자가 포함된 적어도 하나의 MFU가 누락된 MPU를 수신한다. 705단계에서 수신 엔터티(220)가 불완전 MPU 지시자를 검출하면, 드롭된 MFU를 무시하고 수신된 MFU들만을 이용하여 MPU를 복호하여 해당 미디어 데이터를 생성한다.
이하에서는 송신 엔터티(210)가 MMT 서버이고, 수신 엔터티(220)가 UE이고, MMT 서버가 기지국을 경유하여 MMT 스트림을 송신하는 경우, 본 개시에 따른 실시예를 설명한다.
도 8은 본 개시에 따른 MMT 서버(801), 기지국(803), UE(805) 간의 메시지 흐름을 설명하는 도면이다.
도 8의 각 과정들은 편의상 단계별로 구분하여 설명하였지만, 각 동작들이 서로 모순되거나 충돌되지 않는 이상 반드시 순서대로 동작해야 하는 것은 아니다. 또한, 각 단계의 동작들이 경우에 따라 생략될 수도 있다.
811단계에서 UE(805)는 UE 상태 정보를 생성하고 이를 기지국(803)으로 송신한다. 이때 UE(805)가UE(805)와 기지국(803) 간의 네트워크 상태를 측정하고 이에 대한 네트워크 상태 정보도 함께 송신할 수 있다. 다만, 811단계는 생략될 수 있다.
813단계에서 기지국(803)은 UE(805)로부터 수신한 UE 상태 정보 및/또는 네트워크 상태 정보를 MMT 서버(801)로 송신한다. 만일 기지국(803)이 UE(805)로부터 UE 상태 정보만을 수신하였다면, 기지국(803)이 네트워크 상태를 측정하고 네트워크 상태 정보를 생성하여 이를 MMT 서버(801)로 송신할 수도 있다.
네트워크 상태 정보 및/또는 UE(805) 상태 정보를 수신한 MMT 서버(801)는 이 정보를 이용하여 MFU 드롭을 수행할지 여부를 결정한다. 다른 실시예로, 기지국(803)이 네트워크 상태 정보 및/또는 UE 상태 정보를 고려하여 MFU 드롭을 결정하고, 기지국(803)이 송신 엔터티(210)에게 MFU 드롭을 지시할 수도 있다. MFU 드롭이 결정되면, MMT 서버(801)는 MFU의 중요도를 고려하여 MPU 내에서 드롭할 MFU를 결정한다. 즉, MMT 힌트 트랙(317) 내의 "priority"와 "dependency counter" 중 적어도 하나를 고려하여 드롭할 적어도 하나의 MFU를 결정하고, MPU파일에 불완전 MPU 지시자를 포함시킨다.
815단계에서 MMT 서버(801)는 불완전 MPU 지시자를 포함하는, MFU가 누락된 MPU를 기지국(803)으로 송신한다. 즉, MPU 메타 데이터 내의 mmpu 박스에서 "is complete"를 특정 값으로 설정할 수 있다. 817단계에서 기지국(803)은 불완전 MPU 지시자가 포함된, MFU가 누락된 MPU를 UE(805)로 송신한다.
이후 UE(805)는 수신된 MPU로부터 불완전 MPU 지시자를 검출하고, 드롭된 MFU를 무시하고 수신된 MFU들만을 이용하여 MPU를 복호하여 해당 미디어 데이터를 생성한다.
지금까지 송신 엔터티(210)가 MMT 서버인 경우를 가정하고, 본 개시에 따라 MMT 서버가 혼잡 제어에 따라 MPU 송수신 방식을 설명하였다. 이하에서는 기지국이 혼잡 제어를 수행하는 실시예를 도 9를 참조하여 설명한다. 다만, 도 9의 실시예에서는 기지국이 MMT 서버로부터 MPU를 수신하고, MMT 서버와 같이 혼잡 제어를 수행할 수 있는 기능을 포함함을 전제로 한다. 따라서 이하에서 설명되는 "기지국"은 MMT 서버로부터 MPU를 수신하고, 혼잡 제어를 수행하여 UE로 포워딩할 수 있는 임의의 네트워크 엔터티를 지칭할 수 있다.
도 9는 본 개시에 따른 다른 실시예에서 네트워크 엔터티인 기지국(803)이 MPU의 혼잡 제어를 수행할 경우, MMT 서버(801), 기지국(803), UE(805) 간의 메시지 흐름을 설명하는 도면이다.
도 9의 각 과정들은 편의상 단계별로 구분하여 설명하였지만, 각 동작들이 서로 모순되거나 충돌되지 않는 이상 반드시 순서대로 동작해야 하는 것은 아니다. 또한, 각 단계의 동작들이 경우에 따라 생략될 수도 있다.
911단계에서 UE(805)는 UE 상태 보고를 생성하고 이를 기지국(803)으로 송신한다. 이때 UE(805)가UE(805)와 기지국(803) 간의 네트워크 상태를 측정하고 이에 대한 네트워크 상태 정보도 함께 송신할 수 있다. 다만, 911단계는 생략될 수 있다.
한편, 기지국(803)은 911단계에서 수신한 UE(805) 상태 정보 및/또는 네트워크 상태 정보 또는 기지국(803)이 측정한 네트워크 상태 정보를 이용하여, 네트워크 혼잡 상태인지 여부를 판단할 수 있다.
913단계에서 MMT 서버(801)는 MPU를 기지국(803)으로 송신한다. 이때 MMT 서버(801)가 송신하는 MPU는 MFU가 드롭되지 않은 완전한 MPU이다. 기지국(803)은 이미 네트워크 혼잡 상태임을 알고 있는 상태에서 MMT 서버(801)로부터 MPU를 수신하였기 때문에, 수신한 MPU에 대하여 혼잡 제어를 수행하기 위하여 MFU를 드롭하여 UE(805)로 포워딩할 것을 결정할 수 있다. 그에 따라 MFU의 중요도를 고려하여 MPU 내에서 드롭할 MFU를 결정한다. 즉, MMT 힌트 트랙(317) 내의 "priority"와 "dependency counter" 중 적어도 하나를 고려하여 드롭할 적어도 하나의 MFU를 결정하고, MPU파일에 불완전 MPU 지시자를 포함시킨다.
915단계에서 기지국(803)은 불완전 MPU 지시자를 포함하는, MFU가 누락된 MPU를 UE(805)로 송신한다. 즉, MPU 메타 데이터 내의 mmpu 박스에서 "is complete"를 특정 값으로 설정할 수 있다. 이후 UE(805)는 수신된 MPU로부터 불완전 MPU 지시자를 검출하고, 드롭된 MFU를 무시하고 수신된 MFU들만을 이용하여 MPU를 복호하여 해당 미디어 데이터를 생성한다.
도 10은 본 개시에 따른 송신 엔터티(210) 장치의 구성을 설명하는 도면이다.
송신 엔터티(210)는 도 8에서 설명된 바와 같이 MMT 서버가 되는 것이 일반적이지만, 다른 실시예로서 도 9에서 설명된 네트워크 엔터티가 될 수 있다.
송신 엔터티(210) 장치는 송수신부(1001), 제어부(1003), MMT 스트림 처리부(1005)를 포함한다. 송신 엔터티(210) 장치의 구성은 하드웨어, 펌 웨어, 소프트웨어들 중 적어도 하나의 조합을 이용하여 구현될 수 있다. 송신 엔터티(210) 장치 구성의 일 예로서, 송수신부(1001)는 통상적으로 모뎀(modem) 및 RF 트랜시버(Radio Frequency Transceiver)로 불리는 구성 등으로 구현될 수 있으며, 제어부(1003)는 통상 AP(application processor)로 불리는 프로세서로 구현될 수 있다. MMT 스트림 처리부(1005)는 제어부의 일부분으로 구성될 수도 있고, 별도로 구성될 수 있다.
송수신부는 다른 엔터티들과 신호를 송수신한다. 송신 엔터티(210)가 MMT 서버일 경우, 송수신부는 기지국 또는 단말에서 생성된 네트워크 상태 정보 및/또는 UE 상태 정보를 수신하고, MPU를 기지국 또는 단말에게 송신한다. 송신 엔터티(210)가 기지국과 같은 네트워크 엔터티라면, MMT 서버로부터 MPU를 수신한다.
제어부는 본 개시에 따른 전반적인 동작을 제어한다. 제어부는 네트워크 상태 정보 및/또는 UE 상태 정보를 고려하여 네트워크 혼잡 상태라고 판단하면, 혼잡 제어 수행하기 위하여 MFU를 드롭할 것을 결정한다. 송신 엔터티(210)가 MMT 서버일 경우, 기지국으로부터 혼잡 제어 수행 지시 또는 MFU 드롭 지시를 수신하거나, 또는 자체적인 네트워크 상태 판단에 따라 MFU 드롭을 결정할 수 있다. 송신 엔터티(210)가 기지국과 같은 네트워크 엔터티일 경우, 기지국 자체적으로 MFU 드롭을 결정할 것이다.
MMT 스트림 처리부는 MFU 드롭이 결정되었으면, MFU의 중요도를 고려하여 MPU 내에서 드롭할 MFU를 결정한다. 즉, MMT 스트림 처리부는 MMT 힌트 트랙(317) 내의 "priority"와 "dependency counter" 중 적어도 하나를 고려하여 드롭할 적어도 하나의 MFU를 결정한다. 또한, 불완전 MPU 지시자를 MPU 파일에 포함시키고, 드롭하기로 결정된 MFU를 제외한 MPU를 생성한다. 즉, MPU 메타 데이터 내의 mmpu 박스에서 "is complete"를 특정 값으로 설정하여 MPU를 생성한다.
도 11은 본 개시에 따른 수신 엔터티(220) 장치의 구성을 설명하는 도면이다.
수신 엔터티(220)는 UE와 같은 UE 장치인 것이 일반적이다.
수신 엔터티(220) 장치는 송수신부(1101), 제어부(1103), MMT 스트림 처리부(1105)를 포함한다. 수신 엔터티(220) 장치의 구성은 하드웨어, 펌 웨어, 소프트웨어들 중 적어도 하나의 조합을 이용하여 구현될 수 있다. 수신 엔터티(220) 장치 구성의 일 예로서, 송수신부(1101)는 통상적으로 모뎀(modem) 및 RF 트랜시버(Radio Frequency Transceiver)로 불리는 구성 등으로 구현될 수 있으며, 제어부(1103)는 통상 AP(application processor)로 불리는 프로세서로 구현될 수 있다. MMT 스트림 처리부(1105)는 제어부의 일부분으로 구성될 수도 있고, 별도로 구성될 수 있다.
송수신부(1101)는 기지국과 신호를 송수신한다. 즉, 송수신부는 기지국으로 네트워크 상태 정보 및/또는 UE 상태 정보를 송신하고, MPU를 수신한다.
제어부(1103)는 본 개시에 따른 전반적인 동작을 제어한다. 특히, 제어부는 수신한 MPU에서 불완전 MPU 지시자를 검출한다. 즉, 즉, MPU 메타 데이터 내의 mmpu 박스에서 "is complete"가 특정 값으로 설정되었는지 여부를 검사한다. 만일 불완전 MPU 지시자가 검출된 경우 MMT 스트림 처리부가 드롭된 MFU를 제외한 나머지 MFU들만으로 MPU 를 복호하도록 MMT 스트림 처리부(1105)를 제어한다.
한편, 수신 엔터티(220)는 불완전한 MPU를 수신한 경우, 삭제되거나 또는 수신되지 않은 MFU의 크기를 mmpu 헤더 정보로부터 알 수 있다. 그에 따라 수신 엔터티(220)는 삭제되거나 수신되지 않은 MFU의 크기만큼 해당 MPU에 데이터를 채운다. 이렇게 하면 복호화 단계에서 문제가 발생하는 것을 막을 수 있다. 일 예로, MPU 내에 미수신된 데이터 크기만큼을 "0" 값으로 채워서 복호기가 복호 동작을 중단하는 오류를 방지할 수 있다.
또한, mmpu에서 "is_complete" 지시자가 검출된 경우 해당 MPU를 재구성하기 위한 시간이 감소될 수 있다. 수신 엔터티(220)는 자신이 수신하는 MPU가 불완전하다는 것을 미리 알 수 있으므로, 일정 시간만큼 MPU를 수신하다가 불완전한 MPU를 재조립하여 복호화 단계로 전달할 수 있기 때문이다.
MMT 스트림 처리부(1105)는 제어부(1103)의 제어에 따라 드롭된 MFU를 제외한 나머지 MFU들을 이용하여 MPU를 복원하여 미디어 데이터를 생성한다.
지금까지 본 개시의 실시예들을 상세히 설명하였다. 본 개시의 실시예들에 의한 대표적인 구성에 따르면, 서로 다른 수신 신호에 대하여 서로 다른 수신 신호 품질의 기준값을 적용하여 해당 신호를 포워딩하기 때문에, 특히, 단말기의 송신 자원과 송신 전력을 효율적으로 사용할 수 있다.
지금까지 본 개시의 실시예들을 상세히 설명하였다. 본 개시의 실시예들에 의한 대표적인 구성에 따르면, 서로 다른 수신 신호에 대하여 서로 다른 수신 신호 품질의 기준값을 적용하여 해당 신호를 포워딩하기 때문에, 특히, 단말기의 송신 자원과 송신 전력을 효율적으로 사용할 수 있다.
지금까지 설명된 본 개시의 실시예들의 특정 측면들은 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 상기 컴퓨터 리드 가능 기록 매체의 예들은 리드 온니 메모리(Read-Only Memory: ROM)와, 랜덤-접속 메모리(Random-Access Memory: RAM)와, CD-ROM들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들을 포함할 수 있다. 상기 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 상기 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 개시를 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 개시가 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.
또한, 본 개시의 일 실시예에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 개시의 일 실시예에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 개시의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 개시는 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 개시는 이와 균등한 것을 적절하게 포함한다
또한, 본 개시의 일 실시예에 따른 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 프로그램 처리 장치가 기 설정된 콘텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 콘텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 송신하는 제어부를 포함할 수 있다.

Claims (14)

  1. 통신 시스템에서 데이터를 송신하는 방법에 있어서,
    송신할 데이터 유닛을 구성하는 데이터 조각들 별 중요도 정보를 고려하여, 송신하지 않을 데이터 조각을 결정하는 과정과,
    상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않음을 지시하는 불완전 데이터 지시자를 생성하는 과정과,
    상기 송신하지 않기로 결정된 데이터 조각을 제외한 나머지 데이터 조각과, 상기 불완전 데이터 지시자를 송신하는 과정을 포함하는 통신 시스템에서 데이터를 송신하는 방법.
  2. 제1항에 있어서,
    상기 통신 시스템은 MMT(MPEG MEDIA Transport) 포맷을 지원하고,
    상기 데이터 유닛은 상기 MMT 포맷의 MPU(Media Processing Unit)이고,
    상기 데이터 조각은 상기 MMT 포맷의 MFU(Fragment Unit)임을 특징으로 하는 통신 시스템에서 데이터를 송신하는 방법.
  3. 제2항에 있어서, 상기 중요도 정보는,
    해당 데이터의 다른 데이터들에 대한 우선 순위를 지시하는 우선 순위 정보(priority)를 포함하는 통신 시스템에서 데이터를 송신하는 방법.
  4. 제2항에 있어서, 상기 중요도 정보는,
    해당 데이터를 참조하여 복호해야 하는 데이터들의 개수를 나타내는 참조 개수 정보(dependency counter)를 포함하는 통신 시스템에서 데이터를 송신하는 방법.
  5. 제2항에 있어서, 상기 불완전 데이터 지시자는,
    상기 MPU와 관련된 데이터인 MPU 메타 데이터에 포함된 "is complete" 정보를 이용함을 특징으로 하는 통신 시스템에서 데이터를 송신하는 방법.
  6. 제1항에 있어서, 상기 송신하지 않을 데이터 조각을 결정하는 과정 이전에,
    네트워크 상태 정보와 단말 상태 정보 중 적어도 하나를 수신하는 과정과,
    상기 수신된 정보들 중 적어도 하나를 고려하여, 상기 데이터 조각들 중 적어도 하나의 데이터 조각을 송신하지 않을 것을 결정하는 과정을 더 포함하는 통신 시스템에서 데이터를 송신하는 방법.
  7. 통신 시스템에서 데이터를 수신하는 방법에 있어서,
    적어도 하나의 데이터 조각을 포함하는 데이터 유닛을 수신하는 과정과,
    상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않았음을 지시하는 불완전 데이터 지시자를 수신하는 과정과,
    상기 불완전 데이터 지시자에 따라, 상기 송신되지 않은 데이터 조각을 제외한 다른 데이터 조각들을 복호하는 과정을 포함하는 통신 시스템에서 데이터를 수신하는 방법.
  8. 제7항에 있어서,
    상기 통신 시스템은 MMT(MPEG MEDIA Transport) 포맷을 지원하고,
    상기 데이터 유닛은 상기 MMT 포맷의 MPU(Media Processing Unit)이고,
    상기 데이터 조각은 상기 MMT 포맷의 MFU(Fragment Unit)임을 특징으로 하는 통신 시스템에서 데이터를 수신하는 방법.
  9. 제8항에 있어서, 상기 불완전 데이터 지시자는,
    상기 MPU와 관련된 데이터인 MPU 메타 데이터에 포함된 "is complete" 정보가 이용됨을 특징으로 하는 통신 시스템에서 데이터를 수신하는 방법.
  10. 제7항에 있어서, 상기 데이터 유닛을 수신하는 과정 이전에,
    네트워크 상태 정보와 단말 상태 정보 중 적어도 하나를 송신하는 과정을 더 포함하는 통신 시스템에서 데이터를 수신하는 방법.
  11. 통신 시스템에서 데이터를 송신하는 장치에 있어서,
    송신할 데이터 유닛을 구성하는 데이터 조각들 별 중요도 정보를 고려하여, 송신하지 않을 데이터 조각을 결정하는 제어부와,
    상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않음을 지시하는 불완전 데이터 지시자를 생성하는 데이터 처리부와,
    상기 송신하지 않기로 결정된 데이터 조각을 제외한 나머지 데이터 조각과, 상기 불완전 데이터 지시자를 송신하는 송수신부를 포함하는 통신 시스템에서 데이터를 송신하는 장치.
  12. 제11항의 장치는, 제2항 내지 제6항 중 어느 한 항에 따라 동작하도록 적용됨을 특징으로 하는 통신 시스템에서 데이터를 송신하는 장치.
  13. 통신 시스템에서 데이터를 수신하는 장치에 있어서,
    적어도 하나의 데이터 조각을 포함하는 데이터 유닛과, 상기 데이터 유닛을 구성하는 전체 데이터 조각들 중 적어도 하나의 데이터 조각이 송신되지 않았음을 지시하는 불완전 데이터 지시자를 수신하는 송수신부와,
    상기 불완전 데이터 지시자에 따라, 상기 송신되지 않은 데이터 조각을 제외한 다른 데이터 조각들을 복호하도록 제어하는 제어부를 포함하는 통신 시스템에서 데이터를 수신하는 장치.
  14. 제13항의 장치는, 제8항 내지 제10항 중 어느 한 항에 따라 동작하도록 적용됨을 특징으로 하는 통신 시스템에서 데이터를 수신하는 장치.
PCT/KR2015/006968 2014-07-04 2015-07-06 통신 시스템에서 데이터 송수신 장치 및 방법 Ceased WO2016003254A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/323,592 US10701408B2 (en) 2014-07-04 2015-07-06 Devices and methods for transmitting/receiving data in communication system
JP2017500078A JP6732725B2 (ja) 2014-07-04 2015-07-06 通信システムにおけるデータ送受信装置及び方法
CN201580036656.1A CN106471812B (zh) 2014-07-04 2015-07-06 用于在通信系统中发送/接收数据的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0083990 2014-07-04
KR1020140083990A KR102196492B1 (ko) 2014-07-04 2014-07-04 통신 시스템에서 데이터 송수신 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2016003254A1 true WO2016003254A1 (ko) 2016-01-07

Family

ID=55019685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006968 Ceased WO2016003254A1 (ko) 2014-07-04 2015-07-06 통신 시스템에서 데이터 송수신 장치 및 방법

Country Status (5)

Country Link
US (1) US10701408B2 (ko)
JP (1) JP6732725B2 (ko)
KR (1) KR102196492B1 (ko)
CN (1) CN106471812B (ko)
WO (1) WO2016003254A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743441B1 (ko) * 2015-02-13 2017-06-05 에스케이텔레콤 주식회사 기지국 연동 노드를 통한 스트리밍 데이터 제공 방법, 이를 위한 기지국 연동 노드
KR101860647B1 (ko) * 2016-12-01 2018-05-23 한국전력공사 데이터 집중 장치 및 이의 동작 방법
US10674394B2 (en) * 2017-10-27 2020-06-02 Futurewei Technologies, Inc. Method and apparatus for reducing network latency
JP7157334B2 (ja) * 2019-02-18 2022-10-20 日本電信電話株式会社 メッセージ中継装置及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896688B1 (ko) * 2008-05-15 2009-05-14 경희대학교 산학협력단 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
KR101056021B1 (ko) * 2008-03-26 2011-08-10 주식회사 코아로직 차등적 데이터 전송 장치와 재생 장치 및 그 방법과 시스템
WO2012161556A2 (ko) * 2011-05-26 2012-11-29 삼성전자 주식회사 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
JP5335224B2 (ja) * 2007-11-27 2013-11-06 三菱電機株式会社 Ｈｄｍｉ送受信システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044079A (en) * 1997-10-03 2000-03-28 International Business Machines Corporation Statistical packet discard
JP2002077240A (ja) 2000-09-04 2002-03-15 Matsushita Electric Ind Co Ltd フロー制御方式およびそれを実行する送信端末
JP3944440B2 (ja) 2002-09-27 2007-07-11 三菱電機株式会社 動画像伝送システム、救急医療用伝送システム及び動画像伝送装置
US7808900B2 (en) * 2004-04-12 2010-10-05 Samsung Electronics Co., Ltd. Method, apparatus, and medium for providing multimedia service considering terminal capability
US8702502B2 (en) * 2005-11-10 2014-04-22 Wms Gaming Inc. Authenticating files in wagering game machines
US20070201365A1 (en) * 2006-01-23 2007-08-30 Frederick Skoog Video packet multiplexer with intelligent packet discard
US7953880B2 (en) * 2006-11-16 2011-05-31 Sharp Laboratories Of America, Inc. Content-aware adaptive packet transmission
US8259817B2 (en) * 2008-11-12 2012-09-04 Cisco Technology, Inc. Facilitating fast channel changes through promotion of pictures
US8345545B2 (en) * 2009-01-28 2013-01-01 Nec Laboratories America, Inc. Methods and systems for rate matching and rate shaping in a wireless network
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US8531961B2 (en) * 2009-06-12 2013-09-10 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
CN101656756B (zh) * 2009-09-17 2012-09-05 中国科学院声学研究所 一种发送速率自适应控制的文件传输方法及其系统
JP2011172153A (ja) 2010-02-22 2011-09-01 Mitsubishi Electric Corp メディア符号化伝送装置
EP2685742A4 (en) * 2011-04-07 2014-03-05 Huawei Tech Co Ltd METHOD, DEVICE AND SYSTEM FOR SENDING AND PROCESSING MEDIA CONTENT
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
US8914537B2 (en) * 2012-08-07 2014-12-16 Intel Mobile Communications GmbH Methods and apparatuses for rate adaptation of quality of service based application
JP6352931B2 (ja) * 2012-10-11 2018-07-04 サムスン エレクトロニクス カンパニー リミテッド ハイブリッドネットワークにおけるマルチメディアデータを送受信するための装置及びその方法
EP2987284B1 (en) * 2013-04-18 2019-09-18 Samsung Electronics Co., Ltd. Method and apparatus for controlling media delivery in multimedia transport network
US9459929B2 (en) * 2013-08-09 2016-10-04 Hong Kong Applied Science and Technology Research Institute Company Limited Configurable dynamic load shedding method in distributed stream computing system
US9788078B2 (en) * 2014-03-25 2017-10-10 Samsung Electronics Co., Ltd. Enhanced distortion signaling for MMT assets and ISOBMFF with improved MMT QoS descriptor having multiple QoE operating points

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5335224B2 (ja) * 2007-11-27 2013-11-06 三菱電機株式会社 Ｈｄｍｉ送受信システム
KR101056021B1 (ko) * 2008-03-26 2011-08-10 주식회사 코아로직 차등적 데이터 전송 장치와 재생 장치 및 그 방법과 시스템
KR100896688B1 (ko) * 2008-05-15 2009-05-14 경희대학교 산학협력단 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
WO2012161556A2 (ko) * 2011-05-26 2012-11-29 삼성전자 주식회사 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NATIONAL IT INDUSTRY PROMOTION AGENCY: "Trends on MPEG Media Transmission Technology", 30 April 2014 (2014-04-30), Retrieved from the Internet <URL:http://www.itfind.or.kr/itfind/periodical/viewPublication.htm?page=1&pageSize=10&sortOrder=desc&sort=issued&total=0&searClassCode=B_ITA_01&identifier=02-001-140429-000022&classCode=B_ITA_01_01> *

Also Published As

Publication number Publication date
JP6732725B2 (ja) 2020-07-29
KR20160004856A (ko) 2016-01-13
JP2017528024A (ja) 2017-09-21
KR102196492B1 (ko) 2020-12-30
US10701408B2 (en) 2020-06-30
CN106471812B (zh) 2019-11-19
US20170155930A1 (en) 2017-06-01
CN106471812A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
US11805163B2 (en) Apparatuses, methods, computer programs, and computer program products for live uplink adaptive streaming
US8898247B2 (en) Network cache architecture storing pointer information in payload data segments of packets
US10187311B2 (en) Selectively transferring high-priority non-audio data over a quality of service channel
WO2015012645A1 (en) Method and apparatus for packet transmission supporting downloading and streaming
US20120099428A1 (en) Quality of service management in a fixed wireless customer premises network
WO2011068355A2 (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
WO2016003254A1 (ko) 통신 시스템에서 데이터 송수신 장치 및 방법
WO2012099417A2 (ko) 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
CA3002643A1 (en) Transmitting apparatus, receiving apparatus, and data processing method
WO2014058266A1 (en) Apparatus and method for transmitting/receiving multimedia data delivery characteristics information in multimedia communication system
WO2017052334A1 (ko) 다수의 무선 접속 인터페이스를 지원하는 이동 통신 시스템에서 스트리밍 서비스 데이터를 수신하는 장치 및 방법
WO2016043432A1 (ko) 멀티미디어의 전송 또는 수신 방법 및 그 장치
US10148797B2 (en) Method and device for receiving media packets in multimedia system
EP3343979B1 (en) Apparatus and method for providing data service using heterogeneous network
WO2016129964A1 (ko) 네트워크 적응형 컨텐츠 제공을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 네트워크 적응형 컨텐츠 제공 장치
KR102753373B1 (ko) 멀티미디어 서비스의 컨텐트 관련 정보 제공 방법 및 장치
US11102263B2 (en) Method and apparatus for transmitting/receiving packet in multimedia system
KR20160000722A (ko) 통신 시스템에서 이종 네트워크를 통하여 멀티미디어 콘텐츠를 송수신하는 방법 및 장치
WO2017065521A1 (ko) 멀티미디어 데이터를 송수신하는 방법 및 장치
WO2014061925A1 (ko) 교차 계층 최적화를 사용한 fec 패리티 데이터의 적응적 전송 방법
CN119155507A (zh) 视频数据的处理方法、通信设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15814673

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15323592

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017500078

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15814673

Country of ref document: EP

Kind code of ref document: A1