KR20140128400A

KR20140128400A - Multimedia data transmission method, device and system

Info

Publication number: KR20140128400A
Application number: KR1020147024530A
Authority: KR
Inventors: 커 장; 지아쥔 천
Original assignee: 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date: 2012-02-02
Filing date: 2013-01-31
Publication date: 2014-11-05
Also published as: US9578179B2; WO2013113281A1; US20140341086A1; CN103248882A; AP2014007863A0

Abstract

본 발명은 멀티미디어 데이터를 전송하는 방법, 장치 및 시스템을 개시한다. 클라이언트가, 멀티미디어 회의실에 액세스한 후, 전송될 멀티미디어 데이터를 인코딩하고, 다지점 제어 유닛에 상기 인코딩된 멀티미디어 데이터를 전송한다. 상기 클라이언트가, 상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신한다. 상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 하나 이상의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득된다. 상기 클라이언트가, 상기 멀티미디어 데이터 패킷을 디코딩하고, 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시한다.The present invention discloses a method, apparatus and system for transmitting multimedia data. After the client accesses the multimedia conference room, it encodes the multimedia data to be transmitted and transmits the encoded multimedia data to the multi-point control unit. The client receives the multimedia data packet transmitted by the multi-point control unit. The multimedia data packet is obtained by the multi-point control unit through encapsulation of multimedia data transmitted by one or more clients in the multimedia conference room. The client decodes the multimedia data packet, decodes the multimedia data packet, synthesizes the multimedia data obtained, and displays the synthesized multimedia data.

Description

[0001] MULTIMEDIA DATA TRANSMISSION METHOD, DEVICE AND SYSTEM [0002]

본 발명은 인터넷 비디오 기술에 관한 것으로, 더욱 구체적으로는, 멀티미디어 데이터를 전송하는 방법, 장치, 및 시스템에 관한 것이다.The present invention relates to Internet video technology, and more particularly, to a method, apparatus, and system for transmitting multimedia data.

멀티미디어 데이터 전송 시스템에서는, 상이한 장소의 둘 이상의 사용자나 그룹이 음성, 비디오 및 문서 등의 멀티미디어 데이터를 전송 라인 및 멀티미디어 기기를 통해 서로에게 전송하여, 즉각적인 쌍방향 통신을 달성하고, 이에 따라 회의가 실현될 수도 있다.In a multimedia data transmission system, two or more users or groups at different locations transmit multimedia data, such as voice, video and documents, to each other through a transmission line and a multimedia device to achieve immediate two-way communication, It is possible.

도 1은 종래의 멀티미디어 데이터 전송 시스템을 나타낸 개략도이다. 도 1에 도시된 바와 같이, 시스템은 다지점 제어 유닛(Multi-point Control Unit, MCU) 및 클라이언트를 포함한다. MCU는 사설 네트워크(private network)를 사용하여 클라이언트와 통신한다. MCU는 다지점 제어기 및 다지점 미디어 프로세서를 포함한다. 다지점 제어기는 멀티미디어 회의 서버(multimedia conference server)일 수 있다. 멀티미디어 회의 서버는 사용자에게 복수의 가상 멀티미디어 회의실을 제공할 수 있다. 사용자는 클라이언트를 통해 멀티미디어 회의실을 선택하거나 생성할 수 있다. 멀티미디어 회의실에 액세스한 후, 사용자는 그 멀티미디어 회의실에 액세스하는 다른 사용자와 멀티미디어 데이터를 사용하여 상호작용할 수 있다. 1 is a schematic diagram illustrating a conventional multimedia data transmission system. As shown in Fig. 1, the system includes a Multi-point Control Unit (MCU) and a client. The MCU communicates with the client using a private network. The MCU includes a multi-point controller and a multi-point media processor. The multi-point controller may be a multimedia conference server. The multimedia conference server can provide a plurality of virtual multimedia conference rooms to the user. The user can select or create the multimedia conference room through the client. After accessing the multimedia conference room, the user may interact with other users accessing the multimedia conference room using multimedia data.

멀티미디어 데이터 전송 시스템은 주로 시그널링 전송(singling transmission), 서버 시스템 간의 시그널링 제어 및 멀티미디어 데이터 전송에 관여한다. 시그널링 전송은 다지점 제어기와 클라이언트 간의 상호작용에 사용된다. 서버 시스템 간의 제어 시그널링은 다지점 제어기와 다지점 미디어 프로세서 사이의 상호작용에 사용된다. 멀디미디어 데이터 전송은 다지점 미디어 프로세서와 클라이언트 사이의 상호작용에 사용된다. 사용자가 멀티미디어 데이터 전송 시스템에 액세스하기를 원할 때, 사용자는 클라이언트와 다지점 제어기 사이의 시그널링 상호작용을 통해 클라이언트를 경유하여 다지점 제어기와 상호작용하고, 다지점 제어기는, 다지점 제어기와 다지점 미디어 프로세서 간의 시그널링 제어를 통해 다지점 미디어 프로세서와 상호작용하고, 다지점 제어기와 다지점 미디어 프로세서 간의 상호작용의 결과에 따라, 사용자는 멀티미디어 데이터 전송 시스템의 멀티미디어 회의실에 액세스된다.Multimedia data transmission systems are mainly involved in signaling transmission, signaling control between server systems, and multimedia data transmission. The signaling transmission is used for interaction between the multi-point controller and the client. Control signaling between server systems is used for interaction between the multipoint controller and the multipoint media processor. Multimedia media data transmission is used for interaction between a multipoint media processor and a client. When a user desires to access the multimedia data transmission system, the user interacts with the multi-point controller via the client through a signaling interaction between the client and the multi-point controller, and the multi-point controller includes a multi- The media processor interacts with the multi-point media processor through signaling control between the media processors, and the user accesses the multimedia conference room of the multimedia data transmission system, as a result of the interaction between the multi-point controller and the multi-point media processor.

도 2는 도 1에 기초한 멀티미디어 데이터를 전송하는 종래의 방법을 나타낸 개략 흐름도이다. 도 2에 도시된 바와 같이, 상기 방법은 다음과 같은 처리를 포함한다.2 is a schematic flow diagram illustrating a conventional method of transmitting multimedia data based on FIG. As shown in FIG. 2, the method includes the following processing.

201에서, 클라이언트는 다지점 제어기에 멀티미디어 호 시그널링(multimedia call signaling)을 송신하여 호 연결(call connection)을 확립한다. At 201, the client sends a multimedia call signaling to the multi-point controller to establish a call connection.

클라이언트는 로그인 모드 또는 등록 모드로 멀티미디어 데이터 전송 시스템에 액세스할 수 있다. 로그인 모드가 선택되면, 멀티미디어 호 시그널링은 사용자 번호, 사용자 암호 및 멀티미디어 회의실 식별정보(identification) 등과 같은 정보를 포함한다. 등록 모드가 선택되면, 멀티미디어 호 시그널링 정보는 포함되지 않을 수 있다The client can access the multimedia data transmission system in a login mode or a registration mode. When the login mode is selected, the multimedia call signaling includes information such as a user number, a user password, and multimedia conference room identification information. If the registration mode is selected, the multimedia call signaling information may not be included

멀티미디어 회의실은 오디오 회의실, 비디오 회의실 또는 데이터 회의실일 수 있다. The multimedia conference room may be an audio conference room, a video conference room, or a data conference room.

멀티미디어 호 시그널링을 사용함으로써, 클라이언트와 다지점 제어기는, 호 확립(call establishment), 호 처리, 호 경고(call warning), 호 연결 및 호 해제(call release) 등의 처리를 수행할 수 있다.By using the multimedia call signaling, the client and the multi-point controller can perform processing such as call establishment, call processing, call warning, call connection and call release.

202에서, 다지점 제어기 및 다지점 미디어 프로세서는 서버 시스템 간의 시그널링 제어를 통해 클라이언트와 멀티미디어 회의실 사이에 액세스 채널을 확립한다. At 202, the multi-point controller and the multi-point media processor establish an access channel between the client and the multimedia conference room through signaling control between the server systems.

로그인 모드가 선택되면, 다지점 제어기는 사용자에 대한 인증을 수행한다. 사용자가 인증을 통과한 후, 다지점 제어기는 서버 시스템 간의 시그널링 제어를 통해 다지점 미디어 프로세서와 상호작용하여, 사용자에게 전송 대역폭을 할당하고, 입력 채널 및 출력 채널을 구성하고, 다지점 미디어 프로세서로부터 멀티미디어 회의실의 식별정보에 대응하는 멀티미디어 회의실을 획득하고, 사용자와 멀티미디어 회의실 간의 액세스 채널을 확립한다. 등록 모드가 선택되면, 다지점 제어기는 다지점 미디어 프로세서로부터 멀티미디어 회의실을 획득하고, 클라이언트에게 획득된 멀티미디어 회의실을 표시하여, 사용자가 원하는 멀티미디어 회의실을 선택할 수 있도록 하거나 새로운 멀티미디어 회의실을 생성하여 등록할 수 있도록 한다. 사용자의 등록이 성공한 후에, 다지점 제어기는 사용자에게 전송 대역폭을 할당하고, 입력 채널 및 출력 채널을 구성하고, 사용자와 멀티미디어 회의실 간의 액세스 채널을 확립한다. 새로운 멀티미디어 회의실이 생성될 때, 다지점 제어기는 사용자를 위한 믹서(mixer), 예를 들어, 멀티 픽처 믹서(multi-picture mixer), 사운드 믹서(sound mixer)를 생성하고, 입력 채널 및 출력 채널을 추가한다. When the login mode is selected, the multi-point controller performs authentication for the user. After the user passes the authentication, the multi-point controller interacts with the multi-point media processor through signaling control between the server systems to allocate transmission bandwidth to the user, configure the input and output channels, Acquires a multimedia conference room corresponding to the identification information of the multimedia conference room, and establishes an access channel between the user and the multimedia conference room. When the registration mode is selected, the multi-point controller obtains the multimedia conference room from the multi-point media processor, displays the obtained multimedia conference room to the client, allows the user to select a desired multimedia conference room, or creates a new multimedia conference room . After successful registration of the user, the multi-point controller allocates the transmission bandwidth to the user, configures the input and output channels, and establishes the access channel between the user and the multimedia conference room. When a new multimedia room is created, the multi-point controller generates a mixer for the user, for example, a multi-picture mixer, a sound mixer, and provides input and output channels Add.

203에서, 다지점 제어기가 클라이언트에 멀티미디어 호 시그널링 응답을 회신한다(return). At 203, the multi-point controller returns a multimedia call signaling response to the client.

204에서, 클라이언트가 멀티미디어 회의실에 액세스하고, 멀티미디어 데이터를 인코딩하고, 다지점 미디어 프로세서에 인코딩된 멀티미디어 데이터를 송신한다. At 204, the client accesses the multimedia room, encodes the multimedia data, and transmits the encoded multimedia data to the multi-point media processor.

멀티미디어 회의실의 다른 멤버와, 비디오 데이터와 같은, 멀티미디어 데이터를 공유하기로 결정한 후에, 사용자는 클라이언트를 통해 비디오 이미지 정보를 취득하고, 비디오 이미지 정보의 인코딩 및 압축과 같은 처리를 수행하여, 처리된 비디오 이미지 정보를 다지점 미디어 프로세서에 전송한다. After deciding to share multimedia data with other members of the multimedia room, such as video data, the user may obtain video image information through the client and perform processing, such as encoding and compression of the video image information, And transmits the image information to the multi-point media processor.

다지점 미디어 프로세서와 클라이언트 사이의 멀티미디어 데이터의 전송에는 실시간 전송 프로토콜(Real-time Transport Protocol, RTP) 및 실시간 제어 프로토콜(Real-time Control Protocol, RTCP)을 사용할 수 있다.A real-time transport protocol (RTP) and a real-time control protocol (RTCP) can be used for transmission of multimedia data between a multi-point media processor and a client.

205에서, 다지점 미디어 프로세서가 각 클라이언트에 의해 송신된 멀티미디어 데이터를 수신하여, 그 멀티미디어 데이터를 디코딩하고, 각각의 디코딩된 멀티미디어 데이터를 합성한다(compose). At 205, the multipoint media processor receives the multimedia data transmitted by each client, decodes the multimedia data, and compiles each decoded multimedia data.

멀티미디어 회의실, 예를 들어, 비디오 회의실에서, 각 멤버는 실시간으로 다른 멤버의 비디오 정보를 알 필요가 있고, 다지점 미디어 프로세서는 각 클라이언트에 의해 송신된 멀티미디어 데이터를 디코딩하고, 각각의 디코딩된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터 내에 각 클라이언트의 멀티미디어 데이터를 포함한다.In a multimedia conference room, for example, a video conference room, each member needs to know the video information of the other member in real time, and the multi-point media processor decodes the multimedia data transmitted by each client and stores each decoded multimedia data And the multimedia data of each client is included in the synthesized multimedia data.

206에서, 다지점 미디어 프로세서가 합성된 멀티미디어 데이터를 인코딩한 다음, 표시를 위해 각 클라이언트에 송신한다. At 206, the multi-point media processor encodes the synthesized multimedia data and sends it to each client for display.

다지점 미디어 프로세서는 합성된 멀티미디어 데이터를 인코딩한 다음, 브로드캐스팅(broadcasting)을 통해 멀티미디어 회의실 내의 각 클라이언트에게 인코딩된 멀티미디어 데이터를 송신한다. 클라이언트는 그 인코딩된 멀티미디어 데이터를 수신하여, 압축해제 및 디코딩하고, 그 멀티미디어 데이터를 표시한다. 따라서, 사용자는 실시간으로 다른 사용자의 멀티미디어 데이터를 얻을 수 있고, 이에 따라 멀티미디어 데이터는 사용자 사이에서 공유된다. The multi-point media processor encodes the synthesized multimedia data and transmits the encoded multimedia data to each client in the multimedia conference room through broadcasting. The client receives, decompresses, and decodes the encoded multimedia data and displays the multimedia data. Thus, the user can obtain multimedia data of another user in real time, and accordingly, the multimedia data is shared among the users.

또한, 멀티미디어 데이터 전송의 신뢰성을 보장하기 위해, 다지점 미디어 프로세서는 손실 패킷의 재전송 전략을 사용하여 네트워크 패킷 손실을 줄일 수 있다. In addition, to ensure the reliability of multimedia data transmission, the multi-point media processor can reduce the network packet loss using a retransmission strategy of lost packets.

알 수 있는 바와 같이, 종래의 멀티미디어 데이터 전송 시스템에서, 다지점 미디어 프로세서는 오디오 및 비디오 데이터 스트림과 같은 수신된 멀티미디어 데이터에 대해 압축해제, 디코딩, 압축, 인코딩 등의 처리를 수행하도록 요구받는다. 많은 수의 클라이언트가 다지점 미디어 프로세서에 액세스되기 때문에, 다지점 미디어 프로세서의 데이터 처리 성능에 대한 요구가 높다. 다지점 미디어 프로세서의 데이터 처리 성능을 향상시키기 위해 고 비용이 필요하기 때문에, 멀티미디어 데이터 전송 시스템의 사용 비용이 증가한다.As can be appreciated, in conventional multimedia data transmission systems, the multi-point media processor is required to perform processing such as decompression, decoding, compression, encoding, etc. on received multimedia data such as audio and video data streams. Since a large number of clients access the multi-point media processor, there is a high demand for data processing performance of the multi-point media processor. Because of the high cost required to improve the data processing performance of a multi-point media processor, the cost of using the multimedia data transmission system increases.

본 발명의 실시예는 멀티미디어 데이터 전송 시스템의 사용 비용을 감소시키기 위한, 멀티미디어 데이터를 전송하는 방법, 장치 및 시스템을 제공한다.Embodiments of the present invention provide a method, apparatus, and system for transmitting multimedia data to reduce usage costs of the multimedia data transmission system.

멀티미디어 데이터를 전송하는 방법은, A method for transmitting multimedia data includes:

클라이언트가, 멀티미디어 회의실에 액세스한 후, 전송될 멀티미디어 데이터를 인코딩하고, 다지점 제어 유닛에 상기 인코딩된 멀티미디어 데이터를 전송하는 단계;After the client accesses the multimedia conference room, encodes the multimedia data to be transmitted and transmits the encoded multimedia data to the multi-point control unit;

상기 클라이언트가, 상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하는 단계; 및 Receiving, by the client, a multimedia data packet transmitted by the multi-point control unit; And

상기 클라이언트가, 상기 멀티미디어 데이터 패킷을 디코딩하고, 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시하는 단계를 포함하고,Wherein the client decodes the multimedia data packet, synthesizes the multimedia data obtained after decoding the multimedia data packet, and displays the synthesized multimedia data,

상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 적어도 하나의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득된다.The multimedia data packet is obtained by encapsulating the multimedia data transmitted by the at least one client in the multimedia conference room by the multi-point control unit.

멀티미디어 데이터를 전송하는 장치는, An apparatus for transmitting multimedia data includes:

다지점 제어 유닛과 상호작용하여 멀티미디어 회의실에 액세스하는 액세스 인증 모듈;An access authentication module for interacting with the multi-point control unit to access the multimedia conference room;

전송될 멀티미디어 데이터를 인코딩하여 인코딩된 멀티미디어 데이터를 출력하는 인코딩 모듈;An encoding module for encoding the multimedia data to be transmitted and outputting the encoded multimedia data;

상기 인코딩된 멀티미디어 데이터를 송신하는 멀티미디어 데이터 송신 모듈;A multimedia data transmission module for transmitting the encoded multimedia data;

상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하여 상기 멀티미디어 데이터 패킷을 출력하는 멀티미디어 데이터 패킷 수신 모듈; A multimedia data packet receiving module for receiving the multimedia data packet transmitted by the multi-point control unit and outputting the multimedia data packet;

상기 멀티미디어 데이터 패킷을 디코딩하여 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터 패킷을 출력하는 디코딩 모듈; 및A decoding module decoding the multimedia data packet to decode the multimedia data packet and outputting the obtained multimedia data packet; And

상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는 합성 모듈을 포함하고,And a synthesis module for synthesizing the multimedia data obtained after decoding the multimedia data packet and displaying the synthesized multimedia data,

상기 멀티미디어 데이터 패킷은, 상기 다지점 제어 유닛에 의해, 상기 멀티미디어 회의실 내의 하나 이상의 클라이언트에 의해 송신된 멀티미디어 데이터의 캡슐화를 통해 획득된다.The multimedia data packet is obtained by the multi-point control unit through encapsulation of multimedia data transmitted by one or more clients in the multimedia conference room.

하나의 멀티미디어 회의실 내의 클라이언트에 의해 송신된 멀티미디어 데이터를 수신하고 상기 멀티미디어 데이터를 출력하는 멀티미디어 데이터 수신 모듈;A multimedia data receiving module for receiving multimedia data transmitted by a client in one multimedia conference room and outputting the multimedia data;

상기 멀티미디어 데이터 수신 모듈에 의해 출력된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고 상기 멀티미디어 데이터 패킷을 출력하는 멀티미디어 데이터 패킷 캡슐화 모듈; 및A multimedia data packet encapsulation module encapsulating the multimedia data output by the multimedia data reception module into a multimedia data packet and outputting the multimedia data packet; And

상기 멀티미디어 데이터 패킷 캡슐화 모듈에 의해 출력된 멀티미디어 데이터 패킷을 상기 클라이언트에 송신하는 멀티미디어 데이터 패킷 송신 모듈을 포함한다.And a multimedia data packet transmission module for transmitting the multimedia data packet output by the multimedia data packet encapsulation module to the client.

멀티미디어 데이터를 전송하는 시스템은, 클라이언트 및 다지점 제어 유닛을 포함하고,A system for transmitting multimedia data includes a client and a multi-point control unit,

상기 클라이언트는, 상기 다지점 제어 유닛과 상호작용하여 멀티미디어 회의실에 액세스하고; 전송될 멀티미디어 데이터를 인코딩하여 인코딩된 멀티미디어 데이터를 상기 다지점 제어 유닛에 출력하고; 상기 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하고, 상기 멀티미디어 데이터 패킷을 디코딩하고, 상기 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는, 것이고;The client interacting with the multi-point control unit to access the multimedia conference room; Encoding the multimedia data to be transmitted and outputting the encoded multimedia data to the multi-point control unit; The multimedia data packet transmitted by the multi-point control unit, decoding the multimedia data packet, synthesizing the multimedia data obtained after decoding the multimedia data packet, and displaying the synthesized multimedia data;

상기 다지점 제어 유닛은, 상기 클라이언트와 상호작용하여 상기 클라이언트를 상기 멀티미디어 회의실에 액세스하게 하고; 상기 멀티미디어 회의실 내의 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고; 상기 멀티미디어 회의실 내의 클라이언트에 상기 멀티미디어 데이터 패킷을 송신하는, 것이다.Said multi-point control unit interacting with said client to allow said client to access said multimedia room; Encapsulating the multimedia data transmitted by the client in the multimedia conference room into a multimedia data packet; And transmits the multimedia data packet to a client in the multimedia conference room.

알 수 있는 바와 같이, 본 발명의 실시예에 따른 멀티미디어 데이터를 전송하는 방법, 장치 및 시스템에서는, 전송될 멀티미디어 데이터를 인코딩하여 다지점 제어 유닛에 송신하고, 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신한다. 각 클라이언트에 의해 송신되는, 수신된 멀티미디어 데이터를 다지점 제어 유닛에 의해 캡슐화함으로써 멀티미디어 데이터 패킷을 획득한다. 멀티미디어 데이터 패킷을 디코딩하고, 멀티미디어 데이터 패킷을 디코딩한 후에 획득된 멀티미디어 데이터를 합성하여 표시한다. 다지점 제어 유닛은 오직 각 클라이언트에 의해 송신되는, 수신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고, 그 멀티미디어 데이터 패킷을 송신하므로, 데이터 처리 능력에 대한 요구가 낮고, 대량의 계산을 수행할 필요가 없으며, 저비용이므로, 멀티미디어 데이터 전송 시스템의 사용 비용을 절감한다. 또한, 멀티미디어 데이터를 송신, 수신, 합성 및 표시하는 전 과정에서, 인코딩, 압축, 압축해제 및 디코딩의 처리가 한 번만 필요하므로, 시스템의 데이터 처리 능력에 대한 요구를 감소시켜 시스템 자원을 절약한다.As can be seen, in the method, apparatus and system for transmitting multimedia data according to the embodiment of the present invention, the multimedia data to be transmitted is encoded and transmitted to the multi-point control unit, and multimedia data And receives the packet. And acquires the multimedia data packet by encapsulating the received multimedia data transmitted by each client by the multi-point control unit. Decodes the multimedia data packet, and decodes the multimedia data packet to synthesize and display the obtained multimedia data. The multi-point control unit encapsulates the received multimedia data, which is transmitted only by each client, into a multimedia data packet, and transmits the multimedia data packet, so that the need for data processing capability is low and it is necessary to perform a large amount of computation Since it is low cost, it reduces the use cost of the multimedia data transmission system. Further, in the entire process of transmitting, receiving, compositing, and displaying multimedia data, the processing of encoding, compressing, decompressing, and decoding is required only once, thereby reducing system data processing capability and saving system resources.

도 1은 종래의 멀티미디어 데이터 전송 시스템을 나타낸 개략도이다.
도 2는, 도 1에 기초한 멀티미디어 데이터를 전송하는 종래의 방법을 나타낸 개략 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 시스템을 나타낸 개략도이다.
도 4는 본 발명의 일 실시예에 따른 클라이언트를 나타낸 개략도이다.
도 5는 본 발명의 일 실시예에 따른 다지점 미디어 프로세서를 나타낸 개략도이다.
도 6은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타내는 개략 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타내는 개략 흐름도이다.1 is a schematic diagram illustrating a conventional multimedia data transmission system.
Figure 2 is a schematic flow diagram illustrating a conventional method of transmitting multimedia data based on Figure 1;
3 is a schematic diagram illustrating a system for transmitting multimedia data according to an embodiment of the present invention.
4 is a schematic diagram illustrating a client in accordance with an embodiment of the present invention.
5 is a schematic diagram illustrating a multi-point media processor in accordance with an embodiment of the present invention.
6 is a schematic flowchart illustrating a method of transmitting multimedia data according to an embodiment of the present invention.
7 is a schematic flowchart illustrating a method of transmitting multimedia data according to an exemplary embodiment of the present invention.

본 발명의 목적, 기술적 방안 및 이점을 더욱 명확하게 하기 위해, 이하에 첨부 도면과 구체적인 실시예를 참조하여 본 발명에 대해 상세하게 설명한다. BRIEF DESCRIPTION OF THE DRAWINGS For a better understanding of the objects, technical solutions and advantages of the present invention, reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings.

도 3은 본 발명의 실시예에 따른 멀티미디어 데이터를 전송하는 시스템을 나타낸 개략도이다. 도 3에 도시된 바와 같이, 시스템은 적어도 하나의 클라이언트 및 다지점 제어 유닛을 포함한다. 3 is a schematic diagram illustrating a system for transmitting multimedia data according to an embodiment of the present invention. As shown in Figure 3, the system includes at least one client and a multipoint control unit.

클라이언트는, 다지점 제어 유닛과 상호작용하여 멀티미디어 데이터 전송 시스템에 액세스하고, 멀티미디어 데이터를 인코딩하여 다지점 제어 유닛에 인코딩된 멀티미디어 데이터를 출력하는 것이다. 클라이언트는 또한, 다지점 제어 유닛으로부터 송신된 멀티미디어 데이터 패킷을 수신하고, 그 멀티미디어 데이터 패킷을 디코딩하며, 디코딩된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시하는 것이다.The client interacts with the multi-point control unit to access the multimedia data transmission system, encode the multimedia data, and output the encoded multimedia data to the multi-point control unit. The client also receives the multimedia data packet transmitted from the multi-point control unit, decodes the multimedia data packet, synthesizes the decoded multimedia data, and displays the synthesized multimedia data.

본 발명의 일 실시예에서, 클라이언트가, 다지점 제어 유닛과 양방향 인증(interactive authentication)을 통해, 멀티미디어 데이터 전송 시스템에 액세스하는 절차는, 관련 기술을 참조할 수 있으므로, 여기에 설명하지 않는다. 예를 들어, 사용자는, 액세스된 멀티미디어 데이터 전송 시스템의 멀티미디어 회의실의 각 멤버와, 비디오 데이터와 같은, 멀티미디어 데이터를 공유하기로 결정하면, 클라이언트를 통해 비디오 이미지 정보를 획득하고, 그 비디오 이미지 정보에 대해 인코딩 및 압축과 같은 처리를 수행하고, 다지점 제어 유닛에 처리된 비디오 이미지 정보를 전송한다. In an embodiment of the present invention, the procedure by which a client accesses a multimedia data transmission system via interactive authentication with a multi-point control unit may refer to related art and is not described here. For example, when a user decides to share multimedia data, such as video data, with each member of the multimedia conference room of the accessed multimedia data transmission system, it acquires the video image information through the client, Performs processing such as encoding and compression, and transmits the processed video image information to the multi-point control unit.

클라이언트는 다지점 제어 유닛에서 송신된 멀티미디어 데이터 패킷을 수신하고, 그 멀티미디어 데이터 패킷을 디코딩하여 멀티미디어 회의실 내의 클라이언트에 의해 송신되는 다중화된 멀티미디어 데이터를 획득하고, 획득된 다중화된 멀티미디어 데이터를 합성하고, 사용자에게 합성된 멀티미디어 데이터를 표시한다.The client receives the multimedia data packet transmitted from the multi-point control unit, decodes the multimedia data packet to acquire the multiplexed multimedia data transmitted by the client in the multimedia conference room, synthesizes the obtained multiplexed multimedia data, And displays the synthesized multimedia data.

본 발명의 일 실시예에서, 클라이언트에 의해 수신되는 다중화된 멀티미디어 데이터는 멀티미디어 회의실 내의 모든 클라이언트에 의해 송신된 멀티미디어 데이터를 포함할 수 있다. 이러한 경우에, 클라이언트는 직접 획득된, 다중화된 멀티미디어 데이터를 합성하여 사용자에게 합성된 멀티미디어 데이터를 표시한다. In one embodiment of the invention, the multiplexed multimedia data received by the client may include multimedia data transmitted by all clients in the multimedia conference room. In this case, the client synthesizes the directly obtained multimedia data and displays the synthesized multimedia data to the user.

본 발명의 일 실시예에서, 클라이언트에 의해 수신되는 다중화된 멀티미디어 데이터는 멀티미디어 회의실 내의 클라이언트 자신을 제외한 다른 클라이언트에 의해 송신된 멀티미디어 데이터를 포함할 수 있다, 즉, 클라이언트는 클라이언트 자신에 의해 송신된 멀티미디어 데이터를 수신하지 않는다. 이러한 경우에, 클라이언트는 먼저 멀티미디어 데이터를 로컬로 획득하고, 로컬로 획득된 멀티미디어 데이터와 수신된 멀티미디어 데이터를 합성하고, 사용자에게 합성된 멀티미디어 데이터를 표시한다. 그 결과, 다지점 제어 유닛은 클라이언트에 대응하는 멀티미디어 데이터를 송신할 필요가 없으므로, 대역폭의 낭비를 방지하고 멀티미디어 데이터 전송의 효율을 향상시킨다.In an embodiment of the present invention, the multiplexed multimedia data received by the client may include multimedia data transmitted by other clients than the client itself in the multimedia conference room, that is, the multimedia data transmitted by the client itself Data is not received. In this case, the client first obtains the multimedia data locally, synthesizes the locally acquired multimedia data with the received multimedia data, and displays the synthesized multimedia data to the user. As a result, since the multi-point control unit does not need to transmit the multimedia data corresponding to the client, it prevents the waste of the bandwidth and improves the efficiency of multimedia data transmission.

따라서, 본 발명의 실시예에 따른 클라이언트를 사용함으로써, 멀티미디어 데이터 전송 중에 클라이언트가 오직 클라이언트 자신에 의해 송신된 멀티미디어 데이터만을 디코딩하는 상황이 회피되고, 클라이언트의 데이터 처리 능력이 완전히 활용된다. 또한, 클라이언트가 클라이언트 자신의 멀티미디어 데이터를 전송하기 위해 멀티미디어 데이터 전송 시스템에 액세스한 이후이고, 클라이언트가 복수의 클라이언트에 대응하는 멀티미디어 데이터를 표시하기 이전에, 인코딩 및 디코딩의 작업이 한 번만 수행되어, 멀티미디어 데이터 전송 시스템의 데이터 처리 능력에 대한 요구를 감소시킨다.Therefore, by using the client according to the embodiment of the present invention, the situation in which the client decodes only the multimedia data transmitted by the client itself during multimedia data transmission is avoided, and the data processing capability of the client is fully utilized. In addition, after the client accesses the multimedia data transmission system to transmit the client's own multimedia data, and before the client displays the multimedia data corresponding to the plurality of clients, encoding and decoding operations are performed only once, Thereby reducing the need for data processing capabilities of the multimedia data transmission system.

다지점 제어 유닛은, 각 클라이언트와 상호작용하고, 각 클라이언트를 멀티미디어 데이터 전송 시스템에 액세스하게 하고, 동일한 멀티미디어 회의실 내의 클라이언트로부터 송신되는 수신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하고, 그 패킷을 각 클라이언트에 송신하는 것이다. The multi-point control unit interacts with each client, causes each client to access the multimedia data transmission system, encapsulates the received multimedia data transmitted from the client in the same multimedia room into a multimedia data packet, .

본 발명의 일 실시예에서, 다지점 제어 유닛은 직접 동일한 멀티미디어 회의실 내의 각 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화할 수 있고, 각 클라이언트에 멀티미디어 데이터 패킷을 송신할 수 있다. 본 발명의 실시예에서, 다지점 제어 유닛은, 멀티미디어 데이터 패킷의 목표 클라이언트에 따라, 동일한 멀티미디어 회의실 내의 그 목표 클라이언트를 제외한 다른 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화할 수 있고, 그 패킷을 목표 클라이언트에 송신하여, 전송될 멀티미디어 데이터의 양을 감소시키므로, 대역폭의 낭비를 방지하고 멀티미디어 데이터 전송의 효율을 향상시킨다.In one embodiment of the present invention, the multipoint control unit may encapsulate the multimedia data transmitted by each client directly in the same multimedia conference room into a multimedia data packet and transmit the multimedia data packet to each client. In an embodiment of the present invention, the multi-point control unit may encapsulate the multimedia data transmitted by other clients in the same multimedia room, other than its target client, into a multimedia data packet according to the target client of the multimedia data packet, Transmits the packet to the target client and reduces the amount of multimedia data to be transmitted, thereby preventing waste of bandwidth and improving the efficiency of multimedia data transmission.

본 발명의 일 실시예에서, 다지점 제어 유닛은 멀티미디어 데이터를 수신하고, 수신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화한다. 종래의 다지점 제어 유닛과 비교하면, 압축해제, 디코딩, 인코딩 및 압축의 처리가 불필요하므로, 다지점 제어 유닛의 데이터 처리 능력에 대한 요구를 감소시켜, 비용을 증가시키지 않으면서 다지점 제어 유닛의 성능을 향상시키고, 멀티미디어 데이터 전송 시스템의 이용 비용을 감소시킨다.In one embodiment of the invention, the multipoint control unit receives the multimedia data and encapsulates the received multimedia data into a multimedia data packet. Since the processing of decompression, decoding, encoding and compression is unnecessary in comparison with the conventional multi-point control unit, the demand for the data processing capability of the multi-point control unit is reduced, and the cost of the multi-point control unit Improve performance, and reduce the cost of using multimedia data transmission systems.

또한, 멀티미디어 데이터 전송 시스템에 대해 대규모 네트워킹이 이루어질 때, 본 발명의 실시예를 사용함으로써, 다지점 제어 유닛은 수신된 멀티미디어 데이터를 전달(forwarding)만 하므로, 다지점 제어 유닛의 성능에 대한 요구가 낮다. 따라서, 복수의 클라이언트의 네트워킹 및 액세스를 하나의 다지점 제어 유닛으로 실현할 수 있다. 그러나, 종래기술에서는, 단 하나의 다지점 제어 유닛의 성능의 한계로 인해, 대개 캐스케이드 구성(cascade configuration)을 형성하여 복수의 클라이언트의 네트워킹 및 액세스를 달성하기 위해서는 복수의 다지점 제어 유닛을 필요로 한다. 그러나, 기술의 복잡성으로 인해 입력 및 출력 채널이 한정되어, 전체 채널 캐스케이드(full channel cascade)를 달성하기는 매우 어렵다. 따라서, 본 발명의 실시예를 사용함으로써, 여러 클라이언트를 네트워킹하여 캐스케이드의 필요없이 멀티미디어 데이터 전송 시스템에 액세스할 수 있어, 멀티미디어 데이터 전송 시스템의 네트워킹 비용을 매우 감소시키고, 멀티미디어 데이터 전송 시스템의 사용 비용을 감소시킨다. Further, when large-scale networking is performed for the multimedia data transmission system, by using the embodiment of the present invention, the multi-point control unit only forwards the received multimedia data, so that the demand for the performance of the multi- low. Therefore, networking and access of a plurality of clients can be realized by one multi-point control unit. However, in the prior art, due to the limitation of the performance of a single multi-point control unit, it is often necessary to form a cascade configuration to achieve networking and access of a plurality of clients, do. However, due to the complexity of the technology, input and output channels are limited and it is very difficult to achieve a full channel cascade. Therefore, by using the embodiment of the present invention, it is possible to network a plurality of clients and access the multimedia data transmission system without the need of cascade, thereby greatly reducing the networking cost of the multimedia data transmission system and reducing the use cost of the multimedia data transmission system .

본 발명의 실시예에서, 다지점 제어 유닛은 다지점 제어기 및 다지점 미디어 프로세서를 포함한다. In an embodiment of the invention, the multipoint control unit comprises a multipoint controller and a multipoint media processor.

다지점 제어기는, 클라이언트와 상호작용하여 클라이언트를 멀티미디어 회의실에 액세스하게 하는 것이다. 본 발명의 실시예에서, 다지점 제어 유닛의 구성, 기능 및 클라이언트와의 상호작용은 도 1에서와 동일하므로, 여기서는 설명을 생략한다. The multi-point controller interacts with the client to allow the client to access the multimedia room. In the embodiment of the present invention, the configuration, function and interaction with the client of the multi-point control unit are the same as those in FIG. 1, and a description thereof will be omitted here.

다지점 미디어 프로세서는, 각 클라이언트에 의해 송신되어 수신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하여, 각 클라이언트에 멀티미디어 데이터 패킷을 송신하는 것이다. 본 발명의 실시예에서는, RTP 또는 RTCP를 다지점 미디어 프로세서와 클라이언트 사이의 멀티미디어 데이터 전송에 사용할 수 있다. The multi-point media processor encapsulates the multimedia data transmitted and received by each client into a multimedia data packet, and transmits the multimedia data packet to each client. In an embodiment of the present invention, RTP or RTCP may be used for multimedia data transmission between a multi-point media processor and a client.

비디오 회의 및 애플리케이션의 프로모션과 같은 멀티미디어 데이터 회의 기술의 발전과 더불어, 종래의 멀티미디어 데이터 전송 시스템은 점차 하이엔드 전용 마켓(high-end dedicated market)에서 로우엔드 마켓(low-end market)으로, 즉, 전문가용 비디오 회의에서 대중 소비로 이동되고 있다. 본 발명의 실시예에서, 클라이언트는 오직 클라이언트 자신의 멀티미디어 데이터를 송신하면 되므로, 업스트림 대역폭에 대한 요구는 낮다. 클라이언트는, 각 클라이언트에 의해 송신된 멀티미디어 데이터를 수신해야 하므로, 다운 스트림 대역폭에 대한 요구는 높다. 이러한 특성은 인터넷의 네트워크 특성에 상응하므로, 인터넷이 멀티미디어 데이터 전송에 사용될 수 있다. 따라서, 인터넷 기반 전송 시스템 아키텍처의 복잡도는 낮고, 그 저비용이어서, 대규모 애플리케이션을 용이하게 한다.With the development of multimedia data conferencing technologies such as video conferencing and application promotions, conventional multimedia data transmission systems are increasingly being used from high-end dedicated markets to low-end markets, It is moving from professional video conferencing to mass consumption. In an embodiment of the present invention, the client only has to transmit the client's own multimedia data, so the demand for upstream bandwidth is low. Since the client must receive the multimedia data transmitted by each client, the demand for downstream bandwidth is high. Since these characteristics correspond to the network characteristics of the Internet, the Internet can be used for multimedia data transmission. Thus, the complexity of the Internet-based transmission system architecture is low, and at low cost, facilitating large scale applications.

도 4는 본 발명의 실시예에 따른 클라이언트를 나타낸 개략도이다. 도 4에 도시된 바와 같이, 클라이언트는 액세스 인증 모듈, 인코딩 모듈, 멀티미디어 데이터 송신 모듈, 멀티미디어 데이터 패킷 수신 모듈, 디코딩 모듈 및 합성 모듈을 포함한다. 4 is a schematic diagram illustrating a client in accordance with an embodiment of the present invention. As shown in FIG. 4, the client includes an access authentication module, an encoding module, a multimedia data transmission module, a multimedia data packet reception module, a decoding module, and a synthesis module.

액세스 인증 모듈은 다지점 제어 유닛과 상호작용하여 클라이언트를 멀티미디어 데이터 전송 시스템에 액세스하게 하는 것이다. The access authentication module interacts with the multi-point control unit to allow the client to access the multimedia data transmission system.

인코딩 모듈은 사용자에 의해 송신될 멀티미디어 데이터를 인코딩하고, 멀티미디어 데이터 송신 모듈에 인코딩된 멀티미디어 데이터를 출력하는 것이다. 본 발명의 일 실시예에서, 인코딩 모듈은 스케일드 비디오 코딩(Scaled Video Coding, SVC) 기술을 채택한다. 인코딩 프레임 시퀀스는 화면 내 프레임(Intra picture frame), 즉 I 프레임, 차분 프레임(difference frame), 즉 P 프레임 및 전환 예측 프레임(Switching Predictive frame , SP) 등의 유형으로 분류된다 The encoding module encodes the multimedia data to be transmitted by the user and outputs the encoded multimedia data to the multimedia data transmitting module. In one embodiment of the present invention, the encoding module employs Scaled Video Coding (SVC) technology. The encoded frame sequence is classified into an Intra picture frame, that is, an I frame, a difference frame, i.e., a P frame and a Switching Predictive frame (SP)

멀티미디어 데이터 송신 모듈은 인코딩된 멀티미디어 데이터를 송신하는 것이다. The multimedia data transmission module transmits the encoded multimedia data.

멀티미디어 데이터 패킷 수신 모듈은 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하고, 디코딩 모듈에 그 멀티미디어 데이터 패킷을 출력하는 것이다.The multimedia data packet receiving module receives the multimedia data packet transmitted by the multi-point control unit, and outputs the multimedia data packet to the decoding module.

디코딩 모듈은 수신된 멀티미디어 데이터 패킷을 디코딩하고, 합성 모듈에 디코딩된 멀티미디어 데이터를 출력하는 것이다. The decoding module decodes the received multimedia data packet and outputs the decoded multimedia data to the synthesis module.

합성 모듈은 디코딩된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하거나, 디코딩된 멀티미디어 데이터와 로컬로 획득된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시하는 것이다.The synthesis module displays the synthesized multimedia data by synthesizing the decoded multimedia data or synthesizes the decoded multimedia data and the locally acquired multimedia data to display the synthesized multimedia data.

종래의 멀티미디어 데이터 전송 시스템은 네트워크 패킷 손실의 문제를 해결하기 위해 손실된 패킷을 재전송하는 전략을 채택하므로, 멀티미디어 데이터 전송 시스템의 전송 지연이 간접적으로 증대되고, 사용자의 서비스 경험을 감소시킨다. 특히, 패킷 손실 및 네트워크 버스트(network burst)가 높은 인터넷에서, 네트워크 비디오 품질은 손실된 패킷을 재전송하는 전략을 이용하여 효율적으로 보장될 수 없다. The conventional multimedia data transmission system adopts a strategy of retransmitting lost packets in order to solve the problem of network packet loss, so that the transmission delay of the multimedia data transmission system is indirectly increased and the service experience of the user is reduced. In particular, on the Internet where packet loss and network bursts are high, network video quality can not be efficiently ensured using a strategy of retransmitting lost packets.

본 발명의 실시예에서는, 비디오 스트림과 같은 멀티미디어 데이터를 전송하는 효과를 보장하기 위해, 클라이언트는 전송될 멀티미디어 데이터의 캡슐화 시에, 유연한 순방향 에러 정정(Forward Error Correction, FEC) 전략을 사용하여, 비디오 전송 시의 패킷 손실의 기술적 문제를 해결한다. 일 실시예에 따르면, 데이터 FEC 방법에서 손실 패킷 복구(Lost Packet Recovery, LPR) 메커니즘을 사용함으로써, 클라이언트는 송신될 멀티미디어 데이터에 대한 중복 데이터(redundant data)를 추가하므로, 수신기는 클라이언트에 누락 정보(missing information)의 재송신을 요청할 필요 없이, 에러를 검출하여 정정할 수 있다. 재송신을 기다리지 않고 에러를 정정하는 능력은, FFC를 실시간 통신에 매우 적합한 것으로 만든다. 따라서, 본 발명의 실시예에 따른 클라이언트는 순방향 에러 정정 처리 모듈을 더 포함한다.In an embodiment of the present invention, in order to ensure the effect of transmitting multimedia data such as a video stream, a client uses a flexible forward error correction (FEC) strategy when encapsulating the multimedia data to be transmitted, Thereby solving the technical problem of packet loss during transmission. According to one embodiment, by using the Lost Packet Recovery (LPR) mechanism in the data FEC method, the client adds redundant data to the multimedia data to be transmitted, so that the receiver can notify the client of the missing information errors can be detected and corrected without having to request retransmission of missing information. The ability to correct errors without waiting for retransmissions makes the FFC very suitable for real-time communications. Accordingly, the client according to the embodiment of the present invention further includes a forward error correction processing module.

순방향 에러 정정 처리 모듈은, LPR 메커니즘에 따라 인코딩 모듈에 의해 인코딩된 멀티미디어 데이터에 중복 데이터를 추가하고, 추가된 중복 데이터를 포함하는 멀티미디어 데이터를 캡슐화하여 멀티미디어 데이터 송신 모듈에 캡슐화된 멀티미디어 데이터를 송신하는 것이다.The forward error correction processing module adds the redundant data to the multimedia data encoded by the encoding module according to the LPR mechanism, encapsulates the multimedia data including the added redundant data, and transmits the encapsulated multimedia data to the multimedia data transmitting module will be.

본 발명의 일 실시예에서, 실제 애플리케이션에서는, 순방향 에러 정정 처리 모듈은 상이한 프레임 유형의 중요도에 따라 상이한 FEC 제어 방법을 사용할 수 있다. 예를 들어, 강한 FEC 제어 방법은, 세 가지 유형의 프레임 가운데 가장 중요한 유형에 속하는 I 프레임에 사용될 수 있으므로, 수신기가 심지어 패킷 손실이 40%인 프레임을 복구할 수 있도록 한다. FEC 제어 방법은 세 가지 유형의 프레임 가운데 가장 중요하지 않은 유형에 속하는 P 프레임에는 사용될 수 없고, 수신기는 그 프레임에 패킷 손실이 존재하면 그 프레임을 직접 폐기(discard)할 수 있고, 이는 다른 프레임의 순서에 영향을 미칠 수 없다. 이와 같이, 패킷 손실률 사이의 균형, 대역폭 및 계산 복잡도는 FEC 제어 방법을 달리 사용하여 획득된다.In one embodiment of the invention, in a practical application, the forward error correction processing module may use different FEC control methods depending on the importance of different frame types. For example, a robust FEC control method can be used for I-frames belonging to the most important type of the three types of frames, so that the receiver can even recover frames with 40% packet loss. The FEC control method can not be used for P frames belonging to the least important type among the three types of frames and the receiver can directly discard the frame if there is packet loss in that frame, It can not affect the order. As such, the balance between packet loss rates, bandwidth and computational complexity are obtained using different FEC control methods.

또한, 본 발명의 일 실시예에 따른 클라이언트는, 멀티미디어 데이터 패킷 수신 모듈에 의해 수신된 멀티미디어 데이터 패킷의 패킷 손실률을 카운트하고, 다지점 제어 유닛에 패킷 손실률 정보를 출력하는 것인 멀티미디어 데이터 패킷 패킷 손실률 카운팅 모듈을 더 포함한다. The client according to an embodiment of the present invention counts the packet loss rate of the multimedia data packet received by the multimedia data packet reception module and outputs the packet loss rate information to the multi- And a counting module.

도 5는 본 발명의 실시예에 따른 다지점 미디어 프로세서를 나타낸 개략도이다. 도 5에 도시된 바와 같이, 다지점 미디어 프로세서는 멀티미디어 데이터 수신 모듈, 멀티미디어 데이터 패킷 캡슐화 모듈 및 멀티미디어 데이터 패킷 송신 모듈을 포함한다. 5 is a schematic diagram illustrating a multi-point media processor in accordance with an embodiment of the present invention. As shown in FIG. 5, the multi-point media processor includes a multimedia data receiving module, a multimedia data packet encapsulating module, and a multimedia data packet transmitting module.

멀티미디어 데이터 수신 모듈은, 동일한 멀티미디어 회의실 내의 각 클라이언트에 의해 전송된 멀티미디어 데이터를 수신하고, 멀티미디어 데이터 패킷 캡슐화 모듈에 수신된 멀티미디어 데이터를 출력하는 것이다.The multimedia data receiving module receives the multimedia data transmitted by each client in the same multimedia meeting room and outputs the received multimedia data to the multimedia data packet encapsulating module.

멀티미디어 데이터 패킷 캡슐화 모듈은 멀티미디어 데이터 패킷을 클라이언트에 의해 송신되는 수신된 멀티미디어 데이터를 캡슐화하고, 멀티미디어 데이터 패킷 송신 모듈에 멀티미디어 데이터 패킷을 출력하는 것이다.The multimedia data packet encapsulation module encapsulates multimedia data packets received by the client and outputs the multimedia data packets to the multimedia data packet transmission module.

멀티미디어 데이터 패킷 송신 모듈은 수신된 멀티미디어 데이터 패킷을 각 클라이언트에 송신하는 것이다. The multimedia data packet transmission module transmits the received multimedia data packet to each client.

일 실시예에 따르면, 멀티미디어 데이터 패킷 캡슐화 모듈은 직접 각 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화할 수 있고, 멀티미디어 데이터 패킷 송신 모듈은 각 클라이언트에 동일한 멀티미디어 데이터 패킷을 송신한다. 일 실시예에 따르면, 멀티미디어 데이터 패킷 캡슐화 모듈은, 멀티미디어 데이터 패킷의 목표 클라이언트에 따라, 동일한 멀티미디어 회의실 내의 목표 클라이언트 자체를 제외한 다른 클라이언트에 의해 송신된 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화할 수 있고, 그 멀티미디어 데이터 패킷을 멀티미디어 데이터 패킷 송신 모듈에 송신할 수 있다. 멀티미디어 데이터 패킷 송신 모듈은 멀티미디어 데이터 패킷을 목표 클라이언트에 송신한다.According to one embodiment, the multimedia data packet encapsulation module may directly encapsulate the multimedia data transmitted by each client into a multimedia data packet, and the multimedia data packet transmission module transmits the same multimedia data packet to each client. According to one embodiment, the multimedia data packet encapsulation module may encapsulate, in accordance with the target client of the multimedia data packet, the multimedia data transmitted by another client in the same multimedia room, excluding the target client itself, into a multimedia data packet, And transmit the multimedia data packet to the multimedia data packet transmission module. The multimedia data packet transmission module transmits the multimedia data packet to the target client.

일 실시예에 따르면, 다지점 미디어 프로세서는 또한, 각 사용자의 개별 요구에 따라, 데이터 스트림(data stream)을 상이한 해상도, 품질 및 프레임 레이트의 복수 계층으로 분할하는 기술을 사용할 수 있다. 이러한 경우, 다지점 미디어 프로세서는 클라이언트 능력 정보 저장 모듈 및 멀티미디어 데이터 필터링 모듈을 더 포함한다.According to one embodiment, the multipoint media processor may also use a technique to segment the data stream into multiple layers of different resolution, quality, and frame rate, depending on the individual needs of each user. In this case, the multipoint media processor further includes a client capability information storage module and a multimedia data filtering module.

클라이언트 능력 정보 저장 모듈은 각 클라이언트의 능력 정보를 저장하는 것이다. 본 발명의 일 실시예에서, 상이한 능력을 갖춘 클라이언트는 상이한 전송 요구를 가진다. 클라이언트의 능력 정보는 프레임 레이트 정보, 전송 품질 정보, 프로토콜 적응 정보 및 멀티미디어 데이터를 수신하는 클라이언트의 식별 정보 중 어느 하나, 또는 이들의 임의 조합을 포함한다.The client capability information storage module stores capability information of each client. In one embodiment of the invention, clients with different capabilities have different transmission requirements. The capability information of the client includes either the frame rate information, the transmission quality information, the protocol adaptation information, and the identification information of the client receiving the multimedia data, or any combination thereof.

멀티미디어 데이터 필터링 모듈은, 클라이언트 능력 정보 저장 모듈에 의해 저장된 각 클라이언트의 능력 정보에 따라, 멀티미디어 데이터에 수신 모듈에 의해 출력된 멀티미디어 데이터를 처리하고, 처리된 멀티미디어 데이터를 멀티미디어 데이터 패킷 캡슐화 모듈에 출력하는 것이다.The multimedia data filtering module processes the multimedia data outputted by the receiving module to the multimedia data according to the capability information of each client stored by the client capability information storing module and outputs the processed multimedia data to the multimedia data packet encapsulating module will be.

본 발명의 일 실시예에서, 예를 들어, 능력 정보가 멀티미디어 데이터를 수신하는 클라이언트의 클라이언트 식별 정보를 포함하면, 멀티미디어 데이터 필터링 모듈은 클라이언트에 의해 설정된 클라이언트 식별 정보에 따라 클라이언트 식별 정보에 대응하지 않는 클라이언트에 의해 송신된 멀티미디어 데이터를 필터링한 다음, 클라이언트 능력 정보에 대응하는 클라이언트 식별 정보를 휴대하는, 필터링된 멀티미디어 데이터를 멀티미디어 데이터 패킷 캡슐화 모듈에 송신하므로, 멀티미디어 데이터 패킷 캡슐화 모듈은 멀티미디어 데이터를 캡슐화한 후, 휴대된 클라이언트 식별 정보에 따라 대응하는 클라이언트에 멀티미디어 데이터를 송신할 수 있고, 이는 사용자의 개별 요구를 충족시킨다.In one embodiment of the present invention, for example, if the capability information includes the client identification information of the client receiving the multimedia data, the multimedia data filtering module extracts the client identification information that does not correspond to the client identification information according to the client identification information set by the client The multimedia data packet encapsulation module transmits the filtered multimedia data to the multimedia data packet encapsulation module that filters the multimedia data transmitted by the client and carries the client identification information corresponding to the client capability information, so that the multimedia data packet encapsulation module encapsulates the multimedia data And then transmit the multimedia data to the corresponding client according to the carried client identification information, which satisfies the individual needs of the user.

일 실시예에 따르면, 다지점 미디어 프로세서는 또한 멀티미디어 데이터 전송의 신뢰성을 제어할 수 있다. 다지점 미디어 프로세서는 또한 전송 신뢰성 처리 모듈을 포함한다. 전송 신뢰성 처리 모듈은, 각 클라이언트에 의해 송신되고 멀티미디어 데이터 수신 모듈에 의해 수신된 멀티미디어 데이터를 카운트하고, 각 클라이언트에 대해 패킷 손실률 정보를 각각 계산하고, 클라이언트의 패킷 손실률 정보에 따라 클라이언트에 대한 전송 파라미터를 결정하고, 결정된 송신 파라미터를 클라이언트에 송신하는 것이다.According to one embodiment, the multipoint media processor may also control the reliability of the multimedia data transmission. The multipoint media processor also includes a transport reliability processing module. The transmission reliability processing module counts multimedia data transmitted by each client and received by the multimedia data receiving module, calculates packet loss rate information for each client, and calculates a transmission parameter for the client according to the packet loss rate information of the client And transmits the determined transmission parameters to the client.

본 발명의 일 실시예에서, 전송 신뢰성 처리 모듈은, 계산된 패킷 손실률에 따라 멀티미디어 데이터를 업로드하는 클라이언트를 제어하여 인코딩 파라미터를 변경한다. 예를 들어, 클라이언트의 패킷 손실률이 클라이언트에 대해 미리 설정된 패킷 손실률 임계값을 초과하면, 클라이언트는 더 낮은 해상도 및 더 낮은 인코딩 레이트를 사용하도록 하는 통지를 받을 수 있다.In one embodiment of the present invention, the transport reliability processing module controls a client that uploads multimedia data according to a calculated packet loss rate to change encoding parameters. For example, if the client's packet loss rate exceeds a preset packet loss rate threshold for the client, the client may be notified to use a lower resolution and a lower encoding rate.

본 발명의 일 실시예에서, 전송 신뢰성 처리 모듈은 또한, 클라이언트에 의해 보고되는 멀티미디어 데이터 패킷 손실률을 수신할 수 있다. 멀티미디어 데이터 패킷 손실률이 미리 설정된 멀티미디어 데이터 패킷 손실률 임계값을 초과하면, VP8 SVC 인코딩 시퀀스의 P 프레임은 폐기된다. In an embodiment of the invention, the transport reliability processing module may also receive the multimedia data packet loss rate reported by the client. If the multimedia data packet loss rate exceeds a preset multimedia data packet loss rate threshold, the P frame of the VP8 SVC encoding sequence is discarded.

본 발명의 일 실시예에서는, SVC 기술이 사용되기 때문에 P 프레임을 폐기 할 수 있다. SVC 기술에서, 인코딩 시퀀스는 I, P, SP, P, SP, P, SP이다. P 프레임은 선행하는 I 프레임 또는 SP 프레임에 의존하기 때문에 가장 중요하지 않다. SP 프레임은, 선행하는 I 프레임에만 의존하고 후행하는 P 프레임이 SP 프레임을 의존하므로 SP 프레임의 중요도는 중간이고, I 프레임이 가장 중요하다. 따라서, 다운링크 패킷 손실률이 너무 높으면, P 프레임은 다운링크 대역폭을 줄이기 위해 전달(forwarding) 과정에서 폐기된다. P 프레임의 폐기가 절반의 프레임 레이트를 초래할 것이지만, 이미지 품질은 크게 저하되지 않을 것이므로, 다른 프레임의 패킷 손실률을 감소시킨다.In one embodiment of the present invention, the P frame can be discarded because the SVC technique is used. In the SVC technique, the encoding sequences are I, P, SP, P, SP, P, and SP. The P frame is not the most important because it depends on the preceding I frame or SP frame. The SP frame depends only on the preceding I frame, and the trailing P frame depends on the SP frame, so that the importance of the SP frame is intermediate, and the I frame is the most important. Thus, if the downlink packet loss rate is too high, the P frame is discarded in the forwarding process to reduce the downlink bandwidth. The discarding of the P frame will result in a half frame rate, but the image quality will not be significantly degraded, thus reducing the packet loss rate of other frames.

실제 애플리케이션에서, 전송 신뢰성 처리 모듈은 클라이언트의 계산된 패킷 손실률 정보와 클라이언트에 의해 보고된 멀티미디어 데이터 패킷 손실률에 따라, 패킷 손실률에 대한 포괄적인 결정을 내릴 수 있다.In a practical application, the transport reliability processing module may make a comprehensive determination of the packet loss rate according to the client's calculated packet loss rate information and the multimedia data packet loss rate reported by the client.

따라서, 본 발명의 실시예에 따른 멀티미디어 데이터 전송 시스템에서, 각 클라이언트에 의해 송신된 인코딩 된 멀티미디어 데이터를 수신한 후, 다지점 제어 유닛은 각 클라이언트에 의해 송신되는 수신된 멀티미디어 데이터만을 멀티미디어 데이터 패킷으로 캡슐화한다. 각 클라이언트는, 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신하고, 그 멀티미디어 데이터 패킷을 디코딩하고, 디코딩된 멀티미디어 데이터를 합성하고, 합성된 멀티미디어 데이터를 표시한다. 이와 같이, 다지점 제어 유닛이 전달 프로세스를 수행하고, 데이터 처리 능력에 대한 요구는 낮아서, 멀티미디어 데이터 전송 시스템의 사용 비용을 감소시킨다. 또한, 멀티미디어 데이터의 송신, 수신, 합성 및 표시의 전 과정에서, 인코딩, 압축, 압축해제 및 디코딩의 처리는 한 번만 필요하므로, 시스템의 데이터 처리 능력에 대한 요구를 감소시키고 시스템 자원을 절약한다. 게다가, 클라이언트는 FEC 전략과 함께 SVC 인코딩 기술을 사용하고, 멀티미디어 데이터 전송에 차별화된 전송 전략을 사용하므로, 키 프레임의 전송 품질이 보장될 뿐 아니라 손실된 멀티미디어 데이터의 재전송이 방지되어, 대역폭 전송 자원이 효과적으로 절약된다. 한편, 클라이언트와 다지점 제어 유닛이 각각 패킷 손실률을 카운트하기 때문에, 전송 전략은 네트워크 상황에 따라 실시간으로 조정될 수 있어, 비디오, 오디오 등의 멀티미디어 데이터 전송의 강건성(robustness)을 증대시키고, 전송의 신뢰성을 향상시킬 수 있다. 또한, 클라이언트는 클라이언트 자신의 멀티미디어 데이터만을 전송하기 때문에, 업스트림 대역폭에 대한 요구가 비교적 낮아, 보통 320×240의 해상도에서 80kps∼300kbps의 업스트림 대역폭이 점유된다. 다운링크에서는, 다중화된 멀티미디어 데이터가 수신된다. 예를 들어, 10개의 다운링크가 있는 경우, 800kbps∼2000kps의 대역폭이 점유된다. 이러한 네트워크 대역폭 요구 특성은 현재 가정에서 사용되는 통상의 ADSL 액세스를 최대한 활용할 수 있으며, 회의 서비스는 전용 회선을 신청하지 않고 수행될 수 있어, 회의 서비스를 실현하는 것이 간단하고, 네트워크 대역폭을 더 효율적으로 사용할 수 있다 . Therefore, in the multimedia data transmission system according to the embodiment of the present invention, after receiving the encoded multimedia data transmitted by each client, the multi-point control unit transmits only the received multimedia data transmitted by each client as a multimedia data packet Encapsulate. Each client receives a multimedia data packet transmitted by a multi-point control unit, decodes the multimedia data packet, synthesizes the decoded multimedia data, and displays the synthesized multimedia data. As such, the multi-point control unit performs the delivery process and the requirement for data processing capability is low, thereby reducing the cost of use of the multimedia data transmission system. Also, in the whole process of transmitting, receiving, composing, and displaying multimedia data, the processing of encoding, compressing, decompressing, and decoding is only required once, thereby reducing demands on the data processing capability of the system and saving system resources. In addition, since the client uses the SVC encoding technique together with the FEC strategy and uses a differentiated transmission strategy for multimedia data transmission, not only the transmission quality of the key frame is guaranteed but also the retransmission of the lost multimedia data is prevented, This effectively saves. On the other hand, since the client and the multi-point control unit each count the packet loss rate, the transmission strategy can be adjusted in real time according to the network conditions, thereby increasing the robustness of multimedia data transmission such as video and audio, Can be improved. Also, since the client transmits only the client's own multimedia data, the demand for upstream bandwidth is relatively low, typically occupying an upstream bandwidth of 80kps to 300kbps at a resolution of 320x240. In the downlink, multiplexed multimedia data is received. For example, if there are 10 downlinks, a bandwidth of 800 kbps to 2000 kps is occupied. Such a network bandwidth requirement characteristic can make the most use of the ordinary ADSL access used in the present home, and the conference service can be performed without applying for a dedicated line, so that it is simple to realize the conference service and the network bandwidth can be more efficiently Can be used.

도 6은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타낸 개략적 흐름도이다. 도 6에 도시된 바와 같이, 상기 방법은 다음의 처리를 포함한다. 6 is a schematic flowchart illustrating a method of transmitting multimedia data according to an embodiment of the present invention. As shown in Fig. 6, the method includes the following processing.

601에서, 멀티미디어 회의실에 액세스한 후, 클라이언트가 송신될 멀티미디어 데이터를 인코딩하고, 인코딩된 멀티미디어 데이터를 다지점 제어 유닛에 송신한다. At 601, after accessing the multimedia conference room, the client encodes the multimedia data to be transmitted and transmits the encoded multimedia data to the multi-point control unit.

일 실시예에 따르면, 클라이언트는 SVC를 사용하여 멀티미디어 데이터를 인코딩하고, 멀티미디어 데이터를 인코딩한 후에 획득된 인코딩 프레임 시퀀스는 I 프레임, P 프레임 및 SP 프레임을 포함한다. According to one embodiment, the client encodes the multimedia data using the SVC, and the encoded frame sequence obtained after encoding the multimedia data includes the I frame, the P frame, and the SP frame.

일 실시예에 따르면, 멀티미디어 데이터를 인코딩한 이후이고 다지점 제어 유닛에 인코딩된 멀티미디어 데이터를 송신하기 이전에, 패킷 손실 복구 메커니즘에 따라 인코딩된 멀티미디어 데이터에 중복 데이터를 추가하고, 중복 데이터가 추가된 멀티미디어 데이터를 캡슐화한다.According to one embodiment, after encoding the multimedia data and prior to transmitting the encoded multimedia data to the multi-point control unit, the duplicated data is added to the encoded multimedia data according to the packet loss recovery mechanism, Encapsulate multimedia data.

602에서, 클라이언트는 다지점 제어 유닛에 의해 송신된 멀티미디어 데이터 패킷을 수신한다. 다지점 제어 유닛은 적어도 하나의 클라이언트에 의해 송신된 멀티미디어 데이터를 캡슐화하여 멀티미디어 데이터 패킷을 획득한다. At 602, the client receives the multimedia data packet transmitted by the multi-point control unit. The multipoint control unit encapsulates the multimedia data transmitted by the at least one client to obtain a multimedia data packet.

일 실시예에 따르면, 적어도 하나의 클라이언트에 의해 송신된 멀티미디어 데이터를 수신한 이후이고 그 멀티미디어 데이터를 캡슐화하기 이전에, 다지점 제어 유닛은 각 클라이언트의 미리 저장된 능력 정보에 따라 수신된 멀티미디어 데이터를 더 처리한다.According to one embodiment, after receiving the multimedia data transmitted by the at least one client and before encapsulating the multimedia data, the multi-point control unit further stores the received multimedia data in accordance with the pre- .

일 실시예에 따르면, 클라이언트의 능력 정보는 프레임 레이트 정보, 전송 품질 정보, 프로토콜 적응 정보, 최대 전송 단위(Maximum Transmission Unit, MTU), 초기 레이트 및 멀티미디어 데이터를 수신하는 클라이언트의 클라이언트 식별 정보 중 어느 하나, 또는 이들의 임의 조합을 포함한다. 예를 들어, 클라이언트의 능력 정보가 멀티미디어 데이터를 수신하는 클라이언트의 클라이언트 식별 정보를 포함하면, 클라이언트 식별 정보에 대응하지 않는 클라이언트에 의해 송신된 멀티미디어 데이터는 클라이언트에 의해 설정된 클라이언트 식별 정보에 따라 필터링된다. According to one embodiment, the capability information of the client includes at least one of the frame rate information, the transmission quality information, the protocol adaptation information, the maximum transmission unit (MTU), the initial rate and the client identification information of the client receiving the multimedia data , Or any combination thereof. For example, if the capability information of the client includes the client identification information of the client receiving the multimedia data, the multimedia data transmitted by the client that does not correspond to the client identification information is filtered according to the client identification information set by the client.

603에서, 클라이언트는 멀티미디어 데이터 패킷을 디코딩하고, 디코딩된 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시한다. At 603, the client decodes the multimedia data packet and synthesizes the decoded multimedia data to display the synthesized multimedia data.

본 발명의 일 실시예에서, 상기 방법은 다음의 처리를 더 포함한다.In one embodiment of the present invention, the method further includes the following processing.

604에서, 클라이언트는 수신된 멀티미디어 데이터 패킷의 패킷 손실률을 카운트하고, 다지점 제어 유닛이 전송 전략을 조정할 수 있도록, 다지점 제어 유닛에 패킷 손실률을 출력한다. At 604, the client counts the packet loss rate of the received multimedia data packet and outputs the packet loss rate to the multi-point control unit so that the multi-point control unit can adjust the transmission strategy.

일 실시예에 따르면, 다지점 제어 유닛은 클라이언트에 의해 보고된 패킷 손실률에 따라 전송 전략을 조정한다. 예를 들어, 패킷 손실률이 미리 설정된 패킷 손실 속도 임계값을 초과하면, 송신 전략은 VP8 SVC 인코딩 시퀀스 내의 P 프레임을 폐기하도록 조정된다. According to one embodiment, the multipoint control unit adjusts the transmission strategy according to the packet loss rate reported by the client. For example, if the packet loss rate exceeds a preset packet loss rate threshold, the transmission strategy is adjusted to discard the P frame in the VP8 SVC encoding sequence.

일 실시예에 따르면, 상기한 방법에는 다음의 처리가 더 포함된다. 다지점 제어 유닛에 의해 출력된 전송 파라미터 조정 정보를 수신하고, 멀티미디어 데이터를 전송하기 위한 전송 파라미터를 조정한다. 다지점 제어 유닛은 각 클라이언트에 의해 송신되는 수신된 멀티미디어 데이터를 카운팅하고, 각 클라이언트의 패킷 손실률 정보를 각각 계산하여, 클라이언트의 패킷 손실률 정보에 따라 전송 파라미터 조정 정보를 결정한다.According to one embodiment, the above method further includes the following processing. Receives the transmission parameter adjustment information output by the multi-point control unit, and adjusts a transmission parameter for transmitting the multimedia data. The multipoint control unit counts the received multimedia data transmitted by each client, calculates the packet loss rate information of each client, and determines transmission parameter adjustment information according to the packet loss rate information of the client.

도 7은 본 발명의 일 실시예에 따른 멀티미디어 데이터를 전송하는 방법을 나타낸 개략 흐름도이다. 다수의 클라이언트 및 다지점 미디어 프로세서가 주로 관여하며, 클라이언트 및 다지점 미디어 프로세서에 의해 수행되는 기능에 대해서는 앞의 설명과 관련하여 간단하게 설명한다. 일 실시예에서, 멀티미디어 회의실은 비디오 데이터를 지원하는 회의실이다. 7 is a schematic flowchart illustrating a method of transmitting multimedia data according to an embodiment of the present invention. Many client and multi-point media processors are primarily involved, and the functions performed by the client and the multi-point media processor are briefly discussed with respect to the preceding discussion. In one embodiment, the multimedia conference room is a conference room that supports video data.

본 발명의 일 실시예에서, 클라이언트의 주요 기능은 다음과 같이 요약된다: In one embodiment of the present invention, the main functions of the client are summarized as follows:

1. 멀티미디어 데이터 수집, 인코딩, RTP 패킷 송신, RTP 패킷 수신, 디코딩 및 표시;1. Multimedia data collection, encoding, RTP packet transmission, RTP packet reception, decoding and display;

2. 다지점 미디어 프로세서로부터 송신된 제어 커맨드 수신, 피드백 수행 및 인코딩 제어;2. Control command reception, feedback execution and encoding control transmitted from the multi-point media processor;

3. 다중화된 멀티미디어 데이터 처리, 예를 들어, 비디오 표시, 복수의 화면(picture)를 하나의 화면으로 합성. 클라이언트에 의해 수신된 멀티미디어 데이터 패킷(오디오 및 비디오 스트림)은 다지점 미디어 프로세서에 의해 전달되고, 멀티미디어 데이터 패킷은 신속하게 프레임으로 설정되고 다른 표시 창에 표시되어, 복수의 화상을 합성하는 효과를 달성한다.3. Multiplexed multimedia data processing, for example, video display, combining multiple pictures into a single screen. The multimedia data packets (audio and video streams) received by the client are delivered by the multi-point media processor, and the multimedia data packets are quickly set into frames and displayed on other display windows to achieve the effect of composing a plurality of images do.

클라이언트는, PC 다중 사용자(multi-user) 비디오 클라이언트 소프트웨어, 이동 전화 비디오 다중 사용자 클라이언트 소프트웨어, 또는 TV 다중 사용자 비디오 클라이언트 소프트웨어와 같은, 다양한 클라이언트 중 하나일 수 있다. The client may be one of a variety of clients, such as PC multi-user video client software, mobile phone video multi-user client software, or TV multi-user video client software.

다지점 제어 유닛의 주요 기능은 다음과 같이 요약된다: The main functions of the multipoint control unit are summarized as follows:

1. 클라이언트 등록 관리, 연결 하트비트(connection heartbeat) 관리; 1. Client registration management, connection heartbeat management;

2. 룸(room) 관리, 룸 생성 및 파괴, 클라이언트 액세스 및 퇴출 관리; 2. Room management, room creation and destruction, client access and exit management;

3. 오디오 및 비디오 데이터에 대해 어떠한 변환도 수행하지 않으면서, 클라이언트로부터 멀티미디어 데이터 수신, 그 멀티미디어 데이터를 동일 룸 내의 다른 클라이언트에 전달. 다지점 미디어 프로세서는 각 클라이언트가 보기 위해 선택하는 룸의 목록 및 룸 미디어 데이터가 전달되는 목표 룸의 리스크를 유지한다. 다지점 미디어 프로세서는 복수의 클라이언트에 의해 송신된 멀티미디어 데이터를 수신하고, 룸 미디어 데이터가 전달되는 목표 룸의 리스트에 따라, 그 멀티미디어 데이터에 대해 어떠한 처리도 하지 않고, 그 멀티미디어 데이터를 전달한다. 따라서, 다지점 미디어 프로세서의 CPU의 많은 자원을 절약할 수 있어, 단일 다지점 미디어 프로세서의 처리 능력을 직접적으로 증대할 수 있다.3. Receive multimedia data from the client without any conversion to audio and video data, and deliver the multimedia data to other clients in the same room. The multi-point media processor maintains a list of rooms that each client chooses to view and the risk of the target room to which room media data is delivered. The multipoint media processor receives the multimedia data transmitted by the plurality of clients and delivers the multimedia data without performing any processing on the multimedia data according to the list of the target room in which the room media data is transmitted. Thus, the CPU of the multi-point media processor can save a lot of resources, and the processing capability of a single multi-point media processor can be directly increased.

4. 전달중의 패킷 손실률 카운팅 및 손실 프레임 처리, 또는 인코딩 레이트, 해상도 및 프레임 레이트 등을 변경하도록 해당 클라이언트에게 통지. 4. Notify the client to change the packet loss rate count during transmission and lossy frame processing, or change the encoding rate, resolution and frame rate.

도 7에 도시된 바와 같이, 멀티미디어 데이터를 전송하는 방법은 다음과 같은 처리를 포함한다. As shown in FIG. 7, a method of transmitting multimedia data includes the following processing.

701에서, 클라이언트가 다지점 제어기를 통해 다지점 미디어 프로세서에 로그인 한다. At 701, the client logs in to the multi-point media processor via the multi-point controller.

702에서, 다지점 미디어 프로세서가 클라이언트에 로그인 응답을 회신한다. At 702, the multipoint media processor returns a login response to the client.

703에서, 다지점 미디어 프로세서가 룸 목록을 검색하여 획득한다. At 703, the multipoint media processor retrieves and acquires the room list.

704에서, 다지점 미디어 프로세서가 클라이언트에 룸 목록 응답을 회신한다. At 704, the multipoint media processor returns a room list response to the client.

705에서, 클라이언트가 룸 목록에 따라 룸 번호를 선택하여 룸에 입장한다.At 705, the client selects a room number according to the room list and enters the room.

706에서, 다지점 미디어 프로세서가 클라이언트에 입장 룸 응답을 회신한다. At 706, the multipoint media processor returns an admission room response to the client.

707에서, 다지점 미디어 프로세서가 룸의 멤버 목록을 검색하여 획득한다. At 707, a multipoint media processor retrieves and acquires a member list of rooms.

708에서, 다지점 미디어 프로세서가 클라이언트 멤버 목록 응답을 회신한다. At 708, the multipoint media processor returns a client member list response.

709에서, 클라이언트가 시청하기 위해 멀티미디어 데이터를 선택한다. At 709, the client selects multimedia data for viewing.

일 실시예에 따르면, 클라이언트는 다지점 미디어 프로세서에 시청 요청 시그널링(watching request singling )을 송신하고, 다지점 미디어 프로세서는 시청 요청 신호를 수신하고 시청 응답을 회신한다. According to one embodiment, the client sends watching request singling to the multipoint media processor, and the multipoint media processor receives the viewing request signal and replies the viewing response.

710에서, 클라이언트가 시청 응답을 선택한다. At 710, the client selects a viewing response.

711에서, 클라이언트가 다지점 미디어 프로세서에 인코딩된 멀티미디어 데이터를 송신한다. At 711, the client transmits the encoded multimedia data to the multi-point media processor.

712에서, 다지점 미디어 프로세서는, 시청 요청에 따라 멀티미디어 데이터를 멀티미디어 데이터 패킷으로 캡슐화하여 멀티미디어 데이터 패킷을 전달한다. At 712, the multi-point media processor encapsulates the multimedia data into a multimedia data packet according to the viewing request to deliver the multimedia data packet.

713에서, 클라이언트가 캡슐화된 멀티미디어 데이터 패킷을 디코딩하여, 다중화된 멀티미디어 데이터를 획득하고, 멀티미디어 데이터를 합성하여 합성된 멀티미디어 데이터를 표시한다. At 713, the client decodes the encapsulated multimedia data packet, acquires the multiplexed multimedia data, and displays the synthesized multimedia data by synthesizing the multimedia data.

714에서, 다지점 미디어 프로세서가 클라이언트의 패킷 손실률 정보를 카운트한다. At 714, the multipoint media processor counts the packet loss rate information of the client.

715에서, 다지점 미디어 프로세서가 클라이언트의 인코딩 작업을 제어하여 클라이언트가 미리 정해진 인코딩 정보에 따라 부호화 작업을 수행하도록 한다.In step 715, the multi-point media processor controls the encoding operation of the client so that the client performs the encoding operation according to the predetermined encoding information.

716에서, 클라이언트는 수신된 멀티미디어 데이터 패킷의 패킷 손실률 정보를 송신한다.At 716, the client transmits packet loss rate information of the received multimedia data packet.

717에서, 다지점 미디어 프로세서가 멀티미디어 데이터 프레임 내의 P 프레임을 선택적으로 폐기한다. At 717, the multi-point media processor selectively discards P frames in the multimedia data frame.

718에서, 클라이언트가 룸을 퇴장한다. At 718, the client exits the room.

719에서, 다지점 미디어 프로세서는 룸 퇴장 응답에 응답한다. At 719, the multipoint media processor responds to the room exit response.

이상은 단지 본 발명의 바람직한 실시예일 뿐이며, 본 발명의 보호 범위를 제한하는 데 사용되지 않는다. 모든 수정, 동등한 치환 및 개선은 본 발명의 보호 범위에 내이다.The foregoing is merely a preferred embodiment of the present invention and is not used to limit the scope of protection of the present invention. All modifications, equivalent substitutions and improvements are within the scope of the present invention.

Claims

As a method for transmitting multimedia data
After the client accesses the multimedia conference room, encodes the multimedia data to be transmitted and transmits the encoded multimedia data to the multi-point control unit;
Receiving, by the client, a multimedia data packet transmitted by the multi-point control unit; And
The client decodes the multimedia data packet, synthesizes the multimedia data obtained after decoding the multimedia data packet, and displays the synthesized multimedia data
Lt; / RTI >
Wherein the multimedia data packet is obtained by encapsulating multimedia data transmitted by the one or more clients in the multimedia conference room by the multi-
Way.

The method according to claim 1,
Receiving transmission parameter adjustment information output by the multi-point control unit; And
Further comprising adjusting a transmission parameter to transmit the multimedia data,
Wherein the transmission parameter adjustment information is determined according to a packet loss rate of the client;
Wherein the multi-point control unit counts multimedia data transmitted by a client in the multimedia conference room and calculates a packet loss rate for each client.

3. The method according to claim 1 or 2,
The multi-point control unit further comprises processing the received multimedia data according to the capability information of the client stored in advance.

The method of claim 3,
The capability information includes at least one of frame rate information, transmission quality information, protocol adaptation information, a maximum transmission unit, an initial rate, The client identification information of the client receiving the client identification information.

The method according to claim 1,
After transmitting the multimedia data to be transmitted and before transmitting the encoded multimedia data to the multi-point control unit,
Adding redundant data to the encoded multimedia data according to a packet loss recovery mechanism; And
Further comprising encapsulating the multimedia data including the added redundant data,
Wherein the transmitting the encoded multimedia data to the multi-point control unit comprises:
And transmitting the encapsulated multimedia data to the multi-point control unit.

The method according to claim 1,
Counting packet loss rate information of the received multimedia data, and outputting the packet loss rate information to the multi-point control unit,
Wherein the packet loss rate information is used by the multi-point control unit for transmission strategy adjustment.

13. An apparatus for transmitting multimedia data,
An access authentication module for interacting with the multi-point control unit to access the multimedia conference room;
An encoding module for encoding the multimedia data to be transmitted and outputting the encoded multimedia data;
A multimedia data transmission module for transmitting the encoded multimedia data;
A multimedia data packet receiving module for receiving the multimedia data packet transmitted by the multi-point control unit and outputting the multimedia data packet;
A decoding module decoding the multimedia data packet to decode the multimedia data packet and outputting the obtained multimedia data packet; And
A synthesis module for synthesizing the multimedia data obtained after decoding the multimedia data packet and displaying the synthesized multimedia data,
/ RTI >
Wherein the multimedia data packet is obtained by encapsulating multimedia data transmitted by the one or more clients in the multimedia conference room by the multi-
Device.

8. The method of claim 7,
Adding the redundant data to the encoded multimedia data output by the encoding module according to the packet loss recovery mechanism, encapsulating the multimedia data including the added redundant data, and outputting the encapsulated multimedia data to the multimedia data transmitting module Further comprising a forward error correction processing module.

9. The method according to claim 7 or 8,
Further comprising a multimedia data packet packet loss rate counting module for counting packet loss rate information of the multimedia data packet received by the multimedia data packet receiving module and outputting the packet loss rate information to the multipoint control unit.

13. An apparatus for transmitting multimedia data,
A multimedia data receiving module for receiving the multimedia data transmitted by the client in one multimedia conference room and outputting the multimedia data;
A multimedia data packet encapsulation module encapsulating the multimedia data output by the multimedia data reception module into a multimedia data packet and outputting the multimedia data packet; And
A multimedia data packet transmission module for transmitting the multimedia data packet output by the multimedia data packet encapsulation module to the client;
/ RTI >

11. The method of claim 10,
A client capability information storage module for storing capability information of the client; And
A multimedia data filtering module for processing the multimedia data output by the multimedia data receiving module according to the capability information of the client stored by the client capability information storing module and outputting the processed multimedia data to the multimedia data packet encapsulating module &Lt; / RTI >

The method according to claim 10 or 11,
Calculating packet loss rate information for each of the clients according to the multimedia data received by the multimedia data reception module, determining transmission parameters for the client according to the packet loss rate information, and transmitting the transmission parameter to the client Further comprising: a transmission reliability processing module that performs transmission reliability processing on the received data.

13. The method of claim 12,
Wherein the transport reliability processing module receives the packet loss rate of the multimedia data packet reported by the client and adjusts the transmission strategy.

A system for transmitting multimedia data comprising one or more clients and a multi-point control unit,
The client includes:
Interact with the multi-point control unit to access the multimedia conference room;
Encoding the multimedia data to be transmitted and outputting the encoded multimedia data to the multi-point control unit;
The multimedia data packet transmitted by the multi-point control unit, decoding the multimedia data packet, synthesizing the multimedia data obtained after decoding the multimedia data packet, and displaying the synthesized multimedia data;
The multi-point control unit includes:
Interact with the client to allow the client to access the multimedia conference room;
Encapsulating the multimedia data transmitted by the client in the multimedia conference room into a multimedia data packet;
And transmitting the multimedia data packet to a client in the multimedia conference room.
system.

15. The method of claim 14,
The multi-point control unit includes a de-point controller and a multi-point media processor,
The multi-point controller being used to interact with the client to allow the client to access the multimedia room;
Wherein the multi-point media processor is used to encapsulate the multimedia data transmitted and received by the client in the multimedia conference room and to transmit the multimedia data packet to the client in the multimedia conference room.

16. The method of claim 15,
The multi-point media processor includes:
A multimedia data receiving module for receiving the multimedia data transmitted by the client in the multimedia conference room and outputting the multimedia data;
A multimedia data packet encapsulation module encapsulating the multimedia data output by the multimedia data reception module into a multimedia data packet and outputting the multimedia data packet; And
And a multimedia data packet transmission module for transmitting the multimedia data packet output by the multimedia data packet encapsulation module to the client.

17. The method of claim 16,
The multi-point media processor includes:
A client capability information storage module for storing capability information of the client; And
A multimedia data filtering module for processing the multimedia data output by the multimedia data receiving module according to the capability information of the client stored by the client capability information storing module and outputting the processed multimedia data to the multimedia data packet encapsulating module Further comprising:

18. The method according to claim 16 or 17,
The multi-point media processor calculates packet loss rate information for each of the clients according to the multimedia data received by the multimedia data reception module, and determines a transmission parameter for each of the clients according to the packet loss rate information Further comprising a transmission reliability processing module that transmits the transmission parameters to each of the clients.

15. The method of claim 14,
The client includes:
An access authentication module for interacting with the multi-point control unit to access the multimedia conference room;
An encoding module for encoding the multimedia data to be transmitted and outputting the encoded multimedia data;
A multimedia data transmission module for transmitting the encoded multimedia data;
A multimedia data packet receiving module for receiving the multimedia data packet transmitted by the multi-point control unit and outputting the multimedia data packet;
A decoding module decoding the multimedia data packet to decode the multimedia data packet and outputting the obtained multimedia data packet; And
A synthesis module for synthesizing the multimedia data obtained after decoding the multimedia data packet and displaying the synthesized multimedia data,
/ RTI >
Wherein the multimedia data packet is obtained by encapsulation of the multimedia data transmitted by the one or more clients in the multimedia conference room by the multi-point control unit.

20. The method of claim 19,
The client includes:
According to the packet loss recovery mechanism, it is possible to add redundant data to the encoded multimedia data output by the encoding module, encapsulate the multimedia data including the added redundant data, and output the encapsulated multimedia data to the multimedia data transmission module Further comprising a forward error correction processing module.

21. The method according to claim 19 or 20,
The client includes:
Further comprising a multimedia data packet packet loss rate counting module for counting packet loss rate information of the multimedia data packet received by the multimedia data packet receiving module and outputting the packet loss rate information to the multipoint control unit.