[go: up one dir, main page]

CN1119029C - 具有系统相关自适应延迟的多媒体通信方法和装置 - Google Patents

具有系统相关自适应延迟的多媒体通信方法和装置 Download PDF

Info

Publication number
CN1119029C
CN1119029C CN96199429A CN96199429A CN1119029C CN 1119029 C CN1119029 C CN 1119029C CN 96199429 A CN96199429 A CN 96199429A CN 96199429 A CN96199429 A CN 96199429A CN 1119029 C CN1119029 C CN 1119029C
Authority
CN
China
Prior art keywords
video
audio
delay
data
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN96199429A
Other languages
English (en)
Other versions
CN1206536A (zh
Inventor
S·谢弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Business Communication Systems Inc
Original Assignee
Siemens Business Communication Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Business Communication Systems Inc filed Critical Siemens Business Communication Systems Inc
Publication of CN1206536A publication Critical patent/CN1206536A/zh
Application granted granted Critical
Publication of CN1119029C publication Critical patent/CN1119029C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6137—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a telephone network, e.g. POTS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种在多系统视频和音频数据通信中将声像同步限制到单个系统的方法和系统。在一个最佳实施例中，接收系统在重现时对视频和音频信号实行同步。始发系统分离地形成和处理视频和音频信号。对许多系统，处理包含不同的延迟。因此，当信息通过一个网络传输到接收系统时，视频和音频数据是不同步的。始发系统提供表示在始发系统中视频和音频处理时间的不同性的延迟信息。接收系统利用该延迟信息确定用来引入到适当的视频或音频处理通道的自适应补偿延迟。通过给多系统通信提供单个补偿延迟，减少了潜在的总延迟。

Description

具有系统相关自适应延迟的多媒体通信方法和装置
本发明一般涉及宽带和窄带多媒体通信，更具体地说，涉及减少重现一个系统与一个远端系统间的音-视频通信时的相互间的延迟。
业已有将视频系统中产生的音视频信号通过公共或专用网传输到音频系统的诸多应用。例如，在视频电话和视频会议中要求用音视频通信。
在一对可视电话系统之间的通信中，每个系统通常包括诸如摄影机和监视器这样的视频输入/输出设备，和包括诸如麦克风和扬声器这样的音频输入/输出设备。为了减少通信带宽，来自输入输出设备的音视频信号被数字化并压缩。编码的信号被多路复用为一个单比特流，用来通过网络传输到目标系统。单比特流也包括数据和控制信号。因为目标系统可能与始发系统不一样，所以必须进行标准化。在视频电话系统的场合，Internationa1 Telecommuication Union(ITU)提供了窄带电信的推荐标准。该标准被称为ITU-T RecommendationH.320，其中窄带定义为64千比特/秒到1920千比特/秒。
在目标系统显现信息的声像同步要求有一个处理视频和音频数据的同步。在从一个信息的始发系统到目标系统的网络传输中，信息被转变为一个单比特流，从而视频和音频数据的延迟是一致的。然而，在始发系统和目标系统，视频和音频信号是分开处理的。在每个由网络链接的两个系统内，视频数据通常经历与音频数据分离的处理。例如，始发系统可以有并行的视频和音频通道，在该通道内所述分离的信号被数字化和压缩(即编码)。在目标系统视频和音频信号再被分离并沿各自的通道被处理。从始发系统的信息获取到目标系统的信息重现所产生的总延迟是两个系统的延迟和网络延迟的组合。
处理和传输延迟降低了电信质量。总延迟中的网络延迟分量并不在系统设计者的控制之内。在系统级，源和目标的延迟可以通过增加在每个网络上的编码器/译码器对的速度来减少。最大速度受音频处理和视频处理中速度较低者的限制。例如，在始发系统，音频处理可以比视频处理复杂程度低些而花费时间少些。因此人为在音频通道加上一个延迟以提供视频和音频数据在通过网络传输时相同步。以类似的方法，可以人为地在接收系统的视频或音频处理通道加上一个延迟，以保证它们在重现时同步
因此需要一个可以改进系统之间，例如在两个视频电话系统之间的通信性能的多媒体同步方法。同时也需要一个用来无需显著增加设备费用而可实现同步的系统。
一个为在远端系统之间通信而将第一媒体形式数据和第二媒体形式数据相同步的方法，包括：系统间交换有关第一媒体处理和第二媒体处理的相对定时的延迟数据。只在其中的一个系统中引入补偿延迟，而补偿则是基于在两个系统中的延迟之和。不管补偿延迟是被引入到始发系统还是目标系统，多媒体数据在两个系统之间的网络中的传输将是异步的。
在最佳实施例中，补偿延迟是引入到目标系统中。视频音频信号在始发系统中产生。例如，摄影机可用来产生视频信号而麦克风用来产生音频信号。分离的信号沿着不同的视频和音频通道进行处理。例如，每个信号可被数字化和压缩，即编码。此外，分离的信号可代表诸如图形，声音，文本等等的其他形式的通信媒体。
在分离的信号的处理期间，每个信号将相对于信号产生时间被延迟。在许多系统中，此两种延迟将是不相同的。不是加上一个系统唯一的补偿延迟，而是在始发系统产生一个表示不同性的延迟数据并将它传送到目标系统中。在接收系统加上此系统间的补偿延迟。该补偿是自适应的，因为补偿量是基于在始发系统的延迟的不相同性和在接收系统的延迟不相同性。根据原始的传输，实行延迟数据的类似交换，以便在先前始发的系统中进行自适应补偿。
对于大多数电信系统，视频编码和音频编码的延迟之差一般是固定的。因此，在两个系统之间的延迟数据的交换可为一个单一交换。然而，本发明可用于延迟可变的系统，所以所传输的延迟数据是动态的。该延迟数据可以是一个相应于两个延迟之差的单一值。在这种实施中，根据视频延迟是超过或被超过音频延迟，延迟数据可正可负。
采用此种方法的系统具有一个自适应补偿延迟能力，可以由硬件电路也可由软件实现。系统唯一延迟数据是从一个远端系统接收到的。非同步的视频和音频数据也是从远端系统接收的，通过利用来自远端的系统唯一延迟数据结合在接收系统的视频和音频延迟之差来计算出必须的补偿延迟实现声像同步。
虽然最佳实施例在接收端加入了补偿延迟，但是这并不是关键之处。传输系统可根据来自接收系统的接收系统唯一延迟数据为其通信提供一个过补偿。无论是在发送端还是在接收端实行自适应补偿，该方法和系统都挖掘了减少信号传输和重现的总延迟的潜力。例如，如果视频编码延迟超过音频编码延迟，但是视频解码被音频解码超出，则相对于现有技术，本自适应补偿法将使得所需的总延迟减少。同样，如果视频编码延迟被音频编码延迟超出，但视频解码超过音频解码，则总延迟也减少。重现延迟的减少的优点是提高了通信的质量。对于本发明来说，这种提高是无需显著增加设备成本而实现的。
图1是一个具有本发明的自适应补偿延迟的系统的方框图。
图2是一个用来执行本发明的传输步骤的一个实施例的说明。
图3是一个图2的实施例的接收步骤的说明。
参考图1，一个可视电话系统10与一个网络12相连，用来与远端的其他可视电话系统14，16，18和20进行可视的话音通信。虽然本发明所显示的是用于电话会议的，但本发明也可用于在不同场所的系统中传输多媒体信号的场合。除了重现视频和音频数据，所述的信号可涉及文本，图形，或语音数据。除了可视电话系统，本发明还可用于诸如局域网和异步传输模式(ATM)传输这样的应用。
可视电话系统10包括视频输入/输出设备22。该设备简单的可以是一个摄影机和一个监视器，但是当前也使用其他的设备。图象从视频通道24传输到多路复用/多路分用单元26。此通道包括一个视频编码器28。视频编码器筛选掉冗余度进行简化编码。也就是说，视频信号被数字化和压缩以减少通过网络12进行数据传输所需的带宽。编码器28的操作是众所周知的现有技术，对本发明并不是关键。
系统10也包括音频输入/输出设备30。该设备可仅仅是一个麦克风和一个扬声器。另一方面，该设备可包括更复杂的设备，诸如回声消除电路。该设备的输出经音频处理通道32送到电路复用/多路分用单元26。音频编码器34对音频输出信号进行如同视频编码器28对视频输出信号所进行的处理。
虽然图1并未示出，但多路复用/多路分用单元26通常还有其他的信号输入。例如，可以加入一个电子黑板来增强通信性能。
控制单元36也与多路复用/多路分用单元26相连。控制单元与网络12并也与远端系统14-20交换信号。众所周知，系统-系统控制信号用来建立工作和信令的通用模式。
多路复用/多路分用单元26将视频，音频，数据和控制信号简化为一个用来传输的单个比特流。传输可以是窄带业务或是宽带业务。在电信中，窄带业务是一个在64kbit/s-1920kbit/s的比特流。网络接口38在系统终端和网络12之间作必要的适配并接收该比特流。可以用已知的方式相互进行通信。例如，系统10可以是一个可视电话而远端系统可以是一个综合业务数字网(ISDN)电话。语音信号需要连续的业务和实时传输。同样，视频信号也是连续业务。分配给视频信号的比特率应尽可能高，以便使在一个给定的信道容量下通信质量最好。
沿处理通道24和32的视频和音频输出信号将会经历某些延迟。通常，即使处理功能是基本等效的，在延迟上也存在差别。在现有技术的系统中，在编码处理时会引入短延迟的处理通道24和32中包括软件引入的延迟或延迟电路。这些人为的延迟使传输到一或多个远端系统14-20的视频和音频信号相同步。在接收系统进行一个类似的延迟均衡，以便以声像同步来重现视频和音频信息。与现有技术相比较，系统10只包括沿视频输入通道44和音频输入通道46的延迟40和42。于是，来自输出处理线24和32的音频可视信息将是非同步的。延迟40和42不是引入固定延迟而是自适应的。延迟控制单元48控制该自适应延迟，既可以是软件引入的，也可以由硬件电路实现。
现参阅图1和2，在可视电话系统10中，用输入/输出设备22和30在步骤50产生音频和视频信号。在步骤52，对信号进行编码。通常，在编码视频信号和编码音频信号之间有一个固定的时间关系。也就是说，由沿通道24和32的处理所加上的延迟通常在系统操作期间保持一样。如前所述，通常在沿通道的视频和音频编码之间有一个不相同性。为了建立信号同步，以使接收系统提供一个声像同步重现。现有技术系统在两个通道24和32中较快的那个通道中引入一个延迟。另一方面，图1的系统10都不对该两个通道提供延迟补偿。
在步骤54产生延迟数据。此延迟数据指明了沿视频处理通道24的编码延迟与沿音频处理通道32的编码延迟的相异。对于相异固定的系统，控制单元36可一次产生延迟数据。然而，在延迟可能是动态的场合，则延迟数据随环境而变化。在最简单的形式中，延迟数据的数值是与两个通道的延迟的时间差的程度相对应的。数值的极性可用来表示哪个通道是快通道和哪个通道是慢通道。例如，一个正值可表明视频编码比音频编码处理得快些，而负数值则相反。
在步骤56中，信号和数据被传输。在图1中，信号和数据被多路复用成为单个用来沿网络12传输到一个或多个系统14-20的比特流。该比特流将包含所有常规系统的信号和数据，而且也包括延迟数据。
现参阅图1和3，如果系统10假定为接收系统，则就有图3的步骤。在步骤58中，系统10从远端站14-20之一接收视频，音频和控制信号。还收到有关视频和音频信息之间的关系的延迟数据。除非远端系统是视频和音频信号以等延迟进行处理的系统，视频和音频信息将不会是同步的。再有，延迟数据可具有一个表示不同步的程度的数值，并可有一个表示在远端对音频信号和视频信号编码时，哪个信号编码经历较长的延迟的极性。
在步骤60，根据下面要描述的算法确定自适应补偿延迟。基本上，该补偿延迟是按照发送系统和接收系统的两个延迟差之和计算的。也就是说，将从远端系统14-20接收的延迟数据与接收系统10中的在解码视频信号和音频信号时的延迟之差相加。图1的延迟控制电路48调节出合适的自适应延迟40和42以提供声像同步。利用自适应延迟的方法使得在多路复用/多路分用单元26接收的非同步的视频和音频相同步。其结果减少了潜在的重现延迟。例如，如果传输系统的音频编码的延迟比视频编码的延迟大，但接收系统却要求相反的同步，则该自适应延迟方法将使总的显示延迟相对于传统的系统-系统的显示有一减少。同样，如果传输系统的视频编码延迟比音频编码延迟大，但接收系统的音频编码延迟超过视频编码延迟，则总的显示延迟将减少。因为重现延迟是音频-视频通信质量的一个要素，所以重现延迟的减少提高了通信质量。
图1的视频输入通道44包括一个视频解码器70。视频解码器执行视频编码器28的相反的功能。视频解码器的输出可以是一个未压缩的模拟信号。音频输入通道46包括一个音频解码器72。该解码器解压音频信号并提供一个供音频输入/输出设备30工作的适当的模拟或数字信号
在图3中，由解码器70和72和延迟40和42实行信号处理步骤62和自适应延迟步骤64。在步骤66由输入/输出设备22和30提供视频和音频重现。虽然图3中自适应延迟40和42是在视频和音频解码以前提供的，但这并不是本发明的关键。在解码信号以后提供延迟同样实现声像同步。
在另一个实施例中，自适应延迟出现在视频和音频处理输出通道24和32。也就是说，延迟40和42是在编码通道而不是如图1所示的在解码通道上。在该实施例中，作为接收侧的远端系统14-20提供表示在收到信号时对视频和音频产生不同延迟的延迟数据。在本实施例中，沿着输入通道44和46将无延迟40和42。不管怎样，基本工作将是一样的，因为都是将延迟之差相加来提供声像同步。而且，在上述每个实施例中，沿网络12传输的视频和音频信号是不同步的。
对传统的系统间的音-视频通信和使用如上所述的结构的和方法的通信而言，总的延迟是始发系统的延迟，由传输到网络所引入的延迟和由目标系统14-20引起的延迟之和。对传统的方法而言，在始发系统的延迟将是音频编码延迟和视频编码延迟中的较大者，因为对较快的处理时间故意延长以使接收系统获得声像同步。然后，在接收系统，延迟将是视频解码延迟和音频解码延迟中较大的那个。在接收系统提供一个第二补偿延迟。本发明则是通过只允许其中一个系统实现声像同步来提供单个补偿延迟。
无论是传统的方法或是图2和3的方法，从编码电路输入到解码电路输出所引入的音频-可视信息的延迟是等于在始发系统和接收系统产生的延迟和网络产生的延迟之和。也就是说，总的重现延迟如下：
    延迟总＝延迟编码+延迟网络+延迟解码               (1)
利用现有技术，由始发系统的编码电路引起的延迟是视频编码延迟(延迟视频编码)和音频编码延迟(延迟音频编码)中较大的延迟。现有技术只向网络提供声像同步的信号，因而两个编码电路中较慢的一个决定延迟，也就是说：
        延迟编码＝Max{延迟视频编码延迟音频编码}        (2)
根据常规技术，通过故意在视频解码和音频解码的较快者中引入一个延迟来在接收系统提供声像同步。因此，在常规系统中的解码延迟是视频解码延迟(延迟视频解码)和音频解码延迟(延迟音频解码)中较大的延迟，即：
    延迟解码＝Max{延迟视频解码延迟音频解码}    (3)
图2和图3的方法并不受式(2)和(3)的限制。本发明不是两个系统提供一个等于式(2)和(3)之和的延迟，而是采用提供一个视频编码和解码的延迟之和或音频编码和解码的延迟之和中相对较大的延迟。也就是说：
延迟系统＝Max{延迟视频编码+延迟解码解码
              延迟音频编码+延迟音频解码}             (4)
常规的方法是在始发系统和接收系统提供分开的补偿延迟，这样一来式(2)和式(3)是相关的。另一方面，在图1的系统中，只有输入通道44和46包括硬件或软件延迟40和42。该延迟是自适应的和由延迟控制单元48控制。当每个输入通道包括一个延迟时，只有一个延迟将被用于给定的音-视频通信的声像同步。自适应补偿延迟将是视频编码和解码的总延迟与音频编码和解码总延迟之差，即：
      延迟自适应补偿＝(延迟视频编码+延迟视频解码)-
                      (延迟音频编码+延迟音频解码)    (5)
按照图1-3的系统和方法工作时，自适应补偿延迟实际上将如下工作：
延迟自适应补偿＝(延迟视频编码-延迟音频编码)
                 +(延迟视频解码-延迟音频解码)        (6)式(6)的第一项差(即编码延迟差)建立了从始发系统传输到接收系统所引起的数据延迟。接收系统所接收的数据延迟与式(6)中的第二项差(即解码延迟差)相加。有两种情况下式(6)的补偿延迟比式(2)和(3)之和的传统补偿延迟小。一种情况是，如果(延迟视频编码＞延迟音频编码)和(延迟视频解码＜延迟音频解码)式(6)的自适应补偿将比总补偿延迟小。另一种情况是(延迟视频编码)＜延迟音频编码)和(延迟视频解码＞延迟音频解码)如果不存在这两种情况，则自适应补偿将为传统系统和方法的两个固定补偿之和。式(6)的自适应补偿将不会比由传统系统和方法所提供的补偿大。
虽然本发明已经主要根据处理音频和视频信号作了描述和举例，但是其中的方法和系统也可用于其他涉及系统-系统通信的多媒体应用。例如，在重现时要同步的信号可表现为图形数据和语音数据，或表现为文本数据和语音数据。

Claims (11)

1.一种在通过一个电话网络提供系统间通信的电话终端内同步多媒体数据的方法，包括如下步骤：
在一个始发电话终端(10)形成(50)分离的视频和音频信号，使得所述信号代表不同形式的通信媒体数据；
处理沿所述始发终端的视频通道(24)的所述视频信号和处理所述沿所述始发终端的音频通道(32)的所述音频信号，以将视频和音频媒体数据传输到一个远端电话终端(14，16，18和20)，其中处理视频和音频信号使对所述视频和音频媒体数据引入了不同的延迟；
形成(54)表示对所述视频和音频媒体数据的延迟的不同的延迟数据；
将所述视频和音频媒体数据和所述延迟数据传输(56)到远离所述始发终端的接收端；
处理沿所述接收终端的视频(44)和音频(46)通道的所述视频和音频媒体数据，其中所述接收终端的所述视频和音频通道引入不同的延迟，其中所述接收终端的所述视频通道包括视频延迟而所述接收终端的音频通道包括音频延迟；及
根据所述来自所述始发终端的所述延迟数据和根据在所述接收终端的所述延迟的不同，为在所述接收终端将一个补偿延迟(40和42)引入到所述视频和音频媒体数据其中之一，而自适应地调整所述两个延迟(40，42)中的一个延迟，包括选择(50)所述补偿延迟以至少部分地补偿在通过组合所述始发和接收系统所引入的视频和音频媒体数据延迟之差。
2.根据权利要求1的方法，其中所述形成(50)分离的视频和音频信号步骤是一个形成可视电话通信信号的步骤，每个所述始发(10)和接收
(14，16，18和20)终端是可视电话终端。
3.根据权利要求1或2的方法，其中所述处理(52)沿始发终端(10)的所述视频和音频通道(24，32)的所述视频和音频信号的步骤是一个包括编码(28和34)和压缩每个所述信号及引入所述信号的固有延迟的步骤，而对其中一个所述信号的固有延迟是比对另一个信号的固有延迟大。
4.根据权利要求3的方法，其中所述形成所述延迟数据的步骤包括根据在所述始发终端(10)的所述固有延迟之间的差值形成一个补偿信号。
5.根据权利要求4的方法，其中所述形成(54)所述补偿信号的步骤包括根据所述视频和音频信号中哪个信号引入一个较大的延迟而确定极性。
6.根据权利要求1，2或3的方法，还包括这样的步骤：在所述接收终端(12，16，18和20)形成(54)延迟数据和将所述延迟数据传输到所述始发终端(10)，从而使所述始发终端预先给自所述接收终端传输到所述始发终端的视频和音频信号之一引入一个补偿延迟。
7.根据权利要求4的方法，还包括这样的步骤：在所述接收终端(12，16，18和20)形成(54)延迟数据和将所述延迟数据传输到所述始发终端(10)，从而使所述始发终端预先给自所述接收终端传输到所述始发终端的视频和音频信号之一引入一个补偿延迟。
8.根据权利要求5的方法，还包括这样的步骤：在所述接收终端(12，16，18和20)形成(54)延迟数据和将所述延迟数据传输到所述始发终端(10)，从而使所述始发终端预先给自所述接收终端传输到所述始发终端的视频和音频信号之一引入一个补偿延迟。
9.一种用来通过电话网络与位于远端的多个可视电话终端的任一个终端交换视频和音频数据的可视电话终端，包括：
产生分离的视频和音频信号的产生装置(22和30)；
电路装置(28，34)，它与所述产生装置相连，用来为传输而处理所述视频和音频信号，所述电路装置具有一个视频通道(24)和一个音频通道(32)，每个通道具有一个固定的信号延迟；
求差装置(48)，它与所述电路装置相连，用来产生表示在沿所述视频通道的所述信号延迟与沿所述音频通道的所述信号延迟之差的延迟数据；
装置(25)，它与所述电路装置和求差装置相连，用来将所述延迟数
据和所述音频和视频信号传输到远端终端(14，16，18和20)；
用来从远端接收(38)音频和视频信号和接收表示在所述远端终端的音频和视频延迟之差的接收终端唯一延迟数据的装置；及
自适应装置(40，42和48)，包括视频信号的输入通道(44)中的视频延迟(40)和音频信号的输入通道(46)中的音频延迟(42)和控制电路(48)，用来根据所述来自所述始发终端延迟数据和接收终端的延迟数据之和，为引入(64)一个补偿延迟(40和42)到所述接收终端的所述视频和音频信号之一，而自适应地调整所述两个延迟(40和42)的其中之一。
10.根据权利要求9的终端，其中所述自适应装置包括一个响应于所述控制电路(48)的可变延迟(40和42)。
11.根据权利要求9或10所述的终端，其中所述用来传输的装置包括一个用来以单个比特流来传输音频，视频和延迟数据的多路复用器(26)。
CN96199429A 1995-11-08 1996-10-24 具有系统相关自适应延迟的多媒体通信方法和装置 Expired - Lifetime CN1119029C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/555,567 US5570372A (en) 1995-11-08 1995-11-08 Multimedia communications with system-dependent adaptive delays
US08/555,567 1995-11-08

Publications (2)

Publication Number Publication Date
CN1206536A CN1206536A (zh) 1999-01-27
CN1119029C true CN1119029C (zh) 2003-08-20

Family

ID=24217765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96199429A Expired - Lifetime CN1119029C (zh) 1995-11-08 1996-10-24 具有系统相关自适应延迟的多媒体通信方法和装置

Country Status (7)

Country Link
US (1) US5570372A (zh)
EP (1) EP0882359B1 (zh)
JP (1) JP3493372B2 (zh)
CN (1) CN1119029C (zh)
CA (1) CA2236907C (zh)
DE (1) DE69605948T2 (zh)
WO (1) WO1997017798A2 (zh)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154095A (ja) 1994-11-28 1996-06-11 Hitachi Ltd Ａｔｍセル遅延揺らぎ吸収方式およびその装置
JP3149328B2 (ja) * 1995-01-09 2001-03-26 松下電器産業株式会社 送信装置と受信装置
US6836295B1 (en) 1995-12-07 2004-12-28 J. Carl Cooper Audio to video timing measurement for MPEG type television systems
US6330033B1 (en) * 1995-12-07 2001-12-11 James Carl Cooper Pulse detector for ascertaining the processing delay of a signal
JP3094900B2 (ja) * 1996-02-20 2000-10-03 ヤマハ株式会社 ネットワーク機器およびデータ送受信方法
JP3250139B2 (ja) * 1996-03-01 2002-01-28 三菱電機株式会社 キャリアスリップ補償機能を備えた受信機
JP2809179B2 (ja) * 1996-03-14 1998-10-08 日本電気株式会社 無線同報通信システム
GB2326781B (en) 1997-05-30 2001-10-10 British Broadcasting Corp Video and audio signal processing
EP1019082B2 (en) 1997-10-02 2008-06-04 Max-Planck-Gesellschaft Zur Förderung Der Wissenschaften E.V. Use of a colony stimulating factor (csf) for enhancing collateral growth of collateral arteries and/or other arteries from preexisting arteriolar connections
US6249319B1 (en) * 1998-03-30 2001-06-19 International Business Machines Corporation Method and apparatus for finding a correct synchronization point within a data stream
US6347387B1 (en) 1998-10-09 2002-02-12 Agere Systems Guardian Corp. Test circuits for testing inter-device FPGA links including a shift register configured from FPGA elements to form a shift block through said inter-device FPGA links
GB0000873D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Interconnection of audio/video devices
GB0000874D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Latency handling for interconnected devices
EP1273030A1 (en) 2000-03-31 2003-01-08 Koninklijke Philips Electronics N.V. Discharge lamp
DE10031355A1 (de) * 2000-06-28 2002-01-17 Grundig Ag Verfahren und Vorrichtung zur zeitsynchronen Weiterleitung von Signalen
WO2002085030A1 (en) * 2001-04-11 2002-10-24 Cyber Operations, Llc System and method for preconditioning analog video signals
US6970481B2 (en) * 2001-04-17 2005-11-29 Microsoft Corporation Methods and systems for distributing multimedia data over heterogeneous networks
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
JP4141952B2 (ja) * 2001-07-19 2008-08-27 トムソン ライセンシング 信号の受信を改善する方法、システム、および受信機
US20030122964A1 (en) * 2002-01-02 2003-07-03 Sony Electronics Inc. Synchronization network, system and method for synchronizing audio
KR100926469B1 (ko) * 2002-01-31 2009-11-13 톰슨 라이센싱 가변 지연을 제공하는 오디오/비디오 시스템과, 제 1 지연된 디지털 신호에 대해 제 2 디지털 신호를 동기화하기 위한 방법
US20030179317A1 (en) * 2002-03-21 2003-09-25 Sigworth Dwight L. Personal audio-synchronizing device
US6912010B2 (en) * 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
US6956871B2 (en) * 2002-04-19 2005-10-18 Thomson Licensing Apparatus and method for synchronization of audio and video streams
US6872007B2 (en) * 2002-09-24 2005-03-29 Tektronix, Inc. Optical line-of-sight inter-board data transfer
US7280813B2 (en) * 2003-03-13 2007-10-09 Peter Fortier Elliott Variable delay radio receiver
FR2854523A1 (fr) * 2003-04-29 2004-11-05 France Telecom Procede et dispositif de synchronisation de flux de donnees
WO2005004450A1 (en) * 2003-06-19 2005-01-13 Sony Ericsson Mobile Communications Ab Media stream mixing
EP1553784A1 (en) * 2004-01-06 2005-07-13 Deutsche Thomson-Brandt Gmbh Method and apparatus for performing synchronised audio and video presentation
DE102004017215A1 (de) * 2004-04-05 2005-10-20 Sennheiser Electronic Audiovisuelles System
ATE484157T1 (de) * 2004-05-13 2010-10-15 Qualcomm Inc Synchronisierung von audio und video daten in einem drahtlosen nachrichtenübertragungssystem
TW200845724A (en) * 2004-06-02 2008-11-16 Matsushita Electric Industrial Co Ltd Multiplexing apparatus and demultiplexing apparatus
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
KR100651894B1 (ko) * 2004-07-23 2006-12-06 엘지전자 주식회사 영상기기 및 그 제어방법
DE102004040480B4 (de) * 2004-08-20 2006-05-24 Siemens Ag Verfahren und Vorrichtung zum Nutzdatenabgriff multimedialer Verbindungen in einem Paketnetz
EP1657929A1 (fr) 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
US7809452B2 (en) * 2005-02-23 2010-10-05 Leviton Manufacturing Co., Inc. Delay management of presentation output system and method
US20070047590A1 (en) * 2005-08-26 2007-03-01 Nokia Corporation Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream
CN100442858C (zh) * 2005-10-11 2008-12-10 华为技术有限公司 分组网络中多媒体实时传输的唇同步方法及其装置
US7970222B2 (en) * 2005-10-26 2011-06-28 Hewlett-Packard Development Company, L.P. Determining a delay
EP1987673A1 (en) * 2006-02-21 2008-11-05 Markport Limited Audio and video communication
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US7693190B2 (en) 2006-11-22 2010-04-06 Cisco Technology, Inc. Lip synchronization for audio/video transmissions over a network
US7953118B2 (en) * 2006-12-08 2011-05-31 Microsoft Corporation Synchronizing media streams across multiple devices
US8077745B2 (en) * 2007-03-23 2011-12-13 Qualcomm Incorporated Techniques for unidirectional disabling of audio-video synchronization
CN101137066B (zh) * 2007-05-11 2011-01-05 中兴通讯股份有限公司 一种多媒体数据流同步控制的方法及装置
US20100150249A1 (en) * 2007-08-28 2010-06-17 David Anthony Campana Staggercasting with no channel change delay
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
CN102203728A (zh) * 2008-11-03 2011-09-28 引擎实验室公司 在硬件系统上动态构建行为模型的系统和方法
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
CN102355455B (zh) * 2011-08-31 2014-05-07 中国铁道科学研究院电子计算技术研究所 视频信息处理方法
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN103220058A (zh) * 2012-01-20 2013-07-24 旭扬半导体股份有限公司 音频数据与视觉数据同步装置及其方法
US9167296B2 (en) * 2012-02-28 2015-10-20 Qualcomm Incorporated Customized playback at sink device in wireless display system
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
CN103916716B (zh) * 2013-01-08 2017-06-20 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法
DE102013200171A1 (de) * 2013-01-09 2014-07-10 Lufthansa Technik Ag Datennetzwerk, Verfahren sowie Abspielgerät zur Wiedergabe von Audio- und Videodaten in einem In-flight Entertainment System
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
CN106331562B (zh) * 2015-06-16 2020-04-24 南宁富桂精密工业有限公司 云端服务器、控制设备及音频视频同步方法
US10034036B2 (en) * 2015-10-09 2018-07-24 Microsoft Technology Licensing, Llc Media synchronization for real-time streaming
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法
CN113364726A (zh) * 2020-03-05 2021-09-07 华为技术有限公司 一种分布式数据传输的方法、装置和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE33535E (en) * 1985-09-16 1991-02-12 Audio to video timing equalizer method and apparatus
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
JPH04207343A (ja) * 1990-11-30 1992-07-29 Hitachi Ltd 端末接続方式
US5231649A (en) * 1991-08-08 1993-07-27 Ascend Communications, Inc. Method and apparatus for dynamic bandwidth allocation in a digital communication session
WO1994001964A1 (en) * 1992-07-08 1994-01-20 Bell Atlantic Network Services, Inc. Media server for supplying video and multi-media data over the public telephone switched network
CA2108872C (en) * 1993-01-28 1997-09-16 David B. Smith Audio/video telephone communications
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
US5467139A (en) * 1993-09-30 1995-11-14 Thomson Consumer Electronics, Inc. Muting apparatus for a compressed audio/video signal receiver

Also Published As

Publication number Publication date
EP0882359A2 (en) 1998-12-09
WO1997017798A2 (en) 1997-05-15
DE69605948T2 (de) 2000-05-18
CA2236907A1 (en) 1997-05-15
JPH10512736A (ja) 1998-12-02
CA2236907C (en) 2001-09-11
WO1997017798A3 (en) 1997-06-26
CN1206536A (zh) 1999-01-27
EP0882359B1 (en) 1999-12-29
DE69605948D1 (de) 2000-02-03
JP3493372B2 (ja) 2004-02-03
US5570372A (en) 1996-10-29

Similar Documents

Publication Publication Date Title
CN1119029C (zh) 具有系统相关自适应延迟的多媒体通信方法和装置
KR100311943B1 (ko) 변경 압축 영역 비디오 합성시스템과 중앙속도 제어처리기
EP0719055B1 (en) Video transmission rate matching for multimedia communication systems
US5473363A (en) System, method and multipoint control unit for multipoint multimedia conferencing
US5751694A (en) Methods and apparatus for synchronizing temporally related data streams
US5687095A (en) Video transmission rate matching for multimedia communication systems
US5684527A (en) Adaptively controlled multipoint videoconferencing system
US6697097B1 (en) Synchronizing voice and video transmitted over separate channels
JP2004536529A (ja) 複数のビデオチャネルから連続的にフレームを受信し、交互に連続的に、各々の該ビデオチャネルに関する情報を含む個々のフレームをテレビ会議における複数の参加者の各々に送信するための方法及び装置
JP2003504897A (ja) 電話回線による高速映像伝送
EP1090506A1 (en) A method for transmitting video images, a data transmission system and a multimedia terminal
JPH1169330A (ja) 留守録機能を備えた画像通信装置
CN1214559C (zh) 同步数据传输系统
JPH0662398A (ja) 画像通信端末装置
JPH0998397A (ja) テレビ電話装置およびテレビ電話通信方法
KR100238071B1 (ko) 동적모드변환기능을 갖는 화상단말장치
JPH05111017A (ja) テレビ電話機
JPH07307933A (ja) マルチメディア通信端末
US20030053166A1 (en) Method and apparatus of transmitting several digital signals over a common optical fiber
KR19980020634A (ko) 화상전화기의 오디오코덱 비트레이트 자동조절장치
JPH06237459A (ja) テレビ会議システム
Park et al. The Design of Intramedia Synchronization based QoS
JPH0426261A (ja) マルチメディア通信装置
JPH05161132A (ja) マルチメディア通信システム
JPH09116881A (ja) 動画像データ伝送方法およびアナログビデオフォン

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20030820

EXPY Termination of patent right or utility model