[go: up one dir, main page]

KR101535827B1 - 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법 - Google Patents

무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법 Download PDF

Info

Publication number
KR101535827B1
KR101535827B1 KR1020080123018A KR20080123018A KR101535827B1 KR 101535827 B1 KR101535827 B1 KR 101535827B1 KR 1020080123018 A KR1020080123018 A KR 1020080123018A KR 20080123018 A KR20080123018 A KR 20080123018A KR 101535827 B1 KR101535827 B1 KR 101535827B1
Authority
KR
South Korea
Prior art keywords
audio
video
time
frame
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080123018A
Other languages
English (en)
Other versions
KR20100064532A (ko
Inventor
임용현
김용규
박태성
김성기
송지완
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080123018A priority Critical patent/KR101535827B1/ko
Priority to US12/632,048 priority patent/US8873928B2/en
Publication of KR20100064532A publication Critical patent/KR20100064532A/ko
Application granted granted Critical
Publication of KR101535827B1 publication Critical patent/KR101535827B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

무선 통신 네트워크에서 오디오 및 비디오를 동기화하는 장치에 있어서, 서버로부터 오디오 및 비디오 프레임을 수신하는 오디오 및 비디오 수신부와, 오디오 프레임을 순차적으로 버퍼링하는 재생출력버퍼와, 오디오 프레임과 비디오 프레임의 동기 일치 여부를 확인하여 동기가 맞지 않는다면, 오디오 프레임의 재생시간을 기준으로 비디오 프레임의 재생시간을 조절하는 검출부와, 동기가 맞추어진 오디오 프레임 및 비디오 프레임을 출력하는 출력부를 포함함을 특징으로 한다.
동기, 오디오 프레임, 비디오 프레임

Description

무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법{APPARATUS AND METHOD FOR AUDIO AND VIDEO SYNCHRONIZATION IN WIRELESS COMMUNICATION NETWORK}
본 발명은 멀티미디어 데이터 동기화에 관한 것으로, 특히 무선 통신 네트워크 기반에서 오디오 및 비디오와 같은 멀티미디어 데이터를 수신하여 이동단말기에서 재생 시 오디오 및 비디오의 동기를 맞추기 위한 장치 및 방법에 관한 것이다.
통상적으로 서버가 오디오나 비디오 재생 데이터와 같은 멀티미디어 데이터를 이동단말기로 송신하는 경우, 실시간 전송 프로토콜인 RTP(Real-time Transport Protocol)/RTCP(Real-time Transport Control Protocol)를 이용하여 멀티미디어 데이터를 송신한다. 이동단말기는 멀티미디어 데이터에 포함된 오디오 및 비디오의 타임스탬프(Time-Stamp)를 자신의 시스템 시간과 비교하여 오디오와 비디오의 동기를 맞춘다.
도 1은 기존의 서버에서 생성한 오디오 및 비디오의 타임스탬프를 나타낸 도면이다. 서버가 타임스탬프를 생성할 때에는 오디오와 비디오의 동기가 정확히 일치된 상태로 타임스탬프를 생성함을 알 수 있다. 타임스탬프는 오디오와 비디오 타 임스탬프로 나누어지며, 서버의 시스템 클럭(System Clock)을 기반으로 획득한 오디오와 비디오의 샘플링 시간 정보가 각각의 타임스탬프에 포함된다.
획득한 오디오와 비디오의 샘플링 시간 정보를 포함하는 타임스탬프는 이동단말기로 수신되고, 이동단말기는 서버로부터 수신한 오디오와 비디오의 타임스탬프를 이동단말기의 시스템 클럭과 비교하여 재생 시간을 구하고, 오디오와 비디오를 각각 재생 시간에 맞게 재생한다.
하지만, 이러한 방식은 이동단말기 내의 시스템 클럭 해상도(System Clock Resolution)나 오디오 재생 출력비(Audio Play-out Rate)가 서버의 시스템 클럭 해상도나 오디오 재생 출력비와 동일하지 않는 경우, 오디오 끊김이나 오디오 스킵(Skip)과 같은 예기치 않은 문제를 발생시킨다.
예를 들어 이동단말기 내의 수신부로 수신된 오디오 프레임을 재생 출력 버퍼로 송신할 때에는 오디오 재생 출력비와 동일한 속도로 송신하여야 한다. 그렇지 않고 오디오 재생 출력비보다 늦게 송신하게 되면 버퍼 언더플로가 발생하게 되고, 결국에는 오디오 끊김 현상이 발생한다. 반대로 오디오 재생 출력비보다 빨리 송신하게 되면 시간이 지남에 따라서 버퍼에 데이터를 넣을 공간이 부족하게 되어 결국 오디오 스킵 현상이 발생한다. 만약 오디오 프레임을 저장할 공간을 크게 할당해서 사용한다면 일정 시간 이하의 스트리밍에서는 문제가 없을 수도 있으나 저장 공간이 협소한 이동단말기의 환경에서는 가능한 방식이 아니다.
도 2는 기존의 이동단말기가 서버로부터 수신된 오디오 및 비디오의 타임스탬프를 나타낸 도면이다. 이동단말기의 시스템 클럭 해상도나 오디오 재생 출력비 가 서버와 정확히 일치하지 않게 되는 문제점으로 인하여, 이동단말기에서 오디오 및 비디오를 재생할 경우, 오디오가 비디오보다 늦게 출력되는 경우가 발생할 수 있고, 반대로 빨리 출력되는 경우도 발생할 수 있다. 이러한 문제가 누적될 경우 오디오와 비디오의 동기가 틀어지는 결과를 낳게 된다.
통상적으로 동기가 틀어지는 경우가 크지 않고 장시간(일반적으로 3분 이상) 재생을 하지 않는 경우, 오디오 스킵이나 끊김이 발생하지 않는 경우도 있으나, 안정적인 스트리밍 환경에서 장시간 재생할 경우에는 상기의 방법으로는 오디오 끊김이나 오디오 스킵이 발생하며 오디오 및 비디오 동기가 정확히 일치하지 않게 된다. 또한 이동단말기의 특성상 사용할 수 있는 메모리 자원이 많지 않아 일정한 수준 이하의 메모리만을 사용하여 오디오 및 비디오 동기를 맞추는 방법이 요구되고 있다.
본 발명은 서버와 이동단말기 간의 시스템 클럭 해상도나 재생출력비가 다른 경우에도 오디오 스킵이나 끊김이 없이 오디오를 원활히 재생하면서 오디오와 비디오의 동기를 맞추는 장치 및 방법을 제공한다.
본 발명의 일 견지에 따르면, 무선 통신 네트워크에서 오디오 및 비디오를 동기화하는 장치에 있어서, 서버로부터 오디오 및 비디오 프레임을 수신하는 오디오 및 비디오 수신부와, 상기 오디오 프레임을 순차적으로 버퍼링하는 재생출력버퍼와, 상기 오디오 프레임과 상기 비디오 프레임의 동기 일치 여부를 확인하여 상기 동기가 맞지 않는다면, 상기 오디오 프레임의 재생시간을 기준으로 상기 비디오 프레임의 재생시간을 조절하는 검출부와, 동기가 맞추어진 오디오 프레임 및 비디오 프레임을 출력하는 출력부를 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 무선 통신 네트워크에서 오디오 및 비디오를 동기화하는 방법에 있어서, 서버로부터 오디오 및 비디오 프레임을 수신하는 과정과, 상기 오디오 프레임을 순차적으로 버퍼링하는 과정과, 상기 오디오 프레임과 상기 비디오 프레임의 동기 일치 여부를 확인하는 과정과, 상기 오디오 프레임의 재생시간을 기준으로 상기 비디오 프레임의 재생시간을 조절하여 출력하는 과정을 포함함을 특징으로 한다.
본 발명에 의하면 서버로부터 수신된 타임스탬프를 이용하지 않고 이동단말기의 재생출력비를 기준으로 오디오를 재생하면서 재생되는 오디오에 맞게 비디오의 재생 타이밍을 결정하여 줌으로써, 오디오 스킵이나 끊김 없이 오디오와 비디오의 동기를 맞추어 재생할 수 있는 효과가 있다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
종래의 이동단말기의 멀티미디어 데이터의 동기화 재생 방법은 서버와 이동단말기의 시스템 클럭 해상도나 재생출력비가 동일하지 않는 경우, 오디오 스킵이나 끊김과 같은 현상이 발생하는 문제점이 있었다. 본 발명에서는 이러한 문제점을 해결하기 위하여 해당 이동단말기의 특성에 맞게 오디오를 재생하고, 오디오 재생 타이밍에 맞추어 비디오 재생 타이밍을 조절하는 장치 및 방법을 제안한다. 하기의 실시 예를 통하여 본 발명에서 제시하는 기술을 상세히 설명한다.
도 3은 본 발명의 일 실시 예에 따른 서버로부터 오디오 및 비디오의 타임스탬프를 수신하는 이동단말기의 내부구성도이다. 이동단말기는 오디오 및 비디오 수신부(301, 303), 디코딩부(305), 모니터링부(307), 제1 비교부(309), 재생출력버퍼(311), 검출부(315), 제2 비교부(313) 및 출력부(317)로 구성된다. 각각의 구성 요소에 대하여 살펴보면 다음과 같다.
오디오 및 비디오 수신부(301, 303)는 서버로부터 오디오 및 비디오의 재생 데이터를 각각 수신하는 역할을 한다. 서버는 이러한 오디오 및 비디오 재생 데이터를 프레임 단위로 구분하고, 오디오와 비디오의 샘플링 시간 정보를 타임스탬프로 설정하여 프레임에 포함시켜 인코딩한 후, RTP 페이로드에 실어서 이동단말기로 송신한다. 이후 이동단말기는 RTP 페이로드에 실린 프레임을 수신한다.
디코딩부(305)는 오디오 및 비디오 수신부(301, 303)로부터 수신되는 인코딩된 오디오 및 비디오 프레임을 디코딩하는 역할을 한다. 모니터링부(307)는 디코딩된 오디오 프레임이 재생출력버퍼(311)로 전송되는 개수를 체크하는 역할을 한다. 재생출력버퍼(311)는 디코딩된 오디오 프레임을 순차적으로 수신하고, 먼저 수신된 오디오 프레임 순으로 버퍼링을 수행하는 역할을 한다.
제1 비교부(309)는 모니터링부(307)를 통하여 파악된 오디오 프레임의 개수를 기 설정된 임계값과 비교하는 역할을 한다. 만약 재생출력버퍼(311)에 버퍼링된 오디오 프레임의 개수가 기 설정된 임계값보다 크다면, 추가 버퍼링이 필요하지 않음을 뜻하므로 이를 재생출력버퍼(311)에 알리고, 재생출력버퍼(311)는 버퍼링된 오디오 프레임의 수가 기 설정된 임계값보다 작아질 때까지 오디오 프레임을 수신하지 않고 대기한다. 만약 버퍼링된 프레임의 개수가 기 설정된 임계값보다 작다면, 추가 버퍼링이 필요함을 뜻하므로 재생출력버퍼(311)는 계속하여 오디오 프레임을 수신한다.
검출부(315)는 재생출력버퍼(311)로부터 수신되는 오디오 프레임과 디코딩 부(305)로부터 수신되는 비디오 프레임에 포함된 타임스탬프를 이용하여 처음 재생된 프레임부터 현재 재생되는 프레임까지의 재생시간을 구하는 역할과, 오디오 및 비디오의 동기를 맞추어 출력부(317)로 송신하는 역할을 한다. 여기서 검출부(315)는 비디오와 오디오 프레임 각각의 재생시간을 구할 수 있다.
제2 비교부(313)는 검출부(315)에서 검출된 비디오와 오디오 각각의 재생시간을 서로 비교하는 역할을 한다. 값이 큰 재생시간에서 값이 작은 재생시간을 뺀 차이 값이 기 설정된 임계값보다 작은 경우에는 동기가 맞는 것으로 판단하여 동기 일치 신호를 검출부(315)로 송신하고, 기 설정된 임계값보다 큰 경우에는 동기가 맞지 않는 것으로 판단하고 동기 불일치 신호를 송신한다.
동기를 맞추는 기준은 현재까지 재생된 오디오 프레임의 재생시간이 되며, 검출부(315)는 비디오의 재생시간을 미세조정하여 오디오와 비디오의 동기를 맞춘다. 출력부(317)는 제2 비교부(313)에서 비교된 결과에 따라서 오디오 및 비디오 프레임을 출력하는 역할을 한다. 오디오는 스피커와 같은 음성출력부를 통하여 출력되고, 비디오는 LCD와 같은 영상출력부를 통하여 출력된다. 상기의 구성을 이용하여 오디오와 비디오 프레임의 동기를 맞추는 과정을 살펴보면 하기와 같다.
도 4는 본 발명의 일 실시 예에 따른 오디오와 비디오의 동기를 맞추는 과정을 나타낸 흐름도이다.
401단계에서 이동단말기는 서버로부터 수신된 오디오 및 비디오 프레임을 디코딩한다. 디코딩된 오디오 및 비디오 프레임에는 오디오의 샘플링 시간 정보를 담고 있는 타임스탬프가 포함되어 있다. 403단계에서 디코딩한 오디오 프레임을 순차 적으로 재생출력버퍼로 송신한다. 이 때, 버퍼의 과부하를 방지하기 위하여 일정한 시간 단위로 재생출력버퍼의 버퍼링된 오디오 프레임의 수를 체크하고, 405단계에서 버퍼링된 오디오 프레임의 수를 기 설정된 제1 임계값과 비교한다. 만약 버퍼링된 오디오 프레임의 수가 기 설정된 제1 임계값보다 크다면, 현재는 추가 버퍼링이 필요하지 않음을 뜻하므로 407단계로 진행하여 추가 버퍼링을 수행하지 않고 재생출력버퍼 내에 버퍼링된 오디오 프레임의 수가 제1 임계값보다 작아질 때까지 대기한다. 만약 버퍼링된 오디오 프레임의 수가 기 설정된 제1 임계값보다 작다면, 추가 버퍼링이 필요함을 뜻하므로 409단계로 진행하여 재생출력버퍼에 계속하여 오디오 프레임을 송신한다.
추후 411단계에서 비디오와의 동기를 맞추기 위하여 동기가 맞는 상태로 처음 재생된 오디오 프레임의 타임스탬프를 구하고, 현재 재생되는 오디오 프레임의 타임스탬프까지의 재생시간(A_D(t))을 구한다. 즉 A_D(t) 값은 동기가 맞는 상태에서 처음 재생한 오디오 프레임으로부터 현재 재생하고자 하는 오디오 프레임까지의 경과시간을 의미한다.
한편, 401단계에서 디코딩된 비디오 프레임은 413단계에서 오디오 프레임과의 동기를 맞추기 위하여 처음 재생된 비디오 프레임의 타임스탬프로부터 현재 재생되는 비디오 프레임의 타임스탬프까지의 재생시간(V_D(t))을 구하는데 사용된다. 즉 V_D(t) 값은 동기가 맞는 상태에서 처음 재생한 오디오 프레임으로부터 현재 재생하고자 하는 오디오 프레임까지의 경과시간을 의미한다.
415단계에서 이동단말기의 비교부는 411단계에서 구하여진 A_D(t) 값과 413 단계에서 구하여진 V_D(t) 값의 차이 값을 기 설정된 제2 임계값과 비교한다. 즉 A_D(t) 값와 V_D(t) 값 중 더 큰 값에 작은 값을 뺀 차이 값과 제2 임계값을 비교하고, 이 차이 값이 제2 임계값보다 작으면 417단계로 진행하여 동기가 맞는 것으로 판단하여 기 설정된 시간에 비디오 및 오디오 재생 데이터를 출력한다. 하지만 차이 값이 제2 임계값보다 크면 비디오와 오디오 재생 데이터의 동기를 맞춰주어야 하므로 419단계로 진행하여 비디오의 타임스탬프를 미세조정하여 오디오의 타임스탬프에 맞도록 수정한 후 419단계에서 출력한다.
실시간으로 수신되는 V_T(t) 값을 바꿀 수는 없으므로 동기가 맞는 상태에서 처음 재생된 시작시간 값인 V_T(0) 값을 미세조정한다. V_T(0) 값은 이미 지나간 값이므로 그 값을 바꾼다하여도 A_D(t) 값과 V_D(t) 값을 사용하여 그 차이 값을 비교하는데 있어서 아무런 문제점이 되지 않는다. 이렇게 이미 지나간 시간 값인 V_T(0) 값을 미세조정하여 비디오 재생 데이터의 재생을 위한 타이밍을 오디오의 재생 타이밍에 맞출 수 있다.
도 3 및 도 4에서 도시된 바와 같이 오디오의 경우에는 비디오와는 달리 재생출력버퍼 내에 버퍼링된 오디오 프레임의 수를 모니터링하는 과정이 추가됨을 알 수 있다. 오디오의 경우 연속되는 데이터이므로 중간에 끊어지는 현상을 방지하기 위하여 항상 일정한 오디오 프레임의 수를 재생출력버퍼에 유지시켜주어야 한다. 하지만 비디오의 경우에는 연속되는 데이터가 아니므로 끊김을 방지하기 위하여 버퍼를 따로 유지할 필요가 없이 해당 시간에 맞춰서 재생만 시켜주면 된다.
V_T(0) 값을 미세조정하는 방식은 하기의 수학식과 같다.
A_D(t) = A_T(t) - A_T(0)
V_D(t) = V_T(t) - V_T(0)
V_D(t) > A_D(t) 일 때, V_T(0) = V_T(0) + D
V_D(t) < A_D(t) 일 때, V_T(0) = V_T(0) - D
수학식 1에서 D 값은 타이밍 조절 값으로 정의할 수 있으며, V_T(0) 값에 비해 매우 작은 값으로 정한다. 비디오의 재생 타이밍을 조정할 때 조정하는 정도를 너무 급격하게 변화시키게 되면 비디오 재생 프레임 간의 간격이 크게 달라져 비디오 재생 자체가 원활하게 되지 않는 문제점이 발생한다. 이러한 이유로 타이밍을 조절하는 값인 D 값을 V_T(0) 값에 비해 작은 값으로 정한다.
도 5는 본 발명의 일 실시 예에 따른 오디오와의 정확한 동기를 위한 비디오의 첫 프레임 시작 시간 조절을 나타낸 도면이다. 도 6과 같은 경우에는 A_D(t) 값이 V_D(t) 값보다 크므로, 차이 값에 해당하는 타이밍 조절 값을 빼주어 V_T(0) 값을 미세조정하여 오디오와 비디오의 동기를 맞출 수 있다. 도 6에는 도시되어 있지 않지만, A_D(t) 값이 V_D(t) 값보다 작은 경우에는 차이 값에 해당하는 타이밍 조정 값을 더하여 V_D(t) 값을 미세조정할 수 있다.
상기와 같이 본 발명의 일 실시 예에 따른 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법의 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
도 1은 기존의 서버에서 생성한 오디오 및 비디오의 타임스탬프를 나타낸 도면
도 2는 기존의 이동단말기가 서버로부터 수신된 오디오 및 비디오의 타임스탬프를 나타낸 도면
도 3은 본 발명의 일 실시 예에 따른 서버로부터 오디오 및 비디오의 타임스탬프를 수신하는 이동단말기의 내부구성도
도 4는 본 발명의 일 실시 예에 따른 오디오와 비디오의 동기를 맞추는 과정을 나타낸 흐름도
도 5는 본 발명의 일 실시 예에 따른 오디오와의 정확한 동기를 위한 비디오의 첫 프레임 시작 시간 조절을 나타낸 도면

Claims (14)

  1. 무선 통신 네트워크에서 오디오 및 비디오를 동기화하는 장치에 있어서,
    상기 무선 통신 네트워크를 통해 서버로부터 오디오 및 비디오 프레임을 수신하는 오디오 및 비디오 수신부와,
    상기 오디오 프레임을 순차적으로 버퍼링하는 재생출력버퍼와,
    상기 재생출력버퍼로부터 수신된 오디오 프레임의 재생출력 시간과 상기 수신부로부터 수신된 비디오 프레임의 재생출력 시간을 비교하여, 상기 무선 통신 네트워크로부터 수신된 상기 오디오 프레임과 상기 무선 통신 네트워크로부터 수신된 상기 비디오 프레임의 동기 일치 여부를 확인하고, 상기 동기가 맞지 않는다면, 상기 오디오 프레임의 재생시간을 기준으로 상기 비디오 프레임의 재생시간을 조절하는 검출부와,
    동기가 맞추어진 오디오 프레임 및 비디오 프레임을 출력하는 출력부를 포함함을 특징으로 하는 동기화 장치.
  2. 제 1항에 있어서, 상기 오디오 및 비디오 프레임은,
    인코딩된 상태로 수신되며, 디코딩부를 통하여 디코딩됨을 특징으로 하는 동기화 장치.
  3. 제 1항에 있어서,
    상기 재생출력버퍼 내에 버퍼링된 오디오 프레임의 수를 계산하는 모니터링부와,
    상기 버퍼링된 오디오 프레임의 수를 기 설정된 제1 임계값과 비교하는 제1 비교부를 더 포함함을 특징으로 하는 동기화 장치.
  4. 제 3항에 있어서, 상기 재생출력버퍼는
    상기 모니터링부와 상기 제1 비교부를 이용하여 상기 버퍼링된 오디오 프레임의 수가 상기 기 설정된 제1 임계값 이하로 유지되도록 상기 오디오 프레임의 수신을 제어함을 특징으로 하는 동기화 장치.
  5. 제 1항에 있어서, 상기 검출부는
    상기 오디오 프레임과 상기 비디오 프레임의 동기 일치 여부를 확인하기 위하여, 최초 동기가 일치한 상태로 재생된 오디오 프레임의 시작 시간으로부터 현재까지 재생된 오디오 프레임의 재생시간을 구하고, 최초 동기가 일치한 상태로 재생된 비디오 프레임의 시작 시간으로부터 현재까지 재생된 비디오 프레임의 재생시간을 구하는 것을 특징으로 하는 동기화 장치.
  6. 제 5항에 있어서,
    상기 두 재생시간의 차이 값을 기 설정된 제2 임계값과 비교하는 제2 비교부를 더 포함함을 특징으로 하는 동기화 장치.
  7. 제 6항에 있어서, 상기 검출부는
    상기 차이 값이 상기 제2 임계값보다 작을 경우 오디오 프레임과 비디오 프 레임의 동기를 조절하지 않고 출력부로 송신하고, 상기 차이 값이 상기 제2 임계값보다 클 경우 상기 비디오 프레임을 상기 오디오 프레임의 재생 타이밍에 맞게 조절하여 출력부로 송신함을 특징으로 하는 동기화 장치.
  8. 제 5항에 있어서, 상기 검출부는
    동기가 일치하지 않는 경우, 상기 비디오 프레임의 시작 시간을 미세조정하여 상기 비디오 프레임과 상기 오디오 프레임의 경과시간을 동일하게 하여 동기를 맞추는 것을 특징으로 하는 동기화 장치.
  9. 무선 통신 네트워크에서 오디오 및 비디오를 동기화하는 방법에 있어서,
    상기 무선 통신 네트워크를 통해 서버로부터 오디오 및 비디오 프레임을 수신하는 과정과,
    상기 오디오 프레임을 순차적으로 버퍼링하는 과정과,
    상기 오디오 프레임을 버퍼링하여 재생 출력하는 시간과 상기 수신된 비디오 프레임의 재생 출력 시간을 비교하여, 상기 무선 통신 네트워크로부터 수신된 상기 오디오 프레임과 상기 무선 통신 네트워크로부터 수신된 상기 비디오 프레임의 동기 일치 여부를 확인하는 과정과,
    상기 오디오 프레임의 재생시간을 기준으로 상기 비디오 프레임의 재생시간을 조절하여 출력하는 과정을 포함함을 특징으로 하는 동기화 방법.
  10. 제 9항에 있어서, 상기 순차적으로 버퍼링하는 과정은
    재생출력버퍼 내에 버퍼링된 오디오 프레임의 수를 모니터링하여 계산하는 단계와,
    상기 버퍼링된 오디오 프레임의 수를 기 설정된 제1 임계값과 비교하는 단계와,
    상기 재생출력버퍼 내에 버퍼링된 오디오 프레임의 수를 상기 제1 임계값이하로 유지되도록 버퍼링하는 단계를 포함함을 특징으로 하는 동기화 방법.
  11. 제 9항에 있어서, 상기 동기 일치 여부를 확인하는 과정은
    처음 동기를 맞추어 시작된 기준시간으로부터 현재까지 재생된 오디오 프레임의 재생시간을 구하는 단계와,
    상기 처음 동기를 맞추어 시작된 기준시간으로부터 현재까지 재생된 비디오 프레임의 재생시간을 구하는 단계와,
    상기 두 재생시간의 차이 값을 기 설정된 제2 임계값과 비교하여 상기 오디오와 상기 비디오의 동기 일치 여부를 확인하는 단계를 포함함을 특징으로 하는 동기화 방법.
  12. 제 11항에 있어서,
    상기 차이 값이 상기 제2 임계값보다 작으면 동기가 맞는 것으로 판단하고, 상기 제2 임계값보다 크면 동기 맞지 않는 것으로 판단함을 특징으로 하는 동기화 방법.
  13. 제 9항에 있어서, 상기 재생시간을 조절하여 출력하는 과정은
    상기 오디오 프레임의 재생 타이밍과 동일한 타이밍에 재생되도록 상기 비디오 프레임의 기준값을 미세조정하여 오디오 프레임과의 재생시간을 맞추는 과정임을 특징으로 하는 동기화 방법.
  14. 제 13항에 있어서, 상기 기준값은
    최초 동기가 일치한 상태로 재생된 비디오 프레임의 시작 시간을 의미함을 특징으로 하는 동기화 방법.
KR1020080123018A 2008-12-05 2008-12-05 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법 Expired - Fee Related KR101535827B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080123018A KR101535827B1 (ko) 2008-12-05 2008-12-05 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법
US12/632,048 US8873928B2 (en) 2008-12-05 2009-12-07 Audio and video synchronization apparatus and method in wireless communication network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080123018A KR101535827B1 (ko) 2008-12-05 2008-12-05 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100064532A KR20100064532A (ko) 2010-06-15
KR101535827B1 true KR101535827B1 (ko) 2015-07-27

Family

ID=42231179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080123018A Expired - Fee Related KR101535827B1 (ko) 2008-12-05 2008-12-05 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법

Country Status (2)

Country Link
US (1) US8873928B2 (ko)
KR (1) KR101535827B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020055802A1 (en) * 2018-09-12 2020-03-19 Roku, Inc. Adaptive switching in a whole home entertainment system
WO2020055803A1 (en) * 2018-09-12 2020-03-19 Roku, Inc. Dynamically adjusting video to improve synchronization with audio

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112012017687A2 (pt) * 2010-02-12 2016-04-05 Thomson Licensing método para reprodução de conteúdo sincronizado
US9077774B2 (en) * 2010-06-04 2015-07-07 Skype Ireland Technologies Holdings Server-assisted video conversation
US8861925B1 (en) * 2010-07-28 2014-10-14 Intuit Inc. Methods and systems for audio-visual synchronization
WO2012057733A1 (en) * 2010-10-25 2012-05-03 Hewlett-Packard Development Company, L.P. Systems, methods, and devices for adjusting video conference parameters to maintain system performance
WO2012151756A1 (en) * 2011-05-12 2012-11-15 Intel Corporation Techniques for synchronization of audio and video
EP2866457B1 (en) * 2012-06-22 2019-03-20 Saturn Licensing LLC Reception device, and synchronous processing method therefor
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US9406089B2 (en) * 2013-04-30 2016-08-02 Intuit Inc. Video-voice preparation of electronic tax return
EP3149909A4 (en) 2014-05-30 2018-03-07 Placemeter Inc. System and method for activity monitoring using video data
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US10997428B2 (en) 2015-06-01 2021-05-04 Placemeter Inc. Automated detection of building entrances
FR3054944B1 (fr) * 2016-08-04 2018-07-20 Damien Plisson Systeme de decodage et de lecture audio
US10945101B2 (en) * 2018-11-02 2021-03-09 Zgmicro Nanjing Ltd. Method, device and system for audio data communication
CN109729404B (zh) * 2019-01-15 2021-06-04 晶晨半导体(上海)股份有限公司 一种基于嵌入式的播放器的同步调制方法
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
KR102306226B1 (ko) * 2019-12-19 2021-09-29 애드커넥티드 주식회사 디지털 콘텐츠의 비디오 및 오디오 재생 동기화를 맞추는 방법 및 이를 이용한 장치
KR102251148B1 (ko) * 2020-05-06 2021-05-12 (주)유브릿지 오디오-비디오 동기화 처리 방법
FR3112444A1 (fr) * 2020-07-10 2022-01-14 Sagemcom Broadband Sas Procédé, système et programme de diffusion de signaux audio/vidéo avec un ajustement automatique de latence
CN114390335B (zh) * 2020-10-22 2022-11-18 华为终端有限公司 一种在线播放音视频的方法、电子设备及存储介质
CN112911387A (zh) * 2021-01-29 2021-06-04 联想(北京)有限公司 处理方法及处理装置
US12407890B2 (en) * 2021-02-26 2025-09-02 Ad Connected, Inc. Method of synchronizing playback of video and audio of digital content and device using the same
CN114268830B (zh) * 2021-12-06 2024-05-24 咪咕文化科技有限公司 云导播同步方法、装置、设备及存储介质
CN114339326B (zh) * 2021-12-10 2023-06-27 北京拼响天空文化科技有限公司 基于视频播放的声画同步方法、装置和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012709A1 (en) * 2004-07-14 2006-01-19 Seiko Epson Corporation Method of generating video reproduction synchronizing signal, program for generating video reproduction synchronizing signal, timing control apparatus, method of synchronously reproducing video and audio, program for synchronously reproducing video and audio, and apparatus for synchronously reproducing video and audio
US20070006060A1 (en) * 2005-06-30 2007-01-04 Microsoft Corporation GPU timeline with render-ahead queue

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100792987B1 (ko) * 2003-04-17 2008-01-08 샤프 가부시키가이샤 송신기, 수신기, 와이어리스 시스템, 제어 방법, 제어프로그램 및 그것을 기록한 컴퓨터 판독 가능한 기록 매체
US8238376B2 (en) * 2005-04-13 2012-08-07 Sony Corporation Synchronized audio/video decoding for network devices
JP2007010855A (ja) * 2005-06-29 2007-01-18 Toshiba Corp 音声再生装置
JP4556789B2 (ja) * 2005-07-07 2010-10-06 ソニー株式会社 再生装置、再生方法および再生プログラム
TWI322949B (en) * 2006-03-24 2010-04-01 Quanta Comp Inc Apparatus and method for determining rendering duration of video frame

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012709A1 (en) * 2004-07-14 2006-01-19 Seiko Epson Corporation Method of generating video reproduction synchronizing signal, program for generating video reproduction synchronizing signal, timing control apparatus, method of synchronously reproducing video and audio, program for synchronously reproducing video and audio, and apparatus for synchronously reproducing video and audio
US20070006060A1 (en) * 2005-06-30 2007-01-04 Microsoft Corporation GPU timeline with render-ahead queue

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020055802A1 (en) * 2018-09-12 2020-03-19 Roku, Inc. Adaptive switching in a whole home entertainment system
WO2020055803A1 (en) * 2018-09-12 2020-03-19 Roku, Inc. Dynamically adjusting video to improve synchronization with audio
US10805658B2 (en) 2018-09-12 2020-10-13 Roku, Inc. Adaptive switching in a whole home entertainment system
US11611788B2 (en) 2018-09-12 2023-03-21 Roku, Inc. Adaptive switching in a whole home entertainment system

Also Published As

Publication number Publication date
US8873928B2 (en) 2014-10-28
US20100142927A1 (en) 2010-06-10
KR20100064532A (ko) 2010-06-15

Similar Documents

Publication Publication Date Title
KR101535827B1 (ko) 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법
EP2752023B1 (en) Method to match input and output timestamps in a video encoder and advertisement inserter
US8743284B2 (en) Synchronizing remote audio with fixed video
US9420332B2 (en) Clock compensation techniques for audio decoding
US10097874B2 (en) System and method for monitoring media stream buffers of media output devices in order to synchronize media content output
US11812103B2 (en) Dynamic playout of transition frames while transitioning between playout of media streams
EP2292013B1 (en) Synchronization of media stream components
US20070019931A1 (en) Systems and methods for re-synchronizing video and audio data
JP2019532576A (ja) オーディオとビデオのマルチモード同期レンダリング
US7760770B2 (en) Stream data processing apparatus and stream data processing method
US20080152309A1 (en) Method and apparatus for audio/video synchronization
US8526501B2 (en) Decoder and decoding method based on video and audio time information
KR20210030478A (ko) 대체 컨텐츠의 종료를 피대체 컨텐츠의 종료에 맞춰 정렬하는 것을 지원하기 위한 대체 컨텐츠 재생의 동적 감소
KR19980087431A (ko) 타이밍 정정 방법 및 장치
JP2009272945A (ja) 同期再生装置
KR100981378B1 (ko) 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품
US8842740B2 (en) Method and system for fast channel change
JP2006190213A (ja) メディア再生装置
JPWO2016017266A1 (ja) 映像情報再生装置及び再生方法
US20080008100A1 (en) Transport Stream Processing Device and Transport Stream Processing Method
JP5186094B2 (ja) 通信端末、マルチメディア再生制御方法、およびプログラム
JP2003037574A (ja) ストリーム送信装置および受信装置、ならびに送受信方法
JP2009141458A (ja) 記録再生装置、記録再生方法及びプログラム
JPWO2005122578A1 (ja) 映像受信装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20190707

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20190707