KR20020013664A - 청각장애인을 위한 인터넷 자막방송용 서버, 클라이언트구현 - Google Patents

Abstract

본 발명은 인터넷 자막 방송을 위한 자막 데이터의 형식을 정의하고, 음성과 자막 데이터를 전송하는 서버와 클라이언트를 구현하여 청각 장애인으로 하여금 정보의 전달 및 쌍방향 인터넷 정보 제공에 목적이 있으며, 이와 같은 목적은 공중파 방송자막의 형식과 내용을 고려한 인터넷 자막방송에 의해 달성된다.

Description

청각장애인을 위한 인터넷 자막방송용 서버, 클라이언트 구현{An Implementation of the Internet Caption Broadcasting Server and Client for the Hearing Impairment}

자막 방송이란 원방송을 내보내면서 동시에 화면 하단 혹은 상단에 자막을 내보내는 방송을 말하는데 문자 방송이 일시 정지된 화면을 보내는 것과 같이 문자나 그림을 송출하는 방송인데 비해 자막 방송은 방송의 내용 곧, 언어나 노래 또는 상황을 동시에 자막으로 처리하여 시청자들이 볼 수 있도록 해 주는 방송이다. 미국에서는 개방 자막 방송이 1970년 최초로 실시되었으나 많은 일반 시청자들이 시각적 주위 분산을 불평하였다. 이에 기술적 연구를 거듭한 결과 국립 자막 연구소는 필요 공간, 장비용원을 확보하여 1980년 3월 최초로 폐쇄 자막 방송을 실시하였으며 1990년 10월 텔레비전 자막 표시 장치법이 제정되어 1993년 7월 1일부터는 13인치 이상의 모든 텔레비전에 폐쇄 자막 디코더를 내장하도록 요구하는 법을 시행하였다. 멀티미디어 데이터와 통합된 자막에 관한 연구는 사회 복지 연구 분야를 중심으로 이루어지고 있다. 특히 주목할 만한 것은 마이크로소프트사의 SAMI (Synchronized Accessible Media Interchange)와 1998년 표준으로 제정된 SMIL (Syncronized Multimedia Integration Language)이 있다. 공중파에서는 이미 기실시된 자막방송이 인터넷 방송이 생활화되어가고 있는 지금 존재하지 않고 있다. 일부 인터넷 방송에서는 정보의 전달을 위한 자막방송이 아니라 단순한 번역을 위해 자막 방송을 하고 있다.

본 발명에서는 자막을 통해 음성의 청취에는 미숙하나, 시각의 사용이 자유로운 청각 장애인을 표준 모델로 한정하여 인터넷을 통한 정보 전달을 용이하게 하는 인터넷 자막 전송용 서버와 클라이언트를 설계하고, 이를 구현하였다.이를 위해서는 자막 자료와 미디어 자료를 동기화 시키기 위한 연구가 필요하고, 인터넷방송을 통해 실시간으로 전송하기 위하여 RTP(Real Time Protocol), RTSP(Real Time Streaming Protocol), RTCP(Real-time Transport Control Protocol) 및 RSVP (Resource Reservation Protocol)등에 관한 전송 표준과 디스크 관리기법, 흐름 제어에 관한 연구가 필요하다. 뿐만 아니라 자막의 실시간 전송과 디지털 데이터의자막 형식이 표준화되지 않고 있으며, 국내 방송 및 적용환경에 대한 연구가 미비한 실정이다.

도 1은 자막 데이터의 구조

도 2은 RTSP / RTP 에서의 자료의 흐름

도 3은 자막 서비스의 레이어 구성

도 4는 자막 파일의 예제

도 5은 자막데이터의 분석 모듈

도 6은 자막방송용 클라이언트 실행

도 1은 자막 데이터의 구조를 표현한 것으로 음성파일의 예를 설명한 것이다. 음성 파일에 데이터의 흐름에 따라 진행되는 시간의 경과를 기준으로 하여 자막 파일과 동기화를 이루는 과정을 보여 주고 있다. 즉, 시작 시간으로부터 경과한 시간을 자막 파일에 기록함으로써 미디어 파일과 자막 파일의 동기화를 이룰 수 있는 것이다.

HTML과 같이 해당 자막을 모두 전송한 후에 사용할 수 있도록 설계된 구조이므로 자막 데이터를 실시간으로 제공하는데는 부적절하며, 정보통신부 공중파 자막 방송 표준안(TTA.KO-07.0010)에 포함된 국문 자막 모드를 효율적으로 표현하기 어렵다. 그러므로 실시간 전송을 통해 실행하는 구조와 국문 자막 모드를 표현하기 위해 새롭게 자막 문서 형식을 정의했다.

실시간 전송을 위한 전송 프로토콜로 RTSP과 미디어 데이터의 전송을 위한 RTP를 사용하였다. RTSP는 인터넷 주문형 오디오 서버로부터 저장된 정보의 실행과 제어를 위한 프로토콜이다.

본 발명에서 전송되는 데이터 패킷은 모두 RTP 패킷구성을 따른다. RTP패킷 구성 중 패이로드는 어플리케이션의 데이터형식을 나타내는 식별자이다. 시퀀스번호는 RTP 데이터 패킷이 보내어지는 순서를 나타내며 송신 순서대로 증가된다. 이것은 수신 측에서 패킷손실을 검사하거나 비순차 패킷을 재조립할 때도 사용된다.시간 표시는 RTP 데이터 패킷의 샘플링 순간을 반영하는데 샘플링 순간은 음성 데이터와의 동기화나 지터 계산을 위하여 반드시 시간적으로 선형적인 클럭부터 시작해야 한다. 이외에도 멀티캐스트 응용을 위한 SSRC, CSRC, CC 필드등이 정의되어 있다. 여기에 미디어 데이터와 자막 데이터를 추가하여 전송한다.

도 2는 RTSP와 RTP 프로토콜을 이용한 미디어 파일 전송 초기화 및 데이터 전송 흐름을 표현한 것이다. 데이터의 흐름 제어는 RTSP가 담당하며, 데이터 전송에는 RTP가 활용됨을 보여주고 있다

도 3은 인터넷 자막 방송을 위한 서비스 계층을 도식화한 것으로 서버가 데이터 관리, 패킷 구성, 전송 계층을 거쳐 데이터를 전송하는 좌측의 과정과 클라이언트가 전송 받은 데이터를 재구성하여 출력하는 우측의 단계별 과정을 나타내었다.기능별 계층을 나누어 구현함으로써 서비스를 위한 미디어 파일 형식이 변형되었을 경우 기능의 변경과 추가가 용이하다. 계층의 구성은 데이터 관리 계층, 전송 패킷의 구성 및 재생 계층, 전송 계층으로 나뉘며, 이는 서버와 클라이언트에서 역순으로 기능한다. 데이터의 관리 계층은 자막과 음성, 소리 정보를 일치시키고 음성과 자막을 전송하기 위한 경과 시간을 체크하는 등의 역할을 담당한다.

도 4는 정의된 자막 태그를 이용하여 3분 분량의 음성데이터와 동기화된 자막 파일을 구성이다. 자막 파일의 헤더에는 <TITLE>과 </TITLE>을 이용하여 제목을 입력할 수 있도록 하였다. 전체 내용의 제목과 부수적인 내용을 포함하며 다음과 같은 형식을 가진다.

<TITLE> .... 제목 .. </TITLE>

자막 파일과 연결되는 미디어 파일에 관한 정보는 <MEDIAFILE>로 표기하며 다음과 같은 형식을 가진다.

<MEDIAFILE filename='..full path filename..' fileformat='..fileformat..'>

여기에서 "fileformat"은 "wav", "avi", "mpg"등의 미디어 파일의 확장자를 뜻한다. 언어 구분은 크게 한글 자막 모드, 영문 자막 모드로 나뉘어진다. 한글 모드는 <KOREAN>, </KOREAN>로 표현되며, 영문 모드는 <ENGLISH>, </ENGLISH>로 표시한다. 이는 KSC-5601 문자 표준을 따른다

자막 문자열과 음성, 소리 정보의 동기화를 위해 다음과 같은 태그를 이용한다. "media elapsed time"은 미디어의 경과 시간을 밀리초 단위로 설정 표시한다.

<TIMESTAMP = media elapsed time color='..text color..' bgcolor='..background color..'>

<TIMESTAMP>에서 다음 <TIMESTAMP>태그가 나타날 때까지는 해당 시간동안 출력해야할 내용을 담고 있으며 이를 단위 블록이라 한다. 이 내용은 음성과 동기화 된 문자, 문자 정보모드에 해당하는 내용, 비상 자막 내용, 프로그램 등급 표시가 이에 포함된다. 클라이언트 프로그램은 <TIMESTAMP> 블록의 모든 내용을 분석하며 "color"와 "bgcolor"의 속성을 두어서 특정 경과시간에 해당하는 문자열의 색과 바탕색을 지정할 수 있도록 하였다. 문자열의 색과 바탕색을 지정하지 않을 경우 "color='black' bgcolor='white'"를 기본 속성으로 가진다

프로그램 등급 표시는 프로그램의 등급을 표시하여 미성년자 보호를 위한 것이다. 형식은 다음과 같다.

<RATEMODE='aaa'>

비상 자막의 형식은 다음과 같으며 모든 자막에 우선한다.

<ALARMCAPTION>, </ALARMCAPTION>

형식은 각 태그에 "color" 속성에 적용된다. 색상의 종류는 다음과 같이 정의한다. 예를 들어 <FONT color="red" bgcolor="white" size="11"> .... </FONT>라 하면 바탕은 흰색, 글자색은 붉은 색을 가지게 된다

밑줄의 지정 및 해제는 제어 코드를 사용하여 할 수 있도록 하였으며 형식은 다음과 같다.

<U>와 </U>

기울임체 지정 및 해제 형식은 다음과 같다.

<I>과 </I>

자막의 속성상 전달된 문자열이 한 개 이상의 문단으로 구성될 경우 문단의 구분을 위해 줄 넘김을 해야한다. 형식은 다음과 같다.

<BR>

도 5은 문장 해석 모듈의 구성이다. 문장 해석 및 태그 축출을 위한 해석 모듈은 해쉬 테이블과 단일 링크 리스트 프로그램 기법을 이용하여 구성하였다. 이 해석 모듈은 서버 측에서 문서해석과 자막 해석중 경과 시간 검출을 통한 자막 스트링의 선택에 사용된다. 클라이언트 측에서는 받아들인 자막의 동작 모드 검출, 문장의 속성 변경을 위해 사용된다. 해석 모듈은 전체 문서를 해석하여 두 가지 형식의 데이터를 축출한다. 첫 번째 데이터는 자막과 함께 서비스될 미디어 파일, 자막 전체의 색상, 자막 모드 등을 결정하는 것으로 자막 데이터 전체에 공통으로 통용되는 옵션이다. 이는 단순 데이터 구조체로 표현하여 프로그램 하였다. 두 번째 데이터는 자막 자체 혹은 동작 모드에 따른 자막 데이터와 그에 포함된 속성, 인덱스, 변경된 동작 모드이다. 이는 정해진 문법 내에서 자유롭게 표현될 수 있기 때문에 해쉬와 단일 링크 리스트를 이용하여 프로그램 하였다.

도 6은 실행 화면으로 자막 태그가 클라이언트 프로그램을 통해 출력되는 모습이다. 글자색의 조절은 "<FONT color=red> 김영삼(金泳三) </FONT>" 태그를 이용하였으며, "<U>을 면제하는 것을 비롯한 공안, 노동사범 및 모범수 </U>" 태그는 밑줄을 나타낸다. "<FONT color=red size=25>특별사면, 복권 및 가석방한다 </FONT>"를 이용하여 크기, 색깔을 변경한다.

.

Claims (1)

1. 음성과 자막 데이터를 전송하는 서버와 클라이언트

   실시간 인터넷 자막 방송을 위한 문장 해석 모듈

   음성과 자막을 동기화시키기위한 태그