KR20020031654A

KR20020031654A - 푸리에 변환을 이용한 워터마크 삽입 및 추출 방법 및 장치

Info

Publication number: KR20020031654A
Application number: KR1020000062195A
Authority: KR
Inventors: 황준성
Original assignee: 황준성; 토탈테크날리지 (주)한국지점
Priority date: 2000-10-23
Filing date: 2000-10-23
Publication date: 2002-05-03

Abstract

본 발명은 디지털 오디오 컨텐츠를 주파수 영역으로 변환하여 컨텐츠 저작자에 대한 정보 등을 포함하는 워터마크를 삽입하고 추출하는 장치 및 방법에 관한 것이다.

본 발명은 청각 심리 모델을 이용하여 인간이 인식하기 어려운 주파수 영역에 워터마크를 삽입하는 기술을 개시한다. 본 발명에 따른 워터마크 삽입 기술은 디지털 오디오를 주파수 영역으로 고속 푸리에 변환하여 일반 청취자가 청취하기에 어려운 임계 주파수 영역에 워터마크를 삽입함으로써, 방대한 분량의 정보를 다양한 공격에도 강하게 삽입할 수 있다. 또한, 본 발명은 삽입된 워터마크를 추출하는 단계에 있어서 원본을 필요로 하지 않으므로, 재생을 위해 원본을 필요로 하는 종래 기술에 비해서 그 유용성이 현저하다.

그 결과, 본 발명은 인터넷을 비롯한 다양한 정보통신망에서 불법 유통되고 있는 디지털 오디오 컨텐츠에 대하여 일일이 원본과 대조해 워터마크를 추출하지 아니하고도, 디지털 오디오 컨텐츠의 불법 유통을 방지하고 불법 사용자를 색출할 수 있도록 한다.

Description

푸리에 변환을 이용한 워터마크 삽입 및 추출 방법{METHOD AND APPARATUS FOR EMBEDDING WATERMARKS USING FAST FOURIER TRANSFORMED DATA}

본 발명은 디지털 오디오 신호에 워터마크를 삽입하고 추출하는 장치 및 방법에 관한 것으로, 특히 디지털 오디오 데이터를 주파수 영역(frequency domain)으로 푸리에 변환(Fourier Transform)을 통한 주파수 변환을 수행한 후에 워터마크를 삽입하는 기술에 관한 것이다.

최근 디지털 신호 기술과 네트워크 기술이 발달함에 따라 멀티미디어 정보를 손쉽게 받아보는 세계가 도래하고 있다. 특히, 디지털 오디오는 엠펙(MPEG) 등의 기술로 압축되어 인터넷을 통해 쉽게 전파되는 특성이 있으므로, 네트워크 상에서 불법적으로 유통되는 사례가 빈번히 발생할 수 있다.

이와 같이, 디지털 오디오에 대한 저작권을 보호하기 위하여 데이터에 워터마크(watermark)를 삽입하거나, 공개키 알고리즘 등을 사용하여 데이터를 암호화하는 기술이 이용되고 있다. 디지털 오디오의 워터마킹 방법은 하위 비트의 부호화 방법, 위상 부호화 방법, 확산 스펙트럼(spread spectrum) 방법 및 반향 은폐 방법 등의 네 가지로 분류할 수 있다.

종래 기술에 따른 하위 비트 조작 기법은 디지털 오디오의 샘플링 지점 (sampling point)에서, 비교적 중요도가 떨어지는 비트 스트림(bit stream)을 워터마크로 대치하는 기술이다. 예를 들어, 샘플링 비율이 8 KHz인 경우, 워터마크 정보는 최대 8 Kbit/sec가 될 수 있다.

또한, 위상 부호화 기법은 디지털 오디오 데이터의 위상을 변화시키는 기법으로서, 통상적으로 음의 크기에는 민감하지만 위상의 변화에는 둔감하다는 점을 이용하여 위상 데이터에 워터마킹을 삽입하는 기술이다. 즉, 위상 부호화 기법은 시간 영역의 음악 데이터를 주파수 영역의 데이터로 변환을 한 후에, 워터마킹을 삽입하여 변화시킨 후에 다시 시간 영역으로 변화시키는 기술이다.

그런데, 위상의 변화는 매우 민감하므로 손실 압축에 쉽게 상실되어질 수 있다. 한편, 종래 기술에 따른 확산 스펙트럼 기법은 워터마크 정보를 어느 한 곳에 치우치지 않도록 광역화하여 확산시키는 기술로서, 종래의 주파수 영역법에 비하여 손실 압축과 재표본화 및 다른 데이터 조작에 대하여 내성을 지닌다.

그러나, 확산 스펙트럼 기법은 노이즈 레벨을 유지하고 들리지 않도록 오디오 신호의 0.5% 범위 내의 크기로 워터마크를 약하게 하여야 하는 제한이 있다. 한편, 종래 기술에 따른 반향 은폐 기법은 디지털 오디오의 신호를 손실시키지 않으면서 강인한 워터마크를 삽입할 수 있는 기술로서, 메아리를 이용하여 정보를 숨길 수 있다. 그러나, 반향 은폐 기법은 반향 첨가 또는 선형 예측 켑스트럼과 같이 제3 영역에서 쉽게 마크가 깨질 수 있다는 단점을 지니고 있다.

따라서, 본 발명의 제1 목적은 디지털 오디오에 적용할 수 있는 워터마킹 방법과 장치를 제공하는데 있다.

본 발명의 제2 목적은 상기 제1 목적에 부가하여, 디지털 오디오에 많은 정보를 추가로 삽입함으로써 청취자에게 다양한 정보를 제공할 수 있는 워터마킹 방법 및 장치를 제공하는데 있다.

본 발명의 제3 목적은 상기 제1 목적에 부가하여, 디지털 오디오 원본 없이 워터마킹을 수행할 수 있는 방법 및 장치를 제공하는데 있다.

본 발명의 제4 목적은 상기 제1 목적에 부가하여, 주파수 영역에서 워터마킹을 수행할 수 있는 방법 및 장치를 제공하는데 있다.

도1은 본 발명에 따른 디지털 오디오 워터마크 삽입 및 추출 시스템의 구성을 나타낸 도면.

도2는 본 발명에 따른 워터마크 생성 장치의 구성을 나타낸 도면.

도3은 본 발명에 따른 워터마크 삽입 장치의 구성을 나타낸 도면.

도4a 및 도4b는 본 발명에 따라 디지털 오디오 신호를 주파수 변환기를 통해 주파수 영역의 스펙트럼으로 고속 푸리에 변환을 수행한 결과를 나타낸 도면.

도5는 쿠토시스 값이 큰 경우와 작은 경우의 주파수 스펙트럼의 분포를 비교하여 나타낸 도면.

도6은 본 발명에 따라 주파수 영역에 워터마크가 삽입된 음악을 나타내는 도면.

도7은 본 발명에 따른 워터마크 추출 장치의 구성을 나타낸 도면.

<도면의 주요 부분에 대한 부호의 설명>

50 :워터마크 정보

51 :워터마크 데이터

100 :워터마크 생성 장치

200 :워터마크 삽입 장치

400 :워터마크 추출 장치

710 :비트 변환부

711 :강도 조절부

712 :주파수 변환부

713 :임계 주파수 측정부

714 :워터마크 합산부

715 :주파수 역변환부

716,716' :고속 푸리에 변환된 디지털 오디오의 스펙트럼의 예

717,717' :고속 푸리에 변환된 디지털 오디오의 스펙트럼의 예

718, 719 :워터마크를 삽입할 영역

720 :중간값 측정부

721 :비트 정보 변환부

780 :중간값

783 :워터마크 삽입 영역

상기 목적을 달성하기 위하여, 본 발명은 디지털 오디오 데이터를 푸리에 변환(Fourier Transform)을 통한 주파수 변환을 수행한 후 워터마크를 삽입하는 기술로서, 고속 푸리에 변환(Fast Fourier Transform; FFT)을 이용하기 때문에 워터마킹 수행 속도가 신속하고, 임계 주파수 측정기와 청각 심리 모델을 이용함으로써 많은 양의 정보를 디지털 오디오 데이터에 삽입할 수 있다.

본 발명은 많은 양의 정보를 삽입할 수 있도록 함으로써, 저작권자에 대한 상세한 설명은 물론 다양한 부가 정보를 삽입하는 것을 가능하게 한다. 즉, 보통 사람이 민감하게 청취할 수 있는 최대 주파수는 약 6 KHz로서, 보통 디지털 오디오가 44.1 KHz의 주파수 대역폭을 지니는 것을 감안하면, 1초에 약 38.1 Kbit의 데이터를 워터마킹할 수 있게 된다.

본 발명에서는 워터마크를 삽입하기 위하여 임계 주파수 측정기를 사용하고 있으며, 음악 저작권에 대한 정보 뿐 아니라 노래 가사 정보를 삽입하거나, 데이터 통신에도 이용될 수 있다.

이하에서는, 첨부 도면 도1 내지 도7을 참조하여 본 발명에 따른 워터마킹 기술을 상세히 설명한다.

도1은 본 발명에 따른 디지털 오디오 워터마크 삽입 및 추출 시스템의 구성을 나타낸 도면이다. 도1을 참조하면, 워터마크 정보(50)가 워터마크 생성 장치 (100)를 통해서 비트 스트림(bit stream) 신호(W; 51)로 변환된다. 변환된 워터마크 비트 신호(W; 51)는 워터마크 삽입 장치(200)를 통하여 원음 OM(x) 디지털 오디오 신호(40)에 삽입되고, 워터마크가 삽입된 음악(210) WM(x)은 워터마크 추출 장치(400)가 내장된 오디오 플레이어에서 실시간으로 워터마크 인증을 하게 된다. 이 때에, 불법 사용자의 오디오 플레이어에서는 음악이 연주되지 않으며, 정당한 사용자 인증 정보(51)가 추출된 경우에만 음악이 연주되게 할 수 있다.

도2는 본 발명에 따른 워터마크 생성 장치(100)의 구성을 나타낸 도면이다. 도2를 참조하면, 워터마크 정보(50)는 비트 변환부(710)를 통해, 예를 들어 10101110… 등의 바이너리 비트 스트림으로 변환되고 강도 조절부(711)로 입력된다. 본 발명에 따른 강도 조절부(711)는 임계 주파수 측정부(713)에서 생성된 값(S)에 따라 바이너리 비트 스트림 워터마크 정보의 강도를 조절한다.

도3은 본 발명에 따른 워터마크 삽입 장치(200)의 구성을 나타낸 도면이다. 도3을 참조하면, 워터마크 삽입 장치(200)는 주파수 변환부(712), 임계 주파수 측정부(713), 워터마크 합산부(714), 주파수 역변환부(715) 등을 포함할 수 있다. 본 발명에 따른 주파수 변환부(712)는 원본 음악(40) OM(x)를 입력받고, 푸리에 변환(Fourier Transform)을 통해 주파수 성분으로 변환된다.

본 발명의 양호한 실시예로서, 주파수 변환부(712)는 고속 푸리에 변환 회로 (Fast Fourier Transform; FFT) 또는 고속 푸리에 변환 프로그램 모듈로써 구현할 수 있다. 예를 들어서, 44.1 KHz의 밴드 대역폭을 지니는 CD 음악의 경우, 2048 비트 데이터에 대하여 고속 푸리에 변환을 수행하면 좌우 대칭인 주파수 스펙트럼을 얻게된다.

도4a 및 도4b는 본 발명에 따라 디지털 오디오 신호를 주파수 변환기를 통해주파수 영역의 스펙트럼으로 고속 푸리에 변환을 수행한 결과를 나타낸 도면이다. 도4a를 참조하면, 원본 음악(40) 데이터가 넓은 주파수 대역(716, 716')에 대해 분포하는 것으로서, 이 경우 도4a에 도시된 사각형 영역(718)에 워터마크를 삽입할 때 삽입되는 워터마크 양은 적은 반면에 워터마크 강도가 크게 된다.

한편, 도4b를 참조하면, 원본 음악의 데이터가 비교적 좁은 주파수 대역 (717, 717')에 대해 분포하고 있으므로, 주파수 성분이 낮은 대역(719)에 워터마크를 삽입하더라도, 청취자가 워터마크가 삽입되었음을 인식할 가능성이 높게 된다. 따라서, 이 경우에는 삽입되는 워터마크 양은 크지만 워터마크의 강도를 강도 조절부(711)를 통해 작게 하여 삽입하게 된다. 이 때에, 강도 조절부(711)가 조절하는 강도 조절은 아래의 식에 의해 결정될 수 있다.

if F(t) ≤ Threshold_Freq 1, Scale = α1

if Threshold_Freq 1 < F(t) ≤ Threshold_Freq 2, Scale = α2

if Threshold_Freq 2 < F(t), Scale = α3

여기서, F(t)는 임계 주파수 측정부(713)에서 측정된 주파수를 의미하고, 스케일(Scale)은 워터마크의 강도를 의미한다. 본 발명의 양호한 실시예로서, 스케일 강도는 임의 값을 설정할 수 있다.

F(t)는 도4a 및 도4b에 도시된 사각형 영역(718, 719)을 정의하기 위하여 주파수 성분 스펙트럼 값이 현저히 작아지기 시작하는 부분의 코너 주파수(corner frequency)를 지정하게 된다. 이 때에, 임계 주파수 측정부(713)는 주파수 크기가작아지는 부분의 검지를 위하여 청각 심리 모델을 이용할 수 있다. 본 발명에 따른 양호한 실시예로서, 사람의 인식이 용이하지 않은 10 KHz 이상을 기준으로 F(t)를 산출할 수 있다.

본 발명에 따른 임계 주파수 측정부(713)는 워터마크 삽입 영역(718, 719)의 산출을 위하여 쿠토시스(kurtosis)를 측정할 수 있다. 수학적으로 쿠토시스 값이 클수록 데이터 분포는 중앙에 집중하게 되고, 그 값이 영(zero) 이하인 경우에는 평활한 분포를 지니게 된다.

도5는 쿠토시스 값이 큰 경우와 작은 경우의 주파수 스펙트럼의 분포를 비교하여 나타낸 도면이다. 도5를 참조하면, 쿠토시스 값이 커서 데이터 분포가 중앙 집중적일수록, 고주파 값들이 저주파 값들보다 작다는 것을 의미하므로 작은 변화에 대해서도 청취자들은 쉽게 인식할 수 있게 된다. 따라서, 이 경우 워터마크를 삽입할 영역(718, 719)을 좀 더 고주파 쪽으로 이동하여야만, 청취자가 인식할 수 없는 영역에 워터마크를 삽입할 수 있게 된다.

이와 반대로, 쿠토시스 값이 작으면 작을수록 고주파 성분과 저주파 성분의 값의 크기가 크지 않게 됨을 의미하므로, 고주파 성분의 작은 변화에를 청취자가 감지하는 것이 용이하지 않게 된다. 따라서, 이 경우에는 앞의 경우보다 좀 더 저주파 쪽으로 임계 주파수를 설정함으로써 방대한 양의 워터마크 정보를 삽입할 수 있다.

한편, 쿠토시스를 구하는 산출식은 다음과 같다.

여기서,이고 N은 데이터의 개수를 나타낸다.

본 발명에 따른 일 실시예로서, 44.1 KHz의 대역폭 음질을 지니는 오디오 데이터에 대하여 2,048 비트로 샘플링을 한 경우, 쿠토시스 식으로부터 산출된 임계 주파수가 7 KHz부터 22.05 KHz에 해당하는 총 1,024 비트의 약 2/3 영역(대략 650 비트)에 대하여 워터마크 데이터를 삽입할 수 있게 된다.

다시 도3을 참조하면, 임계 주파수 측정기(713)로부터 출력된 신호는 워터마크 비트 스트림과 합산하는 워터마크 합산부(714)로 입력되고, 주파수 역변환부 (715)에 의해 시간 영역(time domain)의 디지털 오디오로 변환된다. 본 발명에 따른 워터마크 삽입 장치의 특징은 워터마크가 원본 신호에 합산될 때에, 워터마크 삽입 영역(718, 719)의 주파수 성분 스펙트럼 값을 중간값(average)으로 모두 선 처리된 후에 삽입이 되어진다는 점이다. 이와 같이, 중간값으로 선 처리함으로써 워터마크 비트 스트림을 합산하는 과정에서, 그 값이 "0" 또는 "1" 인가에 따라 스펙트럼 값을 상향 또는 하향함으로써 정보를 싣게 된다.

도6은 본 발명에 따라 주파수 영역에 워터마크가 삽입된 음악을 나타내는 도면이다. 도6을 참조하면, 워터마크 삽입 영역(783)을 전술한 쿠토시스 산출을 통하여 정의하고, 선 처리 과정을 통해 중간값(780)으로 평활화시키는 작업을 수행한다. 이어서, 비트 스트림으로 코딩(coding)된 워터마크 데이터(51)의 데이터 값에 따라, 그 값이 "1"인 경우에는 스펙트럼 값을 상향(781)하고, "0"인 경우에는 하향(782)함으로써 바이너리 정보를 싣게 된다.

도7은 본 발명에 따른 워터마크 추출 장치(400)의 구성을 나타낸 도면이다. 도7을 참조하면, 워터마크 추출기(400)는 주파수 변환부(712), 임계 주파수 측정부 (713), 중간값 측정부(720), 비트 정보 변환부(721) 등을 포함할 수 있다. 워터마크가 삽입된 디지털 오디오(210) WM(x)가 입력되면, 주파수 변환부(712)를 통하여 주파수 성분 스펙트럼으로 변환시킨 후 임계 주파수 측정부(713)를 통해 워터마크가 삽입되어 있는 위치를 파악한다.

전술한 내용은 후술할 발명의 특허 청구 범위를 보다 잘 이해할 수 있도록 본 발명의 특징과 기술적 장점을 다소 폭넓게 개설하였다. 본 발명의 특허 청구 범위를 구성하는 부가적인 특징과 장점들이 이하에서 상술될 것이다. 개시된 본발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 구조의 설계나 수정의 기본으로서 즉시 사용될 수 있음이 당해 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.

또한, 본 발명에서 개시된 발명 개념과 실시예가 본 발명의 동일 목적을 수행하기 위하여 다른 구조로 수정하거나 설계하기 위한 기초로서 당해 기술 분야의 숙련된 사람들에 의해 사용되어질 수 있을 것이다. 또한, 당해 기술 분야의 숙련된 사람에 의한 그와 같은 수정 또는 변경된 등가 구조는 특허 청구 범위에서 기술한 발명의 사상이나 범위를 벗어나지 않는 한도 내에서 다양한 변화, 치환 및 변경이 가능하다.

이상과 같이, 본 발명은 디지털 오디오 신호의 FFT 변환 주파수 스펙트럼에 대하여, 청취자가 청취에 둔감한 주파수 영역에 워터마크를 삽입함으로써 방대한 양의 워터마크 정보를 삽입할 수 있게 된다.

Claims

디지털 오디오 신호에 삽입할 워터마크를 비트 스트림으로 생성하는 단계;

상기 디지털 오디오 신호를 주파수 영역으로 푸리에 변환하는 단계;

상기 푸리에 변환된 디지털 오디오 신호의 주파수 영역 스펙트럼에 대하여 임계 주파수를 산출하는 단계; 및

상기 임계 주파수부다 큰 주파수의 대역에 대하여 주파수 영역에서 상기 워터마크 비트 스트림이 삽입되는 단계

를 포함하는 디지털 오디오 워터마크 삽입 방법.
제1항에 있어서, 상기 임계 주파수를 측정하는 단계는 상기 디지털 오디오 신호의 푸리에 변환 스펙트럼에 대하여 쿠토시스(kurtosis)를 산출하여 임계 주파수를 설정하는 것을 특징으로 하는 디지털 오디오 워터마크 삽입 방법.
제1항에 있어서, 상기 임계 주파수보다 큰 주파수 대역에 대하여 상기 워터마크 비트 스트림이 삽입되는 단계는

상기 워터마크 비트 스트림의 강도를 조절하는 단계

를 더 포함하는 것을 특징으로 하는 디지털 오디오 워터마크 삽입 방법.
제1항에 있어서, 상기 임계 주파수보다 큰 주파수 영역에 대하여 상기 워터마크 비트 스트림이 삽입되는 단계는

상기 임계 주파수보다 큰 주파수 영역에 대하여 중간값을 측정하는 단계;

상기 임계 주파수보다 큰 주파수 영역에 대하여, 상기 워터마크 비트 스트림의 데이터 값이 "1" 또는 "0" 중 어느 값인가에 따라 각각의 데이터 포인트에서의 푸리에 변환 값을 상기 중간값보다 큰 값 또는 작은 값으로 설정함으로써 상기 워터마크 비트 스트림을 삽입하는 단계

를 포함하는 디지털 오디오 워터마크 삽입 방법.
제1항에 있어서, 상기 디지털 오디오 워터마크 삽입 방법은

상기 워터마크 비트 스트림을 주파수 영역에서 삽입하는 단계 이후에 후속하여 워터마킹된 주파수 스펙트럼을 푸리에 역변환하는 단계

를 포함하는 디지털 오디오 워터마크 삽입 방법.
워터마크가 삽입된 디지털 오디오 신호를 주파수 영역으로 푸리에 변환하는 단계;

상기 푸리에 변환된 디지털 오디오 신호의 주파수 영역 스펙트럼에 대하여 임계 주파수를 산출하는 단계;

상기 임계 주파수보다 큰 주파수 대역에 대하여 중간값을 측정하는 단계;

상기 임계 주파수보다 큰 주파수 대역에 대하여, 각각의 데이터 포인터에서 상기 중간값을 기준으로 제로크로싱을 판단하여 워터마크 비트 스트림 정보를 추출하는 단계

를 포함하는 디지털 오디오 워터마크 추출 방법.
디지털 오디오 신호에 삽입될 워터마크를 바이너리 형태의 비트 스트림으로 변환하는 워터마크 생성부;

상기 디지털 오디오 신호를 푸리에 변환하는 주파수 변환부;

상기 주파수 변환기가 변환한 디지털 오디오의 스펙트럼에 대하여 임계 주파수를 산출하는 임계 주파수 측정부; 및

상기 임계 주파수보다 큰 주파수 대역에 대하여 중간값을 산출하고 상기 워터마크 비트 스트림의 데이터 값이 "0" 또는 "1"인지 여부에 따라 상기 중간값을 기준으로 스펙트럼 값을 상향 또는 하향 조정함으로써 워터마크를 삽입하는 워터마크 합산부

를 포함하는 디지털 오디오 워터마크 삽입 장치.
제7항에 있어서, 상기 워터마크 생성부는 상기 워터마크 비트 스트림의 강도를 조절하는 강도 조절부를 더 포함하는 것을 특징으로 하는 디지털 오디오 워터마크 삽입 장치.
제7항에 있어서, 상기 디지털 오디오 워터마크 삽입 장치는 상기 워터마크 합산부에 후속하여 워터마크가 삽입된 디지털 오디오 스펙트럼을 푸리에 역변환하는 역주파수 변환부를 포함하는 디지털 오디오 워터마크 삽입 장치.
워터마크가 삽입된 디지털 오디오 신호를 푸리에 변환하는 주파수 변환부;

상기 주파수 변환기가 변환한 디지털 오디오의 스펙트럼에 대하여 임계 주파수를 산출하는 임계 주파수 측정부;

상기 임계 주파수보다 큰 주파수 영역에 대하여 중간값을 산출하는 중간값 측정부; 및

상기 중간값 측정기가 산출한 중간값을 기준으로, 상기 임계 주파수보다 큰 주파수 대역에 대하여 제로크로싱을 판단함으로써 워터마크 비트 스트림 정보를 추출하는 비트 정보 변환부

를 포함하는 디지털 오디오 워터마크 추출 장치.