[go: up one dir, main page]

JP2003536113A - デジタルオーディオコンテンツ著作権の保護及びコピー防止のための電子透かしの埋込み/抽出方法、及びこれを用いた装置 - Google Patents

デジタルオーディオコンテンツ著作権の保護及びコピー防止のための電子透かしの埋込み/抽出方法、及びこれを用いた装置

Info

Publication number
JP2003536113A
JP2003536113A JP2002503870A JP2002503870A JP2003536113A JP 2003536113 A JP2003536113 A JP 2003536113A JP 2002503870 A JP2002503870 A JP 2002503870A JP 2002503870 A JP2002503870 A JP 2002503870A JP 2003536113 A JP2003536113 A JP 2003536113A
Authority
JP
Japan
Prior art keywords
digital watermark
digital
audio content
watermark
digital audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002503870A
Other languages
English (en)
Other versions
JP3905473B2 (ja
Inventor
シン・ソンウォン
キム・ジョンウォン
リー・ハンホ
パク・チャンモク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Markany Inc
Original Assignee
Markany Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Markany Inc filed Critical Markany Inc
Publication of JP2003536113A publication Critical patent/JP2003536113A/ja
Application granted granted Critical
Publication of JP3905473B2 publication Critical patent/JP3905473B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • G11B20/00891Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 デジタルオーディオコンテンツに電子透かしを埋め込むにおいて、デジタルオーディオコンテンツの最小可聴限界を用いるモデルが生成され、擬似乱数列がマスクされ、デジタルオーディオコンテンツに埋め込まれる電子透かしが生成される。デジタルオーディオコンテンツに埋め込まれている電子透かしを抽出するためには、デジタルオーディオコンテンツから生成される周波数特性に基づく最小可聴限界を有する聴覚心理モデルが形成され、擬似乱数列から電子透かしが生成される。電子透かしを生成した後、電子透かしの長さは隣接デジタルオーディオコンテンツ間に信号処理関係によって調整される。電子透かしとデジタルオーディオコンテンツとの間の相関関係を測定することにより、電子透かしの埋込みの有無を検知することができる。

Description

【発明の詳細な説明】
【0001】 (技術分野) 本発明は、デジタルコンテンツに対する電子透かしの埋込みと抽出方法に関し
、特に周期的特性が強く、小さい変化にもコンテンツの品質により影響を受けや
すいデジタルオーディオコンテンツに対する電子透かしの埋込みと、電子透かし
が埋め込まれたデジタルオーディオコンテンツに対する信号処理攻撃が加えられ
て、元来のコンテンツが歪曲された状態である場合においても、電子透かしを抽
出することができるようにしたデジタルオーディオコンテンツに対する電子透か
しの埋込み/抽出方法及びこれを用いた埋込み/抽出装置に関する。
【0002】 (背景技術) デジタルオーディオコンテンツに対する電子透かしの埋込み/抽出に対しては
、Laurence et al.の“Digital Watermarks f
or Audio Signals”(Laurence Boney,A.H.
Tewfik,and K.N.Hamdy,in Proc.1996 IEE
E Int.Conf.Multimedia Computing and Sy
stems,Hiroshima,Japan,June 17−23,199
6,pp.473−480)において、心理音響モデルを用いた電子透かしの埋
込みに対しては、Swanson et al.の“Robust data hi
ding for images”(M.D.Swanson,B.Zu,and
A.H.Tewfik,in Information Hiding:Sec
ond Int.Workshop(Lecture Notes in Comp
uter Science),vol.1525,D.Aucsmith,Ed
.Berlin,Germany:Springer−Verlag,1998
,pp.169−190)において提案された。
【0003】 Laurence et al.及びSwanson et al.により開示さ
れている電子透かしの埋込み方法は既に一般化した技術であり、Laurenc
eet al.により開示される技術は、オーディオコンテンツをフレーム毎に
分析しなければならないため、MP3エンコーダ並みの多くの計算量とメモリを
必要とし、現実的に商品化し難い。
【0004】 また、電子透かし関連研究において最も広く用いられる相関度を用いた電子透
かし検出方法としては、Cox et al.の“A Secure Robust
Watermark for Multimedia”(I.J.Cox,J.
Kilian,T.Leighton,and T.Shamoon in R.
J.Anderson,Ed.,“Information hiding:F
irst International Workshop”in Lectur
e Notes in Computer Science,vol.1174,B
erlin,Germany:Springer−Verlag,1996,p
p.183−206)と、“Secure Spread Spectrum W
atermarking for Images,Audio,and Vide
o”(I.J.Cox,J.Kilian,T.Leighton,and T
.Shamoon in Proc.IEEE Int,Conf,Image P
rocessing(ICIP’96),Lausanne,Switzerl
and,Sept.16−19,1996,pp.243−246)の研究にお
いて用いた方法と同様であるが、オーディオコンテンツが有している周期的特性
により、単純な相関度のみでは、コンテンツが攻撃を受けた後に電子透かしの検
出率が顕著に低下される問題点が現れる。
【0005】 さらに、デジタルオーディオは、特性上周辺信号の大きさと極めて密接な関係
を有している。従って、オーディオそのものの信号波形を見ると、互いに異なる
周波数を有する正弦波(サイン曲線やコサイン曲線)の和で構成されている。即
ち、正弦波は周期関数であって周期的特性を有しているため、デジタルオーディ
オの品質に損傷を与えない強度で電子透かしを埋め込まなければならないので、
オーディオの周期的特性に相関情報が隠れてしまい、感知されない場合がしばし
ば発生する。
【0006】 国際公開特許WO9803014は、先に指摘した問題点を解決するための方
案として、デジタルコンテンツ信号と電子透かしとの相関関数を求める前に、電
子透かしが埋め込まれたデジタルコンテンツ信号と電子透かし信号を予測フィル
タでフィルタリングして電子透かし情報を強化する改善案を提案した。前記国際
公開特許においては、デジタルコンテンツと電子透かしを相関させ、その相関結
果を評価する評価ステップを含む情報信号に埋め込まれた電子透かしを感知する
方法を開示する。この時、デジタルコンテンツの特性を考慮して、電子透かしが
埋め込まれたデジタルコンテンツと電子透かしを予測フィルタリングし、相関ス
テップをフィルタリングされた信号及びフィルタリングされた電子透かしに適用
するようにする電子透かし検出方法を開示している。
【0007】 しかし、前記公開特許においては、イメージを対象として実行例を説明してい
るが、イメージの場合は、オーディオに比して周期性が少なく、電子透かしが埋
め込まれたデジタルコンテンツの予測フィルタでフィルタリングする方法は、多
くの計算時間を要求するため、実時間の適用が要求されるシステムには適用する
ことができない。
【0008】 (発明の開示) 従って、本発明の目的は、前記のような問題点を解決しようとするものであり
、オーディオ音質に影響を与えず、且つ実時間で電子透かしの埋込みと抽出が可
能な方法及びこれを用いた装置を提供することである。
【0009】 本発明の他の目的は、全ての電子透かしの埋込み/抽出動作が実時間で処理可
能であり、MP3プレーヤーのような携帯用装置(portable devi
ce)にも適用することができるデジタル電子透かしの埋込み/抽出方法及びこ
れを用いた装置を提供することである。
【0010】 本発明のまた他の目的は、人の聴覚的認知能力で区分できない領域を用いて電
子透かしを設計し、これを埋め込む電子透かしの埋込み方法とこれを用いた装置
を提供することである。
【0011】 前記における電子透かしの埋込みは、時空間(time−spatial s
pace)領域においてなされ、電子透かしを埋め込む前に、本発明で提案する
デジタルオーディオ心理音響モデルであるオーディオコンテンツの最小可聴限界
曲線(Audio Absolute threshold curves of
hearing)を用いてマスキングする方法を提供する。
【0012】 本発明のまた他の目的は、デジタルオーディオの本質的な特性である周期的特
性を排除し、埋め込まれた電子透かしを検出することができる方法及びこれを用
いた装置を提供することである。
【0013】 前記のような目的を達成するために、本発明によるデジタルオーディオコンテ
ンツに電子透かしを埋め込む方法は、
【0014】 所定長さの擬似乱数列を、前記デジタルオーディオコンテンツの聴覚的特性に
影響を及ぼさないように最小可聴限界フィルタリングして電子透かしを生成する
ステップと、電子透かしをデジタルオーディオコンテンツに埋め込むステップと
を含むことを特徴とする。
【0015】 本発明によるデジタルオーディオコンテンツから電子透かしを抽出する方法は
、デジタルオーディオコンテンツから発生される周波数特性による最小可聴限界
を有する聴覚心理モデルを形成して電子透かしを生成するステップと、互いに隣
接するデジタルオーディオコンテンツから該当デジタルオーディオコンテンツに
対する信号処理の有無を感知して電子透かしの長さを調節するステップと、長さ
が調節された電子透かしとデジタルオーディオコンテンツとの間の相関関係を測
定して電子透かしの埋込みを検出するステップとを含むことを特徴とする。
【0016】 前記の本発明による電子透かしの検出方法における電子透かしの検出ステップ
は、第一に、デジタルコンテンツに加えられた信号処理が電子透かしの強度及び
遅延にどのぐらい影響するかを判断する。特に、電子透かしの一部が消えた場合
は、これに対する対処がなされなければ、成功的に電子透かしを抽出することが
できないため極めて重要である。
【0017】 第二に、デジタルオーディオデータに埋め込まれている電子透かしの信号を強
化しなければならない。電子透かしがデジタルコンテンツの音質や音色に影響を
及ぼすと、いくら成功的に電子透かしを識別することができるとしても、無意味
なものになる。結局、電子透かし信号は、微細に信号に埋め込まれるしかないた
め、微細な電子透かし信号を強化しなければならない。
【0018】 第三に、電子透かしが埋め込まれたデジタルコンテンツと電子透かしとの相互
相関関数から電子透かしの識別信号のみを選別的に抽出しなければならない。電
子透かし信号を抽出する過程において、必然的にコンテンツ信号と電子透かし信
号との相関性により正確な抽出が難しくなる。従って、埋め込まれた電子透かし
と電子透かし信号との相互相関関数で発生される信号からオーディオの周期的特
性を除去する信号処理技法を用いた電子透かし検出方法を用いる。
【0019】 本発明においては、デジタルオーディオのように周期性が強い信号に埋め込ま
れた電子透かしを効果的に感知することができる方案として、単純且つ簡単な処
理方法を用いて高速に抽出することができる方式を提供する。この抽出方式は、
オーディオ信号処理(アナログ−デジタル変換、サンプリング率の変換、リニア
スピード変換、損失圧縮、反響の埋込み等)等の攻撃を受けた後にも、オーディ
オコンテンツの質的低下がオーディオの商品的価値を維持する限り、埋め込まれ
た情報の抽出が可能である。
【0020】 以下、添付図面を参照して、本発明によるデジタルオーディオコンテンツ著作
権の保護及びコピー防止のための電子透かしの埋込み/抽出方法、及びこれを用
いた装置をより具体的に説明する。
【0021】 (発明を実施するための最良の形態) 先ず、本発明によるデジタルオーディオコンテンツに対する電子透かしの埋込
み/抽出方法及びこれを用いた装置において、デジタルオーディオコンテンツに
対する電子透かしの埋込み方法及びこれを用いた装置について図面を参照して説
明する。
【0022】 図1は、本発明による電子透かしの埋込み装置の構成を概念的に示すブロック
図である。図1における100は、デジタルコンテンツの特性を考慮して聴覚的
な品質に最小限の影響のみを及ぼすようにするための電子透かしを設計するため
の電子透かし設計部であり、200は、電子透かし設計部で生成された電子透か
しを入力されるデジタルコンテンツに埋め込むための電子透かし埋込み部である
【0023】 電子透かし設計部200は、擬似乱数列(pseudo−random se
quence)pn(n)2が入力されて対象デジタルコンテンツs(n)3
の聴覚的な品質に最小限の影響を及ぼすことのないように電子透かしw(n)5
を設計する。設計された電子透かしは、電子透かし埋込み部200により入力さ
れるデジタルコンテンツs(n)のエネルギーの量に合わせて調節され、デジ
タルコンテンツに加算されて電子透かしが埋め込まれたデジタルコンテンツsm (n)を提供する。
【0024】 図2は、図1における電子透かし設計部100の概略的な構成を示すブロック
図であり、入力された擬似乱数列pn(n)2からデジタルコンテンツs(n
)と融和され得る電子透かしを設計する構成を図式化したものである。電子透か
し設計部100は、聴覚(視覚)心理モデル110と、認知限界帯域フィルタ(
最小可聴限界フィルタ)120と、埋込み対象であるデジタルコンテンツの特性
を模写するための主信号模写フィルタ130とを含む。
【0025】 電子透かし設計部100に入力される擬似乱数列pn(k)は、認知限界帯域
フィルタ120により、聴覚心理モデル110から提供されるモデルを用いてフ
ィルタリングされた信号x(n)に変換される。その信号x(n)がデジタルコ
ンテンツの特性と類似する性質の電子透かしを作るように、デジタルコンテンツ
の一般的な特性を示す合成フィルタ係数aを用い、主信号模写フィルタ130
を経て信号w(n)が提供される。この時、認知限界帯域フィルタ120は、オ
ーディオ信号に対する統計的分析で算出した曲線で、音楽を聞く時の人の最小可
聴限界曲線をいう。
【0026】 通常、最小可聴限界とは、静かな時聴覚が感知することができる音の最小レベ
ルであり、静かな時に聴覚が感知することのできる雑音の限界を意味する。図9
に示すグラフ中のAは、この静かな時の最小可聴限界を示すものであり、音の周
波数(音の高低)によって異なる。即ち、同じ音量であっても、周波数の位置に
よって聞こえることも、また聞こえないこともある。
【0027】 しかし、本発明において意図しようとすることは、前記のような一般的な概念
としての最小可聴限界に対するものでなく、通常音楽が演奏される時に示される
最小可聴限界を意味するものである。即ち、図9のグラフBのように、互いに異
なるジャンルの音楽に対する周波数の分布を分析した結果として、最小限音楽が
演奏される時に聴覚が感知することのできる雑音の限界を意味するものである。
【0028】 このような基本的な用語に対する仮定下に、前記の過程を数学式で展開すると
次のとおりである。
【数1】 (1) を(2)に代入すれば、
【数2】 となる。ここで、aiは、自己回帰モデル(auto−regression(
AR)model)、移動平均モデル(moving−average(MR)
model)、自己回帰移動平均モデル(auto−regressive m
oving−average(ARMA)model)等の模型を用いデジタル
コンテンツの特性を抽出して得られる。
【0029】 また、apm(k)は、心理音響モデル110として用いられるデジタルオー
ディオの最小可聴限界フィルタ係数であり、心理音響モデルの最小可聴限界をデ
ジタルオーディオに汎用的に用いるために、オーディオ信号から発生される周波
数特性を分析して修正したものである。図9に示すグラフBは、総20曲余りの
多様なオーディオの周波数形態を分析して作ったものであって、オーディオの最
小限界曲線を示しており、該当グラフは次の式Y=P(1)x+P(2)x +…+P(7)x+P(8)(P:係数)で表され、Pは周波数帯による限界音
量を示す係数値を意味するものであり、次の[1.0568017426068
38e−026,−7.214332602361358e−022,1.80
9126572761631e−017,−1.94150259826730
7e−013,5.982813623951169e−010,4.2115
60372433627e−006,−3.420594737587419e
−002,8.533065083348841e+001]値を有する。前記
係数値は例示のためのものであり、オーディオの特性によって可変され得る。
【0030】 聴覚心理モデル110は、擬似乱数列pn(k)がデジタルコンテンツに埋め
込まれる時に聴覚的にコンテンツの品質を変形させて、電子透かしが埋め込まれ
ない信号に識別されることを防ぐ役割をする。一般に、人間の耳は、スペクトル
分析器(周波数を分解する機器)と同じ役割をするが、3kHz〜5kHz帯域
の周波数で発生する音には極めて敏感に反応し、10kHz以上の帯域の周波数
の音はほとんど区分できない特性を有する。
【0031】 聴覚心理モデル110は、まさしくこのような耳の周波数分解特性を用いて作
られたモデルであり、擬似乱数列をオーディオに埋め込む時、埋め込まれた情報
によりオーディオ音質の低下を最小化するためには、擬似乱数列の周波数を心理
音響モデルで分析されたオーディオの最小可聴限界曲線でマスキングする。マス
キングは、人間の耳に敏感な符号の信号は弱く調節し、鈍感な周波数帯域は元来
の大きさ又はそれ以上の成分を埋め込ませる。
【0032】 また、聴覚心理モデル110は、デジタルコンテンツと埋め込まれる電子透か
し信号w(n)が、デジタルコンテンツとコンテンツの品質の保存を維持しなが
ら、デジタル信号処理に強靭な特性を有するようにする。このような特性は、聴
覚心理モデル110を用いて擬似乱数列をマスキングする時、オーディオの周波
数特性によって信号の大きさが調節されるため、たとえ一部分の周波数成分が除
去されても、残りの部分の成分で電子透かしを十分に検出することができるよう
に補う。
【0033】 しかも、聴覚心理モデル110は、ほとんどの損失圧縮(MP3、AAC、W
MA)を通じたファイルの変換時に用いられている装置であるため、電子透かし
情報の損失を最小化するようにする。より簡略な電子透かし過程を必要とする時
は、聴覚心理モデル110は省略してもよい。この過程は、電子透かしとオーデ
ィオ信号の特徴をできるだけ同一の形態に変調するためのものであり、計算可能
容量の限界がある場合は、省略してもよい。
【0034】 電子透かし設計部100から生成された電子透かし信号w(n)5は、電子透
かし埋込み部200に入力され、デジタルコンテンツに電子透かしが埋め込まれ
た信号が最終的に出力される。これを、図3に示す電子透かし埋込み部200の
構成を参照して検討する。電子透かし埋込み部200は、デジタルコンテンツ信
号s(n)3のエネルギー量を測定して埋め込まれる電子透かしの強度g;9
を計算するための利得計算器210と、利得計算器210により得られた強度に
よって埋め込まれる電子透かしw(n)5の大きさを調節する電子透かし強度調
節器220と、強度が調節された電子透かしg・w(n)10とデジタルコンテ
ンツ信号を互いに合算して、電子透かしが埋め込まれたデジタルオーディオコン
テンツsm(n)6を出力する電子透かし信号合算器230とを含む。
【0035】 利得計算器210は、デジタルコンテンツのエネルギー量を音量の大きさ又は
周波数分布特性を用いて測定する。音量の大きさは音楽の音の大きさであって、
フレーム毎の最大値が基準になり、周波数分布はオーディオが表している周波数
の範囲で、オーディオを構成する周波数が全帯域に均一に分布されているか、特
定部分に局限されているかによるエネルギー量を測定する。
【0036】 これをより具体的に記述すると、電子透かしの埋込み強度の決定時に考慮され
る事項はオーディオ音量の大きさであって、オーディオ音量の大きさに比例して
電子透かしの強度が変わらなければ音質の損傷を減らすことができない。このた
めに、フレームサイズほどのオーディオデータを持ってきてフレームサイズをN
で分ける。Nで分ける理由は、フレームサイズが大き過ぎてオーディオ音量の差
異が大き過ぎ、電子透かしの強度が大きくなることを防止するためである。例え
ば、1470個のフレームサイズは、147個のサブフレームサイズで分けてそ
れぞれのサブフレームサイズの最大値を基準にして電子透かしの強度を決定する
【0037】 また、オーディオはジャンル別に周波数の分布範囲が異なるため、電子透かし
の強度を単純に音量の大きさのみを用いて決定すると、ある音楽には極めて微細
に、ある音楽には極めて強く埋め込まれる。従って、音楽のジャンルを考慮して
周波数の分布範囲を用いて電子透かしの強度を決定する。 前記のような構成を有する電子透かし埋込み部200における処理過程を数式で
展開すると、次のとおりである。 sm(n)=s(n)+g・w(n) (4) 数式1乃至3を展開すると、次のような数式が得られる。 s= {s(jN+n),n=0,1,…,N−1,j=0,1,…,J−1}(5)
【数3】 sm={sm,sm,…,sm} (7)
【0038】 デジタルコンテンツの全領域に電子透かしが埋め込まれると、最終的に電子透
かしが埋め込まれたデジタルコンテンツsmが得られる。ここで、デジタルコ
ンテンツをN個の大きさで分けてJ個で構成する時、Nは擬似乱数列の長さにな
り、Jはデジタルコンテンツの長さをNで分けた整数値になる。本出願において
は、オーディオ信号を大きさがNのフレームで分けて各フレームに電子透かしを
埋め込むようになる。電子透かしは擬似乱数列を用いるため、電子透かしの大き
さはオーディオのフレームの大きさであるNになり、従って、Jはフレームの個
数になる。
【0039】 以下、前記の図1乃至図3に示す電子透かし埋込み装置により電子透かしが埋
め込まれたデジタルオーディオコンテンツに対する電子透かしの抽出方法及びこ
れを用いた装置について図面を参照して説明する。
【0040】 図4は、本発明によるデジタルコンテンツに埋め込まれた電子透かし情報を検
出するための電子透かし検出装置の構成を概略的に示すブロック図である。図4
における電子透かし検出装置は、以前の電子透かし埋込み装置において用いられ
たものと類似する構成を有する電子透かし設計部300と、デジタルコンテンツ
の変調の有無を判断するための信号変化感知部400と、電子透かし設計部30
0における電子透かしとデジタルコンテンツに埋め込まれた電子透かしとを比較
して電子透かしを検出する検出部500と、検出結果によって該当情報の認証作
業を行う電子透かし情報認証部600とを含む。
【0041】 先ず、入力されるデジタルコンテンツに埋め込まれた電子透かしを検出するた
めに、電子透かし設計部300においては、発生された擬似乱数列を用いて電子
透かしw(n)5を生成し、これを信号変化感知部400に伝達する。デジタル
コンテンツの場合、電子透かしが埋め込まれる当時と比較して同一の形態で伝達
されるか、又は伝達過程等で種々の変形が加えられる場合もある。即ち、デジタ
ルコンテンツに加えられた信号処理が電子透かし情報の一部を除去する場合は、
これを識別して電子透かしの検出(感知)に支障が発生しないようにしなければ
ならない。このためには、電子透かしに対するリサンプリング過程を行う。
【0042】 このため、信号変化感知部400は、互いに隣接するコンテンツ信号sm
n)とsmj+1(n)を用いて、デジタルコンテンツに加えられた信号処理が
電子透かし検出部500に影響を及ぼすか否かを判別する。信号処理が影響を及
ぼす場合は、例えばデジタルコンテンツの進行速度を任意に変更した場合や一部
の信号を除去した場合は、電子透かしw(n)5をリサンプリングしてサンプリ
ングされた電子透かしwr(n)6を電子透かし検出部500に伝達する。若し
、デジタルコンテンツの変調がない場合は、電子透かしの長さには変化がないが
、変化が発生すると、電子透かしの長さであるnが
【外字1】 にリサンプリングされる。ここでは、デジタルコンテンツに変調が発生しなかっ
たとの仮定下に、数式と説明を展開する。
【0043】 電子透かし検出部500は、電子透かしが埋め込まれたデジタルコンテンツ信
号sm(n)から電子透かしの感知wr(n)のために、電子透かし設計部3
00で設計された電子透かしwr(n)が入力されてこの二つの信号間の相関情
報量c(n)を算出し、算出された相関情報は電子透かし情報認証部600を通
じて電子透かしの埋込みの有無及び埋め込まれた情報を抽出する。前記の構成に
おいては、電子透かし検出部500と電子透かし情報認証部600をそれぞれ区
分して記述したが、電子透かし検出部500一つで構成されてもよい。 このような電子透かしが埋め込まれたデジタルコンテンツからの検出過程を、図
5乃至7を参照してより具体的に説明する。
【0044】 図5は、電子透かしの検出のための電子透かし設計部を示すものであり、その
構成は、図2に示す構成と類似する。ただし、検出装置に含まれる電子透かし設
計部300においては、デジタルコンテンツに埋め込まれる電子透かしの強度を
調節する必要がないため、聴覚心理モデル310と認知帯域限界フィルタ320
とで構成される。前記の電子透かし設計部300の動作は、図2に示す構成と類
似するため、詳細な説明は省略する。
【0045】 図6は、図4における信号変化感知部400の構成を示す詳細ブロック図であ
る。図6における信号変化感知部400は、電子透かしがデジタルコンテンツに
埋め込まれる時、デジタルコンテンツの特性により変調したため、これを再び逆
に変換させるための電子透かし復元フィルタ410と、電子透かしが埋め込まれ
たデジタルコンテンツの自己相関情報を測定するための相関情報計算部420と
、デジタルコンテンツには電子透かしが同一に含まれる点を考慮し、調和平均を
用いて相関情報を強化させるための調和平均計算部430と、リサンプリング部
440とで構成される。
【0046】 信号変化感知部400においては、デジタルコンテンツの変化の有無を感知す
るために、隣接する二つのデジタルコンテンツ信号であるsm(n)3とsmj+1 (n)4を入力信号として受信する。前記の二つの信号が入力されると、
電子透かし復元フィルタ410は、電子透かしがデジタルコンテンツに埋め込ま
れる時デジタルコンテンツの特性により変調したため、これを再び逆に変換させ
る過程、即ち、デジタルコンテンツに埋め込まれた電子透かしの信号を元来の埋
込み前の状態に還元する過程を行う。しかし、検出過程においては、精巧な電子
透かしを設計するか、又は復元しなくても、抽出結果に大きな影響を及ぼさない
ため、この過程は省略してもよい。
【0047】 復元過程が完了されると、デジタルコンテンツの信号がどのように変化したか
を判断するために、電子透かしを用いず、電子透かしが埋め込まれたデジタルコ
ンテンツの自己相関情報を測定して判別する。相関情報計算部420は、デジタ
ルコンテンツ信号sm(n)とsmj+1(n)との間の相関情報を抽出する
。計算後には、調和平均計算部430においては、デジタルコンテンツに電子透
かしが同一に含まれているため、調和平均(ensemble average
)を用いて相関情報を強化させる。
【0048】 最後に、リサンプリング部440においては、電子透かし設計部300におい
て入力される電子透かしw(n)とデジタルコンテンツに含まれた電子透かしと
の間の相関関係を考慮し、デジタルコンテンツの変調がない場合は、電子透かし
の長さには変化がないが、変化が発生すると、電子透かしの長さであるnが
【外2】 にリサンプリングされた電子透かしwr(n)を出力する。
【0049】 前記におけるような過程からなる電子透かし間の相関性により発生された不要
な情報を除去するための過程を数式で表すと、次のとおりである。
【0050】 電子透かしが埋め込まれた隣接するデジタルコンテンツ信号sm(n)3と
smj+1(n)4を、電子透かし復元フィルタ410の一種である逆自己回帰
フィルタを通過させれば、次のように復元されたデジタルコンテンツ信号x(n
)9とy(n)10が得られる。
【数4】 ここで、sm(n)=w(n)+s(n)であるため、これを式(8)に代
入すれば、次の式が得られる。
【数5】 ここで、s(n)がランダムであり、
【外3】 であれば、次のように電子透かし情報と誤差項で表される。 x(n)=w(n)+e(n) (11) y(n)=w(n)+ej+1(n) (12)
【0051】 このように得られる二つの信号x(n)とy(n)は、相関情報計算部420
に入力されて相関情報量c(n)11が計算される。相関情報の計算後には、
これを用いて調和平均計算部430で調和平均を求める。調和平均は、オーディ
オ信号をN個の大きさで分け、これらのそれぞれをフレームというが、このよう
なそれぞれのフレームを足して平均した平均フレームを調和平均といい、次のよ
うな式で表される。
【数6】
【0052】 若し、デジタルコンテンツに加えられた信号処理が強度にのみ影響すると、こ
こで算出された信号c(n)は、初期の埋込み時に用いられた電子透かしの長さ
毎に最大値(又は最小値)のピークを求めることができる。例えば、ノイズの追
加又はフィルタリングを通じた電子透かし情報を弱くする攻撃のように、デジタ
ルコンテンツの長さには変化がなく、単純なノイズや信号処理攻撃時には、電子
透かし信号が埋め込まれる時に用いた電子透かし長さ(N)の周期でピークが示
される。
【0053】 しかし、ある信号処理がオーディオの長さを増減させたなら、
【外4】 の長さ毎にピークが示される。従って、この情報を用いて、電子透かしw(n)
をリサンプリングして得た電子透かし信号wr(n)を求める。リサンプリング
は、既存に知られた方式を用いればよく、高速処理を所望の場合は、単純にスプ
ライン補間法(spline extrapolation)を用いればよい。
【0054】 例えば、デジタルコンテンツの間に他のサンプル信号を埋め込んで、電子透か
しを見つけられないようにするデジタルコンテンツの長さに変化を与える攻撃(
代表的なものとして“pitch shift”)があり得る。このような場合
は、フレームの長さが変わるようになる。例えば、デジタルコンテンツの長さを
10%増加させると、電子透かしを埋め込む時に用いたフレームの大きさをnと
すれば、攻撃を受けた後のフレームの大きさはN*1.1になるため、電子透か
しを検出する過程で電子透かしの有無を確認する相関度のピーク値の発生もn*
1.1毎に示される。
【0055】 図7は、図4における電子透かし検出部500の細部構成を示すブロック図で
あり、電子透かしが埋め込まれたデジタルコンテンツと電子透かしとの相関情報
から電子透かしとの一致相関情報量のみを識別して抽出する構成を示すものであ
る。図7における電子透かし検出部500は、図6における信号変化感知部40
0で用いられた電子透かし復元フィルタ410と同一の機能を行う電子透かし復
元フィルタ410と、復元されたデジタルコンテンツ中における電子透かし信号
の強度を強化するための調和平均計算部520と、信号変化感知部400からの
電子透かしと電子透かしが埋め込まれたデジタルコンテンツとの間の相関情報を
計算するための相関情報計算器540と、計算された相関情報から電子透かし間
に発生された信号情報のみを検出するための高周波帯域通過フィルタ540とを
含む。
【0056】 前記の構成において、電子透かし復元フィルタ410と調和平均計算部410
は、前述した信号変化感知部400で用いられたものと同一の機能を行うもので
あるため、これらのそれぞれに対する説明は省略される。
【0057】 先ず、電子透かしをオーディオ信号の特性に合わせて変調して埋め込んだ場合は
、デジタルコンテンツに対しては電子透かし復元フィルタ過程を経る。数式で表
すと、次のとおりである。
【数7】 ここで、sm(n)は電子透かしが埋め込まれたデジタルコンテンツ信号、
は復元フィルタ係数である。電子透かしが埋め込まれた信号を強くするため
に、調和平均計算部520においては、デジタルコンテンツの周期性を除去する
と同時に、繰り返し埋め込まれた電子透かしを加える。このような計算を通じて
電子透かし信号を主信号、デジタルコンテンツ信号をノイズとみなす。この時、
デジタルコンテンツ信号s(n)がランダムであり、
【外5】 であれば、調和平均を通じて電子透かしx(n)を抽出することができる。 x(n)=w(n)+sj(n) (15)
【数8】 従って、
【外6】 のようになる。
【0058】 相関情報計算部530は、先に図6における相関情報計算部420と同一であ
る。この時、電子透かしとの相関情報がデジタルオーディオの周期的特性に隠れ
てほとんど識別されない。本発明においては、デジタルオーディオの周期的な特
性に隠れている電子透かしの相関情報を抽出する方法を提供する。オーディオ信
号の周期的な特性は低周波であるのに対し、相関情報は相当な高周波特性を帯び
ているとの事実を用いて、相関情報をハニングウィンドウ(hanning w
indow)として高周波帯域フィルタリングにより電子透かし情報のみを抽出
する。これを数式で表すと、
【数9】 であり、算出された相関情報c(n)を高周波帯域フィルタhw(n)でフィル
タリングしてデジタルオーディオの周期的性質を除去し、電子透かし相関情報を
抽出する。このように抽出された相関情報C(n)は、電子透かし情報と一致
する時点で相関量がそうでない場合より遥かに大きい値を示す。
【0059】 図8は、図4における電子透かし検出部500から得たC(n)から電子透
かしの埋込みの有無及び情報を抽出する電子透かし情報認証部600の構成を示
す。図8における電子透かし情報認証部600は、検出された電子透かしにおけ
るピークを検索するピーク検索部610と、検索されたピークによって電子透か
しの埋込みの有無を判別する電子透かし判別部620とで構成される。
【0060】 このような構成を有する電子透かし情報認証部600におけるピーク検索部6
10は、電子透かしが埋め込まれたデジタルコンテンツである場合、電子透かし
と一致される時点で示される特異解を検出する。即ち、所定の大きさ以上の値、
しきい値以上の値を有するピーク値があるか否かを検出する。この時、特異解が
示される時点は、埋込み過程で定義された一定の間隔で発生するため、予測が可
能である。
【0061】 電子透かし判別部620は、検出された特異解が相関情報の他の値より遥かに
大きい値を示す時、電子透かしが埋め込まれたデジタルコンテンツと、そうでな
い場合は、電子透かしがないデジタルコンテンツと判別する。また、埋込み過程
で電子透かし情報として‘10010011’を埋め込んだなら、ビット情報が
‘1’の場合は正のピークを、‘0’の場合は負のピークを示すため、容易に電
子透かし情報‘10010011’を抽出することができる。以下、次の実施例
を参照して、デジタルオーディオコンテンツに対する検出能力について検討する
【0062】 周期性が強いデジタルオーディオデータの電子透かし感知能力の比較 デジタルオーディオの場合は、イメージ、ビデオのような画像信号より高い周
期性を有しているため、既存に提案された電子透かし感知装置では電子透かしの
有無を判別し難い。これは、電子透かしが埋め込まれたデジタルオーディオと電
子透かしとの相関情報を求める時、電子透かしとの相関情報がデジタルオーディ
オそのものが有している強い周期性により隠れるためである。
【0063】 図10Aは、既存の相関情報算出方法で求めた結果であり、図10Bは、本発
明で提案した電子透かし感知方式を用いた結果である。図10Aにおける既存の
相関係数算出方式を用いる場合、オーディオの周期的な特性により電子透かしの
埋込みの有無を決定することができないのに対し、本発明で提案した電子透かし
感知方式で抽出する場合、図10Bに示されたように、電子透かしが一致される
時点で高い相関係数値を示すため、明らかな感知が可能である。
【0064】 損失圧縮に対する電子透かしの強靭性の評価 デジタルオーディオは、コンテンツの中で最も多い容量を必要とする。特にイ
ンターネットを用いた実時間の伝送のために、ISO/IEC 13818−7
(AAC)、ISO/IEC 14496−3(MPEG−4 AAC)、ISO
/IEC 11172−3(MP3)、Window Media Audio、
Twin−VQ等多数の圧縮アルゴリズムを用いている。このような損失圧縮に
対し、電子透かしが強靭でなければ、著作権の主張や保護に電子透かしを活用す
ることができないようになるため、損失圧縮後においても電子透かしを感知でき
なければならない。本発明で提案した電子透かしの埋込み及び感知方式を用いる
場合、現在知られている損失圧縮アルゴリズムに極めて強靭であり、圧縮後にお
いても電子透かしの有無が相関係数を通じて明らかに示される。図11は、損失
圧縮後に電子透かしを感知した結果である。
【0065】 ビット情報の埋込み及び情報復元方法の例 電子透かしの有無のみを判断しては著作権の保護及び経路の追跡が難しい。従
って、電子透かしの埋込み及び抽出装置は、電子透かしを通じて一定量の情報を
デジタルコンテンツに含ませなければならない。
【0066】 ここでは、4bit情報の有無を埋込み及び抽出する例を通じて情報埋込み方
法を示す。若し、‘1010’情報を埋め込もうとすれば、前述した電子透かし
埋込み過程において、ビット情報が‘1’の場合は正の相関を有するように電子
透かしを埋め込み、‘0’の場合は負の相関を有するように電子透かしを埋め込
む。このように繰り返して電子透かしを埋め込めば、より長い情報が容易に得ら
れる。また、長い情報を埋め込む場合、情報の順序を把握する必要がある。常に
同一の順序で情報が検出されるのではないため、k番目の信号は他のキー値を用
いて生成された電子透かしを埋め込むことにより、順序が乱れやすくなることを
防止することができる。
【0067】 例えば、電子透かしを‘1234’というキー値で生成して埋め込む時、一番
目のビット情報‘1’は‘1235’というキー値で生成して埋め込めば、この
信号のみは別途に生成された電子透かしに識別する。又は、電子透かしの強度の
大きさを調整して情報の開始点を見つけるようにしてもよい。図12は、4bi
t情報を埋め込んだ場合に抽出した結果を示す。図において右側の一番目のピー
クが開始点であることが分かる。
【0068】 (産業上の利用可能性) 前記のような本発明によるデジタルオーディオコンテンツに対する電子透かし
の埋込み時、電子透かしの生成のためにデジタルオーディオコンテンツの聴覚的
特性に影響を及ぼさないように聴覚心理モデルを形成し、最小可聴限界フィルタ
リングすることにより聴覚的にコンテンツの品質を変形させ、電子透かしが埋め
込まれない信号と識別されるのを防ぐ役割をする。また、聴覚心理モデルは、こ
のような人間のオーディオに対する周波数分解特性を用いて作られるため、電子
透かしをデジタルオーディオコンテンツに埋め込む時、埋め込まれた情報により
オーディオ音質の低下を最小化することができる。
【0069】 また、聴覚心理モデルは、デジタルコンテンツと埋め込まれる電子透かし信号
が、デジタルコンテンツとコンテンツの品質の保存を維持しながらデジタル信号
処理に強靭な特性を有するようにする。このような特性は、聴覚心理モデルを用
いて擬似乱数列をマスキングする時、オーディオの周波数特性によって信号の大
きさが調節されるため、たとえ一部分の周波数成分が除去されても、残りの部分
の成分で電子透かしを十分に検出することができるように補う。
【0070】 さらに、本発明によって埋め込まれた電子透かしの検出時には、電子透かしの
一部が消えた場合は、この電子透かしを成功的に抽出することができ、処理過程
中に電子透かし信号を強化する処理をしてデジタルオーディオコンテンツに含ま
れた電子透かしの検出をより容易にした。
【0071】 前記におけるように、本発明においては、デジタルオーディオのように、周期
性が強い信号に埋め込まれた電子透かしを効果的且つ高速に抽出することができ
る方式を提供する。この抽出方式は、オーディオ信号処理(アナログ−デジタル
変換、サンプリング率の変換、リニアスピード変換、損失圧縮、反響の埋込み等
)等の攻撃を受けた後にも、オーディオコンテンツの質的低下がオーディオの商
品的価値を維持する限り、埋め込まれた情報の抽出が可能である。
【0072】 本発明は、前記の実施例を参照して、特別に示され記述されたが、これは例示
のために用いられたものであり、本発明の属する分野における通常の知識を有す
る者であれば、添付の請求の範囲において定義されたように、発明の精神及び範
囲を外れない限り、様々な修正をすることができる。
【図面の簡単な説明】
【図1】 本発明による電子透かしの埋込み装置の構成を概念的に示すブロ
ック図である。
【図2】 図1における電子透かし設計部の概略的な構成を示すブロック図
である。
【図3】 図1の電子透かし埋込み部の概略的な構成を示すブロック図であ
る。
【図4】 本発明による電子透かしの検出装置の構成を概略的に示すブロッ
ク図である。
【図5】 図4における電子透かし設計部の概略的な構成を示すブロック図
である。
【図6】 図4における信号変化感知部の構成を示す詳細ブロック図である
【図7】 図4における電子透かし検出部の構成を示す詳細ブロック図であ
る。
【図8】 図4の電子透かし検出部における電子透かしの埋込みの有無及び
情報を抽出する電子透かし情報認証部の構成を概略的に示すブロック図である。
【図9】 最小可聴限界曲線を示すグラフである。
【図10A】 既存の相関情報算出方法で求めた結果を示すグラフである。
【図10B】 本発明で提案した電子透かし感知方式を用いた結果を示すグ
ラフである。
【図11】 損失圧縮後に電子透かしを感知した結果を示すグラフである。
【図12】 4bit情報を埋め込んだ場合に抽出した結果を示すグラフで
ある。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE,TR),OA(BF ,BJ,CF,CG,CI,CM,GA,GN,GW, ML,MR,NE,SN,TD,TG),AP(GH,G M,KE,LS,MW,MZ,SD,SL,SZ,TZ ,UG,ZW),EA(AM,AZ,BY,KG,KZ, MD,RU,TJ,TM),AE,AG,AL,AM, AT,AU,AZ,BA,BB,BG,BR,BY,B Z,CA,CH,CN,CR,CU,CZ,DE,DK ,DM,DZ,EE,ES,FI,GB,GD,GE, GH,GM,HR,HU,ID,IL,IN,IS,J P,KE,KG,KP,KZ,LC,LK,LR,LS ,LT,LU,LV,MA,MD,MG,MK,MN, MW,MX,MZ,NO,NZ,PL,PT,RO,R U,SD,SE,SG,SI,SK,SL,TJ,TM ,TR,TT,TZ,UA,UG,US,UZ,VN, YU,ZA,ZW (72)発明者 リー・ハンホ 大韓民国131−204ソウル、ジュンラング、 ミュンモク4ドン、シンジン、ガドン101 ホ (72)発明者 パク・チャンモク 大韓民国153−035ソウル、グムチョング、 シホン5ドン220−20番

Claims (30)

    【特許請求の範囲】
  1. 【請求項1】 デジタルオーディオコンテンツに電子透かしを埋め込む方法
    において、 所定の長さの擬似乱数列を、前記デジタルオーディオコンテンツの聴覚的特性
    に影響を及ぼさないように最小可聴限界フィルタリングして電子透かしを生成す
    るステップと、 前記電子透かしを前記デジタルオーディオコンテンツに埋め込むステップとを
    含むことを特徴とする電子透かし埋込み方法。
  2. 【請求項2】 前記最小可聴限界は、前記デジタルオーディオコンテンツが
    再生される時の聴覚が感知することのできる音の最小レベルであり、聴覚が感知
    することのできる雑音の限界を意味することを特徴とする請求項1に記載の電子
    透かし埋込み方法。
  3. 【請求項3】 前記電子透かしを生成するステップは、 前記デジタルオーディオコンテンツから発生される周波数特性による最小可聴
    限界を有する聴覚心理モデルを形成するステップと、 前記聴覚心理モデルにより前記擬似乱数列をフィルタリングするステップと、 前記フィルタリングされた擬似乱数列を前記デジタルオーディオコンテンツの
    一般的な特性を示す合成フィルタ係数を用いてフィルタリングするステップとを
    含むことを特徴とする請求項1に記載の電子透かし埋込み方法。
  4. 【請求項4】 前記聴覚心理モデルによる前記擬似乱数列のフィルタリング
    は、前記デジタルオーディオコンテンツの一般的な周波数特性によって大きさが
    調節されることを特徴とする請求項3に記載の電子透かし埋込み方法。
  5. 【請求項5】 前記デジタルオーディオコンテンツに前記電子透かしを埋め
    込むステップは、 前記デジタルオーディオコンテンツのエネルギー量を測定するステップと、 前記測定されたエネルギー量によって前記電子透かしの強度を調節するステッ
    プと、 前記強度が調節された電子透かしと前記デジタルオーディオコンテンツを互い
    に合算するステップとを含むことを特徴とする請求項1に記載の電子透かし埋込
    み方法。
  6. 【請求項6】 前記エネルギー量の測定は、前記デジタルオーディオコンテ
    ンツの音量の大きさを用いてなることを特徴とする請求項5に記載の電子透かし
    埋込み方法。
  7. 【請求項7】 前記エネルギー量の測定は、前記デジタルオーディオコンテ
    ンツの周波数分布特性を用いてなることを特徴とする請求項5に記載の電子透か
    し埋込み方法。
  8. 【請求項8】 デジタルオーディオコンテンツから電子透かしを抽出する方
    法において、 前記デジタルオーディオコンテンツから発生される周波数特性による最小可聴
    限界を有する聴覚心理モデルを形成して擬似乱数列から電子透かしを生成するス
    テップと、 前記電子透かしと前記デジタルオーディオコンテンツとの間の相関関係を測定
    して電子透かしの埋込みを抽出するステップとを含むことを特徴とする電子透か
    し抽出方法。
  9. 【請求項9】 前記電子透かしの生成ステップの後に、互いに隣接するデジ
    タルオーディオコンテンツから該当デジタルオーディオコンテンツに対する信号
    処理の有無を感知して前記電子透かしの長さを調節するステップをさらに含むこ
    とを特徴とする請求項8に記載の電子透かし抽出方法。
  10. 【請求項10】 前記電子透かしの生成ステップは、 前記デジタルオーディオコンテンツから発生される周波数特性による最小可聴
    限界を有する聴覚心理モデルを形成するステップと、 前記聴覚心理モデルにより前記擬似乱数列をフィルタリングして前記電子透か
    しを生成するステップとを含むことを特徴とする請求項9に記載の電子透かし抽
    出方法。
  11. 【請求項11】 前記電子透かしの長さを調節するステップは、 前記隣接するデジタルオーディオコンテンツに対して電子透かしの埋込み時に
    なされた信号処理に対して再び元来の形態に復元するステップと、 前記復元された隣接するデジタルオーディオコンテンツ間の相関情報を抽出す
    るステップと、 前記相関情報によって前記電子透かしをリサンプリングするステップとを含む
    ことを特徴とする請求項10に記載の電子透かし抽出方法。
  12. 【請求項12】 前記抽出ステップの後に、前記相関情報を強化するための
    ステップをさらに含むことを特徴とする請求項11に記載の電子透かし抽出方法
  13. 【請求項13】 前記復元ステップは、逆自己回帰フィルタによりなること
    を特徴とする請求項11に記載の電子透かし抽出方法。
  14. 【請求項14】 前記相関情報を強化するステップは、調和平均の計算を行
    うことを特徴とする請求項12に記載の電子透かし抽出方法。
  15. 【請求項15】 前記電子透かしの埋込みを検出するステップは、 前記隣接するデジタルオーディオコンテンツに対して電子透かしの埋込み時に
    なされた信号処理に対して再び元来の形態に復元するステップと、 前記復元されたデジタルオーディオコンテンツ中における前記電子透かしの成
    分を強化するためのステップと、 前記長さが調節された電子透かしと前記デジタルオーディオコンテンツにおけ
    る電子透かしが強化された二つの信号間の相関情報を計算するためのステップと
    、 前記計算された抽出された相関情報をフィルタリングして前記デジタルオーデ
    ィオコンテンツの周期的な性質を除去し、電子透かし相関情報を抽出するステッ
    プとを含むことを特徴とする請求項11に記載の電子透かし抽出方法。
  16. 【請求項16】 前記電子透かし検出ステップの後に、前記抽出された電子
    透かし相関情報から電子透かしの埋込みの有無を判断するステップをさらに含む
    ことを特徴とする請求項15に記載の電子透かし抽出方法。
  17. 【請求項17】 デジタルオーディオコンテンツに電子透かしを埋め込む装
    置において、 所定長さの擬似乱数列を、前記デジタルオーディオコンテンツの聴覚的特性に
    影響を及ぼさないように最小可聴限界フィルタリングして電子透かしを生成する
    手段と、 前記電子透かしを前記デジタルオーディオコンテンツに埋め込む手段とを含む
    ことを特徴とする電子透かし埋込み装置。
  18. 【請求項18】 前記電子透かしの生成手段は、 前記デジタルオーディオコンテンツから発生される周波数特性を分析して最小
    可聴限界係数を有する聴覚心理モデル、 前記聴覚心理モデルにより前記擬似乱数列をフィルタリングするための手段と
    、 前記フィルタリングされた擬似乱数列を前記デジタルオーディオコンテンツの
    一般的な特性を示す合成フィルタ係数を用いてフィルタリングするための手段と
    を含むことを特徴とする請求項17に記載の電子透かし埋込み装置。
  19. 【請求項19】 前記聴覚心理モデルによる前記擬似乱数列のフィルタリン
    グは、前記デジタルオーディオコンテンツの一般的な周波数特性によって大きさ
    が調節されることを特徴とする請求項18に記載の電子透かし埋込み装置。
  20. 【請求項20】 前記電子透かしの埋込み手段は、 前記デジタルオーディオコンテンツのエネルギー量を測定する手段と、 前記測定されたエネルギー量によって前記電子透かしの強度を調節する手段と
    、 前記強度が調節された電子透かしと前記デジタルオーディオコンテンツを互い
    に合算する手段とを含むことを特徴とする請求項17に記載の電子透かし埋込み
    装置。
  21. 【請求項21】 前記エネルギー量の測定手段は、前記デジタルオーディオ
    コンテンツの音量の大きさを測定することを特徴とする請求項20に記載の電子
    透かし埋込み装置。
  22. 【請求項22】 前記エネルギー量の測定手段は、前記デジタルオーディオ
    コンテンツの周波数分布特性を測定することを特徴とする請求項20に記載の電
    子透かし埋込み装置。
  23. 【請求項23】 デジタルオーディオコンテンツから電子透かしを抽出する
    装置において、 前記デジタルオーディオコンテンツから発生される周波数特性を分析し最小可
    聴限界を有する聴覚心理モデルを形成して電子透かしを生成する手段と、 前記電子透かしと前記デジタルオーディオコンテンツとの間の相関関係を測定
    して電子透かしの埋込みを検出する手段とを含むことを特徴とする電子透かし抽
    出装置。
  24. 【請求項24】 互いに隣接するデジタルオーディオコンテンツから該当デ
    ジタルオーディオコンテンツに対する信号処理の有無を感知して前記電子透かし
    の長さを調節する手段をさらに含み、前記長さが調節された電子透かしが前記検
    出手段に入力されることを特徴とする請求項23に記載の電子透かし抽出装置。
  25. 【請求項25】 前記電子透かしの長さ調節手段は、 前記隣接するデジタルオーディオコンテンツに対して電子透かしの埋込み時に
    なされた信号処理に対して再び元来の形態に復元する手段と、 前記復元された隣接するデジタルオーディオコンテンツ間の相関情報を抽出す
    る手段と、 前記相関情報によって前記電子透かしをリサンプリングする手段とを含むこと
    を特徴とする請求項24に記載の電子透かし抽出装置。
  26. 【請求項26】 前記抽出手段により得られた前記相関情報を強化するため
    の手段をさらに含むことを特徴とする請求項25に記載の電子透かし抽出装置。
  27. 【請求項27】 前記復元手段は、逆自己回帰フィルタであることを特徴と
    する請求項24に記載の電子透かし抽出装置。
  28. 【請求項28】 前記相関情報の強化手段は、調和平均の計算を行うことを
    特徴とする請求項26に記載の電子透かし抽出装置。
  29. 【請求項29】 前記電子透かしの埋込み検出手段は、 前記隣接するデジタルオーディオコンテンツに対して、電子透かしの埋込み時
    になされた信号処理に対して再び元来の形態に復元する手段と、 前記復元されたデジタルオーディオコンテンツ中における前記電子透かしの成
    分を強化するための手段と、 前記長さが調節された電子透かしと前記デジタルオーディオコンテンツにおけ
    る電子透かしが強化された二つの信号間の相関情報を計算するための手段と、 前記計算された抽出された相関情報をフィルタリングして前記デジタルオーデ
    ィオコンテンツの周期的な性質を除去し、電子透かし相関情報を抽出する手段と
    を含むことを特徴とする請求項25に記載の電子透かし抽出装置。
  30. 【請求項30】 前記抽出された電子透かし相関情報から電子透かしの埋込
    みの有無を判断する手段をさらに含むことを特徴とする請求項29に記載の電子
    透かし抽出装置。
JP2002503870A 2000-06-08 2001-06-08 デジタルオーディオコンテンツ著作権の保護及びコピー防止のための電子透かしの埋込み/抽出方法、及びこれを用いた装置 Expired - Lifetime JP3905473B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR2000/31255 2000-06-08
KR20000031255 2000-06-08
KR20000031931 2000-06-10
KR2000/31931 2000-06-10
PCT/KR2001/000975 WO2001099109A1 (en) 2000-06-08 2001-06-08 Watermark embedding and extracting method for protecting digital audio contents copyright and preventing duplication and apparatus using thereof

Publications (2)

Publication Number Publication Date
JP2003536113A true JP2003536113A (ja) 2003-12-02
JP3905473B2 JP3905473B2 (ja) 2007-04-18

Family

ID=26638077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002503870A Expired - Lifetime JP3905473B2 (ja) 2000-06-08 2001-06-08 デジタルオーディオコンテンツ著作権の保護及びコピー防止のための電子透かしの埋込み/抽出方法、及びこれを用いた装置

Country Status (5)

Country Link
US (1) US20040006696A1 (ja)
JP (1) JP3905473B2 (ja)
KR (1) KR100458492B1 (ja)
AU (1) AU2001264351A1 (ja)
WO (1) WO2001099109A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012037701A (ja) * 2010-08-06 2012-02-23 Kddi Corp オーディオ電子透かし埋め込み装置およびプログラム
JP2012507045A (ja) * 2008-10-24 2012-03-22 ザ ニールセン カンパニー (ユー エス) エルエルシー オーディオ透かし入れ、透かし検出及び抽出を行う方法及び装置
US8508357B2 (en) 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
US8554545B2 (en) 2008-10-24 2013-10-08 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US8666528B2 (en) 2009-05-01 2014-03-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US9100132B2 (en) 2002-07-26 2015-08-04 The Nielsen Company (Us), Llc Systems and methods for gathering audience measurement data
US9336784B2 (en) 2013-07-31 2016-05-10 The Nielsen Company (Us), Llc Apparatus, system and method for merging code layers for audio encoding and decoding and error correction thereof
KR101716319B1 (ko) 2016-12-29 2017-03-14 (주)다올소프트 Png 파일 포맷의 영상 데이터의 강인한 가역 정보은닉 방법 및 장치
KR101716318B1 (ko) 2016-12-29 2017-03-14 (주)다올소프트 Jpeg 파일 포맷의 영상에 대한 강인한 가역 정보은닉 방법 및 장치
KR20170045154A (ko) 2017-01-31 2017-04-26 (주)다올소프트 동영상 콘텐트에 저작권 정보를 가상 삽입하는 방법
KR20170045153A (ko) 2017-01-10 2017-04-26 (주)다올소프트 저작권 정보 비손상 삽입 방법
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
JP2021196563A (ja) * 2020-06-17 2021-12-27 Toa株式会社 音響通信システム、音響送信装置、音響受信装置、プログラムおよび音響信号送信方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10129239C1 (de) * 2001-06-18 2002-10-31 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Einbetten eines Wasserzeichens in ein Audiosignal
BR0205803A (pt) * 2001-07-27 2003-07-22 Koninkl Philips Electronics Nv Métodos e sistemas para integrar e para detectar dados auxiliares em um sinal de informação, dispositivos para gravar e/ou reproduzir e para transmitir um sinal de informação, sinal de informação e meio de armazenamento
CN100380493C (zh) * 2001-09-05 2008-04-09 皇家飞利浦电子股份有限公司 用于直接流数字信号的坚韧水印
AU2002366178C1 (en) 2001-11-20 2009-03-05 Qualcomm Incorporated Reverse link power controlled repeater
WO2003083859A2 (en) * 2002-03-28 2003-10-09 Koninklijke Philips Electronics N.V. Watermark time scale searching
KR100449803B1 (ko) * 2002-06-28 2004-09-22 한국전자통신연구원 위너 공격과 백색화 필터 검출을 고려한 워터마크 설계방법
KR100611412B1 (ko) * 2002-10-18 2006-08-09 명지대학교 산학협력단 마스킹 효과를 이용한 오디오 워터마크 삽입 및 검출방법
US7831263B2 (en) * 2002-11-08 2010-11-09 Qualcomm Incorporated Apparatus and method for determining the location of a repeater
JP2005084625A (ja) * 2003-09-11 2005-03-31 Music Gate Inc 電子透かし合成方法及びプログラム
US8514764B2 (en) * 2004-04-05 2013-08-20 Qualcomm Incorporated Repeater that reports detected neighbors
US9118380B2 (en) * 2004-04-05 2015-08-25 Qualcomm Incorporated Repeater with positioning capabilities
EP1612771A1 (en) * 2004-06-29 2006-01-04 Koninklijke Philips Electronics N.V. Scale searching for watermark detection
US7778596B2 (en) * 2004-07-29 2010-08-17 Qualcomm Incorporated Airlink sensing watermarking repeater
GB2409956B (en) * 2004-09-01 2005-12-07 Ace Records Ltd Audio watermarking
US20060227968A1 (en) * 2005-04-08 2006-10-12 Chen Oscal T Speech watermark system
US8155315B2 (en) * 2006-01-26 2012-04-10 Rovi Solutions Corporation Apparatus for and a method of downloading media content
US9160988B2 (en) 2009-03-09 2015-10-13 The Nielsen Company (Us), Llc System and method for payload encoding and decoding
US20140278447A1 (en) * 2011-09-08 2014-09-18 Japan Advanced Institute Of Science And Technology Digital watermark detection device and digital watermark detection method, as well as tampering detection device using digital watermark and tampering detection method using digital watermark
US9305559B2 (en) * 2012-10-15 2016-04-05 Digimarc Corporation Audio watermark encoding with reversing polarity and pairwise embedding
US9465954B1 (en) * 2013-03-15 2016-10-11 Dataguise Inc. Method and system for tracking masking of data
US10043527B1 (en) 2015-07-17 2018-08-07 Digimarc Corporation Human auditory system modeling with masking energy adaptation
CN111008923B (zh) 2018-10-08 2022-10-18 阿里巴巴集团控股有限公司 水印嵌入和水印提取方法、装置和设备
CN114745122B (zh) * 2022-05-12 2025-05-13 中国电力科学研究院有限公司 电力调度指令和数字水印上链方法、系统、装置及介质
KR102609709B1 (ko) * 2023-07-10 2023-12-05 박소영 미디어파일 유출확인 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398871B (zh) * 1995-02-13 2011-05-18 英特特拉斯特技术公司 用于安全交易管理和电子权利保护的系统和方法
US5737495A (en) * 1995-09-29 1998-04-07 Intel Corporation Method and apparatus for managing multimedia data files in a computer network by streaming data files into separate streams based on file attributes
US5765152A (en) * 1995-10-13 1998-06-09 Trustees Of Dartmouth College System and method for managing copyrighted electronic media
US5822432A (en) * 1996-01-17 1998-10-13 The Dice Company Method for human-assisted random key generation and application for digital watermark system
EP0940037B1 (en) * 1996-07-16 2005-09-14 Koninklijke Philips Electronics N.V. Detecting a watermark embedded in an information signal
JP3321767B2 (ja) * 1998-04-08 2002-09-09 株式会社エム研 音声データに透かし情報を埋め込む装置とその方法及び音声データから透かし情報を検出する装置とその方法及びその記録媒体
JP4226687B2 (ja) * 1998-05-01 2009-02-18 ユナイテッド・モジュール・コーポレーション 電子透かし埋め込み装置及びオーディオ符号化装置
US6792542B1 (en) * 1998-05-12 2004-09-14 Verance Corporation Digital system for embedding a pseudo-randomly modulated auxiliary data sequence in digital samples
US6694040B2 (en) * 1998-07-28 2004-02-17 Canon Kabushiki Kaisha Data processing apparatus and method, and memory medium
KR100341197B1 (ko) * 1998-09-29 2002-06-20 포만 제프리 엘 오디오 데이터로 부가 정보를 매립하는 방법 및 시스템
US6209094B1 (en) * 1998-10-14 2001-03-27 Liquid Audio Inc. Robust watermark method and apparatus for digital signals
US6952774B1 (en) * 1999-05-22 2005-10-04 Microsoft Corporation Audio watermarking with dual watermarks
US7020285B1 (en) * 1999-07-13 2006-03-28 Microsoft Corporation Stealthy audio watermarking
KR20000018063A (ko) * 2000-01-07 2000-04-06 김주현 웨이브렛 변환의 분해 특성을 이용한 오디오 워터마크 방법
US6738744B2 (en) * 2000-12-08 2004-05-18 Microsoft Corporation Watermark detection via cardinality-scaled correlation

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9100132B2 (en) 2002-07-26 2015-08-04 The Nielsen Company (Us), Llc Systems and methods for gathering audience measurement data
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US11809489B2 (en) 2008-10-24 2023-11-07 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US11256740B2 (en) 2008-10-24 2022-02-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US10467286B2 (en) 2008-10-24 2019-11-05 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US10134408B2 (en) 2008-10-24 2018-11-20 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US12002478B2 (en) 2008-10-24 2024-06-04 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
JP2012507045A (ja) * 2008-10-24 2012-03-22 ザ ニールセン カンパニー (ユー エス) エルエルシー オーディオ透かし入れ、透かし検出及び抽出を行う方法及び装置
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US11386908B2 (en) 2008-10-24 2022-07-12 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8554545B2 (en) 2008-10-24 2013-10-08 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US8508357B2 (en) 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
US11004456B2 (en) 2009-05-01 2021-05-11 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US11948588B2 (en) 2009-05-01 2024-04-02 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US10003846B2 (en) 2009-05-01 2018-06-19 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US8666528B2 (en) 2009-05-01 2014-03-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
US10555048B2 (en) 2009-05-01 2020-02-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
JP2012037701A (ja) * 2010-08-06 2012-02-23 Kddi Corp オーディオ電子透かし埋め込み装置およびプログラム
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US9336784B2 (en) 2013-07-31 2016-05-10 The Nielsen Company (Us), Llc Apparatus, system and method for merging code layers for audio encoding and decoding and error correction thereof
KR101716318B1 (ko) 2016-12-29 2017-03-14 (주)다올소프트 Jpeg 파일 포맷의 영상에 대한 강인한 가역 정보은닉 방법 및 장치
KR101716319B1 (ko) 2016-12-29 2017-03-14 (주)다올소프트 Png 파일 포맷의 영상 데이터의 강인한 가역 정보은닉 방법 및 장치
KR20170045153A (ko) 2017-01-10 2017-04-26 (주)다올소프트 저작권 정보 비손상 삽입 방법
KR20170045154A (ko) 2017-01-31 2017-04-26 (주)다올소프트 동영상 콘텐트에 저작권 정보를 가상 삽입하는 방법
JP2021196563A (ja) * 2020-06-17 2021-12-27 Toa株式会社 音響通信システム、音響送信装置、音響受信装置、プログラムおよび音響信号送信方法
JP7385532B2 (ja) 2020-06-17 2023-11-22 Toa株式会社 音響通信システム、音響送信装置、プログラムおよび音響信号送信方法

Also Published As

Publication number Publication date
US20040006696A1 (en) 2004-01-08
KR100458492B1 (ko) 2004-12-03
JP3905473B2 (ja) 2007-04-18
WO2001099109A1 (en) 2001-12-27
AU2001264351A1 (en) 2002-01-02
KR20010111057A (ko) 2001-12-15

Similar Documents

Publication Publication Date Title
JP3905473B2 (ja) デジタルオーディオコンテンツ著作権の保護及びコピー防止のための電子透かしの埋込み/抽出方法、及びこれを用いた装置
CN101271690B (zh) 保护音频数据的音频扩频水印处理方法
Al-Haj et al. DWT-based audio watermarking.
KR101201076B1 (ko) 오디오 워터마크 삽입장치 및 방법, 그리고, 오디오 워터마크 검출장치 및 방법
Liu et al. A novel audio steganalysis based on high-order statistics of a distortion measure with Hausdorff distance
Kirovski et al. Audio watermark robustness to desynchronization via beat detection
KR20020031654A (ko) 푸리에 변환을 이용한 워터마크 삽입 및 추출 방법 및 장치
Dhar et al. A new DCT-based watermarking method for copyright protection of digital audio
Petrovic et al. Data hiding within audio signals
Chetan et al. Audio watermarking using modified least significant bit technique
Attari et al. Robust and transparent audio watermarking based on spread spectrum in wavelet domain
Nikmehr et al. A new approach to audio watermarking using discrete wavelet and cosine transforms
Patel et al. Secure transmission of password using speech watermarking
Wu et al. Adaptive audio watermarking based on SNR in localized regions
Subhashini et al. Robust audio watermarking for monitoring and information embedding
CN115760535A (zh) 基于局部均值分解的自适应音频盲水印嵌入与提取方法
KR100611412B1 (ko) 마스킹 효과를 이용한 오디오 워터마크 삽입 및 검출방법
Dhar et al. An audio watermarking scheme using discrete Fourier transformation and singular value decomposition
Saraswathi Speech authentication based on audio watermarking
KR100347210B1 (ko) 다채널 디지털 음악을 위한 워터마크 삽입 및 추출 방법및 장치
Esmaili et al. A novel spread spectrum audio watermarking scheme based on time-frequency characteristics
Li et al. An audio copyright protection schemes based on SMM in cepstrum domain
Aedudodla et al. A robust watermarking technique for digital audio
Chen et al. An adaptive and secure audio watermarking algorithm robust to MP3 compression
EP1612771A1 (en) Scale searching for watermark detection

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070111

R150 Certificate of patent or registration of utility model

Ref document number: 3905473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140119

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term