JPH1169301A

JPH1169301A - 復号方法及び復号再生装置、並びに記録媒体

Info

Publication number: JPH1169301A
Application number: JP21521397A
Authority: JP
Inventors: Yasushi Fujinami; 靖藤波
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-08-08
Filing date: 1997-08-08
Publication date: 1999-03-09
Also published as: US6341192B1; KR19990023627A; KR100583898B1

Abstract

(57)【要約】【課題】ＭＰＥＧなどの連続性を利用してデータの冗
長性を除いたストリームを一旦中断して別のストリーム
と良好に接続可能とする。【解決手段】編集されたＭＰＥＧストリームが記録さ
れたディスクを再生して復号する編集点の復号方法であ
って、編集アウト点の出力時刻が来る前に区間Ｘのスト
リームを復号して蓄積しておき、区間Ｘの先頭位置の出
力時刻が来たならば、区間Ｘの先頭位置からの復号デー
タを出力しながら区間Ｚのストリームを復号し（区間Ｚ
の復号データは出力しない）、編集イン点の出力時刻が
来たならば区間Ｚに続く符号化データ列を復号して出力
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号及び音
声信号などを、例えば光磁気ディスクなどのランダムア
クセス可能な記録媒体に編集して記録したときに好適な
編集点の復号方法、及びその編集された信号が記録され
た記録媒体を再生する復号再生装置と、その形成された
信号を記録してなる記録媒体に関する。

【０００２】

【従来の技術】例えば、初めて使用する記録媒体（光磁
気ディスクなどのランダムアクセス可能な記録メディ
ア、以下、単にディスクと呼ぶ）上に１時間２分３秒４
フレームの動画像信号及び音声信号等を記録した場合、
そのディスク上では図１６のように記録データが配置さ
れる。なお、図１６の（ａ）はディスク上の記録領域を
ディスク最内周側から最外周側に直線状に表しており、
図１６の（ｂ）は領域Ｂのみを取り出して示している。

【０００３】この時、ディスク全体は、図中領域Ａ、
Ｂ、Ｃにて示す三つの部分に分割されている。領域Ａは
ディスク最内周側の領域であり、この領域Ａから領域
Ｂ、領域Ｃに向かってディスク外周側の領域となる。

【０００４】上記図１６の領域Ａの部分には、いわゆる
ＴＯＣ（Table of Contents）と呼ばれる、ディスク上
の情報を管理する情報が記録されている。ＴＯＣには、
少なくとも「エントリの数」及び複数の「エントリを記
述するための領域」が確保されている。各エントリには
少なくとも、以下に述べる「開始アドレス」「終了アド
レス」「開始タイムコード」「終了タイムコード」「次
のエントリ」の各情報が記述されている。

【０００５】上記開始アドレスには、エントリが管理す
る領域の先頭アドレスを記述する。ここで先頭アドレス
は物理メディアにより決定するアドレスである場合もあ
るし、または物理アドレスの上に構築されたファイルシ
ステムの持つアドレスである場合もある。

【０００６】上記終了アドレスには、エントリが管理す
る領域の終了アドレスを記述する。

【０００７】上記開始タイムコードには、エントリが管
理する領域に記録された動画データの開始タイムコード
を記述する。

【０００８】上記終了タイムコードには、エントリが管
理する領域に記録された動画データの終了タイムコード
を記述する。

【０００９】上記次のエントリには、再生時に次に再生
されるべきエントリがある場合にはその番号を記述す
る。次に再生されるべきエントリがない場合には、「無
し」（＝Null）が記述される。

【００１０】なお、ここではエントリ内のタイムコード
は連続であるという前提でＴＯＣの構築を行っている
が、考え方を異にする場合には、構成が異なる場合が有
る。

【００１１】上記図１６の（ａ）及び（ｂ）に示す領域
Ｂの部分には、記録した１時間２分３秒４フレームの動
画音声情報が記録されている。この動画情報は、例えば
いわゆるＭＰＥＧ２システムのプログラムストリーム
（Program Stream）で時分割多重された、ＭＰＥＧ２ビ
デオ（MPEG2 Video）、ＭＰＥＧ２オーディオ（MPEG2 A
udio）であるとする。ただし、時分割多重化の方式やビ
デオ・オーディオの符号化方式が変更された場合も、そ
の本質的な部分は変わらないと考える。なお、ＭＰＥＧ
（Moving Picture Image Coding Experts Group）と
は、国際標準化機構／国際電機標準会議合同技術委員
会１／専門部会２９（ISO/IEC JTC1/SC29(Internation
al Organization for Stan-dardization/International
Electrotechnical Commission, Joint Technical Comm
itee 1/Sub Commitee 29：）の蓄積用動画像符号化の検
討組織の略称であり、ＭＰＥＧ１標準としてＩＳＯ１１
１７２が、ＭＰＥＧ２標準としてＩＳＯ１３８１８があ
る。これらの国際標準において、システム多重化の項目
でＩＳＯ１１１７２−１及びＩＳＯ１３８１８−１が、
映像符号化の項目でＩＳＯ１１１７２−２及びＩＳＯ１
３８１８−２が、音声符号化の項目でＩＳＯ１１１７２
−３及びＩＳＯ１３８１８−２が、それぞれ標準化され
ている。

【００１２】上記図１６の領域Ｃの部分は、何もまだ記
録されていない未記録領域である。

【００１３】ここで、図１６の例のディスクの現時点に
おける状況として、上記領域Ａの部分（ＴＯＣ）には、
以下のような情報が記録されている。なおこの状況では
ＴＯＣ中のエントリの数は一つである。

【００１４】エントリ数＝１エントリ０の内容開始アドレス＝addr０終了アドレス＝addr１開始タイムコード＝0:00:00:00（図１６の（ｂ））終了タイムコード＝1:02:03:04（図１６の（ｂ））次のエントリ＝無しエントリ１（以下同じ） Null（無し）情報また、現時点における状況として、上記図１６の（ａ）
及び（ｂ）に示す領域Ｂの部分には、上記開始タイムコ
ードにて示される０時間０分０秒０フレーム（０：０
０：００：００）から上記終了タイムコードにて示され
る１時間２分３秒４フレーム（１：０２：０３：０４）
までに、ＭＰＥＧのストリームが記録されている同じく
現時点における状況として、上記図１６の領域Ｃの部分
には、何も記録されていない。

【００１５】次に、上述したような映像音声情報の記録
がなされているディスクを用いた編集作業について説明
する。

【００１６】ここでは、上記編集作業として、上述のよ
うにディスク上に記録されたデータの一部を、図１７の
ように削除する場合を例に挙げる。具体的には、０時間
０分０秒０フレーム（０：００：００：００）から０時
間２０分３０秒４フレーム（０：２０：３０：０４）を
残し、また０時間４０分５０秒６フレーム（０：４０：
５０：０６）から１時間２分３秒４フレーム（１：０
２：０３：０４）を残す。つまり、削除される部分は０
時間２０分３０秒５フレーム（０：２０：３０：０５）
から０時間４０分５０秒５フレーム（０：４０：５０：
０５）までであるとする。

【００１７】上述のようにデータの一部を削除する編集
作業を実行する場合、例えば編集後のストリームの配置
をどのようにするかによって、二つの編集結果が生じる
ことになる。

【００１８】すなわち、上記データの一部を削除する編
集作業の仕方としては、編集側から見た場合において上
記削除された部分を前に詰めるか或いは詰めないかの何
れかの方法、言い換えると、再生側から見た場合におい
て上記削除された部分をスキップする必要がないか或い
は有るかの何れかの方法がある。つまり、編集後のスト
リームの配置の仕方には、不要な部分を削除した後の空
いた部分に後の部分を前詰めする方法（以下、第１の編
集作業方法と呼ぶ）と、不要な部分を削除しただけでス
トリームの位置は保存する方法（以下、第２の編集作業
方法と呼ぶ）との、二つの方法が考えられる。したがっ
て、これら編集作業の仕方の違い（ストリームの配置の
違い）によって、二つの編集結果が生じることになる。
ただし、編集点の問題に関しては、どちらもほとんど変
わらない。これは両者とも何らかの問題を持つからであ
り、ここではそれらの説明は省略する。

【００１９】先ず、上記編集作業の仕方（ストリームの
配置の仕方）として、上記第１の編集作業方法（不要部
分削除後の空き部分に後の部分を前詰めして記録する方
法）を採用した場合の編集結果について、具体的に説明
する。

【００２０】図１８には、上記第１の編集作業方法を採
用した場合の編集結果を模式的に示している。なお、図
１８の（ａ）はディスク上の記録領域をディスク最内周
側から最外周側に直線状に表しており、図１８の（ｂ）
は不要部分が削除されて上記前詰めされた後の領域Ｂの
みを示している。

【００２１】すなわちこの図１８の例では、前記図１７
における０時間２０分３０秒４フレーム（０：２０：３
０：０４）の次フレームである時間２０分３０秒５フレ
ーム（０：２０：３０：０５）から、図１７における０
時間４０分５０秒６フレーム（０：４０：５０：０６）
の一つ前の０時間４０分５０秒５フレーム（０：４０：
５０：０５）までが削除されて、前に詰められた後の編
集結果を示している。

【００２２】この図１８の例のように、不要部分を削除
した後に前詰めを行うようにすれば、その削除した部分
に対応する領域が新たな記録可能領域となり、したがっ
て領域Ｃが拡大することになる。

【００２３】また、上記図１８の例のような編集作業を
行った場合、ＴＯＣには以下のような情報が記録される
ことになる。なお、この状況ではＴＯＣ中のエントリの
数は二つである。

【００２４】エントリ数＝２エントリ０の内容開始アドレス＝addr０終了アドレス＝addr２開始タイムコード＝0:00:00:00 終了タイムコード＝0:20:30:04 次のエントリ＝１エントリ１の内容開始アドレス＝addr2+1 終了アドレス＝addr3 開始タイムコード＝0:40:50:06 終了タイムコード＝1:02:03:04 次のエントリ＝無しエントリ２（以下同じ） Null（無し）情報このような第１の編集作業方法の場合、上記不要部分と
して削除した分だけ前詰めする作業が必要になるが、後
の再生時においてその不要部分をスキップする必要はな
くなる。

【００２５】しかしながら、上記第１の編集作業方法に
おける前詰め作業を実現するためには、上記図１７の例
の場合、上記前詰めする部分、すなわち上記０時間４０
分５０秒６フレーム（０：４０：５０：０６）から１時
間２分３秒４フレーム（１：０２：０３：０４）の部分
を、他の記録媒体（たとえばハードディスクなど）に一
度待避させておき、再度記録し直さなければならず、現
実的ではない。

【００２６】これに対して、上記第２の編集作業方法
（不要な部分を削除しただけでストリームの位置は保存
する方法）を採用した場合には、そのような他の記録媒
体への一時的な待避と再記録は不要となる。図１９に
は、上記第２の編集作業方法を採用した場合の編集結果
を模式的に示している。なお、図１９の（ａ）はディス
ク上の記録領域をディスク最内周側から最外周側に直線
状に表しており、図１９の（ｂ）は不要部分を削除した
だけで位置は保存されたストリームのみを示している。

【００２７】すなわちこの図１９の例では、前記図１７
における０時間２０分３０秒４フレーム（０：２０：３
０：０４）の次フレームである時間２０分３０秒５フレ
ーム（０：２０：３０：０５）から、図１７における０
時間４０分５０秒６フレーム（０：４０：５０：０６）
の一つ前の０時間４０分５０秒５フレーム（０：４０：
５０：０５）までが削除されたままであり、ストリーム
の位置は保存されている。

【００２８】この図１９の例のように第２の編集作業方
法を採用した場合、その編集結果を後に再生する時に
は、ＴＯＣのエントリによる処理で連続再生を指定する
ことになる。具体的に言うと、当該図１９の例の編集作
業を行った場合のＴＯＣには、以下のような情報がＴＯ
Ｃに記録されることになる。なお、この状況ではＴＯＣ
中のエントリの数は二つである。

【００２９】エントリ数＝２エントリ０の内容開始アドレス＝addr0 終了アドレス＝addr2 開始タイムコード＝0:00:00:00 終了タイムコード＝0:20:30:04 次のエントリ＝１エントリ１の内容開始アドレス＝addr4 終了アドレス＝addr1 開始タイムコード＝0:40:50:06 終了タイムコード＝1:02:03:04 次のエントリ＝無しエントリ２（以下同じ） Null（無し）情報この第２の編集作業方法の場合、編集時には何もしなく
てよい（第１の編集作業方法のような一時的な保存や前
詰めなど）が、後の再生時に、不要部分をスキップする
必要がある。

【００３０】

【発明が解決しようとする課題】ところで、上記第１の
編集作業方法を採用したときの編集結果は、後に再生す
る場合、前述したようにメディア（ディスク）から読み
出したそのままをデコードすれば、シームレスな再生が
できるように思われる。

【００３１】また、上記第２の編集作業方法を採用した
ときの編集結果を、後に再生する場合、前述したように
不要部分をスキップさせてその前後のストリームを接続
させれば、シームレスな再生ができるように思われる。
また、当該不要部分をスキップさせたときの前後のスト
リームの接続は、理論的には単にデコードするセクタア
ドレスを選択するだけで実現できるように思われる。

【００３２】しかし、上記再生時には、本来連続であっ
たストリームを中断させて別のストリームを接続するこ
とになるため、特にＭＰＥＧなどの連続性を利用してデ
ータの冗長性を除いているものの場合、その接続点で簡
単に接続することはできない。すなわち、ＭＰＥＧのデ
ータは、時間的に前或いは後、さらにはその両方の信号
を用いて圧縮符号化が行われたものであるため、２つの
ストリームを単純に接続しただけではその圧縮符号化デ
ータを復号することができない。

【００３３】以下に、上記ＭＰＥＧのストリームに対し
て上記第２の編集作業方法のように再生時にスキップが
必要となる編集作業を施した場合の問題点について説明
する。第１の編集作業方法も同様である。

【００３４】先ず、その問題点の具体的な説明の前に、
ＭＰＥＧについて簡単に説明し、その後に上記問題点を
述べる。

【００３５】ＭＰＥＧでは、映像を効率良く符号化する
ためとランダムアクセスを実現するために、Ｉピクチ
ャ、Ｂピクチャ、Ｐピクチャという３種類の符号化のタ
イプが用意されている。ここでピクチャとは、動画像を
構成する画面（フレーム或いはフィールドの画面）を符
号化したものである。

【００３６】Ｉピクチャとは、上記画面内で符号化が完
結しているもので、他画面とは独立して符号化される。
このため、ランダムアクセスやエラーを回復するための
エントリーポイントとして使われる。

【００３７】Ｐピクチャは、前方向の予測符号化を行う
モードで、時間的に過去のＩピクチャあるいはＰピクチ
ャから予測される。従って、Ｐピクチャを復号するため
には時間的に過去のＩピクチャまたはＰピクチャが復号
されていなければならない。

【００３８】Ｐピクチャを発展させたものであるＢピク
チャは、両方向の予測符号化を行うモードで、時間的に
過去と未来のＩピクチャあるいはＰピクチャから、前方
向、後方向、あるいは両方向に予測が行われる。このた
め、Ｂピクチャを復号するためには、前後のＩピクチャ
またはＰピクチャが復号されている必要がある。

【００３９】一般的に、通常のアプリケーションにおい
ては、ランダムアクセスと高い符号化効率を実現するた
めに、上記Ｉ、Ｂ、Ｐピクチャの組合せが用いられるの
が普通である。

【００４０】図２０の（ａ）にはこのような組合せの例
を挙げている。図２０の（ａ）は、上記画面（ピクチ
ャ）を表示順序に並べたものであり、この図２０の
（ａ）の図中矢印ｄは予測の方向を表している。ここ
で、例えばＢピクチャを復号して表示するためには、そ
のＢピクチャの前後（時間的な前後）に表示されるＩピ
クチャ或いはＰピクチャを復号しておかなければならな
い（当該Ｂピクチャの復号を行う前に復号する必要があ
る）。より具体的に説明すると、上述の図２０の（ａ）
のような表示順を実現する場合において、例えばピクチ
ャＢ５の画像を復号するためには、少なくともＩ０，Ｐ
２，Ｐ４，Ｐ６の各ピクチャが復号されていることが必
要である。すなわち、Ｐ２のピクチャはＩ０のピクチャ
から予測され、Ｐ４のピクチャはＰ２のピクチャから予
測され、Ｐ６のピクチャはＰ４のピクチャから予測され
るものであり、さらにＢ５のピクチャはＰ４のピクチャ
とＰ６のピクチャとから予測されるものであるため、当
該Ｂ５のピクチャを復号するためにはこれらＩ０，Ｐ
２，Ｐ４，Ｐ６の各ピクチャが、先に復号されている必
要がある。このため、図２０の（ｂ）に示すように、各
ピクチャは、符号化ストリーム上ではＩ０，Ｐ２，Ｂ
１，Ｐ４，Ｂ３，・・・という順序に並べ換えられてい
る。言い換えれば、メディア（ディスク）上には、この
図２０の（ｂ）に示すようなピクチャ順の符号化ストリ
ームが記録されており、したがって、当該ディスクを再
生して映像をディスプレイ装置に表示する場合には、こ
の図２０の（ｂ）の順番でディスクから再生された符号
化ストリームから各ピクチャを復号し、図２０の（ａ）
の順序に並べ換えて表示することが行われる。

【００４１】また、オーディオデータの符号化に関して
は、上記のＭＰＥＧの他に、いわゆるＡＣ−３（ATSC s
tandard Doc.A/52, 20 Dec.1995）などの圧縮方式があ
るが、これら圧縮方式は何れも一定の数の標本化データ
をまとめて符号化の単位として扱い、復号時もこれを単
位として行われる。

【００４２】一般的に、音声に関する符号化単位である
オーディオフレームの復号周期と、ビデオデータを符号
化したピクチャの復号周期は一致しない。これを時間順
に表現したのが図２１である。なお、図２１の（ａ）に
は、映像における符号化データの構成単位（ピクチャ）
と各ピクチャの表示開始時刻ＴＰを表し、図２１の
（ｂ）には音声における各符号化データの構成単位（オ
ーディオフレーム）と各オーディオフレームの開始時刻
ＴＡを表している。すなわちこの図２１の（ａ）及び
（ｂ）からオーディオフレームの復号周期とピクチャの
復号周期は一致しないことがわかる。

【００４３】最近、規格化と製品化が行われているいわ
ゆるビデオＣＤやＤＶＤ（ディジタルビデオディスク）
では、上述のような構造を持つＭＰＥＧ方式によって映
像が符号化され、音声はＭＰＥＧあるいはＡＣ−３によ
って符号化されて、これらのデータがＭＰＥＧシステム
の規格により時分割多重されてディスク上に記録されて
いる。

【００４４】ここで、上述したようなＭＰＥＧ方式で符
号化された映像データを前記第２の編集作業方法にて編
集した編集結果が、ディスク等のメディアに記録されて
いる場合を考えてみる。この場合の記録は、符号化効率
とランダムアクセス性を考慮して、図２２の（ａ）に示
すようなピクチャの構造にてなされている。この図２２
の（ａ）の例では、編集結果のビデオストリームにおい
て例えば図中ＳＡ点にて示すＰピクチャまでのストリー
ムを再生した後、これ以降の各ピクチャの再生を跳ばし
（すなわちスキップし）、図中ＳＢ点にて示すＢピクチ
ャ（ピクチャＢ３）からストリームの再生を再開するも
のとする。なお、上記スキップの跳躍が始まる位置は編
集のアウト点に相当し、スキップの跳躍が終了する位置
は編集のイン点に相当する。

【００４５】ところが、前述したように、Ｂピクチャ
（図２２の例ではピクチャＢ３）を復号するためには、
それ以前のＩピクチャ或いはＰピクチャ（図２２の例で
は少なくともピクチャＩ０，Ｐ２，Ｐ４の各ピクチャ）
が復号されていなければならない。なお、上述の例では
ＭＰＥＧ方式でビデオ信号が符号化されている場合を考
えたが、例えば、画像間に相関があることを利用し、画
像間の差分を求め、この差分を符号化するような予測符
号化方式を用いた場合であっても、上述同様の理由によ
りストリームの接続点において、再生が不連続になって
しまう虞がある。

【００４６】一方、前記ＭＰＥＧやＡＣ−３のように、
一定の数の標本化データをまとめて符号化の単位とする
音声の符号化方式では、前述したようにビデオ信号の復
号周期とオーディオ信号の復号周期が必ずしも一致しな
いので、編集点で２つのストリームを接続する際に、ビ
デオ信号の連続再生を優先させると、以下に述べるよう
なオーディオ信号が生成されない空白区間が生じてしま
う。以下、この空白区間のことを、オーディオギャップ
と呼ぶことにする。

【００４７】図２３の（ｂ）及び（ｃ）には、ディスク
上に記録されている映像及び音声の符号化データを時間
順に表している。

【００４８】ここで、図２３の（ｂ）のビデオ信号を復
号して行き、図２３の（ｄ）に示すように、あるピクチ
ャ（図２３の（ｄ）例ではピクチャＶＡの終わり、編集
アウト点に相当する）まで復号して表示した後、図２３
の（ａ）に示すタイミングのスキップ再生によって、図
２３の（ｆ）に示す別のピクチャ（図２３の（ｆ）の例
ではピクチャＶＣの先頭、編集イン点に相当する）から
再生及び復号を再開する場合を考える。

【００４９】このようなビデオ信号のストリームの接続
に対応したオーディオ信号の復号時には、図２３の
（ｅ）に示すように上記ピクチャＶＡに対応するオーデ
ィオフレームＡＢまでの復号がなされた後、上記スキッ
プ再生に応じて、図２３の（ｇ）に示すように上記ピク
チャＶＣに対応するオーディオフレームＡＤから再生及
び復号が再開されることになる。

【００５０】ここで、映像と音声とは同期して再生され
なければならないので、ビデオ信号に対するオーディオ
信号の再生の位相差すなわちピクチャの表示開始時刻と
オーディオフレームの開始時刻の位相差は、上記編集に
よって変化してはならない。

【００５１】しかし、上記編集時のストリーム接続を行
った場合において、図２３の（ｈ）に示すようにビデオ
ストリームを優先的に繋げて、すなわちスキップ再生前
後のピクチャＶＡとピクチャＶＣを繋げて連続的な表示
を実現しようとすると、オーディオストリームの方は、
図２３の（ｉ）に示すようにオーディオデータの存在し
ない時間幅（オーディオギャップＡＧ）が生じてしま
い、連続的なオーディオ再生ができないことになる。

【００５２】そこで、本発明はこのような状況に鑑みて
なされたものであり、ＭＰＥＧなどの連続性を利用して
データの冗長性を除いたストリームを編集して記録媒体
に記録し、この記録媒体から読み出したストリームを一
旦中断して別のストリームと接続する場合において、良
好な接続を実現可能とする編集点の復号方法及び復号再
生装置、並びに記録媒体を提供することを目的とする。

【００５３】

【課題を解決するための手段】本発明は、複数フレーム
からなる所定の符号化グループ構造が連続した符号化デ
ータ列と、編集時の編集アウト点の情報及び編集イン点
の情報を含む再生制御情報とを、少なくとも記録してな
るランダムアクセス可能な記録媒体から、上記再生制御
情報及び符号化データ列を読み出し、上記再生制御情報
に基づいて符号化データ列の復号を行う復号方法及び復
号再生装置であって、編集アウト点の出力時刻が来る前
に、再生制御情報に基づいて編集アウト点以前の符号化
データ列からなる第１の区間の先頭位置を計算すると共
に、その第１の区間内の符号化データ列を復号して蓄積
しておき、第１の区間の先頭位置の出力時刻が来たなら
ば、第１の区間の先頭位置からの復号データを出力する
と共に、編集アウト点から編集イン点の間である第２の
区間内の符号化データ列を復号し、編集イン点の出力時
刻が来たならば、第２の区間に続く符号化データ列を復
号して出力することにより、上述した課題を解決する。

【００５４】また、本発明は、連続したフレームからな
る符号化データ列と、編集時の編集アウト点の情報及び
編集イン点の情報を含む再生制御情報とを、少なくとも
記録してなるランダムアクセス可能な記録媒体から、上
記再生制御情報及び符号化データ列を読み出し、上記再
生制御情報に基づいて符号化データ列の復号を行う復号
方法及び復号再生装置であって、編集アウト点の出力時
刻が来る前に、再生制御情報に基づいて編集アウト点以
前の符号化データ列からなる第１の区間の先頭位置を計
算すると共に、その第１の区間内の符号化データ列を復
号して蓄積しておき、第１の区間の先頭位置の出力時刻
が来たならば、第１の区間の先頭位置からの復号データ
をフェードアウトしながら出力すると共に、編集アウト
点から編集イン点の間である第２の区間内の符号化デー
タ列を復号してフェードインし、編集イン点の出力時刻
が来たならば、第２の区間に続く符号化データ列を復号
して出力することにより、上述した課題を解決する。

【００５５】すなわち、本発明によれば、編集地点が到
達する前に二重に復号する第１の区間の符号化データを
復号して蓄積しておき、この第１の区間の復号データを
出力している間に、編集アウト点から編集イン点の間の
第２の区間の復号を行い、この第２の区間の復号データ
を使用することで、編集イン点以降の復号を可能として
いる。

【００５６】さらに本発明の記録媒体は、編集アウト点
の出力時刻が来る前に、再生制御情報に基づいて編集ア
ウト点を含み且つ当該編集アウト点以前の符号化データ
列からなる第１の区間の先頭位置を計算し、編集アウト
点の出力時刻が来る前に、第１の区間内の符号化データ
列を復号した復号データを蓄積しておき、第１の区間の
先頭位置の出力時刻が来たときに、第１の区間の先頭位
置からの復号データを出力しながら、編集アウト点から
編集イン点の間である第２の区間内の符号化データ列を
復号し、編集イン点の出力時刻が来たときに、上記第２
の区間に続く符号化データ列を復号して形成した信号を
記録してなるものである。

【００５７】またさらに本発明の記録媒体は、編集アウ
ト点の出力時刻が来る前に、再生制御情報に基づいて編
集アウト点を含み且つ当該編集アウト点以前の符号化デ
ータ列からなる第１の区間の先頭位置を計算し、編集ア
ウト点に出力時刻が来る前に、第１の区間内の符号化デ
ータ列を復号した復号データを蓄積しておき、第１の区
間の先頭位置の出力時刻が来たときに、第１の区間の先
頭位置からの復号データをフェードアウトしながら出力
すると共に、編集アウト点から編集イン点の間である第
２の区間内の符号化データ列を復号してフェードインし
ながら出力し、編集イン点の出力時刻が来たときに、読
み出し及び復号していた第２の区間に続く符号化データ
列を復号して形成した信号を記録してなるものである。

【００５８】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。

【００５９】本発明の復号方法及び復号再生装置の実施
の形態として、図１には、前記第２の編集作業方法にて
編集された例えばＭＰＥＧのストリームが記録されたデ
ィスクを再生するディスク再生装置の概略構成を示す。

【００６０】図１において、ディスク１０には、上記第
２の編集作業方法にて編集されたＭＰＥＧのストリーム
が記録されている。再生ヘッド１２は、ディスク１０か
らデータを読み込む。この読み取りデータは、復調回路
１３に送られ、復調回路１３では、上記読み取りデータ
に施されている変調に対応する復調処理を施す。この復
調回路１３の出力は、ＥＣＣデコーダ１４に送られ、誤
り訂正処理が行われる。このＥＣＣデコーダ１４の出力
ビットストリームは、ソースデコーダ１５へ入力され
る。このソースデコーダ１５にて復号された再生信号は
端子１６から出力される。また、再生コントローラ１１
は、ディスク１０からのデータの読み込みを制御する。

【００６１】図１のソースデコーダ１５の概略構成につ
いて、図２を参照して説明する。

【００６２】図２において、端子２０から入力されたビ
ットストリームは、トラックバッファメモリ２２ヘ入力
されて一旦蓄えられた後、読み出されて多重化分離器２
４へ送られる。

【００６３】ここで、上記多重化分離器２４に入力され
るビットストリームには、符号化されたビデオ信号（ビ
デオストリーム）、符号化されたオーディオ信号（オー
ディオストリーム）の他、システム信号や再生制御情報
等が時分割で多重化されている。なお、システム信号と
は、ビデオ信号とオーディオ信号のＡＶ同期再生情報な
どであり、また再生制御情報とは、ディスク上に記録さ
れるビデオストリームの再生経路を示す情報や後述する
編集用に使用するＴＯＣの情報、編集アウト点の前側の
情報、編集イン点の後側の情報等からなる。なお、再生
経路はユーザが編集作業を行なうなどして指示するもの
であり、上記編集用に使用する情報については後述す
る。

【００６４】多重化分離器２４は、上記供給された多重
化ビットストリームをビデオストリームと、オーディオ
ストリームと、システム信号と、再生制御情報とに分離
して、それぞれ対応するビデオバッファメモリ２６、オ
ーディオバッファメモリ２７、システムバッファメモリ
２８、再生制御情報バッファメモリ２９へ供給する。

【００６５】ビデオデコーダ３０は、ビデオバッファメ
モリ２６からデータを読み出し、それを復号して再生ビ
デオ信号を出力する。オーディオデコーダ３１は、オー
ディオバッファメモリ２７からデータを読み出し、それ
を復号して再生オーディオ信号を出力する。なお、ビデ
オバッファメモリ２６は、後述する少なくとも１ＧＯＰ
（Group Of Picture）分のフレームメモリとしての機能
を有し、ビデオデコーダ３０にてデコードされたビデオ
データをも蓄積可能となっている。また、オーディオバ
ッファメモリ２７は、後述するように複数のオーディオ
フレーム分を蓄積可能になされており、オーディオデコ
ーダ３１にてデコードされたオーディオデータをも蓄積
可能となっている。

【００６６】システムデコーダ３２は、システムバッフ
ァメモリ２８からデータを読み出し、それを復号してシ
ステム情報を出力する。再生制御情報デコーダ３３は、
再生制御情報バッファメモリ２９からデータを読み出
し、それを復号して再生制御情報を出力する。再生制御
情報のうち、上記再生経路を示す情報は図１の再生装置
の再生コントローラ１１へ供給され、上記編集時に使用
する情報はビデオデコーダ３０やオーディオデコーダ３
１に送られる。

【００６７】バッファ占有量検査器２５は、ビデオバッ
ファメモリ２６のビット占有量を検査し、ビデオバッフ
ァメモリ２６が一杯（フル）になると、それを表す指示
信号を多重化分離器２４へ指示して、当該分離器２４の
分離動作を停止させる。その結果、ビデオバッファメモ
リ２６へのビットストリームの入力は停止する。

【００６８】同様に、バッファ占有量検査器２３は、ト
ラックバッファメモリ２２のビット占有量を検査し、ト
ラックバッファメモリ２２が一杯（フル）になると、そ
れを表す指示信号を出力する。この指示信号は、図１の
再生装置の再生ヘッド１２へ指示され、ディスク１０か
らのデータ読み出しを停止させる。その結果、トラック
バッファメモリ２２へのビットストリームの入力は停止
する。

【００６９】制御回路３８は、上記再生制御情報のうち
の編集用の情報に基づいて、上記ビデオバッファメモリ
２６及びオーディオバッファメモリ２７における書き込
み読み出しを制御すると共に、ビデオデコーダ３０及び
オーディオデコーダ３１におけるデコード制御を行い、
さらに後述する各種計算やトラックバッファメモリ２２
の制御、端子３９を介して再生コントローラ１１の制御
等も行う。この制御回路３８における詳細な動作は後述
する。

【００７０】図３には、上記ビデオデコーダ３０の概略
構成を示す。

【００７１】この図３において、端子４０には上記ビデ
オバッファメモリ２６からのデータ（符号化データ）が
供給される。当該符号化データは、エンコーダにて差分
画像にＤＣＴ（離散コサイン変換）処理と量子化処理と
可変長符号化処理とを施したビデオデータであり、ま
た、サブ情報として量子化の際の量子化スケール情報と
動きベクトルとを少なくとも含むものである。この符号
化データは、可変長復号回路４１に送られる。

【００７２】この可変長復号回路４１では、上記符号化
データを可変長復号処理して量子化データを出力すると
共に、上記符号化データに含まれる量子化スケール情報
と動きベクトルとを出力する。

【００７３】逆量子化回路４２では、量子化スケールを
用いて上記量子化データに逆量子化を施し、得られたＤ
ＣＴ係数データを出力する。

【００７４】逆ＤＣＴ回路４３では、上記ＤＣＴ係数デ
ータを逆ＤＣＴ処理し、得られた差分画像データを加算
器４４に送る。

【００７５】当該加算器４４には、動き補償器４５が動
きベクトルとフレームメモリ４６に保存されている前の
フレーム画像とから動き補償した画像データも供給され
ており、上記差分画像データと上記動き補償回路４４か
らの画像データとの加算を行う。

【００７６】上記加算器４４から出力された画像データ
は、端子４７から出力されると共にフレームメモリ４６
に格納される。

【００７７】上記フレームメモリ４６は、前記図２のビ
デオバッファメモリ２６に含まれるものである。

【００７８】以下に、例えばＭＰＥＧのストリームが前
記第２の編集作業方法にて編集されて記録されたディス
クを、上述したような構成のディスク再生装置にて再生
する場合において、前述したように不要部分をスキップ
させてその前後のストリームをシームレスに接続する際
の、当該接続点（編集点）でのストリームの処理の具体
的な内容（制御回路３８の制御動作）を説明する。な
お、シームレス接続（シームレス再生）の代表的なもの
としては、いわゆる２つのデコーダをリンクさせて動作
させ、各デコーダからの再生信号を接続するものがあ
る。その一例としては、例えば本出願人による特願平８
−３３５６６８号の「ディジタル信号復号方法及ぶ装
置、並びにディジタル信号再生装置」の明細書及び図面
に記載の技術がある。当該明細書及び図面にて提案され
ている技術は、この問題を解決するための選択技の一つ
であり、非常に有効なものであるが、本発明実施の形態
では他の解決案を提案している。

【００７９】先ず、ディスク再生時点におけるＭＰＥＧ
ビデオに対する処理の具体的な内容について説明する。

【００８０】ここで、図４の（ａ）に示すビデオストリ
ームと図４の（ｂ）に示すビデオストリームとを編集イ
ン点とアウト点にて接続するような再生が、前記再生制
御情報にて指定されたとする。なお、この図４には、図
４の（ａ）に示すように、編集アウト点以前から当該編
集アウト点を含む最後のＧＯＰ（Group Of Picture）の
途中まで（編集アウト点までのフレーム（ピクチャ））
と、図４の（ｂ）に示すように、編集イン点を含むＧＯ
Ｐの当該編集イン点のフレームから以降とを、シームレ
スに接続する例を挙げている。なお、図中Ｙにて示す区
間は、編集アウト点を含むＧＯＰにおいてＭＰＥＧでの
デコードに必要ない部分、すなわち参照されないピクチ
ャからなる部分であり、図中Ｚにて示す区間は、編集イ
ン点を含むＧＯＰにおいて編集イン点に引き続くフレー
ムのデコード及び表示に必要な部分である。また、図中
Ｘにて示す区間は、図中Ｚにて示す区間のデコードと同
じ時刻にデコード及び表示されている部分である。

【００８１】この時、本実施の形態では、デコーダへ供
給されるストリーム（図１のディスク再生装置のソース
デコーダ１５のビデオ信号処理部へ入力されるストリー
ム）は、図５の（ａ）に示すようになっており、再生時
にスキップされる不要部分も含まれている。ただし、図
５中のＹにて示すスキップされる区間は、後のピクチャ
の参照に使用されず不要であるためソースデコーダ１５
へ入力する前段で、図５の（ｂ）に示す様に例えば編集
アウト点を含むＧＯＰの当該編集アウト点後の各フレー
ムを削除してしまうことも可能である。

【００８２】上記図５に示したようなストリームをディ
スク再生装置にて再生する場合、前記ディスク１０のＴ
ＯＣ或いはその再生ストリーム中などには、前記再生制
御情報として、編集用に使用するＴＯＣの情報と、編集
アウト点の前側の情報と、編集イン点の後側の情報を持
つ必要がある。

【００８３】上記編集アウト点の前側の情報とは、当該
編集アウト点のフレームのタイムコード（或いはそのフ
レームを特定するためのＩＤ）と、当該編集アウト点の
フレームが当該ＧＯＰの最初から何枚目のフレームであ
るかを示す情報である。当該何枚目のフレームであるか
を示す情報は、そのまま記述されていてもよいし、或い
は、編集アウト点を含むＧＯＰの先頭フレームを示すタ
イムコードがどこかに記述されており、上記編集アウト
点のフレームを示すタイムコードから減算する事で求め
てもよい。

【００８４】また、上記編集イン点の後側の情報とは、
編集イン点のフレームのタイムコード（或いはそのフレ
ームを特定するためのＩＤ）と、当該編集イン点のフレ
ームが当該ＧＯＰの最初から何枚目のフレームであるか
を示す情報である。このときの何枚目のフレームである
かを示す情報も、そのまま記述されていてもよいし、或
いは、編集イン点を含むＧＯＰの先頭フレームを示すタ
イムコードがどこかに記述されており、上記編集イン点
のフレームを示すタイムコードから減算する事で求めて
もよい。

【００８５】上述したようなストリームに対して、実際
にデコードを行う図１のソースデコーダ１５では、従来
のものよりもデコード能力を上げ、前記ビデオバッファ
メモリ（フレームメモリ）２６の容量を、例えば最大１
ＧＯＰのフレーム（ピクチャ）分持つようにする。ま
た、この場合、ＧＯＰの最大フレーム数を規定する必要
がある。

【００８６】なお、本実施の形態の場合のデコード能力
としては、従来のデコーダが１フレーム時間に１フレー
ム分のデコード能力しか持っていないのに対し、編集ア
ウト点から編集イン点までの間隔が規定できるのであれ
ば、１フレーム時間に対して１フレーム分の一倍を越え
るデコード速度を持つものとする。つまり、編集点の間
で、次の編集点で使用する前記Ｘの区間をビデオバッフ
ァメモリ２６に溜め込んでしまうようにする。また、ビ
デオバッファメモリ２６の容量としては、従来のデコー
ダが理想的にはフレーム２枚分の容量を必要とし、現実
のインプリメントではフレーム２．５或いは３枚分の容
量を持っているのに対し、本実施の形態では当該ビデオ
バッファメモリ２６の容量を例えばＧＯＰ分（最大１Ｇ
ＯＰのフレーム分）持つようにする。

【００８７】以上の説明したようなデコーダ構成によ
り、図６の（ａ）に示すように、編集地点が到達する前
に、二重にデコードを行う部分をビデオバッファメモリ
２６に蓄積することができ、したがって二重のデコード
が可能となる。

【００８８】なお、実際のデコード及び表示は、図６の
（ｂ）に示すように行われることになる。すなわち、実
際のデコードでは、先ず、ＴＯＣ或いはストリーム中の
情報より、図中Ｘ区間の先頭位置を計算する。当該Ｘ区
間の先頭は、表示においては図中Ｚ区間の先頭位置と同
じ時刻となる。また、算出されたＸ区間の先頭位置以前
に、Ｘ区間のデータの供給及びデコードを行い、ビデオ
バッファメモリ２６に蓄積しておく。

【００８９】次に、上記Ｘ区間の先頭時刻（Ｚ区間の先
頭時刻）がきたら、ビデオバッファメモリ２６に溜めて
おいたＸ区間のデータを出力しながら、Ｚ区間のデコー
ドを行う。Ｘ区間（及びＺ区間）が終了したら、デコー
ドしていたＺ区間に続けて、編集後のストリームをデコ
ード及び出力する。

【００９０】また、ソースデコーダ１５の他の構成とし
ては、デコード能力を上げ、ビデオバッファメモリ２６
の容量を少なくとも従来の二倍持つ構成とすることも可
能である。なお、このときのデコード能力としては現在
の二倍以上の能力を持つものとする。

【００９１】当該ソースデコーダ１５の他の構成を取る
事により、二重にデコードを行う区間をそのままデコー
ドすることが可能となる。

【００９２】この他の構成のソースデコーダ１５におけ
るデコード及び表示は図７の（ａ）及び（ｂ）に示すよ
うに行われる。

【００９３】すなわち、この図７の例のデコードの場
合、先ず、ＴＯＣ或いはストリーム中の情報より、図中
Ｘ区間の先頭位置を計算する。当該Ｘの区間の先頭は、
表示において図中Ｚ区間の先頭位置と同じ時刻となる。
また、当該算出されたＸ区間の先頭と同時刻に、Ｚ区間
の供給及びデコードを開始する。Ｘの区間が続く限り、
Ｘ側のデコード結果を表示する。更に、Ｘ及びＺの区間
が終了次第、Ｘの区間のデコードを停止する。この時点
で、編集点の処理は終了する。その後、Ｚ区間に続く部
分のデコード及び表示を行う。

【００９４】次に、ディスク再生時点における圧縮オー
ディオ信号に対する処理、及び接続する２つのオーディ
オストリーム間のフレーム位相差の問題についての具体
的な内容について説明する。

【００９５】ここで、編集アウト点と編集イン点によ
り、オーディオストリームについて図８に示すような再
生が指定されたとする。すなわち、例えば編集アウト点
にて図８の（ａ）に示すオーディオストリームを中断
し、編集イン点にて図８の（ｂ）に示すオーディオスト
リームを接続するような再生が指定されたとする。この
図８の例では、図の（ａ）に示すように編集アウト点以
前から当該編集アウト点を含むオーディオフレームの途
中まで（編集アウト点まで）と、図８の（ｂ）に示すよ
うに編集イン点後のオーディオフレームの途中から（編
集イン点から）をシームレスに接続する。

【００９６】このオーディオストリームの接続の際に
は、オーディオフレームの途中で出力を乗り換えること
になる。これは前述したビデオストリームについての接
続におけるＧＯＰの考え方と非常に近い。

【００９７】ただし、オーディオストリームの接続の場
合には、単純に切り替えれば済むというわけではなく、
当該接続点でクロスフェードなどの処理を行って出力時
のノイズを低減する必要がある。例えば、編集アウト点
と編集イン点の前後に時間αの間クロスフェードを行う
ようにする。具体的には図９に示すように、時間αの間
に徐々に値が減少する係数すなわち例えば１から０に値
が減少する係数を図９の（ａ）のデコード後のオーディ
オ信号に乗じたものと、時間αの間に徐々に値が増加す
る係数すなわち図９の（ａ）の場合の係数とは逆に０か
ら１に値が増加する係数を図９の（ｂ）のデコード後の
オーディオ信号に乗じたものとを、それぞれ加えて再生
信号として出力する。これにより接続点におけるノイズ
が低減される。

【００９８】この時、接続点の前側のオーディオストリ
ームでは、接続点（編集アウト点）以後の時間αのオー
ディオデータが必要であり、接続点の後側のオーディオ
ストリームでは、接続点（編集イン点）以前の時間αの
オーディオデータが必要である。

【００９９】このため、本実施の形態では、上記時間α
の間はフォーマットで定められた値でディスク上にオー
ディオデータが用意されており、またディスク再生装置
ではフォーマットで定められた値以下の長さでオーディ
オデータを使用するようになされている。

【０１００】実際のソースデコーダ１５への供給は、図
９のようになる。すなわちこの図９の例では、ソースデ
コーダ１５のオーディオデコーダ３１において、編集ア
ウト点を含むオーディオフレームから前に１つ分多くオ
ーディオフレームをデコードすると共に、編集イン点を
含むオーディオフレームから後に１つ分多くオーディオ
フレームをデコードするようにしている。

【０１０１】このようなオーディオフレームの供給とデ
コードと供給を行うために、ＴＯＣ或いはストリーム内
等には、前述したＴＯＣの情報と、編集アウト点の前側
の情報と、編集アウト点の後側の情報を持つ必要があ
る。

【０１０２】なお、このオーディオストリームの接続に
必要なＴＯＣの情報とは、上記時間αを示す値（これは
最大値をフォーマットで設定し、編集機、記録機では、
そのオーディオサンプルを含むオーディオフレームを残
すように編集し、再生機では自身の決めたαで処理をす
る）である。また、編集アウト点の前側の情報とは、当
該編集アウト点を含むオーディオフレームの最後のオー
ディオサンプル（編集アウト点の位置のサンプル）を示
す時刻情報であり、編集イン点の後側の情報とは、当該
編集イン点を含むオーディオフレームの最初のオーディ
オサンプル（編集イン点の位置のサンプル）を示す時刻
情報である。

【０１０３】上述したようなオーディオストリームに対
して、実際のデコードを行うオーディオデコーダ３１で
は、従来のものよりもデコード能力を上げ、上記接続点
においてクロスフェードが行われる２つのストリームの
重なり部分のオーディオデータを記憶するためのメモリ
を持つものとなる。このメモリも前記オーディオバッフ
ァメモリ２７に含まれている。

【０１０４】当該オーディオデコーダ３１では、上記編
集アウト点が到達する前に上記重なり部分のオーディオ
データをデコードし、上記メモリに貯える。また、上記
重なり部分では、編集イン点以後のオーディオデータの
デコードを行いながら、これら編集アウト点の前及び編
集イン点の後の出力オーディオデータにクロスフェード
のための係数を乗算及び加算して出力する。

【０１０５】また、当該オーディオデコーダ３１の他の
構成としては、従来のものよりもデコード能力を２倍持
ち、上記重なり部分ではそれぞれ接続するオーディオス
トリームのオーディオデータをデコードし、上述同様に
それらデコード後の２つのオーディオデータにクロスフ
ェードのための係数を乗算しながら加算して出力するも
のも考えられる。

【０１０６】ここで、上記接続する２つのオーディオス
トリームでは、接続点でオーディオフレームに位相差が
発生する虞があるため、以下に、そのフレーム位相差の
解決のための手法の説明を行う。

【０１０７】当該フレーム位相差の解決のために、ソー
スデコーダ１５のオーディオデコーダ３１は、編集アウ
ト点の前側についてのデコードと編集イン点の後ろ側に
ついてのデコードを非同期で行うようなデコーダ構成と
する。これは、上記二つの方法のいずれも同様である。
編集アウト点の前側のデコード処理が終了次第、編集イ
ン点の後ろ側の位相に同期させてデコードを開始する。
このとき、フォーマットで定める重なりの時間αの最大
値は、フレーム位相差の大きさを考えて設定する必要が
ある。

【０１０８】次に、ビデオストリームとオーディオスト
リームとでは、多重化における位相差（以下、上記オー
ディオフレームの位相差と区別するために、多重化位相
差と呼ぶことにする）の問題がある。

【０１０９】ディスク再生装置においては、多重化分離
器２４とビデオデコーダ３０及びオーディオデコーダ３
１との間にはそれぞれビデオバッファメモリ２６とオー
ディオバッファメモリ２７が設けられている。これらバ
ッファメモリ２６，２７においては、それぞれ独立に一
秒までのディレイが許されている。

【０１１０】このため、本実施の形態のように多重化さ
れているエレメンタリストリームがビデオストリームと
オーディオストリームの二本であるとすると、以下の二
つの極端な状況が考えられる。すなわち、多重化分離し
たビデオストリームのみ大きなディレイを持つ場合と、
多重化分離したオーディオストリームのみが大きなディ
レイを持つ場合である。

【０１１１】上記多重化分離したビデオストリームのみ
大きなディレイを持つ場合の多重化ストリームは、ビデ
オストリームがオーディオストリームの前側に、すなわ
ち、オーディオストリームが上記ビデオストリームより
もかなり遅れて多重化されている。このため、図１０に
示すように、オーディオバッファメモリ２７に入力され
るオーディオデータよりも、先にビデオデータがビデオ
バッファメモリ２６に入力され、且つ、オーディオデー
タよりも１秒程度長くビデオバッファメモリ２６に止ま
ることになる。

【０１１２】また、上記多重化分離したオーディオスト
リームのみが大きなディレイを持つ場合の多重化ストリ
ームは、図１１に示すように、オーディオストリームが
ビデオストリームの前側に、すなわち、ビデオストリー
ムが上記オーディオストリームよりもかなり遅れて多重
化されている。このため、図１１に示すように、ビデオ
バッファメモリ２６に入力されるビデオデータよりも、
先にオーディオデータがオーディオバッファメモリ２７
に入力され、且つ、ビデオデータよりも長くオーディオ
バッファメモリ２７に止まることになる。

【０１１３】これらの場合に対処するための必要な情報
及び処理としては、以下のようなことが考えられる。

【０１１４】例えば、ストリームの切り出しはビデオス
トリームが主役になると考える。なお、オーディオスト
リーム主体でも問題は無く、本質的には、どちらでもよ
いが、編集の指定がタイムコードやビデオフレームＩＤ
によるものであることが想定されるという事、及び編集
点での処理を考えると、ビデオストリーム主役であると
考えることが望ましい。また、ビデオストリーム主体
（あるいはオーディオストリーム主体）にしてストリー
ムの切り出しを行おうとした際に、同時に発音されるべ
きオーディオ情報が異なる位置に置かれていることが問
題である。このため、必要充分な量だけバッファメモリ
に取り込んで、不要な部分を削除するという作業が必要
になる。

【０１１５】この問題を二つに分けて考察する。

【０１１６】編集アウト点前側の処理について先に説明
する。

【０１１７】図１２に示すように、ビデオストリームの
ディレイが大きい場合（ビデオストリームが前側に多重
化されている場合）、必要なオーディオデータを得るた
めには幾つかの方法がある。

【０１１８】例えば、ビデオストリームの切れ目から後
ろ側に、一秒分以上のオーディオデータを余分にディス
ク１０からトラックバッファ２２に読み出す方法が考え
られる。このとき、タイムスタンプやＳＣＲ（System C
lock Reference：ＭＰＥＧストリームで定義されている
ビットストリーム供給時刻）等を使って、読み出し停止
位置を探す。例えば、最後のビデオストリームのＰＴＳ
（Presentation TimeStamp：ＭＰＥＧストリーム多重化
で定義されている表示時刻）を保持しておき、これと等
しいか少し大きいＰＴＳを持つオーディオフレームが見
つかるまでトラックバッファ２２に読み込む。または、
記録時或いは編集時など再生以前に、必要充分なオーデ
ィオデータを読み出すために必要な位置を、ＴＯＣ或い
はストリーム中に記録しておく。ディスク再生装置では
その値を予め読み出しておき、編集点処理の際にそこま
でディスクからのデータ読み出しを行う。

【０１１９】また、編集点直前のビデオデータをビデオ
バッファメモリ２６経由でビデオデコーダ３０に供給す
ると共に、その余分データから必要なオーディオデータ
部分を抽出してオーディオバッファメモリ２７経由でオ
ーディオデコーダ３１に供給する方法も考えられる。上
述同様に上記必要なオーディオデータ部分の抽出のため
には、ＰＴＳを使用する手法や予め位置を記録しておく
手法がある。すなわち、最後のビデオストリームのＰＴ
Ｓを保持しておき、これと等しいか少し大きいＰＴＳを
持つオーディオフレームが見つかるまでオーディオバッ
ファメモリ２７経由でオーディオデコーダ３１に供給す
る。つまり、記録時或いは編集時など再生以前に、必要
充分なオーディオデータを読み出すために必要な位置を
ＴＯＣあるいはストリーム中に記録しておく。再生機で
はその値を予め読み出しておき、デコードの際には、そ
の位置までオーディオバッファメモリ２７経由でオーデ
ィオデコーダ３１に供給する。或いは、オーディオデコ
ード直前に各フレームに対応するＰＴＳを調査し、デコ
ードの必要がない場合にはスキップする。

【０１２０】次に、図１３に示すように、オーディオス
トリームのディレイが大きい場合（ビデオストリームが
後側に多重化されている場合）について説明する。

【０１２１】この場合には、ビデオデータを必要なだけ
読み出すことにより、必要なオーディオデータがトラッ
クバッファ２２にロードされる。編集点直前のビデオデ
ータをビデオバッファメモリ２６ビデオデコーダ３０に
供給すると共に、この余分データから必要なオーディオ
部分を抽出してオーディオバッファメモリ２７経由でオ
ーディオデコーダ３１に供給する。必要なオーディオ部
分の抽出のためには、上述同様に、ＰＴＳを使用する方
法や予め位置を記録しておく方法がある。

【０１２２】実際のインプリメントとしては、以下のよ
うなことが考えられる。

【０１２３】第１に、オーディオストリームのディレイ
が長い時においても、ビデオストリームのディレイが長
い時の方法を適用すれば必要なオーディオデータはロー
ドできる。この場合、どちらのディレイが長いかを考え
ることなく、ビデオストリームのディレイが大きいと考
えて処理することができる。

【０１２４】第２に、予め記録時編集時などに、オーデ
ィオストリームとビデオストリームのどちらのディレイ
が大きいかを検出し、ＴＯＣあるいはストリーム内等に
記録しておく。ディスク再生装置側ではこの情報を事前
に得ておき、それにしたがって上記のアルゴリズムのど
ちらかを実行する。

【０１２５】以下に、編集イン点後側の処理について説
明する。

【０１２６】図１４に示すように、ビデオストリームの
ディレイが大きい場合（ビデオストリームが前側に多重
化されている場合）について説明する。

【０１２７】この場合には、ビデオデータを必要なだけ
読み出すことにより、必要なオーディオデータがトラッ
クバッファ２２にロードされる。次いで、編集イン点直
前のビデオデータをビデオバッファメモリ２６経由でビ
デオデコーダ３０に供給すると共に、この余分データか
ら必要なオーディオ部分を抽出してオーディオバッファ
メモリ２７経由でオーディオデコーダ３１に供給する。
上記必要なオーディオ部分の抽出のためには、前述同様
にＰＴＳを使用する方法や予め位置を記録しておく方法
がある。すなわち、最初のビデオストリームのＰＴＳを
保持しておき、これと等しいか少し大きいＰＴＳを持つ
オーディオフレームが見つかるまで読み飛ばす。条件に
合致するオーディオフレームが発見されたら、デコード
を開始する。この時、位相問題やオーディオ編集点問題
については前述同様にして解決する。すなわち、記録時
或いは編集時など再生以前に、必要十分なオーディオス
トリームを読み出すために必要な位置をＴＯＣあるいは
ストリーム中に記録しておく。ディスク再生装置ではそ
の値を予め読み出しておき、編集点処理の際にそこまで
オーディオフレームを読み飛ばす。指定された位置がき
たらその後のオーディオフレームをオーディオバッファ
メモリ２７経由でオーディオデコーダ３１に供給し、デ
コードを開始する。

【０１２８】次に、図１５に示すように、オーディオス
トリームのディレイが大きい場合（ビデオストリームが
後側に多重化されている場合）について説明する。

【０１２９】この場合、必要なオーディオデータを得る
ためにはいくつかの方法がある。

【０１３０】例えば、ビデオストリームの切れ目から前
側に、一秒分以上のデータを余分にディスクからトラッ
クバッファ２２に読み出す。このときの読み出し開始位
置は、タイムスタンプを使い、必要な場所を探すか、あ
るいはタイムコードサーチの要領で探すなどの方法があ
る。実際には一秒も余分に必要無い。オーディオバッフ
ァメモリ２７で発生する最大のディレイを、当該バッフ
ァメモリ容量をビットレートで除して計算し、その値だ
け前側から読み出す。また、前述同様に、記録時或いは
編集時など再生以前に、必要十分なオーディオストリー
ムを読み出すために必要な位置をＴＯＣあるいはストリ
ーム中に記録しておく方法もある。ものときも前述同様
に、ディスク再生装置ではその値を予め読み出してお
き、編集点処理の際にそこまでディスクからのデータ読
み出しを行う。編集点直前のビデオデータをビデオバッ
ファメモリ２７経由でビデオデコーダ３１に供給すると
ともに、この余分データから必要なオーディオ部分を抽
出してオーディオバッファメモリ２７経由でオーディオ
デコーダ３１に供給する。

【０１３１】実際のインプリメントとしては、以下のよ
うなことが考えられる。

【０１３２】第１に、ビデオストリームのディレイが長
い時においても、オーディオストリームのディレイが長
い時の方法を適用すれば必要なオーディオデータはロー
ドできる。このため、どちらのディレイが長いかを考え
ることなく、オーディオストリームのディレイが大きい
と考えて処理する。

【０１３３】第２に、予め記録時編集時などに、オーデ
ィオストリームとビデオストリームのどちらのディレイ
が大きいかを検出し、ＴＯＣあるいはストリーム中等に
記録しておく。再生機ではこの情報を事前に得ておき、
それにしたがって上記のアルゴリズムのどちらかを実行
する。

【０１３４】なお、上述した実施の形態のディスク再生
装置にて生成した編集後の信号をさらに光ディスクやハ
ードディスク等の記録媒体に記録することも可能であ
る。

【０１３５】そのほか、ディスク記録前のＭＰＥＧのス
トリームを編集する場合にも、その編集作業時における
編集点でのストリーム処理に関して、以下の各項目につ
いての検討が必要であると考えられる。すなわち、第１に、ＭＰＥＧビデオの操作の問題第２に、圧縮オーディオの操作の問題第３に、フレーム位相差の問題第４に、多重化位相差の問題の４つの項目の検討が必要であるが、本発明では重要で
はなく、これらの説明については割愛する。

【０１３６】

【発明の効果】以上の説明で明らかなように、本発明に
おいては、編集アウト点の出力時刻が来る前に、第１の
区間内の符号化データ列を復号して蓄積しておき、第１
の区間の先頭位置の出力時刻が来たならば、その第１の
区間の先頭位置からの復号データを出力すると共に第２
の区間内の符号化データ列を復号し、編集イン点の出力
時刻が来たならば、第２の区間に続く符号化データ列を
復号して出力することにより、例えば、ＭＰＥＧビデオ
などの連続性を利用してデータの冗長性を除いたストリ
ームを一旦中断して別のストリームと良好に接続可能と
なる。

【０１３７】また、本発明においては、編集アウト点の
出力時刻が来る前に、第１の区間内の符号化データ列を
復号して蓄積しておき、第１の区間の先頭位置の出力時
刻が来たならば、その第１の区間の先頭位置からの復号
データをフェードアウトしながら出力すると共に第２の
区間内の符号化データ列を復号してフェードインし、編
集イン点の出力時刻が来たならば、第２の区間に続く符
号化データ列を復号して出力することにより、例えば、
ＭＰＥＧオーディオなどの連続性を利用してデータの冗
長性を除いたストリームを一旦中断して別のストリーム
と良好に接続可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態のディスク再生装置の要部
構成を示すブロック回路図である。

【図２】ソースデコーダの詳細構成を示すブロック回路
図である。

【図３】ビデオデコーダの詳細な構成を示すブロック回
路図である。

【図４】再生時に２つのビデオストリームを接続するよ
うな編集例を示す図である。

【図５】本実施の形態にて第２の編集作業方法を採用し
た場合のデコーダへ供給されるストリーム例を示す図で
ある。

【図６】本実施の形態のデコーダ構成によるデコード及
び表示の説明に用いる図である。

【図７】本実施の形態の他のデコーダ構成によるデコー
ド及び表示の説明に用いる図である。

【図８】再生時に２つのオーディオストリームを接続す
るような編集例を示す図である。

【図９】オーディオストリームの接続時に行うクロスフ
ェードの説明に用いる図である。

【図１０】ビデオストリームのみ大きなディレイを持つ
場合の多重化ストリームの例を示す図である。

【図１１】オーディオストリームのみが大きなディレイ
を持つ場合の多重化ストリームの例を示す図である。

【図１２】ビデオストリームのディレイが大きい場合の
多重化ストリームの例を示す図である。

【図１３】オーディオストリームのディレイが大きい場
合の多重化ストリームの例を示す図である。

【図１４】ビデオストリームのディレイが大きい場合の
多重化ストリームの例を示す図である。

【図１５】オーディオストリームのディレイが大きい場
合の多重化ストリームの例を示す図である。

【図１６】ディスク上の記録データの配置例を示す図で
ある。

【図１７】編集作業としてディスク上に記録されたデー
タの一部を削除する例に示す図である。

【図１８】第１の編集作業方法を採用した場合の編集結
果を模式的に示す図である。

【図１９】第２の編集作業方法を採用した場合の編集結
果を模式的に示す図である。

【図２０】ＭＰＥＧのＩ、Ｂ、Ｐピクチャの組合せ例の
説明に用いる図である。

【図２１】オーディオフレームの復号周期とピクチャの
復号周期の説明に用いる図である。

【図２２】ビデオストリームとその編集時のスキップの
例の説明に用いる図である。

【図２３】ディスク上に記録されている映像及び音声の
符号化データを時間順に表し、編集時に、ビデオ信号と
オーディオ信号に位相差が発生する様子の説明に用いる
図である。

【符号の説明】

１０ディスク、１１再生コントローラ、１２
再生ヘッド、１３復調器、１４ＥＣＣデコーダ、
１５ソースデコーダ、２２トラックバッファメ
モリ、２４多重化分離器、２６ビデオバッファ
メモリ、２７オーディオバッファメモリ、２８
システムバッファメモリ、２９再生情報バッファメ
モリ、３０ビデオデコーダ、３１オーディオデ
コーダ、３２システムデコーダ、３３再生制御
情報デコーダ、３８制御回路

フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 5/91 Ｈ０４Ｎ 7/08 7/025 7/13 Ｚ 7/03 7/035 7/08 7/081 7/24

Claims

【特許請求の範囲】

【請求項１】複数フレームからなる所定の符号化グル
ープ構造が連続した符号化データ列と、編集時の編集ア
ウト点の情報及び編集イン点の情報を含む再生制御情報
とを、少なくとも記録してなるランダムアクセス可能な
記録媒体から、上記再生制御情報及び符号化データ列を
読み出し、上記再生制御情報に基づいて符号化データ列
の復号を行う復号方法であって、上記編集アウト点の出力時刻が来る前に、上記再生制御
情報に基づいて上記編集アウト点を含み且つ当該編集ア
ウト点以前の符号化データ列からなる第１の区間の先頭
位置を計算し、上記編集アウト点の出力時刻が来る前に、上記第１の区
間内の符号化データ列を上記記録媒体から読み出すと共
に復号を行い、得られた復号データを蓄積しておき、上記第１の区間の先頭位置の出力時刻が来たならば、上
記第１の区間の先頭位置からの復号データを出力しなが
ら、上記編集アウト点から編集イン点の間である第２の
区間内の符号化データ列を復号し、上記編集イン点の出力時刻が来たならば、上記第２の区
間に続く符号化データ列を復号して出力することを特徴
とする復号方法。
【請求項２】上記再生制御情報は、記録媒体の所定位
置に記録された管理テーブル情報と、編集アウト点の前
側の情報、編集イン点の後側の情報を含むことを特徴と
する請求項１記載の復号方法。
【請求項３】複数フレームからなる所定の符号化グル
ープ構造が連続した符号化データ列と、編集時の編集ア
ウト点の情報及び編集イン点の情報を含む再生制御情報
とを、少なくとも記録してなるランダムアクセス可能な
記録媒体から、上記再生制御情報及び符号化データ列を
読み出し、上記再生制御情報に基づいて符号化データ列
の復号を行う復号再生装置であって、少なくとも上記所定の符号化グループ構造の１つ分を記
憶可能な記憶手段と、上記再生制御情報に基づいて上記記録媒体の読み出しと
復号を制御する制御手段とを有し、上記制御手段は、上記編集アウト点の出力時刻が来る前
に上記再生制御情報に基づいて上記編集アウト点を含み
且つ当該編集アウト点以前の符号化データ列からなる第
１の区間の先頭位置を計算し、上記編集アウト点に出力
時刻が来る前に上記第１の区間内の符号化データ列を上
記記録媒体から読み出すと共に復号を行い、得られた復
号データを上記記憶手段に蓄積しておき、上記第１の区
間の先頭位置の出力時刻が来たならば上記第１の区間の
先頭位置からの復号データを出力しながら上記編集アウ
ト点から編集イン点の間である第２の区間内の符号化デ
ータ列を上記記録媒体から読み出して復号し、上記編集
イン点の出力時刻が来たならば上記第２の区間に続く符
号化データ列を上記記録媒体から読み出して復号し、出
力することを特徴とする復号再生装置。
【請求項４】上記再生制御情報は、記録媒体の所定位
置に記録されたテーブル情報と、編集アウト点の前側の
情報、編集イン点の後側の情報を含むことを特徴とする
請求項３記載の復号再生装置。
【請求項５】連続するフレームからなる符号化データ
列と、編集時の編集アウト点の情報及び編集イン点の情
報を含む再生制御情報とを、少なくとも記録してなるラ
ンダムアクセス可能な記録媒体から、上記再生制御情報
及び符号化データ列を読み出し、上記再生制御情報に基
づいて符号化データ列の復号を行う復号方法であって、上記編集アウト点の出力時刻が来る前に、上記再生制御
情報に基づいて上記編集アウト点を含み且つ当該編集ア
ウト点以前の符号化データ列からなる第１の区間の先頭
位置を計算し、上記編集アウト点の出力時刻が来る前に、上記第１の区
間内の符号化データ列を上記記録媒体から読み出すと共
に復号を行い、得られた復号データを蓄積しておき、上記第１の区間の先頭位置の出力時刻が来たならば、上
記第１の区間の先頭位置からの復号データをフェードア
ウトしながら出力すると共に、上記編集アウト点から編
集イン点の間である第２の区間内の符号化データ列を復
号し、フェードインしながら出力し、上記編集イン点の出力時刻が来たならば、上記読み出し
及び復号していた第２の区間に続く符号化データ列を復
号して出力することを特徴とする復号方法。
【請求項６】上記再生制御情報は、記録媒体の所定位
置に記録されたテーブル情報と、編集アウト点の前側の
情報、編集イン点の後側の情報を含むことを特徴とする
請求項５記載の復号方法。
【請求項７】連続するフレームからなる符号化データ
列と、編集時の編集アウト点の情報及び編集イン点の情
報を含む再生制御情報とを、少なくとも記録してなるラ
ンダムアクセス可能な記録媒体から、上記再生制御情報
及び符号化データ列を読み出し、上記再生制御情報に基
づいて符号化データ列の編集を行う復号再生装置であっ
て、少なくとも数フレーム分を記憶可能な記憶手段と、上記再生制御情報に基づいて上記記録媒体の読み出しと
復号を制御する制御手段とを有し、上記制御手段は、上記編集アウト点の出力時刻が来る前
に上記再生制御情報に基づいて上記編集アウト点を含み
且つ当該編集アウト点以前の符号化データ列からなる第
１の区間の先頭位置を計算し、上記編集アウト点に出力
時刻が来る前に上記第１の区間内の符号化データ列を上
記記録媒体から読み出すと共に復号を行い、得られた復
号データを上記記憶手段に蓄積しておき、上記第１の区
間の先頭位置の出力時刻が来たならば上記第１の区間の
先頭位置からの復号データをフェードアウトしながら出
力すると共に上記編集アウト点から編集イン点の間であ
る第２の区間内の符号化データ列を上記記録媒体から読
み出して復号しフェードインしながら出力し、上記編集
イン点の出力時刻が来たならば上記第２の区間に続く符
号化データ列を上記記録媒体から読み出して復号し、出
力することを特徴とする復号再生装置。
【請求項８】上記再生制御情報は、記録媒体の所定位
置に記録されたテーブル情報と、編集アウト点の前側の
情報、編集イン点の後側の情報を含むことを特徴とする
請求項７記載の復号再生装置。
【請求項９】複数フレームからなる所定の符号化グル
ープ構造が連続した符号化データ列と編集時の編集アウ
ト点の情報及び編集イン点の情報を含む再生制御情報と
を少なくとも用い、上記編集アウト点の出力時刻が来る
前に、上記再生制御情報に基づいて編集アウト点を含み
且つ当該編集アウト点以前の符号化データ列からなる第
１の区間の先頭位置を計算し、編集アウト点の出力時刻
が来る前に、上記第１の区間内の符号化データ列を復号
した復号データを蓄積しておき、上記第１の区間の先頭
位置の出力時刻が来たときに、上記第１の区間の先頭位
置からの復号データを出力しながら、上記編集アウト点
から編集イン点の間である第２の区間内の符号化データ
列を復号し、編集イン点の出力時刻が来たときに、上記
第２の区間に続く符号化データ列を復号して形成した信
号を記録してなることを特徴とする記録媒体。
【請求項１０】連続するフレームからなる符号化デー
タ列と編集時の編集アウト点の情報及び編集イン点の情
報を含む再生制御情報とを少なくとも用い、上記編集ア
ウト点の出力時刻が来る前に、上記再生制御情報に基づ
いて上記編集アウト点を含み且つ当該編集アウト点以前
の符号化データ列からなる第１の区間の先頭位置を計算
し、上記編集アウト点に出力時刻が来る前に、上記第１
の区間内の符号化データ列を復号した復号データを蓄積
しておき、上記第１の区間の先頭位置の出力時刻が来た
ときに、上記第１の区間の先頭位置からの復号データを
フェードアウトしながら出力すると共に、上記編集アウ
ト点から編集イン点の間である第２の区間内の符号化デ
ータ列を復号してフェードインしながら出力し、上記編
集イン点の出力時刻が来たときに、上記読み出し及び復
号していた第２の区間に続く符号化データ列を復号して
形成した信号を記録してなることを特徴とする記録媒
体。