[go: up one dir, main page]

JP4221667B2 - 情報処理装置および情報処理方法、記録媒体、並びに、プログラム - Google Patents

情報処理装置および情報処理方法、記録媒体、並びに、プログラム Download PDF

Info

Publication number
JP4221667B2
JP4221667B2 JP2004245373A JP2004245373A JP4221667B2 JP 4221667 B2 JP4221667 B2 JP 4221667B2 JP 2004245373 A JP2004245373 A JP 2004245373A JP 2004245373 A JP2004245373 A JP 2004245373A JP 4221667 B2 JP4221667 B2 JP 4221667B2
Authority
JP
Japan
Prior art keywords
picture
encoded stream
editing
encoding
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004245373A
Other languages
English (en)
Other versions
JP2006067095A (ja
Inventor
孝明 渕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004245373A priority Critical patent/JP4221667B2/ja
Priority to US11/207,899 priority patent/US7539347B2/en
Priority to KR20050078497A priority patent/KR101119685B1/ko
Priority to CN200510129140XA priority patent/CN1767648B/zh
Publication of JP2006067095A publication Critical patent/JP2006067095A/ja
Application granted granted Critical
Publication of JP4221667B2 publication Critical patent/JP4221667B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、双方向のフレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。
MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせる事はできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。
しかしながら、例えば、ＨＤ（High Definition）信号のように、高精細で情報量の多い映像信号が取り扱われる場合、フレーム内圧縮のみで符号化を行うと、低い圧縮効率しか得られないため、多量のデータを伝送したり、蓄積するためには、転送速度が速かったり、記憶容量が大きかったり、または、処理速度が速いなどの、高価なシステムが必要となってしまう。すなわち、高精細で情報量の多い映像信号を安価なシステムで取り扱うためには、フレーム間予測を用いて圧縮効率を上げることが必要となる。
MPEGにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。
Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。
ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。
Long GOP方式で圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。
まず、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合される。
図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの圧縮映像データを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。
しかしながら、図１を用いて説明したような方法で編集と再エンコードを行うと、再エンコードを行った部分と行っていない部分のつなぎ目において、画像を参照することができないという問題が発生する。
この問題に対して、フレーム間で予測符号化が行われている（Long GOP）方式で圧縮する場合、編集を比較的簡単に実現する方法として、フレーム間予測に制限を加え、GOP内のみで画像を参照し、GOPをまたいで画像を参照しないClosed GOP構造をとるように、フレーム間予測に制限を加える方法が知られている。
フレーム間予測に制限を加える場合について、図２を用いて説明する。図２においては、フレーム間予測と編集との関係を示すために、編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータ、部分再エンコードされた編集後の編集点付近の圧縮映像のデータ、並びに、再エンコードしない部分の圧縮映像のデータについて、それぞれ、display order（ディスプレイオーダ）でのピクチャの並びを示している。図中の矢印は、画像の参照方向を示している（以下、同様）。図２においては、ディスプレイオーダのBBIBBPBBPBBPBBPの１５のピクチャが１GOPとされ、画像の参照は、GOP内のみとされている。この方法は、GOPをまたぐ予測を禁止することで、GOP間に予測による圧縮データの関連をなくし、GOP単位での圧縮データのつなぎ替え（再エンコードを行う範囲の決定）を可能にする。
すなわち、編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータは、それぞれ、編集点を含む１GOP単位で、再エンコード範囲が決定され、１GOP単位で決定された再エンコード範囲の編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータがデコードされて、非圧縮の素材映像１の信号および素材映像２の信号が生成される。そして、非圧縮の素材映像１の信号と素材映像２の信号とがカット（Cut）編集点において接続されて、接続された素材映像１および素材映像２が部分再エンコードされて、圧縮映像データが生成され、再エンコードしない部分の圧縮映像データと接続されて、圧縮符号化された編集映像データが生成される。
実際に符号化されたデータは、図３に示されるように、Coding order（コーディングオーダ）で並んでおり、圧縮映像データの結合はコーディングオーダで行われる。接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、再エンコードしない部分の圧縮素材映像１のデータにおいて、コーディングオーダで最後のピクチャであり、ディスプレイオーダ１４番目のピクチャであるＢ13ピクチャと、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最初のピクチャであり、ディスプレイオーダ３番目のピクチャであるＩ2ピクチャとが接続される。そして、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最後のピクチャであり、ディスプレイオーダ１３番目のピクチャであるＢ12ピクチャと、再エンコードしない部分の圧縮素材映像２のデータにおいて、コーディングオーダで最初のピクチャであり、ディスプレイオーダ３番目のピクチャであるＩ2ピクチャとが接続される。すなわち、接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、GOPの切り替え部分で接続されて、圧縮された編集映像データが生成される。
これに対して、Closed GOP構造ではないGOP構造、すなわち、GOPをまたいで画像を参照する場合のLong GOP構造を、以下、Open GOPと称する。
また、Open GOPの２つのビットストリームを編集する場合、具体的には、ビットストリームＸに、ビットストリームＹを挿入する場合において、ビットストリームＹの最初のGOPを構成するＩピクチャ前Ｂピクチャ（Ｉピクチャが表示されるまでに出現するＢピクチャ）が削除され、更に、そのGOPを構成する残りの画像のテンポラルリファレンス（Temporal Reference）が変更されることにより、ビットストリームＸの最後のGOPを構成する画像を用いて予測されるＩピクチャ前Ｂピクチャを表示させないようにし、Open GOPでMPEG符号化された画像のビットストリームどうしを接続したときのつなぎ目部分における画質の劣化を防止することができるようにした技術がある（例えば、特許文献１）。
特開平１０−６６０８５号公報
しかしながら、図２および図３を用いて説明したように、GOPをまたぐ予測を禁止するClosed GOP構造を利用する編集方法では、GOPの開始部で予測方向に制限を加えることになり、通常用いられる圧縮方式であるOpen GOPと比較して、映像信号の圧縮効率が低下する。
また、特許文献１に記載の技術においては、つなぎ目付近のＢピクチャが表示されないため、その分の画像が欠落してしまうという問題がある。
本発明はこのような状況に鑑みてなされたものであり、高い圧縮効率が得られるLong GOP方式で圧縮された、双方向のフレーム間予測を用いた圧縮映像信号の編集を、VBV Bufferの制約を守って実現することができるようにするものである。
本発明の第１の情報処理装置は、第１の符号化ストリームおよび第２の符号化ストリームのうちの編集点付近の所定区間をデコードするデコード手段と、第１の符号化ストリームがデコード手段によりデコードされて生成された第１の画像データと、第２の符号化ストリームがデコード手段によりデコードされて生成された第２の画像データとを、編集点で接続し、第３の画像データを生成する接続手段と、接続手段により接続されて生成された第３の画像データをエンコードして、再符号化ストリームを生成するエンコード手段と、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコード手段によりデコードされる所定区間を決定し、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、エンコード手段によるエンコード処理を制御する制御手段と、編集符号化ストリームを生成する編集符号化ストリーム生成手段とを備えることを特徴とする。
制御手段には、再符号化ストリームのうち、ディスプレイオーダで最も時間的に後ろに位置するＩピクチャ、またはＰピクチャより後ろのピクチャのピクチャタイプが、そのピクチャとディスプレイオーダでの時間的な位置の対応する第２の符号化ストリームのピクチャのピクチャタイプから変更されないように、エンコード手段によるエンコード処理を制御させるようにすることができる。
制御手段には、第３のピクチャのオキュパンシに関する情報を取得させるようにすることができる。
制御手段には、第１のピクチャの発生符号量の情報を取得させるようにすることができる。
制御手段には、コーディングオーダで、再符号化ストリームのうち、最後に連続するＢピクチャの前に、第１のピクチャが配置されるように、編集符号化ストリーム生成手段による編集符号化ストリームの生成を制御させるようにすることができる。
制御手段には、編集点付近以外の所定区間の第２の符号化ストリーム内の第１のピクチャのオキュパンシが、編集符号化ストリーム内の第１のピクチャのオキュパンシと同一になるように、エンコード手段によるエンコード処理を制御させるようにすることができる。
エンコード手段には、MPEG方式で第３の画像データをエンコードさせるようにすることができる。
本発明の第１の情報処理方法は、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、第１の符号化ストリームおよび第２の符号化ストリームのうちの編集点付近の所定区間を決定し、その所定区間のデコードを制御するデコード制御ステップと、デコード制御ステップの処理によりデコードが制御されて第１の符号化ストリームから生成された第１の画像データと、デコード制御ステップの処理によりデコードが制御されて第２の符号化ストリームから生成された第２の画像データとの、編集点における接続を制御し、第３の画像データの生成を制御する接続制御ステップと、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと、第３の画像データをエンコードした結果得られる再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、第３の画像データのエンコードを制御して、再符号化ストリームの生成を制御するエンコード制御ステップと、編集符号化ストリームの生成を制御する編集符号化ストリーム生成制御ステップとを含むことを特徴とする。
本発明の第１の記録媒体に記録されているプログラムは、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、第１の符号化ストリームおよび第２の符号化ストリームのうちの編集点付近の所定区間を決定し、その所定区間のデコードを制御するデコード制御ステップと、デコード制御ステップの処理によりデコードが制御されて第１の符号化ストリームから生成された第１の画像データと、デコード制御ステップの処理によりデコードが制御されて第２の符号化ストリームから生成された第２の画像データとの、編集点における接続を制御し、第３の画像データの生成を制御する接続制御ステップと、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと、第３の画像データをエンコードした結果得られる再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、第３の画像データのエンコードを制御して、再符号化ストリームの生成を制御するエンコード制御ステップと、編集符号化ストリームの生成を制御する編集符号化ストリーム生成制御ステップとを含むことを特徴とする処理をコンピュータに実行させる。
本発明の第１のプログラムは、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、第１の符号化ストリームおよび第２の符号化ストリームのうちの編集点付近の所定区間を決定し、その所定区間のデコードを制御するデコード制御ステップと、デコード制御ステップの処理によりデコードが制御されて第１の符号化ストリームから生成された第１の画像データと、デコード制御ステップの処理によりデコードが制御されて第２の符号化ストリームから生成された第２の画像データとの、編集点における接続を制御し、第３の画像データの生成を制御する接続制御ステップと、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと、第３の画像データをエンコードした結果得られる再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、第３の画像データのエンコードを制御して、再符号化ストリームの生成を制御するエンコード制御ステップと、編集符号化ストリームの生成を制御する編集符号化ストリーム生成制御ステップとを含むことを特徴とする処理をコンピュータに実行させる。
本発明の第１の情報処理装置および情報処理方法、並びに、プログラムにおいては、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、第１の符号化ストリームおよび第２の符号化ストリームのうちの編集点付近の所定区間が決定され、その所定区間がデコードされ、デコードされて第１の符号化ストリームから生成された第１の画像データと、デコードされて第２の符号化ストリームから生成された第２の画像データとが、編集点で接続されて、第３の画像データが生成され、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと、第３の画像データをエンコードした結果得られる再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、第３の画像データがエンコードされて再符号化ストリームが生成され、編集符号化ストリームが生成される。
本発明の第２の情報処理装置は、第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、第２の符号化ストリームが編集点付近の所定区間でデコードされて生成された第２の画像データとが、編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコード手段と、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる所定区間を決定し、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、エンコード手段によるエンコード処理を制御する制御手段とを備えることを特徴とする。
編集符号化ストリームを生成する編集符号化ストリーム生成手段を更に備えさせるようにすることができ、制御手段には、編集符号化ストリーム生成手段を更に制御させるようにすることができる。
本発明の第２の情報処理方法は、第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、第２の符号化ストリームが編集点付近の所定区間でデコードされて生成された第２の画像データとが、編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコードステップと、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる所定区間を決定し、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、エンコードステップにおけるエンコード処理を制御する制御ステップとを含むことを特徴とする。
本発明の第２の記録媒体に記録されているプログラムは、第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、第２の符号化ストリームが編集点付近の所定区間でデコードされて生成された第２の画像データとが、編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコードステップと、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる所定区間を決定し、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、エンコードステップにおけるエンコード処理を制御する制御ステップとを含むことを特徴とする処理をコンピュータに実行させる。
本発明の第２のプログラムは、第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、第２の符号化ストリームが編集点付近の所定区間でデコードされて生成された第２の画像データとが、編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコードステップと、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる所定区間を決定し、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、エンコードステップにおけるエンコード処理を制御する制御ステップとを含むことを特徴とする処理をコンピュータに実行させる。
本発明の第２の情報処理装置および情報処理方法、並びに、プログラムにおいては、第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、第２の符号化ストリームが編集点付近の所定区間でデコードされて生成された第２の画像データとが、編集点で接続されて生成された第３の画像データが、エンコードされて再符号化ストリームが生成される。なお、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる所定区間は決定され、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、エンコード処理は制御される。
本発明によれば、第１の圧縮映像データおよび第２の圧縮映像データを編集点で接続することができ、特に、編集点付近のデータのみをデコードして編集点で接続し、いずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないようにエンコードされるので、OpenGOPで圧縮符号化されたデータを、画質を劣化させたりVBVバッファを破綻させることなく編集することができる。
また、他の本発明によれば、第１の圧縮映像データおよび第２の圧縮映像データを編集点で接続してエンコードすることができ、特に、編集点で接続されたデータのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないようにエンコードされるので、OpenGOPで圧縮符号化されたデータを、画質を劣化させたりVBVバッファを破綻させることなく編集することができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項１に記載の情報処理装置(例えば、図４の編集装置１)は、第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理を実行する情報処理装置であって、第１の符号化ストリームおよび第２の符号化ストリームのうちの編集点付近の所定区間をデコードするデコード手段（例えば、図４のデコーダ２２およびデコーダ２３）と、第１の符号化ストリームがデコード手段によりデコードされて生成された第１の画像データと、第２の符号化ストリームがデコード手段によりデコードされて生成された第２の画像データとを、編集点で接続し、第３の画像データを生成する接続手段（例えば、図４のエフェクト／スイッチ２６）と、接続手段により接続されて生成された第３の画像データをエンコードして、再符号化ストリームを生成するエンコード手段（例えば、図４のエンコーダ２７）と、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャ（例えば、図９のＩピクチャ４０、すなわち、Ｉピクチャ４７）がＩピクチャとなるように、デコード手段によりデコードされる所定区間を決定し、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャ（例えば、図１０のＰピクチャ８２）のオキュパンシ（例えば、図１１のＪに示されるOccupancy）が、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャ（例えば、図１０のＢピクチャ３９の次のＰピクチャ）のオキュパンシ（例えば、図１１のＩに示されるOccupancy）と一致するように、エンコード手段によるエンコード処理を制御する制御手段（例えば、図４のＣＰＵ２０）と、編集符号化ストリームを生成する編集符号化ストリーム生成手段（例えば、図４のストリームスプライサ２５）とを備えることを特徴とする。
制御手段は、再符号化ストリームのうち、ディスプレイオーダで最も時間的に後ろに位置するＩピクチャ、またはＰピクチャより後ろのピクチャのピクチャタイプが、そのピクチャとディスプレイオーダでの時間的な位置の対応する第２の符号化ストリームのピクチャのピクチャタイプから変更されないように、エンコード手段によるエンコード処理を制御することができる。
制御手段は、第３のピクチャ（例えば、図１０のＢピクチャ３９の次のＰピクチャ）のオキュパンシ（例えば、図１１のＩに示されるOccupancy）に関する情報を取得することができる。
制御手段は、第１のピクチャ（例えば、図９のＩピクチャ４０、すなわち、Ｉピクチャ４７）の発生符号量（例えば、図１１のＢで示される発生符号量）の情報を取得することができる。
制御手段は、コーディングオーダで、再符号化ストリームのうち、最後に連続するＢピクチャ（例えば、図１０のＢピクチャ７２，７３）の前に、第１のピクチャが配置されるように、編集符号化ストリーム生成手段による編集符号化ストリームの生成を制御することができる。
制御手段は、編集点付近以外の所定区間の第２の符号化ストリーム内の第１のピクチャのオキュパンシが、編集符号化ストリーム内の第１のピクチャのオキュパンシと同一になるように、エンコード手段によるエンコード処理を制御することができる。
エンコード手段は、MPEG方式で第３の画像データをエンコードすることができる。
請求項８に記載の情報処理方法は、第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理を実行する情報処理装置の情報処理方法であって、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、第１の符号化ストリームおよび第２の符号化ストリームのうちの編集点付近の所定区間を決定し、その所定区間のデコードを制御するデコード制御ステップ（例えば、図１２のステップＳ５の処理）と、デコード制御ステップの処理によりデコードが制御されて第１の符号化ストリームから生成された第１の画像データと、デコード制御ステップの処理によりデコードが制御されて第２の符号化ストリームから生成された第２の画像データとの、編集点における接続を制御し、第３の画像データの生成を制御する接続制御ステップ（例えば、図１２のステップＳ６の処理）と、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと、第３の画像データをエンコードした結果得られる再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、第３の画像データのエンコードを制御して、再符号化ストリームの生成を制御するエンコード制御ステップと、編集符号化ストリームの生成を制御する編集符号化ストリーム生成制御ステップ（例えば、図１２のステップＳ８および図１５を用いて説明した処理）とを含むことを特徴とする。
また、請求項９に記載の記録媒体に記録されているプログラム、および、請求項１０に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項８に記載の情報処理方法と同様である。
請求項１１に記載の情報処理装置（例えば、図４の編集装置１）は、第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理を実行する情報処理装置であって、第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、第２の符号化ストリームが編集点付近の所定区間でデコードされて生成された第２の画像データとが、編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコード手段（例えば、図４のエンコーダ２７）と、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる所定区間を決定し、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、エンコード手段によるエンコード処理を制御する制御手段（例えば、図４のＣＰＵ２０）とを備えることを特徴とする。
編集符号化ストリームを生成する編集符号化ストリーム生成手段（例えば、図４のストリームスプライサ２５）を更に備え、制御手段は、編集符号化ストリーム生成手段を更に制御することを特徴とする。
請求項１３に記載の情報処理方法は、第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理を実行する情報処理装置の情報処理方法であって、第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、第２の符号化ストリームが編集点付近の所定区間でデコードされて生成された第２の画像データとが、編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコードステップ（例えば、図１２のステップＳ７の処理）と、編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる所定区間を決定し、編集点付近以外の所定区間の第１の符号化ストリームおよび編集点付近以外の所定区間の第２の符号化ストリームと再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、エンコードステップにおけるエンコード処理を制御する制御ステップ（例えば、図１３を用いて説明した処理）とを含むことを特徴とする。
また、請求項１４に記載の記録媒体に記録されているプログラム、および、請求項１５に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１３に記載の情報処理方法と同様である。
以下、図を参照して、本発明の実施の形態について説明する。
図４は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。
ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するためのコマンドを生成し、出力する。ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。
メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶されている。
ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ２５から供給される編集後の圧縮符号化データを記憶する。
ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給されたコマンドにしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。
デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ２２乃至デコーダ２４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ２４が、独立した装置として設けられている場合、デコーダ２４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ２５に出力する。
次に、編集装置１の動作について説明する。
ＨＤＤ１６には、図５に示されるLong GOPのOpen GOP方式で圧縮された圧縮素材映像１および圧縮素材映像２のデータが記憶されている。図５において、圧縮された圧縮素材映像１および圧縮素材映像２は、表示されるピクチャ順（display order）で記載されている。
ＣＰＵ１１は、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。
ＣＰＵ２０は、ＣＰＵ１１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。そして、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像１のデータをデコーダ２２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像２のデータをデコーダ２３に供給させる。
すなわち、この時、圧縮素材映像１のうち、Ｂピクチャ３６およびＢピクチャ３７が再エンコードを行う範囲に含まれている場合、Ｂピクチャ３６およびＢピクチャ３７をデコードするために、Ｉピクチャ３１、および、Ｐピクチャ３２乃至Ｐピクチャ３５もデコードされる。また、同様に、圧縮素材映像２のうち、Ｂピクチャ３８およびＢピクチャ３９が再エンコードを行う範囲に含まれている場合、Ｂピクチャ３８およびＢピクチャ３９をデコードするために、Ｉピクチャ４０もデコードされる。
また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ２５に供給させる。
ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、供給された圧縮符号化されたデータをデコードさせる。
デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ２６に供給する。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図５においては、Ｂピクチャ４２およびＢピクチャ４３のエンコードに必要なＰピクチャ４１に対応する画像データ）とともに、エンコーダ２７に供給する。
エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
そのとき、エンコーダ２７は、図５に示されるように、双方向予測符号化を行うＢピクチャ４２およびＢピクチャ４３をエンコードするために、参照画として、一つ前のＰピクチャ４１を用いなければならない。また、ディスプレイオーダにおいて、再エンコードの最後のピクチャがＰピクチャとなるように、ピクチャタイプを決定することにより、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いなくてもよいようにすることができる。
換言すれば、再エンコード終了点がGOPの切れ目（すなわち、Ｂピクチャ以外）となるようなピクチャタイプで再エンコードを行うようにすることにより、編集用の圧縮素材映像データがOpenGOPであっても、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いる必要がなくなる。
そして、エンコーダ２７において再エンコードされた映像データは、ストリームスプライサ２５に供給される。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ２７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
具体的には、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１のＰピクチャ４６とエンコーダ２７から供給されたエンコードされた映像データのＢピクチャ４２とがディスプレイオーダで連続するように接続され、エンコーダ２７から供給されたエンコードされた映像データのＰピクチャ４５と、ＰＣＩブリッジ１７から供給された、圧縮素材映像２のＩピクチャ４７とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ１７に供給して、メモリ１８に保存させるとともに、デコーダ２４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。
図示しない操作入力部から、編集されて生成された圧縮編集映像データの保存が指令された場合、ＣＰＵ１１は、ＰＣＩブリッジ１７を制御して、メモリ１８に保存されている圧縮編集映像データを読み出させ、ＰＣＩバス１４およびノースブリッジ１２を介して、サウスブリッジ１５に供給させるとともに、サウスブリッジ１５を制御して、供給された圧縮編集映像データをＨＤＤ１６に供給させて保存させる。
実際のエンコードはコーディングオーダ（coding order）で行われ、エンコーダ２７においてエンコードされた圧縮映像も、コーディングオーダで出力される。図５を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図６に示す。
編集対象である圧縮素材映像１および編集対象である圧縮素材映像２のそれぞれのデータにおいて、編集点を含む再エンコード範囲が決定され、再エンコード範囲の圧縮素材映像１および圧縮素材映像２がデコードされて、非圧縮の素材映像１の信号および素材映像２の信号が生成される。そして、カット（Cut）編集点において、非圧縮の素材映像１の信号と素材映像２とが接続されて、接続された素材映像１および素材映像２が、最後のピクチャがＰピクチャ（またはＩピクチャ）となるように部分再エンコードされて、圧縮映像データが生成され、再エンコードしない部分の圧縮映像データと接続されて、圧縮された編集映像データが生成される。
接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、再エンコードしない部分の圧縮素材映像１のデータにおいて、コーディングオーダで最後のピクチャであって、ディスプレイオーダ１４番目のピクチャであるＢ13ピクチャと、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで先頭のピクチャであって、ディスプレイオーダ３番目のピクチャであるＩ2ピクチャとが接続される。そして、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最後のピクチャであって、ディスプレイオーダ１６番目のピクチャであるＰ15ピクチャ（Ｐピクチャ４５）と、再エンコードしない部分の圧縮素材映像２において、コーディングオーダで先頭のピクチャであって、データのディスプレイオーダ３番目のピクチャであるＩ0ピクチャ（Ｉピクチャ４７）とが接続される。すなわち、接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、GOPの切り替え部分に関係なく接続されて、圧縮された編集映像データが生成される。
このように、ディスプレイオーダにおいて、再エンコードの最後のピクチャであるＰ15ピクチャ（Ｐピクチャ４５）は、コーディングオーダでも再エンコードの最後のピクチャとなる。このようにして、ピクチャタイプを決定することにより、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いなくてもよいようにすることができる。
このとき、ＶＢＶ(Video Buffering Verifier)バッファも考慮して再エンコードを行う必要がある。図７を用いて、編集を行う場合のVBVバッファについて説明する。
エンコードを行うにあたっては、VBVバッファがオーバーフロー（over flow）、または、アンダーフロー（under flow）しないようにそれぞれのピクチャに発生符号量を割り当てることで、後段のデコーダが正常にデコードを行えるように制御されなくてはならない。特に、編集のための部分的な再エンコードを行う場合、部分再エンコードしない部分に関して（特に、再エンコードを行う部分と再エンコードを行わない部分の接続点付近において）も、VBVバッファがオーバーフローまたはアンダーフローしないように再エンコードを行う必要がある。
再エンコードされた圧縮映像データのバッファの状態により影響を受けるのは、再エンコードされた圧縮映像信号の後に結合される再エンコードしない部分の圧縮映像データである。この再エンコードしない部分の圧縮映像データが、オーバーフローまたはアンダーフローしないための十分条件は、再エンコードされた圧縮映像信号の後に結合される再エンコードしない部分の圧縮編集映像データの最初のＩピクチャまたはＰピクチャ、すなわち、図７において、Ａで示されるＩピクチャに続く、図７においてＤで示されるＰピクチャのOccupancy（オキュパンシ）が、圧縮素材映像２データの図７においてＢで示されるＩピクチャ次のＩピクチャまたはＰピクチャ、すなわち、図７において、Ｃで示されるＰピクチャのOccupancyに等しくなることである。よって再エンコードを行う場合は、上記条件を満たす値になるように、再エンコード終了時点（図７のＡで示される部分）のバッファのOccupancyを制御する必要がある。
このようにすることにより、VBVバッファの破綻をできるだけ防止するようにすることができる。
しかしながら、Ａで示されるＩピクチャおよびその次のＩまたはＰピクチャの発生符号量によっては、Ａで示されるＩピクチャのOccupancyを制御して、図７を用いて説明したように、Ｄで示されるＰピクチャのOccupancyが、圧縮素材映像２データの図７においてＣで示されるＰピクチャのOccupancyに等しくなるようにすることができず、VBVバッファが破綻してしまう恐れがある。
図８を用いて、ＶＢＶバッファが破綻してしまう場合について説明する。
一般的に、Ｉピクチャの発生符号量およびＰピクチャの発生符号量は、Ｂピクチャの発生符号量よりも大きい。例えば、再エンコードして生成された圧縮映像データの後に結合される、再エンコードしない圧縮素材映像２のデータの先頭のＩピクチャであるＩ2ピクチャの発生符号量Ｂ、および、次のＰピクチャであるＰ5ピクチャの発生符号量Ｃが大きい場合について考える。
このとき、編集されて生成される圧縮編集映像のうちの、部分エンコードされた部分に続く部分エンコードされない部分の先頭のＩピクチャに続くＰピクチャにおけるＤで示される部分のOccupancyが、編集前の圧縮素材映像２データのＣで示される部分のOccupancyに等しくなるように、Ａで示されるＩピクチャのOccupancyを制御しようとしても、連続するＩピクチャとＰピクチャの符号発生量がいずれも多いために、図中Ｄに示されるように、バッファをアンダーフローしてしまう。この例では、編集後のＩ0ピクチャにおけるＡで示されるＩピクチャのOccupancyは、ほぼ、バッファの最大値であるため、再エンコード部分において、発生符号量をどのように制御しても、図中Ｄに示される部分でバッファのアンダーフローを避けることができない。すなわち、図５および図６を用いて説明した方法では、デコーダでの復号処理を１００％保障することができない。
そこで、ＣＰＵ２０は、VBVバッファが破綻しない条件を守って再エンコードが行われるように、デコーダ２２およびデコーダ２３、ストリームスプライサ２５、エフェクト／スイッチ２６、並びに、エンコーダ２７が実行する処理を制御するようにすることができる。
次に、Long GOPのOpen GOP方式で圧縮された映像信号において、VBVバッファが破綻しない条件を守って編集する方法について説明する。
ＣＰＵ１１は、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。
ＣＰＵ２０は、ＣＰＵ１１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。
具体的には、ＣＰＵ２０は、圧縮素材映像１において、再エンコードする区間の開始点を、部分再エンコードされた圧縮映像の前に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最後のピクチャのピクチャタイプが、ＩピクチャまたはＰピクチャになるように決定する。
すなわち、ＣＰＵ２０は、例えば、図９に示されるように、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャ４６になるように、再エンコードする区間の開始点を、圧縮素材映像１において、Ｐピクチャ３５の次のＢピクチャ３６に決定する。換言すれば、ＣＰＵ２０は、再エンコードしない部分の圧縮映像がGOPの終了位置となるようにすることにより、エンコード処理が行いやすいようにすることができる。
また、ＣＰＵ２０は、圧縮素材映像２において、再エンコードする区間の終了点を、部分再エンコードされた圧縮映像の後に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように決定する。
すなわち、ＣＰＵ２０は、例えば、図９に示されるように、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャ４７になるように、再エンコードする区間の終了点を、圧縮素材映像２において、Ｉピクチャ４０の前のＢピクチャ３９に決定する。
そして、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ３６およびＢピクチャ３７をデコードするために参照する必要があるピクチャである、Ｉピクチャ３１、Ｐピクチャ３２、Ｐピクチャ３３、Ｐピクチャ３４、および、Ｐピクチャ３５のデータをデコーダ２２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ３８およびＢピクチャ３９をデコードするために参照する必要があるピクチャである、Ｉピクチャ４０のデータをデコーダ２３に供給させる。
また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ２５に供給させる。
ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、供給された圧縮符号化されたデータをデコードさせる。
デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ２６に供給する。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図９においては、Ｂピクチャ４２およびＢピクチャ４３のエンコードに必要なＰピクチャ４１、並びに、Ｂピクチャ７２およびＢピクチャ７３のエンコードに必要なＩピクチャ７４に対応する画像データ）とともに、エンコーダ２７に供給する。
ＣＰＵ２０は、圧縮素材映像２のうち、再エンコードを行う部分において、ディスプレイオーダで最後に位置する連続するＢピクチャの枚数ｎの情報を取得する。再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプは、上述したように、Ｉピクチャになるように決定されているので、Ｂピクチャの枚数ｎは、すなわち、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャと、編集後にそのＩピクチャの直前に存在するＩピクチャまたはＰピクチャとの間にあるＢピクチャの枚数である。図９における場合では、Ｂピクチャの枚数ｎは、Ｂピクチャ３８およびＢピクチャ３９の２枚である。
更に、ＣＰＵ２０は、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャ、換言すれば、再エンコードする範囲の最後に存在するＩピクチャまたはＰピクチャのピクチャタイプの情報を取得する。図９における場合では、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャは、Ｐピクチャ６１である。
そして、ＣＰＵ２０は、エンコーダ２７が実行する処理において、再エンコード終了点付近のＢピクチャの枚数が編集前の圧縮素材映像２と同一となり、そのＢピクチャの直前のピクチャのピクチャタイプがＩピクチャまたはＰピクチャとなるように、エンコーダ２７を制御する。また、ＣＰＵ２０は、Ｂピクチャの直前のピクチャのピクチャタイプも、編集前の圧縮素材映像２と同一となるように制御すると好適である。
すなわち、ＣＰＵ２０は、図９における場合では、編集前の圧縮素材映像２のＢピクチャ３８およびＢピクチャ３９と、再エンコードにおけるＢピクチャ７２およびＢピクチャ７３のピクチャタイプがそろい、再エンコードにおけるＢピクチャ７２およびＢピクチャ７３の直前をＰピクチャ７１となるように、エンコーダ２７を制御する。
エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
そして、エンコーダ２７において再エンコードされた映像データは、ストリームスプライサ２５に供給される。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ２７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
具体的には、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１のＰピクチャ４６とエンコーダ２７から供給されたエンコードされた映像データのＢピクチャ４２とがディスプレイオーダで連続するように接続され、エンコーダ２７から供給されたエンコードされた映像データのＢピクチャ７３と、ＰＣＩブリッジ１７から供給された、圧縮素材映像２のＩピクチャ４７とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
実際のエンコードはコーディングオーダで行われ、エンコーダ２７においてエンコードされた圧縮映像も、コーディングオーダで出力される。図９を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図１０に示す。
すなわち、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、再エンコードされた部分と再エンコードされていない部分の接続点において、エンコードされた映像データにおいて、コーディングオーダでＰピクチャ７１に続くＢピクチャ８１と、圧縮素材映像２のＩピクチャ４７（再エンコードされていないＩピクチャ）とがコーディングオーダで連続するように接続され、圧縮素材映像２のＩピクチャ４７と、エンコードされた映像データのＢピクチャ７２とがコーディングオーダで連続するように接続され、エンコードされた映像データにおいて、コーディングオーダでＢピクチャ７２に続くＢピクチャ７３と、圧縮素材映像２のＰピクチャ８２とがコーディングオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
換言すれば、ストリームスプライサ２５は、コーディングオーダにおいて、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入るように、ストリームをつなぎ合わせる。
そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ１７に供給して、メモリ１８に保存させるとともに、デコーダ２４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。デコーダ２４が、独立した装置として構成されている場合、デコーダ２４に対応する装置は、図９および図１０を用いて説明したようにして生成された、換言すれば、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入る編集後の圧縮映像データの供給を受けてこれをデコードし、デコードされて生成されたベースバンド信号を出力することができるようになされる。
次に、図１１を用いて、図９および図１０を用いて説明した、再エンコードを利用した編集処理を行う場合のVBVバッファについて説明する。
図９および図１０を用いて説明した、再エンコードを利用した編集処理が行われた場合、コーディングオーダにおいて、再エンコードの最後のｎ枚のＢピクチャの前に、再エンコードしないＩピクチャが挿入される。したがって、図１１に示されるように、再エンコード範囲から最後のｎ枚のＢピクチャを除いた部分（図１１のＥで示される部分）は、再エンコードされないＩピクチャのOccupancyが編集前と一致するように、再エンコードが行われ、その後、再エンコードされないＩピクチャの発生符号量の情報（図１１においては、Ｆで示される部分）が圧縮素材映像２の対応するＩピクチャの発生符号量の情報（図１１においては、Ｂで示される部分）から求められて、VBVバッファのOccupancyが計算される。
その後、再エンコードしない部分の圧縮映像のVBVバッファが、オーバーフローまたはアンダーフローしないようにするため、再エンコードしない部分の圧縮映像の先頭のＩピクチャの次に位置するＩピクチャまたはＰピクチャのOccupancyが編集前後で一致するように、再エンコード部分の最後のｎ枚のＢピクチャ（図１１においては、Ｇで示される部分）において、発生符号量が制御されて、エンコードが行なわれる。すなわち、図１１において、編集前のＣで示される発生符号量と、編集後のＨで示される発生符号量は同一であるため、編集前のＩで示されるOccupancyに、編集後のＪで示されるOccupancyが一致するように、ｎ枚のＢピクチャの再エンコードが行なわれる。これにより、図１１において、ＫおよびＬで示される部分でバッファのアンダーフローは発生しない。
この方法では、再エンコードが行われている部分と再エンコードが行われない部分の圧縮映像の結合部におけるピクチャタイプが、編集前後で保存されているので、図１１に示されるように、再エンコードが行われている部分に接続される、再エンコードが行われない部分の先頭のＩピクチャの発生符号量Ｆと、次のＩピクチャまたはＰピクチャの発生符号量Ｈが大きくても、編集前の圧縮素材映像２のデータでVBVバッファの制約が満たされていれば、編集後の圧縮映像でも制約を満たすようにエンコードが行われるようにすることが可能である。
次に、図１２のフローチャートを参照して、編集処理について説明する。
ステップＳ１において、ＣＰＵ１１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受け、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。
ステップＳ２において、メモリ１８は、圧縮符号化された２つの編集素材データを取得する。
ステップＳ３において、ＣＰＵ２０は、ＣＰＵ１１から供給された、編集点を示す情報と、編集開始を示すコマンドを基に、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャになり、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように、圧縮符号化された編集素材データのデコード範囲を決定する。
ステップＳ４において、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ２２およびデコーダ２３にそれぞれ供給させる。また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給させる。ＰＣＩブリッジ１７は、ＣＰＵ２０の制御に基づいて、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ２２およびデコーダ２３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給する。
ステップＳ５において、ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ２６に供給する。
ステップＳ６において、ＣＰＵ２０は、エフェクト／スイッチ２６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ２７に供給する。
ステップＳ７において、ＣＰＵ２０は、エンコーダ２７を制御して、編集点で接続された非圧縮の復号映像素材を再エンコードさせる。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、編集点で接続された非圧縮の復号映像素材の再エンコードを行い、再エンコードされた圧縮符号化された映像データを、ストリームスプライサ２５に供給する。
ステップＳ８において、図１５を用いて後述する接続処理が実行され、ステップＳ８の処理の終了後、処理は終了される。
このような処理により、Long GOPのOpen GOP構造の圧縮映像データの編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。
次に、図１３のフローチャートを参照して、再エンコード実行（図１２のステップＳ７の処理）時におけるピクチャタイプ決定処理について説明する。
ステップＳ３１において、ＣＰＵ２０は、圧縮符号化された映像素材２のデータにおいて、ディスプレイオーダで、再エンコードされる部分の最後に連続するＢピクチャの数ｎを取得し、再エンコードされる部分の最後に連続するＢピクチャの数ｎを基に、エンコーダ２７によるエンコード処理を制御する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、編集点で接続された映像素材データのエンコードを開始する。
ステップＳ３２において、エンコーダ２７は、エンコードするピクチャは、ディスプレイオーダで、最後からｎ＋１番目のピクチャ、すなわち、図９におけるＰピクチャ７１に対応するピクチャであるか否かを判断する。ステップＳ３２において、最後からｎ＋１番目のピクチャであると判断された場合、処理は、後述するステップＳ３５に進む。
ステップＳ３２において、最後からｎ＋１番目のピクチャではないと判断された場合、ステップＳ３３において、エンコーダ２７は、エンコードするピクチャは、ディスプレイオーダで、最後からｎ番目以降のピクチャ、すなわち、図９におけるＢピクチャ７２またはＢピクチャ７３に対応するピクチャであるか否かを判断する。ステップＳ３３において、エンコードするピクチャは、最後からｎ番目以降のピクチャであると判断された場合、処理は、後述するステップＳ３８に進む。
ステップＳ３３において、エンコードするピクチャは、最後からｎ番目以降のピクチャではないと判断された場合、すなわち、エンコードするピクチャが、最後からｎ＋２番目以前のピクチャ（図９におけるＰピクチャ７１より時間的に前のピクチャ）であると判断された場合、ステップＳ３４において、エンコーダ２７は、エンコードするピクチャのピクチャタイプを通常のアルゴリズムにしたがって設定し、処理は、後述するステップＳ３９に進む。
ステップＳ３２において、エンコードするピクチャは、最後からｎ＋１番目のピクチャ、すなわち、図９におけるＰピクチャ７１に対応するピクチャであると判断された場合、ステップＳ３５において、エンコーダ２７は、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャであったか否かを判断する。
ステップＳ３５において、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャであったと判断された場合、ステップＳ３６において、エンコーダ２７は、エンコードするピクチャのピクチャタイプをＩピクチャに設定し、処理は、後述するステップＳ３９に進む。
ステップＳ３５において、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャではなかった、すなわち、Ｐピクチャであったと判断された場合、ステップＳ３７において、エンコーダ２７は、エンコードするピクチャのピクチャタイプをＰピクチャに設定し、処理は、後述するステップＳ３９に進む。
ステップＳ３３において、エンコードするピクチャは、最後からｎ番目以降のピクチャすなわち、図９におけるＢピクチャ７２またはＢピクチャ７３に対応するピクチャであると判断された場合、ステップＳ３８において、エンコーダ２７は、エンコードするピクチャのピクチャタイプをＢピクチャに設定する。
ステップＳ３４、ステップＳ３６、ステップＳ３７、または、ステップＳ３８の処理の終了後、ステップＳ３９において、エンコーダ２７は、最後のピクチャの処理が終了したか否かを判断する。
ステップＳ３９において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。ステップＳ３９において、最後のピクチャの処理が終了したと判断された場合、処理は終了される。
このような処理により、LongGOPのOpenGOPの圧縮素材映像のうちの編集点付近のデータをデコードし、編集点で接続して再エンコードした後、再エンコードされていない圧縮素材映像データと接続して編集したときに、VBVバッファが破綻することがないようにするために、再エンコード時のピクチャタイプを決定することが可能となる。
次に、図１４のフローチャートを参照して、再エンコード実行（図１２のステップＳ７の処理）時におけるVBVバッファ制御処理について説明する。
ステップＳ６１において、ＣＰＵ２０は、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャ、すなわち、図１１においてＢで示される部分の発生符号量の情報を取得する。
ステップＳ６２において、ＣＰＵ２０は、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャ、および、次のＩピクチャまたはＰピクチャのOccupancyの情報、すなわち、図１１においてＢおよびＣで示されるピクチャのOccupancyの情報を取得する。ＣＰＵ２０は、ステップＳ６１およびステップＳ６２において取得した情報を基に、エンコーダ２７によるエンコード処理を制御する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、編集点で接続された映像素材データのエンコードを開始する。
ステップＳ６３において、エンコーダ２７は、エンコードするピクチャは、コーディングオーダで、最後から（ｎ＋１）番目以降のピクチャ、すなわち、図１０におけるＩピクチャ４７、Ｂピクチャ７２またはＢピクチャ７３のうちのいずれかに対応するピクチャであるか否かを判断する。
ステップＳ６３において、エンコードするピクチャは、コーディングオーダで、最後から（ｎ＋１）番目以降のピクチャではないと判断された場合、ステップＳ６４において、エンコーダ２７は、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャのOccupancyが編集前後で変化しないように、すなわち、図１１のＢで示されるピクチャのOccupancyと、Ｆで示されるピクチャのOccupancyとが、編集前後で変化しないように、エンコードを実行し、処理は、後述するステップＳ６６に進む。
ステップＳ６３において、エンコードするピクチャは、コーディングオーダで、最後から（ｎ＋１）番目以降のピクチャであると判断された場合、ステップＳ６５において、エンコーダ２７は、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャの発生符号量を用いて、再エンコードしない部分の圧縮素材映像２の最初のＩピクチャの次のＩピクチャまたはＰピクチャのOccupancyが編集前後で変化しないように、すなわち、図１１のＩに示されるOccupancyと、Ｊで示されるOccupancyとが、編集前後で変化しないように、エンコードにおけるOccupancyを計算し、発生符号量の割り当てを行う。
ステップＳ６４またはステップＳ６５の処理の終了後、ステップＳ６６において、エンコーダ２７は、ステップＳ６４またはステップＳ６５の処理による発生符号量の割り当てに基づいて、VBVバッファを更新する。
ステップＳ６７において、エンコーダ２７は、最後のピクチャの処理が終了したか否かを判断する。
ステップＳ６７において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップＳ６３に戻り、それ以降の処理が繰り返される。ステップＳ６７において、最後のピクチャの処理が終了したと判断された場合、処理は終了される。
このような処理により、LongGOPのOpenGOPの圧縮素材映像のうちの編集点付近のデータをデコードし、編集点で接続して再エンコードした後、再エンコードされていない圧縮素材映像データと接続して編集するときに、VBVバッファを破綻させないように、発生符号量を制御することが可能となる。
次に、図１５のフローチャートを参照して、図１２のステップＳ８において実行される接続処理について説明する。
ステップＳ９１において、ストリームスプライサ２５は、ＰＣＩブリッジ１７から供給された、再エンコードしない部分の圧縮素材映像１のデータ、すなわち、図９における場合では、ディスプレイオーダにおいて時間的にＰピクチャ４６以前となるピクチャのデータを取得する。
ステップＳ９２において、ストリームスプライサ２５は、エンコーダ２７から供給された、再エンコードされた編集点付近の圧縮映像データ、すなわち、図９における場合では、ディスプレイオーダにおいてＰピクチャ４１乃至Ｉピクチャ７４に対応するピクチャを取得する。
ステップＳ９３において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データのうち、エンコードの参照のためにエンコードされた部分すなわち、図９における場合では、Ｐピクチャ４１およびＩピクチャ７４に対応するピクチャを破棄し、再エンコードしない部分の圧縮素材映像１のデータと、再エンコードされた圧縮映像データを接続する。すなわち、図９における場合では、ストリームスプライサ２５は、Ｐピクチャ４６とＢピクチャ４２とがディスプレイオーダで連続するように接続する。
ステップＳ９４において、ストリームスプライサ２５は、ＰＣＩブリッジ１７から供給された、再エンコードしない部分の圧縮素材映像２のデータ、すなわち、図９における場合では、ディスプレイオーダにおいて時間的にＩピクチャ４７以降となるピクチャのデータを取得する。
ステップＳ９５において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データのうち、コーディングオーダで最後からｎ＋１番目のピクチャ、すなわち、図１０における場合では、Ｂ12ピクチャ８１に対応するピクチャの次に、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図１０における場合では、Ｉ2ピクチャ４７に対応するピクチャを接続する
ステップＳ９６において、ストリームスプライサ２５は、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図１０における場合では、Ｉ2ピクチャ４７に対応するピクチャに、再エンコードされた編集点付近の圧縮映像データの最後からｎ枚のＢピクチャ、すなわち、図１０における場合では、Ｂ0ピクチャ７２およびＢ1ピクチャ７３を接続する。
そして、ステップＳ９７において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データの最後のＢピクチャ、すなわち、図１０における場合では、Ｂ1ピクチャ７３の次に、再エンコードしない部分の圧縮素材映像２の２番目のＩまたはＰピクチャ、すなわち、図１０における場合では、Ｐ5ピクチャ８２を接続し、処理は、図１２のステップＳ８にもどり、処理が終了される。
このような処理により、LongGOPのOpenGOPの圧縮素材映像を編集するときに、VBVバッファを破綻させないように、発生符号量が制御され、再エンコード時のピクチャタイプが決定された再エンコード部分の圧縮符号化データと、再エンコードされていない部分の圧縮符号化データとを接続することが可能となる。
このように、本発明を適用することにより、Long GOPのOpen GOP方式で圧縮された映像素材を、部分的にデコード、再エンコードする方法の編集において、圧縮方法に制約をつける必要なく、VBV Bufferの制約を満たすことができる。
なお、ここでは、ディスプレイオーダで、最後からｎ＋１番目のピクチャより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御されるものとして説明したが、再エンコードされる範囲の所定のＩピクチャまたはＰピクチャを含めてそれより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御された場合にも、本発明は適用可能である。
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図４を用いて説明した編集装置１は、図１６に示されるようなパーソナルコンピュータ３０１により構成される。
図１６において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図１７に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。
このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
更に、図１７に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。
更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。
さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。
さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。
さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
本発明は、ＭＰＥＧ方式による情報処理装置の他、これに類似する符号化又は復号化のアルゴリズムを有する方式の情報処理装置に適用することができる。
編集と部分再エンコードについて説明するための図である。 ClosedGOPでの編集と部分再エンコードについて説明するための図である。 ClosedGOPでの編集と部分再エンコードについて、ディスプレイオーダにおけるピクチャの並びを説明するための図である。 本発明を適用した編集装置１の構成を示すブロック図である。 図４の編集装置１において実行可能な部分再エンコードおよび編集処理について説明するための図である。 図５の部分再エンコードおよび編集処理について、ディスプレイオーダにおけるピクチャの並びを説明するための図である。 図５の部分再エンコードおよび編集処理を実行した場合のVBVバッファについて説明するための図である。 図５の部分再エンコードおよび編集処理を実行した場合に、VBVバッファが破綻してしまう場合について説明するための図である。 VBVバッファを考慮した部分再エンコードおよび編集処理について説明するための図である。 図９の部分再エンコードおよび編集処理について、ディスプレイオーダにおけるピクチャの並びを説明するための図である。 図９の部分再エンコードおよび編集処理を実行した場合のVBVバッファについて説明するための図である。 編集処理について説明するためのフローチャートである。 ピクチャタイプ決定処理について説明するためのフローチャートである。 VBVバッファ制御処理について説明するためのフローチャートである。 接続処理について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。 本発明を適用可能な異なる装置の構成について説明するための図である。
符号の説明
１ 編集装置， １１ ＣＰＵ， １６ ＨＤＤ， ２０ ＣＰＵ， ２２乃至２４ デコーダ， ２５ ストリームスプライサ， ２６ エフェクト／スイッチ， ２７ エンコーダ

Claims (15)

  1. 第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理を実行する情報処理装置において、
    前記第１の符号化ストリームおよび前記第２の符号化ストリームのうちの編集点付近の所定区間をデコードするデコード手段と、
    前記第１の符号化ストリームが前記デコード手段によりデコードされて生成された第１の画像データと、前記第２の符号化ストリームが前記デコード手段によりデコードされて生成された第２の画像データとを、前記編集点で接続し、第３の画像データを生成する接続手段と、
    前記接続手段により接続されて生成された前記第３の画像データをエンコードして、再符号化ストリームを生成するエンコード手段と、
    前記編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、前記デコード手段によりデコードされる前記所定区間を決定し、前記編集点付近以外の所定区間の第１の符号化ストリームおよび前記編集点付近以外の所定区間の第２の符号化ストリームと前記再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に前記第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、前記編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、前記エンコード手段によるエンコード処理を制御する制御手段と、
    前記編集符号化ストリームを生成する編集符号化ストリーム生成手段と
    を備えることを特徴とする情報処理装置。
  2. 前記制御手段は、前記再符号化ストリームのうち、ディスプレイオーダで最も時間的に後ろに位置するＩピクチャ、またはＰピクチャより後ろのピクチャのピクチャタイプが、そのピクチャとディスプレイオーダでの時間的な位置の対応する前記第２の符号化ストリームのピクチャのピクチャタイプから変更されないように、前記エンコード手段によるエンコード処理を制御する
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記制御手段は、前記第３のピクチャのオキュパンシに関する情報を取得する
    ことを特徴とする請求項１に記載の情報処理装置。
  4. 前記制御手段は、前記第１のピクチャの発生符号量の情報を取得する
    ことを特徴とする請求項１に記載の情報処理装置。
  5. 前記制御手段は、
    コーディングオーダで、前記再符号化ストリームのうち、最後に連続するＢピクチャの前に、前記第１のピクチャが配置されるように、前記編集符号化ストリーム生成手段による前記編集符号化ストリームの生成を制御する
    ことを特徴とする請求項１に記載の情報処理装置。
  6. 前記制御手段は、
    前記編集点付近以外の所定区間の第２の符号化ストリーム内の前記第１のピクチャのオキュパンシが、前記編集符号化ストリーム内の前記第１のピクチャのオキュパンシと同一になるように、前記エンコード手段によるエンコード処理を制御する
    ことを特徴とする請求項１に記載の情報処理装置。
  7. 前記エンコード手段は、MPEG方式で前記第３の画像データをエンコードする
    ことを特徴とする請求項１に記載の情報処理装置。
  8. 第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理を実行する情報処理装置の情報処理方法において、
    編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうちの前記編集点付近の所定区間を決定し、その所定区間のデコードを制御するデコード制御ステップと、
    前記デコード制御ステップの処理によりデコードが制御されて前記第１の符号化ストリームから生成された第１の画像データと、前記デコード制御ステップの処理によりデコードが制御されて前記第２の符号化ストリームから生成された第２の画像データとの、前記編集点における接続を制御し、第３の画像データの生成を制御する接続制御ステップと、
    前記編集点付近以外の所定区間の前記第１の符号化ストリームおよび前記編集点付近以外の所定区間の前記第２の符号化ストリームと、前記第３の画像データをエンコードした結果得られる再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に前記第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、前記編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、前記第３の画像データのエンコードを制御して、前記再符号化ストリームの生成を制御するエンコード制御ステップと、
    前記編集符号化ストリームの生成を制御する編集符号化ストリーム生成制御ステップと
    を含むことを特徴とする情報処理方法。
  9. 第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理をコンピュータに実行させるためのプログラムであって、
    編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうちの前記編集点付近の所定区間を決定し、その所定区間のデコードを制御するデコード制御ステップと、
    前記デコード制御ステップの処理によりデコードが制御されて前記第１の符号化ストリームから生成された第１の画像データと、前記デコード制御ステップの処理によりデコードが制御されて前記第２の符号化ストリームから生成された第２の画像データとの、前記編集点における接続を制御し、第３の画像データの生成を制御する接続制御ステップと、
    前記編集点付近以外の所定区間の前記第１の符号化ストリームおよび前記編集点付近以外の所定区間の前記第２の符号化ストリームと、前記第３の画像データをエンコードした結果得られる再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に前記第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、前記編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、前記第３の画像データのエンコードを制御して、前記再符号化ストリームの生成を制御するエンコード制御ステップと、
    前記編集符号化ストリームの生成を制御する編集符号化ストリーム生成制御ステップと
    を含むことを特徴とする処理をコンピュータに実行させるための、コンピュータが読み取り可能なプログラムが記録されている記録媒体。
  10. 第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理をコンピュータに実行させるためのプログラムであって、
    編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、前記第１の符号化ストリームおよび前記第２の符号化ストリームのうちの前記編集点付近の所定区間を決定し、その所定区間のデコードを制御するデコード制御ステップと、
    前記デコード制御ステップの処理によりデコードが制御されて前記第１の符号化ストリームから生成された第１の画像データと、前記デコード制御ステップの処理によりデコードが制御されて前記第２の符号化ストリームから生成された第２の画像データとの、前記編集点における接続を制御し、第３の画像データの生成を制御する接続制御ステップと、
    前記編集点付近以外の所定区間の前記第１の符号化ストリームおよび前記編集点付近以外の所定区間の前記第２の符号化ストリームと、前記第３の画像データをエンコードした結果得られる再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に前記第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、前記編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、前記第３の画像データのエンコードを制御して、前記再符号化ストリームの生成を制御するエンコード制御ステップと、
    前記編集符号化ストリームの生成を制御する編集符号化ストリーム生成制御ステップと
    を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
  11. 第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理を実行する情報処理装置において、
    前記第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、前記第２の符号化ストリームが前記編集点付近の所定区間でデコードされて生成された第２の画像データとが、前記編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコード手段と、
    前記編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる前記所定区間を決定し、前記編集点付近以外の所定区間の第１の符号化ストリームおよび前記編集点付近以外の所定区間の第２の符号化ストリームと前記再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に前記第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、前記編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、前記エンコード手段によるエンコード処理を制御する制御手段と
    を備えることを特徴とする情報処理装置。
  12. 前記編集符号化ストリームを生成する編集符号化ストリーム生成手段を更に備え、
    前記制御手段は、前記編集符号化ストリーム生成手段を更に制御する
    ことを特徴とする請求項１１に記載の情報処理装置。
  13. 第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理を実行する情報処理装置の情報処理方法において、
    前記第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、前記第２の符号化ストリームが前記編集点付近の所定区間でデコードされて生成された第２の画像データとが、前記編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコードステップと、
    前記編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる前記所定区間を決定し、前記編集点付近以外の所定区間の第１の符号化ストリームおよび前記編集点付近以外の所定区間の第２の符号化ストリームと前記再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に前記第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、前記編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、前記エンコードステップにおけるエンコード処理を制御する制御ステップと
    を含むことを特徴とする情報処理方法。
  14. 第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理をコンピュータに実行させるためのプログラムであって、
    前記第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、前記第２の符号化ストリームが前記編集点付近の所定区間でデコードされて生成された第２の画像データとが、前記編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコードステップと、
    前記編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる前記所定区間を決定し、前記編集点付近以外の所定区間の第１の符号化ストリームおよび前記編集点付近以外の所定区間の第２の符号化ストリームと前記再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に前記第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、前記編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、前記エンコードステップにおけるエンコード処理を制御する制御ステップと
    を含むことを特徴とする処理をコンピュータに実行させるための、コンピュータが読み取り可能なプログラムが記録されている記録媒体。
  15. 第１の符号化ストリームと第２の符号化ストリームとを接続して編集する処理をコンピュータに実行させるためのプログラムであって、
    前記第１の符号化ストリームが編集点付近の所定区間でデコードされて生成された第１の画像データと、前記第２の符号化ストリームが前記編集点付近の所定区間でデコードされて生成された第２の画像データとが、前記編集点で接続されて生成された第３の画像データを、エンコードして再符号化ストリームを生成するエンコードステップと、
    前記編集点付近以外の所定区間の第２の符号化ストリームのコーディングオーダで時間的に先頭に位置する第１のピクチャがＩピクチャとなるように、デコードされる前記所定区間を決定し、前記編集点付近以外の所定区間の第１の符号化ストリームおよび前記編集点付近以外の所定区間の第２の符号化ストリームと前記再符号化ストリームとを接続して生成された編集符号化ストリームのうちコーディングオーダで時間的に前記第１のピクチャの次に位置するＩピクチャまたはＰピクチャである第２のピクチャのオキュパンシが、前記編集点付近以外の所定区間の第２の符号化ストリームのうちコーディングオーダで時間的に２番目に位置するＩピクチャまたはＰピクチャである第３のピクチャのオキュパンシと一致するように、前記エンコードステップにおけるエンコード処理を制御する制御ステップと
    を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
JP2004245373A 2004-08-25 2004-08-25 情報処理装置および情報処理方法、記録媒体、並びに、プログラム Expired - Fee Related JP4221667B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004245373A JP4221667B2 (ja) 2004-08-25 2004-08-25 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US11/207,899 US7539347B2 (en) 2004-08-25 2005-08-22 Information processing apparatus and information processing method, recording medium, and program
KR20050078497A KR101119685B1 (ko) 2004-08-25 2005-08-25 정보 처리 장치, 정보 처리 방법, 및 기록 매체
CN200510129140XA CN1767648B (zh) 2004-08-25 2005-08-25 信息处理设备和信息处理方法、记录介质、以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004245373A JP4221667B2 (ja) 2004-08-25 2004-08-25 情報処理装置および情報処理方法、記録媒体、並びに、プログラム

Publications (2)

Publication Number Publication Date
JP2006067095A JP2006067095A (ja) 2006-03-09
JP4221667B2 true JP4221667B2 (ja) 2009-02-12

Family

ID=35943222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004245373A Expired - Fee Related JP4221667B2 (ja) 2004-08-25 2004-08-25 情報処理装置および情報処理方法、記録媒体、並びに、プログラム

Country Status (4)

Country Link
US (1) US7539347B2 (ja)
JP (1) JP4221667B2 (ja)
KR (1) KR101119685B1 (ja)
CN (1) CN1767648B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4791129B2 (ja) * 2005-10-03 2011-10-12 ルネサスエレクトロニクス株式会社 画像符号化装置、画像符号化方法及び画像編集装置
JP4207072B2 (ja) 2006-04-07 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4229149B2 (ja) * 2006-07-13 2009-02-25 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム
JP4221676B2 (ja) 2006-09-05 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2008066851A (ja) * 2006-09-05 2008-03-21 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP5307545B2 (ja) * 2006-09-11 2013-10-02 パナソニック株式会社 画像復号化装置、画像復号化方法、画像復号化システム、及びシステムｌｓｉ
JP2009077105A (ja) * 2007-09-20 2009-04-09 Sony Corp 編集装置および編集方法、プログラム、並びに記録媒体
JP4575417B2 (ja) * 2007-11-09 2010-11-04 株式会社東芝 動画像再生装置
WO2011027507A1 (ja) * 2009-09-03 2011-03-10 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
DE112014003833T5 (de) * 2013-08-22 2016-05-25 Panasonic intellectual property Management co., Ltd Heizvorrichtung
EP3119098A4 (en) * 2014-03-11 2017-10-18 Sony Corporation Information processing device, information processing system and information processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3755206B2 (ja) 1996-10-07 2006-03-15 ソニー株式会社 編集装置と編集方法
KR100604631B1 (ko) * 1997-07-25 2006-07-28 소니 가부시끼 가이샤 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법
EP0935395A2 (en) * 1998-02-06 1999-08-11 Sony Corporation Video encoding methods and apparatus
JPH11289541A (ja) 1998-02-06 1999-10-19 Sony Corp 動画像符号化方法、動画像符号化装置及び記録媒体
JP4487374B2 (ja) * 1999-06-01 2010-06-23 ソニー株式会社 符号化装置及び符号化方法並びに多重化装置及び多重化方法
JP3932546B2 (ja) * 2001-01-24 2007-06-20 日本電気株式会社 Ｍｐｅｇビデオ編集装置及びｍｐｅｇビデオ編集方法
US7096488B1 (en) * 2001-10-19 2006-08-22 Cisco Technology, Inc. Methods and apparatus for facilitating network splicing

Also Published As

Publication number Publication date
US20060045467A1 (en) 2006-03-02
US7539347B2 (en) 2009-05-26
CN1767648B (zh) 2010-06-16
KR20060050664A (ko) 2006-05-19
JP2006067095A (ja) 2006-03-09
KR101119685B1 (ko) 2012-03-15
CN1767648A (zh) 2006-05-03

Similar Documents

Publication Publication Date Title
JP4221676B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4088799B2 (ja) 編集装置および編集方法
CN101052127B (zh) 信息处理装置和信息处理方法
JP4221667B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4342139B2 (ja) 信号処理装置
JP4174728B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4743119B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
KR100834322B1 (ko) 이미지 인코딩 장치, 화상 인코딩 방법 및 이미지 편집장치
JP4492484B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP3182329B2 (ja) 符号化データ編集装置とデータ復号装置
KR100893806B1 (ko) 동화상 재부호화 장치, 동화상 편집 장치, 및 방법
JP4333522B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2008258858A (ja) 動画像符号化装置
JP2006067098A (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2008066846A (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2008066852A (ja) 情報処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees