JP4003945B2 - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP4003945B2 JP4003945B2 JP2002244530A JP2002244530A JP4003945B2 JP 4003945 B2 JP4003945 B2 JP 4003945B2 JP 2002244530 A JP2002244530 A JP 2002244530A JP 2002244530 A JP2002244530 A JP 2002244530A JP 4003945 B2 JP4003945 B2 JP 4003945B2
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- size
- image processing
- image
- storage area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Storing Facsimile Image Data (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の符号化データがファイルとして記憶媒体に記録される各種の画像処理装置に関する。
【０００２】
【従来の技術】
画像はデータ量が大きくなるため、記憶（記録）媒体への記録に先立って圧縮符号化されるのが一般的である。このような圧縮符号化に関する従来技術は多い。
【０００３】
例えば特開平５−６４００１号公報には、圧縮画像データのサイズが格納可能なメモリサイズを超えると判断した場合に、圧縮画像データを伸長し、再生した画像データをより高い圧縮率で再圧縮する如き構成の画像処理装置が記載されている。また、画像を圧縮単位に分割し、各圧縮単位毎に画像データを圧縮しながら圧縮画像データのサイズを所定サイズと比較し、その比較結果に応じて圧縮率を増減させながら順に圧縮単位毎の圧縮を繰り返す如き構成の画像処理装置も記載されている。これと類似の画像処理装置は特開平６−２２１５２号公報にも記載されている。
【０００４】
【発明が解決しようとする課題】
一般に、記憶媒体の記憶領域はある単位で管理され、圧縮された画像のファイルを記録する場合には、その記憶領域管理単位の整数倍の記憶領域が割り当てられる。
【０００５】
しかし、上に述べたように圧縮率の制御に関しては従来より様々な検討がなされているものの、記憶媒体の記憶領域管理単位を考慮した従来技術は見あたらない。したがって、例えば、記憶媒体の記憶領域管理単位が５１２バイトで、圧縮画像のファイルサイズが５５０バイトのときには、記憶領域管理単位の２倍の１０２４バイトの記憶領域が割り当てられるが、４７４バイトの記憶領域は浪費されることとなり、記憶媒体の利用効率の面で好ましくない。デジタルカメラに使用される各種メモリカードのように、記憶容量の制約が大きい記憶媒体では、そのような記憶領域の浪費は特に好ましくない。
【０００６】
よって、本発明の目的は、画像の符号化データが記憶媒体にファイルとして記録される画像処理装置において、記憶媒体の浪費を極力減らすことにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するため、本発明の画像処理装置は、請求項１に記載のように、画像の符号化データがファイルとして装置内部又は装置外部の記憶媒体に記録される画像処理装置において、記憶媒体に記録される符号化データのファイルサイズが、記憶媒体の記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近いサイズとなるように、記憶媒体の記憶領域管理単位に基づいて符号化データのサイズを符号削除によって調整するための手段を有することを特徴とする。
【０００８】
本発明の画像処理装置のもう１つの特徴は、請求項２に記載のように、請求項１記載の構成において、符号化データのサイズ調整の際に符号化データのヘッダ情報が書き換えられることである。
【０００９】
本発明の画像処理装置のもう１つの特徴は、請求項３に記載のように、請求項１又は２に記載の構成において、符号化データのサイズ調整のための符号削除の方法が選択可能であることにある。
【００１０】
本発明の画像処理装置のもう１つの特徴は、請求項４に記載のように、請求項１又は２に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に個々のレイヤが再構成されることにある。
【００１１】
本発明の画像処理装置のもう１つの特徴は、請求項５に記載のように、請求項１又は２に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に符号化データの特定のレイヤより下位のレイヤのサイズがほぼ記憶領域管理単位の整数倍値に調整されることにある。
【００１２】
本発明の画像処理装置のもう１つの特徴は、請求項６に記載のように、請求項１又は２に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際にプログレッション順序の変更及び再レイヤ分割が行われることにある。
【００１３】
本発明の画像処理装置のもう１つの特徴は、請求項７に記載のように、請求項１又は２に記載の構成において、符号化データのサイズ調整の際に、符号化データは２以上の符号化コードに分割されることにある。
【００１４】
本発明の画像処理装置のもう１つの特徴は、請求項８に記載のように、請求項１乃至７のいずれか１項に記載の構成において、符号化データのサイズ調整の際に任意の記憶領域管理単位を指定可能であることにある。
【００１５】
また、前記目的を達成するため、本発明の画像処理方法は、請求項９に記載のように、画像の符号化データをファイルとして記憶媒体に記録する際に、符号化データのファイルサイズが、記憶媒体の記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近いサイズとなるように、記憶媒体の記憶領域管理単位に基づいて符号化データのサイズを符号削除により調整することを特徴とする。
【００１６】
本発明の画像処理方法のもう１つの特徴は、請求項１０に記載のように、請求項９に記載の構成において、符号化データのサイズ調整の際に符号化データのヘッダ情報が書き換えられることにある。
【００１７】
本発明の画像処理方法のもう１つの特徴は、請求項１１に記載のように、請求項９又は１０に記載の構成において、符号化データのサイズ調整のための符号削除の方法が選択可能であることにある。
【００１８】
本発明の画像処理方法のもう１つの特徴は、請求項１２に記載のように、請求項９又は１０に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に個々のレイヤが再構成されることにある。
【００１９】
本発明の画像処理方法のもう１つの特徴は、請求項１３に記載のように、請求項９又は１０に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に符号化データの特定のレイヤより下位のレイヤのサイズがほぼ記憶領域管理単位の整数倍値に調整されることにある。
【００２０】
本発明の画像処理方法のもう１つの特徴は、請求項１４に記載のように、請求項９又は １０に記載の構成において、符号化データのサイズ調整と同時にプログレッション順序の変更及び再レイヤ分割が行われることにある。
【００２１】
本発明の画像処理方法のもう１つの特徴は、請求項１５に記載のように、請求項９又は１０に記載の構成において、符号化データのサイズ調整の際に、符号化データは２以上の符号化コードに分割されることにある。
【００２２】
本発明の画像処理方法のもう１つの特徴は、請求項１６に記載のように、請求項９乃至１５のいずれか１項に記載の構成において、符号化コードのサイズ調整の際に任意の記憶領域管理単位を指定可能であることにある。
【００２３】
【発明の実施の形態】
以下に説明する本発明の実施の形態において処理される符号化データは、ＪＰＥＧＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）の静止画像の符号化データと、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）の動画像の符号化データである。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、連続した複数の静止画像のそれぞれをフレームとして動画像を扱い、各フレームの符号化データはＪＰＥＧ２０００に準拠しており、ファイルフォーマットがＪＰＥＧ２０００と一部異なるのみである。
【００２４】
ＪＰＥＧ２０００のアルゴリズムについては、例えば、書籍「次世代画像符号化方式ＪＰＥＧ２０００」（野水泰之著、株式会社トリケップス）などに詳しいが、以下の実施の形態の説明に必要な範囲でＪＰＥＧ２０００のアルゴリズムについて説明する。
【００２５】
図１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。圧縮処理の対象となる画像データ（動画を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００２６】
タイル画像は、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換が施される（ステップＳ１）。この色空間変換が省かれる場合もある。
【００２７】
色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ２）。
【００２８】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。
【００２９】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ３）。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００３０】
量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３１】
最後の２つのステップＳ５，Ｓ６は符号形成プロセスである。まず、ステップＳ５において、ステップＳ４で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ６において、ステップＳ５で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プリシンクト(position)、レイヤ、コンポーネント（色成分)の組み合わせによる５種類のプログレッション順序が定義されている。
【００３２】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカで始まり、タイルヘッダ(Tile Header)、ＳＯＤマーカ、タイルデータ（Tile Data;符号）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカが置かれる。
【００３３】
このようなＪＰＥＧ２０００のアルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。
【００３４】
その１つは、符号化データの符号の削除（トランケーション）によるポスト量子化によって、再圧縮を行うことなく全体の符号量を調整できることである。この符号削除は、タイルやプリシンクトなどの領域、コンポーネント、デコンポジションレベル（もしくは解像度レベル）、ビットプレーン、サブビットプレーン、パケット、マルチレイヤ構成の場合にはレイヤなど、多様な単位で行うことができる。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。もう１つは、符号化データのレイヤの再構成を符号状態のままで行うことができることである。もう１つは、あるプログレッション順序の符号化コードを、符号状態のままで別のプログレッション順序の符号化データに再構成することが可能であることである。もう１つは、マルチレイヤの符号化データを、符号状態のまま、レイヤ単位で２以上の符号化コードに分割可能であることである。
【００３５】
ここで、プリシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００３６】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図４にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００３７】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号データを形成する。図３の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００３８】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプリシンクトのパケットをレイヤに含めなくともよい）。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３９】
デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの例を図５に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜１６のパケットの符号からなるレイヤ０、パケット番号１７〜３３のパケットの符号からなるレイヤ１、パケット番号３４〜５０のパケットの符号からなるレイヤ２、パケット番号５１〜６７のパケットの符号からなるレイヤ３、パケット番号６８〜８４のパケットの符号からなるレイヤ４、パケット番号８５〜１０１のパケットの符号からなるレイヤ５、パケット番号１０２〜１１８のパケットの符号からなるレイヤ６、パケット番号１１９〜１３５のパケットの符号からなるレイヤ７、パケット番号１３６〜１４８のパケットの符号からなるレイヤ８、及び、残りのパケット番号１４９〜１６１のパケットの符号からなるレイヤ９の９レイヤに分割されている。なお、パケットとプリシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００４０】
以下、本発明の実施の形態について説明する。図６は、本発明の実施の形態を説明するためのブロック図である。
【００４１】
図６において、符号化データ入力部１０００は静止画像又は動画像の符号化データを入力する手段である。ここに示す例では、符号化データ入力部１０００は動画像又は静止画像の画像データを入力する画像データ入力部１００１と、その画像データを圧縮符号化し、ＪＰＥＧ２０００に準拠した静止画像の符号化データ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データを生成する画像圧縮部１００２からなる。画像データ入力部１００１は、例えば、デジタルカメラ等の撮像部と同様な撮像手段であったり、あるいは、他の機器から有線又は無線の伝送路もしくはネットワークを通じて画像データを取り込む手段である。すなわち、符号化データ入力部１０００に画像圧縮部１００２を含み、単に他の機器から有線又は無線の伝送路もしくはネットワークを介して取り込んだ画像データを画像圧縮部１００２で圧縮符号化することにより、符号化データを入力する実施の形態も本発明に含まれる。
【００４２】
なお、符号化データ入力部１０００が、画像圧縮部１００２を含まず、単に、他の機器から、有線又は無線の伝送路もしくはネットワークを通じて、符号化データを取り込む手段であってもよく、かかる実施の形態も本発明に含まれる。
【００４３】
記録部１０２０Ａは、メモリカードやディスク媒体等の記憶（記録）媒体１０２５Ａに符号化データを画像ファイルとして書き込み、また、その画像ファイルを読み出す手段である。記録部１０２０Ｂは、記憶媒体１０２５Ａと同種又は別種のメモリカードやディスク媒体などの記憶（記録）媒体１０２５Ｂに符号化データを画像ファイルとして書き込み、また、その画像ファイルを読み出す手段である。
【００４４】
出力インターフェース１０３０は、有線又は無線の伝送路もしくはネットワークを通じて、外部の記憶装置やパソコン等の外部機器に対し画像の符号化データを出力し、また、外部機器より符号化データを取り込むための手段である。
【００４５】
なお、記録部を１つ又は３つ以上備える実施の形態も本発明に含まれる。また、画像処理装置自体では記録部を備えず、外部の記憶装置やコンピュータ等に符号化データを記録する実施の形態も本発明に含まれる。
【００４６】
符号化データ加工部１００５は、画像の符号化データに対し、符号状態のまま加工もしくは編集の処理を行う手段である。なお、画像処理装置に符号データ入力部１０００を備えず、記憶媒体（１０２５Ａ，１０２５Ｂ）に記録済みの符号化データのみ符号化データ加工部１００５の処理対象とする実施の形態も可能であり、これも本発明に含まれる。
【００４７】
ユーザ入力部１０１０は、ユーザが各種指令などを制御部１０１５に入力するための手段である。このユーザ入力部１０１０は、必ずしもユーザによって直接操作される手段に限定されるものではなく、例えば、外部のパソコン等の機器におけるユーザ操作に応じた指令等を、有線又は無線の伝送路もしくはネットワークを通じて取り込むものであってもよく、そのような実施の形態も本発明に含まれる。
【００４８】
画像伸長部１０１２は、符号化データを復号して画像データに伸長する手段である。表示部１０１３は、画像及びその他の情報を表示するための手段であり、画像ファイルの指定などの際に利用される。
【００４９】
制御部１０１５は、この画像処理装置全体の制御のほか、符号化データ加工部１００５による符号化データの加工処理の制御、画像圧縮部１００２における処理の制御などを行う手段である。
【００５０】
以上に述べた構成の画像処理装置は、複数の異なった動作モードを有し、ユーザ入力部１０１０より動作モードを選択することができる。以下、各動作モードにおける画像処理装置の動作について説明する。
【００５１】
《動作モード１》この動作モードは、画像データを圧縮符号化し、その符号化データを画像ファィルとして記憶媒体（１０２５Ａ，１０２５Ｂ又は外部の記憶装置）に記録するモードであり、その概略フローを図７に示す。
【００５２】
ステップＳ２００１：画像データ入力部１００１で、撮像された画像データ又は外部より取り込まれた画像データが入力される。
【００５３】
ステップＳ２００２：画像圧縮部１００２において、その画像データに対しＪＰＥＧ２０００のアルゴリズムによってロスレス又はロッシー圧縮符号化が行われ、その符号化データは符号化データ加工部１００５へ入力される。なお、ロスレス圧縮符号化とロッシー圧縮符号化のいずれが実行されるかは、ユーザ入力部１０１０より予め指定される。また、ロッシー圧縮符号化の圧縮率は、例えば、予めユーザ入力部１０１０より指示された高画質、中画質又は低画質などの画質モードに応じて制御部１０１５により制御される。
【００５４】
ステップＳ２００３：制御部１０１５により、符号化データ加工部１００５に対し、符号化データが記録される記憶媒体の記憶領域管理単位が設定される。記憶媒体１０２５Ａ，１０２５Ｂのいずれかに符号化データが記録される場合には、その記憶領域管理単位が設定される。外部の記憶装置に符号化データが記録される場合には、その記憶装置の記憶領域管理単位が設定される。符号化データが記録される記録媒体は、ユーザ入力部１０１０より指定可能である。指定がない場合には、デフォルト設定の記憶媒体が選択される。
【００５５】
なお、符号化データが記録される記憶媒体の記憶領域管理単位と無関係に、任意の記憶領域管理単位をユーザ入力部１０１０より指定することも可能であり、その指定がある場合には指定された記憶領域管理単位が符号化データ加工部１００５に設定される。このように記憶領域管理単位を任意に指定可能とする目的は、将来、符号化データを別の記憶媒体に転送又はコピーする予定がある場合には、予めその記憶媒体の記憶領域管理単位を考慮しておくほうが合理的なこともあるからである。
【００５６】
ステップＳ２００４：符号化データ加工部１００５において、入力された符号化データのサイズと、それに付加されるＪＰＥＧ２０００のファィルヘッダのサイズを合計して現在のファイルサイズが算出される。次に、現在のファイルサイズを超えない、記憶領域管理単位の最大の整数倍値が求められる。そして、ファイルサイズが、その整数倍値を超えず、かつ、その整数倍値にできるだけ近い値になるように、符号化データの符号削除（ポスト量子化）が行われることにより、符号化データのサイズが最適化される。すなわち、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。このサイズ調整の際、符号化データのヘッダ情報等の書き換えも必要に応じて行われる。
【００５７】
なお、画像圧縮部１００２で圧縮符号化を行って符号化データを入力する場合には、画像圧縮部１００２において符号形成プロセスで一部符号を廃棄することにより符号化データのサイズ調整を行わせることも可能である。つまり、符号化データのサイズを調整するための手段として、画像圧縮部１００２を利用する実施の形態も本発明に含まれる。
【００５８】
ステップＳ２００５：符号化データ加工部１００５によりサイズが最適化された符号化データは、画像ファイルとして、記録部１０２０Ａにより記憶媒体１０２５Ａに記録され、又は、記録部１０２０Ｂにより記憶媒体１０２５Ｂに記録される。記録先として外部の記憶装置が指定された場合には、符号化データはインターフェース部１０３０を介し転送され、その記憶装置に画像ファイルとして記録される。上に述べたような符号化データのサイズ調整が行われているため、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域が有効に利用されることになる。
【００５９】
なお、符号化データ入力部１０００が外部より符号化データを直接取り込む構成である場合には、ステップＳ２００１，Ｓ２００２は符号化データを取り込むステップに置き換えられる。動画像を処理する場合には、各フレームの静止画像の符号化データについて、同様の符号削除による符号化データサイズの最適化が行われる。
【００６０】
《動作モード２》この動作モードも、画像データを圧縮符号化し、そのマルチレイヤ構成の符号化データを画像ファィルとして記憶媒体（１０２５Ａ，１０２５Ｂ又は外部の記憶装置）に記録するモードであり、その概略フローを図８に示す。
【００６１】
ステップＳ２０１１：画像データ入力部１００１で、撮像された画像データ又は外部より取り込まれた画像データが入力される。
【００６２】
ステップＳ２０１２：制御部１０１５によって、画像圧縮部１００２は、符号化データが記録される記憶媒体の記憶領域管理単位を設定されるとともに、その記憶領域管理単位を考慮したレイヤ分割処理を行うように制御される。符号化データが記録される記憶媒体は、ユーザ入力部１０１０より指定可能である。指定がない場合にはデフォルト設定の記憶媒体が選択される。
【００６３】
なお、符号化データが記録される記憶媒体の記憶領域管理単位と無関係に、任意の記憶領域管理単位をユーザ入力部１０１０より指定することも可能である。その目的は動作モード１に関連して述べた通りである。
【００６４】
ステップＳ２０１３：画像圧縮部１００２において、入力された画像データに対しＪＰＥＧ２０００のアルゴリズムによってロスレス又はロッシーの圧縮符号化が行われるが、その符号形成プロセスで記憶領域管理単位を考慮したレイヤ分割が行われる。すなわち、図９に模式的に示すように、符号化データのレイヤｉ（ｉ≧０，ｉはユーザ入力部１０１０より指定することができ、指定されない場合にはデフォルト値が用いられる）までのサイズｂにファイルヘッダのサイズａを加算したサイズＬｉが、記憶領域管理単位のある整数倍値を超えることなく、かつ、その整数倍値にできるだけ近くなるようにレイヤ０〜ｉを構成する。具体的には例えば、図５に示したレイヤ構成例に見られるように、注目したレイヤｉにパケットを順に組み込んでいき、丁度良いサイズになった段階で同レイヤを終わりにする、というような手順を踏む。次に、符号化データのレイヤｉ+１までのサイズにファイルヘッダのサイズを加算したサイズＬi+1が記憶領域管理単位のある整数倍値を超えることなく、かつ、その整数倍値にできるだけ近くなるようにレイヤｉ＋１を構成する。以下同様の手順により、レイヤｉ以下の各レイヤ境界までの符号化データサイズにファイルヘッダのサイズを加えたサイズが、記憶領域管理単位のある整数倍値を超えることなく、かつ、その整数倍値にできるだけ近くなるようなレイヤ分割が行われる。結果として、レイヤｉ＋１以降の各レイヤのサイズはほぼ記憶領域管理単位の整数倍のサイズとなる。最下位のレイヤＮについては、次の２つの方法のいずれかをユーザ入力部１０１０より指定することができ、指定されない場合は、いずれかのデフォルト設定の方法が選択される。
【００６５】
（１）残りの全ての符号で最下位レイヤを構成する方法。この方法が選ばれた場合、符号化データのサイズにファイルヘッダのサイズを加えたサイズＬｎつまり画像ファイルサイズは、必ずしも記憶領域管理単位のある整数倍値以下の近い値にならないことがある。しかし、後にポスト量子化によって最下位レイヤの符号を削除すれば、そのようなファイルサイズになる。
【００６６】
（２）サイズＬｎが、記憶領域管理単位のある整数倍値を超えず、その整数倍値との差ができるだけ小さくなるように最下位のレイヤを構成し、残った符号を捨ててる方法。この場合は、最下位レイヤのサイズもほぼ記憶領域管理単位の整数倍のサイズとなる。
【００６７】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として、画像圧縮部１００２が利用される。
【００６８】
なお、ロスレス圧縮符号化とロッシー圧縮符号化のいずれを実行するかは、ユーザ入力部１０１０より指定することができ、指定されない場合にはデフォルトとしての圧縮符号化が実行される。また、ロッシー圧縮符号化の圧縮率は、例えば、予めユーザ入力部１０１０より指示された高画質、中画質又は低画質などの画質モードに応じて制御部１０１５により制御される。
【００６９】
ステップＳ２０１４：画像圧縮部１００２によってサイズが調整された符号化データは、記録部１０２０Ａ又は１０２０Ｂにより記憶媒体１０２５Ａ又は１０２５Ｂに画像ファイルとして記録され、あるいは、インターフェース部１０３０を介し外部記憶装置へ転送され、その記憶媒体に画像ファイルとして記録される。符号化データの最下位レイヤについて前記（２）の方法が適用された場合には、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域が有効に利用されることになり、記憶媒体の利用効率が極めて高い。なお、最下位レイヤについて前記（１）の方法が適用された場合にも、後に、最下位レイヤの符号を削除するならば、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域が有効に利用される。また、後にレイヤｉより下位のレイヤの符号を削除しても、記憶領域の無駄は回避される。
【００７０】
なお、動画像の場合は、各フレームの静止画像について同様の処理が実行される。
【００７１】
《動作モード３》この動作モードは、動作モード１、本動作モード又は後記動作モード５により、ある記憶媒体に画像ファイルとして記録されている符号化データを、別の記憶媒体に適したサイズに調整してその記憶媒体に記録するモードであり、その処理フローを図１０に示す。この場合は、ユーザ入力部１０１０より、対象となる画像ファイルとその符号化データの保存先となる記憶媒体が予め指定される。
【００７２】
ステップＳ２０２１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【００７３】
ステップＳ２０２２：制御部１０１５によって、保存先の記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）に対応した記憶領域管理単位が符号化データ加工部１００５に設定される。なお、ユーザ入力部１０１０より任意の記憶領域管理単位を指定することも可能であり、その場合には、指定された記憶領域管理単位が設定される。このような指定を許す目的は動作モード１に関連して説明した通りである。
【００７４】
ステップＳ２０２３：符号化データ加工部１００５において、現在の画像ファイルサイズを超えない、記憶領域管理単位の最大の整数倍値が求められる。そして、画像ファイルサイズが、その整数倍値を超えることなく、かつ、その整数倍値にできるだけ近い値になるように、符号化データの符号削除が行われることにより、符号化データのサイズが最適化される。この際、符号化データのヘッダ情報等の書き換えも必要に応じて行われる。このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【００７５】
ステップＳ２０２４：サイズが最適化された符号化データは、画像ファイルとして、保存先の記憶媒体に記録される。上に述べたような符号化データのサイズ調整が行われているため、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域が有効に利用されることになり、記憶媒体の利用効率が極めて高い。
【００７６】
動画像を処理する場合には、各フレームの静止画像の符号化データについて、同様の符号削除による符号化データサイズの最適化が行われる。
【００７７】
《動作モード４》この動作モードは、動作モード２、後記動作モード６又は本動作モードなどにより、ある記憶媒体に画像ファイルとして記録されているマルチレイヤ構成の符号化データを、別の記憶媒体に適したレイヤ構成の符号化データに変換してから、その記憶媒体に記録するモードであり、その処理フローを図１１に示す。この場合、ユーザ入力部１０１０より、対象となる画像ファイルとその符号化データの保存先となる記憶媒体が予め指定される。
【００７８】
ステップＳ２０３１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【００７９】
ステップＳ２０３２：制御部１０１５によって、保存先の記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）の記憶領域管理単位が符号化データ加工部１００５に設定される。ユーザ入力部１０１０より任意の記憶領域管理単位を指定することも可能であり、その場合には指定された記憶領域管理単位が設定される。このような指定を許す目的は動作モード１に関連して述べた通りである。
【００８０】
ステップＳ２０３３：符号化データ加工部１００５において、読み込まれた画像ファイルの符号化データに対し、設定された記憶領域管理単位に適するようにサイズ調整が行われるが、この際にレイヤの再構成が行われる。このレイヤの再構成の手順は図８のステップＳ２０１３に関連して説明した手順と同様である。最終レイヤに関する処理方法についてもステップＳ２０１３と同様である。符号化データのヘッダ情報などの書き換えも必要に応じて行われる。このように、本動作モードにおいては、符号化データのレイヤ再構成を含むサイズ調整のための手段として符号化データ加工部１００５が利用される。
【００８１】
ステップＳ２０３４：サイズが最適化された符号化データは、画像ファイルとして、保存先の記憶媒体に記録される。上に述べたようにレイヤ再構成を含む符号化データのサイズ調整がなされているため、画像ファイルに無駄なく記憶領域を割り当てることができる。また、この画像ファイルの符号化データの下位のレイヤの符号が後に削除されたとしても記憶領域の無駄が極めて少ない。
【００８２】
なお、動画像の場合には、各フレームの静止画像の符号化データについて、同様の処理が行われる。
【００８３】
《動作モード５》この動作モードは、動作モード１又は３あるいは本動作モードにより記録媒体に画像ファイルとして記録された符号化データをさらに圧縮するモードであり、その処理フローを図１２に示す。この動作モードは、記録媒体の残容量が不足するような場合や、画像ファイルの利用のために圧縮が必要な場合に利用される。
【００８４】
ステップＳ２０４１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【００８５】
ステップＳ２０４２：制御部１０１５によって、その記憶媒体に対応した記憶領域管理単位が符号化データ加工部１００５に設定される。
【００８６】
ステップＳ２０４３：読み出された画像ファイルの符号化データが画像伸長部１０１２により復号されて画像データに伸長され、この画像データが表示部１０１３に表示される。
【００８７】
ステップＳ２０４４：ユーザ入力部１０１０より削除指示が入力される。この際に、符号削除の方法が指定される。指定されない場合は制御部１０１５により符号削除方法が自動的に決定される。前述のようにＪＰＥＧ２０００の符号化データは様々な単位で符号の削除を行うことができるが、どのような単位で符号削除を行うかを指定することが、ここで言う符号削除方法の指定である。
【００８８】
ステップＳ２０４５：符号化データ加工部１００５において、指定された符号削除方法又は制御部１０１５により決定された符号化削除方法に従って、符号化データの符号削除が行われるが、削除される符号量は記憶領域管理単位の整数倍に選ばれる。したがって、符号削除後の符号化データの画像ファイルサイズは、記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近い値となる。この符号削除後の符号化データを画像伸長部１０１２により伸長した画像データが表示部１０１３に表示される（ステップＳ２０４３）。
【００８９】
ユーザ入力部１０１０より終了指示が入力されるまで、ステップＳ２０４３〜Ｓ２０４５が繰り返される。ユーザ入力部１０１０より終了指示が入力されると（ステップＳ２０４６，Ｙｅｓ）、ステップＳ２０４７に進む。
【００９０】
ステップＳ２０４７：以上の処理によりサイズが削減された符号化データは、画像ファイルとして元の記憶媒体に記録される。上に述べたように符号化データの符号削除後の画像ファイルサイズは、記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近い値となるため、記憶領域の無駄が少なく記憶媒体の利用効率が極めて高い。
【００９１】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【００９２】
なお、動画像の場合には、各フレームの静止画像の符号化データについて、同様の処理が行われる。
【００９３】
ここまでの説明から明らかなように、画像ファイルの目標サイズを指定し、目標サイズを超えない記憶領域管理単位の最大の整数倍値を求め、その整数倍値を超えず、かつ、その整数倍値にできるだけ近いファイルサイズとなるように符号削除を自動的に行わせる態様も可能であり、これも本発明に含まれる。この場合に、符号削除単位の優先順位を予め指定し、優先順位の高い単位で符号削除を行い、それでも目標サイズまで圧縮できないときに次順位の単位で符号削除を行う、というような手順を採用することも可能であり、このような態様も本発明に含まれる。
【００９４】
《動作モード６》この動作モードは、動作モード２，４又は本動作モードあるいき後記動作モード７により、記録媒体に画像ファイルとして記録されたマルチレイヤ構成の符号化データをさらに圧縮するモードであり、その処理フローを図１３に示す。この動作モードは、記録媒体の残容量が不足するような場合や、画像ファイルの利用のために圧縮が必要な場合に利用される。
【００９５】
ステップＳ２０５１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【００９６】
ステップＳ２０５２：読み出された画像ファイルの符号化データが画像伸長部１０１２により復号されて画像データに伸長され、この画像データが表示部１０１３に表示される。
【００９７】
ステップＳ２０５３：ユーザ入力部１０１０より削除指示が入力される。
【００９８】
ステップＳ２０５４：符号化データ加工部１００５において、符号化データの最も下位の１レイヤの符号が削除される。前記レイヤｉより下位のレイヤの符号を削除する限りは、符号削除後の符号化データのファイルサイズは、記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近い値となることは明らかである。符号化データのヘッダ情報なども必要に応じて書き換えられる。この符号削除後の符号化データは画像伸長部１０１２により伸長され、伸長された画像データが表示部１０１３に表示される（ステップＳ２０５２）。
【００９９】
ユーザ入力部１０１０より終了指示が入力されるまで、ステップＳ２０５２〜Ｓ２０５４が繰り返される。ユーザ入力部１０１０より終了指示が入力されると（ステップＳ２０５５，Ｙｅｓ）、ステップＳ２０５６に進む。
【０１００】
ステップＳ２０５６：以上の処理によりサイズが削減された符号化データは、画像ファイルとして元の記憶媒体に記録される。上に述べたように、ファイルサイズは、記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近い値となるため、記憶領域の無駄が少なく、記憶媒体の利用効率は極めて高い。
【０１０１】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【０１０２】
なお、動画像の場合には、各フレームの静止画像の符号化データについて、同様の処理が行われる。
【０１０３】
《動作モード７》この動作モードは、動作モード２，４又は６あるいは本動作モードなどにより、画像ファイルとして記憶媒体に記録されたマルチレイヤ構成の符号化データのプログレッション順序を変更するとともに、レイヤ分割をやり直すモードであり、その処理フローを図１４に示す。
【０１０４】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト(Position)である。
【０１０５】
ＬＲＣＰプログレッション順序の場合、パケットの配置（符号化時）又はパケットの解釈（復号化時）の順序は、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなforループで表すことができる。
for(レイヤ)｛
for(解像度レベル)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
【０１０６】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図１５のような順に配置され、また解釈される。
【０１０７】
また、ＲＬＣＰプログレッション順序の場合には、
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
という順で、パケットの配置（符号化時）又はパケットの解釈（復号化時）がなされる。他のプログレッション順序の場合も同様のネストされたforループにより、パケットの配置順又は解釈順が決まる。
【０１０８】
ここまでの説明から明らかなように、符号化データのプログレッション順序を変更した場合には、各レイヤに含まれるパケットの内容も変わるため、レイヤ分割をやり直す必要がある。本モードは、符号化データのプログレッション順序の変更と記憶領域管理単位を考慮した再レイヤ分割を行うモードである。以下、図１４に沿って説明する。
【０１０９】
ステップＳ２０６１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【０１１０】
ステップＳ２０６２：制御部１０１５によって、ユーザ入力部１０１０より指定されたプログレッション順序と、保存先の記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）に対応した記憶領域管理単位が符号化データ加工部１００５に設定される。ユーザ入力部１０１０より任意の記憶領域管理単位を指定することも可能であり、その場合には、指定された記憶領域管理単位が設定される。このような指定を許す目的は動作モード１に関連して説明した通りである。
【０１１１】
ステップＳ２０６３：符号化データ加工部１００５において、読み込まれた画像ファイルの符号化データから、指定されたプログレッション順序の新しい符号化データが作成されるが、この際に改めてレイヤ分割（符号化データのサイズ調整を含む）が行われる。このレイヤ分割においては、図８のステップＳ２０１３に関連して説明した手順と同様に、指定された又はデフォルトのレイヤｉ（ｉ≧０）以降の各レイヤ境界までの合計サイズにファイルヘッダサイズを加えたサイズが、設定された記憶領域単位の整数倍値を超えず、かつ、その整数倍値との差ができるだけ小さくなるように、レイヤのサイズが調整される。最下位レイヤに関する処理方法についてもステップＳ２０１３と同様である。なお、符号化データのヘッダ情報などの必要な書き換えも行われる。
【０１１２】
ステップＳ２０６４：このようにして作成された新しい符号化データは、画像ファイルとして、保存先の記憶媒体に記録される。上に述べたように符号化データのサイズ調整が行われているため、記憶領域の無駄が極めてすくない。また、その後にレイヤ単位の符号削除が行われても、記憶領域の無駄は極めて少ない。なお、最下位レイヤについて前記（１）の方法が適用された場合においても、後に最下位レイヤの符号が削除されると、記憶領域の無駄は極めて少なくなる。
【０１１３】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【０１１４】
なお、動画像の場合には、各フレームの静止画像の符号化データについて、同様の処理が行われる。
【０１１５】
《動作モード８》この動作モードは、動作モード２，４，６又は７などにより記憶媒体に画像ファイルとして記録されているマルチレイヤ構成の符号化データをレイヤ単位で２つの符号化データに分割し、それぞれを異なった記憶媒体に記録するモードである。例えば、マルチレイヤ構成の符号化データで、その上位の１レイヤ又は数レイヤの符号を画像サーチなどの目的に利用するために高速の記憶媒体に記録し、残りの下位レイヤの符号を別の符号化データとして低速大容量の記憶媒体に記録するような場合に、本動作モードを利用できる。本動作モードの処理フローを図１６に示す。
【０１１６】
ステップＳ２０７１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体から読み込まれる。
【０１１７】
ステップＳ２０７２：上位レイヤの符号及び下位レイヤの符号の保存先となる各記憶媒体の記憶領域管理単位が、制御部１０１５により符号化データ加工部１００５に設定される。これらの記憶媒体はデフォルト指定とすることも、ユーザ入力部１０１０より指定することもできる。
【０１１８】
ステップＳ２０７３：符号化データ加工部１００５において、その画像データの符号化データの一定数の上位レイヤについて、動作モード２の場合と同様の手順により、上位レイヤ保存先の記憶領域管理単位を考慮したレイヤ再構成が行われる。そして、残りの符号が削除されることにより、第１の符号化データが作成される。ただし、その記憶領域管理単位が元の符号化データに適用された記憶領域管理単位と同一ならば、上位レイヤの再構成は不要である。
【０１１９】
ステップＳ２０７４：作成された第１の符号化データが、その保存先の記憶媒体に画像ファイルとして記録される。このファイルサイズは、記憶領域管理単位の整数倍値を超えず、かつ、それに近いため記憶領域の無駄は極めて少ない。
【０１２０】
ステップＳ２０７５：符号化データ加工部１００５において、ステップＳ２０７３で削除された下位レイヤの符号のみからなる第２の符号化データが作成される。この符号化データに関しても、動作モード２の場合と同様の手順により、下位レイヤ保存先の記憶領域管理単位を考慮したレイヤ再構成が行われる。最終レイヤの処理はステップＳ２０１３と同様である。その記憶領域管理領域が元の符号化データに適用された記憶領域管理単位と同じならば、下位レイヤの再構成は不要である。
【０１２１】
ステップＳ２０７６：作成された第２の符号化データが、その保存先記憶媒体に画像ファイルとして記録される。このファイルサイズは、記憶領域管理単位の整数倍値を超えず、かつ、それに近いため記憶領域の無駄は極めて少ない。
【０１２２】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【０１２３】
上に述べたように、画像をサーチする場合には、高速の記憶媒体に記録した上位レイヤの符号化データを復号化して画像を再生し、見つけた画像の上位レイヤの符号と下位レイヤの符号を合成してから復号化することにより高精細な画像を再生する、というような目的に本動作モードは有用である。
【０１２４】
なお、１つの符号化データをレイヤを単位として３つ以上の符号化データに同様に分割する態様も可能であり、これも本発明に含まれる。
【０１２５】
以上に説明した本発明による画像処理装置の機能、換言すれば各動作モードにおける処理手順を、パソコンなどの汎用のコンピュータや専用コンピュータ、その他の機器に組み込まれたマイクロコンピュータにおいて、ソフトウェアによって実現することも可能である。そのためのプログラム、及び、それが記録された各種の記憶（記録）媒体も本発明に含まれる。また、ＪＰＥＧ２０００又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データに本発明を好適に適用できるが、符号状態での同様のサイズ調整処理あるいは符号形成プロセスでの同様のサイズ調整処理が可能なフォーマットの符号化データならば、本発明を適用し得ることは明らかである。
【０１２６】
【発明の効果】
以上に説明したように、本発明によれば、
（１）記憶領域管理単位を考慮した符号化データのサイズ調整により、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域を有効に利用することができるため、記憶媒体の利用効率が向上する。
（２）マルチレイヤ構成の符号化データの特定レイヤより下位のレイヤのサイズが記憶領域管理単位のほぼ整数倍とされることにより、後にレイヤ単位の符号削除を行っても記憶媒体を効率良く利用できる。
（３）符号化データのサイズ調整の際にレイヤの再構成を行うことにより、ある記憶媒体に記録済みのマルチレイヤ構成の符号化データを、記憶管理領域単位が異なる別の記憶媒体に保存する場合に、ファイルサイズとともにレイヤ構成を最適化できる。
（４）符号化データのサイズ調整と同時にプログレッション順序の変更が可能である。
（５）符号化データのサイズ調整の際に符号化データをレイヤ単位で２以上の符号化データに分割することにより、例えば上位レイヤからなる符号化データだけを高速の記憶媒体に記録し、画像のサーチに利用するようなことが容易である。
（６）符号化データの利用目的などに応じて、符号化データのサイズ調整のための符号削除方法を選ぶことができる。
（７）符号化データのサイズ調整の際に、記憶領域管理単位を任意に指定可能とすることにより、将来、別の記憶媒体に転送又はコピーする予定のある符号化データについては、予めその記憶媒体の記憶領域管理単位に適したサイズ調整を行うことが可能である。
等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化したブロック図である。
【図２】 デコンポジションレベル数が３の二次元ウェーブレット変換を説明するための図である。
【図３】 ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図４】 プリシンクトとコードブロックを説明するための図である。
【図５】 パケットとレイヤ分割の例を示す図である。
【図６】 本発明の実施の形態を説明するためのブロック図である。
【図７】 動作モード１を説明するためのフローチャートである。
【図８】 動作モード２を説明するためのフローチャートである。
【図９】 マルチレイヤ構成の符号化データのサイズ調整を説明するための図である。
【図１０】 動作モード３を説明するためのフローチャートである。
【図１１】 動作モード４を説明するためのフローチャートである。
【図１２】 動作モード５を説明するためのフローチャートである。
【図１３】 動作モード６を説明するためのフローチャートである。
【図１４】 動作モード７を説明するためのフローチャートである。
【図１５】 ＬＲＣＰプログレッションの場合のパケットの配置順及び解釈順を示す図である。
【図１６】 動作モード８を説明するためのフローチャートである。
【符号の説明】
１０００ 符号化データ入力部
１００１ 画像データ入力部
１００２ 画像圧縮部
１００５ 符号化データ加工部
１０１０ ユーザ入力部
１０１２ 画像伸長部
１０１３ 表示部
１０１５ 制御部
１０２０Ａ，Ｂ 記録部
１０２５Ａ，Ｂ 記憶（記録）媒体
１０３０ インターフェース部
【発明の属する技術分野】
本発明は、画像の符号化データがファイルとして記憶媒体に記録される各種の画像処理装置に関する。
【０００２】
【従来の技術】
画像はデータ量が大きくなるため、記憶（記録）媒体への記録に先立って圧縮符号化されるのが一般的である。このような圧縮符号化に関する従来技術は多い。
【０００３】
例えば特開平５−６４００１号公報には、圧縮画像データのサイズが格納可能なメモリサイズを超えると判断した場合に、圧縮画像データを伸長し、再生した画像データをより高い圧縮率で再圧縮する如き構成の画像処理装置が記載されている。また、画像を圧縮単位に分割し、各圧縮単位毎に画像データを圧縮しながら圧縮画像データのサイズを所定サイズと比較し、その比較結果に応じて圧縮率を増減させながら順に圧縮単位毎の圧縮を繰り返す如き構成の画像処理装置も記載されている。これと類似の画像処理装置は特開平６−２２１５２号公報にも記載されている。
【０００４】
【発明が解決しようとする課題】
一般に、記憶媒体の記憶領域はある単位で管理され、圧縮された画像のファイルを記録する場合には、その記憶領域管理単位の整数倍の記憶領域が割り当てられる。
【０００５】
しかし、上に述べたように圧縮率の制御に関しては従来より様々な検討がなされているものの、記憶媒体の記憶領域管理単位を考慮した従来技術は見あたらない。したがって、例えば、記憶媒体の記憶領域管理単位が５１２バイトで、圧縮画像のファイルサイズが５５０バイトのときには、記憶領域管理単位の２倍の１０２４バイトの記憶領域が割り当てられるが、４７４バイトの記憶領域は浪費されることとなり、記憶媒体の利用効率の面で好ましくない。デジタルカメラに使用される各種メモリカードのように、記憶容量の制約が大きい記憶媒体では、そのような記憶領域の浪費は特に好ましくない。
【０００６】
よって、本発明の目的は、画像の符号化データが記憶媒体にファイルとして記録される画像処理装置において、記憶媒体の浪費を極力減らすことにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するため、本発明の画像処理装置は、請求項１に記載のように、画像の符号化データがファイルとして装置内部又は装置外部の記憶媒体に記録される画像処理装置において、記憶媒体に記録される符号化データのファイルサイズが、記憶媒体の記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近いサイズとなるように、記憶媒体の記憶領域管理単位に基づいて符号化データのサイズを符号削除によって調整するための手段を有することを特徴とする。
【０００８】
本発明の画像処理装置のもう１つの特徴は、請求項２に記載のように、請求項１記載の構成において、符号化データのサイズ調整の際に符号化データのヘッダ情報が書き換えられることである。
【０００９】
本発明の画像処理装置のもう１つの特徴は、請求項３に記載のように、請求項１又は２に記載の構成において、符号化データのサイズ調整のための符号削除の方法が選択可能であることにある。
【００１０】
本発明の画像処理装置のもう１つの特徴は、請求項４に記載のように、請求項１又は２に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に個々のレイヤが再構成されることにある。
【００１１】
本発明の画像処理装置のもう１つの特徴は、請求項５に記載のように、請求項１又は２に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に符号化データの特定のレイヤより下位のレイヤのサイズがほぼ記憶領域管理単位の整数倍値に調整されることにある。
【００１２】
本発明の画像処理装置のもう１つの特徴は、請求項６に記載のように、請求項１又は２に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際にプログレッション順序の変更及び再レイヤ分割が行われることにある。
【００１３】
本発明の画像処理装置のもう１つの特徴は、請求項７に記載のように、請求項１又は２に記載の構成において、符号化データのサイズ調整の際に、符号化データは２以上の符号化コードに分割されることにある。
【００１４】
本発明の画像処理装置のもう１つの特徴は、請求項８に記載のように、請求項１乃至７のいずれか１項に記載の構成において、符号化データのサイズ調整の際に任意の記憶領域管理単位を指定可能であることにある。
【００１５】
また、前記目的を達成するため、本発明の画像処理方法は、請求項９に記載のように、画像の符号化データをファイルとして記憶媒体に記録する際に、符号化データのファイルサイズが、記憶媒体の記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近いサイズとなるように、記憶媒体の記憶領域管理単位に基づいて符号化データのサイズを符号削除により調整することを特徴とする。
【００１６】
本発明の画像処理方法のもう１つの特徴は、請求項１０に記載のように、請求項９に記載の構成において、符号化データのサイズ調整の際に符号化データのヘッダ情報が書き換えられることにある。
【００１７】
本発明の画像処理方法のもう１つの特徴は、請求項１１に記載のように、請求項９又は１０に記載の構成において、符号化データのサイズ調整のための符号削除の方法が選択可能であることにある。
【００１８】
本発明の画像処理方法のもう１つの特徴は、請求項１２に記載のように、請求項９又は１０に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に個々のレイヤが再構成されることにある。
【００１９】
本発明の画像処理方法のもう１つの特徴は、請求項１３に記載のように、請求項９又は１０に記載の構成において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に符号化データの特定のレイヤより下位のレイヤのサイズがほぼ記憶領域管理単位の整数倍値に調整されることにある。
【００２０】
本発明の画像処理方法のもう１つの特徴は、請求項１４に記載のように、請求項９又は １０に記載の構成において、符号化データのサイズ調整と同時にプログレッション順序の変更及び再レイヤ分割が行われることにある。
【００２１】
本発明の画像処理方法のもう１つの特徴は、請求項１５に記載のように、請求項９又は１０に記載の構成において、符号化データのサイズ調整の際に、符号化データは２以上の符号化コードに分割されることにある。
【００２２】
本発明の画像処理方法のもう１つの特徴は、請求項１６に記載のように、請求項９乃至１５のいずれか１項に記載の構成において、符号化コードのサイズ調整の際に任意の記憶領域管理単位を指定可能であることにある。
【００２３】
【発明の実施の形態】
以下に説明する本発明の実施の形態において処理される符号化データは、ＪＰＥＧＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）の静止画像の符号化データと、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）の動画像の符号化データである。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、連続した複数の静止画像のそれぞれをフレームとして動画像を扱い、各フレームの符号化データはＪＰＥＧ２０００に準拠しており、ファイルフォーマットがＪＰＥＧ２０００と一部異なるのみである。
【００２４】
ＪＰＥＧ２０００のアルゴリズムについては、例えば、書籍「次世代画像符号化方式ＪＰＥＧ２０００」（野水泰之著、株式会社トリケップス）などに詳しいが、以下の実施の形態の説明に必要な範囲でＪＰＥＧ２０００のアルゴリズムについて説明する。
【００２５】
図１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。圧縮処理の対象となる画像データ（動画を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００２６】
タイル画像は、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換が施される（ステップＳ１）。この色空間変換が省かれる場合もある。
【００２７】
色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ２）。
【００２８】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。
【００２９】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ３）。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００３０】
量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３１】
最後の２つのステップＳ５，Ｓ６は符号形成プロセスである。まず、ステップＳ５において、ステップＳ４で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ６において、ステップＳ５で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プリシンクト(position)、レイヤ、コンポーネント（色成分)の組み合わせによる５種類のプログレッション順序が定義されている。
【００３２】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカで始まり、タイルヘッダ(Tile Header)、ＳＯＤマーカ、タイルデータ（Tile Data;符号）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカが置かれる。
【００３３】
このようなＪＰＥＧ２０００のアルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。
【００３４】
その１つは、符号化データの符号の削除（トランケーション）によるポスト量子化によって、再圧縮を行うことなく全体の符号量を調整できることである。この符号削除は、タイルやプリシンクトなどの領域、コンポーネント、デコンポジションレベル（もしくは解像度レベル）、ビットプレーン、サブビットプレーン、パケット、マルチレイヤ構成の場合にはレイヤなど、多様な単位で行うことができる。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。もう１つは、符号化データのレイヤの再構成を符号状態のままで行うことができることである。もう１つは、あるプログレッション順序の符号化コードを、符号状態のままで別のプログレッション順序の符号化データに再構成することが可能であることである。もう１つは、マルチレイヤの符号化データを、符号状態のまま、レイヤ単位で２以上の符号化コードに分割可能であることである。
【００３５】
ここで、プリシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００３６】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図４にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００３７】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号データを形成する。図３の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００３８】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプリシンクトのパケットをレイヤに含めなくともよい）。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３９】
デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの例を図５に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜１６のパケットの符号からなるレイヤ０、パケット番号１７〜３３のパケットの符号からなるレイヤ１、パケット番号３４〜５０のパケットの符号からなるレイヤ２、パケット番号５１〜６７のパケットの符号からなるレイヤ３、パケット番号６８〜８４のパケットの符号からなるレイヤ４、パケット番号８５〜１０１のパケットの符号からなるレイヤ５、パケット番号１０２〜１１８のパケットの符号からなるレイヤ６、パケット番号１１９〜１３５のパケットの符号からなるレイヤ７、パケット番号１３６〜１４８のパケットの符号からなるレイヤ８、及び、残りのパケット番号１４９〜１６１のパケットの符号からなるレイヤ９の９レイヤに分割されている。なお、パケットとプリシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００４０】
以下、本発明の実施の形態について説明する。図６は、本発明の実施の形態を説明するためのブロック図である。
【００４１】
図６において、符号化データ入力部１０００は静止画像又は動画像の符号化データを入力する手段である。ここに示す例では、符号化データ入力部１０００は動画像又は静止画像の画像データを入力する画像データ入力部１００１と、その画像データを圧縮符号化し、ＪＰＥＧ２０００に準拠した静止画像の符号化データ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００に準拠した動画像の符号化データを生成する画像圧縮部１００２からなる。画像データ入力部１００１は、例えば、デジタルカメラ等の撮像部と同様な撮像手段であったり、あるいは、他の機器から有線又は無線の伝送路もしくはネットワークを通じて画像データを取り込む手段である。すなわち、符号化データ入力部１０００に画像圧縮部１００２を含み、単に他の機器から有線又は無線の伝送路もしくはネットワークを介して取り込んだ画像データを画像圧縮部１００２で圧縮符号化することにより、符号化データを入力する実施の形態も本発明に含まれる。
【００４２】
なお、符号化データ入力部１０００が、画像圧縮部１００２を含まず、単に、他の機器から、有線又は無線の伝送路もしくはネットワークを通じて、符号化データを取り込む手段であってもよく、かかる実施の形態も本発明に含まれる。
【００４３】
記録部１０２０Ａは、メモリカードやディスク媒体等の記憶（記録）媒体１０２５Ａに符号化データを画像ファイルとして書き込み、また、その画像ファイルを読み出す手段である。記録部１０２０Ｂは、記憶媒体１０２５Ａと同種又は別種のメモリカードやディスク媒体などの記憶（記録）媒体１０２５Ｂに符号化データを画像ファイルとして書き込み、また、その画像ファイルを読み出す手段である。
【００４４】
出力インターフェース１０３０は、有線又は無線の伝送路もしくはネットワークを通じて、外部の記憶装置やパソコン等の外部機器に対し画像の符号化データを出力し、また、外部機器より符号化データを取り込むための手段である。
【００４５】
なお、記録部を１つ又は３つ以上備える実施の形態も本発明に含まれる。また、画像処理装置自体では記録部を備えず、外部の記憶装置やコンピュータ等に符号化データを記録する実施の形態も本発明に含まれる。
【００４６】
符号化データ加工部１００５は、画像の符号化データに対し、符号状態のまま加工もしくは編集の処理を行う手段である。なお、画像処理装置に符号データ入力部１０００を備えず、記憶媒体（１０２５Ａ，１０２５Ｂ）に記録済みの符号化データのみ符号化データ加工部１００５の処理対象とする実施の形態も可能であり、これも本発明に含まれる。
【００４７】
ユーザ入力部１０１０は、ユーザが各種指令などを制御部１０１５に入力するための手段である。このユーザ入力部１０１０は、必ずしもユーザによって直接操作される手段に限定されるものではなく、例えば、外部のパソコン等の機器におけるユーザ操作に応じた指令等を、有線又は無線の伝送路もしくはネットワークを通じて取り込むものであってもよく、そのような実施の形態も本発明に含まれる。
【００４８】
画像伸長部１０１２は、符号化データを復号して画像データに伸長する手段である。表示部１０１３は、画像及びその他の情報を表示するための手段であり、画像ファイルの指定などの際に利用される。
【００４９】
制御部１０１５は、この画像処理装置全体の制御のほか、符号化データ加工部１００５による符号化データの加工処理の制御、画像圧縮部１００２における処理の制御などを行う手段である。
【００５０】
以上に述べた構成の画像処理装置は、複数の異なった動作モードを有し、ユーザ入力部１０１０より動作モードを選択することができる。以下、各動作モードにおける画像処理装置の動作について説明する。
【００５１】
《動作モード１》この動作モードは、画像データを圧縮符号化し、その符号化データを画像ファィルとして記憶媒体（１０２５Ａ，１０２５Ｂ又は外部の記憶装置）に記録するモードであり、その概略フローを図７に示す。
【００５２】
ステップＳ２００１：画像データ入力部１００１で、撮像された画像データ又は外部より取り込まれた画像データが入力される。
【００５３】
ステップＳ２００２：画像圧縮部１００２において、その画像データに対しＪＰＥＧ２０００のアルゴリズムによってロスレス又はロッシー圧縮符号化が行われ、その符号化データは符号化データ加工部１００５へ入力される。なお、ロスレス圧縮符号化とロッシー圧縮符号化のいずれが実行されるかは、ユーザ入力部１０１０より予め指定される。また、ロッシー圧縮符号化の圧縮率は、例えば、予めユーザ入力部１０１０より指示された高画質、中画質又は低画質などの画質モードに応じて制御部１０１５により制御される。
【００５４】
ステップＳ２００３：制御部１０１５により、符号化データ加工部１００５に対し、符号化データが記録される記憶媒体の記憶領域管理単位が設定される。記憶媒体１０２５Ａ，１０２５Ｂのいずれかに符号化データが記録される場合には、その記憶領域管理単位が設定される。外部の記憶装置に符号化データが記録される場合には、その記憶装置の記憶領域管理単位が設定される。符号化データが記録される記録媒体は、ユーザ入力部１０１０より指定可能である。指定がない場合には、デフォルト設定の記憶媒体が選択される。
【００５５】
なお、符号化データが記録される記憶媒体の記憶領域管理単位と無関係に、任意の記憶領域管理単位をユーザ入力部１０１０より指定することも可能であり、その指定がある場合には指定された記憶領域管理単位が符号化データ加工部１００５に設定される。このように記憶領域管理単位を任意に指定可能とする目的は、将来、符号化データを別の記憶媒体に転送又はコピーする予定がある場合には、予めその記憶媒体の記憶領域管理単位を考慮しておくほうが合理的なこともあるからである。
【００５６】
ステップＳ２００４：符号化データ加工部１００５において、入力された符号化データのサイズと、それに付加されるＪＰＥＧ２０００のファィルヘッダのサイズを合計して現在のファイルサイズが算出される。次に、現在のファイルサイズを超えない、記憶領域管理単位の最大の整数倍値が求められる。そして、ファイルサイズが、その整数倍値を超えず、かつ、その整数倍値にできるだけ近い値になるように、符号化データの符号削除（ポスト量子化）が行われることにより、符号化データのサイズが最適化される。すなわち、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。このサイズ調整の際、符号化データのヘッダ情報等の書き換えも必要に応じて行われる。
【００５７】
なお、画像圧縮部１００２で圧縮符号化を行って符号化データを入力する場合には、画像圧縮部１００２において符号形成プロセスで一部符号を廃棄することにより符号化データのサイズ調整を行わせることも可能である。つまり、符号化データのサイズを調整するための手段として、画像圧縮部１００２を利用する実施の形態も本発明に含まれる。
【００５８】
ステップＳ２００５：符号化データ加工部１００５によりサイズが最適化された符号化データは、画像ファイルとして、記録部１０２０Ａにより記憶媒体１０２５Ａに記録され、又は、記録部１０２０Ｂにより記憶媒体１０２５Ｂに記録される。記録先として外部の記憶装置が指定された場合には、符号化データはインターフェース部１０３０を介し転送され、その記憶装置に画像ファイルとして記録される。上に述べたような符号化データのサイズ調整が行われているため、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域が有効に利用されることになる。
【００５９】
なお、符号化データ入力部１０００が外部より符号化データを直接取り込む構成である場合には、ステップＳ２００１，Ｓ２００２は符号化データを取り込むステップに置き換えられる。動画像を処理する場合には、各フレームの静止画像の符号化データについて、同様の符号削除による符号化データサイズの最適化が行われる。
【００６０】
《動作モード２》この動作モードも、画像データを圧縮符号化し、そのマルチレイヤ構成の符号化データを画像ファィルとして記憶媒体（１０２５Ａ，１０２５Ｂ又は外部の記憶装置）に記録するモードであり、その概略フローを図８に示す。
【００６１】
ステップＳ２０１１：画像データ入力部１００１で、撮像された画像データ又は外部より取り込まれた画像データが入力される。
【００６２】
ステップＳ２０１２：制御部１０１５によって、画像圧縮部１００２は、符号化データが記録される記憶媒体の記憶領域管理単位を設定されるとともに、その記憶領域管理単位を考慮したレイヤ分割処理を行うように制御される。符号化データが記録される記憶媒体は、ユーザ入力部１０１０より指定可能である。指定がない場合にはデフォルト設定の記憶媒体が選択される。
【００６３】
なお、符号化データが記録される記憶媒体の記憶領域管理単位と無関係に、任意の記憶領域管理単位をユーザ入力部１０１０より指定することも可能である。その目的は動作モード１に関連して述べた通りである。
【００６４】
ステップＳ２０１３：画像圧縮部１００２において、入力された画像データに対しＪＰＥＧ２０００のアルゴリズムによってロスレス又はロッシーの圧縮符号化が行われるが、その符号形成プロセスで記憶領域管理単位を考慮したレイヤ分割が行われる。すなわち、図９に模式的に示すように、符号化データのレイヤｉ（ｉ≧０，ｉはユーザ入力部１０１０より指定することができ、指定されない場合にはデフォルト値が用いられる）までのサイズｂにファイルヘッダのサイズａを加算したサイズＬｉが、記憶領域管理単位のある整数倍値を超えることなく、かつ、その整数倍値にできるだけ近くなるようにレイヤ０〜ｉを構成する。具体的には例えば、図５に示したレイヤ構成例に見られるように、注目したレイヤｉにパケットを順に組み込んでいき、丁度良いサイズになった段階で同レイヤを終わりにする、というような手順を踏む。次に、符号化データのレイヤｉ+１までのサイズにファイルヘッダのサイズを加算したサイズＬi+1が記憶領域管理単位のある整数倍値を超えることなく、かつ、その整数倍値にできるだけ近くなるようにレイヤｉ＋１を構成する。以下同様の手順により、レイヤｉ以下の各レイヤ境界までの符号化データサイズにファイルヘッダのサイズを加えたサイズが、記憶領域管理単位のある整数倍値を超えることなく、かつ、その整数倍値にできるだけ近くなるようなレイヤ分割が行われる。結果として、レイヤｉ＋１以降の各レイヤのサイズはほぼ記憶領域管理単位の整数倍のサイズとなる。最下位のレイヤＮについては、次の２つの方法のいずれかをユーザ入力部１０１０より指定することができ、指定されない場合は、いずれかのデフォルト設定の方法が選択される。
【００６５】
（１）残りの全ての符号で最下位レイヤを構成する方法。この方法が選ばれた場合、符号化データのサイズにファイルヘッダのサイズを加えたサイズＬｎつまり画像ファイルサイズは、必ずしも記憶領域管理単位のある整数倍値以下の近い値にならないことがある。しかし、後にポスト量子化によって最下位レイヤの符号を削除すれば、そのようなファイルサイズになる。
【００６６】
（２）サイズＬｎが、記憶領域管理単位のある整数倍値を超えず、その整数倍値との差ができるだけ小さくなるように最下位のレイヤを構成し、残った符号を捨ててる方法。この場合は、最下位レイヤのサイズもほぼ記憶領域管理単位の整数倍のサイズとなる。
【００６７】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として、画像圧縮部１００２が利用される。
【００６８】
なお、ロスレス圧縮符号化とロッシー圧縮符号化のいずれを実行するかは、ユーザ入力部１０１０より指定することができ、指定されない場合にはデフォルトとしての圧縮符号化が実行される。また、ロッシー圧縮符号化の圧縮率は、例えば、予めユーザ入力部１０１０より指示された高画質、中画質又は低画質などの画質モードに応じて制御部１０１５により制御される。
【００６９】
ステップＳ２０１４：画像圧縮部１００２によってサイズが調整された符号化データは、記録部１０２０Ａ又は１０２０Ｂにより記憶媒体１０２５Ａ又は１０２５Ｂに画像ファイルとして記録され、あるいは、インターフェース部１０３０を介し外部記憶装置へ転送され、その記憶媒体に画像ファイルとして記録される。符号化データの最下位レイヤについて前記（２）の方法が適用された場合には、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域が有効に利用されることになり、記憶媒体の利用効率が極めて高い。なお、最下位レイヤについて前記（１）の方法が適用された場合にも、後に、最下位レイヤの符号を削除するならば、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域が有効に利用される。また、後にレイヤｉより下位のレイヤの符号を削除しても、記憶領域の無駄は回避される。
【００７０】
なお、動画像の場合は、各フレームの静止画像について同様の処理が実行される。
【００７１】
《動作モード３》この動作モードは、動作モード１、本動作モード又は後記動作モード５により、ある記憶媒体に画像ファイルとして記録されている符号化データを、別の記憶媒体に適したサイズに調整してその記憶媒体に記録するモードであり、その処理フローを図１０に示す。この場合は、ユーザ入力部１０１０より、対象となる画像ファイルとその符号化データの保存先となる記憶媒体が予め指定される。
【００７２】
ステップＳ２０２１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【００７３】
ステップＳ２０２２：制御部１０１５によって、保存先の記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）に対応した記憶領域管理単位が符号化データ加工部１００５に設定される。なお、ユーザ入力部１０１０より任意の記憶領域管理単位を指定することも可能であり、その場合には、指定された記憶領域管理単位が設定される。このような指定を許す目的は動作モード１に関連して説明した通りである。
【００７４】
ステップＳ２０２３：符号化データ加工部１００５において、現在の画像ファイルサイズを超えない、記憶領域管理単位の最大の整数倍値が求められる。そして、画像ファイルサイズが、その整数倍値を超えることなく、かつ、その整数倍値にできるだけ近い値になるように、符号化データの符号削除が行われることにより、符号化データのサイズが最適化される。この際、符号化データのヘッダ情報等の書き換えも必要に応じて行われる。このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【００７５】
ステップＳ２０２４：サイズが最適化された符号化データは、画像ファイルとして、保存先の記憶媒体に記録される。上に述べたような符号化データのサイズ調整が行われているため、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域が有効に利用されることになり、記憶媒体の利用効率が極めて高い。
【００７６】
動画像を処理する場合には、各フレームの静止画像の符号化データについて、同様の符号削除による符号化データサイズの最適化が行われる。
【００７７】
《動作モード４》この動作モードは、動作モード２、後記動作モード６又は本動作モードなどにより、ある記憶媒体に画像ファイルとして記録されているマルチレイヤ構成の符号化データを、別の記憶媒体に適したレイヤ構成の符号化データに変換してから、その記憶媒体に記録するモードであり、その処理フローを図１１に示す。この場合、ユーザ入力部１０１０より、対象となる画像ファイルとその符号化データの保存先となる記憶媒体が予め指定される。
【００７８】
ステップＳ２０３１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【００７９】
ステップＳ２０３２：制御部１０１５によって、保存先の記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）の記憶領域管理単位が符号化データ加工部１００５に設定される。ユーザ入力部１０１０より任意の記憶領域管理単位を指定することも可能であり、その場合には指定された記憶領域管理単位が設定される。このような指定を許す目的は動作モード１に関連して述べた通りである。
【００８０】
ステップＳ２０３３：符号化データ加工部１００５において、読み込まれた画像ファイルの符号化データに対し、設定された記憶領域管理単位に適するようにサイズ調整が行われるが、この際にレイヤの再構成が行われる。このレイヤの再構成の手順は図８のステップＳ２０１３に関連して説明した手順と同様である。最終レイヤに関する処理方法についてもステップＳ２０１３と同様である。符号化データのヘッダ情報などの書き換えも必要に応じて行われる。このように、本動作モードにおいては、符号化データのレイヤ再構成を含むサイズ調整のための手段として符号化データ加工部１００５が利用される。
【００８１】
ステップＳ２０３４：サイズが最適化された符号化データは、画像ファイルとして、保存先の記憶媒体に記録される。上に述べたようにレイヤ再構成を含む符号化データのサイズ調整がなされているため、画像ファイルに無駄なく記憶領域を割り当てることができる。また、この画像ファイルの符号化データの下位のレイヤの符号が後に削除されたとしても記憶領域の無駄が極めて少ない。
【００８２】
なお、動画像の場合には、各フレームの静止画像の符号化データについて、同様の処理が行われる。
【００８３】
《動作モード５》この動作モードは、動作モード１又は３あるいは本動作モードにより記録媒体に画像ファイルとして記録された符号化データをさらに圧縮するモードであり、その処理フローを図１２に示す。この動作モードは、記録媒体の残容量が不足するような場合や、画像ファイルの利用のために圧縮が必要な場合に利用される。
【００８４】
ステップＳ２０４１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【００８５】
ステップＳ２０４２：制御部１０１５によって、その記憶媒体に対応した記憶領域管理単位が符号化データ加工部１００５に設定される。
【００８６】
ステップＳ２０４３：読み出された画像ファイルの符号化データが画像伸長部１０１２により復号されて画像データに伸長され、この画像データが表示部１０１３に表示される。
【００８７】
ステップＳ２０４４：ユーザ入力部１０１０より削除指示が入力される。この際に、符号削除の方法が指定される。指定されない場合は制御部１０１５により符号削除方法が自動的に決定される。前述のようにＪＰＥＧ２０００の符号化データは様々な単位で符号の削除を行うことができるが、どのような単位で符号削除を行うかを指定することが、ここで言う符号削除方法の指定である。
【００８８】
ステップＳ２０４５：符号化データ加工部１００５において、指定された符号削除方法又は制御部１０１５により決定された符号化削除方法に従って、符号化データの符号削除が行われるが、削除される符号量は記憶領域管理単位の整数倍に選ばれる。したがって、符号削除後の符号化データの画像ファイルサイズは、記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近い値となる。この符号削除後の符号化データを画像伸長部１０１２により伸長した画像データが表示部１０１３に表示される（ステップＳ２０４３）。
【００８９】
ユーザ入力部１０１０より終了指示が入力されるまで、ステップＳ２０４３〜Ｓ２０４５が繰り返される。ユーザ入力部１０１０より終了指示が入力されると（ステップＳ２０４６，Ｙｅｓ）、ステップＳ２０４７に進む。
【００９０】
ステップＳ２０４７：以上の処理によりサイズが削減された符号化データは、画像ファイルとして元の記憶媒体に記録される。上に述べたように符号化データの符号削除後の画像ファイルサイズは、記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近い値となるため、記憶領域の無駄が少なく記憶媒体の利用効率が極めて高い。
【００９１】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【００９２】
なお、動画像の場合には、各フレームの静止画像の符号化データについて、同様の処理が行われる。
【００９３】
ここまでの説明から明らかなように、画像ファイルの目標サイズを指定し、目標サイズを超えない記憶領域管理単位の最大の整数倍値を求め、その整数倍値を超えず、かつ、その整数倍値にできるだけ近いファイルサイズとなるように符号削除を自動的に行わせる態様も可能であり、これも本発明に含まれる。この場合に、符号削除単位の優先順位を予め指定し、優先順位の高い単位で符号削除を行い、それでも目標サイズまで圧縮できないときに次順位の単位で符号削除を行う、というような手順を採用することも可能であり、このような態様も本発明に含まれる。
【００９４】
《動作モード６》この動作モードは、動作モード２，４又は本動作モードあるいき後記動作モード７により、記録媒体に画像ファイルとして記録されたマルチレイヤ構成の符号化データをさらに圧縮するモードであり、その処理フローを図１３に示す。この動作モードは、記録媒体の残容量が不足するような場合や、画像ファイルの利用のために圧縮が必要な場合に利用される。
【００９５】
ステップＳ２０５１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【００９６】
ステップＳ２０５２：読み出された画像ファイルの符号化データが画像伸長部１０１２により復号されて画像データに伸長され、この画像データが表示部１０１３に表示される。
【００９７】
ステップＳ２０５３：ユーザ入力部１０１０より削除指示が入力される。
【００９８】
ステップＳ２０５４：符号化データ加工部１００５において、符号化データの最も下位の１レイヤの符号が削除される。前記レイヤｉより下位のレイヤの符号を削除する限りは、符号削除後の符号化データのファイルサイズは、記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近い値となることは明らかである。符号化データのヘッダ情報なども必要に応じて書き換えられる。この符号削除後の符号化データは画像伸長部１０１２により伸長され、伸長された画像データが表示部１０１３に表示される（ステップＳ２０５２）。
【００９９】
ユーザ入力部１０１０より終了指示が入力されるまで、ステップＳ２０５２〜Ｓ２０５４が繰り返される。ユーザ入力部１０１０より終了指示が入力されると（ステップＳ２０５５，Ｙｅｓ）、ステップＳ２０５６に進む。
【０１００】
ステップＳ２０５６：以上の処理によりサイズが削減された符号化データは、画像ファイルとして元の記憶媒体に記録される。上に述べたように、ファイルサイズは、記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近い値となるため、記憶領域の無駄が少なく、記憶媒体の利用効率は極めて高い。
【０１０１】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【０１０２】
なお、動画像の場合には、各フレームの静止画像の符号化データについて、同様の処理が行われる。
【０１０３】
《動作モード７》この動作モードは、動作モード２，４又は６あるいは本動作モードなどにより、画像ファイルとして記憶媒体に記録されたマルチレイヤ構成の符号化データのプログレッション順序を変更するとともに、レイヤ分割をやり直すモードであり、その処理フローを図１４に示す。
【０１０４】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト(Position)である。
【０１０５】
ＬＲＣＰプログレッション順序の場合、パケットの配置（符号化時）又はパケットの解釈（復号化時）の順序は、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなforループで表すことができる。
for(レイヤ)｛
for(解像度レベル)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
【０１０６】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図１５のような順に配置され、また解釈される。
【０１０７】
また、ＲＬＣＰプログレッション順序の場合には、
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号化時
｝
｝
｝
｝
という順で、パケットの配置（符号化時）又はパケットの解釈（復号化時）がなされる。他のプログレッション順序の場合も同様のネストされたforループにより、パケットの配置順又は解釈順が決まる。
【０１０８】
ここまでの説明から明らかなように、符号化データのプログレッション順序を変更した場合には、各レイヤに含まれるパケットの内容も変わるため、レイヤ分割をやり直す必要がある。本モードは、符号化データのプログレッション順序の変更と記憶領域管理単位を考慮した再レイヤ分割を行うモードである。以下、図１４に沿って説明する。
【０１０９】
ステップＳ２０６１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）から読み込まれる。
【０１１０】
ステップＳ２０６２：制御部１０１５によって、ユーザ入力部１０１０より指定されたプログレッション順序と、保存先の記憶媒体（１０２５Ａ、１０２５Ｂ又は外部の記憶装置）に対応した記憶領域管理単位が符号化データ加工部１００５に設定される。ユーザ入力部１０１０より任意の記憶領域管理単位を指定することも可能であり、その場合には、指定された記憶領域管理単位が設定される。このような指定を許す目的は動作モード１に関連して説明した通りである。
【０１１１】
ステップＳ２０６３：符号化データ加工部１００５において、読み込まれた画像ファイルの符号化データから、指定されたプログレッション順序の新しい符号化データが作成されるが、この際に改めてレイヤ分割（符号化データのサイズ調整を含む）が行われる。このレイヤ分割においては、図８のステップＳ２０１３に関連して説明した手順と同様に、指定された又はデフォルトのレイヤｉ（ｉ≧０）以降の各レイヤ境界までの合計サイズにファイルヘッダサイズを加えたサイズが、設定された記憶領域単位の整数倍値を超えず、かつ、その整数倍値との差ができるだけ小さくなるように、レイヤのサイズが調整される。最下位レイヤに関する処理方法についてもステップＳ２０１３と同様である。なお、符号化データのヘッダ情報などの必要な書き換えも行われる。
【０１１２】
ステップＳ２０６４：このようにして作成された新しい符号化データは、画像ファイルとして、保存先の記憶媒体に記録される。上に述べたように符号化データのサイズ調整が行われているため、記憶領域の無駄が極めてすくない。また、その後にレイヤ単位の符号削除が行われても、記憶領域の無駄は極めて少ない。なお、最下位レイヤについて前記（１）の方法が適用された場合においても、後に最下位レイヤの符号が削除されると、記憶領域の無駄は極めて少なくなる。
【０１１３】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【０１１４】
なお、動画像の場合には、各フレームの静止画像の符号化データについて、同様の処理が行われる。
【０１１５】
《動作モード８》この動作モードは、動作モード２，４，６又は７などにより記憶媒体に画像ファイルとして記録されているマルチレイヤ構成の符号化データをレイヤ単位で２つの符号化データに分割し、それぞれを異なった記憶媒体に記録するモードである。例えば、マルチレイヤ構成の符号化データで、その上位の１レイヤ又は数レイヤの符号を画像サーチなどの目的に利用するために高速の記憶媒体に記録し、残りの下位レイヤの符号を別の符号化データとして低速大容量の記憶媒体に記録するような場合に、本動作モードを利用できる。本動作モードの処理フローを図１６に示す。
【０１１６】
ステップＳ２０７１：ユーザ入力部１０１０より指定された画像ファイルが記憶媒体から読み込まれる。
【０１１７】
ステップＳ２０７２：上位レイヤの符号及び下位レイヤの符号の保存先となる各記憶媒体の記憶領域管理単位が、制御部１０１５により符号化データ加工部１００５に設定される。これらの記憶媒体はデフォルト指定とすることも、ユーザ入力部１０１０より指定することもできる。
【０１１８】
ステップＳ２０７３：符号化データ加工部１００５において、その画像データの符号化データの一定数の上位レイヤについて、動作モード２の場合と同様の手順により、上位レイヤ保存先の記憶領域管理単位を考慮したレイヤ再構成が行われる。そして、残りの符号が削除されることにより、第１の符号化データが作成される。ただし、その記憶領域管理単位が元の符号化データに適用された記憶領域管理単位と同一ならば、上位レイヤの再構成は不要である。
【０１１９】
ステップＳ２０７４：作成された第１の符号化データが、その保存先の記憶媒体に画像ファイルとして記録される。このファイルサイズは、記憶領域管理単位の整数倍値を超えず、かつ、それに近いため記憶領域の無駄は極めて少ない。
【０１２０】
ステップＳ２０７５：符号化データ加工部１００５において、ステップＳ２０７３で削除された下位レイヤの符号のみからなる第２の符号化データが作成される。この符号化データに関しても、動作モード２の場合と同様の手順により、下位レイヤ保存先の記憶領域管理単位を考慮したレイヤ再構成が行われる。最終レイヤの処理はステップＳ２０１３と同様である。その記憶領域管理領域が元の符号化データに適用された記憶領域管理単位と同じならば、下位レイヤの再構成は不要である。
【０１２１】
ステップＳ２０７６：作成された第２の符号化データが、その保存先記憶媒体に画像ファイルとして記録される。このファイルサイズは、記憶領域管理単位の整数倍値を超えず、かつ、それに近いため記憶領域の無駄は極めて少ない。
【０１２２】
このように、本動作モードにおいては、符号化データのサイズを調整する手段として符号化データ加工部１００５が利用される。
【０１２３】
上に述べたように、画像をサーチする場合には、高速の記憶媒体に記録した上位レイヤの符号化データを復号化して画像を再生し、見つけた画像の上位レイヤの符号と下位レイヤの符号を合成してから復号化することにより高精細な画像を再生する、というような目的に本動作モードは有用である。
【０１２４】
なお、１つの符号化データをレイヤを単位として３つ以上の符号化データに同様に分割する態様も可能であり、これも本発明に含まれる。
【０１２５】
以上に説明した本発明による画像処理装置の機能、換言すれば各動作モードにおける処理手順を、パソコンなどの汎用のコンピュータや専用コンピュータ、その他の機器に組み込まれたマイクロコンピュータにおいて、ソフトウェアによって実現することも可能である。そのためのプログラム、及び、それが記録された各種の記憶（記録）媒体も本発明に含まれる。また、ＪＰＥＧ２０００又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データに本発明を好適に適用できるが、符号状態での同様のサイズ調整処理あるいは符号形成プロセスでの同様のサイズ調整処理が可能なフォーマットの符号化データならば、本発明を適用し得ることは明らかである。
【０１２６】
【発明の効果】
以上に説明したように、本発明によれば、
（１）記憶領域管理単位を考慮した符号化データのサイズ調整により、画像ファイルに割り当てられる記憶領域の全域又はほぼ全域を有効に利用することができるため、記憶媒体の利用効率が向上する。
（２）マルチレイヤ構成の符号化データの特定レイヤより下位のレイヤのサイズが記憶領域管理単位のほぼ整数倍とされることにより、後にレイヤ単位の符号削除を行っても記憶媒体を効率良く利用できる。
（３）符号化データのサイズ調整の際にレイヤの再構成を行うことにより、ある記憶媒体に記録済みのマルチレイヤ構成の符号化データを、記憶管理領域単位が異なる別の記憶媒体に保存する場合に、ファイルサイズとともにレイヤ構成を最適化できる。
（４）符号化データのサイズ調整と同時にプログレッション順序の変更が可能である。
（５）符号化データのサイズ調整の際に符号化データをレイヤ単位で２以上の符号化データに分割することにより、例えば上位レイヤからなる符号化データだけを高速の記憶媒体に記録し、画像のサーチに利用するようなことが容易である。
（６）符号化データの利用目的などに応じて、符号化データのサイズ調整のための符号削除方法を選ぶことができる。
（７）符号化データのサイズ調整の際に、記憶領域管理単位を任意に指定可能とすることにより、将来、別の記憶媒体に転送又はコピーする予定のある符号化データについては、予めその記憶媒体の記憶領域管理単位に適したサイズ調整を行うことが可能である。
等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化したブロック図である。
【図２】 デコンポジションレベル数が３の二次元ウェーブレット変換を説明するための図である。
【図３】 ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図４】 プリシンクトとコードブロックを説明するための図である。
【図５】 パケットとレイヤ分割の例を示す図である。
【図６】 本発明の実施の形態を説明するためのブロック図である。
【図７】 動作モード１を説明するためのフローチャートである。
【図８】 動作モード２を説明するためのフローチャートである。
【図９】 マルチレイヤ構成の符号化データのサイズ調整を説明するための図である。
【図１０】 動作モード３を説明するためのフローチャートである。
【図１１】 動作モード４を説明するためのフローチャートである。
【図１２】 動作モード５を説明するためのフローチャートである。
【図１３】 動作モード６を説明するためのフローチャートである。
【図１４】 動作モード７を説明するためのフローチャートである。
【図１５】 ＬＲＣＰプログレッションの場合のパケットの配置順及び解釈順を示す図である。
【図１６】 動作モード８を説明するためのフローチャートである。
【符号の説明】
１０００ 符号化データ入力部
１００１ 画像データ入力部
１００２ 画像圧縮部
１００５ 符号化データ加工部
１０１０ ユーザ入力部
１０１２ 画像伸長部
１０１３ 表示部
１０１５ 制御部
１０２０Ａ，Ｂ 記録部
１０２５Ａ，Ｂ 記憶（記録）媒体
１０３０ インターフェース部
Claims (18)
- 画像の符号化データがファイルとして装置内部又は装置外部の記憶媒体に記録される画像処理装置において、記憶媒体に記録される符号化データのファイルサイズが、記憶媒体の記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近いサイズとなるように、記憶媒体の記憶領域管理単位に基づいて符号化データのサイズを符号削除によって調整するための手段を有することを特徴とする画像処理装置。
- 請求項１記載の画像処理装置において、符号化データのサイズ調整の際に符号化データのヘッダ情報が書き換えられることを特徴とする画像処理装置。
- 請求項１又２に記載の画像処理装置において、符号化データのサイズ調整のための符号削除の方法が選択可能であることを特徴とする画像処理装置。
- 請求項１又は２に記載の画像処理装置において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に個々のレイヤが再構成されることを特徴とする画像処理装置。
- 請求項１又は２に記載の画像処理装置において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に符号化データの特定のレイヤより下位のレイヤのサイズがほぼ記憶領域管理単位の整数倍値に調整されることを特徴とする画像処理装置。
- 請求項１又は２に記載の画像処理装置において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際にプログレッション順序の変更及び再レイヤ分割が行われることを特徴とする画像処理装置。
- 請求項１又は２に記載の画像処理装置において、符号化データのサイズ調整の際に、符号化データはレイヤ単位で２以上の符号化コードに分割されることを特徴とする画像処理装置。
- 請求項１乃至７のいずれか１項に記載の画像処理装置において、符号化データのサイズ調整の際に任意の記憶領域管理単位を指定可能であることを特徴とする画像処理装置。
- 画像の符号化データをファイルとして記憶媒体に記録する際に、符号化データのファイルサイズが、記憶媒体の記憶領域管理単位のある整数倍値を超えず、かつ、その整数倍値に近いサイズとなるように、記憶媒体の記憶領域管理単位に基づいて符号化データのサイズを符号削除により調整することを特徴とする画像処理方法。
- 請求項９記載の画像処理方法において、符号化データのサイズ調整の際に符号化データのヘッダ情報が書き換えられることを特徴とする画像処理方法。
- 請求項９又は１０に記載の画像処理方法において、符号化データのサイズ調整のための符号削除の方法が選択可能であることを特徴とする画像処理方法。
- 請求項９又は１０に記載の画像処理方法において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に個々のレイヤが再構成されることを特徴とする画像処理方法。
- 請求項９又は１０に記載の画像処理方法において、符号化データは複数のレイヤからなり、符号化データのサイズ調整の際に符号化データの特定のレイヤより下位のレイヤのサイズがほぼ記憶領域管理単位の整数倍値に調整されることを特徴とする画像処理方法。
- 請求項９又は１０に記載の画像処理方法において、符号化データのサイズ調整と同時にプログレッション順序の変更及び再レイヤ分割が行われることを特徴とする画像処理方法。
- 請求項９又は１０に記載の画像処理方法において、符号化データのサイズ調整の際に、符号化データはレイヤ単位で２以上の符号化コードに分割されることを特徴とする画像処理方法。
- 請求項９乃至１５のいずれか１項に記載の画像処理方法において、 符号化コードのサイズ調整の際に任意の記憶領域管理単位を指定可能であることを特徴とする画像処理方法。
- 請求項９乃至１６に記載の画像処理方法の処理をコンピュータに実行させるためのプログラム。
- 請求項１７記載のプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記憶媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002244530A JP4003945B2 (ja) | 2002-08-26 | 2002-08-26 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| US10/646,086 US7626733B2 (en) | 2002-08-26 | 2003-08-22 | Image-processing apparatus, an image-processing method, a program, and a memory medium |
| CNB031649718A CN1265617C (zh) | 2002-08-26 | 2003-08-26 | 图像处理装置、图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002244530A JP4003945B2 (ja) | 2002-08-26 | 2002-08-26 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004088277A JP2004088277A (ja) | 2004-03-18 |
| JP4003945B2 true JP4003945B2 (ja) | 2007-11-07 |
Family
ID=32052964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002244530A Expired - Fee Related JP4003945B2 (ja) | 2002-08-26 | 2002-08-26 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7626733B2 (ja) |
| JP (1) | JP4003945B2 (ja) |
| CN (1) | CN1265617C (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4443165B2 (ja) * | 2003-08-20 | 2010-03-31 | 株式会社リコー | 画像圧縮装置及び画像圧縮方法 |
| JP4160883B2 (ja) * | 2003-09-02 | 2008-10-08 | 富士フイルム株式会社 | 画像記録装置及び画像記録方法 |
| US9082456B2 (en) | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
| JP2006295886A (ja) | 2005-03-16 | 2006-10-26 | Ricoh Co Ltd | 画像処理システム、プログラムおよび記録媒体 |
| US8253821B2 (en) * | 2005-10-31 | 2012-08-28 | The Invention Science Fund I, Llc | Degradation/preservation management of captured data |
| US9621749B2 (en) | 2005-06-02 | 2017-04-11 | Invention Science Fund I, Llc | Capturing selected image objects |
| US9967424B2 (en) | 2005-06-02 | 2018-05-08 | Invention Science Fund I, Llc | Data storage usage protocol |
| US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
| US9076208B2 (en) | 2006-02-28 | 2015-07-07 | The Invention Science Fund I, Llc | Imagery processing |
| US9191611B2 (en) | 2005-06-02 | 2015-11-17 | Invention Science Fund I, Llc | Conditional alteration of a saved image |
| US8681225B2 (en) | 2005-06-02 | 2014-03-25 | Royce A. Levien | Storage access technique for captured data |
| US20070222865A1 (en) | 2006-03-15 | 2007-09-27 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Enhanced video/still image correlation |
| US9167195B2 (en) | 2005-10-31 | 2015-10-20 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
| US8964054B2 (en) | 2006-08-18 | 2015-02-24 | The Invention Science Fund I, Llc | Capturing selected image objects |
| US9451200B2 (en) | 2005-06-02 | 2016-09-20 | Invention Science Fund I, Llc | Storage access technique for captured data |
| JP4618676B2 (ja) | 2005-04-28 | 2011-01-26 | 株式会社リコー | 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 |
| JP4789192B2 (ja) | 2006-04-12 | 2011-10-12 | 株式会社リコー | 符号処理装置、プログラム及び情報記録媒体 |
| CN100531286C (zh) * | 2006-07-21 | 2009-08-19 | 光宝科技股份有限公司 | 影像文件处理装置及影像文件格式转换的处理方法 |
| JP4798582B2 (ja) * | 2006-08-22 | 2011-10-19 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
| JPWO2008093698A1 (ja) * | 2007-01-31 | 2010-05-20 | ソニー株式会社 | 情報処理装置および方法 |
| US8135223B2 (en) * | 2007-03-16 | 2012-03-13 | Ricoh Company, Ltd. | Image processing apparatus and method of image processing |
| JP2008236075A (ja) * | 2007-03-16 | 2008-10-02 | Ricoh Co Ltd | 撮像装置およびその画像データ記録方法 |
| JP2008258994A (ja) * | 2007-04-06 | 2008-10-23 | Ricoh Co Ltd | 画像処理装置 |
| KR101375662B1 (ko) * | 2007-08-06 | 2014-03-18 | 삼성전자주식회사 | 이미지 데이터 압축 방법 및 장치 |
| JP4907487B2 (ja) * | 2007-10-24 | 2012-03-28 | 株式会社リコー | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| US20090254553A1 (en) * | 2008-02-08 | 2009-10-08 | Corbis Corporation | Matching media for managing licenses to content |
| JP5181816B2 (ja) * | 2008-05-12 | 2013-04-10 | 株式会社リコー | 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 |
| JP5521334B2 (ja) | 2009-01-29 | 2014-06-11 | 株式会社リコー | 撮像装置及び撮像方法 |
| US8587693B2 (en) | 2010-11-17 | 2013-11-19 | International Business Machines Corporation | Determination of storage availability for files to be stored at one or more device quality parameter settings |
| JP5972687B2 (ja) | 2012-07-02 | 2016-08-17 | 株式会社Ｎｔｔドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム |
| JP6187067B2 (ja) | 2013-09-13 | 2017-08-30 | 株式会社リコー | 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法 |
| CN110023446B (zh) * | 2016-12-15 | 2021-05-28 | 美国陶氏有机硅公司 | 可缩合固化的导电有机硅粘合剂组合物 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8900368D0 (en) * | 1989-01-09 | 1989-03-08 | Crosfield Electronics Ltd | Bit map modification |
| JP2995855B2 (ja) | 1989-11-28 | 1999-12-27 | 三菱化学株式会社 | 油中水型乳化物および保水性改善剤 |
| JPH04173443A (ja) | 1990-11-06 | 1992-06-22 | Toshiba Corp | 車載確認カメラ装置 |
| JPH0512800A (ja) | 1991-07-04 | 1993-01-22 | Matsushita Electric Ind Co Ltd | データ圧縮機能を備えた情報記録再生装置と情報記録媒体 |
| JP2689823B2 (ja) | 1992-07-21 | 1997-12-10 | 松下電器産業株式会社 | 画像信号再生装置及びディスク装置 |
| US5563960A (en) * | 1993-01-22 | 1996-10-08 | David Sarnoff Research Center, Inc. | Apparatus and method for emphasizing a selected region in the compressed representation of an image |
| JP3499254B2 (ja) | 1993-06-04 | 2004-02-23 | 富士写真フイルム株式会社 | 画像データ圧縮処理方法 |
| US6226011B1 (en) * | 1997-04-01 | 2001-05-01 | Ricoh Company, Ltd. | Color conversion method for a color matching, a method for expanding a function of a program module and a color conversion method using the method for expanding a function of a program module |
| JP3764797B2 (ja) * | 1997-04-17 | 2006-04-12 | 株式会社リコー | 色変換処理装置およびその方法並びにその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US6215916B1 (en) * | 1998-02-04 | 2001-04-10 | Intel Corporation | Efficient algorithm and architecture for image scaling using discrete wavelet transforms |
| EP1062625A4 (en) | 1998-03-20 | 2005-08-31 | Mitsubishi Electric Corp | IMAGE CODING WITH LOSS / WITHOUT LOSS OF INTEREST REGIONS |
| US6041143A (en) * | 1998-04-14 | 2000-03-21 | Teralogic Incorporated | Multiresolution compressed image management system and method |
| JP2000040142A (ja) | 1998-07-23 | 2000-02-08 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
| JP4010063B2 (ja) | 1998-10-15 | 2007-11-21 | ソニー株式会社 | ウェーブレット復号化装置及び方法 |
| JP3512346B2 (ja) | 1998-10-15 | 2004-03-29 | ソニー株式会社 | ウェーブレット復号化装置及び方法 |
| JP2001285642A (ja) | 2000-03-28 | 2001-10-12 | Canon Inc | 画像処理装置及びその方法、コンピュータ可読メモリ |
| US6885395B1 (en) * | 2000-05-26 | 2005-04-26 | Eastman Kodak Company | Selectively adjusting the resolution levels or the quality levels of digital images stored in a digital camera memory |
| JP4010752B2 (ja) * | 2000-07-26 | 2007-11-21 | 株式会社リコー | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 |
| JP2002152517A (ja) | 2000-11-10 | 2002-05-24 | Ricoh Co Ltd | 変換符号の画像伸長装置 |
| JP2002152744A (ja) | 2000-11-10 | 2002-05-24 | Ricoh Co Ltd | 変換符号の画像伸長方法 |
| JP4127465B2 (ja) | 2001-05-14 | 2008-07-30 | 株式会社リコー | 画像伸張装置及び方法、並びに記録媒体 |
| US7013049B2 (en) * | 2001-02-28 | 2006-03-14 | Ricoh Company, Ltd. | Image processing scheme |
| JP4293740B2 (ja) * | 2001-05-29 | 2009-07-08 | 株式会社リコー | 画像圧縮装置 |
| US7127117B2 (en) * | 2001-06-11 | 2006-10-24 | Ricoh Company, Ltd. | Image compression method and apparatus for suppressing quantization rate in particular region, image expansion method and apparatus therefor, and computer-readable storage medium storing program for the compression or expansion |
| EP1349393A1 (en) | 2002-03-15 | 2003-10-01 | Ricoh Company | Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program |
-
2002
- 2002-08-26 JP JP2002244530A patent/JP4003945B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-22 US US10/646,086 patent/US7626733B2/en not_active Expired - Fee Related
- 2003-08-26 CN CNB031649718A patent/CN1265617C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004088277A (ja) | 2004-03-18 |
| US7626733B2 (en) | 2009-12-01 |
| CN1265617C (zh) | 2006-07-19 |
| CN1507262A (zh) | 2004-06-23 |
| US20040100654A1 (en) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4003945B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| JP4177583B2 (ja) | ウェーブレット処理システム、方法及びコンピュータプログラム | |
| US7889791B2 (en) | Method and apparatus for scalable compression of video | |
| JP3597779B2 (ja) | 画像を圧縮及び圧縮解除する方法及び装置 | |
| US7505630B2 (en) | Image processing apparatus, image processing method, program, and recording medium that allow setting of most appropriate post-quantization condition | |
| CN1322738C (zh) | 图像处理的装置、图像处理的方法 | |
| JP2003179759A (ja) | 静止画像伸長装置 | |
| JP4349816B2 (ja) | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 | |
| WO2003107683A9 (en) | Method and apparatus for scalable compression of video | |
| JP4609918B2 (ja) | 画像処理システム、画像処理方法、プログラム及び情報記録媒体 | |
| JP4059399B2 (ja) | 画像処理装置、画像処理システム、画像出力制御方法、プログラム、及び、記録媒体 | |
| JP2010213059A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4036363B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4471310B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2001045482A (ja) | 画像処理装置及び方法 | |
| JP2006352365A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP2004289374A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP2007027892A (ja) | 画像データ記録装置、画像データ記録方法及びプログラム | |
| JP2004247891A (ja) | 画像圧縮装置、画像処理装置、画像伸張装置、画像圧縮方法、画像処理方法、画像伸張方法、プログラム、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070817 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |