JP3559451B2 - Image processing method and image processing apparatus - Google Patents
Image processing method and image processing apparatus Download PDFInfo
- Publication number
- JP3559451B2 JP3559451B2 JP16877698A JP16877698A JP3559451B2 JP 3559451 B2 JP3559451 B2 JP 3559451B2 JP 16877698 A JP16877698 A JP 16877698A JP 16877698 A JP16877698 A JP 16877698A JP 3559451 B2 JP3559451 B2 JP 3559451B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- aberration correction
- main subject
- image processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 61
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012937 correction Methods 0.000 claims description 116
- 230000004075 alteration Effects 0.000 claims description 85
- 239000000463 material Substances 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 241001047198 Scomberomorus semifasciatus Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 235000012467 brownies Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Landscapes
- Facsimiles In General (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理方法及び画像処理装置に係り、より詳しくは、写真感光材料に記録された画像を画像処理する際に、収差補正を行うことができる画像処理方法及び画像処理装置に関する。
【0002】
【従来の技術】
従来より、写真フィルムに記録されたコマ画像をCCD等のセンサで読み取って該コマ画像のデジタル画像データを得て、得られたデジタル画像データに基づいて印画紙に焼き付け露光する画像処理装置が知られている。
【0003】
近年では、このような画像処理装置では、読み取った画像データに対して各種補正を行って安定したプリント品質を保つことができるようになっている。例えば、レンズ付きフィルムやコンパクトカメラ等の安価なレンズを用いるカメラで撮影した場合に生じ易い倍率色収差(R、G、B各色で画素位置が異なる)や歪曲収差(画像が歪む)を補正することができる。
【0004】
ところが、上記のような収差補正を行った場合には以下のような問題が生じる。例えば、歪曲収差補正を行うと、本来、図6(A)に示すような画像が、図6(B)に示すような所謂糸巻き型の画像になるが、この場合図中斜線で示す画像の無い領域、所謂画欠けが発生するため、プリント画像として好ましくない。このため、画欠けの領域を含まないような図中点線で示す矩形領域302を所望のプリントサイズに拡大し、画欠けのないプリント画像を得るようにしている。しかし、図6(B)に示すように、例えば人物の顔が画像の端部にある場合には、本来撮影されているにもかかわらず、プリント後の画像では、顔の一部が切れてしまう。
【0005】
【発明が解決しようとする課題】
本発明は、上記事実を考慮し、写真フィルムから読み取った画像を収差補正する場合に、画像の端部に人物の顔等の主要被写体がある場合でも、主要被写体の一部の画像が欠けることなくプリントすることができる画像処理方法及び画像処理装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために、請求項1記載の発明は、撮影レンズ特性情報と写真感光材料に記録された画像とを読み取り、読み取った前記画像の主要被写体を抽出手段によって抽出し、前記撮影レンズ特性情報に対応した収差補正情報を読み取り、抽出した前記主要被写体の位置情報と前記収差補正情報とに基づいて、前記画像の収差補正を行った場合に前記主要被写体が画欠け領域に入るか否かを判定し、前記主要被写体が画欠け領域に入らないと判定された場合には前記収差補正を行うことを特徴としている。
【0007】
請求項2記載の発明は、前記主要被写体が画欠け領域に入ると判定された場合には、前記収差補正を行わないことを特徴としている。
【0008】
請求項3記載の発明は、前記主要被写体が画欠け領域に入ると判定された場合には、前記主要被写体が前記画欠け領域に入らない程度に収差補正を行うことを特徴としている。
【0009】
請求項1記載の発明によれば、撮影レンズ特性情報と写真感光材料に記録された画像を読み取り、読み取った画像の主要被写体、例えば人物の顔の部分を抽出手段によって抽出する。撮影レンズ特性情報は、例えば撮影レンズの種類や、詳細は後述するが読み取った画像の収差補正を行うためのレンズ収差補正式、この収差補正式の補正係数、カメラ機種等の情報である。この撮影レンズ特性情報は、例えば写真感光材料の画像記録領域外に光学的(バーコード等)や磁気的に予め記録(例えば製造時)されていてもよいし、カメラ側から記録されるようになっていてもよい。そして、読み取った撮影レンズ特性情報に対応する収差補正情報を読み取る。顔の抽出方法としては従来より公知の種々の方法を用いることができる。例えば、画素ごとに周囲8画素のエッジ強度を測定して輪郭線を求めることにより人物の顔の部分を抽出することができる。このようにして抽出した主要被写体の位置情報と収差補正情報とに基づいて、収差補正を行った場合に主要被写体が画欠け領域に入るか否かを判定する。そして、主要被写体が画欠け領域に入らないと判定された場合には収差補正を行う。主要被写体が画欠け領域に入ると判定された場合には、例えば、請求項2記載の発明のように、収差補正を行わないようにする。このようにすることで、プリント後の画像において人物の顔の一部が欠けてしまうことがない。
【0010】
また、請求項3記載の発明のように、人物の顔が画欠け領域に入らない程度に収差補正を行うようにしてもよい。このようにすれば、画像の歪みを適度に補正しつつ人物の顔をプリント範囲内に収めることができる。
【0011】
請求項4記載の発明は、前記収差補正を行うか否かの判断は、顧客からの注文情報に基づいて行うことを特徴としている。
【0012】
請求項4記載の発明によれば、例えば収差補正を優先的に行うか、主要被写体がプリント範囲内に収まるのを優先するか等を注文情報として指定できるようにしておき、この注文情報に基づいて収差補正を行うか否かを判断する。このようにすれば、ユーザの好みに合わせたプリント処理を行うことができる。
【0013】
請求項5記載の発明は、撮影レンズ特性情報を読み取る撮影レンズ特性情報読み取り手段と、写真感光材料に記録された画像を読み取る画像読み取り手段と、前記画像読み取り手段により読み取った前記画像の主要被写体を抽出する抽出手段と、前記撮影レンズ特性情報に対応した収差補正情報が予め記憶された記憶手段と、前記記憶手段から前記収差補正情報を読み取る収差補正情報読み取り手段と、前記抽出手段により抽出された前記主要被写体の位置情報と前記収差補正情報とに基づいて、前記画像の収差補正を行った場合に前記主要被写体が画欠け領域に入るか否かを判定する判定手段と、前記判定手段により前記主要被写体が画欠け領域に入らないと判定された場合に前記収差補正を行う収差補正手段と、を有することを特徴としている。
【0014】
請求項6記載の発明は、前記判定手段により前記主要被写体が画欠け領域に入ると判定された場合には、前記収差補正を行わないことを特徴としている。
【0015】
請求項7記載の発明は、前記判定手段により前記主要被写体が画欠け領域に入ると判定された場合には、前記主要被写体が前記画欠け領域に入らない程度に収差補正を行うことを特徴としている。
【0016】
請求項5記載の発明によれば、撮影レンズ特性情報を撮影レンズ特性情報読み取り手段により読み取るとともに、写真感光材料に記録された画像を画像読み取り手段により読み取る。撮影レンズ特性情報は、例えば撮影レンズの種類や、詳細は後述するが読み取った画像の収差補正を行うためのレンズ収差補正式、この収差補正式の補正係数、カメラ機種等の情報である。この撮影レンズ特性情報は、例えば写真感光材料の画像記録領域外に光学的(バーコード等)や磁気的に予め記録(例えば製造時)されていてもよいし、カメラ側から記録されるようになっていてもよい。そして、読み取った画像の主要被写体、例えば人物の顔の部分を抽出手段により抽出する。また、読み取った撮影レンズ特性情報に対応する収差補正情報を記憶手段から収差補正情報読み取り手段により読み取る。そして、抽出した主要被写体の位置情報と収差補正情報と結果に基づいて、収差補正を行った場合に主要被写体が画欠け領域に入るか否かを判定手段により判定し、主要被写体が画欠け領域に入らないと判定された場合には収差補正を行う。主要被写体が画欠け領域に入ると判定された場合には、例えば、請求項6記載の発明のように、収差補正を行わないようにする。このようにすることで、プリント後の画像において人物の顔の一部が欠けてしまうことがない。
【0017】
また、請求項7記載の発明のように、判定手段により主要被写体が画欠け領域に入ると判定された場合には、人物の顔が画欠け領域に入らない程度に収差補正を行うようにしてもよい。このようにすれば、画像の歪みを適度に補正しつつ人物の顔をプリント範囲内に収めることができる。
【0018】
請求項8記載の発明は、前記収差補正を行うか否かの判断は、顧客からの注文情報に基づいて行うことを特徴としている。
【0019】
請求項8記載の発明によれば、例えば収差補正を優先的に行うか、主要被写体がプリント範囲内に収まるのを優先するか等を注文情報として指定できるようにしておき、この注文情報に基づいて収差補正を行うか否かを判断する。このようにすれば、ユーザの好みに合わせたプリント処理を行うことができる。
【0020】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0021】
(システム全体の構成)
まず、本実施形態に係るディジタルラボシステムについて説明する。図1には本実施形態に係るディジタルラボシステム10の概略構成が示されており、図2にはディジタルラボシステム10の外観が示されている。図1に示すように、このラボシステム10は、ラインCCDスキャナ14、画像処理部16、レーザプリンタ部18、及びプロセッサ部20を含んで構成されており、ラインCCDスキャナ14と画像処理部16は、図2に示す入力部26として一体化されており、レーザプリンタ部18及びプロセッサ部20は、図2に示す出力部28として一体化されている。
【0022】
ラインCCDスキャナ14は、ネガフィルムやリバーサルフィルム等の写真フィルムに記録されているコマ画像を読み取るためのものであり、例えば135サイズの写真フィルム、110サイズの写真フィルム、及び透明な磁気層が形成された写真フィルム(240サイズの写真フィルム:所謂APSフィルム)、120サイズ及び220サイズ(ブローニサイズ)の写真フィルムのコマ画像を読取対象とすることができる。ラインCCDスキャナ14は、上記の読取対象のコマ画像をラインCCDで読み取り、画像データを出力する。
【0023】
なお、ここでいう写真フィルムとは、被写体を撮影後現像処理され、ネガ画像またはポジ画像が可視化されたフィルムをいう。
【0024】
図4には、APSフィルム102が示されている。図4に示される如く、APSフィルム102には、磁気記録層116が設けられている。この磁気記録層116には、プリント条件や、撮影したレンズのレンズタイプも記録される。このレンズタイプは、APSフィルム102から読み取った画像を収差補正する場合に用いる。なお、レンズタイプは、例えばレンズ付きフィルムの場合には製造時に予め記録されていてもよいし、撮影時にカメラ側から記録するようにしてもよい。また、APSフィルム102には、光学的情報(バーコード112)が予め(例えば製造時等)記録されており、このバーコード112はフィルムIDを示している。
【0025】
画像処理部16は、ラインCCDスキャナ14から出力された画像データ(スキャン画像データ)が入力されると共に、デジタルカメラでの撮影によって得られた画像データ、コマ画像以外の原稿(例えば反射原稿等)をスキャナで読み取ることで得られた画像データ、コンピュータで生成された画像データ等の画像ファイルを外部から入力する(例えば、メモリカード等の記憶媒体を介して入力したり、通信回線を介して他の情報処理機器から入力する等)ことも可能なように構成されている。
【0026】
画像処理部16は、入力された画像データに対して各種の補正等の画像処理を行って、記録用画像データとしてレーザプリンタ部18へ出力する。また、画像処理部16は、画像処理を行った画像データを画像ファイルとして外部へ出力する(例えばメモリカード等の記憶媒体に出力したり、通信回線を介して他の情報処理機器へ送信する等)ことも可能とされている。
【0027】
レーザプリンタ部18はR、G、Bのレーザ光源を備えており、画像処理部16から入力された記録用画像データに応じて変調したレーザ光を印画紙に照射して、走査露光によって印画紙に画像を記録する。また、プロセッサ部20は、レーザプリンタ部18で走査露光によって画像が記録された印画紙に対し、発色現像、漂白定着、水洗、乾燥の各処理を施す。これにより、印画紙上に画像が形成される。
【0028】
(画像処理部16の構成)
次に画像処理部16の構成について図3を参照して説明する。画像処理部16は、ラインCCDスキャナ14に対応してラインスキャナ補正部122が設けられている。ラインスキャナ補正部122は、ラインCCDスキャナ14から並列に出力されるR、G、Bの画像データに対応して、暗補正回路124、欠陥画素補正部128、及び明補正回路130から成る信号処理系が3系統設けられている。
【0029】
暗補正回路124は、ラインCCD116の光入射側がシャッタにより遮光されている状態で、ラインCCDスキャナ14から入力されたデータ(ラインCCD116のセンシング部の各セルの暗出力レベルを表すデータ)を各セル毎に記憶しておき、ラインCCDスキャナ14から入力されたスキャン画像データから、各画素毎に対応するセルの暗出力レベルを減ずることによって補正する。
【0030】
また、ラインCCD116の光電変換特性は各セル単位でのばらつきもある。欠陥画素補正部128の後段の明補正回路130では、ラインCCDスキャナ14に画面全体が一定濃度の調整用のコマ画像がセットされている状態で、ラインCCD116で前記調整用のコマ画像を読み取ることによりラインCCDスキャナ14から入力された調整用のコマ画像の画像データ(この画像データが表す各画素毎の濃度のばらつきは各セルの光電変換特性のばらつきに起因する)に基づいて各セル毎にゲインを定めておき、ラインCCDスキャナ14から入力された読取対象のコマ画像の画像データを、各セル毎に定めたゲインに応じて各画素毎に補正する。
【0031】
一方、調整用のコマ画像の画像データにおいて、特定の画素の濃度が他の画素の濃度と大きく異なっていた場合には、ラインCCDの前記特定の画素に対応するセルには何らかの異常があり、前記特定の画素は欠陥画素と判断できる。欠陥画素補正部128は調整用のコマ画像の画像データに基づき欠陥画素のアドレスを記憶しておき、ラインCCDスキャナ14から入力された読取対象のコマ画像の画像データのうち、欠陥画素のデータについては周囲の画素のデータから補間してデータを新たに生成する。
【0032】
また、ラインCCDは3本のライン(CCDセル列)が写真フィルムの搬送方向に沿って所定の間隔を空けて順に配置されているので、ラインCCDスキャナ14からR、G、Bの各成分色の画像データの出力が開始されるタイミングには時間差がある。ラインスキャナ補正部122は、コマ画像上で同一の画素のR、G、Bの画像データが同時に出力されるように、各成分色毎に異なる遅延時間で画像データの出力タイミングの遅延を行う。
【0033】
ラインスキャナ補正部122の出力端はセレクタ132の入力端に接続されており、補正部122から出力された画像データはセレクタ132に入力される。また、セレクタ132の入力端は入出力コントローラ134のデータ出力端にも接続されており、入出力コントローラ134からは、外部から入力されたファイル画像データがセレクタ132に入力される。セレクタ132の出力端は入出力コントローラ134、イメージプロセッサ部136A、136Bのデータ入力端に各々接続されている。セレクタ132は、入力された画像データを、入出力コントローラ134、イメージプロセッサ部136A、136Bの各々に選択的に出力可能とされている。
【0034】
イメージプロセッサ部136Aは、メモリコントローラ138、イメージプロセッサ140、3個のフレームメモリ142A、142B、142Cを備えている。フレームメモリ142A、142B、142Cは各々1フレーム分のコマ画像の画像データを記憶可能な容量を有しており、セレクタ132から入力された画像データは3個のフレームメモリ142の何れかに記憶されるが、メモリコントローラ138は、入力された画像データの各画素のデータが、フレームメモリ142の記憶領域に一定の順序で並んで記憶されるように、画像データをフレームメモリ142に記憶させる際のアドレスを制御する。
【0035】
イメージプロセッサ140は、フレームメモリ142に記憶された画像データを取込み、階調変換、色変換、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う。なお、上記の画像処理の処理条件は、オートセットアップエンジン144(後述)によって自動的に演算され、演算された処理条件に従って画像処理が行われる。イメージプロセッサ140は入出力コントローラ134に接続されており、画像処理を行った画像データは、フレームメモリ142に一旦記憶された後に、所定のタイミングで入出力コントローラ134へ出力される。なお、イメージプロセッサ部136Bは、上述したイメージプロセッサ部136Aと同一の構成であるので説明を省略する。
【0036】
ところで、本実施形態では個々のコマ画像に対し、ラインCCDスキャナ14において異なる解像度で2回の読み取りを行う。1回目の比較的低解像度での読み取り(以下、プレスキャンという)では、コマ画像の濃度が極端に低い場合(例えばネガフィルムにおける露光オーバのネガ画像)にも、ラインCCD116で蓄積電荷の飽和が生じないように決定した読取条件(写真フィルムに照射する光のR、G、Bの各波長域毎の光量、CCDの電荷蓄積時間)でコマ画像の読み取りが行われる。このプレスキャンによって得られた画像データ(プレスキャン画像データ)は、セレクタ132から入出力コントローラ134に入力され、更に入出力コントローラ134に接続されたオートセットアップエンジン144に出力される。
【0037】
オートセットアップエンジン144は、CPU146、RAM148(例えばDRAM)、ROM150(例えば記憶内容を書換え可能なROM)、入出力ポート152を備え、これらがバス154を介して互いに接続されて構成されている。
【0038】
オートセットアップエンジン144は、入出力コントローラ134から入力された複数コマ分のコマ画像のプレスキャン画像データに基づいて、ラインCCDスキャナ14による2回目の比較的高解像度での読み取り(以下、ファインスキャンという)によって得られた画像データ(ファインスキャン画像データ)に対する画像処理の処理条件を演算し、演算した処理条件をイメージプロセッサ部136のイメージプロセッサ140へ出力する。この画像処理の処理条件の演算では、撮影時の露光量、撮影光源種やその他の特徴量から類似のシーンを撮影した複数のコマ画像が有るか否か判定し、類似のシーンを撮影した複数のコマ画像が有った場合には、これらのコマ画像のファインスキャン画像データに対する画像処理の処理条件が同一又は近似するように決定する。
【0039】
なお、画像処理の最適な処理条件は、画像処理後の画像データを、レーザプリンタ部18における印画紙への画像の記録に用いるのか、外部へ出力するのか等によっても変化する。画像処理部16には2つのイメージプロセッサ部136A、136Bが設けられているので、例えば、画像データを印画紙への画像の記録に用いると共に外部へ出力する等の場合には、オートセットアップエンジン144は各々の用途に最適な処理条件を各々演算し、イメージプロセッサ部136A、136Bへ出力する。これにより、イメージプロセッサ部136A、136Bでは、同一のファインスキャン画像データに対し、互いに異なる処理条件で画像処理が行われる。
【0040】
更に、オートセットアップエンジン144は、入出力コントローラ134から入力されたコマ画像のプレスキャン画像データに基づいて、レーザプリンタ部18で印画紙に画像を記録する際のグレーバランス等を規定する画像記録用パラメータを算出し、レーザプリンタ部18に記録用画像データ(後述)を出力する際に同時に出力する。また、オートセットアップエンジン144は、外部から入力されるファイル画像データに対しても、上記と同様にして画像処理の処理条件を演算する。
【0041】
入出力コントローラ134はI/F回路156を介してレーザプリンタ部18に接続されている。画像処理後の画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ部136で画像処理が行われた画像データは、入出力コントローラ134からI/F回路156を介し記録用画像データとしてレーザプリンタ部18へ出力される。また、オートセットアップエンジン144はパーソナルコンピュータ158に接続されている。画像処理後の画像データを画像ファイルとして外部へ出力する場合には、イメージプロセッサ部136で画像処理が行われた画像データは、入出力コントローラ134からオートセットアップエンジン144を介してパーソナルコンピュータ158に出力される。
【0042】
パーソナルコンピュータ158は、CPU160、メモリ162、ディスプレイ164、キーボード166(図2も参照)、マウス177、ハードディスク168、CD−ROMドライバ170、搬送制御部172、拡張スロット174、及び画像圧縮/伸長部176を備えており、これらがバス178を介して互いに接続されて構成されている。
【0043】
搬送制御部172はフィルムキャリア38に接続されており、フィルムキャリア38による写真フィルム102の搬送を制御する。また、フィルムキャリア38には、図示は省略したが、バーコード112を読み取るためのバーコードセンサ及び磁気記録層116に記録された情報を読み取るための磁気ヘッドを有している。これにより、バーコード112に記録されたフィルムID及び磁気記録層116に記録されたレンズタイプを読み取ることができる。
【0044】
ハードディスク168には、詳細は後述するが、レンズタイプに応じて収差補正を行うためのレンズデータ(補正係数)が予めテーブルデータとして記憶されている。
【0045】
また、メモリカード等の記憶媒体に対してデータの読出し/書込みを行うドライバ(図示省略)や、他の情報処理機器と通信を行うための通信制御装置は、拡張スロット174を介してパーソナルコンピュータ158に接続される。入出力コントローラ134から外部への出力用の画像データが入力された場合には、前記画像データは拡張スロット174を介して画像ファイルとして外部(前記ドライバや通信制御装置等)に出力される。
【0046】
また、拡張スロット174を介して外部からファイル画像データが入力された場合には、入力されたファイル画像データは、オートセットアップエンジン144を介して入出力コントローラ134へ出力される。この場合、入出力コントローラ134では入力されたファイル画像データをセレクタ132へ出力する。
【0047】
なお、画像処理部16は、プレスキャン画像データ等をパーソナルコンピュータ158に出力し、ラインCCDスキャナ14で読み取られたコマ画像をディスプレイ164に表示したり、印画紙に記録することで得られる画像を推定してディスプレイ164に表示し、キーボード166を介してオペレータにより画像の修正等が指示されると、これを画像処理の処理条件に反映することも可能とされている。
【0048】
(収差補正処理について)
パーソナルコンピュータ158のCPU160では、レンズの収差により発生する歪曲(ディストーション)収差や倍率色収差を補正することができるようになっている。これらの補正は、読み取った画像の中心位置からの距離によって補正の割合が変化する多項式(補正式)により算出された値に基づいて行う。すなわち、この多項式により算出された値に基づいて各画素の適正な画素位置を決める。歪曲収差補正、倍率色収差補正を行うためのそれぞれの多項式の補正係数はレンズタイプごとに異なり、ハードディスク168に予め記憶されている。
【0049】
また、CPU160では、読み取った画像の主要被写体(例えば人物の顔)を抽出することができるようになっている。ここで、歪曲収差補正を行うことにより図6(B)に示す如く顔がけられてしまう場合には、顔がけられない程度に歪曲収差補正を行うことができるようになっている。これは、画像の端部から顔の端部までの距離D(図6(B)参照)に応じて収差補正の補正強度を図7に示す如く変化させることにより行う。すなわち、図7に示すように、距離Dが大きい場合は水平方向の収差補正の補正強度を強くし、距離Dが小さい場合には、補正強度を弱くする。このようにすることで、顔の部分がけられることなく、ある程度まで歪曲収差補正を行うことができる。
【0050】
なお、補正強度の変化は、上述の補正式の補正係数を変化させることで可能となる。距離Dに対応する補正係数のデータはテーブルデータとして例えばハードディスク168に予め記憶されている。
【0051】
次に、本実施の形態の作用として、パソコン158のCPU160によって実行されるコマ画像の読取及び画像処理に係る制御ルーチンを図5に示すフローチャートに従って説明する。
【0052】
オペレータがAPSフィルム102をフィルムキャリア38の図示しない挿入口に挿入して、所定の処理開始指示を行うと、図5の制御ルーチンがCPU160によって実行開始される。
【0053】
図5のステップ202では、フィルムキャリア38の図示しない磁気ヘッドにより読み取ったレンズタイプを読み取る。そして、ステップ204においてプレスキャンする。すなわち、APSフィルム102を搬送しながら低解像度で画像を読み取る。次にステップ206でファインスキャンする。すなわち、プレスキャンで読み取った画像に基づいて各コマ画像ごとに読み取り条件を決定し、高解像度で画像を読み取る。
【0054】
次に、ステップ208で読み取った画像の中の主要被写体(一例として人物の顔)を抽出する処理を行う。これは、各画素ごとに、周囲に存在する画素との濃度変化値(エッジ強度)を求め、このエッジ強度に基づいて人物の顔の輪郭線を追跡することにより行う。
【0055】
そして、ステップ210で求めた輪郭線データから、歪曲収差補正を行った場合に、顔の部分がけられ(画欠け)るか否かを判断する。これは、求めた輪郭線データのうち、上下左右のそれぞれの端部の座標値から矩形領域304の上下左右の端部までの距離Dをそれぞれ求め、この距離Dに基づいて顔の部分がけられるか否かを判断する。
【0056】
顔の部分がけられないと判断した場合には、ステップ212でハードディスク168からレンズタイプに対応した補正係数を読み出し、この補正係数に基づいて通常の収差補正処理を行う。顔の部分がけられると判断した場合には、ステップ214でハードディスク168から読み取ったレンズタイプに対応し、かつ距離Dに対応した補正係数を読み出し、この補正係数に基づいて補正強度を弱め、顔の部分がけられない範囲で収差補正処理を行う。図6(B)に示す例では、顔の左端部がけられるので、水平方向の補正強度を弱めて収差補正を行う。このようにして収差補正すると、図6(C)に示す如く、顔の部分がけられずに済む。
【0057】
次に、ステップ216で図6(C)に示す点線部分の矩形領域302を電子変倍処理して所望のプリントサイズに拡大する。そしてステップ218で収差補正及び電子変倍処理のなされた画像データをレーザプリンタ部18へ出力する。
【0058】
レーザプリンタ部18では、画像処理部16から出力された画像データに基づいて印画紙へ焼き付け露光し、プロセッサ部20で発色現像、漂白定着、水洗、乾燥の各処理を施す。これにより、印画紙上に画像が形成される。
このように、撮影した画像の端部に人物の顔があっても、顔の部分を自動的に抽出し、顔の位置に応じて収差補正を行うので、本来撮影されている顔の部分がけられずに済み、プリント後の画像を自然な仕上がりにすることができる。
【0059】
また、収差補正を行うことにより顔の部分がけられると予想される場合には、収差補正を行わないようにしてもよい。この場合には、図5においてステップ214を実行せずに、そのままステップ216を実行するようにすればよい。
【0060】
また、収差補正するか否かの判断を顧客からの注文情報により判断してもよい。例えば、注文情報として、収差補正を優先させる(顔の部分がけられてもかまわない)、収差補正をせずに顔の部分がプリント範囲内に収まるのを優先させる、顔の部分がけられない程度に収差補正を行う、の3種類の指定を顧客がラボにおいて選択できるようにしておき、顧客から指定された注文情報に基づいて処理を行う。このようにすれば、顧客の好みに応じたプリント処理を行うことができる。
【0061】
なお、本実施の形態では、人物の顔がけられないようにする場合について説明したが、これに限らず、特徴的な形状で、抽出しやすいものであれば本発明を適用可能である。
【0062】
また、本実施の形態では、予め写真フィルムにレンズタイプを記録しておく場合を例に説明したが、レンズデータ(補正係数)そのものを写真フィルムに記録しておくようにしてもよい。
【0063】
【発明の効果】
以上説明したように、本発明によれば、写真感光材料に記録された画像を読み取り、読み取った画像の主要被写体を抽出手段によって抽出し、抽出した主要被写体が収差補正を行うことによりけられてしまうと判断した場合には、主要被写体がけられない程度に収差補正を行うようにしたので、画像の歪みを適度に補正しつつ主要被写体をプリント範囲内に収めることができるという優れた効果を有する。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るディジタルラボシステムの概略構成図である。
【図2】ディジタルラボシステムの外観図である。
【図3】画像処理部の制御ブロック図である。
【図4】APS対応のフィルムを示す平面図である。
【図5】本発明の実施の形態に係る制御の流れを示すフローチャートである。
【図6】(A)は本来の撮影画像を示す図である。(B)は収差補正を行った場合の画像を示す図である。(C)は顔の部分がけられない範囲で収差補正を行った場合の画像を示す図である。
【図7】補正強度と距離との関係を示す線図である。
【符号の説明】
10 ディジタルラボシステム
14 ラインCCDスキャナ
16 画像処理部
18 レーザプリンタ部
20 プロセッサ部
102 写真フィルム
158 パーソナルコンピュータ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method and an image processing apparatus, and more particularly, to an image processing method and an image processing apparatus capable of correcting aberration when performing image processing on an image recorded on a photographic photosensitive material.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known an image processing apparatus which reads a frame image recorded on a photographic film by a sensor such as a CCD, obtains digital image data of the frame image, and prints and exposes the photographic paper on the photographic paper based on the obtained digital image data. Has been.
[0003]
In recent years, such an image processing apparatus has been able to perform various corrections on read image data to maintain stable print quality. For example, correction of chromatic aberration of magnification (pixel positions differ for each of R, G, and B colors) and distortion (distortion of an image), which are likely to occur when photographing with a camera using an inexpensive lens such as a film with a lens or a compact camera. Can be.
[0004]
However, when the above-described aberration correction is performed, the following problem occurs. For example, when the distortion is corrected, the image as shown in FIG. 6A originally becomes a so-called pincushion-type image as shown in FIG. 6B. Since there is no area, that is, so-called image missing, it is not preferable as a print image. For this reason, the
[0005]
[Problems to be solved by the invention]
The present invention, in consideration of the above fact, corrects aberrations of an image read from a photographic film, and even if there is a main subject such as a person's face at the edge of the image, a part of the image of the main subject is missing. It is an object of the present invention to provide an image processing method and an image processing apparatus capable of performing printing without any problem.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 reads the photographic lens characteristic information and an image recorded on a photographic photosensitive material, extracts a main subject of the read image by an extracting unit, and extracts the photographic lens. Reading the aberration correction information corresponding to the characteristic information, based on the extracted position information of the main subject and the extracted aberration correction information, based on the aberration correction of the image, whether or not the main subject enters an image missing area; It is characterized in that the aberration correction is performed when it is determined that the main subject does not enter the image missing area.
[0007]
The invention according to claim 2 is characterized in that the aberration correction is not performed when it is determined that the main subject enters the image missing area.
[0008]
The invention according to
[0009]
According to the first aspect of the present invention, the photographic lens characteristic information and the image recorded on the photographic material are read, and the main subject of the read image, for example, the face of a person, is extracted by the extracting means . The photographing lens characteristic information includes, for example, the type of the photographing lens, a lens aberration correction formula for correcting aberration of a read image, which will be described later in detail, a correction coefficient of the aberration correction formula, a camera model, and the like. This photographing lens characteristic information may be optically (barcode or the like) or magnetically recorded in advance (for example, at the time of manufacture) outside the image recording area of the photographic photosensitive material, or may be recorded from the camera side. It may be. Then, aberration correction information corresponding to the read photographing lens characteristic information is read. Various conventionally known methods can be used as the face extraction method. For example, a face portion of a person can be extracted by measuring the edge strength of eight surrounding pixels for each pixel and obtaining an outline. Based on the position information of the main subject extracted in this way and the aberration correction information, it is determined whether or not the main subject enters the image missing area when the aberration correction is performed. When it is determined that the main subject does not enter the image missing area, aberration correction is performed. When it is determined that the main subject enters the image missing area, for example, aberration correction is not performed as in the second aspect of the present invention. By doing so, a part of the face of the person is not lost in the printed image.
[0010]
Further, the aberration may be corrected to such an extent that the face of the person does not enter the image missing area. In this way, the face of the person can be kept within the print range while appropriately correcting the image distortion.
[0011]
The invention according to claim 4 is characterized in that the determination as to whether or not to perform the aberration correction is made based on order information from a customer.
[0012]
According to the fourth aspect of the present invention, it is possible to specify, for example, whether to give priority to aberration correction or to give priority to the main subject within the print range, as order information. It is determined whether or not to perform aberration correction. By doing so, it is possible to perform a print process according to the user's preference.
[0013]
According to a fifth aspect of the present invention, there is provided a photographing lens characteristic information reading unit for reading photographing lens characteristic information, an image reading unit for reading an image recorded on a photographic photosensitive material, and a main subject of the image read by the image reading unit. Extraction means for extracting, storage means for storing aberration correction information corresponding to the photographing lens characteristic information in advance, aberration correction information reading means for reading the aberration correction information from the storage means, Based on the position information of the main subject and the aberration correction information, when the aberration correction of the image is performed, a determination unit that determines whether or not the main subject enters an image missing area; and Aberration correction means for performing the aberration correction when it is determined that the main subject does not enter the image missing area. There.
[0014]
The invention according to claim 6 is characterized in that the aberration correction is not performed when the determination means determines that the main subject is in the image missing area.
[0015]
The invention according to claim 7 is characterized in that, when the determination means determines that the main subject enters the image lacking area, the aberration correction is performed to such an extent that the main subject does not enter the image lacking area. I have.
[0016]
According to the fifth aspect of the present invention, the photographing lens characteristic information is read by the photographing lens characteristic information reading means, and the image recorded on the photographic photosensitive material is read by the image reading means. The photographing lens characteristic information includes, for example, the type of the photographing lens, a lens aberration correction formula for correcting aberration of a read image, which will be described later in detail, a correction coefficient of the aberration correction formula, a camera model, and the like. This photographing lens characteristic information may be optically (barcode or the like) or magnetically recorded in advance (for example, at the time of manufacture) outside the image recording area of the photographic photosensitive material, or may be recorded from the camera side. It may be. Then, a main subject of the read image, for example, a face portion of a person is extracted by an extracting unit. Further, the aberration correction information corresponding to the read photographic lens characteristic information is read from the storage means by the aberration correction information reading means. Then, based on the position information and the aberration correction information and the result of the extracted main subject, it is determined by the determining unit whether or not the main subject enters the image missing area when the aberration correction is performed. When it is determined that the value does not fall within the range, aberration correction is performed. When it is determined that the main subject is in the image missing area, aberration correction is not performed, for example, as in the invention of claim 6. By doing so, a part of the face of the person is not lost in the printed image.
[0017]
Further, when the main subject is determined to enter the image missing area by the determining means, aberration correction is performed to such an extent that the face of the person does not enter the image missing area. Is also good. In this way, the face of the person can be kept within the print range while appropriately correcting the image distortion.
[0018]
The invention according to claim 8 is characterized in that the determination as to whether or not to perform the aberration correction is made based on order information from a customer.
[0019]
According to the invention described in claim 8, for example, it is possible to designate as the order information whether to give priority to aberration correction or to give priority to the main subject within the print range. It is determined whether or not to perform aberration correction. By doing so, it is possible to perform a print process according to the user's preference.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0021]
(Overall system configuration)
First, a digital laboratory system according to the present embodiment will be described. FIG. 1 shows a schematic configuration of a
[0022]
The
[0023]
Here, the photographic film is a film in which a negative image or a positive image is visualized by subjecting a subject to development after photographing.
[0024]
FIG. 4 shows the
[0025]
The
[0026]
The
[0027]
The
[0028]
(Configuration of Image Processing Unit 16)
Next, the configuration of the
[0029]
The
[0030]
In addition, the photoelectric conversion characteristics of the
[0031]
On the other hand, in the image data of the frame image for adjustment, when the density of a specific pixel is significantly different from the density of other pixels, there is some abnormality in the cell corresponding to the specific pixel of the line CCD, The specific pixel can be determined as a defective pixel. The defective
[0032]
In the line CCD, since three lines (CCD cell rows) are sequentially arranged at predetermined intervals along the photographic film transport direction, the R, G, and B component colors are output from the
[0033]
The output terminal of the line
[0034]
The
[0035]
The
[0036]
In the present embodiment, each frame image is read twice by the
[0037]
The
[0038]
The
[0039]
The optimum processing conditions for image processing also vary depending on whether the image data after image processing is used for recording an image on photographic paper in the
[0040]
Further, the
[0041]
The input /
[0042]
The
[0043]
The
[0044]
As will be described later in detail, lens data (correction coefficient) for performing aberration correction according to the lens type is stored in the
[0045]
Further, a driver (not shown) for reading / writing data from / to a storage medium such as a memory card, and a communication control device for communicating with other information processing devices include a
[0046]
When file image data is input from outside via the
[0047]
The
[0048]
(About aberration correction processing)
The
[0049]
Further, the CPU 1 60, thereby making it possible to extract the main subject of the read image (for example, a human face). Here, if the face is blurred as shown in FIG. 6B by performing the distortion correction, the distortion can be corrected to such an extent that the face cannot be blurred. This is performed by changing the correction intensity of the aberration correction as shown in FIG. 7 according to the distance D from the end of the image to the end of the face (see FIG. 6B). That is, as shown in FIG. 7, when the distance D is large, the correction strength of the horizontal aberration correction is increased, and when the distance D is small, the correction strength is reduced. By doing so, it is possible to perform distortion correction to some extent without blurring the face.
[0050]
The change in the correction strength can be achieved by changing the correction coefficient of the above-described correction formula. The data of the correction coefficient corresponding to the distance D is stored in advance as table data on the
[0051]
Next, as an operation of the present embodiment, a control routine relating to reading of frame images and image processing executed by the
[0052]
When the operator inserts the
[0053]
In
[0054]
Next, a process of extracting a main subject (for example, a human face) in the image read in
[0055]
Then, based on the contour data obtained in
[0056]
If it is determined that the face part cannot be blurred, a correction coefficient corresponding to the lens type is read from the
[0057]
Next, in
[0058]
The
As described above, even if a person's face is present at the end of the captured image, the face portion is automatically extracted and aberration correction is performed according to the face position. The printed image can be made natural.
[0059]
Further, when it is expected that the face portion is blurred by performing the aberration correction, the aberration correction may not be performed. In this case, step 216 may be executed without performing
[0060]
The determination as to whether or not to correct the aberration may be made based on order information from a customer. For example, as the order information, priority is given to aberration correction (the face part may be shaded), priority is given to the face part falling within the print range without aberration correction, and the degree to which the face part cannot be shaken. The customer is allowed to select three types of designation in the lab, that is, perform aberration correction, and the processing is performed based on the order information designated by the customer. By doing so, it is possible to perform print processing according to the customer's preference.
[0061]
In the present embodiment, the case where the face of a person is prevented from being blurred has been described. However, the present invention is not limited to this, and the present invention can be applied to a characteristic shape that is easy to extract.
[0062]
Further, in the present embodiment, the case where the lens type is recorded in advance on the photographic film has been described as an example, but the lens data (correction coefficient) itself may be recorded on the photographic film.
[0063]
【The invention's effect】
As described above, according to the present invention, an image recorded on a photographic material is read, a main subject of the read image is extracted by an extracting unit, and the extracted main subject is shaken by performing aberration correction. When it is determined that the main subject is corrected, the aberration correction is performed to such an extent that the main subject cannot be shaken, so that there is an excellent effect that the main subject can be kept within the print range while appropriately correcting the image distortion. .
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a digital laboratory system according to an embodiment of the present invention.
FIG. 2 is an external view of a digital laboratory system.
FIG. 3 is a control block diagram of an image processing unit.
FIG. 4 is a plan view showing an APS-compatible film.
FIG. 5 is a flowchart showing a control flow according to the embodiment of the present invention.
FIG. 6A is a diagram showing an original photographed image. (B) is a diagram showing an image when aberration correction is performed. (C) is a diagram showing an image when aberration correction is performed in a range where a face part cannot be blurred.
FIG. 7 is a diagram illustrating a relationship between a correction strength and a distance.
[Explanation of symbols]
Claims (8)
読み取った前記画像の主要被写体を抽出手段によって抽出し、
前記撮影レンズ特性情報に対応した収差補正情報を読み取り、
抽出した前記主要被写体の位置情報と前記収差補正情報とに基づいて、前記画像の収差補正を行った場合に前記主要被写体が画欠け領域に入るか否かを判定し、
前記主要被写体が画欠け領域に入らないと判定された場合には前記収差補正を行う
ことを特徴とする画像処理方法。Reads the lens characteristic information and the image recorded on the photosensitive material,
The main subject of the read image is extracted by an extracting unit ,
Reading aberration correction information corresponding to the photographing lens characteristic information,
Based on the extracted position information of the main subject and the aberration correction information, it is determined whether the main subject enters an image missing area when performing the aberration correction of the image,
An image processing method, wherein the aberration correction is performed when it is determined that the main subject does not enter the image missing area.
ことを特徴とする請求項1記載の画像処理方法。2. The image processing method according to claim 1, wherein the aberration correction is not performed when it is determined that the main subject enters the image missing area.
ことを特徴とする請求項1記載の画像処理方法。2. The image processing method according to claim 1, wherein when it is determined that the main subject enters the image missing area, aberration correction is performed to such an extent that the main object does not enter the image missing area.
ことを特徴とする請求項1乃至請求項3のいずれか1項に記載の画像処理方法。4. The image processing method according to claim 1, wherein the determination of whether to perform the aberration correction is performed based on order information from a customer. 5.
写真感光材料に記録された画像を読み取る画像読み取り手段と、
前記画像読み取り手段により読み取った前記画像の主要被写体を抽出する抽出手段と、
前記撮影レンズ特性情報に対応した収差補正情報が予め記憶された記憶手段と、
前記記憶手段から前記収差補正情報を読み取る収差補正情報読み取り手段と、
前記抽出手段により抽出された前記主要被写体の位置情報と前記収差補正情報とに基づいて、前記画像の収差補正を行った場合に前記主要被写体が画欠け領域に入るか否かを判定する判定手段と、
前記判定手段により前記主要被写体が画欠け領域に入らないと判定された場合に前記収差補正を行う収差補正手段と、
を有する画像処理装置。Photographic lens characteristic information reading means for reading photographic lens characteristic information;
Image reading means for reading an image recorded on a photographic material,
Extracting means for extracting a main subject of the image read by the image reading means,
Storage means in which aberration correction information corresponding to the photographing lens characteristic information is stored in advance,
Aberration correction information reading means for reading the aberration correction information from the storage means,
Judgment means for judging whether or not the main subject enters an image-deficient area when aberration correction of the image is performed based on the position information of the main subject extracted by the extraction means and the aberration correction information. When,
Aberration correction means for performing the aberration correction when it is determined that the main subject does not enter the image missing area by the determination means,
An image processing apparatus having:
ことを特徴とする請求項5記載の画像処理装置。The image processing apparatus according to claim 5, wherein the aberration correction is not performed when the determination unit determines that the main subject is in the image missing area.
ことを特徴とする請求項5記載の画像処理装置。6. The image processing apparatus according to claim 5, wherein when the determination unit determines that the main subject is in the image missing area, the aberration correction is performed to such an extent that the main object does not enter the image lacking area. apparatus.
ことを特徴とする請求項5乃至請求項7のいずれか1項に記載の画像処理装置。The image processing apparatus according to claim 5, wherein the determination as to whether to perform the aberration correction is performed based on order information from a customer.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16877698A JP3559451B2 (en) | 1998-06-16 | 1998-06-16 | Image processing method and image processing apparatus |
| US09/321,765 US6801334B1 (en) | 1998-05-28 | 1999-05-28 | Index print producing method, image processing system, image processing method and image processing device |
| US10/409,312 US6954284B2 (en) | 1998-05-28 | 2003-04-09 | Index print producing method, image processing system, image processing method and image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16877698A JP3559451B2 (en) | 1998-06-16 | 1998-06-16 | Image processing method and image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000004352A JP2000004352A (en) | 2000-01-07 |
| JP3559451B2 true JP3559451B2 (en) | 2004-09-02 |
Family
ID=15874260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16877698A Expired - Fee Related JP3559451B2 (en) | 1998-05-28 | 1998-06-16 | Image processing method and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3559451B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8699760B2 (en) | 2008-09-16 | 2014-04-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
| JP5336798B2 (en) * | 2008-09-16 | 2013-11-06 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2010074312A (en) * | 2008-09-16 | 2010-04-02 | Canon Inc | Image processing apparatus and method, and program |
| JP5793975B2 (en) * | 2010-08-03 | 2015-10-14 | 株式会社リコー | Image processing apparatus, image processing method, program, and recording medium |
-
1998
- 1998-06-16 JP JP16877698A patent/JP3559451B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000004352A (en) | 2000-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6856707B2 (en) | Image processing method and apparatus | |
| US6747757B1 (en) | Image processing method and apparatus | |
| US7379591B2 (en) | Method and device for extracting specified image subject | |
| US20030189730A1 (en) | Index print producing method, image processing system, image processing method and image processing device | |
| US20030138143A1 (en) | Method and apparatus for correcting the density and color of an image and storage medium having a program for executing the image correction | |
| US6701007B1 (en) | Image processing device, image processing method, and recording medium for correcting color balance of output images | |
| JP3559451B2 (en) | Image processing method and image processing apparatus | |
| US7119923B1 (en) | Apparatus and method for image processing | |
| US6658163B1 (en) | Image processing method | |
| JP3501960B2 (en) | Image display control apparatus and method | |
| JPH11261832A (en) | Image processing method and image processor | |
| JPH11225270A (en) | Image processing method and image processor | |
| JP3825177B2 (en) | Image processing method | |
| JP3740150B2 (en) | How to create an index print | |
| JP3579249B2 (en) | Index print creation method and image processing system | |
| JP2000076428A (en) | Aberration correcting method | |
| JP3576812B2 (en) | Image processing apparatus and image processing method | |
| JP3451017B2 (en) | Image processing method and apparatus | |
| JP4063971B2 (en) | Image processing method and apparatus | |
| JP2000152067A (en) | Method and device for picture processing and recording medium | |
| JP2000078390A (en) | Image processing method and device | |
| JP3813713B2 (en) | Image processing device | |
| JP2000004351A (en) | Image processor | |
| JPH11239270A (en) | Image processing method and device | |
| JPH11331102A (en) | Photograph printing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040521 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |