JP3790911B2 - 電子内視鏡装置 - Google Patents
電子内視鏡装置 Download PDFInfo
- Publication number
- JP3790911B2 JP3790911B2 JP09105697A JP9105697A JP3790911B2 JP 3790911 B2 JP3790911 B2 JP 3790911B2 JP 09105697 A JP09105697 A JP 09105697A JP 9105697 A JP9105697 A JP 9105697A JP 3790911 B2 JP3790911 B2 JP 3790911B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- circuit
- output
- video signal
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 57
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000001444 catalytic combustion detection Methods 0.000 description 69
- 230000015654 memory Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 21
- 230000010355 oscillation Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000004899 c-terminal region Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 102100040862 Dual specificity protein kinase CLK1 Human genes 0.000 description 1
- 102100040844 Dual specificity protein kinase CLK2 Human genes 0.000 description 1
- 101000749294 Homo sapiens Dual specificity protein kinase CLK1 Proteins 0.000 description 1
- 101000749291 Homo sapiens Dual specificity protein kinase CLK2 Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 244000145845 chattering Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、固体撮像素子を駆動して被写体像の光電変換を行う撮像手段を備えた電子内視鏡装置に関する。
【0002】
【従来の技術】
近年、体腔内等の観察部位に挿入部を挿入し、ライトガイドファイバ束等の照明光伝送手段により照明光を伝送して挿入部先端より観察部位に照射することで、観察部位の像を得て、観察部位の観察及び処置を行う内視鏡装置が広く普及している。
【0003】
この内視鏡装置の一つに、挿入部の先端に固体撮像素子、例えばCCDを配設し、観察部位の像を対物光学系で撮像面に結像させて電気信号に変換し、この電気信号を信号処理することでモニタ等に観察部位の画像を表示させたり、情報記録装置等に画像データとして記憶させることのできる電子内視鏡装置がある。
【0004】
本出願人は例えば特願平8−133631号において、2線読み出しCCDを備えた内視鏡が接続可能な電子内視鏡装置を提案している。この2線読み出しCCDは、駆動周波数を低くするために水平転送レジスタを2本有し、水平方向の奇数番目に位置する信号電荷と水平方向の偶数番目に位置する信号電荷とを別々の水平転送レジスタにて同時に転送し、1水平転送期間内に2ラインの水平転送レジスタから奇数番目の信号電荷と偶数番目の信号電荷とを別々に読み出すものである。この構成のCCDにおいては、信号電荷を電圧に変換するFDA(フローティングディフュージョンアンプ)等の出力系にゲインばらつきを有すると、そのばらつきが水平転送レジスタ間の出力信号のレベル差ばらつき、つまり奇数番目と偶数番目との出力信号のレベル差ばらつきとなってしまう。この出力レベル差はモニタ上の内視鏡画像に縦縞となって現れるため、画質劣化の原因となっている。
【0005】
従って、この出力レベル差を補正するために、従来はアナログ回路上に設けたトリマ抵抗にて、アンプゲインを調整してレベルばらつきの補正を行っていた。また、信号処理回路にて縦縞の繰り返しの周波数を減衰させるフィルタ処理を行い、縦縞の発生を解消することも行われていた。
【0006】
【発明が解決しようとする課題】
しかしながら、上記従来の電子内視鏡装置では、CCDの出力レベル差に個体間ばらつきが生じると、信号処理回路において出力信号のレベル差が生じてしまう。また、信号処理回路にてフィルタ処理を行うことにより、周波数特性の高域部分に特性の劣化を生じ、出力画像の解像度の低下を招いてしまうという問題点があった。
【0007】
本発明は、上記事情に鑑みてなされたもので、補正のための回路を追加することなく、固体撮像素子の個体間及びチャンネル間のレベル差の補正を確実に行うことができ、かつ出力画像の画質劣化を防ぐことが可能な電子内視鏡装置を提供することを目的としている。
【0008】
【課題を解決するための手段】
本発明による電子内視鏡装置は、複数チャンネル読み出し型の固体撮像素子を備えた内視鏡を着脱自在に接続し、前記固体撮像素子で得られた映像信号の信号処理を行う信号処理回路を有する電子内視鏡装置において、前記固体撮像素子より読み出された複数系統の映像信号をそれぞれデジタル信号に変換するA/D変換器と、前記複数系統のデジタル映像信号の値をそれぞれ調整するレベル調整手段と、前記複数系統のデジタル映像信号における所定要素の値に基づき前記レベル調整手段の調整量をそれぞれ独立に制御する制御手段と、を備えたものである。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1ないし図6は本発明の第1実施形態に係り、図1は電子内視鏡装置の映像信号処理系の構成を示すブロック図、図2はクランプ回路の動作波形を示す波形図、図3はOBクランプ回路の構成を示すブロック図、図4はCCDにおけるOB部のサブサンプリングを示す説明図、図5はCCDにおける映像部のサブサンプリングを示す説明図、図6はOBクランプ回路の動作波形を示す波形図である。
【0010】
図1に示すように本実施形態の電子内視鏡装置1は、先端に固体撮像素子を備え体腔内等を観察する内視鏡2と、この内視鏡2からの出力信号を電気的に処理するためのカメラコントロールユニット(以下、CCUと記載する)3と、観察部位を照明するためのR,G,Bの面順次照明光を内視鏡2に設けられた図示しないライトガイドに供給する図示しない光源装置と、CCU3からの標準フォーマットのテレビジョン信号を画像表示するための図示しないモニタとを有して構成されている。
【0011】
内視鏡2は、CCU3に対して着脱自在に接続され、先端に固体撮像素子としてのCCD4を有しており、光源装置からライトガイドを通じて観察部位に照射されるR,G,Bの面順次照明光に応じた被写体像を電気信号に変換し、R,G,Bの各色成分の信号を得るようになっている。
【0012】
また、内視鏡2にはスコープ種類を判別するためのスコープID信号を出力するスコープID回路5が設けられ、搭載したCCD4の種類に応じたスコープID信号がCCU3に送られるようになっている。CCD4には画素数の異なる複数種が存在し、電子内視鏡装置ではこれら複数種のCCD4を搭載した複数種の内視鏡2がCCU3に接続されて用いられる。
【0013】
スコープID回路5は、CCU3の患者回路と2次回路との間を絶縁状態で信号伝送するフォトカプラ35に接続され、スコープID回路5からのスコープID信号がフォトカプラ35を介して2次回路側のCPU34に送られる。CPU34には、ROM33と、フォトカプラ29を介して患者回路側のROM27とが接続されており、CPU34は前記スコープID信号を基にCCDの種類を判別し、CCD判別信号を2次回路側のROM33と患者回路側のROM27に送る。
【0014】
CCU3の患者回路側には、ROM27,同期信号発生回路(以下、SSGと記載する)26,水晶発振器(以下、CXOと記載する)28,CCDドライブ回路(DRV)25が設けられ、SSG26の出力を基にCCDドライブ回路25によりCCD4の種類に応じたCCD駆動信号が生成されるようになっている。2次回路側には、ROM33,SSG32,可変水晶発振器(以下、VCXOと記載する)31,位相同期回路(以下、PLLと記載する)30が設けられ、PLL30で患者回路側と2次回路側との位相同期がとられた状態でSSG32により信号処理用の各種タイミング信号が生成されるようになっている。
【0015】
SSG26,SSG32は、FPGA(Field Programmable Gate Array )にて構成される同期信号発生回路であり、CPU34からのCCD判別信号により選択されるROM27,ROM33内のFPGAのプログラムデータによってそれぞれCCDの種類に応じた内部回路配線が定義される。
【0016】
SSG26はCXO28からのクロックにより駆動タイミング信号を発生し、CCDドライブ回路25はこの駆動タイミング信号を基にCCD駆動信号を生成してCCD4に対して供給する。SSG32はVCXO31からのクロックにより信号処理用の各種タイミング信号を発生し、CCU3の2次回路側の各回路ブロックに供給する。
【0017】
内視鏡2の先端に配置されたCCD4は、複数系統例えば2系統の水平転送レジスタを有する複数チャンネル例えば2チャンネル読み出し型のものであり、CCD駆動信号に基づいて被写体像を電気信号に変換し、水平方向の奇数画素目を一方の水平転送レジスタ、偶数画素目を他方の水平転送レジスタからそれぞれ出力する。この2系統のCCD出力信号は、CCU3に設けられた同一の2系統の信号処理回路にて処理される。なお、このCCD出力信号は、R,G,Bの面順次照明光により得られた各色成分の信号となっており、R,G,Bの各色成分の信号が時系列的にCCU3に送られる。
【0018】
CCU3には、2系統の信号処理回路として、プリアンプ6a,6b、アンプ8a,8b、CDS回路9a,9b、ローパスフィルタ(LPF)10a,10b、クランプ回路11a,11b、A/D変換器12a,12b、OBクランプ回路13a,13b、デジタル乗算器14a,14b、ラインメモリ15a,15bが設けられ、患者回路側のプリアンプ6a,6bと2次回路側のアンプ8a,8bとがアイソレーショントランス7a,7bにより絶縁されている。
【0019】
2系統のCCD出力信号は、患者回路側のプリアンプ6a,6bにより増幅され、アイソレーショントランス7a,7bを介して2次回路側のアンプ8a,8bに送られて増幅される。一方のアンプ8bの出力はPLL30にも送られ、PLL30によって2次回路側のVCXO31が発生するクロックと患者回路側のCXO28が発生するクロックとの間で位相同期が掛けられる。アンプ8a,8bの出力はCDS回路9a,9bによりベースバンド帯域に変換され、ローパスフィルタ10a,10bでナイキスト周波数以上の周波数成分が除去される。
【0020】
ローパスフィルタ10a,10bの出力はクランプ回路11a,11bによりアナログクランプされた後、A/D変換器12a,12bによりデジタル映像信号に変換される。デジタル映像信号はOBクランプ回路13a,13bによりデジタルクランプされ、後段のレベル調整手段としてのデジタル乗算器14a,14bによってCPU34から送られる乗算係数を基に映像信号のホワイトバランス補正が行われる。デジタル乗算器14a,14bの出力はラインメモリ15a,15bに同時に書き込まれて交互に読み出され、これによって、2系統のデジタル映像信号における奇数画素目の水平転送レジスタ出力と偶数画素目の水平転送レジスタ出力が元の順序に並べ替えられ、1系統のデジタル映像信号として出力される。
【0021】
ラインメモリ15a,15bの後段には、輪郭強調回路16、拡大処理回路17、同時化メモリ18、リニアマトリクス回路19、ガンマ(γ)補正回路20、動画メモリ21、静止画メモリ22、D/A変換器23、75Ωドライブ回路(75ΩDRV)24が設けられ、標準フォーマットのテレビジョン信号としてモニタに出力されるようになっている。
【0022】
前記ラインメモリ15a,15bの出力のデジタル映像信号は、輪郭強調回路16により輪郭成分の強調が行われ、拡大処理回路17でモニタ上に表示される内視鏡画像の大きさに応じた拡大率で電子拡大処理が行われる。同時化メモリ18には、拡大処理回路17から出力されるR,G,Bの各色成分の面順次デジタル映像信号が時系列的に書き込まれ、R,G,Bの同時化信号として読み出される。同時化メモリ18の出力はリニアマトリクス回路19により色変換が行われ、ガンマ補正回路20によりガンマ補正がなされる。ガンマ補正回路20の出力は動画メモリ21,静止画メモリ22を通してD/A変換器23に送られてアナログ映像信号に変換される。D/A変換器23によってアナログR,G,B信号に変換された映像信号は75Ωドライブ回路24を通してインピーダンスマッチングがとられた後、図示しないモニタに送られる。
【0023】
次に、このように構成された本実施形態の電子内視鏡装置1における主要部の作用を説明する。
【0024】
図2はクランプ回路11a,11bの動作波形の状態を示したものである。図2において、基準電圧Vref のトップ及びボトムは、後段のA/D変換器12a,12bのリファレンス電圧のトップ及びボトムである。クランプ回路11a,11bにおけるアナログのクランプ電位は、図中破線で示すようにA/D変換器12a,12bのリファレンス電圧のボトムより高く設定している。このクランプ電位が映像信号のOBレベル(CCDのOB部の出力レベル)となっている。従って、クランプ回路11a,11bにより、ローパスフィルタ10a,10bの出力信号は映像信号のOBレベルが設定されたクランプ電位にクランプされる。
【0025】
一般に、光源装置内の回転フィルタに装着されているR,G,Bフィルタは、各色成分の透過率が異なるため、図2に示すようにCCD出力信号はR,G,Bの各色成分に振幅の差を生じてしまう。また、原色の被写体を撮像した場合も同様である。このようなCCD出力信号の各色成分の振幅が大きく異なるような場合、クランプされたOBレベルは各色成分の信号振幅に影響を受け、ずれを生じてしまう。
【0026】
そこで、本実施形態ではOBクランプ回路13a,13bによって各色毎のOBレベルの平均値を求めてデジタル的にクランプを行うことにより、各色成分の振幅のばらつきによる影響をなくすようにする。
【0027】
クランプ回路11a,11bの出力はA/D変換器12a,12bでデジタル信号に変換されてOBクランプ回路13a,13bに入力される。OBクランプ回路13a,13bは、図3に示すように、OBレベル平均手段36、データラッチ手段37、減算器38、映像レベル平均手段39を有して構成される。
【0028】
OBクランプ回路13a,13bでは、まずOBレベル平均手段36において、図4に示すように、デジタル映像信号のOB部の期間をサブサンプリングし、1画面分のOBレベル平均値を各色毎に算出する。図4の例のように、100画素(H)×100画素(V):映像部,10画素(H)×100画素(V):OB部のCCDの場合、各チャンネル毎に半分の水平方向の画素数の出力がある。ここでは、4画素(H)×64画素(V)だけOB部の出力がサブサンプリングされ、各色毎にOBレベルの加算平均が行われる。
【0029】
次いで、データラッチ手段37において、前記算出された各色毎のOBレベル平均値がラッチタイミング信号に基づいて次の同色成分の面順次信号がOBクランプ回路13a,13bに入力するまでホールドされ、減算器38によって、この入力された1周期後の同色成分面順次信号から前記データラッチ手段37で保持したOBレベル平均値が減算される。
【0030】
このとき、各色成分毎のOBレベルはA/D変換器12a,12bのリファレンス電圧のボトムに一致し、このOBレベルでデジタル的にクランプが行われることになる。これにより、映像信号の各色成分の振幅のばらつきに影響されないクランプが可能である。
【0031】
図6にOBクランプ回路13a,13bの動作波形を示す。図6ではOBクランプ回路の入力信号及び出力信号をアナログ的に表記している。OBレベル平均手段36で入力信号の各色毎のOBレベルの平均値を求めてデータラッチ手段37で各色成分出力の1周期だけOBレベル平均値を保持し、減算器38で1周期後の同色成分の面順次信号からデータラッチ手段37の出力を減算することにより、A/D変換器12a,12bのリファレンス電圧のボトムに一致したOBレベルでデジタル的にクランプが行われ、出力信号として後段のデジタル乗算器14a,14bに送られる。
【0032】
さらに、映像レベル平均手段39において、図5に示すように、前記減算器38出力(クランプ後の映像信号)の映像部の期間をサブサンプリングし、1画面分の映像信号平均値を各色毎に算出する。図5の例では、64画素(H)×64画素(V)だけ映像部の出力がサブサンプリングされ、各色毎に映像信号レベルの加算平均が行われる。この映像信号平均値は、R,G,Bの各色について時系列的にCPU34に送られる。
【0033】
図示しない操作スイッチ等によりホワイトバランス補正の指令がCPU34に対して行われると、CPU34は、OBクランプ回路13a,13bから時系列的に送られる2系統のR,G,Bの映像信号平均値を例えば8周期の期間ごとに平均し、これら各色の平均値の逆数の比を算出してホワイトバランス補正係数をそれぞれの系統毎に決定する。また、OBクランプ回路13aの出力から算出したG信号の映像信号平均値と、OBクランプ回路13bの出力から算出したG信号の映像信号平均値の逆数の比を求め、チャンネル間のレベル差を補正するためのレベル差補正係数を決定する。
【0034】
前記OBクランプ回路13a,13bの出力は、それぞれデジタル乗算器14a,14bに入力され、ここでホワイトバランス補正及びチャンネル間レベル差補正のための乗算処理が行われる。デジタル乗算器14a,14bには、前記CPU34で求められたホワイトバランス補正係数及びレベル差補正係数に基づく乗算係数が与えられる。このとき、デジタル乗算器14aには、OBクランプ回路13aから出力された映像信号平均値を基に算出されたホワイトバランス補正係数が乗算係数として与えられ、デジタル乗算器14bには、OBクランプ回路13bから出力された映像信号平均値を基に算出されたホワイトバランス補正係数に2系統の映像信号平均値より算出されたレベル差補正係数を乗した値が乗算係数として与えられる。
【0035】
このように、デジタル乗算器14a,14bにおいて前記乗算係数でそれぞれ乗算処理を行うことにより、2系統の映像信号の各色成分毎の平均値に応じてホワイトバランス補正を行うのと同時に、チャンネル間の映像信号の出力レベルのばらつき補正を行うことができる。
【0036】
本実施形態では、内視鏡を付け替える毎に必ず行うホワイトバランス補正時において、2チャンネル読み出し型CCDの各チャンネル出力の所定期間内の映像信号平均レベルを算出し、一方のチャンネルの映像信号平均レベルを他方のチャンネルの映像信号平均レベルに一致させるようなレベル差補正係数を求める。またこれと同時に、各チャンネル毎のR,G,B各色成分の映像信号平均レベルを算出し、この結果よりホワイトバランス補正を行うためのホワイトバランス補正係数を求める。ホワイトバランス補正を行う2つのレベル調整手段のうち、一方のレベル調整手段には、一方のチャンネルの映像信号平均レベルから算出したホワイトバランス補正係数を、他方のレベル調整手段には、他方のチャンネルの映像信号平均レベルから算出したホワイトバランス補正係数にレベル差補正係数を乗じたものを入力する。これにより、ホワイトバランス補正を行うと同時に両チャンネル間のレベル差補正を行う。
【0037】
内視鏡検査中は、内視鏡の先端部より金属製の処置具を延出させて患部の処置を行ったり、レーザー照射を行うことがある。このような場面、つまり過度の反射光が画面上に存在する画像や、スポット状の輝点が画面上に存在する画像を撮像した場合では、各画素間に入力する光量の差が大きく、2系統のCCDの出力段に転送される電荷量自体に差が生じてしまう。このような状況下においてレベル差補正係数を求めると、映像信号の平均レベルが偏って正確な補正係数が求められない場合がある。また、照明光量が不足している場合では、補正係数算出時の計算誤差が大きくなり、十分な精度のチャンネル間レベル差補正を行うことができない。
【0038】
これに対し、ホワイトバランス補正は、内部が白色のホワイトバランス補正用筒の中に内視鏡の先端を挿入し、照明光量が適正な状態のもとで一様な輝度の画像を撮像して得られた映像信号を基に行うため、2チャンネルそれぞれの所定期間内の映像信号平均値レベルは殆ど同じとなる。故に本実施形態では、ホワイトバランス補正時に、ホワイトバランス補正係数を求めると同時にレベル差補正係数を求めて、チャンネル間の映像信号の出力レベルのばらつき補正を行うようにしている。
【0039】
以上のように第1実施形態によれば、ホワイトバランス補正を行うのと同時に各チャンネル間の出力レベル差の補正を行うことで、複数系統の出力を有するCCDを使用する場合において、チャンネル間の出力レベル差を補正するための回路を特に追加する必要がなく、出力レベルの補正を確実に行うことができ、画質の向上を図ることができる。また、映像信号の比較的安定したホワイトバランス補正時の2系統の出力を利用することで、安定した精度の良い補正を行うことができる。
【0040】
なお、本実施形態の応用例として、ホワイトバランス補正を行うデジタル乗算器の代わりに、AGC(オートゲインコントロール)回路や色調調整回路に用いるデジタル乗算器を用いて出力レベル差の補正を行っても良い。
【0041】
図7ないし図9は本発明の第2実施形態に係り、図7はCCUに設けられる発振回路の構成を示すブロック図、図8はCCUに設けられる位相同期発振回路の構成を示すブロック図、図9は信号処理回路のローパスフィルタ周辺の部分構成を示すブロック図である。
【0042】
第2実施形態は、図1に示した第1実施形態のCCUにおいて、CCDの種類に応じて回路特性の切換えを行う部分の構成を変更したものである。具体的には、図1のCXO28、PLL30及びVCXO31、ローパスフィルタ10a,10bの部分の変形例を図7ないし図9に示す。なお、他の部分に関しては第1実施形態と同様であるため、構成及び動作の説明を省略する。
【0043】
前述したように、内視鏡2の先端に配設されるCCD4は、画素数の違いにより複数種類のものが存在する。通常画素数のCCDと高解像用の多画素数のCCDでは、駆動信号及び駆動周波数が異なっている。第1実施形態と同様に、内視鏡に設けられたスコープID回路5から出力されるスコープID信号に応じて、CPU34により搭載されたCCD4の種類が判別され、この判別結果に応じてCCU3内の回路特性が切り換えられる。
【0044】
図7に前記CXO28の代わりとなる発振回路の構成を示す。発振回路101は、通常画素数のCCD用の駆動周波数のクロックを出力するCXO102と、多画素数のCCD用の駆動周波数のクロックを出力するCXO103とを有しており、これらのCXO102,103の電源端子にはそれぞれ出力イネーブル端子を有するレギュレータ104,105が接続されている。CXO102,103の出力端はセレクタ106に接続されており、セレクタ106の出力がSSG26に供給されるようになっている。
【0045】
CPU34からのCCD判別結果に応じて、適宜セレクタ106でCXO102,103のいずれかの出力が選択され、CCDの画素数に適合した駆動用クロックがSSG26に送られる。このとき、レギュレータ104,105の出力イネーブル端子にはCCD判別結果に基づいて制御信号が送られ、出力が選択されていない方のCXOの発振出力を停止する構成となっている。
【0046】
図8に前記PLL30及びVCXO31の代わりとなる位相同期発振回路の構成を示す。位相同期発振回路108は、CCD出力信号から駆動周波数の基本波成分を抜き出すために、通常画素数のCCD駆動周波数用のバンドパスフィルタ(BPF)109と、多画素数のCCD駆動周波数用のバンドパスフィルタ110とを有しており、これらのバンドパスフィルタ109,110の出力端はセレクタ111に接続されている。セレクタ111の出力端には位相比較器112,ローパスフィルタ113が順に接続され、ローパスフィルタ113の後段には、通常画素数のCCDの駆動周波数と同一周波数のクロックCLK1を発生するVCXO114と、多画素数のCCDの駆動周波数と同一周波数のクロックCLK2を発生するVCXO115とが並列に設けられている。VCXO114,115の出力端はセレクタ116に接続され、セレクタ116の出力がSSG32に供給されると共に、位相比較器112にフィードバックされるようになっている。
【0047】
CPU34からのCCD判別結果に応じて、適宜セレクタ111でバンドパスフィルタ109,110のいずれかの出力が選択され、CCDの画素数に適合した駆動周波数の基本波成分が位相比較器112の一方の入力端子に送られる。また、CCD判別結果に応じて適宜セレクタ116でVCXO114,115のいずれかの出力が選択され、CCDの画素数に適合した駆動周波数と同一周波数のクロックがSSG32に送られると共に、位相比較器112の他方の入力端子にフィードバックされる。
【0048】
図9に前記ローパスフィルタ10a,10bの代わりに複数のローパスフィルタを設けた信号処理回路の部分構成を示す。CCU3の信号処理回路において、CDS回路9a,9bの後段には、通常画素数のCCD用のローパスフィルタ118と、多画素数のCCD用のローパスフィルタ119とが設けられており、これらのローパスフィルタ118,119の出力端はセレクタ120に接続され、セレクタ120の出力端がクランプ回路11a,11bに接続されている。
【0049】
CPU34からのCCD判別結果に応じて切り換えられるCCDの駆動周波数とA/D変換器12a,12bのサンプリング周波数の違いにより、適宜セレクタ120でローパスフィルタ118,119のいずれかの出力が選択され、CCDの画素数に適合した駆動周波数及びナイキスト周波数に対応するフィルタ処理が行われる。
【0050】
従って、第2実施形態によれば、異なる種類のCCDが搭載されている内視鏡を使用する際に、回路特性の切換えを行う構成を最小限にすることが可能である。また、大地の電位に対してフローティングされている患者回路内に配設されている複数のCXOのうち、使用していないCXOの発振を止めることにより、不要輻射等のEMC性能を高めることができる。
【0051】
第2実施形態における回路特性の切り換え動作、あるいは第1実施形態におけるFPGAにて構成された同期信号発生回路の内部回路の定義は、内視鏡着脱時のチャタリングにより異なるCCD判別結果検出がなされて誤った回路特性の切り換え及びFPGAの内部回路の誤定義を行ってしまうおそれを防ぐため、CCD判別結果が確定された後、例えば十分に時間が経過した後に、CCD判別結果に基づく回路特性の切り換え及びFPGAの内部回路の定義を行うことが望ましい。
【0052】
図10ないし図13は本発明の第3実施形態に係り、図10はCCU内の信号処理回路における拡大処理回路の構成を示すブロック図、図11は映像信号の拡大処理を説明する作用説明図、図12は垂直方向の拡大処理のタイミングチャート、図13は水平方向の拡大処理のタイミングチャートである。
【0053】
第3実施形態は、図1に示した第1実施形態のCCUにおいて、信号処理回路における拡大処理回路17の構成及び動作を示したものである。
【0054】
輪郭強調回路16から出力された映像信号は、拡大処理回路17の入力段に設けられたフレームメモリ40に書き込まれる。フレームメモリ40では、後述するRE1信号により映像信号が拡大率に応じて間欠的に読み出される。フレームメモリ40から読み出された映像信号は、後段のラインメモリ41,42に後述するWE1信号,WE2信号に応じてライン毎に振り分けて記憶される。このラインメモリ41,42の出力はFPGAにて構成される演算回路43に入力される。
【0055】
拡大処理回路17には図示しない水平カウンタ及び垂直カウンタが存在する。垂直カウンタ出力の垂直アドレスはROMで構成されるVKROM44に、水平カウンタ出力の水平アドレスは同じROMで構成されるHKROM45に入力され、垂直アドレスに応じてVKROM44ではWE信号,ABSEL信号が生成され、水平アドレスに応じてHKROM45ではRE信号,CE信号が生成されて出力される。WE信号,ABSEL信号,RE信号は、これらの信号に基づいて演算回路43内のフリップフロップ及び論理回路によってRE1信号,WE1信号,WE2信号が生成され、CE信号は演算回路43内の制御信号として用いられる。
【0056】
ラインメモリ41,42から読み出された2系統の映像信号は、演算回路43に入力されて内部のフリップフロップ(以下、FFと記載する)46,47を経由した後、同じくFF48を経由したABSEL信号によって、インバータ及び加算器にて構成される減算器49のA端子,B端子のいずれかに選択的に入力される。減算器49の出力結果(B−A)信号及び桁上がり符号は、それぞれFF50,51を経由して演算回路43から一時出力される。
【0057】
VKROM44は、WE信号,ABSEL信号を出力すると共に垂直係数アドレスVCを出力する。この垂直係数アドレスVC及び演算回路43から出力された(B−A)信号は、それぞれFF52,53を経由してROMで構成されたVROM54にて乗算され、FF55及び演算回路43内のFF56を経由して加算器57の一方の入力端に入力される。また、減算器49のB端子入力信号は、時間合わせのFF58〜61を経由して加算器57の他方の入力端に入力される。
【0058】
加算器57の出力はFF62に入力され、FF62を出力した信号はインバータ及び加算器にて構成される減算器63のD端子に入力される。また、FF62を出力した信号は、FF64を経由したCE信号による出力イネーブル端子を持つFF65で適宜ホールドされ、減算器63のC端子に入力される。減算器63の出力結果(D−C)信号及び桁上り符号は、それぞれFF66,67を経由して演算回路43から一時出力される。
【0059】
HKROM45は、RE信号,CE信号を出力すると共に水平係数アドレスHCを出力する。この水平係数アドレスHC及び演算回路43から出力された(D−C)信号は、それぞれFF68,69を経由してROMで構成されたHROM70にて乗算され、FF71及び演算回路43内のFF72を経由して加算器73の一方の入力端に入力される。また、減算器63のC端子入力信号は、時間合わせのFF74〜77を経由して加算器73の他方の入力端に入力される。加算器73の出力はFF78を経由して演算器43から出力され、同時化メモリ18に送られる。
【0060】
VKROM44及びHKROM45から出力されるWE信号,ABSEL信号,RE信号は、演算回路43内のFF48,79,80を経由した後、論理回路によって論理演算がなされ、この論理演算結果がそれぞれRE1信号,WE1信号,WE2信号としてFF81,82,83から出力される。
【0061】
次に、上記のように構成された拡大処理回路17の入力段のメモリ部の動作を説明する。フレームメモリ40に記憶された映像信号は、RE1信号に応じてフレームメモリ40から順次読み出される。読み出された映像信号は、WE1信号,WE2信号に応じてラインメモリ41,42に振り分けられ、後段の垂直拡大回路部に拡大率に応じたパターンで送られる。
【0062】
ここで、ラインメモリ41,42から読み出される映像信号について説明する。簡単のために4画素(H)×4画素(V)の映像信号を5画素(H)×5画素(V)に拡大する場合について述べる。本実施形態では、拡大処理として直線補間を行っており、図11に示すように、垂直方向に直線補間を行い4画素(H)×5画素(V)に変換した後に、水平方向に直線補間を行い5画素(H)×5画素(V)に拡大する。
【0063】
垂直方向の直線補間後の映像信号Y(m,n)は、以下の(1)式で表すことができる。
【0064】
ここで、垂直方向の直線補間を行うためには、あるラインの映像信号を複数回読み出す必要がある。これはフレームメモリ40から読み出した映像信号をラインメモリ41,42に格納し、これらを複数回読み出すことで対応している。2個のラインメモリのうち一方には奇数ラインの映像信号が、他方には偶数ラインの映像信号が書き込まれるようにWE1信号,WE2信号によって書き込み制御され、同時にこれらの信号が読み出される。
【0065】
垂直方向に拡大した後、水平方向に直線補間して拡大を行う。水平方向の直線補間後の映像信号Z(m,n)は、以下の(2)式で表すことができる。
【0066】
ここで、水平方向の直線補間を行うためには、ある画素の映像信号を複数回読み出す必要がある。これはフレームメモリ40から映像信号を読み出す際に、RE1信号を制御して信号をホールドした状態のままラインメモリ41,42に書き込むことで実現している。
【0067】
次いで演算回路43の動作を説明する。ラインメモリ41,42から読み出された映像信号は演算回路43に入力され、まず垂直拡大回路部において垂直方向の拡大処理が行われる。垂直方向及び水平方向の拡大を行う直線補間は、以下の(3)式で表すことができる。
Y(m,n)=α×X(i,j)+β×X(k,l) …(3)
【0068】
ここで、
α+β=1 …(4)
であるから、(3)式は以下のように変形できる。
【0069】
拡大処理回路17内の図示しない垂直カウンタの出力は、ROMで構成されたVKROM44に入力される。このVKROM44は、垂直カウンタの出力の垂直アドレスを参照アドレスとして、垂直方向のライン位置に応じて垂直補間係数αと、ラインメモリ41,42へ送るWE1信号,WE2信号を生成するためのWE信号及びラインメモリ41,42のどちらの出力が奇数ラインか偶数ラインかを判別するためのABSEL信号とがテーブルとして書き込まれている。また、このVKROM44内には接続される内視鏡2に搭載されたCCD4の種類に応じて前記テーブルが複数書き込まれており、第1実施形態で述べたCCD判別結果に基づくCCDセレクト信号により、これらのテーブルの選択が行われる。
【0070】
演算回路43内部では、ラインメモリ41,42から読み出された映像信号の減算処理(X(i,j)−X(k,l))が行われ、この減算結果はVROM54に入力される。2つのラインメモリ出力のどちらをX(i,j),X(k,l)に当てはめるかはABSEL信号によって選択実行される。VROM54には、VKROM44から出力されるコード化された垂直補間係数αと映像信号の減算結果との乗算を行うテーブルが書き込まれている。VROM54の出力は、演算回路43に戻され、時間合わせのため遅延されたX(k,l)と加算され垂直方向の拡大処理が行われる。
【0071】
図12に垂直拡大回路部のタイミングチャートを示す。ここでは垂直方向に4/3倍の拡大を行う場合を示している。
【0072】
VKROM44に入力される垂直アドレスに応じて、WE信号,ABSEL信号が出力され、これらの信号を基にWE1信号,WE2信号が生成される。このWE1信号,WE2信号に応じてラインメモリ41,42に映像信号が書き込まれ、1ライン遅延した後に出力される。このラインメモリ41,42の出力信号を基に、垂直拡大回路部において上記数式で示される直線補間が行われる。
【0073】
垂直拡大回路部において垂直方向に拡大された映像信号は、次いで水平拡大回路部において水平方向の拡大処理が行われる。
【0074】
拡大処理回路17内の図示しない水平カウンタの出力は、ROMで構成されたHKROM45に入力される。このHKROM45は、水平カウンタの出力の水平アドレスを参照アドレスとして、水平方向の画素の位置に応じて水平補間係数α′と、フレームメモリ40へ送るRE1信号を生成するためのRE信号及び水平方向に映像信号をホールドするためのCE信号とがテーブルとして書き込まれている。また、このHKROM45内には接続される内視鏡2に搭載されたCCD4の種類に応じて前記テーブルが複数書き込まれており、CCD判別結果に基づくCCDセレクト信号により、これらのテーブルの選択が行われる。
【0075】
演算回路43内部では、垂直方向拡大後の映像信号Y(m,n)の減算処理(Y(i,j)−Y(k,l))が行われ、この減算結果はHROM70に入力される。垂直方向拡大後の映像信号は、フレームメモリ40から読み出される時点で、ある画素の信号はホールドされ複数回読み出された形になっている。この読み出しのタイミングに応じて、減算結果をCE信号で更新する。HROM70には、HKROM45から出力されるコード化された水平補間係数α′と映像信号の減算結果との乗算を行うテーブルが書き込まれている。HROM70の出力は、演算回路43に戻され、時間合わせのため遅延されたY(k,l)と加算され水平方向の拡大処理が行われる。
【0076】
図13に水平拡大回路部のタイミングチャートを示す。ここでは水平方向に13/10倍の拡大を行う場合を示している。
【0077】
HKROM45に入力される水平アドレスに応じて、RE信号,CE信号が出力され、これらの信号とABSEL信号を基にRE1信号が生成される。このRE1信号に応じてフィールドメモリ40から映像信号が読み出され、ラインメモリ41,42で1ライン遅延した後に出力され、垂直拡大回路部により垂直方向に拡大された後に水平拡大回路部に送られる。またこの垂直方向に拡大された映像信号は、CE信号による出力イネーブル端子を持つFF65に送られる。前記垂直方向に拡大された映像信号とCE信号により出力制御されるFF65の出力信号を基に、水平拡大回路部において上記数式で示される直線補間が行われる。
【0078】
垂直方向及び水平方向の拡大処理を行う回路において、前記(3)式に示したY(m,n)=α×X(i,j)+β×X(k,l)による直線補間を行う場合、従来の構成では2種類の補間係数α及びβを発生させるための2種類のROMを設ける必要があった。また、α×X(i,j)とβ×X(k,l)の演算を行うための2種類のROMも必要となる。これに対して本実施形態の回路構成を持つ拡大処理回路では、補間係数αを発生させる1種類のROMと、α×(X(i,j)−X(k,l))の演算を行う1種類のROMとにより拡大処理が行うことができる。
【0079】
従って、第3実施形態によれば、垂直方向及び水平方向の拡大処理を行う回路を配設した信号処理回路において、補間係数を発生させるROM、あるいは演算を行うROMの個数を少なくすることが可能であり、回路規模の削減及びコストの低下を図ることが可能である。
【0080】
[付記]
(1) 複数チャンネル読み出し型の固体撮像素子を備えた内視鏡を着脱自在に接続し、前記固体撮像素子で得られた映像信号の信号処理を行う信号処理回路を有する電子内視鏡装置において、
前記固体撮像素子より読み出された複数系統の映像信号をそれぞれデジタル信号に変換するA/D変換器と、
前記複数系統のデジタル映像信号の値をそれぞれ調整するレベル調整手段と、
前記複数系統のデジタル映像信号における所定要素の値に基づき前記レベル調整手段の調整量をそれぞれ独立に制御する制御手段と、
を備えたことを特徴とする電子内視鏡装置。
【0081】
(2) 前記制御手段は、前記複数系統のデジタル映像信号における所定期間内のそれぞれの平均レベルに基づいて前記レベル調整手段の調整量を制御することを特徴とする付記1に記載の電子内視鏡装置。
【0082】
(3) 前記レベル調整手段はホワイトバランス補正回路であることを特徴とする付記1に記載の電子内視鏡装置。
【0083】
(4) 前記制御手段は、前記複数系統のデジタル映像信号における所定期間内のそれぞれの映像信号平均レベルよりレベル差補正係数を算出すると共に、前記各デジタル映像信号における所定期間内の各色成分の映像信号平均レベルよりホワイトバランス補正係数を算出し、これらのレベル差補正係数とホワイトバランス補正係数に基づいて前記ホワイトバランス補正回路の補正量を制御することを特徴とする付記3に記載の電子内視鏡装置。
【0084】
(5) 前記レベル調整手段は色調調整回路であることを特徴とする付記1に記載の電子内視鏡装置。
【0085】
(6) 前記レベル調整手段はAGC(オートゲインコントロール)回路であることを特徴とする付記1に記載の電子内視鏡装置。
【0086】
(7) 映像信号を信号処理する信号処理回路において、
前記映像信号の画素位置に応じたアドレスを発生するアドレス発生回路と、
前記アドレスに応じて補間係数及び遅延制御信号を発生するROMと、
前記遅延制御信号に基づき前記映像信号を遅延させる遅延回路と、
前記遅延回路の出力と前記映像信号との差分を演算する減算回路と、
前記補間係数と前記減算回路の差分出力との乗算を行う乗算回路と、
前記乗算回路の出力と前記映像信号とを加算する加算回路と、を有してなり、
前記映像信号の画素の電子拡大処理を行う拡大処理回路を備えたことを特徴とする信号処理回路。
【0087】
【発明の効果】
以上説明したように本発明によれば、補正のための回路を追加することなく、固体撮像素子の個体間及びチャンネル間のレベル差の補正を確実に行うことができ、かつ出力画像の画質劣化を防ぐことが可能となる効果がある。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る電子内視鏡装置の映像信号処理系の構成を示すブロック図
【図2】クランプ回路の動作波形を示す波形図
【図3】OBクランプ回路の構成を示すブロック図
【図4】CCDにおけるOB部のサブサンプリングを示す説明図
【図5】CCDにおける映像部のサブサンプリングを示す説明図
【図6】OBクランプ回路の動作波形を示す波形図
【図7】第2実施形態に係るCCUに設けられる発振回路の構成を示すブロック図
【図8】第2実施形態に係るCCUに設けられる位相同期発振回路の構成を示すブロック図
【図9】第2実施形態に係る信号処理回路のローパスフィルタ周辺の部分構成を示すブロック図
【図10】第3実施形態に係るCCU内の信号処理回路における拡大処理回路の構成を示すブロック図
【図11】映像信号の拡大処理を説明する作用説明図
【図12】垂直方向の拡大処理のタイミングチャート
【図13】水平方向の拡大処理のタイミングチャート
【符号の説明】
2…内視鏡
3…カメラコントロールユニット(CCU)
4…CCD
5…スコープID回路
10a,10b…ローパスフィルタ(LPF)
11a,11b…クランプ回路
13a,13b…OBクランプ回路
14a,14b…デジタル乗算器
15a,15b…ラインメモリ
17…拡大処理回路
34…CPU
36…OBレベル平均手段
37…データラッチ手段
38…減算器
39…映像レベル平均手段
Claims (1)
- 複数チャンネル読み出し型の固体撮像素子を備えた内視鏡を着脱自在に接続し、前記固体撮像素子で得られた映像信号の信号処理を行う信号処理回路を有する電子内視鏡装置において、
前記固体撮像素子より読み出された複数系統の映像信号をそれぞれデジタル信号に変換するA/D変換器と、
前記複数系統のデジタル映像信号の値をそれぞれ調整するレベル調整手段と、
前記複数系統のデジタル映像信号における所定要素の値に基づき前記レベル調整手段の調整量をそれぞれ独立に制御する制御手段と、を具備し、
前記レベル調整手段は、ホワイトバランス補正回路を含んで構成され、
前記制御手段は、前記複数系統のデジタル映像信号における第1の所定期間内のそれぞれの映像信号平均レベルよりレベル差補正係数を算出すると共に、前記各デジタル映像信号における第2の所定期間内の各色成分の映像信号平均レベルよりホワイトバランス補正係数を算出し、これらのレベル差補正係数とホワイトバランス補正係数に基づいて、前記ホワイトバランス補正回路の補正量を制御することを特徴とする電子内視鏡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09105697A JP3790911B2 (ja) | 1997-04-09 | 1997-04-09 | 電子内視鏡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09105697A JP3790911B2 (ja) | 1997-04-09 | 1997-04-09 | 電子内視鏡装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH10276976A JPH10276976A (ja) | 1998-10-20 |
| JPH10276976A5 JPH10276976A5 (ja) | 2005-02-10 |
| JP3790911B2 true JP3790911B2 (ja) | 2006-06-28 |
Family
ID=14015858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09105697A Expired - Fee Related JP3790911B2 (ja) | 1997-04-09 | 1997-04-09 | 電子内視鏡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3790911B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6791615B1 (en) | 1999-03-01 | 2004-09-14 | Canon Kabushiki Kaisha | Image pickup apparatus |
| EP1198127A1 (en) | 2000-10-12 | 2002-04-17 | Canon Kabushiki Kaisha | Signal difference correction of picture signals read from multiple readout type image sensing device |
| JP3813961B2 (ja) * | 2004-02-04 | 2006-08-23 | オリンパス株式会社 | 内視鏡用信号処理装置 |
| JP2006034573A (ja) * | 2004-07-27 | 2006-02-09 | Pentax Corp | 内視鏡光源システム |
| JP2007194899A (ja) * | 2006-01-19 | 2007-08-02 | Matsushita Electric Ind Co Ltd | 映像信号クランプ回路 |
| JP4886335B2 (ja) * | 2006-03-30 | 2012-02-29 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2009189529A (ja) * | 2008-02-14 | 2009-08-27 | Fujinon Corp | 内視鏡用プロセッサ装置 |
| US20130006055A1 (en) | 2008-07-30 | 2013-01-03 | Acclarent, Inc. | Swing prism endoscope |
| JP5863428B2 (ja) * | 2011-12-05 | 2016-02-16 | Hoya株式会社 | 電子内視鏡スコープ、ホワイトバランス調整方法、電子内視鏡システム、ホワイトバランス調整治具 |
| JP5639289B2 (ja) * | 2012-08-07 | 2014-12-10 | オリンパスメディカルシステムズ株式会社 | 走査型内視鏡装置 |
-
1997
- 1997-04-09 JP JP09105697A patent/JP3790911B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10276976A (ja) | 1998-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7355625B1 (en) | Endoscopic imaging system and endoscope system | |
| US5818527A (en) | Image processor for correcting distortion of central portion of image and preventing marginal portion of the image from protruding | |
| JP3448169B2 (ja) | 全画素読出し式電子内視鏡装置 | |
| JP2000231062A (ja) | 内視鏡装置 | |
| JP4175711B2 (ja) | 撮像装置 | |
| JP5123443B2 (ja) | 信号処理装置及び静止画生成方法 | |
| JP5458223B1 (ja) | 撮像装置 | |
| JPH0318684B2 (ja) | ||
| JPH06105805A (ja) | 内視鏡撮像装置 | |
| JP3790911B2 (ja) | 電子内視鏡装置 | |
| JP4217313B2 (ja) | 電子内視鏡装置 | |
| TW201223268A (en) | Imaging apparatus, signal processing method, and program | |
| JP2000342533A (ja) | 内視鏡装置 | |
| JPH06315463A (ja) | 電子内視鏡装置 | |
| JP2002372662A (ja) | 交換レンズ及びそれを有するカメラシステム | |
| JP2001145099A (ja) | 内視鏡装置及び内視鏡システム | |
| US20040212707A1 (en) | Image pick-up apparatus | |
| JP2001069499A (ja) | 内視鏡システム | |
| JP2003204929A (ja) | 内視鏡装置 | |
| JP3337489B2 (ja) | 撮像システム | |
| JP2001212079A (ja) | 内視鏡装置 | |
| JPH11150687A (ja) | 撮像装置 | |
| KR102203598B1 (ko) | 엑스선 영상 신호 처리 장치 및 방법 | |
| JP3137191B2 (ja) | 画像処理装置 | |
| JP2010046220A (ja) | 内視鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060322 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |