[go: up one dir, main page]

JP6858265B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6858265B2
JP6858265B2 JP2019543545A JP2019543545A JP6858265B2 JP 6858265 B2 JP6858265 B2 JP 6858265B2 JP 2019543545 A JP2019543545 A JP 2019543545A JP 2019543545 A JP2019543545 A JP 2019543545A JP 6858265 B2 JP6858265 B2 JP 6858265B2
Authority
JP
Japan
Prior art keywords
signal
blue
coma
lens
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019543545A
Other languages
English (en)
Other versions
JPWO2019058981A1 (ja
Inventor
中村 和彦
和彦 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Kokusai Denki Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc, Kokusai Denki Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2019058981A1 publication Critical patent/JPWO2019058981A1/ja
Application granted granted Critical
Publication of JP6858265B2 publication Critical patent/JP6858265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は撮像装置に関し、例えば固体撮像素子を用いた撮像装置に関するものである。
CCD(Charge Coupled Device)撮像素子から出力された信号から雑音を除去するCDS(Correlated Double Sampling)と暗電流補正と利得可変増幅回路(Automatic Gain Control、以下、AGCという。)とデジタル映像信号(Vi)に変換するADC(Anal og Digital Converter)とを内蔵したAFE(Analog Front End)が普及し、AFEのADC階調は従来10ビットだったが、12ビットや14ビットや16ビットが一般化した。さらに駆動回路や読み出し回路を統合し高速読み出しを可能にしたCMOS(Compleme ntary Metal Oxicide Semiconductor)撮像素子の改良も進んできた。
さらにデジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリを集積するDSP(Digital Signal Processor)だけでなく、安価な汎用のFPGA(Field Programmable Gate Array)でも容易に実現できる様になった。
画素数が百万以上のメガピクセルカメラやHDTV(High Definition TeleVision)カメラや高速撮像HDTVカメラ、記録部付HDTVカメラ、Internet Protocol(以下IP)伝送部付HDTVカメラ、より高精細の4K(3840×2160)カメラや8K(7680×4320)カメラのUHDTV(Ultra High Definition TeleVision)、HDD(Hard Disk Drive)を用いた非圧縮の記録装置も製品化された。平面映像表示装置も、より高精細の4Kまたは8KのUHDTV表示やハイダイナミックレンジ(HDR)表示、高速表示、超薄型化が進んできている。
レンズの屈折率は光の波長によって異なるため、焦点距離も光の波長によって異なり、レンズの焦点距離が波長によって違うために色によって像面の位置が前後にずれる軸上色収差と、色によって像の倍率が異なり像の大きさが異なる倍率色収差が生じる。
また、入射点の光軸からの距離によって集光点の光軸方向の位置が変わる球面収差により画面全体の変調度が低下する。光軸外の1点から出た光が像面において1点に集束しないコマ(彗星状の)収差によりコマ(彗星)の様に放射線方向の片側に結像が広がるため、画面周辺では放射線方向の外側と内側とで輪郭の崩れ方が異なる。さらに、光軸外の1点から出た光線による同心円方向の像点と放射線方向の像点とがずれる非点収差により画面周辺で円周方向の輪郭の崩れ方と放射方向の輪郭の崩れ方が異なる。
球面収差は開口比(NA)の3乗に比例し、視野の広さとは無関係で、画面中心でも現れる唯一の収差であり、凹レンズの屈折率が凸レンズよりも高いと2枚構成のレンズダブレットとは単レンズより1桁以上球面収差が減少する。また、コマ収差は、口径比(F)の逆数のNAの2乗と視野の広さの1乗に比例し、画面周辺では放射線方向の外側と内側とで輪郭の崩れ方が異なる。また、非点収差は、NAの1乗と視野の広さの2乗に比例する。
レンズで集めた光が1点に集まらない現象が収差で,その中の球面収差とコマ収差を光学的に補正したのがアプラナート、さらに、光の波長の違いによる焦点位置のズレを、赤のC線(656.3nm)ならびに青のF線(486.1nm)の2ヶ所で光学的に補正したのが色消しレンズのアクロマートと呼ばれる。さらに紫のg線(435.8nm)を加え、3つの波長で光学的に(赤青のコマ収差の重心位置と緑のコマ収差の重心位置の差である)色収差が補正され、2つの波長で球面収差・コマ収差が光学的に補正されている等の条件を満たすものをアポクロマートとアッベが命名した。
球面収差が光学的に補正不足でアプラナートですらなく、画面中心でも変調度が低下するレンズはUHDTVには性能不足である。
ところで、光学的な収差補正方法の違いで残存収差は異なる。
中継によく用いられる高倍率ズームレンズは中間焦点距離なら2つの波長で光学的に球面収差・コマ収差を補正するのは容易だが、広角端や望遠端においても2つの波長で球面収差・コマ収差を光学的に補正するのは困難である。3つの波長で球面収差・コマ収差が光学的に補正されたレンズは、単焦点レンズや低倍率ズームレンズでも映画用レンズのように大型で高価となる。3つの波長で球面収差・コマ収差が光学的に補正された高倍率ズームレンズは、非常に大型で非常に高価となるので製品化されていない。
つまり、特別に考慮されているレンズ以外は、青の球面収差・コマ収差は光学的に補正されてはいない。
赤青のコマ収差の重心位置は個体差や絞りであまり変化しないため、赤青のコマ収差の重心位置を電子的に補正する倍率色収差の補正値は絞りであまり変化しない。しかし、赤青のコマ収差のフレア成分は絞り値に逆比例するので、赤青のコマ収差のフレア成分である色にじみも絞り値に逆比例する。また、レンズ個体差で赤青のコマ収差のフレア成分である色にじみもばらつく。画面左右で赤青のコマ収差のフレア成分である色にじみもばらつく。
つまり、赤青のコマ収差の重心位置と緑のコマ収差の重心位置の差である倍率色収差を電子的に補正しても赤青のコマ収差のフレア成分は電子的に補正できない。
また、コマ収差を補正するために、画面左右端で、左右非対称に輪郭補正を行っても、コマ収差のフレア成分である色にじみもばらつくため、補正効果が少ない。
また、コマ収差の重心位置のずれである倍率色収差を補正すると、コマ収差のフレア成分の色ずれがかえって目立つこともある。しかし、緑色の発光ダイオード(LED)の照明や交通信号を撮像することもある。
先行技術文献としては、例えば、各色映像信号の所定周波数以上の高周波成分信号を、それぞれ、上記各色映像信号の所定周波数以上の高周波成分信号を所定比率で混合した信号に置き換え、かつ、上記各色映像信号の高周波成分信号の混合を開始する周波数を、当該テレビジョンカメラ装置の光学系の色収差に応じて可変していた(特許文献1参照)。
さらに、軸上色収差により高輝度の点対称な周辺が紫色(赤+青)である場合に紫色をクリップしてカラーフリンジを抑制する提案もある(特許文献2参照)。また、軸上色収差により白とび画像の点対称な周辺に色つきのカラーフリンジを抑制する提案もある(特許文献3参照)。
特開平9−107553号公報 特開2007−133592号公報 特開2010−178226号公報
例えば、中間焦点距離では赤と緑で球面収差とコマ収差と色収差とを光学的に補正されているレンズでも、青ではコマ収差は光学的に補正不足で、被写体の縁の色にじみが目立つ。特に照明が直接撮像された場合に高輝度の照明の周辺で特に目立つ。
特許文献2のように、軸上色収差により高輝度の点対称な周辺が紫色(赤+青)である場合に紫色をクリップしてカラーフリンジを抑制しても、画面周辺で非対称なコマ収差によるカラーフリンジは抑制できない。また、特許文献3のように、軸上色収差により白とび画像の点対称な周辺に色つきのカラーフリンジを抑制しても、画面周辺で非対称なコマ収差によるカラーフリンジは抑制できない。
倍率色収差補正で青や赤の映像信号の収差の重心位置を緑の映像信号の収差の重心位置に合わせても、前後にコマ収差のフレア成分の色差が発生する。コマ収差のフレア成分は映像信号の重心位置に対して非対称なので、特許文献1に記載の技術を適用して青の高域を緑に置換しても、色差信号のピークに対しても非対称な成分が残る。
言い替えれば、高輝度な照明のコマ収差のフレア成分の裾野は広いので、各色映像信号の所定周波数以上の高周波成分信号を緑信号に置き換えても青の映像信号の低周波数成分が残り高輝度な照明のコマ収差のフレア成分が映像信号の画面上で目立ってしまう。前後に独立に緑輪郭補正信号を青に加算しても色差信号のピークに対しても非対称な成分が残り高輝度な照明のコマ収差のフレア成分が映像信号の画面上で目立ってしまう。
コマ(彗星)の様に放射線方向の片側に結像がフレア成分として広がるレンズのコマ収差のフレア成分である色にじみ特にコマ収差の大きい青の色にじみは、高輝度周辺で特に目立つ。
本発明の目的は、被写体の縁の青の色にじみであるレンズの青のコマ収差のフレア成分を高輝度周辺の映像信号上目立たなくする撮像装置を提供することである。
本発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。 すなわち、撮像装置は、(a)レンズと、(b)前記レンズのコマ収差情報を取得する手段と、(c)緑の映像信号レベルと青の色差信号レベルを検出する手段と、を有する。撮像装置は、さらに、(d)前記(b)手段で取得したコマ収差情報と前記(c)手段で検出した緑の映像信号レベルと青の色差信号レベルから、青の色差信号が負の所定値以上の高輝度周辺を左右に又は上下に非対称に緑輪郭補正信号を青に加算する手段と、(e)青信号と緑の低域通過信号との差を青の色差信号とする手段との少なくとも一つの手段を有する。
本発明によれば、映像信号の青色のコマ収差のフレア成分による色にじみを目立たなくした映像信号を出力可能となる。
実施例1に係る撮像装置の全体構成を示すブロック図 実施例1に係る撮像装置の青の色差信号が負の所定値以上の高輝度画素の非対称なコマ収差に係る輪郭前縁が大きく崩れている場合のフレア補正信号の信号処理を示す模式図 実施例1に係る撮像装置の青の色差信号が負の所定値以上の高輝度画素の非対称なコマ収差に係る輪郭前縁が大きく崩れている場合のフレア補正信号の信号処理を示す模式図 実施例1に係る撮像装置の青の色差信号が負の所定値以上の高輝度画素の非対称なコマ収差の青の水平フレア補正回路のブロック図 実施例1に係る撮像装置の青の色差信号が負の所定値以上の高輝度画素の非対称なコマ収差の青の水平フレア補正回路のブロック図 実施例2に係る撮像装置の青の色差信号が負の所定値以上の高輝度画素の非対称なコマ収差の青の水平フレア補正回路のブロック図 実施例2に係る撮像装置の青の色差信号が負の所定値以上の高輝度画素の非対称なコマ収差の青の水平フレア補正回路のブロック図 実施例1に係る撮像装置の高輝度画素の非対称なコマ収差に係る輪郭後縁が大きく崩れている場合のフレア補正信号の生成を説明するための模式図 実施例1に係る撮像装置の高輝度画素の非対称なコマ収差に係る輪郭前縁が大きく崩れている場合のフレア補正信号の生成を説明するための模式図
以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。
図1は実施例1に係る撮像装置を説明するためのブロック図である。
図1において、撮像装置本体3は、撮像部2、信号処理部4、画面位置制御部5、CPU(Central Processing Unit)部6で構成されている。
撮像装置本体3はレンズ部1と接続されて撮像装置100を構成している。レンズ部1は、緑赤青の色収差と緑赤の球面収差と緑赤のコマ収差とを光学的に補正しているが、青の球面収差と青のコマ収差とを補正していないアポクロマートレンズである。撮像装置100は、1K及び2K等のHDTV並びに4K及び8K等のUHDTV以上のテレビカメラや1M画素以上のネットワークカメラ等の高解像度撮像装置であり、16:9や2:1等のワイドアスペクトの高解像度撮像装置である。
画面位置制御部5は、CPU部6からレンズ部1のレンズ品種情報と焦点距離情報と口径比情報を取得し、映像信号の位置情報を水平同期信号(HD)と画素クロック(CKp)から取得し、R(赤)映像信号又はB(青)映像信号の映像レベルとG(緑)映像信号の映像レベルからフレア補正制御信号を生成する。
レンズ部1で収束された入射光は、撮像装置本体3の撮像部2により、撮像信号となり、CPU部6で制御される信号処理部4で信号処理される。撮像部2は色分解光学系と周辺回路を集積したCMOS撮像素子又は周辺回路を集積したCCD撮像素子、若しくはオンチップカラーフィルタを搭載し周辺回路を集積したCMOS撮像素子又はCCD撮像素子で構成される。信号処理部4はFPGA(Field Programmable Gate Array)で構成され、垂直輪郭補正、水平輪郭補正または斜め輪郭補正等のB(青色映像信号)又はR(赤色映像信号)の高輝度点のレベルに対応して画面中心からの距離に比例して、高輝度信号レベルに比例し青色差信号レベルに対応して周囲画素のコマ収差分の色差信号を補正する。コマ収差分の色差信号の補正機能は、個別輪郭強調可変緑信号加算と色差信号の帯域低減と色差信号の減衰である。
図2Aは実施例1の青の色差信号が負の所定値以上の高輝度画素の非対称なコマ収差に係る輪郭前縁が大きく崩れている場合のフレア補正信号の信号処理を示す模式図である。緑の輪郭補正信号を非対称に青の信号に加算する。緑のLEDでは緑の輪郭補正信号を青の信号に加算しない。負の所定値以上とは特に負ではなく、例えば−200%以上という。
図2Aにおいて、(a)はG映像信号(4dまたは4H遅延)、(b)はG映像信号の低周波数輪郭成分、(c)は画面左の緑輪郭前縁期間(NAM(0d,1d,2d,3d)−4d)、(d)は画面右の緑輪郭後縁期間(NAM(5d,6d,7d,8d)−4d)、(e)はB映像信号(4dまたは4H遅延)、(f)はB色差信号(4dまたは4H遅延)、(g)はB色差信号の−200%以下期間(0d−8dまたは0H−8H)である。
(h)は画面左端(上端)の前縁フレア補正有効期間で、水平有効期間の前半で、G映像信号の200%以上期間からB色差信号の−200%以下期間を引いた期間から4d(nd)前又は、垂直有効期間の前半で、G映像信号の200%以上期間からB色差信号の−200%以下期間を引いた期間から4H(nH)前である。
(i)は画面右端(下端)の後縁フレア補正有効期間で、水平有効期間の後半で、G映像信号の200%以上期間からB色差信号の−200%以下期間を引いた期間から4d(nd)後又は、垂直有効期間の後半で、G映像信号の200%以上期間からB色差信号の−200%以下期間を引いた期間から4H(nH)後である。
(j)はフレア補正係数で、コマ収差は絞りの逆数の2乗に比例し、中心からの距離(視野の広さ)に比例である。
(k)は輪郭補正係数で、フレア補正有効期間で、補正係数は絞りの逆数の2乗に比例し、中心からの距離(視野の広さ)に比例である。
(l)は画面左右端の負のフレア補正波形で、画面左端の前縁フレア補正有効期間と、画面右端の後縁フレア補正有効期間との負のG映像信号の低周波数輪郭成分である。
(m)は補正後のB映像信号で、B映像信号に画面左右端の負のフレア補正波形を加算した映像信号である。
そのため、図2A(a)に示すように白色の照明を撮像した画素はG映像信号が200%以上で、図2A(e)に示すようにB映像信号も200%以上であり、コマ収差分の緑の輪郭補正信号を非対称に青の信号に加算している。しかし、図2A(a)に示すように緑のLEDを撮像した画素はG映像信号が200%以上であるが、図2A(e)に示すようにB映像信号は100%以下であり、コマ収差分の緑の輪郭補正信号を非対称に青の信号に加算しないので、過補正による偽信号の発生がない。
また、緑のLEDはB色差レベル検出が必要だが、青のLEDと赤のLEDはB色差レベル検出が不要である。
次に、実施例1に係る撮像装置のフレア補正について図3Aと図3Bとを用いて説明する。図3Aは実施例1に係る赤又は青の水平フレア補正部のブロック図である。図3Bは実施例1に係る青又は赤の垂直フレア補正部のブロック図である。
水平フレア補正部14Hは緑の輪郭補正信号を非対称に青の信号に加算するが、緑のLEDでは緑の輪郭補正信号を青の信号に加算しない。水平フレア補正部14Hは図1の信号処理部4に内蔵されている。
図3Aに示すように、水平フレア補正部14Hは、画素遅延部D0〜D7,D10〜D17、加算器40〜47,54、負の乗算器N0〜N3,N5〜N8、正の乗算器P4、映像レベル判定部48,49,50、減算器61〜73、NAM(非加算混合器)51,52,53で構成されている。
R(赤)信号又はB(青)信号は、画素遅延部D10〜D17で遅延され、4画素分遅延された後(画素遅延部D13の出力信号(SD))に、加算器54でG(緑)信号から生成された水平フレア補正信号(SHF)が加算されて補正後R信号又は補正後B信号として出力される。
CPU部6は、レンズ品種情報(S1)と焦点距離情報(S2)と口径比情報(S3)から画面位置と左右独立可変輪郭補正制御の関係情報(水平画素番号と輪郭補正の補正量)(S4)を画面位置制御部5に出力する。
画素遅延部D10〜D17で遅延されたB信号と画素遅延部D0〜D7で遅延されたG信号との差分を減算器61〜73で作成し、NAM(非加算混合器)53で合成して映像レベル判定部50で、B色差信号の0d〜8dの−200%以下期間(S5)を算出する。そのため、0d〜3dの前縁と5d〜8dの後縁との水平画素カウンタは不要となる。
画素遅延部D0〜D3で遅延されたG信号をNAM(非加算混合器)51で合成した信号(S6)から4画素遅延されたG信号の4dを減算器61で差し引き、映像レベル判定部48でG信号の4dの200%以上の前縁期間(S7)を算出する。G信号の4dの200%以上の前縁期間(S7)からB色差信号の0d〜8dの−200%以下期間(S5)を減算器63で差し引き、画面左端の前縁フレア補正有効期間(S8)を算出し、画面位置制御部5に判定結果を出力する。
画素遅延部D5〜D7で遅延されたG信号をNAM(非加算混合器)52で合成した信号(S9)から4画素遅延されたG信号の4dを減算器62で差し引き、映像レベル判定部49でG信号の4dの200%以上の後縁期間(S10)を算出する。G信号の4dの200%以上の後縁期間か(S10)らB色差信号の0d〜8dの−200%以下期間(S5)を減算器64で差し引き、画面右端の後縁フレア補正有効期間(S11)を算出し、画面位置制御部5に判定結果を出力する。
画面位置制御部5は、映像レベル判定部49と映像レベル判定部48の判定結果に応じて負の乗算器N0〜N3を後縁フレア補正制御信号(S12)で制御し、負の乗算器N5〜N8と正の乗算器P4を前縁フレア補正制御信号(S13)で制御して水平フレア補正信号(SHF)を生成する。
垂直フレア補正部14Vは緑の輪郭補正信号を非対称に青の信号に加算するが、緑のLEDでは緑の輪郭補正信号を青の信号に加算しない。垂直フレア補正部14Vは図1の信号処理部4に内蔵されている。
図3Bに示すように、垂直フレア補正部14Vは、ラインメモリ部M0〜M7,M10〜M17、加算器40〜47,54、負の乗算器N0〜N3,N5〜N8、正の乗算器P4、映像レベル判定部48,49,50、減算器61〜73、NAM(非加算混合器)51,52,53で構成されている。
R(赤)信号又はB(青)信号は、ラインメモリ部M10〜M17で遅延され、4ライン遅延した後(ラインメモリ部M13の出力信号(SD))に、加算器54でG(緑)信号から生成された垂直フレア補正信号(SVF)が加算されて補正後R信号又は補正後B信号として出力される。
CPU部6は、レンズ品種情報(S1)と焦点距離情報(S2)と口径比情報(S3)から画面位置と左右独立可変輪郭補正制御の関係情報(水平画素番号と輪郭補正の補正量)(S4)を画面位置制御部5に出力する。
ラインメモリ部M10〜M17で遅延されたB信号とラインメモリ部M0〜M7で遅延されたG信号との差分を減算器61〜73で作成し、NAM(非加算混合器)53で合成して映像レベル判定部50で、B色差信号の0H〜8Hの−200%以下期間(S5V)を算出する。そのため、0H〜3Hの前縁と5H後〜8H後の後縁との走査線カウンタは不要となる。
ラインメモリ部M0〜M3で遅延されたG信号をNAM(非加算混合器)51で合成した信号(S6V)から4走査線遅延されたG信号4Hを減算器61で差し引き、映像レベル判定部48でG信号の4Hの200%以上の前縁期間(S7V)を算出する。G信号の4Hの200%以上の前縁期間(S7V)からB色差信号の0H〜8Hの−200%以下期間(S5V)を減算器63で差し引き、画面上端の前縁フレア補正有効期間(S8V)を算出し、画面位置制御部5に判定結果を出力する。
ラインメモリ部M5〜M7で遅延されたG信号をNAM(非加算混合器)52で合成した信号(S9V)から4走査線遅延されたG信号の4Hを減算器62で差し引き、映像レベル判定部49でG信号の4Hの200%以上の後縁期間(S10V)を算出する。G信号の4Hの200%以上の後縁期間(S10V)からB色差信号の0H〜8Hの200%以下期間を減算器64で差し引き、画面下端の後縁フレア補正有効期間(S11V)を算出し、画面位置制御部5に判定結果を出力する。
画面位置制御部5は、映像レベル判定部49と映像レベル判定部48の判定結果に応じて負の乗算器N0〜N3を後縁フレア補正制御信号(S12V)で制御し、負の乗算器N5〜N8と正の乗算器P4を前縁フレア補正制御信号で制御して垂直フレア補正信号(S13V)を生成する。
次に、輪郭後縁が大きく崩れている場合のフレア補正信号の生成について図4Aを用いて説明する。図4Aは輪郭後縁が大きく崩れている場合のフレア補正信号の生成を説明するための模式図である。
図4Aにおいて、(a)は補正前8d,8H,8d8H,0d8H,信号、(b)は補正前7d,7H,7d7H,1d7H,信号、(c)は補正前6d,6H,6d6H,2d6H,信号、(d)は補正前5d,5H,5d5H,3d5H,信号、(e)は補正前4d,4H,4d4H,4d4H,信号、(f)は補正前3d,3H,3d3H,5d3H,信号、(g)は補正前2d,2H,2d2H,6d2H,信号、(h)は補正前1d,1H,1d1H,7d1H,信号、(i)は補正前0d,0H,0d0H,8d0H,信号号、(j)は非対称独立輪郭補正後信号である。
図4Aにおいて、(e)補正前4d,4H,4d4H,4d4H,信号に対して、(a)補正前8d,8H,8d8H,0d8H,信号、(b)補正前7d,7H,7d7H,1d7H,信号、(c)補正前6d,6H,6d6H,2d6H,信号、(d)補正前5d,5H,5d5H,3d5H,信号と(f)補正前3d,3H,3d3H,5d3H,信号、(g)補正前2d,2H,2d2H,6d2H,信号、(h)補正前1d,1H,1d1H,7d1H,信号、(i)補正前0d0H,0d0H,8d0H,信号号、(j)非対称独立輪郭補正後信号と、を個別に減算することにより、補正後信号は垂直輪郭と水平輪郭とが放射線方向の外側と内側とそれぞれ個別に再生され、オーバーシュートやアンダーシュートがほとんどなく、放射線方向の外側と内側と個別に輪郭の後縁が劣化しても、放射線方向の外側と内側と個別に輪郭補正することができる。
次に、輪郭前縁が大きく崩れている場合のフレア補正信号の生成について図4Bを用いて説明する。図4Bは輪郭前縁が大きく崩れている場合のフレア補正信号の生成を説明するための模式図である。
図4Bにおいて、(a)は補正前8d,8H,8d8H,0d8H,信号、(b)は補正前7d,7H,7d7H,1d7H,信号、(c)は補正前6d,6H,6d6H,2d6H,信号、(d)は補正前5d,5H,5d5H,3d5H,信号、(e)は補正前4d,4H,4d4H,4d4H,信号、(f)は補正前3d,3H,3d3H,5d3H,信号、(g)は補正前2d,2H,2d2H,6d2H,信号、(h)は補正前1d,1H,1d1H,7d1H,信号、(i)は補正前0d0H,0d0H,8d0H,信号、(j)は非対称独立輪郭補正後信号である。
図4Bにおいて、(e)補正前4d,4H,4d4H,4d4H,信号、に対して、(a)補正前8d,8H,8d8H,0d8H,信号、(b)補正前7d,7H,7d7H,1d7H,信号、(c)補正前6d,6H,6d6H,2d6H,信号、(d)補正前5d,5H,5d5H,3d5H,信号と、(f)補正前3d,3H,3d3H,5d3H,信号、(g)補正前2d,2H,2d2H,6d2H,信号、(h)補正前1d,1H,1d1H,7d1H,信号、(i)補正前0d0H,0d0H,8d0H,信号、(j)非対称独立輪郭補正後信号と、を個別に減算することにより、補正後信号は垂直輪郭と水平輪郭とが放射線方向の外側と内側とそれぞれ個別に再生され、オーバーシュートやアンダーシュートがほとんどなく、放射線方向の外側と内側と個別に輪郭の前縁が劣化しても、放射線方向の外側と内側と個別に輪郭補正することができる。
したがって、実施例に係る撮像装置は、以下を備える。(a)レンズ部1の品種情報と焦点距離情報と口径比情報等のレンズ情報から、レンズ部1の放射線方向の中心向きの輪郭の縁の崩れ方と外向きの輪郭の縁の崩れ方が異なることに対応して画面位置とフレア補正制御の関係情報(水平画素番号と垂直走査線番号と補正量)を作成する手段(CPU部6);(b)上記(a)手段で作成したフレア補正制御の関係情報と水平同期信号と画素クロック(による水平画素カウンタからの水平画素番号)から、映像信号に対応する画素の画面中心からの距離(水平画素数をHとし水平画素番号をhとしてh−H/2)に比例して図3Aの水平フレア補正の左(5d〜8dの輪郭)と右(0d〜3dの輪郭)とで補正量を個別に算出し、図3Bの垂直フレア補正の上(5H〜8H)の輪郭と下(0H〜3H)の輪郭とで補正量とを個別に算出し、補正量を個別に行う手段(加算器40〜47,54、映像レベル判定部48,49,50、NAM(非加算混合器)51,52,53、減算器61〜73、ラインメモリ部M0〜M7,M10〜M17、画素遅延部D0〜D7,D10〜D17、負の乗算器N0〜N3,N5〜N8、正の乗算器P4)。
これにより、オーバーシュートやアンダーシュートを押さえた放射線方向の外側と内側と個別に輪郭の前縁または後縁のコマ収差のフレア成分を個別に補正した映像信号を出力可能となる。
本実施例では、フレア補正回路の減算器やラインメモリ部や画素遅延部の個数は7個の例について説明したが、7個に限定されるものではなく、回路規模が許容されるなら、7個より多い自然数でも構わない。加算器やラインメモリ部や画素遅延部の個数が7個以上でない場合はフレア補正が対称となるように、加算器やラインメモリ部や画素遅延部の個数は偶数が好ましい。つまり、フレア補正を簡易で済ませる場合は、フレームメモリから読み出す個数は4個や6個が好ましい。
実施例2について図2B、3C、3Dを用いて説明する。以下、実施例1との相違点のみについて説明する。
図2Bは実施例2に係る撮像装置の青の色差信号が負の所定値以上の高輝度画素の非対称なコマ収差に係る輪郭前縁が大きく崩れている場合のフレア補正信号の信号処理を示す模式図である。負の所定値以上とは特に負ではなく、例えば−200%以上をいう。緑の非対称LPF(Low-pass filter)出力を青の信号から減算して色差信号とする。GのLEDではGのLPFをかけない。
実施例1の図2Aと実施例2の図2Bとの相違は、実施例1の図2Aでは補正色差用G信号(水平フレア補正信号(SHF)、垂直フレア補正信号(SVF))を加算して補正後色信号を生成するが、実施例2の図2Bでは補正色差用G信号(水平フレア補正色差用G信号(SHFG)、垂直フレア補正色差用G信号(SVFG))を減算して補正後色差信号を生成する。
実施例2の図2Bにおいて、(a)はG映像信号で、左から白色照明、青のLED、白色照明、緑のLED、赤のLED、白色照明である。(b)は画面左の緑輪郭前縁期間で(NAM(0d,1d,2d,3d)−4d)である。(c)は画面右の緑輪郭後縁期間で(NAM(5d,6d,7d,8d)−4d)である。(d)はB映像信号で青のコマ収差のフレア分の広がりである。(e)はB色差信号でB映像信号−G映像信号である。(f)は0d−8dのB色差信号の絶対値200%以下期間である。(g)色帯域低減有効期間で、(b)の画面左の緑輪郭前縁期間で(NAM(0d,1d,2d,3d)−4d)と(c)の画面右の緑輪郭後縁期間で(NAM(5d,6d,7d,8d)−4d)の和と、(f)の0d−8dのB色差信号の絶対値200%以下期間の積である。(h)はG映像信号の非対称LPF出力で青のコマ収差のフレア分の広がり相当分の非対称低周波数成分である。(i)はG映像信号の非対称LPF出力をB映像信号から減算した青の色差信号(PB)で、青のコマ収差のフレア分の広がり相当分を補正してある。
また、緑のLEDはB色差レベル検出必要だが、青のLEDと赤のLEDはB色差レベル検出不要である。
図3Cは実施例2に係る赤又は青の水平フレア補正部のブロック図である。図3Dは実施例2に係る青又は赤の垂直フレア補正部のブロック図である。水平フレア補正部14Hおよび垂直フレア補正部14Vは、緑の非対称LPF出力を青の信号から減算して色差信号とするが、緑のLEDではG映像信号にLPFをかけない。
また、実施例1の図3A図3Bと実施例2の図3C図3Dとの相違は、実施例1の図3A図3Bでは補正色差用G信号を加算して補正後色信号を生成し、実施例2の図3C図3Dでは補正色差用G信号を減算して補正後色差信号を生成する。そのため、実施例1の図3A図3Bでは、負の乗算器のN0〜N3,N5〜N8と正の乗算器P4であるのに対し、実施例2の図3C図3Dでは、正の乗算器P0〜P8である。
実施例1および実施例2(本実施例)をまとめると下記となる。
(1)本実施例の撮像装置は、1K及び2K等のHDTV並びに4K及び8K等のUHDTV以上のテレビカメラや1M画素以上のネットワークカメラ等の高解像度撮像装置であり、緑赤青の色収差と緑赤の球面収差と緑赤のコマ収差とを光学的に補正しているが、青の球面収差と青のコマ収差とを補正していないアポクロマートレンズ(レンズ)を有する。本実施例の撮像装置は、(a)レンズのコマ収差情報を取得する手段と、(b)取得したコマ収差情報から、青のコマ収差が多く緑赤のコマ収差が少ないことを活用して、緑の映像信号レベルと青の色差信号レベルを検出する手段と、を有する。本実施例の撮像装置は、さらに、(c)(a)手段で取得したコマ収差情報と(b)手段で検出した緑の映像信号レベルと青の色差信号レベルから、青の色差信号が例えば−200%以上と特に負ではない高輝度周辺を左右に又は上下に非対称に緑輪郭補正信号を青に加算する手段と、(d)青信号と緑の低域通過信号との差を青の色差信号とする手段との少なくとも一つの手段を有する。
(2)上記(1)の撮像装置は、16:9や2:1等のワイドアスペクトの高解像度撮像装置であり、上記(c)手段は、レンズの品種情報と口径比情報と青の倍率色収差情報とを取得し、青のコマ収差のフレア成分情報として、レンズの品種情報と口径比情報と青の倍率色収差情報とから算出した青のコマ収差の重心位置である青の倍率色収差情報を使用するか又は高輝度の周辺の画素の画面中心からの距離とレンズの焦点距離とに比例させるかのいずれか一方を行う。
(3)本実施例に係る撮像装置はワイドアスペクトの高解像度撮像装置である。本実施例に係る撮像装置は、(a)レンズと、(b)レンズの品種情報と焦点距離情報と口径比情報とを取得する手段と、(c)レンズの焦点距離と口径比とに対応したコマ収差情報を取得する手段(CPU部6)と、(d)多画素遅延と、(e)上記(b)手段で取得したレンズの光学系品種情報と焦点距離情報と口径比情報と上記(c)手段で取得したコマ収差情報から作成した制御の関係情報と水平同期信号と画素クロック(による水平画素カウンタからの水平画素番号)から、映像信号に対応する画素の画面中心からの距離(水平画素数をHとし水平画素番号をhとしてh−H/2)に比例して画素の画面中心からの距離に対応して左と右と非対称な範囲で青の色差信号を減衰する手段と、(f)水平同期信号と画素クロックとから映像信号の画面位置のタイミングを検出する手段(水平画素カウンタ含む画面位置制御部)と、(g)緑の映像信号レベルと青の色差信号レベルを検出する手段と、を有する。本実施例に係る撮像装置は、さらに(h)上記(f)手段で検出した映像信号の画面位置のタイミングから算出した映像信号の画素の画面中心からの距離に対応して左と右と非対称な範囲で、上記(c)手段で取得したコマ収差情報と上記(b)手段で検出した緑の映像信号レベルと青の色差信号レベルから、青の色差信号が例えば−200%以上と特に負ではない高輝度周辺を左右に非対称に左右に非対称な強度に緑輪郭補正信号を青に加算する手段と、(i)青信号とを緑の低域通過信号の差を青の色差信号とする手段との少なくとも一つを有する。
(4)本実施例の撮像装置は、1K及び2K等のHDTV並びに4K及び8K等のUHDTV以上のテレビカメラや1M画素以上のネットワークカメラ等の高解像度撮像装置であり、緑赤青の色収差と緑赤の球面収差とコマ収差を光学的に補正した青の球面収差とコマ収差を補正していないアポクロマートレンズ(レンズ)を用いている。その撮像装置における本実施例の撮像方法は、(a)レンズのコマ収差情報を取得し、(b)青のコマ収差が多く緑赤のコマ収差が少ないことを活用して、映像信号の彩度を検出し、(c)上記(a)で取得したコマ収差情報から、多画素遅延を用い、(c1)白に近く青の色差信号が特に負ではない高輝度周辺を左右に又は上下に非対称に緑輪郭補正信号を青に加算することと、(c2)青信号と緑の低域通過信号との差を青の色差信号とすることとの少なくとも一つ行う。
(5)上記(4)の撮像装置が16:9や2:1等のワイドアスペクトの高解像度撮像装置であり、上記(4)撮像方法において、(d)レンズの品種情報と口径比情報と青の倍率色収差情報とを取得し、(e)青のコマ収差のフレア成分情報として、(d)で取得したレンズの品種情報と口径比情報と青の倍率色収差情報とから算出した青のコマ収差の重心位置である青の倍率色収差情報又は高輝度の周辺の画素の画面中心からの距離とレンズの焦点距離とに比例させ、白に近く青の色差信号が特に負ではない高輝度周辺を少なくとも左右に非対称に緑輪郭補正信号を青に加算することと、青信号と緑の低域通過信号との差を青の色差信号とすることとの少なくとも一つ行う。
本実施例の撮像装置では、画面端で青または赤のコマ収差のフレア成分による色にじみが多いレンズを用いても、青のコマ収差のフレア分の広がり相当分の青の色差信号を減衰することにより、レンズの青のコマ収差のデータの精度が不完全でもレンズコマ収差の広がるフレア成分にばらつきがあっても、映像信号の通常振幅レベルにおいても青色のコマ収差のフレア成分による色にじみを目立たなくした映像信号を出力可能となる。輝度信号を生成する信号にはLPFを通過させないので、輝度信号の解像度を高く維持することができる。
上述したように、アポクロマートレンズは3つの波長で赤青のコマ収差の重心位置と緑のコマ収差の重心位置の差である倍率色収差が補正され、2つの波長で球面収差・コマ収差が補正されているが、視野角の1乗に比例する青色のコマ(彗星状の)収差のフレア成分が残存する。また、高倍率ズームレンズ又は汎用のズームレンズの広角端や望遠端に青色のコマ収差のフレア成分がある。
本実施例の撮像装置では、青色のコマ収差のフレア成分のために、中心方向と遠ざかる方向とで、被写体の縁の青色のコマ収差のフレア成分による色にじみが著しい映像信号しか撮像素子から出力されなくても、青色のコマ収差のフレア成分による色にじみに相当する分量だけ、色差信号を生成するG信号の被写体の縁の内外のLPFを独立に可変し、レンズの青のコマ収差のデータの精度が不完全でもレンズコマ収差の広がるフレア成分にばらつきがあっても、映像信号の通常振幅レベルにおいても青色のコマ収差のフレア成分による色にじみを目立たなくすることができる。輝度信号を生成するG信号にはLPFを通過させないし減衰させないので、輝度信号の解像度を高く維持することができる。
その結果、本実施例の撮像装置において青色のコマ収差のフレア成分による色にじみを映像信号の通常振幅レベルにおいても目立たなくした解像度は高い解像度を維持した映像信号を出力可能となる。
そのため、特に横長画面の2KのHDTVや4K,8KのUHDTVにおいて、レンズコマ収差の広がるフレア成分にばらつきがあっても高輝度の片側に色付きが発生するのを防止し、高品位な中継を実現することが可能となる。特に、2/3型の99倍等の高倍率ズームレンズの広角端や望遠端や、2/3型のポータブル広角ズームレンズの広角端や望遠端で有効である。さらに、監視用の高画素対応の高倍率ズームレンズの広角端や望遠端や監視用の高画素対応のバリフォーカル(焦点距離を可変すると焦点も可変するため変調度は高いが収差は大きい)レンズの全焦点距離で有効である。または高域の輝度信号に青も用いて光学LPFなしでもモアレ低減を実現し、普及価格のUHDTVを製品化することが可能となる。
また、横長画面の4K,8KのUHDTVの手術への応用において、手術顕微鏡のズームレンズにコマ収差のフレア成分があっても、メス等の鏡面金属からの照明反射による白とび画像の周辺に色つきも映像信号上目立たなくし、UHDTV用の手術顕微鏡の小型化と低価格化を実現する。
また、横長画面の4K,8KのUHDTVの天体観測や人工衛星からの地表観測への応用において、望遠鏡のレンズコマ収差のフレア成分があっても、星または照明の直接光や鏡面金属からの太陽光反射による白とび画像の周辺に色つきも映像信号上目立たなくし、UHDTV用の望遠鏡の小型化と低価格化を実現する。
また、レンズの青のコマ収差のデータの精度が不完全でもレンズコマ収差の広がるフレア成分にばらつきがあっても、高倍率ズームレンズ又はポータブル広角ズームレンズ又は汎用のズームレンズ又は手術顕微鏡のズームレンズの広角端や望遠端の青色のコマ収差のフレア成分、若しくはバリフォーカルレンズで撮像した高輝度な被写体の縁の青色のコマ収差のフレア成分による非対称な色にじみも、低彩度の高輝度画素の周辺の非対称な青の色差の処理により映像信号上目立たなくし、より高解像度である4Kや8Kといったカメラにおいて、色分解光学系とRGBの3板式のカメラ又は色分解光学系とRGGBの4板式のカメラ又はRGGBのベイヤー配列のオンチップカラーフィルタの撮像素子を用いた単板カメラにおいて、高倍率ズームレンズ又はポータブル広角ズームレンズ又は汎用のズームレンズ又は手術顕微鏡のズームレンズ又はバリフォーカルレンズを含むカメラ全体の小型化と低価格化を実現する。
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。また本発明は固体撮像素子を用いた撮像装置に有用である。この出願は、2017年9月25日に出願された日本出願特願2017−183198を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
1:レンズ部2:撮像部3:撮像装置4:信号処理部5:画面位置制御、6:CPU部20〜27,33,40〜47,54:加算器48,49,50:映像レベル判定部51,52,53:NAM(非加算混合器)61〜74::減算器M0〜M7,M10〜M17:ラインメモリ部D0〜D7,D10〜D17:画素遅延部N0〜N3,N5〜N8:負の乗算器P0〜P8:正の乗算器

Claims (3)

  1. 16:9または2:1のアスペクトを有するワイドアスペクトの撮像装置であって、
    (a)レンズと、(b)前記レンズのコマ収差情報を取得する手段と、(c)緑の映像信号レベルと青の色差信号レベルを検出する手段と、を有し、
    さらに、(d)前記(b)手段で取得したコマ収差情報と前記(c)手段で検出した緑の映像信号レベルと青の色差信号レベルから、青の色差信号が負の所定値以上の高輝度周辺を左右に又は上下に非対称に緑輪郭補正信号を青に加算する手段と、を有し、
    前記(d)手段は、青のコマ収差のフレア成分情報として、レンズの品種情報と口径比情報と青の倍率色収差情報とから算出した青のコマ収差の重心位置である青の倍率色収差情報を使用するか又は青の色差信号が負の所定値以上の高輝度の周辺の画素の画面中心からの距離とレンズの焦点距離とに比例させるかのいずれか一方を行う撮像装置。
  2. 16:9または2:1のアスペクトを有するワイドアスペクトの撮像装置であって、
    (a)レンズと、(b)前記レンズの品種情報と焦点距離情報と口径比情報とを取得する手段と、(c)前記レンズの焦点距離と口径比とに対応したコマ収差情報を取得する手段と、(d)多画素遅延と、(e)前記(b)手段で取得したレンズの品種情報と焦点距離情報と口径比情報と前記(c)手段で取得したコマ収差情報から作成した制御の関係情報と水平同期信号と画素クロックとから、映像信号に対応する画素の画面中心からの距離に比例して画素の画面中心からの距離に対応して左と右と非対称な範囲で青の色差信号を減衰する手段と、(f)前記水平同期信号と前記画素クロックとから映像信号の画面位置のタイミングを検出する手段と、(g)緑の映像信号レベルと青の色差信号レベルを検出する手段と、を有し、
    さらに、(h)前記(f)手段で検出した映像信号の画面位置のタイミングから算出した映像信号の画素の画面中心からの距離に対応して左と右と非対称な範囲で前記取得したコマ収差情報と前記(g)手段で検出した緑の映像信号レベルと青の色差信号レベルから、青の色差信号が負の所定値以上の高輝度周辺を左右に非対称に緑輪郭補正信号を青に加算する手段と、を有する撮像装置。
  3. 請求項1または2に記載の撮像装置において、
    前記撮像装置は、1Kまたは2KのHDTV、4Kまたは8KのUHDTV以上のテレビカメラ、若しくは1M画素以上のネットワークカメラである高解像度の撮像装置。
JP2019543545A 2017-09-25 2018-09-06 撮像装置 Active JP6858265B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017183198 2017-09-25
JP2017183198 2017-09-25
PCT/JP2018/032988 WO2019058981A1 (ja) 2017-09-25 2018-09-06 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2019058981A1 JPWO2019058981A1 (ja) 2020-10-01
JP6858265B2 true JP6858265B2 (ja) 2021-04-14

Family

ID=65811277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019543545A Active JP6858265B2 (ja) 2017-09-25 2018-09-06 撮像装置

Country Status (2)

Country Link
JP (1) JP6858265B2 (ja)
WO (1) WO2019058981A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020615B2 (ja) * 2006-12-08 2012-09-05 キヤノン株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP6456001B2 (ja) * 2015-03-20 2019-01-23 株式会社日立国際電気 撮像装置及び撮像方法
JP6602390B2 (ja) * 2015-09-28 2019-11-06 株式会社日立国際電気 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JPWO2019058981A1 (ja) 2020-10-01
WO2019058981A1 (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
CN101685534B (zh) 图像处理设备和图像处理方法
JP5349790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US8436910B2 (en) Image processing apparatus and image processing method
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
RU2557067C1 (ru) Устройство обработки изображения и способ управления для устройства обработки изображения
US7480452B2 (en) System and method for image capturing
JP2003032695A (ja) 画像信号処理装置
JP2007174277A (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
WO2017043097A1 (ja) 撮像システム、画像処理方法、画像処理プログラム、記録媒体
JP6456001B2 (ja) 撮像装置及び撮像方法
US9995931B2 (en) Method for correcting contour distortions of lenses
US20150146046A1 (en) Solid-state imaging device, digital camera, and image processing method
JP5419749B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6858265B2 (ja) 撮像装置
JP2012134745A (ja) 画像信号処理装置
JP6602390B2 (ja) 撮像装置及び撮像方法
JP2018121239A (ja) 撮像装置及び撮像方法
JP2005130241A (ja) 画像信号処理装置及び画像信号処理方法
JP6886026B2 (ja) 撮像装置
Marchenko et al. Analysis of Problems in Spatial Characteristics of Small-Format Cameras for Applied Television
JP6422500B2 (ja) 撮像装置及び撮像方法
JP5333163B2 (ja) 撮像装置
JP2009201077A (ja) 撮像装置及び画像データの補正方法
JP6437766B2 (ja) 撮像装置及び撮像方法
JP2021016085A (ja) 撮像システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210323

R150 Certificate of patent or registration of utility model

Ref document number: 6858265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350