JP5360589B2 - 画像撮像装置 - Google Patents

Description

本発明は、車両に搭載して用いられる車載カメラなどの画像撮像装置に係り、詳しくは、ＮＴＳＣ方式出力の画像撮像装置に関する。

一般に車載カメラは、ＮＴＳＣ方式の表示装置などに合わせるために、ＣＭＯＳセンサなどの撮像素子により、撮影コマ数を約３０ｆｐｓで撮影している。このような車載カメラで路上の例えばＬＥＤ式信号機を撮影した場合、以下のような問題が発生する。

ＬＥＤ式信号機は、商用交流電源を全波整流した駆動電圧で駆動されているので、目視では確認することができないが、信号の点灯及び消灯が微小時間で周期的に繰り返されている。そのため、あるフレームにおいて、撮像素子の電荷蓄積時間と信号の消灯期間とが重なった場合には、そのフレームに関しては、実際には赤、青、緑のいずれかが点灯状態であっても消灯状態として撮像されることとなる。そして、このようなフレームが連続すると、消灯状態の信号機が撮影された映像が数十フレームにもわたって出力されることになる。これは、ドライブレコーダにおいて特に深刻な問題である。ドライブレコーダは、車載カメラにより撮影された映像を記録しておくもので、事故分析を行う際などに広く用いられるが、事故・ヒヤリ発生時の信号機の正確な状態が判別できないと、事故処理における責任判別等に支障が生じてしまう。

上記のような問題に対処するため、撮像素子のフレーム周波数をＮＴＳＣ方式のフレーム周波数に対して所定のオフセット周波数だけオフセットさせたフレーム周波数（オフセットフレーム周波数）に設定することが知られている（例えば、特許文献１参照）。これによれば、ＬＥＤ方式信号機などを撮影しても、点灯時、消灯状態の映像が数十フレームにわたって出力されることはなくなるが、映像信号のフレーム周波数はＮＴＳＣ方式のフレーム周波数から外れているため、このままでは、ＮＴＳＣ方式の表示装置に表示することができない。

この対策としては、ＮＴＳＣ方式のフレーム周波数から外したフレーム周波数（オフセットフレーム周波数）で、撮像素子から取り込んだ画像データをフレームメモリに保存し、該フレームメモリからＮＴＳＣ方式のフレーム周波数で読出し、表示装置に出力することが考えられる。しかしながら、この場合、既存のＮＴＳＣ方式対応の発振器に加えて、撮像素子がＮＴＳＣ方式のフレーム周波数から外れたフレーム周波数で画像データを出力するための、該既存のＮＴＳＣ方式対応の発振器のクロック周波数と異なるクロック周波数のクロックを発生せしめる発振器を新たに実装する必要がある。

また、通常、撮像素子からの画像データの読出しはプログレッシブ方式で行われる。一方、ＮＴＳＣ方式の表示装置はインタレース方式を採用している。そのため、撮像素子から読出された画像データはプログレッシブ方式でフレームメモリに書込み、該フレームメモリからインタレース方式で読出すこととなる。この場合、上記方法では、フレームメモリに１フレームの画像データを書込む時間とフレームメモリから１フレームの画像データを読出す時間が異なるため、フレームメモリをダブルバッファとしても、インタレース方式に特有なコムノイズが発生する。コムノイズとは、異なるフレームの奇数フィールドと偶数フィールドからなるフレーム画像に発生する櫛歯状の画像ずれのことである。

本発明は、ＬＥＤ信号機などの点灯機の点灯時における明滅周期の影響を受け難くし、かつ、ＮＴＳＣ方式の表示装置をそのまま使用できるように、ＮＴＳＣ方式のフレーム周波数から外したフレーム周波数で撮像素子から画像データを読出し、それをフレームメモリに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数で読出すようにした撮像装置において、装置に実装するクロック発振器はＮＴＳＣ方式におけるクロック信号発生用の発振器のみとして、低コストな撮像画像装置を実現し、また、コムノイズ発生の影響を必要最小限とすることを目的とする。

請求項１の発明は、被写体の光学像を結像する光学系と、前記光学系により結像される光学像を撮像し、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する撮像素子と、画像データを格納するフレームメモリと、前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数Ｆｆｒで読み出す制御部と、ＮＴＳＣ方式対応のクロック信号発生用の単一の発振器を有し、前記制御部は、前記発振器からのＮＴＳＣ方式対応のクロック周波数のクロックを基に、ＮＴＳＣ方式のフレーム周波数Ｆｆｒでのフレームメモリからの読出しを制御し、前記撮像素子は、前記発振器からＮＴＳＣ方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する画像撮像装置であって、前記撮像素子は、隣り合うフレーム周期は不定で、かつ、それらを平均するとＮＴＳＣ方式のフレーム周期となる、可変のフレーム周波数Ｆｆｓで画像データを出力することを特徴とする。

請求項２の発明は、請求項１記載の画像撮像装置において、前記撮像素子はレジスタを有し、該レジスタに設定されるパラメータ値に従って垂直方向のブランキング期間を変更することを特徴とする。

請求項３の発明は、請求項２記載の画像撮像装置において、ＣＰＵを有し、該ＣＰＵが前記撮像素子内のレジスタのパラメータ値を設定することを特徴とする。

請求項４の発明は、被写体の光学像を結像する光学系と、前記光学系により結像される光学像を撮像し、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する撮像素子と、画像データを格納するフレームメモリと、前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数Ｆｆｒで読み出す制御部と、ＮＴＳＣ方式対応のクロック信号発生用の単一の発振器を有し、前記制御部は、前記発振器からのＮＴＳＣ方式対応のク
ロック周波数のクロックを基に、ＮＴＳＣ方式のフレーム周波数Ｆｆｒでのフレームメモリからの読出しを制御し、前記撮像素子は、前記発振器からＮＴＳＣ方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する画像撮像装置であって、前記撮像素子は、露光時間が所定値以上の場合は、ＮＴＳＣ方式のフレーム周波数Ｆｆｒで画像データを出力し、露光時間が所定値以下の場合のみ、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力することを特徴とする。

請求項５の発明は、請求項４記載の画像撮像装置において、前記撮像素子はレジスタを有し、該レジスタに設定されるパラメータ値に従って、ＮＴＳＣ方式のフレーム周波数Ｆｆｒで画像データを出力するか、あるいはＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力するように、ブランキング期間を変更することを特徴とする。

請求項６の発明は、請求項５記載の画像撮像装置において、ＣＰＵを有し、該ＣＰＵは、撮像素子から露光時間を取り込み、該露光時間に応じて前記撮像素子のレジスタのパラメータ値を変更することを特徴とする。

請求項７の発明は、被写体の光学像を結像する光学系と、前記光学系により結像される光学像を撮像し、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する撮像素子と、画像データを格納するフレームメモリと、前記撮像
素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数Ｆｆｒで読み出す制御部と、ＮＴＳＣ方式対応のクロック信号発生用の単一の発振器を有し、前記制御部は、前記発振器からのＮＴＳＣ方式対応のクロック周波数のクロックを基に、ＮＴＳＣ方式のフレーム周波数Ｆｆｒでのフレームメモリからの読出しを制御し、前記撮像素子は、前記発振器からＮＴＳＣ方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する画像撮像装置であって、前記制御部は、前記撮像素子から出力される画像データを前記フレームメモリにプログレッシブに書込み、該フレームメモリからインタレースに読み出すことを特徴とする。

請求項１０の発明は、請求項１乃至９のいずれか１項に記載の画像撮像装置において、前記制御部は、前記フレームメモリから画像データを読出す際に、所定の画像変換処理を行うことを特徴とする。

本発明では、ＬＥＤ信号機などの点灯機の点灯時における明滅周期の影響を受け難くし、かつ、ＮＴＳＣ方式の表示装置をそのまま使用できるように、ＮＴＳＣ方式のフレーム周波数から外したフレーム周波数で撮像素子から画像データを読出し、それをフレームメモリに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数で読出すようにした撮像装置において、装置に実装するクロック発振器はＮＴＳＣ方式対応のクロック信号発生用の発振器のみとし、撮像素子を、該発振器からのＮＴＳＣ方式対応のクロック周波数のクロックで動作せしめ、ブランキング期間を変更して、ＮＴＳＣ方式のフレーム周波数から外れたフレーム周波数で画像データを出力するようにすることで、低コストな撮像画像装置を提供できる。

また、本発明の画像撮像装置では、露光時間が所定時間以下の場合、すなわち、被写体が一定以上明るい場合のみ、撮像素子がＮＴＳＣ方式のフレーム周波数から外れたフレーム周波数で画像データを出力するようにしたことで、非常に明るい被写体を撮影するとき以外は、コムノイズ発生を回避することができる。

なお、本発明の画像撮像装置の上記以外の種々の作用効果は、次の実施形態の説明で明らかになる。

本発明の画像撮像装置の一実施形態の全体構成図。 従来の撮像素子からの出力信号とフレームメモリからの読出し信号の関係を示す図。 本発明の撮像素子からの出力信号とフレームメモリからの読出し信号の関係を示す図。 図１中の制御部の詳細構成図。 図４中の座標計算手段の処理イメージを示す図。 周期Ｔ_ｏで明滅する照明光と撮像素子の露光タイミングを示す図（その１）。 周期Ｔ_ｏで明滅する照明光とロータリングシャッターの撮像素子の露光タイミングによる信号機の映り方を示す図。 周期Ｔ_ｏで明滅する照明光と撮像素子の露光タイミングを示す図（その２）。 従来のダブルバッファの場合の書込み・読出しの遷移及び出力画像の状態を示す図（書込み時間＝読出し時間）。 ダブルバッファの場合の書込み・読出しタイミング図（書込み時間＞読出し時間）。 ダブルバッファの場合の書込み・読出しの遷移及び出力画像の状態を示す図（書込み時間＞読出し時間）。 ダブルバッファの場合の書込み・読出しタイミング図（書込み時間＜読出し時間）。 ダブルバッファの場合の書込み・読出しの遷移及び出力画像の状態を示す図（書込み時間＜読出し時間）。 コムノイズ発生の出力画像の具体例を示す図。 コムノイズ対策のＣＰＵ内の処理フローを示す図。

以下、本発明の実施の形態について図面を参照して詳しく説明する。

図１に、本発明に係る画像撮像装置の一実施形態の全体構成図を示す。本画像撮像装置は、光学系１０１、撮像素子１０２、処理部１０３、ＮＴＳＣエンコーダ１０４、及び、全体の動作を制御するＣＰＵ１０８などを備えている。処理部１０３は、その内部にフレームメモリ１０５、制御部１０６、発振器１０７を有する。ＮＴＳＣエンコーダ１０４は、ＮＴＳＣ方式の表示装置や画像レコーダに接続されるが、図１では省略してある。ここで、発振器１０７は、ＮＴＳＣ方式対応のクロック信号発生用の水晶素子であり、具体的には、クロック周波数は１３．５ＭＨｚである。該発振器１０７のクロック（ＣＫ）は、当該処理部１０内の制御部１０６に与えられると同時に、撮像素子１０２にも与えられる。

撮像素子１０２は、発振器１０７からＮＴＳＣ方式対応のクロック周波数（１３．５ＭＨｚ）のクロックを入力として、ＮＴＳＣ方式のフレーム周波数Ｆｆｒ（約３０ＦＰＳ）に対して所定のオフセット周波数だけオフセットさせたオフセットフレーム周波数Ｆｆｓ（例えば、２７ＦＰＳ）でもって、光学系１０１を通して撮影された画像データをプログレッシブに読出し、処理部１０３に送る。具体的には、撮像素子１０２はレジスタ（センサレジスタ）を備え、ＣＰＵ１０８から該レジスタに設定されるパラメータ値に応じて垂直方向乃至水平方向のブランキング期間を変更することで、画像データのフレーム周波数がＦｆｓ（例えば、２７ＦＰＳ）になるようにしている。撮像素子１０２は、画像データと共に、このフレーム周波数Ｆｆｓの垂直同期信号Ｓｖを処理部１０３に送る。

撮像素子１０２から出力される画像データは、そのフレーム周波数Ｆｆｓ（例えば、２７ＦＰＳ）のタイミングで、処理部１０３内のフレームメモリ１０５に例えばプログレシッブに順次書込まれる。そして、このフレームメモリ１０５に書込まれた画像データは、制御部１０６の制御下で、ＮＴＳＣ方式のフレーム周波数Ｆｆｒ（約３０ＦＰＳ）のタイミングで例えばインタレースに順次読出される。制御部１０６は、フレームメモリ１０５に対して読出しアドレスを指定すると共に、撮像素子１０２からの垂直同期信号Ｓｖを基にフレームメモリ１０５の読出しタイミングを制御し、また、発振器１０７からＮＴＳＣ方式対応のクロック周波数（１３．５ＭＨｚ）のクロックを受け取って、ＮＴＳＣ方式のフレーム周波数Ｆｆｒのタイミングによるフレームメモリ１０５からのインタレース読出しを制御する。この制御部１０６の構成については後述する。

フレームメモリ１０５から読出された画像データは、ＮＴＳＣエンコーダ１０４でデジタル・アナログ変換処理を施されてＮＴＳＣ方式の映像信号に変換され、図示しない表示装置やレコーダに送られる。

図１の構成のように、ＮＴＳＣ方式のフレーム周波数Ｆｆｒに対して所定のオフセット周波数だけオフセットさせたオフセットフレーム周波数Ｆｆｓで撮像素子１０２から画像データを取り込み、フレームメモリ１０５に書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数Ｆｆｒで読出すことで、ＬＥＤ信号機などの点灯機の点灯時における明滅周期の影響を受け難くし、かつ、ＮＴＳＣ方式の表示装置などをそのまま使用可能な画像撮像装置を実現することができる。

また、撮像素子１０２は、処理部１０３内に実装される発振器１０７からＮＴＳＣ方式対応のクロック周波数のクロック（ＣＫ）を入力して動作し、垂直方向乃至水平方向のブランキング期間を変更して、当該撮像素子１０２から出力される画像データが、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓになるようにしたことで、別途、該フレーム周波数Ｆｆｓ用の発振器が不要であり、低コストな撮像装置を実現することができる。以下、これについて詳述する。

図２は、従来の撮像素子からの出力信号とフレームメモリからの読出し信号の関係を示したもので、図２（Ａ）は撮像素子からの出力信号（プログレッシブ）であり、図２（Ｂ）はフレームメモリからの読出し信号（インタレース）である。すなわち、従来は、ＮＴＳＣ方式に合わせて、撮像素子からの出力信号とフレームメモリからの読出し信号との垂直方向のブランキング期間を同じにしている。このため、撮像素子から出力される画像データを、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓになるようにするためには、フレームメモリからの画像データ読出し用のＮＴＳＣ方式対応のクロック信号発生用の発振器（１３．５ＭＨｚ）とは別に、そのクロック周波数を異にする発振器（例えば、１２．２ＭＨｚ）を、撮像素子からの画像データ読出しのために用意する必要がある。本発明の実施形態では、このような発振器は不要となる。

図３は、本発明の実施形態における撮像素子からの出力信号とフレームメモリからの読出し信号の関係を示したもので、図３（Ａ）は撮像素子からの出力信号（プログレッシブ）であり、図３（Ｂ）はフレームメモリからの読出し信号（インタレース）である。ここで、フレームメモリからの読出し信号は、図２（Ｂ）と同様である。一方、撮像素子からの出力信号は、垂直方向のブランキング期間が変更されている。すなわち、本実施形態では、ＮＴＳＣ方式対応のクロック信号発生用の発振器１０７からの同一のクロック（１３．５ＭＨｚ）でもって、撮像素子１０２からの画像データ読出しとフレームメモリ１０５からの画像データ読出しを実施し、この時、撮像素子１０２からの画像データ読出しの垂直方向のブランキング期間を変更することで、該撮像素子１０２の出力画像データをＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓになるようにしている。先に述べたように、撮像素子１０２はレジスタ（センサレジスタ）を備え、ＣＰＵ１０８から該レジスタに設定されるパラメータ値に応じて垂直方向のブランキング期間を変更する。図３の例は、Ｆｆｓ＜Ｆｆｒとする場合であるが、センサレジスタのパラメータ値を変更することで、Ｆｆｓ＞Ｆｆｒとすることも可能である。また、ＣＰＵ１０８によりフレームごとにセンサレジスタのパラメータ値を逐次変更することで、後述するように、隣り合うフレーム周期を不定にして、かつ、それらを平均すると、ＮＴＳＣ方式のフレーム周波数Ｆｆｒで撮像素子を駆動することが可能となる。
なお、図３は、垂直方向のブランキング期間を変更する例であるが、水平方向あるいは垂直／水平両方向のブランキング期間を変更して、撮像素子１０２の出力画像データをＮＴＳＣ方向のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓとしてもよいことは云うまでもない。

次に、制御部１０６の構成動作について説明する。図４に制御部１０６の詳細構成図を示す。制御部１０６は、フレームメモリ読出し開始トリガ作成部２０１、出力用垂直水平同期信号作成部２０２、アドレス作成部２０３を有する。なお、アドレス作成部２０３には、歪み補正や視点変換などのための座標計算手段２０４を含めてもよい。

フレームメモリ読出し開始トリガ作成部２０１は、撮像素子１０２から垂直同期信号Ｓｖを受け取り、撮像装置の電源投入直後に次のように作動する。なお、撮像素子１０２はプログレッシブ読出しを想定している。撮像装置の電源投入直後のＳｖを１つ見送って、２つ目のＳｖでフレームメモリ読出し開始トリガ（Ｔｒ）をアサートする（有効）する。

このようにすることで、フレームメモリ１０５ら画像データが存在しない時点で、フレームメモリ１０５から画像データを読出すことがないようできる。

出力用垂直水平同期信号作成部２０２は、発振器１０７からＮＴＳＣ方式対応のクロック周波数（１３．５ＭＨｚ）のクロックを用いて、フレームメモリ１０５からの画像読出しがＮＴＳＣ方式のフレーム周波数Ｆｆｒ（約３０ＦＰＳ）になるように、垂直同期信号及び水平同期信号を作成する。

アドレス作成部２０３は、発振器１０７からのクロック（ＣＫ）、出力用垂直水平同期信号作成部２０２からの垂直同期信号及び水平同期信号を基に、フレームメモリ１０５の読出しアドレスを順次指定し、該フレームメモリ１０５に書込まれた画像データをＮＴＳＣ方式のフレーム周波数Ｆｆｒ（約３０ＦＰＳ）のタイミングで読出していく。

ここで、アドレス作成部２０３は、フレームメモリ１０５の読出しアドレスを順次指定するのではなく、ある座標変換ルール（例えば、歪み補正、見下ろし画像のような視点変換、中央切出し変換、サイド切出し変換、三面鏡変換など）に従って指定していく座標計算手段２０４を含めてもよい。

図５に座標計算手段２０４の処理イメージを示す。これは、撮像素子からの画像データ（入力画像）を９０°回転変形した画像を出力する例を示したものである。ここで、図５（ａ）は、ある二つの画素の変換前と変換後の座標上の位置関係を示し、図５（ｂ）は、フレームメモリ１０５に記憶された入力画像と出力画像上の対応する画素の位置関係を示す。

座標計算手段２０４では、フレームメモリ１０５からの画像データの読出しの際に、出力画像上の座標（Ｘ１，Ｙ１）の画素として、入力画像上の座標（ｘ１，ｙ１）の画素の画素データが読出されるように、読出しアドレスを計算する。また、出力画像の座標（Ｘ２，Ｙ２）の画素としては、入力画像上の座標（ｘ２，ｙ２）の画素の画像データが読出されるように読出しアドレスを計算する。この読出しアドレスに基づき、フレームメモリ１０５の対応するアドレスから画像データを読出すことにより、出力画像として、入力画像を９０°回転変形した画像を得ることができる。

同様にして、魚眼カメラの画像を変形し、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいた画像変形により真上から見た画像に変形することができ、車の後方部分を見るバックモニターなどにおいて、ドライバーに見やすい画像を表示することができる。なお、座標計算手段２０４の構成、処理アルゴリズムは従来から種々提案されているので、詳しい説明は省略する。

次に、ＮＴＳＣ方式のフレーム周波数Ｆｆｒに対して所定のオフセット周波数だけオフセットさせたフレーム周波数（オフセットフレーム周波数）Ｆｆｓで撮像素子１０２から画像データを読出すことで、ＬＥＤ信号機などの点灯機の点灯時における明滅周期の影響が改善されることを具体的に説明する。

図６、図７に、フレームのサンプリング周期をＮＴＳＣ方式から外した一定の周期で行う場合を示す。この場合、撮像素子１０２内のセンサレジスタのパラメータ値は一定である。

図６において、１番上のグラフは、周期Ｔ_ｏで明滅する照明光（例えば、６０Ｈｚの信号機）の光量変化を表わしている。該グラフの凸部の部分が１番明るい状態（明）、谷の部分が暗い状態（滅）である。ここで、消灯期間をｔ_ｏとする。

図６（ａ）および（ｂ）は、グローバルシャッターで、プログレッシブ読出しの撮像素子の露光タイミングを表わしている。図中、ｔ_ｉが露光時間である。（ａ）が撮像素子を３０ＦＰＳで駆動する場合、（ｂ）が３０ＦＰＳから外した場合である。（ａ）の場合、ＮＴＳＣ方式のフレーム周波数Ｆｆｒ（２９．９７Ｈｚ）とほぼ同期しているので、露光が照明光の滅のタイミングに入り込んでしまうと、滅の照明光が数秒間続いて撮像される。一方、（ｂ）の場合は、ＮＴＳＣ方式のフレーム周波数Ｆｆｒと同期していないので、露光が照明光の滅のタイミングに入り込んでしまっても、それから抜け出しやすいので、滅の照明光が数秒間続いて撮像されることは避けられる。

同様のことは、ローリングシャッターでもいえる。図６（ｃ）および（ｄ）は、ローリングシャッターで、プログレッシブ読出しの撮像素子の露光タイミングを表わしている。図中、ｔ_ｉが露光時間である。ローリングシャッターは、グローバルシャッターと異なり、行毎に独立して露光する。図６（ｃ）および（ｄ）では、１行目、２行目、３行目、…というように露光時間が少しずつ長時間側に移行していることを表わしている。（ｃ）が撮像素子を３０ＦＰＳで駆動する場合、（ｄ）が３０ＦＰＳから外した場合で、図中の斜線部分で露光した行は、その行に明滅する照明光が映っている場合、滅の状態で撮像されてしまう。（ｃ）の場合、ＮＴＳＣ方式のフレーム周波数Ｆｆｒ（２９．９７Ｈｚ）とほぼ同期しているので、露光が照明光の滅のタイミングに入り込んでしまうと、滅の照明光が数秒間続いて撮像される。一方、（ｄ）の場合は、ＮＴＳＣ方式のフレーム周波数Ｆｆｒと同期していないので、露光が照明光の滅のタイミングに入り込んでしまっても、それから抜け出し易いので、滅の照明光が数秒間続いても撮像されることは避けられる。

図７は、周期Ｔ_ｏで明滅する照明光と、ローリングシャッターで、プログレッシブ読出しの撮像素子の露光タイミングによる信号機の映り方を示したものである。図７の左側では、露光が照明光の滅のタイミングに入り込んでいるので、信号機の色が撮像されないが、右側では、露光が照明光の滅のタイミングから外れているので、信号機の色が（例えば、青）が撮像される。

次に、図８に、隣り合うフレームのサンプリング周期を不定にして、かつ、それらを平均してＮＴＳＣ方式（１秒間に３０フレーム）に対応させる場合を示す。この場合、撮像素子１０２内のセンサレジスタのパラメータ値はフレーム毎に変化することとなる。

図８の１番上のグラフは、図６と同様に、周期Ｔ_ｏで明滅する照明光（例えば、６０Ｈｚの信号機）の光量変化を表わしている。該グラフの凸部の部分が１番明るい状態（明）、谷の部分が暗い状態（滅）である。ここでも、消灯期間をｔ_ｏとする。

図８（ａ）〜（ｄ）において、ｔｉが露光時間、Ｔｆ，Ｔｆ’，Ｔｆ”はフレームのサンプリング周期である。ここで、ＴｆはＮＴＳＣ方式のサンプリング周期で、Ｔｆ’，Ｔｆ”はＮＴＳＣ方式のサンプリング周期から短時間側または長時間側にずらした周期である。ただし、ＮＴＳＣ方式に対応させるため、１秒間に３０フレームを出力できるようにする。

図８（ａ）および（ｂ）は、グローバルシャッターで、プログレッシブ読出しの撮像素子の露光タイミングを表わしている。（ａ）はサンプリング周期を一定（Ｔｆ）にして、撮像素子を駆動する場合、（ｂ）はサンプリング周期を不定（Ｔｆ’，Ｔｆ”など）にして、撮像素子を駆動する場合である。（ａ）の場合、露光が照明光の滅のタイミングに入り込んでしまうと、滅の照明光が数秒間続いて撮像される。一方、（ｂ）の場合は、露光が照明光の滅のタイミングに入り込んでしまっても、滅のタイミングから抜け出し易いので、滅の照明光が数秒間続いて撮像されることは避けられる。しかも、隣り合うフレームのサンプリング周期を不定にし、かつ、それらを平均して、１秒間に３０フレームを出力するようにすることで、ＮＴＳＣ方式に対応させることができる。

同様のことは、ローリングシャッターでもいえる。図８（ｃ）および（ｄ）は、ローリンナグシャッターで、プログッレシブ読出しの撮像素子の露光タイミングを表わしている。ローリングシャッターは、グローバルシャッターと異なり、行毎に独立して露光する。先の図６（ｃ）および（ｄ）と同様に、図８（ｃ）および（ｄ）でも、１行目、２行目、３行目、…というように露光時間が少しずつ長時間側に移行していることを表わしている。図中の斜線部分で露光した行は、その行に明滅する照明光が移している場合、滅の状態で撮像されてしまう。（ｃ）がサンプリング周期を一定（Ｔｆ）にして、撮像素子を駆動する場合、（ｄ）はサンプリング周期を不定（Ｔｆ’，Ｔｆ”など）にして、撮像素子を駆動する場合である。（ｃ）の場合、露光が照明光の滅のタイミングに入り込んでしまうと、滅の照明光が数秒間続いて撮像される。一方、（ｄ）の場合は、露光が照明光の滅のタイミングに入り込んでしまっても、滅のタイミングから抜け出し易いので、滅の照明光が数秒間続いて撮像されることは避けられる。しかも、隣り合うフレームのサンプリング周期を不定にし、かつ、それらを平均して、１秒間に３０フレームを出力するようにすることで、ＮＴＳＣ方式に対応させることができる。

さて、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで撮像素子１０２からプログレッシブ読出しされた画像データは、そのままフレームメモリ１０５にプログレッシブに書込まれ、該フレームメモリ１０５からＮＴＳＣ方式のフレーム周波数でインタレースに読出される。これにより、ＮＴＳＣ方式の表示装置や画像レコーダをそのまま利用できる。しかし、フレームメモリ１０５に１フレームの画像データを書込む時間とフレームメモリ１０５から１フレームの画像データを読出す時間が異なることにより、インタレース方式に特有なコムノイズが発生する。以下、これについて具体的に説明する。

初めに、ＮＴＳＣ方式のフレーム周波数Ｆｆｒでフレームメモリ１０５へプログレッシブ書込みを行い、同じくＮＴＳＣ方式のフレーム周波数Ｆｆｒでフレームメモリ１０５からインタレース読出しを行う場合について説明する。この場合、フレームメモリ１０５を領域Ａ、領域Ｂというような少なくとも２つの領域に分け（ダブルバッファ）、各領域を書込み領域・読出し領域とし、その役割を順次切り替えるようにすると、コムノイズは発生しない。

図９は、この場合の領域Ａ、領域Ｂの書込み・読出しの遷移及び出力画像（受け手側）の状態を示したものである。ここで、書込みは、３０フレーム／秒、プログレッシブであり、読出しは６０フィールド／秒、インタレースである。なお、図中の同じ紋様は撮像素子１０２から出力される同じフレームの画像データであることを表わしている。これは以後の各図面でも同様である。

図９の場合、フレームメモリ１０５の一方の領域に１フレームの画像データを書込む時間と他方の領域から１フレーム（奇数フィールド＋偶数フィールド）の画像データを読出す時間が同じであるため、書込みスタートと読出しスタートのタイミングを一度合わせれば（例えば（ａ））、書込みエンドと読出しエンドが永久的に揃う。したがって、書込みエンドのタイミングで、書込み領域と読出し領域を切り替えることができる。例えば、領域Ａへの書込みが終了したなら、領域Ｂへの書込みを始め、領域Ａから読出しを始める（例えば（ｄ））。これにより、常に同一フレームの奇数フィールドと偶数フィールドからなるフレームを出力することができるので、コムノイズが発生しない（例えば（ｃ），（ｅ））。

次に、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外したフレーム周波数Ｆｆｓでフレームメモリ１０５へプログレッシブ書込みを行い、ＮＴＳＣ方式のフレーム周波数Ｆｆｒでフレームメモリ１０５からインタレース読出しを行う場合について説明する。この場合、フレームメモリ１０５をダブルバッファとしてもコムノイズが発生する。

まず、Ｆｆｓ＜Ｆｆｒとした場合、すなわち、１フレームの画像データの読出し時間に対して１フレームの画像データの書込み時間が長い場合について説明する。

図１０は、この場合のダブルバッファ（領域Ａ、領域Ｂ）への書込み・読出しのタイミングチャートを示したものである。いま、図１０の点線、すなわち、領域Ａからの読出しが終了したタイミングに注目する。領域Ａからの読出しが終わったので、書込み・読出し領域を切り替えて、領域Ｂから読出しを開始し、領域Ａへの書込みを開始したい。しかし、この時点では、領域Ｂでは書込みが終わっていない。このため、領域Ａから再び読出し（インタレース）を行い、領域Ｂの書込みが終了した時点で、読出し・書込み領域を切り替えて、領域Ｂから読出しを開始し、領域Ａへの書込みを開始することとなる。この場合、出力画像に異なるフレームの奇数フィールド行、偶数フィールド行を混在したコムノイズが発生する。注目する読出し領域と書込み領域の関係が逆の場合でも同様である。

図１１は、上記Ｆｆｓ＜Ｆｆｒの場合、すなわち、１フレームの画像データの読出し時間に対して、１フレームの画像データの書込み時間が長い場合のダブルバッファ（領域Ａ、領域Ｂ）の書込み・読出しの遷移及び出力画像（受け手側）の状態を示したものである。なお、図１１では、読出しはＮＴＳＣ方式対応に３０フレーム／秒、インタレース読出しとし、これに対して、書込みは２７フレーム／秒、プログレッシブ書込みとした場合を示している。

いま、領域Ａへのプログレッシブ書込みを開始し、同時に領域Ｂからインタレース読出しを開始して（ａ）、領域Ｂからの読出しが終了した時点に注目する（ｃ）。この時、領域Ａでは、また、書込みが行われている最中である。このため、領域Ｂから再びインタレース読出しを開始し、領域Ａの書込みが終了した時点で（ｄ）、書込み・読出し領域を切り替え、領域Ｂを書込み、領域Ａを読出しとする。この時、領域Ａからは、（ｄ）の状態以降のインタレース読出しが継続して行われることとなる（ｅ）。この結果、１フレームの画像データが読出された時点での出力画像は（ｆ）のようになる。すなわち、コムノイズが発生する。

次に、Ｆｆｓ＞Ｆｆｒとした場合、すなわち、１フレームの画像データの読出し時間に対して１フレームの画像データの書込み時間が短い場合について説明する。

図１２は、この場合のダブルバッファ（領域Ａ、領域Ｂ）への書込み・読出しのタイミングチャートを示したものである。いま、図１２の点線、すなわち、領域Ｂへの書込みが終了したタイミングに注目する。領域Ｂへの書込みが終わったので、書込み・読出し領域を切り替えて、領域Ａへの書込みを開始し、領域Ｂから読出しを開始することとなる。しかし、この時点では、領域Ａでは読出しが行われている最中である。この状態で書込み・読出し領域を切り替えると、先のＦｆｓ＜Ｆｆｒの場合と同様に、出力画像に、異なるフレームの奇数フィールド行、偶数フィールド行が混在したコムノイズが発生する。注目する書込み領域と読出し領域の関係が逆の場合でも同様である。

図１３は、上記Ｆｆｓ＞Ｆｆｒの場合、すなわち、１フレームの画像データの読出し時間に対して、１フレームの画像データの書込み時間が短い場合のダブルバッファ（領域Ａ、領域Ｂ）の書込み・読出しの遷移及び出力画像（受け手側）の状態を示したものである。なお、図１３では、読出しはＮＴＳＣ方式対応に３０フレーム／秒、インタレース読出しとし、これに対して、書込みは３３フレーム／秒、プログレッシブ書込みとした場合を示している。

いま、領域Ａへのプログレッシブ書込みを開始し、同時に領域Ｂからのインタレース読出しを開始して（ａ）、領域Ａへの書込みが終了した時点に注目する（ｂ）。この時、領域Ｂでは、まだ読出しが行われている最中である。詳しくは、奇数フィールドの読出しは終了しているが、偶数フィールドが、まだ、読出し中である。しかし、領域Ａへの書込みが終了したので、書込み・読出し領域を切り替え、領域Ｂを書込み、領域Ａを読出しとする。この時、領域Ａからは（ｂ）の状態以降のインタレース読出しが継続して行われることとなる。この結果、１フレームの画像データが読出された時点での出力画像は（ｃ）のようになる。すなわち、コムノイズが発生する。

図１４に出力画像の一例を示す。図１４（ａ）は、ＮＴＳＣ方式のフレーム周波数Ｆｆｒで撮像素子を駆動し、該撮像素子からの出力画像データをフレームメモリにプログレッシブに書込み、該フレームメモリから同じくＮＴＳＣ方式のフレーム周波数Ｆｆｒでインタレースに読出した場合の画像であり、コムノイズは発生していない。一方、図１４（ｂ）は、ＮＴＳＣ方式のフレーム周波数から外れたフレーム周波数Ｆｆｓ（ここでは、Ｆｆｓ＜Ｆｆｒ）で撮像素子を駆動し、該撮像素子からの出力画像データをフレームメモリにプログレッシブに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数Ｆｆｒでインタレースに読出した場合の画像であり、該画像の一部でコムノイズが発生していることが分かる。

以下に、このようなコムノイズ発生の対策を説明する。例えば、図７から分かるように、露光時間ｔｉが十分長い場合には、たとえ、撮像素子からの画像データ読出しフレーム周波数がＮＴＳＣ方式のフレーム周波数Ｆｆｒ（２９．９７Ｈｚ）であっても、信号機が完全に消灯して撮影されることはない。露光時間ｔｉが短くなるにつれ、信号機の明状態が暗くなっていき、ついには全く見えなくなるタイミングが発生する。そのため、露光時間が一定以下の場合、つまり、被写体が一定以上明るい場合のみ、撮像素子のフレーム周波数をＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓとすることで、コムノイズ発生を最小限におさえることができる。すなわち、非常に明るい被写体を撮影する場合以外は、コムノイズ発生を回避することができる。

撮像素子は、一般に電子シャッタ機能を備えている。電子シャッタ時間は、受光量に応じて変化し、被写体の明るさが暗い場合は長く、明るくにつれて短くなる。この電子シャッタ時間が、すなわち、露光時間ｔｉを表わしている。

図１の構成において、撮像素子１０２に、先のセンサレジスタ（以下、第１のレジスタ）とは別に、第２のレジスタを設けて、この第２のレジスタに電子シャツタ時間（以下、露光時間）を設定するようにする。ＣＰＵ１０８は、撮像素子１０２内の第２のレジスタの露光時間を読み込み、予め定めた閾値と比較する。ここで、露光時間≧閾値の場合、ＣＰＵ１０８は、撮像素子１０２からの出力画像データのフレーム周波数がＮＴＳＣ方式のフレーム周波数Ｆｆｒになるように撮像素子１０２内の第１のレジスタに所定のパラメータ値（以下、第１のパラメータ値）を設定し、露光時間＜閾値の場合にのみ、撮像素子１０２からの出力画像データのフレーム周波数がＮＴＳＣ方式のフレーム周波数Ｆｆｒから所定のオフセット周波数だけオフセットさせたフレーム周波数（オフセットフレーム周波数）Ｆｆｓになるように撮像素子１０２内の第１のレジスタに所定のパラメータ値（以下、第２のパラメータ）を設定する。

撮像素子１０２は、先に述べたように該撮像素子１０２内の第１のレジスタ（センサレジスタ）に設定されるパラメータ値に応じて垂直方向乃至水平方向のブランキング期間を変更するようになっている。撮像素子１０２は、ＣＰＵ１０８から第１のレジスタに第１のパラメータ値が設定されると、ＮＴＳＣ方式のフレーム周波数Ｆｆｒで画像データが出力されるように垂直方向のブランキング期間を定める。一方、ＣＰＵ１０８から第１のレジスタに第２のパラメータ値が設定されると、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから所定のオフセット周波数だけオフセットさせたフレーム周波数Ｆｆｓで画像データが出力されるように垂直方向乃至水平方向のブランキング期間を変更する。

図１５に、ＣＰＵ１０８の処理フローチャートを示す。ＣＰＵ１０８は、撮像素子１０２内の第２のレジスタの露光時間を読み込み（ステップ１）、あらかじめ定めた閾値と比較する（ステップ２）。閾値は、例えば１／１８０秒などであるが、信号機や撮像素子の種類などによって外部から調整可能とする。ここで、露光時間≧閾値ならば、撮像素子１０１からの出力画像データがＮＴＳＣ方式のフレーム周波数になるように撮像素子１０２内のセンサレジスタ（第１のレジスタ）に所定のパラメータ値（第１のパラメータ値）を設定する（ステップ３）。また、露光時間＜閾値ならば、すなわち、被写体が一定以上明るい場合、撮像素子１０１からの出力画像データがＮＴＳＣ方式のフレーム周波数Ｆｆｒから所定の値外れたフレーム周波数Ｆｆｓになるようにセンサレジスタに所定のパラメータ値（第２のパラメータ値）を設定する（ステップ４）。

ここでは、ＣＰＵ１０８は撮像素子１０２から露光時間を読み込んで、所定閾値と比較するとしたが、ＣＰＵ１０８は撮像素子１０２からの出力画像データを取り込み、画面全体の輝度の和などにより明度（被写体の明るさ）を算出し、該明度を所定閾値と比較して、撮像素子１０２内のセンサレジスタに値を設定することでもよい。さらには、別途照度センサを設け、ＣＰＵ１０８は、該照度センサの出力を取り込み、所定閾値と比較して、同様に撮像素子１０２内のセンサレジスタに値を設定することでもよい。これにより、被写体が一定以上明るい場合のみ、撮像素子１０２のフレーム周波数をＮＴＳＣ方式のフレーム周波数からずらして、コムノイズ発生を回避することができる。

１０１ 光学系
１０２ 撮像素子
１０３ 処理部
１０４ ＮＴＳＣエンコーダ
１０５ フレームメモリ
１０６ 制御部
１０７ 発振器
１０８ ＣＰＵ
２０１ フレームメモリ読出し開始トリガ作成部
２０２ 出力用垂直水平同期信号作成部
２０３ アドレス作成部
２０４ 座標計算手段

特開２００９−１８１３３９号公報

Claims (8)

1. 被写体の光学像を結像する光学系と、
   前記光学系により結像される光学像を撮像し、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する撮像素子と、
   画像データを格納するフレームメモリと、
   前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数Ｆｆｒで読み出す制御部と、
   ＮＴＳＣ方式対応のクロック信号発生用の単一の発振器を有し、
   前記制御部は、前記発振器からのＮＴＳＣ方式対応のクロック周波数のクロックを基に、ＮＴＳＣ方式のフレーム周波数Ｆｆｒでのフレームメモリからの読出しを制御し、
   前記撮像素子は、前記発振器からＮＴＳＣ方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する画像撮像装置であって、
   前記撮像素子は、隣り合うフレーム周期は不定で、かつ、それらを平均するとＮＴＳＣ方式のフレーム周期となる、可変のフレーム周波数Ｆｆｓで画像データを出力することを特徴とする画像撮像装置。
2. 前記撮像素子はレジスタを有し、該レジスタに設定されるパラメータ値に従ってブランキング期間を変更することを特徴とする請求項１記載の画像撮像装置。
3. ＣＰＵを有し、該ＣＰＵが前記撮像素子内のレジスタのパラメータ値を設定することを特徴とする請求項２記載の画像撮像装置。
4. 被写体の光学像を結像する光学系と、
   前記光学系により結像される光学像を撮像し、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する撮像素子と、
   画像データを格納するフレームメモリと、
   前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数Ｆｆｒで読み出す制御部と、
   ＮＴＳＣ方式対応のクロック信号発生用の単一の発振器を有し、
   前記制御部は、前記発振器からのＮＴＳＣ方式対応のクロック周波数のクロックを基に、ＮＴＳＣ方式のフレーム周波数Ｆｆｒでのフレームメモリからの読出しを制御し、
   前記撮像素子は、前記発振器からＮＴＳＣ方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する画像撮像装置であって、
   前記撮像素子は、露光時間が所定値以上の場合は、ＮＴＳＣ方式のフレーム周波数Ｆｆｒで画像データを出力し、露光時間が所定値以下の場合のみ、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力することを特徴とする画像撮像装置。
5. 前記撮像素子はレジスタを有し、該レジスタに設定されるパラメータ値に従って、ＮＴＳＣ方式のフレーム周波数Ｆｆｒで画像データを出力するか、あるいはＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力するように、ブランキング期間を変更することを特徴とする請求項４記載の画像撮像装置。
6. ＣＰＵを有し、該ＣＰＵは、撮像素子から露光時間を取り込み、該露光時間に応じて前記撮像素子のレジスタのパラメータ値を変更することを特徴とする請求項５記載の画像撮像装置。
7. 被写体の光学像を結像する光学系と、
   前記光学系により結像される光学像を撮像し、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する撮像素子と、
   画像データを格納するフレームメモリと、
   前記撮像素子から出力される画像データを前記フレームメモリに書込み、該フレームメモリからＮＴＳＣ方式のフレーム周波数Ｆｆｒで読み出す制御部と、
   ＮＴＳＣ方式対応のクロック信号発生用の単一の発振器を有し、
   前記制御部は、前記発振器からのＮＴＳＣ方式対応のクロック周波数のクロックを基に、ＮＴＳＣ方式のフレーム周波数Ｆｆｒでのフレームメモリからの読出しを制御し、
   前記撮像素子は、前記発振器からＮＴＳＣ方式対応のクロック周波数のクロックを入力して動作し、ブランキング期間を変更することで、ＮＴＳＣ方式のフレーム周波数Ｆｆｒから外れたフレーム周波数Ｆｆｓで画像データを出力する画像撮像装置であって、
   前記制御部は、前記撮像素子から出力される画像データを前記フレームメモリにプログレッシブに書込み、該フレームメモリからインタレースに読み出すことを特徴とする画像撮像装置。
8. 前記制御部は、前記フレームメモリから画像データを読出す際に、所定の画像変換処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像撮像装置。
   

Images