JPH087069A - 画像処理を用いた魚種別魚数計測装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】河川等を遡上する魚を画像処理を用いて種類別
に通過数を計測する。 【構成】魚道１３に上方カメラ３及び側方カメラ４を設
置し、連続してカメラ画像を取り込み、データ記録装置
８，９に記録する。魚影検出装置１はカメラ画像を取り
込み画像解析にて、魚影の発生と消滅の時期を検出し、
コントローラー２に送信する。コントローラー２は記録
装置８，９に記録したカメラ画像中で魚影の存在する画
面のみを効率的にモニタＴＶ１０に表示する。 【効果】魚影の発生，消滅を画像解析で行うことにより
不要な画面を容易に削除でき、種類別に通過数を容易に
計測することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、河川を遡上または降河
する魚を種類毎に計数し、魚属保護や水産資源活用に役
立てるものに関する。

【０００２】

【従来の技術】従来は、河川等を遡上，降河する魚を計
数するためには、人が河川の岸で、目視により計数する
ものや、魚道に網を入れて実際の魚道内を通過中の魚を
計数する採補という方式があった。

【０００３】

【発明が解決しようとする課題】従来の目視による方式
では、魚種毎に、計数可能であるが、２４時間連続監視
は不可能であるという問題があった。また採補の方式で
は、経費がかかり度々実施できない上、魚体を傷付ける
欠点があった。このように従来の方式では部分的な調査
しかできず希少魚等の調査が困難な状況であった。

【０００４】本発明の目的は、河川等を遡上する魚を画
像処理を用いて種類別に通過数を計測し得る装置を提供
することにある。

【０００５】

【課題を解決するための手段】本発明の特徴は、河川等
に設けられた魚道内の状況を撮像するカメラと、カメラ
により入力された画像を記録する記録手段と、前記画像
を表示する表示手段を有し、前記魚道内を通過する魚を
魚種毎に計数するものにおいて、前記入力された画像に
おける魚影の発生及び消滅を検出する魚影検出手段と、
前記検出された魚影の発生から消滅までの画像を前記記
録手段に記録する制御手段を設けたことにある。

【０００６】更に又、本発明の特徴は、河川等に設けら
れた魚道内の状況を側方より撮像する第１のカメラと、
前記魚道内の状況を上方より撮像する第２のカメラと、
前記第１及び第２のカメラにより入力された画像を記録
する記録手段と、前記画像を表示する表示手段を有し、
前記魚道内を通過する魚を魚種毎に計数するものにおい
て、前記入力された画像における魚影の発生及び消滅を
検出する魚影検出手段と、前記検出された魚影の発生か
ら消滅までの画像のみを前記記録手段に記録すると共
に、前記第１のカメラ及び第２のカメラにより入力され
た画像を前記表示手段の同一画面上に表示する制御手段
を設けたことにある。

【０００７】尚、具体的には、魚道内を通過する魚の状
態を側方と上方の２方向からカメラ画像が採取され、こ
の２つの画像は前記記録手段に記録される。この際、同
一のタイムコード発生器からのタイムコードを取り込
み、前記画像と共にそのタイムコードが前記記録手段に
記録されるので２つのカメラ画像は、シーン単位に同期
して再生可能となる。このように記録された画像データ
は、処理に関係ないシーン（魚が存在しないシーン）を
多数含んでいるので、前処理として、有効シーン部分の
み、即ち、前記魚影検出手段により検出された魚影の発
生及び消滅までの画像を抽出して再記録し有効シーンは
管理番号に媒体の記録位置，画像処理結果等の付属情報
を付して管理するものである。

【０００８】

【作用】本発明によれば、先ず、魚道の側方及び上方に
設置されたカメラにより、魚道内を通過する魚の画像が
入力されるので、仮りに、魚が上下または左右に重なっ
て魚道内を通過した場合においても、正確に、通過する
魚を撮像することができる。次に、この入力された画像
における魚影の発生及び消滅が前記魚影検出手段により
検出され、この魚影の発生及び消滅時のタイムコード
（魚影が発生及び消滅した時間を表すコード）と共に、
その発生から消滅までの画像が前記制御手段によって記
録手段に記録される。このように魚の存在する一組の連
続したシーンが一個のデータの単位となるようにデータ
圧縮され且つ管理されるため、画像処理や人間の視覚等
を使って魚種を判定する際に、短時間に処理することが
可能となる。更に、このように管理された魚影を含むシ
ーンを使用して魚種が判定カウントされるが、上記一組
の連続したシーン毎に処理される（この一組の連続した
シーンを今後カウント処理単位と呼称する）。カウント
処理単位に処理要求がなされると、前記上方カメラ画
像，側方カメラ画像，画像処理結果画像等がタイミング
良く表示手段の同一画面上に表示されるので、カウント
処理単位中のシーン中に含まれる魚の種類を判定しカウ
ントすることが短時間に容易に行える。

【０００９】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。

【００１０】図１に、一実施例による魚種別遡上魚数カ
ウント装置の全体構成と、計数の原理を模式的に示す。
魚が遡上する魚道１３の上方には、カメラ３が、側方か
らは、カメラ４が設置してある。カメラは、通常のＩＴ
Ｖカメラでありカラーカメラでもモノクロカメラでも良
い。２台のカメラとしたのは魚が上下又は左右に重なっ
てきた場合に誤ってカウントしないためであり重要であ
る。魚は、通常流速の低い魚道の側壁に沿って通過する
ので魚道の両側壁近くを監視すると良い。図１は、一方
の側壁について記述してあるが、必要な場合にはもう一
方の側壁についても同様にして計測するものとする。カ
メラ３の映像信号は、分配器１４を介して魚影検出装置
１とマルチプレクサ６に接続されている。マルチプレク
サ６を経由してデータ記録装置８に接続してある。カメ
ラ４も同様にして分配器１４，マルチプレクサ６を経由
して魚影検出装置１及びデータ記録装置８に接続してあ
る。

【００１１】魚影検出装置１は、カメラ３，４からの画
像を解析する。結果をモニタＴＶ10に画像表示したりコ
ントローラー２に転送する。魚影検出装置１は、データ
記録装置８，９から画像を取り込み画像解析できる。マ
ルチプレクサ６には複数台のデータ記録装置８，９やモ
ニタＴＶ１０が接続されており、コントローラー２から
の指令信号３０により切り替え可能である。魚影検出装
置１とコントローラー２は、通信（インターフェースケ
ーブル１６）で結合されている。コントローラーは、外
部通信のためのバス５をもっており、マルチプレクサ
６，タイムコード発生器７，データ記録装置８，９等と
の通信を行っている。タイムコード発生器兼読取器７は
データ記録装置８に共通のタイムコードを供給する。タ
イムコード７の内容はコントローラー２から参照できる
ようになっている。データ記録装置８は、シーケンシャ
ル記録方式のデータ記録再生装置でありタイムコードの
記録ができる機種であればよい。たとえば、業務用ＶＴ
Ｒの中にこれらの機能をもっているものがある。タイム
コードは、映像画面の１フレーム単位に番号付けできる
機能があれば十分であり、ＳＭＰＴＥ規格（Society of
Motion Picture andTelevision Engineers：映画テレ
ビ技術協会（アメリカ））が本目的に使用可能である。
ＳＭＰＴＥ規格では、時，分，秒及びフレーム番号で映
像のフレームを特定できる。コントローラー２は、魚影
検出装置１及びマルチプレクサ６の制御を行う。マルチ
プレクサ６はデータ記録装置８，９の入出力信号の切り
替え、モニタＴＶ１０の入力信号の切り替えを行うため
のものである。コントローラー２は、魚種判定とカウン
トのためのデータ加工と表示を制御している。

【００１２】まず、原データを採取し記録するときの処
理について説明する。

【００１３】２台のカメラからの映像信号の内のひとつ
は魚影検出装置１の処理に取込まれる。この取り込まれ
た映像信号に対し、画像加算，画像間演算，２値化，面
積計算等を行い、面積を評価することにより魚影の発生
を検知する。検知したことをコントローラー２に直ちに
知らせる。コントローラー２はデータ記録装置の記録位
置を知るためタイムコードの読み込みを行う。読み込ん
だタイムコードの値をカウント処理単位の開始アドレス
（ＴＣＳ）に記憶する。魚影検出装置１は、魚影が消滅
するまで同様の画像処理で監視する。面積が一定値以上
の時、魚影有と判断し、一定値以下の時、魚影無と判断
するものとする。魚影が消滅した時は、直ちに、コント
ローラー２に報告し、コントローラー２は、タイムコー
ドの読出しを行い、得られたタイムコードをカウント処
理単位の終了アドレス（ＴＣＥ）として記憶させる。こ
のような処理を繰返してデータ記録装置中の魚影の実際
に存在する位置を示すテーブル（ＴＣＳ，ＴＣＥの組を
一つのレコードとする）を作成する。２台のカメラの画
像は、データ記録装置８に記録されており、このテーブ
ルと記録データを使用して魚種判定とそのカウントを実
施する。カウントを実施するときは、ディスプレイ１
１，キーボード１２，マウス２３等の端末から要求項目
を入力するとよい。要求を受け付けるとコントローラー
２は、テーブル６０からレコードのひとつを読み込む。
そのレコードの内容は、カウント処理のアドレス（ＴＣ
Ｓ，ＴＣＥ）であるから、データ記録装置を起動して、
ＴＣＳの位置まで検索し、ＴＣＳ〜ＴＣＥの区間を指定
されて画像処理を行いながら画面に表示して魚種判定を
行いカウントを行う。魚種判定とカウントは、画像処理
で可能なものは自動的に行うが、画像解析だけで判定の
困難な対象については、画面表示内容をオペレータがみ
ながら人の視覚で行ってもよい。魚影の有無の判定を画
像解析で行う方式について図３にて説明する。まずカメ
ラ画像を取り込み濃淡画像メモリＭ１に格納する（ステ
ップＡ）。次に、前回迄の加算画像Ｍｏと今回の入力画
像Ｍ１間で下記式で示す画像演算を行い背景画像を更新
する（ステップＢ）。

【００１４】 αＭｏ＋βＭ１→Ｍｏ′ …（１） ここに、β＝１−α，α＝０.１〜０.３とする。

【００１５】次に、背景画と入力画像との差分をとり濃
淡画像メモリＭ２に格納する（ステップＣ）。

【００１６】 ｜Ｍｏ−Ｍ１｜→Ｍ２ …（２） 上記画像Ｍ２を２値化し面積を評価して一定値以下なら
魚影無，一定値以上なら魚影有とする（ステップＤ〜
Ｆ)。魚影が出現したら報告する（ステップＧ)。尚、魚
影の消滅を監視する処理も同様にして行う（ステップＨ
〜Ｎ）。

【００１７】図２に以上の処理を図式化して示した。

【００１８】次に、原カメラ画像データを圧縮する処理
について図４にて説明する。本処理の目的は、原カメラ
画像が長時間連続して記録したものであり魚影の存在し
ない映像が大きな部分を占めているという現実を考慮し
て不要な部分を廃棄し必要な部分のみを新しいデータと
して再記録しようとするものである。本処理により記録
媒体の容量が減少し取扱が便利になる上、データの検索
時間が短縮されるメリットがある。尚本処理を原データ
記録時に行うことも可能であり、ここではオフライン処
理のイメージで記述してあるが、オンライン処理で行っ
ても良い。オンライン処理の方が時間の効率は勝る。処
理手順はほぼ同じであるので説明は省略する。

【００１９】まず、魚影位置情報をテーブル６０から１
レコード読み込む。カウント処理のアドレス（ＴＣＳ，
ＴＣＥ）が得られるので、再生用記録装置８（以下、Ｖ
ＴＲ記録再生装置とする）を（ＴＣＳ−Δ）まで検索。
ここでΔは、余裕値であり０.５〜３ 秒の値を適宜使用
すればよい。あまり小さいと処理時忙しいし、大きいと
時間が無駄となる。次に書き込み側のアドレスを決定し
書き込み準備を行う。書き込み用記録装置としては、Ｖ
ＴＲと光ディスクが考えられるがいずれでも実現でき
る。但し、光ディスクの場合には、任意の場所のシーン
をダイレクトに取り込むことができるメリットがある反
面、再書き込み可能な機種を選んで使用する必要があ
る。ここでは、書き込み用記録装置として光ディスクと
仮定して記述した。ＶＴＲの再生と光ディスクの記録開
始は同時に行うとよい（コマンドの発行時間程度の差は
問題無し）（ステップＦ〜Ｇ）。

【００２０】更に、画像処理を起動して画像解析を行う
（ステップＨ）。この間の魚影の数，面積，形状等を計
算して記録しておくためのものである（ステップＲ）。

【００２１】処理の終了は、タイムコードを常時読み込
みながらＴＣＥ＋Δになると処理を終了させるものとす
る。ここでΔは余裕値である。１レコードを終了すると
次のレコードを読み込み、同様の処理を繰り返し全ての
レコードが終了するまで繰り返す。新しく作成した情報
は、新しいテーブル６１上に記録し、映像データは、光
ディスク９に記録されたことになる。この映像データ
は、魚影の存在しない部分を削除したデータであり容量
は原データのほぼ数分の１以下である（実際の河川の状
況により異なる）。

【００２２】魚種判定とカウントの概略処理を図５にて
説明する。オペレータより処理要求を受け取る（ステッ
プＡ）と処理仕様を入力するための画面をディスプレイ
１１に出力する。この画面には、カウント処理単位の構
成情報等を表示し処理対象を決定するための情報をオペ
レータに与える。オペレータは、これらの情報をもとに
処理すべきカウント処理単位を決定し要求を入力する
（ステップＤ）。以降、該当するカウント処理単位のカ
メラ画像や画像処理結果を画面１０上に表示するが、表
示方法や表示の種類を選択できるように仕組んである
（ステップＦ〜Ｈ）ので評価時、容易に魚種を判定して
カウントできるようになっている。表示の一実施例を図
６に示す。この画面では同一画面上に上方カメラからの
画像と側方カメラからの画像を上段と下段に並べて表示
してあり、２個の画像は別々のＶＴＲテープに記録され
た映像であるが、評価に使用するためには時間的なずれ
は許されないのでフレーム単位で同期させてあるのが特
徴である。更に、カメラ画像を画像処理して魚影軌跡を
表示させてある。図７にこの魚影軌跡を画像処理により
求める処理フローを示す。

【００２３】次に、魚種を判定してカウントする処理に
ついて説明する。判定する際に微妙な判断を要し画像処
理で判定できないものは人間の視覚により行う。画像処
理で魚影の特徴量を計算して判定できるものは自動的に
判定を行うものとする。これは、現状の画像処理装置の
機能性能からくるものであり将来ハイビション画像を安
価に使ってシステムを構成できるようになると自動化で
処理できる割合がさらに大きくなるが、現状では自動化
を適用できる割合はそれほど多くを期待できないと思わ
れ、人間の視覚に頼る方式が重要であると考えられる。
本発明ではこの２つの方式を提案するものである。本発
明では、モニタＴＶ１０上に図８のような画面表示がさ
れる。画面にはカメラから取り込んだ画像が表示されて
おりオペレータの指示通りの速度（高速，中速，低速，
停止等）で表示される。図において、画面の左半分に
は、魚種の判別の終わった魚影が表示されている。判定
の終わった魚影には魚種に対応したマーカが魚影に貼り
付けてある。魚種の違う魚影には違ったマークが貼り付
けてある。他方、画面の右半分には、まだ判定の終わら
ない魚影が表示されており、もちろんマーカが貼り付ら
れていない。オペレータは、この画面の表示速度を停止
または低速にして魚種判定作業を行う。図９に、オペレ
ータによる魚種判定及び入力の方法の一実施例について
示す。再生VTR又は、光ディスクの制御処理を（Ｂ）部
に示す。画像処理部を（Ｃ）部に示す。さらにオペレー
タの指示入力するステップを（Ａ）部に示す。まず、シ
ーン中に判定対象の注目魚影を見つけると、魚種を視覚
により判定する。判定を終えると注目魚影にクロスカー
ソルを合わせて魚影を特定し、更に魚種を示すマークを
マウスまたは、キーボードから指定する。これを繰り返
すことにより、全ての魚種の指定を完了すると画面を進
めて次の未処理の魚影に対して同様の処理を繰り返す。
以上は人間の視覚に一部依存して処理する方式について
説明してきたが、次に画像解析により魚種を判定する方
式について説明する。

【００２４】判定木により自動的に魚種を判定する方式
の一例を図１０に示す。魚の大きさ，形状，色，模様等
により判定する方式であり魚種が比較的少ない場合には
有効である。更にニューロ技術を使用して判定すること
が可能である。図１１は、ニューロによる判定方式の一
実施例を示す。入力は、魚の大きさ，形状，色，模様等
であるが、データ量が少ない場合には誤判定を行う危険
があるので、本発明の装置では、図１２のような確認の
ための仕掛けを準備した。以下図１２で説明する。ま
ず、自動判別（ステップＣ）し、自動判別した結果を画
面表示する（例えば図８のように魚影とマークを重ねて
表示する)(ステップＤ）。この表示をオペレータが確認
し異常なものがあると修正する。これらの操作を図１０
に示すように仕組んであるので効率的に行える。

【００２５】

【発明の効果】本発明によれば、従来、採捕やマニュア
ルによる計数では断続した計測しかできなかったが連続
計測が可能となる。

【００２６】更に又、本発明によれば、魚影の発生，消
滅を画像解析で行うことにより不要な画面を容易に削除
できるようになり、データ量は数分の１に減少し、デー
タの取り扱いが容易となる。

【図面の簡単な説明】

【図１】本発明の一実施例である魚種別魚数計測システ
ムの全体構成図である。

【図２】本発明の一実施例である魚影出現検出のための
画像処理の概念図である。

【図３】カメラからの画像を解析し、魚影を検知する処
理フロー図である。

【図４】カメラからの画像データを圧縮する際の処理フ
ロー図である。

【図５】魚数カウント処理の概略説明図である。

【図６】魚影画像を表示する際の画面の表示例である。

【図７】魚影の軌跡画像の作成処理フロー図である。

【図８】魚種判定の際の画面の表示例である。

【図９】魚種判定処理の処理フロー図である。

【図１０】判定木による魚種判定の説明図である。

【図１１】魚種自動判定処理の処理フロー図である。

【図１２】魚種判定処理の処理フロー図である。

【符号の説明】

１…魚影検出装置、２…コントローラー、３，４…ＩＴ
Ｖカメラ、５…外部通信バス、６…マルチプレクサ、７
…タイムコード発生器及び読取器、８…データ記録装置
（ＶＴＲテープ）、９…データ記録装置（光ディス
ク）、１０…モニタＴＶ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山本 勝之 東京都千代田区三崎町二丁目９番18号 株 式会社日立システムテクノロジー内

Claims (10)

【特許請求の範囲】
1. 【請求項１】河川等に設けられた魚道内の状況を撮像す
   るカメラと、カメラにより入力された画像を記録する記
   録手段と、前記画像を表示する表示手段を有し、前記魚
   道内を通過する魚を魚種毎に計数するものであって、前
   記入力された画像における魚影の発生及び消滅を検出す
   る魚影検出手段と、前記検出された魚影の発生から消滅
   までの画像を前記記録手段に記録する制御手段を有する
   ことを特徴とする画像処理を用いた魚種別魚数計測装
   置。
2. 【請求項２】請求項１において、前記魚影検出手段は、
   前記カメラにより入力された画像と前回までに入力され
   た画像との差分画像を求め、当該差分画像と予め設定さ
   れた閾値とを比較し、魚影の発生または消滅を検出する
   ことを特徴とする画像処理を用いた魚種別魚数計測装
   置。
3. 【請求項３】請求項１において、前記カメラは、前記魚
   道内の状況を側方より撮像する第１のカメラと、前記魚
   道内の状況を上方より撮像する第２のカメラより構成さ
   れることを特徴とする画像処理を用いた魚種別魚数計測
   装置。
4. 【請求項４】請求項１において、前記制御手段は、前記
   魚影検出手段により検出された魚影の発生及び消滅の時
   間を表すコード情報を前記入力された画像に付加し記録
   することを特徴とする画像処理を用いた魚種別魚数計測
   装置。
5. 【請求項５】請求項１乃至４のいずれかにおいて、前記
   制御手段は、前記魚影検出手段により検出された魚影の
   発生から消滅までの画像における当該魚影の軌跡を画像
   処理により求めることを特徴とする画像処理を用いた魚
   種別魚数計測装置。
6. 【請求項６】河川等に設けられた魚道内の状況を側方よ
   り撮像する第１のカメラと、前記魚道内の状況を上方よ
   り撮像する第２のカメラと、前記第１及び第２のカメラ
   により入力された画像を記録する記録手段と、前記画像
   を表示する表示手段を有し、前記魚道内を通過する魚を
   魚種毎に計数するものであって、前記入力された画像に
   おける魚影の発生及び消滅を検出する魚影検出手段と、
   前記検出された魚影の発生から消滅までの画像を前記記
   録手段に記録すると共に、前記第１のカメラ及び第２の
   カメラにより入力された画像を前記表示手段の同一画面
   上に表示する制御手段を有することを特徴とする画像処
   理を用いた魚種別魚数計測装置。
7. 【請求項７】請求項６において、前記制御手段は、前記
   魚影検出手段により検出された魚影の発生及び消滅の時
   間を表すコード情報を前記入力された画像に付加し記録
   することを特徴とする画像処理を用いた魚種別魚数計測
   装置。
8. 【請求項８】請求項６において、前記制御手段は、前記
   魚影検出手段により検出された魚影の発生及び消滅の時
   間を表すコード情報を前記入力された画像に付加し記録
   することを特徴とする画像処理を用いた魚種別魚数計測
   装置。
9. 【請求項９】請求項６乃至８のいずれかにおいて、前記
   制御手段は、前記魚影検出手段により検出された魚影の
   発生から消滅までの画像における当該魚影の軌跡を画像
   処理により求めることを特徴とする画像処理を用いた魚
   種別魚数計測装置。
10. 【請求項１０】請求項９において、前記制御手段は、前
    記求めた魚影の軌跡を前記表示手段の画面上に表示する
    ことを特徴とする画像処理を用いた魚種別魚数計測装
    置。