JP7725301B2 - 管状構造物調査支援装置、管状構造物調査支援システム、管状構造物の管種判定方法、及びプログラム - Google Patents

Description

特許法第３０条第２項適用 ［ウェブサイトのアドレス］ 株式会社ジャストの製品ページ ｈｔｔｐｓ：／／ｗｗｗ．ｊｕｓｔ－ｌｔｄ．ｃｏ．ｊｐ／ｐｒｏｊｅｃｔ／ｓｍａｋａｎ／ ［掲載日］ 令和３年７月２６日 ［刊行物等］ ［ウェブサイトのアドレス］ 下水道展’２１大阪の出展紹介ページ ｈｔｔｐｓ：／／ｗｗｗ．ｇｅｓｕｉｄｏｕｔｅｎ．ｊｐ／ｅｘｈｉｂｉｔｏｒｓ／ｉｎｆｏ／？ｅｖｃｉｄ＝ＧＴ１４Ｊ０４５６ ［掲載日］ 令和３年７月２６日 ［刊行物等］ ［集会名］ 下水道展’２１大阪 ［開催日］ 令和３年８月１７日～２０日

本発明は、管状構造物調査支援装置、管状構造物調査支援システム、管状構造物の管種判定方法、及びプログラムに関し、詳細には、下水管等の管状構造物の管種判定に関する。

上下水道管、ケーブル管、トンネル等の管状の構造物について、損傷の有無や状態の調査が行われている。この調査では、管路内を走行する撮影装置を用いて管路の内壁面を管路に沿って撮影し、撮影した内壁面の画像データを用いてコンピュータで展開画像を作成し、作成した展開画像を作業者が目視確認することにより、損傷を判定したり、調査報告書の作成を行っている。

例えば、特許文献１には、管路内を移動可能な管路内作業装置と、モニタを備えた地上装置とで構成された管路内作業装置モニタシステムにおいて、地上装置が、管路内作業装置の現存位置を示す画像を、管路の内壁を撮影した画像データに基づいて作成された展開画像上に表示する管路内作業装置モニタシステムについて記載されている。

また、非特許文献１には、下水道管の調査報告書を所定の様式で作成するための下水道報告書作成システムについて記載されている。

２０１０－０６６０７０号公報

ノザワ電子工業株式会社、"下水道報告書作成システム"、[online]、令和３年８月３日検索、インターネット、<URL:http://nozawa-densi.sakura.ne.jp/CCP004.html>

しかしながら、作業者が下水管等の損傷判定を行うには、その前提情報として管種（管の素材）を知る必要がある。管種は自治体の台帳情報から知ることができるが、修繕等により、管路の一部または全部が変更されることもあり、台帳情報との食い違いが発生することがある。

本発明は上記の問題に鑑みてなされたものであり、下水管等の管種を判定可能とし、これにより、管状構造物の調査における損傷判定業務及び報告書作成業務等における作業負担を軽減し、作業効率を向上することが可能な管状構造物調査支援装置等を提供することを目的とする。

前述した課題を解決するための第１の発明は、管状構造物の内部を管路方向に進行しながら広角カメラで撮影した画像である直視画像を取得する画像取得手段と、前記画像取得手段により取得した前記直視画像に基づいて前記管状構造物の管種を判定する管種判定手段と、前記管種判定手段による判定結果を出力する出力手段と、を備え、前記管種判定手段は、人工知能を用いた画像認識処理によって前記管種を判定することを特徴とする管状構造物調査支援装置である。

第１の発明の管状構造物調査支援装置によれば、管状構造物の内部を管路方向に撮影した直視画像に基づいて管種（管の素材）を判定し、判定結果を出力できる。これにより、作業者は、損傷の判断基準の根幹となる管種を正確に知ることができ、管状構造物の調査における損傷判定業務及び報告書作成業務等における作業効率を向上させることができる。また、展開画像と比較して、小さい画像で情報量が多い直視画像に基づいて判定を行うため、精度よく判定結果を得ることができる。また、人工知能（ＡＩ）を用いることにより、学習データや判定対象とする画像の前処理（画像サイズや明るさ等の調整）の必要がなく効率的であり、かつ精度のよい判定結果を得ることができる。

第１の発明において、前記管種判定手段は、前記直視画像の複数のフレームを判定対象とする。また、前記管種判定手段は、前記複数のフレームの判定結果の多数決をとることにより管種を決定する。複数のフレームを判定対象とすることにより、汚れや損傷等による誤判定を防ぎ、判定精度を向上できる。

また、前記管種判定手段は、管路全体の前記直視画像を判定対象とすることが望ましい。更に、前記管種判定手段による判定結果から管種が変更された箇所を検知することが望ましい。これにより、管路全体にわたって管種を調べ、管路の途中での管種変更を検知できる。

第２の発明は、管状構造物の内部を管路方向に進行しながら広角カメラで撮影する撮影装置と、前記撮影装置とネットワークを介して接続された管状構造物調査支援装置と、を備え、前記管状構造物調査支援装置は、前記撮影装置により撮影された画像である直視画像を取得する画像取得手段と、前記画像取得手段により取得した前記直視画像に基づいて前記管状構造物の管種を判定する管種判定手段と、前記管種判定手段による判定結果を出力する出力手段と、を備え、前記管種判定手段は、人工知能を用いた画像認識処理によって前記管種を判定することを特徴とする管状構造物調査支援システムである。

第２の発明の管状構造物調査支援システムによれば、撮影装置で、管状構造物の内部の直視画像を撮影し、管状構造物調査支援装置で、前記直視画像を取得して、取得した直視画像に基づいて管状構造物の管種を判定し、判定結果を出力する。これにより、作業者は、損傷の判断基準の根幹となる管種を正確に知ることができ、管状構造物の調査における損傷判定業務及び報告書作成業務等における作業効率を向上させることができる。また、展開画像と比較して、小さい画像で情報量が多い直視画像に基づいて判定を行うため、精度よく判定結果を得ることができる。また、人工知能（ＡＩ）を用いることにより、学習データや判定対象とする画像の前処理（画像サイズや明るさ等の調整）の必要がなく効率的であり、かつ精度のよい判定結果を得ることができる。

第３の発明は、コンピュータにより実行される管種判定方法であって、管状構造物の内部を管路方向に進行しながら広角カメラで撮影した画像である直視画像を取得するステップと、取得した前記直視画像に基づいて前記管状構造物の管種を判定するステップと、判定結果を出力するステップと、を含み、前記管状構造物の管種を判定するステップは、人工知能を用いた画像認識処理によって前記管種を判定することを特徴とする管状構造物の管種判定方法である。

第３の発明により、コンピュータを用いて管状構造物の内部を管路方向に撮影した直視画像に基づいて管種（管の素材）を判定し、判定結果を出力できる。これにより、作業者は、損傷の判断基準の根幹となる管種を知ることができ、管状構造物の調査における損傷判定業務及び報告書作成業務等における作業効率を向上させることができる。また、展開画像と比較して、小さい画像で情報量が多い直視画像を判定対象とするため、精度よく判定結果を得ることができる。また、人工知能（ＡＩ）を用いることにより、学習データや判定対象とする画像の前処理（画像サイズや明るさ等の調整）の必要がなく効率的であり、かつ精度のよい判定結果を得ることができる。

第４の発明は、コンピュータを、管状構造物の内部を管路方向に進行しながら広角カメラで撮影した画像である直視画像を取得する画像取得手段、前記画像取得手段により取得した前記直視画像に基づいて前記管状構造物の管種を判定する管種判定手段、前記管種判定手段による判定結果を出力する出力手段、として機能させるためのプログラムであって、
前記管種判定手段は、人工知能を用いた画像認識処理によって前記管種を判定することを特徴とするプログラムである。

第４の発明により、コンピュータを第１の発明における管状構造物調査支援装置として機能させることができる。

本発明により、下水管等の調査で撮影した画像から管種を判定可能とし、これにより、管状構造物の調査における損傷判定業務及び報告書作成業務等における作業負担を軽減し、作業効率を向上することが可能な管状構造物調査支援装置等を提供できる。

管状構造物調査支援システム１の全体構成の一例を示す図 撮影システム２及び管状構造物調査支援装置５の機能構成を示すブロック図 調査処理全体の流れを示すフローチャート 表示処理の流れを示すフローチャート メイン画面７の一例を示す図 グリッド表示の一例を示す図 管種判定処理の流れを示すフローチャート 管種の表示例を示す図 管構造物（ジョイント部）を示すオブジェクト９７１、９７２の表示例を示す図 損傷入力処理の流れを示すフローチャート 損傷箇所のポイント指定の例を示す図 損傷箇所のボックス（範囲）指定の例を示す図 プレビュー処理の流れを示すフローチャート プレビュー画面１５の一例を示す図

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

図１は、本発明に係る管状構造物調査支援システム１の全体構成を示す図である。以下の説明では、一例として図１に示すように、撮影システム２とストレージ３と管状構造物調査支援装置（以下、調査支援装置）５とがネットワーク４を介して通信可能に接続された管状構造物調査支援システム１について説明する。なお、図１のシステム構成例は一例であり、本発明はこれに限定されない。例えば、ストレージ３を省略し、撮影システム２と調査支援装置５とがネットワーク４を介して接続されたシステムとしてもよいし、撮影システム２と調査支援装置５とがネットワーク４を介した通信接続を行わず、画像データ等の交換は記録媒体等を介して行うことも可能である。

撮影システム２は、調査対象となる管状構造物１０（上下水道管、吸排気管、ケーブル管、トンネル等。以下、管１０という）の内部を管路に沿って進行しながら広角カメラ２２Ａで撮影する撮影装置２２と、調査現場で使用されるコンピュータ端末である現場ＰＣ２１とを有する。撮影装置２２は、走行車に広角カメラ２２Ａ及びエンコーダ等を搭載したものである。エンコーダは、管の入口から広角カメラ２２Ａまでの距離を計測するためのケーブル等である。現場ＰＣ２１は、撮影装置２２が撮影した画像（以下、直視画像）及びエンコーダで計測した距離を取得するインターフェースと、ネットワーク４に通信接続するための通信インターフェースと、制御部（CPU,ROM,RAM）、記憶部、入力部、表示部等を備える。現場ＰＣ２１は、撮影装置２２から取得した直視画像に基づいて展開画像を生成する機能を備えることが望ましいが、展開画像の生成は、別のコンピュータ端末で行うものとしてもよい。

展開画像とは、管１０の内部を撮影した画像を管路方向に切り開き平面状に展開した画像である。展開画像の作成方法は公知であり、例えば、特開２０１０－０６６０７０号公報等に記載される。また、撮影システム２についても、上記特許文献に示す作業装置及び地上装置や、公知の同様の撮影システムを用いて構成することができる。なお、現場ＰＣ２１は、エンコーダで取得した距離情報（管の入口から広角カメラ２２Ａまでの距離）を、位置情報（管路方向位置）として撮影画像（直視画像）及び展開画像に記録する。

現場ＰＣ２１は、撮影した直視画像をネットワーク４を介してストレージ３に記憶する。現場ＰＣ２１が展開画像を生成した場合は、生成した展開画像を直視画像と紐づけてストレージ３に記憶する。或いは、現場ＰＣ２１は、直視画像及び展開画像をネットワーク４を介して調査支援装置５に送信してもよい。または、現場ＰＣ２１は、直視画像及び展開画像を記録媒体に記録してもよい。

ストレージ３は、ネットワーク４を介してアクセス可能なストレーサーバであり、現場ＰＣ２１から送信された直視画像や展開画像、工事情報等を保存するための記憶領域を有する。ストレージ３は、調査支援装置５から画像取得要求を受信すると、要求に応答して該当する直視画像や展開画像を送信する。

次に、調査支援装置５について説明する。調査支援装置５は、図２に示すように、制御部５１、記憶部５２、通信部５３、入力部５４、表示部５５、及び周辺機器Ｉ／Ｆ（インターフェース）部５６等をバスを介して接続したコンピュータにより構成され、ＰＣ、タブレット、スマートフォン等を用いることができる。なお、調査支援装置５の構成は適宜変更可能である。調査支援装置５には、管状構造物調査支援プログラムがインストールされ、制御部５１が管状構造物調査支援プログラムに従って処理を実行することにより、後述する各機能を実現する。

制御部５１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、ＣＰＵは、記憶部５２、ＲＯＭ等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バスを介して接続された各部（記憶部５２、通信部５３、入力部５４、表示部５５、周辺機器Ｉ／Ｆ部５６）を駆動制御する。ＲＯＭは、ブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部５１が各種処理を行うために使用するワークエリアを備える。

記憶部５２は、フラッシュメモリ、ハードディスク等の記憶装置であり、取得した画像データや入力した損傷情報、入力した管構造情報等を記憶する。また、記憶部５２は、後述する各機能に係る処理プログラム（総称して「管状構造物調査支援プログラム」または「アプリ」と呼ぶ）を記憶する。

通信部５３は、WiFiアンテナ、Bluetooth等の無線通信部、またはＬＡＮ等の有線通信部の通信ポート、及び通信制御装置を有し、外部機器との通信を媒介するインターフェースである。

入力部５４は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置等を含み、入力されたデータを制御部５１へ入力する。

表示部５５は、例えば液晶パネル等のディスプレイと、ディスプレイと連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部５１の制御により入力された表示データをディスプレイに表示させる。なお、表示部５５は、表示画面にタッチパネル等の入力装置（入力部５４）を一体的に設けたタッチパネルディスプレイとしてもよい。

周辺機器Ｉ／Ｆ部５６は、周辺機器を接続させるためのポートであり、制御部５１は周辺機器Ｉ／Ｆ部５６を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部５６は、ＵＳＢ（Universal Serial Bus）等によって構成されている。周辺機器との接続形態は有線、無線を問わない。

次に、調査支援装置５の機能構成について、図２を参照して説明する。
調査支援装置５は、機能部として、画像取得部５１１、表示処理部５１３、管構造物入力部５１４、損傷入力部５１５、及びプレビュー表示部５１６、及び管種判定部５１８等を有する。また、調査支援装置５は、展開画像を生成する展開画像生成部５１２を備えてもよい。これらの機能部は、制御部５１のＣＰＵが、記憶部５２に記憶された処理プログラム（管状構造物調査支援プログラム）を読み込み、ＲＡＭ上のワークメモリ領域に呼び出して実行することにより実現される。

画像取得部５１１は、撮影システム２により撮影された直視画像及び生成された展開画像を通信部５３または周辺機器Ｉ／Ｆ部５６を介して取得する。或いは、記憶媒体に記憶された直視画像及び展画像を読み込んで取得したり、別のコンピュータに保存されている直視画像及び展開画像やストレージ３上に保存された直視画像及び展開画像を通信部５３がＬＡＮやインターネット等のネットワーク４を介して取得し、制御部５１に取り込むものとしてもよい。

展開画像生成部５１２は、画像取得部５１１により取得した直視画像に基づいて展開画像を生成し、記憶部５２に記憶する。なお、直視画像を撮影しながらリアルタイムに、または直視画像撮影後、すぐに調査現場で展開画像を生成し、適切に変換できたか否かを調査現場で確認することもある。その場合、展開画像は、現場ＰＣ２１等で生成される。

表示処理部５１３は、表示処理を実行し、画像取得部５１１により取得した直視画像７２と、展開画像７１の一部の範囲と、管１０の全体にわたる展開画像７１である全体画像７３とを並べて表示部５５に表示する（図５参照）。表示処理において、表示処理部５１３は、表示する直視画像７２の管１０における位置と展開画像７１の表示範囲とを連動させて表示するとともに、全体画像７３及び展開画像７１に上記位置を示す。表示処理の詳細や表示画面例については後述する。

管構造物入力部５１４は、画像取得部５１１により取得した画像（主に展開画像７１）に対して管１０のジョイント部及び取付管等の構造物の情報の入力を受け付ける。そして、構造物（ジョイント部及び取付管）を示すオブジェクト９７１、９７２を展開画像７１上または全体画像７３上に表示する（図９参照）。また、管構造物入力部５１４は、構造物（ジョイント部及び取付管等）の各々に識別情報を付加し、管１０における位置情報と紐づけて管構造情報として記録する。

損傷入力部５１５は、展開画像７１の任意の位置がユーザにより指示されると、損傷情報を入力するための損傷情報入力欄１１１を表示し（図１１、図１２参照）、損傷情報の入力を受け付ける。また、損傷情報入力欄１１１に入力された損傷情報を、ユーザにより指示された位置（管１０における位置）と紐づけて記録する。なお、損傷位置は、ポイント（点）またはボックス（範囲）で指定可能とする。損傷入力部５１５の処理の詳細や表示画面例については後述する。

プレビュー表示部５１６は、記録された損傷情報のリストである損傷一覧１５０を全体画像７３とともに表示する（図１４参照）。プレビュー表示処理の詳細や表示画面例については後述する。

管種判定部５１８は、画像取得部５１１により取得した直視画像７２に基づいて管１０の管種（管１０の素材）を判定する。直視画像７２は展開画像７１よりも情報量が大きいため、展開画像７１に基づいて管種を判定するよりも正確な判定を行える。管種判定部５１８は、ＡＩ（人工知能）を用いた画像認識処理によって管種を判定する。また、管種判定部５１８は直視画像７２の複数のフレームを判定対象として管種を判定する。そして、複数フレームの判定結果の多数決をとることにより管種を決定する。また、管種判定部５１８は、管路全体について管種判定を行ってもよい。管路全体について管種判定を行い、管種が変更された箇所を検知すると、例えば、管種が変更された箇所を展開画像７１上に反映する。管種判定部５１８による判定結果（管種）は、記憶部５２に記憶されるとともに、例えば、メイン画面７や損傷情報入力欄１１１、プレビュー画面１５等に表示される。

次に、管状構造物調査支援システム１を用いた管状構造物調査の流れについて説明する。まず、図３のフローチャートを参照して、調査全体の流れを説明する。

作業者は撮影システム２を調査現場へ運び、撮影装置２２を用いて管１０の内部を動画撮影する（ステップＳ１０１）。撮影された動画（映像）は直視画像７２として順次現場ＰＣ２１に取り込まれる。現場ＰＣ２１は、展開画像生成処理を実行し、取り込んだ直視画像７２に基づいて展開画像７１を生成する（ステップＳ１０２）。

展開画像７１の生成をやり直す場合は（ステップＳ１０３；Ｎｏ）、ステップＳ１０１へ戻る。展開画像７１の生成が成功した場合は（ステップＳ１０３；Ｙｅｓ）、直視画像７２及び展開画像７１を記憶する（ステップＳ１０４）。

ステップＳ１０１～ステップＳ１０４の処理が終了すると、調査現場での作業を終了し、事務所へ移動する（ステップＳ１０５）。事務所では、作業者は調査支援装置５を用いた作業を行う。

調査支援装置５の制御部５１は、アプリ（管状構造物調査支援処理プログラム）が起動されると（ステップＳ１０６）、管状構造物調査支援処理を実行する。制御部５１は、作業者の操作に従ってストレージ３等から直視画像７２及び展開画像７１を取得し（ステップＳ１０７）、表示処理（ステップＳ１０８）、管種判定処理（ステップＳ１０９）、管構造物入力処理（ステップＳ１１０）、損傷入力処理（ステップＳ１１１）、プレビュー表示処理（ステップＳ１１２）、及び報告書作成処理（ステップＳ１１３）等を行う。なお、ステップＳ１０７～ステップＳ１１３の処理は、作業内容や作業者によって順序を変更したり、一部省略したりしてもよい。以下、各ステップの処理について説明する。

まずステップＳ１０８の表示処理について、図４を参照して説明する。調査支援装置５の制御部５１は、主な表示画面であるメイン画面７を表示部５５に表示し、ステップＳ１０７で取得した展開画像７１、直視画像７２、全体画像７３をメイン画面７内に設けられる各表示領域に表示する（ステップＳ３０１）。

図５はメイン画面７の表示例を示す図である。図５の例では、展開画像７１の表示領域は画面上部に横長に設けられ、直視画像７２の表示領域は画面下部左側に設けられ、全体画像７３の表示領域は画面下部右側に設けられるが、各表示領域のレイアウトやサイズはこれに限定されない。

展開画像７１は、管１０の管路方向を横向きに表示される。展開画像７１の上下方向中央が管１０の底部、展開画像７１の上端及び下端が管１０の頂部に対応している。また、展開画像７１には、管１０における管路方向の位置を示す目盛り７９や展開画像ハンドル７４、展開画像７１の表示範囲をスクロールするためのボタン７７ａ、７７ｂが設けられる。展開画像ハンドル７４はユーザの操作によって左右に移動可能な操作部（第１の位置指定手段）であり、ユーザは展開画像ハンドル７４を移動させて展開画像７１上で任意の位置（管路方向位置）を指定できる。なお、目盛り７９に示す管路方向位置は、管の入口からカメラ２２Ａまでの距離である。

直視画像７２は、一連の動画として撮影された直視画像７２のうち、展開画像ハンドル７４（または全体画像ハンドル７６）で指定された位置で撮影された直視画像７２が表示される。すなわち、動画の各フレームのうち、展開画像ハンドル７４（または全体画像ハンドル７６）で指定された位置で撮影されたフレームが表示される。直視画像７２には、位置情報（管の入口からカメラ２２Ａまでの距離）やジョイント番号（ジョイント部の識別情報）等が表示されることが望ましい。直視画像７２の近傍には、再生ボタン７５（再生指示入力手段）が設けられる。再生ボタン７５が操作されて直視画像７２の動画再生指示が入力されると、制御部５１は、直視画像７２を順方向（管１０の始点（撮影の始点）から終点（撮影の終点）へ向かう方向）に動画再生する。また制御部５１は、表示中の直視画像７２に連動して展開画像７１の表示範囲全体を移動させる。制御部５１は、展開画像ハンドル７４を表示中の直視画像７２に連動して移動させるとともに、全体画像ハンドル７６を直視画像７２に連動して移動させる。すなわち、全体画像７３上及び展開画像７１上に再生中の直視画像７２の位置を示す。なお、再生ボタン７５に加え、逆方向再生を行うための逆再生ボタンや、早送り、早戻し操作を行うボタン、始点や終点への移動ボタンを設けるようにしてもよい。動画再生中に再生ボタン７５が再度操作されると、制御部５１は再生を停止する。

全体画像７３は、展開画像７１を縮小して管路全体にわたって表示した展開画像７１であり、管１０の管路方向を横向きに表示される。展開画像７１と同様に、全体画像７３の上下方向中央が管１０の底部、全体画像７３の上端及び下端が管１０の頂部に対応している。また全体画像７３には、全体画像ハンドル７６、全体画像ハンドル７６の位置を移動させるための移動ボタン７８ａ、７８ｂ等が設けられる。全体画像ハンドル７６はユーザの操作によって左右に移動可能な操作部（第２の位置指定手段）であり、ユーザは全体画像ハンドル７６を移動させて全体画像７３上で任意の位置（管路方向位置）を指定できる。また、全体画像ハンドル７６は、直視画像７２が表示している管路における位置、及び展開画像ハンドル７４の位置に連動して表示位置が左右に移動される。

メイン画面７には、展開画像７１、直視画像７２、全体画像７３等の他、各種の機能を実行するための機能ボタン８１～８５が表示される。機能ボタン８１は、管１０のジョイント部（接手部）の位置を手動入力する際に操作されるボタンであり、機能ボタン８２は、損傷位置をポイント（点）で指定する際に操作されるボタンであり、機能ボタン８３は、損傷位置をボックス（範囲）で指定する際に操作されるボタンであり、機能ボタン８４は、取付管の位置を手動入力する際に操作されるボタンであり、機能ボタン８５は、展開画像７１の表示位置を移動させる際に操作されるボタンである。また、展開画像７１の表示範囲を変更（拡大／縮小）する際に操作される表示サイズ（拡大／縮小率）変更欄８６、表示サイズ（拡大／縮小率）を元に戻す際に操作されるリセットボタン８７、グリッド表示／非表示切替操作部８８、メイン画面７に表示されている管１０についての各種情報（路線番号、人孔番号、管長、総延長等）が表示される管情報表示欄８９、メイン画面７に表示する管１０を変更する際に操作される管変更ボタン９０、９１、損傷情報のプレビュー表示を行う際に操作されるプレビューボタン９２等が設けられる。

図４の説明に戻る。
メイン画面７において、直視画像７２の再生ボタン７５が操作されると（ステップＳ３０２；Ｙｅｓ）、制御部５１は、直視画像７２を動作再生するとともに、展開画像７１の表示範囲を直視画像７２に連動させる（ステップＳ３０３）。また制御部５１は、表示中の直視画像７２に対応する位置を示すように、展開画像ハンドル７４、全体画像ハンドル７６の位置を移動させて表示する（ステップＳ３０４）。

また、展開画像ハンドル７４が操作された場合は（ステップＳ３０２；Ｎｏ→ステップＳ３０５；Ｙｅｓ）、制御部５１は、常に展開画像ハンドル７４の位置が表示領域に含まれるように表示範囲を移動させながら展開画像７１を表示するとともに、展開画像ハンドル７４の位置に対応する直視画像７２を表示する（ステップＳ３０６）。また展開画像ハンドル７４の位置に対応する位置を全体画像７３上に示す（全体画像ハンドル７６の表示位置を移動する；ステップＳ３０７）。

全体画像ハンドル７６が操作された場合は（ステップＳ３０５；Ｎｏ→ステップＳ３０８；Ｙｅｓ）、制御部５１は、全体画像ハンドル７６で示す位置が含まれるように展開画像７１の表示範囲を変更させ、全体画像ハンドル７６の位置に対応する直視画像７２を表示する（ステップＳ３０９）。また全体画像ハンドル７６の位置に対応する位置を展開画像７１上に示す（展開画像ハンドル７４の表示位置を移動する；ステップＳ３１０）。

メイン画面７において、その他の操作が入力された場合は（ステップＳ３０８；Ｎｏ→ステップＳ３１１；Ｙｅｓ）、制御部５１は操作に応じた処理を実行する（ステップＳ３１２）。例えば、メイン画面７のグリッド表示／非表示切替操作部８８が操作されると、制御部５１は、図６に示すように、展開画像７１上のグリッド９５を表示／非表示を切り替える。グリッド９５の表示色は、白または黒を選択可能とし、またグリッド幅も１０［ｍｍ］、５０［ｍｍ］、１００［ｍｍ］等のように変更可能とする。展開画像７１上にグリッド９５を表示することで、損傷や構造物の位置、サイズが認識しやすくなる。また、直視画像７２上で、例えばマウスの右クリック等の操作が入力されると、制御部５１は直視画像７２を拡大表示する。また、機能ボタン８５が選択された後、マウスで展開画像７１がドラッグ操作されると、制御部５１は展開画像７１の表示位置を変更する。また、表示サイズ（拡大／縮小率）変更欄８６にて任意の拡大率または縮小率が入力されると、制御部５１は、展開画像７１を指定された拡大率または縮小率で表示する。リセットボタン８７が操作されると、制御部５１は、元の拡大率または縮小率（或いは、初期設定されている所定のサイズ）に戻して展開画像７１を表示する。

ステップＳ３１１～ステップＳ３１２では、上述の機能ボタン８１～８５や全体プレビューボタン９２、拡大率変更等の操作に応じた処理を行う。操作が入力されない場合は（ステップＳ３１１；Ｎｏ）、ステップＳ３０２に戻り、操作を待機する。

次に、管種判定処理（図３のステップＳ１０９）について、図７のフローチャートを参照して説明する。メイン画面７表示中に、管種判定を行うための操作が行われると（ステップＳ４０１；Ｙｅｓ）、制御部５１は、管種判定処理を開始する。管種判定を行うための操作は、例えば、管理ボタン６１の操作とする。まず、制御部５１は、直視画像７２を取得し（ステップＳ４０２）、取得した直視画像７２から判定対象とする画像フレームを複数抽出する（ステップＳ４０３）。判定対象とする画像フレームは任意であるが、一例として管１０の入口付近、中央付近、終端付近の３フレームとする。制御部５１は、抽出した各画像フレームについて管種を判定し（ステップＳ４０４）、各画像フレームの判定結果から多数決をとることにより管種を決定する（ステップＳ４０５）。ステップＳ４０４の判定処理では、制御部５１はＡＩ（人口知能）による画像認識処理を行って管種を判定することが望ましい。ＡＩは、コンクリート管（ヒューム管）、陶管、塩ビ管等、様々な素材の様々な管１０を撮影した多数の直視画像を学習データとしたものを用いる。

管種を決定すると、制御部５１は決定した管種をＲＡＭまたは記憶部５２に記憶する（ステップＳ４０６）。管種の情報は、予め作業者により台帳情報に基づいて入力され記憶部５２に記憶されているが、ステップＳ４０５で決定された管種が、入力（記憶）されている情報と異なる場合は、制御部５１は、管種の情報を上書きする。その後、制御部５１は管種判定の結果を出力する（ステップＳ４０７）。出力例としては、例えば、図８に示すように、メイン画面７の管理ボタン６１が操作されると、その近傍に「管種：陶管」等のように管種６２を表示する。また予め管径６３の情報が入力されている場合、或いは直視画像７２から管径６３が算出できる場合は管径６３も「管径：２５０ｍｍ」のように表示する。

また、別の出力例として、後述する損傷入力処理において損傷情報入力欄１１１に管種を表示したり（図１１、図１２）や、プレビュー表示処理において、プレビュー画面１５の損傷一覧１５０に管種を表示してもよい（図１４）。また、後述する報告書作成処理において、報告書に管種を表示してもよい。

なお、管路全体にわたって管種判定することにより、管路の途中における管種変更（例えば、陶管の路線の途中から下水管の交換により塩ビ管に変更された等）を検知するものとしてもよい。この場合、制御部５１は、所定の区間ごと複数フレームを抽出して各区間の管種を決定し、管路の途中で管種変更された区間がある場合には、展開画像７１の対応する位置に管種変更を示す表示を行うようにしてもよい。

次に、管構造物入力処理（図３のステップＳ１１０）について説明する。
メイン画面７の機能ボタン８１は管のジョイント部を指定するためのボタンである。機能ボタン８１が選択された状態で展開画像上の任意の位置（管路方向位置）がクリック等の操作によって指定されると、調査支援装置５の制御部５１は指定された位置にジョイント部を示すオブジェクト９７１、９７２、…を重ねて表示する。また、機能ボタン８４は取付管を指定するためのボタンである。機能ボタン８４が選択された状態で展開画像上の任意の位置（管路方向位置）がクリック等の操作によって指定されると、調査支援装置５の制御部５１は指定された位置に取付管を示すオブジェクトを重ねて表示する。

例えば、図９に示すように、ジョイント部の位置に直線オブジェクト９７１、９７２、…を重ねて表示する。図示していないが、取付管の位置には例えば円形オブジェクトを重ねて表示する。また、制御部５１はこれらの管構造物の位置情報（管１０における距離位置）を展開画像７１から取得し各管構造物にそれぞれ識別情報を付加する。識別情報は、管構造物の種類を示すアルファベットと、管１０の始点からの順番を示す数値との組み合わせ等として付加することが望ましい。例えば、ジョイント部には、「Ｊ１」、「Ｊ２」、…等の識別情報を付加する。制御部５１は、各管構造物の識別情報と位置情報を紐づけて管構造情報として記憶部５２に記憶する。

図９に示すように、展開画像７１にはジョイント部にそれぞれオブジェクト９７１、９７２が表示され、各オブジェクト９７１、９７２の上部に識別情報９７１ａ「Ｊ１」、９７２ａ「Ｊ２」が表示される。また、管１０の始点や終点には「管口」等の管構造情報９８が表示される。

次に、損傷入力処理（図３のステップＳ１１１）について、図１０のフローチャートを参照して説明する。
メイン画面７において、機能ボタン８２が操作され、ポイント入力に切り替えられた後（ステップＳ５０１；ポイント）に展開画像の任意の位置（点）がクリックされると（ステップＳ５０２）、制御部５１は、クリック位置に点マーク１１０を表示し（ステップＳ５０３）、クリック位置の管１０における位置情報を取得する（ステップＳ５０４）。制御部５１は、損傷情報入力欄１１１を表示する（ステップＳ５０５）。

図１１は、ポイント指定での損傷情報入力欄１１１が表示された画面例を示す図である。図１１に示すように、展開画像７１上でユーザにより指定された位置に点マーク１１０が表示され、その近傍に損傷情報表示欄１１０ａが表示される。損傷情報表示欄１１０ａには、損傷の位置情報（管路方向位置）、ジョイント部の識別番号、取付向、部位、内容等を含む損傷情報が表示される。また、画面下部には損傷情報入力欄１１１が表示される。損傷情報入力欄１１１には、内容データタブ１１１ａと写真タブ１１１ｂが設けられ、図１１は、内容データタブ１１１ａが選択された状態を示している。内容データタブ１１１ａには、距離入力欄１１３、部位入力欄１１４、ジョイント番号表示欄１１２、備考欄１１５、損傷番号１１６、損傷の種類入力欄１１７、及び程度入力欄１１８が設けられる。距離入力欄１１３には指定されたポイントの位置情報（管路方向位置）が、展開画像７１に付加されている位置情報に基づいて反映されて表示される。部位入力欄１１４には、ドロップダウンリストの形式で損傷の部位が選択入力可能となっている。ジョイント番号表示欄１１２には、管構造情報が入力済みの場合に、該当するジョイント番号が反映されて表示される。備考欄１１５には、任意の文字や数値等が入力できる。また、管種判定処理により判定された管種の情報が、損傷情報入力欄１１１の例えば備考欄１１５や、管理ボタンの近傍等に表示される。損傷の種類入力欄１１７、程度入力欄１１８には、ドロップダウンリストの形式で損傷の種類、程度を入力できる。損傷番号１１６は、各損傷の識別情報を示している。なお、同一箇所に複数の損傷があることもあるため、損傷の種類入力欄１１７、程度入力欄１１８は複数設けられることが望ましい。

写真タブ１１１ｂでは、指定された位置に対応する直視画像７２や損傷の拡大写真などを貼付（入力）できる。作業者によりキャンセルボタン１１１ｃが操作されると、制御部５１は損傷情報入力欄１１１を消去し、メイン画面７に戻る。作業者により損傷情報入力欄１１１に情報が入力され（ステップＳ５０６）、決定ボタン１１１ｄが操作されると、制御部５１は損傷情報入力欄１１１に入力された情報や画像を損傷情報として記憶部５２に記憶する（ステップＳ５０７）。

一方、メイン画面７において、機能ボタン８３が操作され、ボックス入力に切り替えられた後（ステップＳ５０１；ボックス）に展開画像の任意の範囲がマウス操作等によって指定されると（ステップＳ５０８）、制御部５１は、指定範囲にボックスマーク１２０を表示し（ステップＳ５０９）、指定範囲の管１０における位置情報を取得する（ステップＳ５１０）。制御部５１は、損傷情報入力欄１１１を表示する（ステップＳ５０５）。

図１２は、ボックス指定での損傷情報入力欄１１１が表示された画面例を示す図である。図１２に示すように、展開画像７１上でユーザにより指定された範囲にボックスマーク１２０が表示され、その近傍に損傷情報表示欄１２０ａが表示される。損傷情報表示欄１２０ａには、損傷の範囲情報（管路方向位置の範囲）、ジョイント部の場所、取付向、部位、内容等を含む損傷情報が表示される。また、画面下部には損傷情報入力欄１１１が表示される。損傷情報入力欄１１１には、図１１と同様に、内容データタブ１１１ａと写真タブ１１１ｂが設けられ、図１１は、内容データタブ１１１ａが選択された状態を示している。内容データタブ１１１ａには、距離入力欄１１３、部位入力欄１１４、ジョイント番号表示欄１１２、備考欄１１５、損傷番号１１６、損傷の種類入力欄１１７、及び程度入力欄１１８が設けられる。距離入力欄１１３にはボックス指定された範囲の位置情報が反映されて、「〇〇ｍ～△△ｍ」等のように表示される。その他は図１１の損傷情報入力欄１１１の各部と同様である。写真タブ１１１ｂについても同様である。

作業者により損傷情報入力欄１１１に情報が入力され（ステップＳ５０６）、決定ボタン１１１ｄが操作されると、制御部５１は損傷情報入力欄１１１に入力された情報や画像を損傷情報として記憶部５２に記憶する（ステップＳ５０７）。

次に、プレビュー表示処理（図３のステップＳ１１２）について、図１３のフローチャートを参照して説明する。
メイン画面７において、プレビューボタン９２が操作されると（ステップＳ６０１；Ｙｅｓ）、調査支援装置５の制御部５１は、プレビュー画面１５を表示部５５に表示する（ステップＳ６０２）。

制御部５１は、記憶部５２に記憶されている管種情報、損傷情報、管構造情報を取得するとともに、損傷情報に紐づけられている画像（直視画像７２や展開画像７１等）を取得し（ステップＳ６０３）、管構造情報を反映した損傷情報をプレビュー画面１５にリスト表示する（ステップＳ６０４）。

図１４はプレビュー画面１５の表示例を示す図である。図１４に示すようにプレビュー画面１５には、損傷一覧１５０、全体画像７３、及び管情報８９ａが表示される。全体画像７３には、損傷情報として記録されている損傷の位置に点マーク１１０またはボックスマーク１２０が表示される。損傷一覧１５０には、損傷番号順に損傷情報１５１、１５２、…と、各損傷情報１５１、１５２、…に紐づけられた画像７２、７１ａ、７１ｂ、…がリスト表示される。損傷情報１５１、１５２、…は図１１や図１２の損傷情報入力欄１１１での入力情報に対応しており、位置情報、部位情報、ジョイント番号、備考、損傷の種類、管種、及び程度（ランク）等が表示される。また、各損傷情報１５１、１５２、…には、修正ボタン１５１ａ、１５２ａ、…が設けられ、内容を修正可能となっている。

修正ボタン１５１ａ、１５２ａ、…が操作されると（ステップＳ６０５；Ｙｅｓ）、制御部５１は損傷情報１５１、１５２、…の修正を受け付ける。作業者により修正が入力されると（ステップＳ６０６）、制御部５１は修正を反映した損傷情報を記憶部５２に更新記憶する（ステップＳ６０７）。制御部５１は、修正の日時や修正内容、修正者情報等を修正履歴情報として記憶部５２に記憶する（ステップＳ６０８）。修正ボタン１５１ａ、１５２ａ、…が操作されない場合は（ステップＳ６０５；Ｎｏ）、プレビュー処理を終了する。

次に、制御部５１は、報告書作成処理（図３のステップＳ１１３）を実行する。報告書作成処理では、制御部５１は、工事情報、管情報、損傷情報、画像等を記憶部２５から読み出し、自治体ごとに定められている所定の書式に従って工事情報、管情報、損傷情報、画像等が記入された報告書を生成する。制御部５１は、生成した報告書を表示部５５に表示する。また、作業者による指示操作に従って、報告書の印刷出力、報告書データの記憶、送信等を実行する。

以上説明したように、管状構造物調査支援システム１において、管状構造物調査支援装置５は、撮影システム２で撮影した直視画像７２を取得し、直視画像７２に基づいて、損傷判定基準の根幹となる管種（管１０の素材）を判定して、判定結果を出力する。直視画像７２は展開画像７１と比較して、小さい画像で情報量が多いため、効率よく高精度に管種判定を行える。そのため、損傷情報の判定作業や、報告書の作成業務を効率よく行うことが可能となる。

以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。例えば、各画面のレイアウト、各画像の表示サイズ、機能ボタン、操作ボタン、表示欄、入力欄等の配置等は一例であり、その他のレイアウト、サイズ、配置を採用してもよい。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１・・・・・・管状構造物調査支援システム
２・・・・・・撮影システム
２１・・・・・現場ＰＣ
２２・・・・・撮影装置
３・・・・・・ストレージ
４・・・・・・ネットワーク
５・・・・・・管状構造物調査支援装置（コンピュータ）
５１・・・・・制御部
５１１・・・・画像取得部
５１２・・・・展開画像生成部
５１３・・・・表示処理部
５１４・・・・管構造物入力部
５１５・・・・損傷入力部
５１６・・・・プレビュー表示部
６１・・・・・管理ボタン
６２・・・・・管種
６３・・・・・管径
７・・・・・・メイン画面
７１・・・・・展開画像（一部範囲）
７２・・・・・直視画像
７３・・・・・全体画像
７４・・・・・展開画像ハンドル（第１の位置指定手段）
７５・・・・・再生ボタン
７６・・・・・全体画像ハンドル（第２の位置指定手段）
７９・・・・・位置情報を示す目盛り
８１～８５・・機能ボタン
８６・・・・・表示サイズ変更欄
８８・・・・・グリッド表示／非表示切替操作部
９２・・・・・プレビューボタン
９７１、９７２・・・直線オブジェクト（ジョイント部）
１１０・・・・点マーク
１２０・・・・ボックスマーク
１１１・・・・損傷情報入力欄
１５・・・・・プレビュー画面
１０・・・・・管状構造物（管）

Claims (8)

1. 管状構造物の内部を管路方向に進行しながら広角カメラで撮影した画像である直視画像を取得する画像取得手段と、
   前記画像取得手段により取得した前記直視画像に基づいて前記管状構造物の管種を判定する管種判定手段と、
   前記管種判定手段による判定結果を出力する出力手段と、
   を備え、
   前記管種判定手段は、人工知能を用いた画像認識処理によって前記管種を判定する
   ことを特徴とする管状構造物調査支援装置。
2. 前記管種判定手段は、前記直視画像の複数のフレームを判定対象とすることを特徴とする請求項１に記載の管状構造物調査支援装置。
3. 前記管種判定手段は、前記複数のフレームの判定結果の多数決をとることにより管種を決定することを特徴とする請求項２に記載の管状構造物調査支援装置。
4. 前記管種判定手段は、管路全体の前記直視画像を判定対象とすることを特徴とする請求項１から請求項３のいずれかに記載の管状構造物調査支援装置。
5. 前記管種判定手段による判定結果から管種が変更された箇所を検知することを特徴とする請求項４に記載の管状構造物調査支援装置。
6. 管状構造物の内部を管路方向に進行しながら広角カメラで撮影する撮影装置と、
   前記撮影装置とネットワークを介して接続された管状構造物調査支援装置と、を備え、
   前記管状構造物調査支援装置は、
   前記撮影装置により撮影された画像である直視画像を取得する画像取得手段と、
   前記画像取得手段により取得した前記直視画像に基づいて前記管状構造物の管種を判定する管種判定手段と、
   前記管種判定手段による判定結果を出力する出力手段と、
   を備え、
   前記管種判定手段は、人工知能を用いた画像認識処理によって前記管種を判定する
   ことを特徴とする管状構造物調査支援システム。
7. コンピュータにより実行される管種判定方法であって、
   管状構造物の内部を管路方向に進行しながら広角カメラで撮影した画像である直視画像を取得するステップと、
   取得した前記直視画像に基づいて前記管状構造物の管種を判定するステップと、
   判定結果を出力するステップと、
   を含み、
   前記管状構造物の管種を判定するステップは、人工知能を用いた画像認識処理によって前記管種を判定する
   ことを特徴とする管状構造物の管種判定方法。
8. コンピュータを、
   管状構造物の内部を管路方向に進行しながら広角カメラで撮影した画像である直視画像を取得する画像取得手段、
   前記画像取得手段により取得した前記直視画像に基づいて前記管状構造物の管種を判定する管種判定手段、
   前記管種判定手段による判定結果を出力する出力手段、
   として機能させるためのプログラムであって、
   前記管種判定手段は、人工知能を用いた画像認識処理によって前記管種を判定する
   ことを特徴とするプログラム。