JP7776129B2 - 異物検出用教師データ生成装置、学習済みモデル製造装置、異物検出装置、異物検出用教師データ生成方法、及びプログラム - Google Patents

Description

本発明は、異物検出用教師データ生成装置、学習済みモデル製造装置、異物検出装置、異物検出用教師データ生成方法、及びプログラムに関する。

検出対象物に含まれる異物を検出、分類する方法として、画像データを教師あり機械学習により処理する異物検査手法が知られている（特許文献１）。

特開２００８－１４６５２号公報

しかしながら、教師あり分類を行うためには、多数の教師データが必要になる。多数の教師データを用意するためには、異物が含まれる画像中の異物の位置や種類をラベリングする作業が必要になり、人手で行うには多大な時間と労力を有するという課題がある。

そこで本発明は、ラベル付け作業を必要とせずに異物検出用の教師データを生成可能な異物検出用教師データ生成装置を提供することを目的とする。

前記目的を達成するために、本発明の異物検出用教師データ生成装置は、
検出対象画像取得部、異物画像取得部、画像合成部、及び教師データ出力部を含み、
前記検出対象画像取得部は、異物が除去された後の異物検出対象を撮像した検出対象画像を取得し、
前記異物画像取得部は、異物を撮像した異物画像を取得し、
前記画像合成部は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、
前記教師データ出力部は、
前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力する。

本発明の学習済みモデル製造装置は、
教師データ取得部、及び学習済みモデル生成部を含み、
前記教師データ取得部は、異物検出用教師データとして、前記本発明の異物検出用教師データ生成装置が出力した異物検出用教師データを取得し、
前記学習済みモデル生成部は、前記異物検出用教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力する異物検出モデルを学習済みモデルとして生成する。

本発明の異物検出装置は、
異物検出対象画像取得部、及び異物検出部を含み、
前記異物検出対象画像取得部は、異物検出対象を撮像した異物検出対象画像を取得し、
前記異物検出部は、異物検出モデルに前記異物検出対象画像を入力して、前記異物検出対象に異物が含まれているか否かを検出し、
前記異物検出モデルは、前記本発明の異物検出用教師データ生成装置が生成した教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力するよう生成された学習済みモデルであるか、又は前記本発明の学習済みモデル製造装置により製造された学習済みモデルである。

本発明の異物検出用教師データ生成方法は、
検出対象画像取得工程、異物画像取得工程、画像合成工程、及び教師データ出力工程を含み、
前記検出対象画像取得工程は、異物が除去された後の異物検出対象を撮像した検出対象画像を取得し、
前記異物画像取得工程は、異物を撮像した異物画像を取得し、
前記画像合成工程は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、
前記教師データ出力工程は、
前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力する。

本発明の学習済みモデル製造方法は、
教師データ取得工程、及び学習済みモデル生成工程を含み、
前記教師データ取得工程は、異物検出用教師データとして、前記本発明の異物検出用教師データ生成方法が出力した異物検出用教師データを取得し、
前記学習済みモデル生成工程は、前記異物検出用教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力する異物検出モデルを学習済みモデルとして生成する。

本発明の異物検出方法は、
異物検出対象画像取得工程、及び異物検出工程を含み、
前記異物検出対象画像取得工程は、異物検出対象を撮像した異物検出対象画像を取得し、
前記異物検出工程は、異物検出モデルに前記異物検出対象画像を入力して、前記異物検出対象に異物が含まれているか否かを検出し、
前記異物検出モデルは、前記本発明の異物検出用教師データ生成方法が生成した教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力するよう生成された学習済みモデルであるか、又は前記本発明の学習済みモデル製造方法により製造された学習済みモデルである。

本発明の第１のプログラムは、検出対象画像取得手順、異物画像取得手順、画像合成手順、及び教師データ出力手順を含み、
前記検出対象画像取得手順は、異物が除去された後の異物検出対象を撮像した検出対象画像を取得し、
前記異物画像取得手順は、異物を撮像した異物画像を取得し、
前記画像合成手順は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、
前記教師データ出力手順は、
前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力し、
前記各手順をコンピュータに実行させるためのプログラムである。

本発明の第２のプログラムは、教師データ取得手順、及び学習済みモデル生成手順を含み、
前記教師データ取得手順は、異物検出用教師データとして、前記本発明の第１のプログラムが出力した異物検出用教師データを取得し、
前記学習済みモデル生成手順は、前記異物検出用教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力する異物検出モデルを学習済みモデルとして生成し、
前記各手順をコンピュータに実行させるためのプログラムである。

本発明の第３のプログラムは、異物検出対象画像取得手順、及び異物検出手順を含み、
前記異物検出対象画像取得手順は、異物検出対象を撮像した異物検出対象画像を取得し、
前記異物検出手順は、異物検出モデルに前記異物検出対象画像を入力して、前記異物検出対象に異物が含まれているか否かを検出し、
前記異物検出モデルは、前記本発明の第１のプログラムが生成した教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力するよう生成された学習済みモデルであるか、又は前記本発明の第２のプログラムにより製造された学習済みモデルであり、
前記各手順をコンピュータに実行させるためのプログラムである。

本発明によれば、ラベル付け作業を必要とせずに異物検出用の教師データを生成できる。

図１は、実施形態１の異物検出用教師データ生成装置の一例の構成を示すブロック図である。 図２は、実施形態１の異物検出用教師データ生成装置のハードウェア構成の一例を示すブロック図である。 図３は、実施形態１の異物検出用教師データ生成装置における処理の一例を示すフローチャートである。 図４（Ａ）は、異物合成画像を示す模式図であり、図４（Ｂ）は、異物合成画像における異物の合成位置を説明するための模式図である。 図５は、実施形態２の異物検出用教師データ生成装置の一例の構成を示すブロック図である。 図６は、実施形態２の異物検出用教師データ生成装置における処理の一例を示すフローチャートである。 図７は、実施形態３の異物検出用教師データ生成装置の一例の構成を示すブロック図である。 図８は、実施形態３の異物検出用教師データ生成装置における処理の一例を示すフローチャートである。 図９は、実施形態４の学習済みモデル製造装置の一例の構成を示すブロック図である。 図１０は、実施形態４の学習済みモデル製造装置のハードウェア構成の一例を示すブロック図である。 図１１は、実施形態４の学習済みモデル製造装置における処理の一例を示すフローチャートである。 図１２は、実施形態５の異物検出装置の一例の構成を示すブロック図である。 図１３は、実施形態５の異物検出装置のハードウェア構成の一例を示すブロック図である。 図１４は、実施形態５の異物検出装置における処理の一例を示すフローチャートである。

次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

［実施形態１］
本実施形態の異物検出用教師データ生成装置について、図１を用いて説明する。図１は、本実施形態の異物検出用教師データ生成装置１０の一例の構成を示すブロック図である。図１に示すように、異物検出用教師データ生成装置１０（以下、「本装置１０」ともいう）は、検出対象画像取得部１１、異物画像取得部１２、画像合成部１３、及び教師データ出力部１４を含む。また、図示していないが、本装置１０は、例えば、記憶部を含んでもよい。

本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。

図２に、本装置１０のハードウェア構成のブロック図を例示する。本装置１０は、例えば、ＣＰＵ１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０６、出力装置１０７、通信デバイス（通信部）１０８等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。

ＣＰＵ１０１は、例えば、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、本装置１０の全体の制御を担う。本装置１０において、ＣＰＵ１０１により、例えば、本発明のプログラム１０５やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、ＣＰＵ１０１が、検出対象画像取得部１１、異物画像取得部１２、画像合成部１３、及び教師データ出力部１４として機能する。本装置１０は、演算装置として、ＣＰＵを備えるが、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、ＣＰＵとこれらとの組合せを備えてもよい。

バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、後述する学習済みモデル製造装置、異物検出装置、外部記憶装置（外部データベース等）、プリンタ、外部入力装置、外部出力装置、スピーカ等の音声出力装置、カメラ等の外部撮像装置、および加速度センサ、地磁気センサ、方向センサ等の各種センサ等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０８により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して他の装置と接続することもできる。

メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。ＣＰＵ１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム１０５等の種々の動作プログラムを、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。

記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラム１０５が格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。本装置１０が、例えば、前記記憶部を含む場合、記憶装置１０４が前記記憶部として機能する。記憶装置１０４は、例えば、後述する異物検出モデルを記憶していてもよい。

本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。

本装置１０は、例えば、さらに、入力装置１０６、出力装置１０７を備える。入力装置１０６は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。出力装置１０７は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等の表示装置；スピーカ等の音声出力装置；プリンタ；等があげられる。本実施形態１において、入力装置１０６と出力装置１０７とは、別個に構成されているが、入力装置１０６と出力装置１０７とは、タッチパネルディスプレイのように、一体として構成されてもよい。

つぎに、本実施形態の異物検出用教師データ生成方法の一例を、図３のフローチャートに基づき説明する。本実施形態の異物検出用教師データ生成方法は、例えば、図１または図２に示す異物検出用教師データ生成装置１０を用いて、次のように実施できる。なお、本実施形態の異物検出用教師データ生成方法は、図１または図２の異物検出用教師データ生成装置１０の使用には限定されない。本発明における異物検出対象は、異物検出の対象となるものであれば特に制限されず、例えば、生ごみ；製造ラインにおける製造物；農産物等があげられる。以下の説明においては、異物検出対象が、バイオガスプラントにおける生ごみである場合を例に挙げて説明するが、本発明は以下の例示には何ら制限されない。

まず、検出対象画像取得部１１により、異物が除去された後の異物検出対象を撮像した検出対象画像を取得する（Ｓ１、検出対象画像取得工程）。前記検出対象画像は、例えば、異物が完全に除去された異物検出対象の画像でもよいし、異物が残存した異物検出対象の画像でもよいが、異物が完全に除去された異物検出対象の画像であることが好ましい。前記検出対象画像は、例えば、静止画でもよいし、動画でもよく、動画から切り出した静止画でもよい。検出対象画像取得部１１は、例えば、連続的に画像を取得してもよいし、断続的に画像を取得してもよく、後者の場合、所定時間経過毎に画像を取得してもよいし、任意のタイミングで画像を取得してもよい。検出対象画像取得部１１は、例えば、入力装置１０６である前記撮像装置によって前記異物検出対象を撮像することにより前記検出対象画像を取得してもよいが、通信デバイス１０８により、前記通信回線網を介して外部の撮像装置から前記検出対象画像を取得してもよい。後者の具体例として、例えば、バイオガスプラントにおける生ごみの仕分け場において、生ごみから異物を除去する現場を撮像したカメラが撮像した画像を撮像することにより、前記検出対象画像を取得できる。検出対象画像取得部１１は、例えば、取得した検出対象画像をメモリ１０２又は記憶装置１０４に記憶してもよい。

また、検出対象画像取得部１１は、例えば、検出対象撮像部、及び差分対象画像抽出部を含んでもよい。この場合、前記検出対象撮像部は、例えば、所定時間経過毎に前記検出対象を撮像する。そして、前記差分対象画像抽出部は、例えば、ｎ回目に撮像した検出対象の第１対象画像と、ｎ－１回目に撮像した検出対象の第２対象画像との差分を抽出し、差分対象画像を生成する。前記ｎ－１回目に撮像した検出対象の第２対象画像は、例えば、記憶装置１０４に記憶されていてもよいし、装置外の外部記憶装置に記憶されていてもよい。後者の場合、例えば、前記差分対象画像抽出部は、前記外部記憶装置から前記第２対象画像を取得して、前記差分対象画像を生成する。前記差分の抽出は、例えば、公知の画像解析手法における差分抽出方法により実行できる。そして、前記差分対象画像抽出部は、例えば、前記差分対象画像の面積が閾値以上の場合に、前記第１対象画像を前記検出対象画像として取得する。前記閾値は、特に制限されず、例えば、前記差分対象画像の大きさでもよいし、前記第１対象画像の面積に対する前記差分対象画像の面積の比でもよい。前記差分対象画像抽出部は、例えば、前記面積が閾値以上の場合、前記第１対象画像を前記検出対象画像として記憶装置１０４またはメモリ１０２に記憶し、前記面積が閾値未満の場合、前記第１対象画像を記憶せず破棄してもよい。このような態様によれば、例えば、差分の大きい画像、すなわち、検出対象に変化がある場合の画像のみを取得することができるため、より多様な教師データを生成することができ、また、例えば、装置の記憶容量を節約することができる。

つぎに、異物画像取得部１２は、異物を撮像した異物画像を取得する（Ｓ２、異物画像取得工程）。前記異物画像は、例えば、前記検出対象から除去された異物の画像であり、１種類の異物の画像でもよいし、複数種類の異物が含まれる画像でもよい。また、前記異物画像は、例えば、前記検出対象から実際に除去された異物の画像でもよいし、前記検出対象前記検出対象に含まれることが予想される異物の画像を含んでもよいが、前記検出対象から実際に除去された異物の画像であることが好ましい。前記異物画像は、例えば、静止画でもよいし、動画でもよく、動画から切り出した静止画でもよい。異物画像取得部１２は、例えば、連続的に画像を取得してもよいし、断続的に画像を取得してもよく、後者の場合、所定時間経過毎に画像を取得してもよいし、任意のタイミングで画像を取得してもよい。異物画像取得部１１は、例えば、入力装置１０６である前記撮像装置によって前記異物を撮像することにより前記異物画像を取得してもよいが、通信デバイス１０８により、前記通信回線網を介して外部の撮像装置から前記異物画像を取得してもよい。後者の具体例として、例えば、バイオガスプラントにおける生ごみの仕分け場において、生ごみから除去された異物を撮像するカメラが撮像した画像を撮像することにより、前記異物画像を取得できる。異物画像取得部１２は、例えば、取得した異物画像をメモリ１０２又は記憶装置１０４に記憶してもよい。

前記異物画像取得部は、例えば、異物撮像部、差分異物画像抽出部、及び異物判定部を含んでもよい。この場合、例えば、前記異物撮像部は、所定時間経過毎に前記異物を撮像する。前記差分異物画像抽出部は、例えば、ｎ回目に撮像した異物の第１異物画像と、ｎ－１回目に撮像した異物の第２異物画像との差分を抽出して差分異物画像を生成する。前記差分の抽出は、例えば、公知の画像解析手法における差分抽出方法により抽出できる。前記異物判定部は、例えば、前記差分異物画像の面積が閾値範囲内の場合に、前記差分異物画像を異物の画像であると判定し、前記差分異物画像を前記異物画像として取得する。前記閾値範囲は、特に制限されず、例えば、前記差分異物画像の大きさの範囲でもよいし、前記第１異物画像の面積に対する前記差分異物画像の面積の比の範囲でもよい。前記閾値範囲は、例えば、前記検出対象に含まれる可能性のある異物の大きさや種類に応じて適宜設定できる。前記異物判定部は、例えば、前記面積が閾値範囲内の場合、前記差分画像を前記異物画像としてとして記憶装置１０４またはメモリ１０２に記憶し、さらに、前記第１異物画像を、次回以降の判定時の第２異物画像として記憶装置１０４またはメモリ１０２に記憶してもよい。また、前記異物判定部は、例えば、前記面積が閾値範囲外の場合、前記第１異物画像及び前記差分閾値画像を記憶せず破棄してもよい。前記検出対象が生ごみであり、前記異物画像が生ごみの仕分け場において撮像された、生ごみから除去された異物の画像である場合は、前記差分異物画像の面積が一定以下である場合は、異物撮像部により撮像された画像が新たな異物を含まない可能性が高い。また、前記差分異物画像の面積が一定以上である場合は、異物撮像部により撮像された画像は、異物以外の物体（例えば、異物を除去している作業者の体の一部等）の映り込みである可能性が高い。本態様によれば、例えば、取得する異物画像からこのような画像を除去することができるため、より質の高い教師データを生成することができる。

前記検出対象を撮像するカメラと前記異物を撮像するカメラとは、例えば、同一のカメラでもよいし、異なるカメラでもよい。

つぎに、画像合成部１３は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成する（Ｓ３、画像合成工程）。具体的に、画像合成部１３は、例えば、前記検出対象画像と前記異物画像とをランダムに選出し、前記選出された検出対象画像と前記異物画像を合成することにより、前記異物合成画像を生成できる。画像合成部１３は、例えば、１つの検出対象画像に対し、１つの異物画像を合成してもよいし、２以上の複数の異物画像を合成してもよい。前記検出対象画像において、例えば、前記異物画像を合成する位置（合成位置）は特に制限されず、任意の位置に合成できる。画像合成部１３は、例えば、検出対象画像と異物画像の組に対し、合成位置を変えた複数の異物合成画像を生成してもよい。また、画像合成部１３は、例えば、前記異物画像の角度又は大きさの変更、反転等の処理を行い、前記処理後の異物画像を前記検出対象画像に合成してもよい。

前記合成位置は、例えば、前記異物合成画像を複数の画素要素に分割した後、前記画素要素と同数且つ同配列の２次元行列として特定することができる。図４に、異物合成画像１３１と、その合成位置の具体例を示す。図４（Ａ）は、異物合成画像１３１を示す模式図であり、検出対象画像１３１ａの右下に、異物画像１３１ｂが合成されていることを示している。前記合成位置は、図４（Ｂ）に示すように、異物合成画像１３１を複数の画素要素１３１ｃに分割した後、画素要素１３１ｃと同数且つ同配列の２次元行列において、異物画像１３１ｂが存在しない画素要素１３１ｃと対応する行列要素１３１ｄについて「０」、異物画像１３１ｂが存在する画素要素１３１ｃが対応する行列要素１３１ｄについて「１」を記録することにより特定することができる。なお、図４においては説明の便宜上、異物が存在しない画素要素と対応する行列要素に「０」、異物が存在する画素要素と対応する行列要素に「１」を示したが、本発明はこれに制限されず、例えば、異物の存在する位置と存在しない位置とのそれぞれに対応する行列要素が互いに異なる数値を有していればよい。

そして、教師データ出力部１４は、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力する（Ｓ４、教師データ出力工程）。また、教師データ出力部１４は、例えば、前記検出対象画像を異物なしの教師データとして出力してもよい。前記出力は、例えば、本装置１０のメモリ１０２又は記憶装置１０４への出力（記憶）でもよいし、通信回線網を介して外部の装置への出力でもよい。前記外部の装置は、例えば、外部記憶装置、又は本装置１０が生成した教師データを用いる装置、具体的には、後述する本発明の学習済みモデル製造装置もしくは異物検出装置等があげられる。

本実施形態の異物検出用教師データ生成方法において、Ｓ１及びＳ２を実行した後、Ｓ３及びＳ４を順次実行する場合を例に挙げて説明したが、本発明はこれには制限されない。具体的に、本発明において、前記Ｓ１およびＳ２は、Ｓ３より上流の工程で実行されていればよく、Ｓ１とＳ２とは、例えば、同時に実行してもよいし、別個に実行してもよく、後者の場合、実行する順序は特に制限されず任意である。

本実施形態の異物検出用教師データ生成装置によれば、検出対象を撮像した検出対象画像と、異物を撮像した異物画像とを別に取得し、これらを合成することにより、多数の異物合成画像と異物合成位置、すなわち異物合成画像における異物の位置との組を含む異物検出用教師データを生成できる。これにより、本実施形態の異物検出用教師データ生成装置は、人手でのラベル付けを行うことなく、多数の異物検出用の教師データを生成できる。

［実施形態２］
実施形態２は、本発明の異物検出用教師データ生成装置の他の例である。

本実施形態の異物検出用教師データ生成装置は、実施形態１の異物検出用教師データ生成装置１０の構成に加えて、変化情報取得部を含むこと以外は前記実施形態１の異物検出用教師データ生成装置１０と同様であり、その説明を援用できる。本実施形態の異物検出用教師データ生成装置１０Ａは、例えば、変化情報取得部を含み、前記変化情報取得部は、前記検出対象及び前記異物の少なくとも一方の変化を検知した変化情報を取得し、前記検出対象画像取得部は、前記検出対象の変化情報を取得した場合に、前記検出対象画像を取得し、前記異物画像取得部は、前記異物の変化情報を取得した場合に、前記異物画像を取得する。

図５は、本実施形態の異物検出用教師データ生成装置１０Ａの一例の構成を示すブロック図である。図５に示すように、異物検出用教師データ生成装置１０Ａは、実施形態１の異物検出用教師データ生成装置１０の構成に加えて、変化情報取得部１５を備える。異物検出用教師データ生成装置１０Ａのハードウェア構成は、図２の異物検出用教師データ生成装置１０のハードウェア構成において、ＣＰＵ１０１が、図１の異物検出用教師データ生成装置１０の構成に代えて、図５の異物検出用教師データ生成装置１０Ａの構成を備える以外は同様である。

つぎに、本実施形態の異物検出用教師データ生成方法について、図６のフローチャートを用いて説明する。本実施形態の異物検出用教師データ生成方法は、例えば、図５に示す本実施形態の異物検出用教師データ生成装置１０Ａを用いて実施できる。なお、本発明の異物検出用教師データ生成方法は、異物検出用教師データ生成装置１０Ａの使用に限定されない。

まず、変化情報取得部１５は、例えば、前記検出対象及び前記異物の少なくとも一方の変化を検知した変化情報を取得する（Ｓ６、変化情報取得工程）。前記変化情報は、検出対象又は異物の状態に変化があったことを示す情報である。前記変化情報の具体例として、例えば、検出対象又は異物の重量変化情報、検出対象又は異物の距離変化情報、検出対象又は異物の体積変化情報、検出対象又は異物を収容する容器の加速度情報等があげられるが、前記変化情報は、検出対象又は異物の状態に変化があったことを示す情報であれば特に制限されない。前記変化情報は、例えば、重量計、距離センサ、体積測定装置、加速度センサ等の検出対象又は異物の状態を継続的に測定するセンサによって取得できる。以下、前記変化情報の具体例として、重量変化情報を取得する場合を例に挙げて説明するが、本発明はこれに限定されない。変化情報取得部１５は、例えば、前記検出対象又は前記異物の重量を経時的に測定し、測定値に変化があった場合に、前記変化した測定値を前記変化情報として取得してもよいし、有線又は無線で接続された装置外部の重量計から前記検出対象及び前記異物の少なくとも一方について、重量の変化があったことを通知するシグナルを前記変化情報として取得してもよい。具体例として、例えば、バイオガスプラントにおける生ごみの仕分け場において、生ごみ（検出対象）を廃棄するゴミ箱、及び前記生ごみから仕分けされた異物を廃棄するゴミ箱のそれぞれに重量計を設置し、前記重量計からの通信により、前記重量計が測定した重量情報を取得することにより、前記検出対象及び前記異物の変化情報を取得できる。

検出対象画像取得部１１は、前記検出対象の変化情報を取得した場合に、前記実施形態１のＳ１と同様にして、前記検出対象画像を取得する。また、検出対象の重量が変化した直後に撮像した画像は、例えば、前記検出対象の状態が変化した要因（例えば、生ごみを廃棄した者の体の一部等）が映り込む可能性が高い。このため、検出対象画像取得部１１は、例えば、前記変化情報を取得してから所定時間経過後に前記検出対象画像を取得してもよい。

異物画像取得部１２は、前記異物の変化情報を取得した場合に、前記実施形態１のＳ２と同様にして、前記異物画像を取得する。また、異物の重量が変化した直後に撮像した画像は、例えば、前記異物の状態が変化した要因（例えば、異物を廃棄した者の体の一部等）が映り込む可能性が高い。このため、異物画像取得部１２は、例えば、前記変化情報を取得してから所定時間経過後に前記異物画像を取得してもよい。

そして、前記実施形態１のＳ３及びＳ４と同様にしてＳ３及びＳ４を実施し、処理を終了する（ＥＮＤ）。

本実施形態の異物検出用教師データ生成装置は、例えば、変化情報取得部により、前記検出対象及び前記異物の少なくとも一方の変化を検知した変化情報を取得し、前記検出対象画像取得部は、前記検出対象の変化情報を取得した場合に、前記検出対象画像を取得し、前記異物画像取得部は、前記異物の変化情報を取得した場合に、前記異物画像を取得する。このため、本実施形態の異物検出用教師データ生成装置によれば、例えば、教師データを生成するための検出対象画像及び異物画像をより効率よく取得できる。

［実施形態３］
実施形態３は、本発明の異物検出用教師データ生成装置の他の例である。

本実施形態の異物検出用教師データ生成装置は、実施形態１の異物検出用教師データ生成装置１０の構成に加えて、画像加工部を含むこと以外は前記実施形態１の異物検出用教師データ生成装置１０と同様であり、その説明を援用できる。本実施形態の異物検出用教師データ生成装置１０Ｂは、例えば、画像加工部を含み、前記画像加工部は、前記検出対象画像を加工した加工検出対象画像及び前記異物画像を加工した加工異物画像を生成し、前記画像合成部は、前記加工検出対象画像及び前記加工異物画像の少なくとも一方を合成した異物合成画像を生成する。

図７は、本実施形態の異物検出用教師データ生成装置１０Ｂの一例の構成を示すブロック図である。図７に示すように、異物検出用教師データ生成装置１０Ｂは、実施形態１の異物検出用教師データ生成装置１０の構成に加えて、画像加工部１６を備える。異物検出用教師データ生成装置１０Ｂのハードウェア構成は、図２の異物検出用教師データ生成装置１０のハードウェア構成において、ＣＰＵ１０１が、図１の異物検出用教師データ生成装置１０の構成に代えて、図７の異物検出用教師データ生成装置１０Ｂの構成を備える以外は同様である。

つぎに、本実施形態の異物検出用教師データ生成方法について、図８のフローチャートを用いて説明する。本実施形態の異物検出用教師データ生成方法は、例えば、図７に示す本実施形態の異物検出用教師データ生成装置１０Ｂを用いて実施できる。なお、本発明の異物検出用教師データ生成方法は、異物検出用教師データ生成装置１０Ｂの使用に限定されない。

まず、前記実施形態１のＳ１及びＳ２と同様にしてＳ１及びＳ２を実施し、検出対象画像及び異物画像を取得する。

画像加工部１６は、例えば、前記検出対象画像を加工した加工検出対象画像及び前記異物画像を加工した加工異物画像を生成する。前記加工は、例えば、一般的な画像認識を用いる教師データ作成における画像データの拡張方法が利用でき、具体例として、前記画像の色合い、大きさ、傾き、パース等の変更、水平シフト、ランダムシフト、水平反転、垂直反転、シアー変換、ＲＧＢチャンネル変換、背景の切り抜き等があげられる。
前記検出対象が生ごみであり、前記異物が前記生ごみから除去された異物である場合、例えば、画像加工部１６は、例えば、検出対象画像及び異物画像について、時間帯ごとに指定された色合いのフィルタによる色彩調整を行った加工検出対象画像及び加工異物画像を生成することが好ましい。また、画像加工部１６は、例えば、前記異物画像について、シアー変換処理による斜め変形を行った加工異物画像を生成してもよい。

つぎに、画像合成部１３は、例えば、前記加工検出対象画像及び前記加工異物画像の少なくとも一方を合成した異物合成画像を生成する（Ｓ３、画像合成工程）。前記合成は、前記検出対象画像及び前記異物画像に加えて、前記加工対象画像及び前記加工異物画像の少なくとも一方を含む画像を使用すること以外は、前記実施形態１のＳ３と同様にして実施できる。

そして、前記実施形態１のＳ４と同様にしてＳ４を実施し、処理を終了する（ＥＮＤ）。

本実施形態の異物検出用教師データ生成装置は、例えば、画像加工部により、前記検出対象画像を加工した加工検出対象画像及び前記異物画像を加工した加工異物画像を生成できる。このため、本実施形態の異物検出用教師データ生成装置によれば、例えば、教師データを生成するための検出対象画像及び異物画像について、実際に取得した画像だけでなく、加工により拡張した画像を使用した教師データを生成できるため、より効率よく異物検出用教師データを生成できる。

［実施形態４］
実施形態４は、本発明の学習済みモデル製造装置の例である。

本実施形態の学習済みモデル製造装置について、図９を用いて説明する。図９は、本実施形態の学習済みモデル製造装置２０の一例の構成を示すブロック図である。図９に示すように、学習済みモデル製造装置２０は、教師データ取得部２１、及び学習済みモデル生成部２２を含む。また、図示していないが、学習済みモデル製造装置２０は、例えば、記憶部を含んでもよい。

学習済みモデル製造装置２０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、学習済みモデル製造装置２０は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。学習済みモデル製造装置２０は、例えば、システムとしてサーバに組み込まれていてもよい。また、学習済みモデル製造装置２０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、学習済みモデル製造装置２０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。

図１０に、学習済みモデル製造装置２０のハードウェア構成のブロック図を例示する。図１０に示すように、学習済みモデル製造装置２０は、例えば、ＣＰＵ２０１、メモリ２０２、バス２０３、記憶装置２０４、入力装置２０６、出力装置２０７、通信デバイス２０８等を備える。学習済みモデル製造装置２０の各構成の説明は、異物検出用教師データ生成装置１０の各構成の説明を援用できる。学習済みモデル製造装置２０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス２０３を介して接続されている。学習済みモデル製造装置２０において、ＣＰＵ２０１が教師データ取得部２１、及び学習済みモデル生成部２２として機能する。

つぎに、本実施形態の学習済みモデルの製造方法の一例を、図１１のフローチャートに基づき説明する。本実施形態の学習済みモデルの製造方法は、例えば、図９及び１０の学習済みモデル製造装置２０を用いて、次のように実施する。なお、本実施形態の学習済みモデルの製造方法は、図９及び図１０の学習済みモデル製造装置２０の使用には限定されない。

まず、教師データ取得部２１により、異物検出用教師データとして、前記本発明の異物検出用教師データ生成装置が出力した異物検出用教師データを取得する（Ｓ２１、教師データ取得工程）。教師データ取得部２１は、例えば、前記通信回線網を介して、前記本発明の異物検出用教師データ生成装置から異物検出用教師データを取得してもよいし、前記異物検出用データが記憶された外部記憶装置から前記異物検出用教師データを取得してもよい。

つぎに、学習済みモデル生成部２１は、前記異物検出用教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力する異物検出モデルを学習済みモデルとして生成する（Ｓ２２、学習工程）。前記機械学習は、特に制限されず、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）等のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木等を用いた機械学習である。前記機械学習は、例えば、畳み込みニューラルネットワーク、特に、セマンティック・セグメンテーション（Semantic Segmentation）を用いた機械学習であることが好ましい。また、学習済みモデル生成部２１は、例えば、前記異物検出用教師データと、既に生成された学習済モデルとを用いて、再学習させた学習済モデル（派生モデル）を生成してもよい。さらに、学習済みモデル生成部２１は、前記異物検出用教師データを用いて生成した学習済みモデルを用いて転移学習することにより得られた学習済みモデルを生成してもよいし、前記異物検出用教師データを用いて生成した学習済みモデルをモデル圧縮することにより前記学習済みモデルを生成してもよい。

本実施形態によって生成される学習済みモデルは、例えば、後述する異物検出装置に使用される。これにより、異物検出対象を撮像した異物検出対象画像を用いて異物検出対象中の異物検出が可能となる。

［実施形態５］
実施形態５は、本発明の異物検出装置の例である。

本実施形態の異物検出装置について、図１２を用いて説明する。図１２は、本実施形態の異物検出装置３０の一例の構成を示すブロック図である。図１２に示すように、異物検出装置３０は、異物検出対象画像取得部３１、及び異物検出部３２を含む。また、図示していないが、異物検出装置３０は、例えば、記憶部を含んでもよい。

異物検出装置３０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、異物検出装置３０は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。異物検出装置３０は、例えば、システムとしてサーバに組み込まれていてもよい。また、異物検出装置３０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、異物検出装置３０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。

図１３に、異物検出装置３０のハードウェア構成のブロック図を例示する。図１３に示すように、異物検出装置３０は、例えば、ＣＰＵ３０１、メモリ３０２、バス３０３、記憶装置３０４、入力装置３０６、出力装置３０７、通信デバイス３０８等を備える。異物検出装置３０の各構成の説明は、異物検出用教師データ生成装置１０の各構成の説明を援用できる。異物検出装置３０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス３０３を介して接続されている。異物検出装置３０において、ＣＰＵ３０１が異物検出対象画像取得部３１、及び異物検出部３２として機能する。

つぎに、本実施形態の学習済みモデルの製造方法の一例を、図１４のフローチャートに基づき説明する。本実施形態の学習済みモデルの製造方法は、例えば、図１２及び図１３の異物検出装置３０を用いて、次のように実施する。なお、本実施形態の学習済みモデルの製造方法は、図１２及び図１３の異物検出装置３０の使用には限定されない。

まず、異物検出対象画像取得部３１により、異物検出対象を撮像した異物検出対象画像を取得する（Ｓ３１、異物検出対象画像取得工程）。前記異物検出対象は、例えば、異物を含んでいてもよいし、異物を含んでいなくてもよく、異物を含んでいるか否か不明であってもよい。前記異物検出対象画像は、例えば、静止画でもよいし、動画でもよく、動画から切り出した静止画でもよい。異物検出対象画像取得部３１は、例えば、連続的に画像を取得してもよいし、断続的に画像を取得してもよく、後者の場合、所定時間経過毎に画像を取得してもよいし、任意のタイミングで画像を取得してもよい。異物検出対象画像取得部３１は、例えば、入力装置３０６である前記撮像装置によって前記異物検出対象を撮像することにより前記異物検出対象画像を取得してもよいが、通信デバイス３０８により、前記通信回線網を介して外部の撮像装置から前記異物検出対象画像を取得してもよい。後者の具体例として、例えば、バイオガスプラントにおける生ごみの廃棄場において、生ごみを撮像したカメラが撮像した画像を撮像することにより、前記異物検出対象画像を取得できる。異物検出対象画像取得部３１は、例えば、取得した異物検出対象画像をメモリ３０２又は記憶装置３０４に記憶してもよい。

異物検出部３２は、異物検出モデルに前記異物検出対象画像を入力して、前記異物検出対象に異物が含まれているか否かを検出する（Ｓ３２、異物検出工程）。前記異物検出モデルは、例えば、前記本発明の異物検出用教師データ生成装置が生成した教師データを用いた機械学習によって、前記異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否か、すなわち、異物検出結果を出力するよう生成された学習済みモデルである。なお、前記異物検出モデルは、例えば、前記実施形態４の学習済みモデル製造装置により製造された学習モデルでもよい。

前記異物検出モデルは、例えば、異物検出対象画像を入力する入力層と、前記異物検出結果を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層とを含む。前記異物検出モデルは、人工知能ソフトウェアの一部であるプログラムモジュールであってもよい。前記多層化ネットワークとしては、例えば、ニューラルネットワーク等が挙げられる。前記ニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）等が挙げられるが、ＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木等の他の学習アルゴリズムで構築された学習済みモデルであってもよい。

前記異物検出モデルは、例えば、前記本発明の異物検出用教師データ生成装置が生成した教師データを機械学習によって生成できる。なお、前記異物検出モデルは、例えば、予め生成された学習済モデルでもよい。また、前記学習済モデルは、前記異物検出用教師データと、既に生成された学習済モデルとを用いて、再学習させた学習済モデル（派生モデル）でもよい。さらに、前記学習済モデルは、異物検出用教師データを用いて生成した学習済モデルを用いて転移学習することにより得られた学習済モデルでもよいし、異物検出用教師データを用いて生成した学習済モデルをモデル圧縮することに生成した学習済モデルでもよい。

異物検出装置３０は、例えば、出力部を含んでもよい。この場合、前記出力部は、例えば、前記異物検出結果を出力する。前記出力部は、例えば、前記通信回線網を介して装置外の端末に前記異物検出結果を出力してもよいし、出力装置３０７に前記異物検出結果を出力してもよい。また、出力された前記異物検出結果は、例えば、メモリ３０２又は記憶装置３０４に記憶されてもよい。

本実施形態の異物検出用教師データ生成方法において、Ｓ３１～Ｓ３２を順次実行する場合を例に挙げて説明したが、本発明はこれには制限されない。具体的に、本発明において、Ｓ３１とＳ３２とは、例えば、同時に実行してもよいし、別個に実行してもよく、後者の場合、実行する順序は特に制限されず任意である。

本実施形態の異物検出装置によれば、例えば、機械学習により生成した異物検出モデルを用いた異物検出が可能となる。

［実施形態６］
本実施形態の第１のプログラムは、前述の異物検出用教師データ生成方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態の第１のプログラムは、コンピュータに、検出対象画像取得手順、異物画像取得手順、画像合成手順、及び教師データ出力手順を実行させるためのプログラムである。

前記検出対象画像取得手順は、異物が除去された後の異物検出対象を撮像した検出対象画像を取得し、
前記異物画像取得手順は、異物を撮像した異物画像を取得し、
前記画像合成手順は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、
前記教師データ出力手順は、
前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力する。

また、本実施形態の第１のプログラムは、コンピュータを、検出対象画像取得手順、異物画像取得手順、画像合成手順、及び教師データ出力手順として機能させるプログラムということもできる。

本実施形態の第１のプログラムは、前記本発明の異物検出用教師データ生成装置および異物検出用教師データ生成方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

［実施形態７］
本実施形態の第２のプログラムは、前述の学習済みモデル製造方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態の第２のプログラムは、コンピュータに、教師データ取得手順、及び学習済みモデル生成手順を実行させるためのプログラムである。

前記教師データ取得手順は、異物検出用教師データとして、前記第１のプログラムが出力した異物検出用教師データを取得し、
前記学習済みモデル生成手順は、前記異物検出用教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力する異物検出モデルを学習済みモデルとして生成する。

また、本実施形態の第２のプログラムは、コンピュータを、教師データ取得手順、及び学習済みモデル生成手順として機能させるプログラムということもできる。

本実施形態の第２のプログラムは、前記本発明の学習済みモデル製造装置および学習済みモデル製造方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

［実施形態８］
本実施形態の第３のプログラムは、前述の異物検出方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態の第３のプログラムは、コンピュータに、異物検出対象画像取得手順、及び異物検出手順を実行させるためのプログラムである。

前記異物検出対象画像取得手順は、異物検出対象を撮像した異物検出対象画像を取得し、
前記異物検出手順は、異物検出モデルに前記異物検出対象画像を入力して、前記異物検出対象に異物が含まれているか否かを検出し、
前記異物検出モデルは、前記第１のプログラムが生成した教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力するよう生成された学習済みモデルであるか、又は前記第２のプログラムにより製造された学習済みモデルである。

また、本実施形態の第２のプログラムは、コンピュータを、異物検出対象画像取得手順、及び異物検出手順として機能させるプログラムということもできる。

本実施形態の第３のプログラムは、前記本発明の異物検出装置および異物検出方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。

＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
検出対象画像取得部、異物画像取得部、画像合成部、及び教師データ出力部を含み、
前記検出対象画像取得部は、異物が除去された後の異物検出対象を撮像した検出対象画像を取得し、
前記異物画像取得部は、異物を撮像した異物画像を取得し、
前記画像合成部は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、
前記教師データ出力部は、
前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力する、
異物検出用教師データ生成装置。
（付記２）
前記教師データ出力部は、前記検出対象画像を異物なしの教師データとして出力する、付記１記載の異物検出用教師データ生成装置。
（付記３）
前記検出対象画像取得部は、検出対象撮像部、及び差分対象画像抽出部を含み、
前記検出対象撮像部は、所定時間経過毎に前記検出対象を撮像し、
前記差分対象画像抽出部は、ｎ回目に撮像した検出対象の第１対象画像と、ｎ－１回目に撮像した検出対象の第２対象画像との差分を抽出し、差分対象画像を生成し、前記差分対象画像の面積が閾値以上の場合に、前記第１対象画像を前記検出対象画像として取得する、付記１又は２記載の異物検出用教師データ生成装置。
（付記４）
前記異物画像取得部は、異物撮像部、差分異物画像抽出部、及び異物判定部を含み、
前記異物撮像部は、所定時間経過毎に前記異物を撮像し、
前記差分異物画像抽出部は、ｎ回目に撮像した異物の第１異物画像と、ｎ－１回目に撮像した異物の第２異物画像との差分を抽出して差分異物画像を生成し、
前記異物判定部は、前記差分異物画像の面積が閾値範囲内の場合に、前記差分異物画像を異物の画像であると判定し、前記差分異物画像を前記異物画像として取得する、付記１から３のいずれかに記載の異物検出用教師データ生成装置。
（付記５）
変化情報取得部を含み、
前記変化情報取得部は、前記検出対象及び前記異物の少なくとも一方の変化を検知した変化情報を取得し、
前記検出対象画像取得部は、前記検出対象の変化情報を取得した場合に、前記検出対象画像を取得し、
前記異物画像取得部は、前記異物の変化情報を取得した場合に、前記異物画像を取得する、付記１から４のいずれかに記載の異物検出用教師データ生成装置。
（付記６）
画像加工部を含み、
前記画像加工部は、前記検出対象画像を加工した加工検出対象画像及び前記異物画像を加工した加工異物画像を生成し、
前記画像合成部は、前記加工検出対象画像及び前記加工異物画像の少なくとも一方を合成した異物合成画像を生成する、付記１から５のいずれかに記載の異物検出用教師データ生成装置。
（付記７）
教師データ取得部、及び学習済みモデル生成部を含み、
前記教師データ取得部は、異物検出用教師データとして、付記１から６のいずれかに記載の異物検出用教師データ生成装置が出力した異物検出用教師データを取得し、
前記学習済みモデル生成部は、前記異物検出用教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力する異物検出モデルを学習済みモデルとして生成する、学習済みモデル製造装置。
（付記８）
異物検出対象画像取得部、及び異物検出部を含み、
前記異物検出対象画像取得部は、異物検出対象を撮像した異物検出対象画像を取得し、
前記異物検出部は、異物検出モデルに前記異物検出対象画像を入力して、前記異物検出対象に異物が含まれているか否かを検出し、
前記異物検出モデルは、付記１から６のいずれかに記載の異物検出用教師データ生成装置が生成した教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力するよう生成された学習済みモデルであるか、又は付記７記載の学習済みモデル製造装置により製造された学習済みモデルである、異物検出装置。
（付記９）
検出対象画像取得工程、異物画像取得工程、画像合成工程、及び教師データ出力工程を含み、
前記検出対象画像取得工程は、異物が除去された後の異物検出対象を撮像した検出対象画像を取得し、
前記異物画像取得工程は、異物を撮像した異物画像を取得し、
前記画像合成工程は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、
前記教師データ出力工程は、
前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力する、
異物検出用教師データ生成方法。
（付記１０）
前記教師データ出力工程は、前記検出対象画像を異物なしの教師データとして出力する、付記９記載の異物検出用教師データ生成方法。
（付記１１）
前記検出対象画像取得工程は、検出対象撮像工程、及び差分対象画像抽出工程を含み、
前記検出対象撮像工程は、所定時間経過毎に前記検出対象を撮像し、
前記差分対象画像抽出工程は、ｎ回目に撮像した検出対象の第１対象画像と、ｎ－１回目に撮像した検出対象の第２対象画像との差分を抽出し、差分対象画像を生成し、前記差分対象画像の面積が閾値以上の場合に、前記第１対象画像を前記検出対象画像として取得する、付記９又は１０記載の異物検出用教師データ生成方法。
（付記１２）
前記異物画像取得工程は、異物撮像工程、差分異物画像抽出工程、及び異物判定工程を含み、
前記異物撮像工程は、所定時間経過毎に前記異物を撮像し、
前記差分異物画像抽出工程は、ｎ回目に撮像した異物の第１異物画像と、ｎ－１回目に撮像した異物の第２異物画像との差分を抽出して差分異物画像を生成し、
前記異物判定工程は、前記差分異物画像の面積が閾値範囲内の場合に、前記差分異物画像を異物の画像であると判定し、前記差分異物画像を前記異物画像として取得する、付記９から１１のいずれかに記載の異物検出用教師データ生成方法。
（付記１３）
変化情報取得工程を含み、
前記変化情報取得工程は、前記検出対象物及び前記異物の少なくとも一方の変化を検知した変化情報を取得し、
前記検出対象画像取得工程は、前記検出対象物の変化情報を取得した場合に、前記検出対象画像を取得し、
前記異物画像取得工程は、前記異物の変化情報を取得した場合に、前記異物画像を取得する、付記９から１２のいずれかに記載の異物検出用教師データ生成方法。
（付記１４）
画像加工工程を含み、
前記画像加工工程は、前記検出対象画像を加工した加工検出対象画像及び前記異物画像を加工した加工異物画像を生成し、
前記画像合成工程は、前記加工検出対象画像及び前記加工異物画像の少なくとも一方を合成した異物合成画像を生成する、付記９から１３のいずれかに記載の異物検出用教師データ生成方法。
（付記１５）
教師データ取得工程、及び学習済みモデル生成工程を含み、
前記教師データ取得工程は、異物検出用教師データとして、付記９から１４のいずれかに記載の異物検出用教師データ生成方法が出力した異物検出用教師データを取得し、
前記学習済みモデル生成工程は、前記異物検出用教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力する異物検出モデルを学習済みモデルとして生成する、学習済みモデル製造方法。
（付記１６）
異物検出対象画像取得工程、及び異物検出工程を含み、
前記異物検出対象画像取得工程は、異物検出対象を撮像した異物検出対象画像を取得し、
前記異物検出工程は、異物検出モデルに前記異物検出対象画像を入力して、前記異物検出対象に異物が含まれているか否かを検出し、
前記異物検出モデルは、付記９から１４のいずれかに記載の異物検出用教師データ生成方法が生成した教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力するよう生成された学習済みモデルであるか、又は付記１５記載の学習済みモデル製造方法により製造された学習済みモデルである、異物検出方法。
（付記１７）
検出対象画像取得手順、異物画像取得手順、画像合成手順、及び教師データ出力手順を含み、
前記検出対象画像取得手順は、異物が除去された後の異物検出対象を撮像した検出対象画像を取得し、
前記異物画像取得手順は、異物を撮像した異物画像を取得し、
前記画像合成手順は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、
前記教師データ出力手順は、
前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力し、
前記各手順をコンピュータに実行させるためのプログラム。
（付記１８）
前記教師データ出力手順は、前記検出対象画像を異物なしの教師データとして出力する、付記１７記載のプログラム。
（付記１９）
前記検出対象画像取得手順は、検出対象撮像手順、及び差分対象画像抽出手順を含み、
前記検出対象撮像手順は、所定時間経過毎に前記検出対象を撮像し、
前記差分対象画像抽出手順は、ｎ回目に撮像した検出対象の第１対象画像と、ｎ－１回目に撮像した検出対象の第２対象画像との差分を抽出し、差分対象画像を生成し、前記差分対象画像の面積が閾値以上の場合に、前記第１対象画像を前記検出対象画像として取得する、付記１７又は１８記載のプログラム。
（付記２０）
前記異物画像取得手順は、異物撮像手順、差分異物画像抽出手順、及び異物判定手順を含み、
前記異物撮像手順は、所定時間経過毎に前記異物を撮像し、
前記差分異物画像抽出手順は、ｎ回目に撮像した異物の第１異物画像と、ｎ－１回目に撮像した異物の第２異物画像との差分を抽出して差分異物画像を生成し、
前記異物判定手順は、前記差分異物画像の面積が閾値範囲内の場合に、前記差分異物画像を異物の画像であると判定し、前記差分異物画像を前記異物画像として取得する、付記１７から１９のいずれかに記載のプログラム。
（付記２１）
変化情報取得手順を含み、
前記変化情報取得手順は、前記検出対象物及び前記異物の少なくとも一方の変化を検知した変化情報を取得し、
前記検出対象画像取得手順は、前記検出対象物の変化情報を取得した場合に、前記検出対象画像を取得し、
前記異物画像取得手順は、前記異物の変化情報を取得した場合に、前記異物画像を取得する、付記１７から２０のいずれかに記載のプログラム。
（付記２２）
画像加工手順を含み、
前記画像加工手順は、前記検出対象画像を加工した加工検出対象画像及び前記異物画像を加工した加工異物画像を生成し、
前記画像合成手順は、前記加工検出対象画像及び前記加工異物画像の少なくとも一方を合成した異物合成画像を生成する、付記１７から２１のいずれかに記載のプログラム。
（付記２３）
教師データ取得手順、及び学習済みモデル生成手順を含み、
前記教師データ取得手順は、異物検出用教師データとして、付記１７から２２のいずれかに記載のプログラムが出力した異物検出用教師データを取得し、
前記学習済みモデル生成手順は、前記異物検出用教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力する異物検出モデルを学習済みモデルとして生成し、
前記各手順をコンピュータに実行させるためのプログラム。
（付記２４）
異物検出対象画像取得手順、及び異物検出手順を含み、
前記異物検出対象画像取得手順は、異物検出対象を撮像した異物検出対象画像を取得し、
前記異物検出手順は、異物検出モデルに前記異物検出対象画像を入力して、前記異物検出対象に異物が含まれているか否かを検出し、
前記異物検出モデルは、付記１７から２２のいずれかに記載のプログラムが生成した教師データを用いた機械学習によって、異物検出対象を撮像した異物検出対象画像を入力した場合に、前記異物検出対象に異物が含まれているか否かを出力するよう生成された学習済みモデルであるか、又は付記２３記載のプログラムにより製造された学習済みモデルであり、
（付記２５）
付記１７から２４のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

本発明によれば、ラベル付け作業を必要とせずに異物検出用の教師データを生成できる。このため、本発明は、異物の検出に係る分野において広く有用である。

１０、１０Ａ、１０Ｂ 異物検出用教師データ生成装置
１１ 検出対象画像取得部
１２ 異物画像取得部
１３ 画像合成部
１４ 教師データ出力部
１５ 変化情報取得部
１６ 画像加工部
１０１ ＣＰＵ
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ プログラム
１０６ 入力装置
１０７ 出力装置
１０８ 通信デバイス
２０ 学習済みモデル製造装置
２１ 教師データ取得部
２２ 学習済みモデル生成部
２０１ ＣＰＵ
２０２ メモリ
２０３ バス
２０４ 記憶装置
２０５ プログラム
２０６ 入力装置
２０７ 出力装置
２０８ 通信デバイス
３０ 異物検出装置
３１ 異物検出対象画像取得部
３２ 異物検出部
３０１ ＣＰＵ
３０２ メモリ
３０３ バス
３０４ 記憶装置
３０５ プログラム
３０６ 入力装置
３０７ 出力装置
３０８ 通信デバイス

Claims (7)

1. 検出対象撮像部、異物撮像部、変化情報取得部、検出対象画像取得部、異物画像取得部、画像合成部、及び教師データ出力部を含み、
   前記検出対象撮像部は、異物が除去された後の検出対象を断続的に撮像し、
   前記異物撮像部は、前記異物を断続的に撮像し、
   前記変化情報取得部は、前記検出対象及び前記異物の少なくとも一方の変化を検知した変化情報を取得し、
   前記検出対象画像取得部は、前記検出対象の変化情報を取得した場合に、検出対象画像を取得し、
   前記異物画像取得部は、前記異物の変化情報を取得した場合に、異物画像を取得し、
   前記画像合成部は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、
   前記教師データ出力部は、
   前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力する、
   異物検出用教師データ生成装置。
2. 前記教師データ出力部は、前記検出対象画像を異物なしの教師データとして出力する、請求項１記載の異物検出用教師データ生成装置。
3. 前記検出対象画像取得部は、差分対象画像抽出部を含み、
   前記検出対象撮像部は、所定時間経過毎に前記検出対象を撮像し、
   前記差分対象画像抽出部は、ｎ回目に撮像した検出対象の第１対象画像と、ｎ－１回目に撮像した検出対象の第２対象画像との差分を抽出し、差分対象画像を生成し、前記差分対象画像の面積が閾値以上の場合に、前記第１対象画像を前記検出対象画像として取得する、請求項１又は２記載の異物検出用教師データ生成装置。
4. 前記異物画像取得部は、差分異物画像抽出部、及び異物判定部を含み、
   前記異物撮像部は、所定時間経過毎に前記異物を撮像し、
   前記差分異物画像抽出部は、ｎ回目に撮像した異物の第１異物画像と、ｎ－１回目に撮像した異物の第２異物画像との差分を抽出して差分異物画像を生成し、
   前記異物判定部は、前記差分異物画像の面積が閾値範囲内の場合に、前記差分異物画像を異物の画像であると判定し、前記差分異物画像を前記異物画像として取得する、請求項１から３のいずれか一項に記載の異物検出用教師データ生成装置。
5. 画像加工部を含み、
   前記画像加工部は、前記検出対象画像を加工した加工検出対象画像及び前記異物画像を加工した加工異物画像を生成し、
   前記画像合成部は、前記加工検出対象画像及び前記加工異物画像の少なくとも一方を合成した異物合成画像を生成する、請求項１から４のいずれか一項に記載の異物検出用教師データ生成装置。
6. 検出対象撮像工程、異物撮像工程、変化情報取得工程、検出対象画像取得工程、異物画像取得工程、画像合成工程、及び教師データ出力工程を含む各工程がコンピュータにより実行される異物検出用教師データ生成方法であって、
   前記検出対象撮像工程は、異物が除去された後の検出対象を断続的に撮像し、
   前記異物撮像工程は、前記異物を断続的に撮像し、
   前記変化情報取得工程は、前記検出対象及び前記異物の少なくとも一方の変化を検知した変化情報を取得し、
   前記検出対象画像取得工程は、前記検出対象の変化情報を取得した場合に、検出対象画像を取得し、
   前記異物画像取得工程は、前記異物の変化情報を取得した場合に、異物画像を取得し、
   前記画像合成工程は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、前記教師データ出力工程は、
   前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力する、
   異物検出用教師データ生成方法。
7. 検出対象撮像手順、異物撮像手順、変化情報取得手順、検出対象画像取得手順、異物画像取得手順、画像合成手順、及び教師データ出力手順を含み、
   前記検出対象撮像手順は、異物が除去された後の検出対象を断続的に撮像し、
   前記異物撮像手順は、前記異物を断続的に撮像し、
   前記変化情報取得手順は、前記検出対象及び前記異物の少なくとも一方の変化を検知した変化情報を取得し、
   前記検出対象画像取得手順は、前記検出対象の変化情報を取得した場合に、検出対象画像を取得し、
   前記異物画像取得手順は、前記異物の変化情報を取得した場合に、異物画像を取得し、
   前記画像合成手順は、前記検出対象画像に前記異物画像を合成して、異物合成画像を生成し、前記教師データ出力手順は、
   前記異物合成画像と、前記異物合成画像における前記異物画像の合成位置との組を、異物ありの教師データとして出力し、
   前記各手順をコンピュータに実行させるためのプログラム。