JP7584073B2 - 画像判定装置、画像判定方法、及び、プログラム - Google Patents

Description

本開示は、機械学習のモデルを用いた画像判定装置、画像判定方法、及び、プログラムに関する。

特許文献１では、学習モデルを用いて歩行者等の検知対象物を表す画像を高精度に検知できる技術が開示されている。特許文献１によれば、事前に学習された複数の学習モデルのうち撮像手段によって撮像された画像のゲインに対応する一つの学習モデルを選択することで、当該画像に映る検知対象物を高精度に検知することができる。

特開２０１２－０６８９６５号公報

しかしながら、撮像手段のメンテナンスなど諸々の原因により、撮像手段によった撮像される画像に違いが生じてしまう場合がある。このような場合、撮像手段によって撮像された画像のゲインに対応する一つの学習モデルで検知対象物を検知しても精度が大きく低下してしまうことがある。さらに、画像の違いを評価する基準の調整が難しい場合や、そもそも人が一目では分からないような違いであった場合には、複数の学習モデルの準備や検査時に学習モデルを選択することができないため、検知対象物を検知する精度を向上できないことになる。

換言すると、特許文献１では、機械学習のモデルに対象画像のラベルを判定させるタスクにおいて、画像に人が一目でわからないような違いが生じてしまうと、判定精度を向上させることができないという課題がある。

本開示は、上述の事情を鑑みてなされたもので、機械学習のモデルを用いた画像判定の精度が低下した場合でも精度を向上させることができる画像判定装置などを提供することを目的とする。

上記目的を達成するために、本開示の一形態に係る画像判定装置は、複数の第１の画像と前記複数の第１の画像それぞれに紐づけられた第１のラベルとを含む第１の教師データセットを用いて１以上の種類の機械学習モデルの学習を行うことで１以上の第１のモデルを得、かつ、前記複数の第１の画像と異なる複数の第２の画像と前記複数の第２の画像それぞれに紐づけられた第２のラベルと、前記第１の教師データセットの少なくとも一部とを含む１以上の第２の教師データセットを用いて、１以上の種類の機械学習モデルの学習を行うことで１以上の第２のモデルを得る学習部と、対象画像を取得する画像取得部と、前記画像取得部で取得された前記対象画像に対して、前記１以上の第１のモデルのうちの１つと前記１以上の第２のモデルのうちの１つとの少なくとも２つを用いることで得た前記対象画像のラベルの判定結果を、出力する判定部と、を備える。

これにより、機械学習のモデルを用いた画像判定の精度が低下した場合でも精度を向上させることができる。

なお、これらの全般的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示により、機械学習のモデルを用いた画像判定の精度が低下した場合でも精度を向上させることができる画像判定装置などを提供できる。

図１は、実施の形態に係る画像判定装置の機能構成を示すブロック図である。 図２は、実施の形態に係る画像判定装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。 図３は、実施の形態に係る教師データセットとなる新旧データセットの一例を説明するための図である。 図４は、実施の形態に係る教師データセットとなる新旧データセットの別の例を説明するための図である。 図５は、実施の形態に係る教師データセットとなる新旧データセットのさらに別の例を説明するための図である。 図６Ａは、実施の形態に係るルール情報の一例を説明するための図である。 図６Ｂは、実施の形態に係るルール情報の別の例を説明するための図である。 図６Ｃは、実施の形態に係るルール情報のさらに別の例を説明するための図である。 図７は、実施の形態に係る旧機械学習モデル及び新機械学習モデルの組み合わせを機械学習により選択する方法の概念を示す図である。 図８Ａは、実施の形態に係る組み合わせ対象の機械学習モデルの一例と検証用データセットとを示す図である。 図８Ｂは、検証用データセットに含まれる各画像に対する、組み合わせ対象の機械学習モデルそれぞれの出力の一例を示す図である。 図９は、実施の形態に係るユーザに旧機械学習モデル及び新機械学習モデルの最適な組み合わせを選択させるための一覧表の一例を示す図である。 図１０は、本実施の形態における画像判定装置の動作概要を示すフローチャートである。 図１１は、実施の形態に係る教師データ１と教師データ２とを示す図である。 図１２は、実施の形態に係る学習時データ（データセット１）と、直近データとに対する機械学習モデルの精度を定性的に示す図である。 図１３は、図１１に示すモデル１とモデル２との学習に用いた教師データの一例である。

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。

（実施の形態）
まず、本実施の形態に係る画像判定装置及び画像判定方法について説明する。

［１．画像判定装置１０］
以下、本実施の形態に係る画像判定装置１０の構成等について説明する。図１は、本実施の形態に係る画像判定装置１０の機能構成を示すブロック図である。

画像判定装置１０は、コンピュータ等で実現され、機械学習のモデルを用いた画像判定の精度が低下した場合でも精度を向上させることができる装置である。

本実施の形態では、図１に示されるように、画像判定装置１０は、学習部１０１と、記憶部１０２と、画像取得部１０３と、判定部１０４とを備える。なお、画像取得部１０３と、判定部１０４とは、学習部１０１と別の装置であってもよく、この場合、記憶部１０２に保存されているモデル１－１～モデル２－２を記憶するメモリまたは記憶部を備えていればよい。

［１－１．ハードウェア構成］
図２は、本実施の形態に係る画像判定装置１０の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。

本実施の形態に係る画像判定装置１０の機能構成を説明する前に、図２を用いて、本実施の形態に係る画像判定装置１０のハードウェア構成の一例について説明する。

コンピュータ１０００は、図２に示すように、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７、送受信装置１００８及びバス１００９を備えるコンピュータである。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。

入力装置１００１は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。

出力装置１００２は、入力装置１００１と兼用されており、タッチパッドまたはタッチパネルディスプレイなどによって構成され、ユーザに知らすべき情報を通知する。

内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、画像判定装置１０の機能を実現するためのプログラム、及び、画像判定装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。また、内蔵ストレージ１００４は、モデル１－１～モデル２－２などが記憶されるとしてもよい。

ＲＡＭ１００５は、ランダムアクセスメモリ（Random Access Memory）であり、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される。

読取装置１００７は、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラム、アプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。

送受信装置１００８は、無線又は有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラム、アプリケーションをダウンロードして内蔵ストレージ１００４に記憶させてもよい。

ＣＰＵ１００３は、中央演算処理装置（Central Processing Unit）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションをＲＡＭ１００５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ１００５から順次読み出して実行する。

続いて、本実施の形態に係る画像判定装置１０の各機能構成について説明する。

本実施の形態では、画像判定装置１０は、機械学習を用いて製造品の検査画像を判定する検査装置を構成するとして説明する。また、以下では、製造品の検査画像の一例として、半導体回路が形成されたウェハを光学的に撮影した画像であるとして説明するが、これに限らない。製造品の検査画像は、例えば二次電池の断面図を光学的に撮影した画像であってもよく、光学で製造品を撮影することで得た２次元の画像であればよい。

［１－２．学習部１０１］
学習部１０１は、教師データとなるデータセット１等を用いて、機械学習のモデルを学習させる演算装置である。

より具体的には、学習部１０１は、複数の第１の画像と複数の第１の画像それぞれに紐づけられた第１のラベルとを含む第１の教師データセットを用いて１以上の種類の機械学習モデルの学習を行うことで１以上の第１のモデルを得る。本実施の形態では、学習部１０１は、予め用意されたデータセット１を教師データとして用いて、１以上の種類のモデルの学習を行うことで、モデル１－１、モデル１－２、・・・を得る。

また、学習部１０１は、１以上の第２の教師データセットを用いて、１以上の種類の機械学習モデルの学習を行うことで１以上の第２のモデルを得る。ここで、１以上の第２の教師データセットのそれぞれは、複数の第１の画像と異なる複数の第２の画像と複数の第２の画像それぞれに紐づけられた第２のラベルと、第１の教師データセットの少なくとも一部とを含んでいる。本実施の形態では、学習部１０１は、データセット１の少なくとも１部のデータと新たなデータ（更新データ）とを含む更新データセット２を教師データとして用いて、１以上の種類のモデルの学習を行うことで、モデル２－１、モデル２－２、・・・を得る。

なお、モデル２－１、モデル２－２、・・・は、モデル１－１、モデル１－２、・・・の後に得られる機械学習モデルである。このため、図１に示されるように、モデル１－１、モデル１－２、・・・は旧機械学習モデルと総称でき、モデル２－１、モデル２－２、・・・・は新機械学習モデルと総称できる。

＜データセット＞
以下、データセット１及び更新データセット２について説明する。

データセット１は、画像判定装置１０を検査工程に導入する前、すなわち検査実施前に収集された複数の画像を含む教師データセットである。更新データセット２は、画像判定装置１０を検査工程に導入し所定の期間経過後に収集された複数の画像を含む教師データセットである。このように、更新データセット２は、データセット１の時間的後に取得されるデータセットであるので、更新データセット２を新データセットと称し、データセット１を旧データセットと称することもできる。

本実施の形態では、データセット１及び更新データセット２に含まれる画像は、例えば所定期間における製造品の検査画像である。ここで、例えば、データセット１に含まれる複数の画像（第１の画像）のそれぞれは、所定期間のうち第１期間において得た検査画像であり、データセット２に含まれる複数の画像（第２の画像）は、所定期間のうち第１期間の後において得た検査画像であってもよい。

図３は、実施の形態に係る教師データセットとなる新旧データセットの一例を説明するための図である。

データセット１は、検査実施前に収集された大量の検査画像と大量の検査画像それぞれに紐づけられたラベルとを含む旧データセットである。図３に示されるデータセット１の例では、Ｎ_１枚の検査画像には打痕不良を示すラベル、Ｎ_２枚の検査画像には傷不良を示すラベル、Ｎ_３枚の検査画像には良品を示すラベル、Ｎ_４枚の検査画像には欠け不良を示すラベルが紐づけられている。また、データセット１は様々な条件からバランスよく収集された画像である。例えば製造条件ＡからＮ_５枚、製造条件ＢからＮ_６枚、製造条件ＣからＮ_７枚を、Ｎ_５、Ｎ_６、Ｎ_７が全て所定の枚数以上になるように集める。

更新データセット２は、検査導入後、例えば検査実施１００日目にモデル１の判定精度が低下したため急遽収集された複数の検査画像と複数の検査画像それぞれに紐づけられたラベルとを含む新データセットである。図３に示される更新データセット２の例では、Ｍ_１枚の検査画像には不良を示すラベル、Ｍ_２枚の検査画像には良品を示すラベルが紐づけられている。

なお、図３では、さらに、更新データセット３が示されている。更新データセット３は、例えば検査実施３００日目にモデル１及びモデル２による判定精度が低下したため急遽収集された複数の検査画像と、複数の検査画像それぞれに紐づけられたラベルとを含む新データセットである。図３に示される更新データセット３の例では、Ｌ_１枚の検査画像には不良を示すラベル、Ｌ_２枚の検査画像には良品を示すラベルが紐づけられている。

このように、更新データセット２は、データセット１の後において得た検査画像を含み、更新データセット３は、データセット１の後かつ更新データセット２の後において得た検査画像を含んでいる。

なお、図３では、モデル１の教師データセットとして、データセット１が用いられ、モデル２の教師データセットとして、データセット１と更新データセット２とが用いられることが示されている。またモデル２の後に得られるモデル３の教師データセットとして、データセット１と更新データセット３とが用いられることが示されている。また、図３では、検査導入時には、モデル１を用いて検査が実施され、検査実施１００日目以降にはモデル１と２を併用して検査が実施され、検査実施３００日目以降にはモデル１と３を併用して検査が実施されていることを示している。もちろん、検査実施３００日目以降にはモデル１～３を併用して検査が実施されていてもよい。

図４は、実施の形態に係る教師データセットとなる新旧データセットの別の例を説明するための図である。

図４では、図３と比較して、更新データセット３の例が示されていない一方でデータセット１は図３に示されるものと同じである。更新データセット２は、検査導入後、例えば検査実施１００日目にモデル１の判定精度が低下したため急遽収集された４０枚の検査画像と４０枚の検査画像それぞれに紐づけられたラベルとを含む新データセットである。図４に示される更新データセット２の例では、２０枚の検査画像には不良を示すラベル、２０枚の検査画像には良品を示すラベルが紐づけられている。

このように、図４に示される例では、更新データセット２は、データセット１の後において得た検査画像を含んでいる。また、図４示される例では、モデル１の教師データセットとして、データセット１が用いられ、モデル２の教師データセットとしては、データセット１の一部と更新データセット２とが用いられる。更新データセット２に含まれる検査画像の数が少ない場合、モデル２の教師データセットに、データセット１に含まれる検査画像の数を減らした上で追加するためである。なお、図４では、モデル２の教師データセットとして、データセット１の一割（×０．１）をデータセット１の一部として用いる例が示されているが、これに限られず、任意に決定することができる。例えば、データセット１の打痕不良画像以外の画像を減らした上で追加することもできる。また、図４では、図３と同様に、検査導入時には、モデル１を用いて検査が実施され、検査実施１００日目以降にはモデル１と２を併用して検査が実施されることを示している。

図３及び図４で説明したように、教師データセットとなる新旧データセットにおいて、新データセットに含まれる検査画像の数は、旧データセットに含まれる検査画像の数よりも少なくなる。この関係は、製造品の生産ラインを複数展開する場合にも活用できる。つまり、同じ製造品を複数の生産ラインそれぞれで生産する際、全ての生産ラインそれぞれで検査画像を機械学習のモデルの学習で精度を十分確保できる数だけ収集するのは莫大な工数が必要となり困難である。このため、複数の生産ラインからまんべんなく収集した検査画像を、旧データセットとし、特定の生産ラインから収集した検査画像であって様々なバリエーションを網羅できていない検査画像を、新データセットとして、モデル１及びモデル２に用いればよい。この場合の例を図５を用いて説明する。

図５は、実施の形態に係る教師データセットとなる新旧データセットのさらに別の例を説明するための図である。図５では、新旧データセットの関係を複数展開する製造品の生産ラインから収集できる検査画像に活用した場合の例が示されている。

データセット１は、旧データセットとして、複数の生産ラインからまんべんなく収集した大量の検査画像と大量の検査画像それぞれに紐づけられたラベルとを含む。図５に示されるデータセット１の例では、Ｎ_１枚の検査画像には打痕不良を示すラベル、Ｎ_２枚の検査画像には傷不良を示すラベル、Ｎ_３枚の検査画像には良品を示すラベル、Ｎ_４枚の検査画像には欠け不良を示すラベルが紐づけられている。これらの画像は、例えば生産ラインＡからＮ_５枚、生産ラインＢからＮ_６枚、生産ラインＣからＮ_７枚を、Ｎ_５、Ｎ_６、Ｎ_７が全て所定の枚数以上になるように集める。

更新データセット２Ａは、新データセットとして、例えば生産ラインＡから収集された複数の検査画像と複数の検査画像それぞれに紐づけられたラベルとを含む。図５に示される更新データセット２Ａの例では、Ｍ_１ａ枚の検査画像には良品であることを示すラベル、Ｍ_２ａ枚の検査画像には不良品であることを示すラベルが紐づけられている。

同様に、更新データセット２Ｂは、新データセットとして、例えば生産ラインＢから収集された複数の検査画像と複数の検査画像それぞれに紐づけられたラベルとを含む。図５に示される更新データセット２Ｂの例では、Ｍ_１ｂ枚の検査画像には良品であることを示すラベル、Ｍ_２ｂ枚の検査画像には良品であることを示すラベル、が紐づけられている。

生産ラインＣ、Ｄから収集された更新データセット２Ｃ及び２Ｄ（不図示）も同様のため説明を省略する。

このように、データセット１は、全ての生産ラインからまんべんなく収集した検査画像を含んでいる一方で、更新データセット２Ａ～２Ｄは、特定の生産ラインにより得られた検査画像を含んでいる。

なお、図５では、モデル１の教師データセットとして、データセット１が用いられ、生産ライン２Ａで用いるモデル２Ａの教師データセットとして、データセット１と更新データセット２Ａとが用いられることが示されている。同様に、図５では、生産ライン２Ｂで用いるモデル２Ｂの教師データセットとして、データセット１と更新データセット２Ｂとが用いられることが示されている。生産ライン２Ｃ、２Ｄで用いるモデル２Ｃ、２Ｄの教師データセットも同様であるので、説明を省略するが、特定の生産ラインで用いるモデル２Ａ等の教師データセットでは、モデル１の教師データセットと比較して、特定の生産ラインの検査で得られた検査画像の割合を大きくするためである。

このようにして、検査導入時には、モデル１とモデル２Ａ～２Ｄとをそれぞれ組み合わせて用いて生産ラインでの検査が実施される。

［１－３．記憶部１０２］
記憶部１０２は、ＨＤＤ（Hard Disk Drive）またはメモリ等で構成され、学習部１０１により学習された旧機械学習モデルと新機械学習モデルとを記憶する。本実施の形態では、記憶部１０２は、学習部１０１により学習された例えばモデル１－１、モデル１－２、・・・、モデル２－１、モデル２－２、・・・・などを記憶する。

＜機械学習モデル＞
以下、本実施の形態で用いられる機械学習モデルについて説明する。

モデル１－１、モデル１－２、・・・は、同一のデータセット１を教師データセットとして用いて学習された１以上の種類の機械学習モデルである。モデル２－１、モデル２－２、・・・は、データセット１の少なくとも一部と更新データセット２とを含む同一の教師データセットを用いて学習された１以上の種類の機械学習モデルである。

ここで、機械学習モデルの種類としては、ロジスティック回帰、サポートベクターマシン、ランダムフォレスト、ニューラルネットワーク、ＤＮＮ（Deep Neural Network）など、教師あり学習されるモデルであればよい。また、機械学習のモデルの種類として、オートエンコーダを含めてもよいし、良品データを用いて生成され、外れ値を異常度として出力する良品モデルを含めてもよい。つまり、本実施の形態に係る機械学習モデルは、例として挙げた種類のうちの１以上の種類のものでよい。

なお、記憶部１０２は、図１に示す学習済のモデル１－１、モデル１－２、・・・、モデル２－１、モデル２－２、・・・・などを記憶する場合に限らず、モデル３－１、モデル３－２、・・・・などさらにモデルＮ－Ｍ（ＮとＭとは正の整数）を記憶するとしてもよい。

また、機械学習モデルの種類として１種類のみを適用する場合、図１に示す学習済のモデル１－１、モデル１－２、・・・、モデル２－１、モデル２－２、・・・・は、モデル１、モデル２と表記される。機械学習モデルの種類として複数種類を適用する場合、モデルＮ－Ｍのうち、Ｍが種類を示し、Ｎが用いられた教師データセットの異同を示す。つまり、同一のＭの値を示すモデルＮ－Ｍは同一の種類の機械学習モデルであることを示し、同一のＮの値を示すモデルＮ－Ｍは、同一の教師データセットを用いて学習されていることを示す。

［１－４．画像取得部１０３］
画像取得部１０３は、対象画像を取得する。

本実施の形態では、画像取得部１０３は、例えば生産ラインの製造品の検査画像の検査で得られた検査画像を対象画像として取得する。

［１－５．判定部１０４］
判定部１０４は、画像取得部１０３で取得された対象画像に対して、１以上の第１のモデルのうちの１つと１以上の第２のモデルのうちの１つとの少なくとも２つを用いることで得た対象画像のラベルの判定結果を、出力する。ここで、判定部１０４は、１以上の第１のモデルのそれぞれの判定結果と１以上の第２のモデルそれぞれの判定結果とを、事前に設定されたルールに従って統合し、対象画像のラベルの判定結果として出力すればよい。

例えば、判定部１０４は、図１に示される旧機械学習モデル及び新機械学習モデルとして例えばモデル１－１とモデル２－１との２つを用いる（併用する）とする。この場合、判定部１０４は、モデル１－１とモデル２－１とを用いて対象画像のラベルとして対象画像に映る製造品の良否（ＯＫ／ＮＧ）などを判定し、事前に設定されたルールに従って、それらを統合した判定結果を出力する。

＜事前に設定されたルールと統合した判定結果＞
ここで、事前に設定されたルールと、それらを統合した判定結果について例を挙げて説明する。

図６Ａは、実施の形態に係るルール情報の一例を説明するための図である。図６Ａでは、検査において見逃しを減らすためのルールが事前に設定された場合の例が示されている。また、図６Ａでは、例えばモデル１－１とモデル２－１との２つを用いて、判定部１０４により対象画像に映る製造品の良否（ＯＫ／ＮＧ）が判定され、事前に設定された見逃しを減らすためのルールに従って、それらを統合した判定結果が示されている。

すなわち、図６Ａには、モデル１－１及びモデル２－１による出力（判定結果）が共にＯＫである場合のみ、統合された判定結果としてＯＫであるとする場合の例が示されている。

図６Ｂは、実施の形態に係るルール情報の別の例を説明するための図である。図６Ｂでは、検査において過検出を減らすためのルールが事前に設定された場合の例が示されている。また、図６Ｂでは、例えばモデル１－１とモデル２－１との２つを用いて、判定部１０４により対象画像に映る製造品の良否（ＯＫ／ＮＧ）が判定され、事前に設定された過検出を減らすためのルールに従って、それらを統合した判定結果が示されている。

すなわち、図６Ｂには、モデル１－１及びモデル２－１のいずれかの出力（判定結果）がＯＫである場合には、統合された判定結果としてＯＫであるとする場合の例が示されている。

図６Ｃは、実施の形態に係るルール情報のさらに別の例を説明するための図である。図６Ｃでは、図６Ａに示すルールでは良品であっても不良と判定してしまう場合を減らすためのルールが事前に設定された場合の例が示されている。また、図６Ｃでも、例えばモデル１－１とモデル２－１との２つを用いて、判定部１０４により対象画像に映る製造品の良否（ＯＫ／ＮＧ）が判定され、事前に設定されたルールに従って、それらを統合した判定結果が示されている。

図６Ｃでは、モデル１－１及びモデル２－１による判定結果が共にＯＫである場合のみ、統合された判定結果としてＯＫであるとする一方、モデル１－１及びモデル２－１のいずれかの出力（判定結果）がＮＧであるときに、グレーすなわち人に確認させる場合の例が示されている。

＜旧機械学習モデル及び新機械学習モデルの組み合わせの選択方法１＞
上記では、判定部１０４は、図１に示される旧機械学習モデル及び新機械学習モデルの組み合わせとして、例えばモデル１－１とモデル２－１との２つを用いる（併用する）場合を例に挙げて説明したが、組み合わせの例はこれに限定されない。

例えば、旧機械学習モデル及び新機械学習モデルの組み合わせを、機械学習により選択してもよい。

図７は、実施の形態に係る旧機械学習モデル及び新機械学習モデルの組み合わせを機械学習により選択する方法の概念を示す図である。

図７の（ａ）には、旧機械学習モデルとして学習済のモデル１－１、モデル１－２及びモデル１－３を用いることができ、新機械学習モデルとして学習済のモデル２－１、モデル２－２及びモデル２－３を用いることができる場合の例が示されている。そして、図７の（ｂ）には、これらすべてのモデルから最適な組み合わせを選択して得られた組み合わせが、モデル１－１、モデル２－１及びモデル２－３であることが示されている。

例えば、図７の（ａ）に示す新旧機械学習モデルのすべてから２つまたは３つを選択した組み合わせで、例えばロジスティック回帰を実施し、得られた判定精度から最もよい組み合わせを選択するとしてもよい。なお、ロジスティック回帰の代わりにサポートベクターマシン、ランダムフォレスト、Gradient Boost、ニューラルネットワーク、深層学習などの機械学習を用いてもよい。

また、例えば、判定部１０４は、別途学習された機械学習モデルを用いて、旧機械学習モデル及び新機械学習モデルの最適な組み合わせを選択してもよい。より具体的には、判定部１０４は、さらに、１以上の第１のモデルそれぞれの出力と１以上の第２のモデルのそれぞれの出力を入力として学習済の第３の機械学習モデルに、１以上の第１のモデルの少なくとも１つ及び１以上の第２のモデルの少なくとも１つからなる組み合わせを選択させてもよい。そして、判定部１０４は、選択させた組み合わせを用いることで得た対象画像のラベルの判定結果を出力するとしてもよい。

ここで、旧機械学習モデル及び新機械学習モデルの最適な組み合わせを選択するための（つまり組み合わせ選択用の）機械学習モデルの学習方法と旧機械学習モデル及び新機械学習モデルの最適な組み合わせ方法とについて、図８Ａ、図８Ｂ及び図９を用いて説明する。

図８Ａは、実施の形態に係る組み合わせ対象の機械学習モデルの一例と検証用データセットとを示す図である。図８Ｂは、検証用データセットに含まれる各画像に対する、組み合わせ対象の機械学習モデルそれぞれの出力の一例を示す図である。検証用データセットは、例えば、上述したデータセット１及び更新データセット１などを含む教師データの一部で構成される。

図８Ａには、組み合わせ対象の機械学習モデルの一例として、旧機械学習モデルである学習済のモデル１－１及びモデル１－２と、新機械学習モデルである学習済のモデル２－１及びモデル２－２とが示されている。また、検証用データセットは、複数の画像が含まれており、各機械学習モデルに入力するために用いられる。

つまり、検証用データセットに含まれる各画像を、組み合わせ対象の機械学習モデルそれぞれに入力すると、図８Ｂに示すような各機械学習モデルの各画像に対する出力（判定結果）を得ることができる。

次に、例えば図８Ｂに示すような各機械学習モデルの出力からｎ個を選んで説明変数として、０（ＯＫ）または１（ＮＧ）などのラベルを予測する組み合わせ選択用の機械学習モデルを作成する。図８Ａの例で説明すると、ｎ＝２の場合の組み合わせは、（モデル１－１、モデル２－１）、（モデル１－１、モデル２－２）、（モデル１－２、モデル２－１）、（モデル１－２、モデル２－２）である。

なお、Ｌ１正則化、Ｌ２正則化等の正則化を活用して、使用する説明変数の数を少なくしてもよい。この場合、結果として使用されなかった出力を省いて組み合わせ選択用の機械学習モデルを作成することができる。また、新機械学習モデル及び旧機械学習モデルから少なくとも１つを含む組み合わせを用いて組み合わせ選択用の機械学習モデルを作成する場合に限らず、新機械学習モデルまたは旧機械学習モデルのみの組み合わせを用いて組み合わせ選択用の機械学習モデルを作成してもよい。

これにより、作成した組み合わせ選択用の機械学習モデルの精度を評価し、精度の良い組み合わせを選択することができる。

したがって、判定部１０４は、旧機械学習モデルと新機械学習モデルとの出力を入力する組み合わせ選択用の機械学習モデルを用いて、精度の良い新旧の機械学習モデルの組み合わせを判定して選択することができる。

＜旧機械学習モデル及び新機械学習モデルの組み合わせの選択方法２＞
上記では旧機械学習モデル及び新機械学習モデルの組み合わせを、機械学習により選択する方法について説明したがこれに限らない。組み合わせの精度などの情報をＧＵＩ（Graphical User Interface）表示させて、ユーザに選択させてもよい。

より具体的には、画像判定装置１０は、検証用データセットに対して、１以上の第１のモデルの少なくとも１つ及び１以上の第２のモデルの少なくとも１つからなる組み合わせを用いることで得た対象画像のラベルの判定結果の判定精度を表示する表示部を備えてもよい。検証用データセットは、例えば第１の教師データセットの一部と１以上の第２の教師データセットのそれぞれの一部とからなる。

つまり、画像判定装置１０は、さらに表示部または表示装置を備えてもよい。もちろん、画像判定装置１０は、外部の表示部または表示装置と接続しているだけでもよい。そして、画像判定装置１０は、旧機械学習モデルそれぞれの精度と、新機械学習モデルのそれぞれの精度と旧機械学習モデル及び新機械学習モデルの組み合わせの精度との一覧を当該表示部または当該表示装置表示させ、ユーザに最適な組み合わせを選択させてもよい。

図９は、実施の形態に係るユーザに旧機械学習モデル及び新機械学習モデルの最適な組み合わせを選択させるための一覧表の一例を示す図である。図９及では、検証用データセットの一例として、データセット１と、更新データセット２との２種類を用いたときの精度（％）が示されている。また、組み合わせを選択する際の判断材料の一つの例として、それぞれの判定速度（タクトタイム）が示されている。

ユーザは、図９のような一覧を見て、旧機械学習モデル及び新機械学習モデルの最適な組み合わせを選択すればよい。

なお、図９のような一覧は、検索、絞り込みまたはソートなどの簡単な操作ができてもよい。この場合、ユーザでなく、判定部１０４が、データセット１に対する精度で上記の一覧をソートして、データセット１に対する精度が９０％以上であるなどの所定の精度以上、かつ、更新データセット２に対する最もよい精度の組み合わせを選択するとしてもよい。また、判定部１０４は、判定速度（タクトタイム）で上記の一覧をソートして、所定の判定速度以内で、最もよい精度の組み合わせを選択するとしてもよい。

［２．画像判定装置１０の動作］
以上のように構成された画像判定装置１０の動作の一例について以下説明する。

図１０は、本実施の形態における画像判定装置１０の動作概要を示すフローチャートである。

まず、画像判定装置１０は、データセット１を教師データとして用いて学習させて１以上のモデル１を得、かつ、更新データセット２を含むデータセットを教師データとして用いて学習させて１以上のモデル２を得る（Ｓ１）。より具体的には、画像判定装置１０の学習部１０１は、複数の第１の画像と複数の第１の画像それぞれに紐づけられた第１のラベルとを含む第１の教師データセットを用いて１以上の種類の機械学習モデルの学習を行うことで１以上の第１のモデルを得る。また、学習部１０１は、１以上の第２の教師データセットを用いて、１以上の種類の機械学習モデルの学習を行うことで１以上の第２のモデルを得る。ここで、１以上の第２の教師データセットのそれぞれは、複数の第１の画像と異なる複数の第２の画像と複数の第２の画像それぞれに紐づけられた第２のラベルと、第１の教師データセットの少なくとも一部とを含んでいる。

次に、画像判定装置１０は、対象画像を取得する（Ｓ２）。本実施の形態では、画像取得部１０３は、例えば生産ラインの製造品の検査画像の検査で得られた検査画像を対象画像として取得する。

次に、画像判定装置１０は、対象画像に対して、１以上のモデル１のうち１つと１以上のモデル２のうちの１つとの少なくとも２つを用いて得た対象画像のラベルの判定結果を出力する（Ｓ３）。より具体的には、画像判定装置１０の判定部１０４は、画像取得部１０３で取得された対象画像に対して、１以上の第１のモデルのうちの１つと１以上の第２のモデルのうちの１つとの少なくとも２つを用いることで得た対象画像のラベルの判定結果を、出力する。なお、判定部１０４は、１以上の第１のモデルのそれぞれの判定結果と１以上の第２のモデルそれぞれの判定結果とを、事前に設定されたルールに従って統合し、対象画像のラベルの判定結果として出力すればよい。このようにして、本実施の形態では、画像判定装置１０は、少なくとも２つの機械学習のモデルを併用して、対象画像に映る製造品の良否（ＯＫ／ＮＧ）を判定することができる。

［３．効果等］
例えば、検査を実施するために検査導入前に旧データセットで学習させたモデル１が、検査実施後にメンテナンスなど諸々の原因により、モデル１の判定精度が低下した場合には、急遽収集した新データセットでモデル２を学習する。新データセットに含まれるモデル１の判定精度が低下した検査画像は、旧データセットに含まれる検査画像と比較して人が一目でわからないような違いが生じている。

比較例では、モデル１を新データセットで再学習させたモデル２のみを用いて検査を実施する。しかしながら、旧データセットに類する検査画像に対してはモデル１よりも精度が低下してしまう場合がある。

そこで、本実施の形態によれば、モデル１及びモデル２を併用（組み合わせて）して検査を実施するので、旧データセットに類する検査画像及び新データセットに類する検査画像に対しても精度を高く維持できる。

このように、本実施の形態によれば、機械学習のモデルを用いた画像判定の精度が低下した場合でも精度を向上させることができる。

なお、精度は、正解率に限らず、適合率、再現率、適合率及び再現率の調和平均により算出されるＦ値、並びに、正解率のうちの少なくとも一の組み合わせであればよい。

図１１は、実施の形態に係る教師データ１と教師データ２とを示す図である。教師データ１は、例えば上述したデータセット１である。以下では、教師データ１は、半導体回路が形成されたウェハを検査する例えば１０万枚の検査画像であり、機械学習モデルを用いた検査の導入前に収集された検査画像を含むデータセット１からなるとする。この場合、モデル１は、データセット１を教師データ１として用いて学習された機械学習のモデルである。

また、教師データ２は、直近データと教師データ１の一部とで構成される。モデル２は、教師データ２を用いて学習された機械学習のモデルである。直近データは、例えば上述した更新データセットであり、機械学習モデルを用いた検査の導入後（検査導入後）に収集された検査画像で構成される。ここでは、直近データは、検査導入後の例えば１００日目などの一定期間後に、判定精度が低下した時期に収集された検査画像であるとする。なお、検査導入後になされた検査装置のメンテナンスなど様々な要因で判定精度が低下する。

図１２は、実施の形態に係る学習時データ（データセット１）と、直近データとに対する機械学習モデルの精度を定性的に示す図である。図１２は、教師データ１として用いたデータセット１と、教師データ２に含めて用いた直近データとをそれぞれ検証用データセットとして用いて、モデル１及びモデル２の精度を算出している。

図１２に示すように、直近データに対するモデル１の精度は低くなった一方で、直近データに対するモデル２の精度は高くなる。しかしながら、モデル２は、教師データ１と比較するとデータセット１の割合が下がった教師データ２を用いて学習するため、データセット１に対するモデル２の精度は、モデル１と比較するとわずかに下がってしまう場合がある。つまり、学習時データすなわちデータセット１に対する精度は、図１２に示すようにモデル１では高い一方で、モデル２では中程度になりモデル１と比較すると下がってしまう場合がある。したがって、判定精度が低下した時期の直近データを収集して、学習時データに加えた教師データ２を用いてモデル１を再学習させただけでは、直近データに類する検査画像に対する精度は高めることができるが、学習時データに類する検査画像に対する精度が落ちる可能性がある。直近データに生じた違いは人が一目では分からないため、その発生原因を特定できず、今後その原因が取り除かれるか否かを予測することができない。そこで、直近データだけなくデータセット１に対しても高い判定精度を保つ必要がある。

そこで、本実施の形態では、例えばモデル１とモデル２とを併用する（組み合わせる）ことで、学習時データすなわちデータセット１に対する精度及び直近データに対する精度を高精度に保つことができる。

続いて、大量の検査画像を含む教師データ１（学習時データ）に、少量の検査画像である直近データを加えた教師データ２でモデル２を学習することで、どの程度精度が向上するかを検証したので、その結果について説明する。

図１３は、図１１に示すモデル１とモデル２との学習に用いた教師データの一例である。

図１３において教師データ１ａは、上記の教師データ１の一例であり、教師データ２ａは、上記の教師データ２の一例である。図１３に示す例では、教師データ１ａは、良品と判定されたデータとして２４４４+１９４２＝４３８６の検査画像と、不良品と判定されたデータとして１２３７+９６８＝２２０５の検査画像とで構成されている。また、教師データ２ａは、教師データ１ａに、良品と判定されたデータとして２６９+７１＝３４０の検査画像と、不良品と判定されたデータとして５７+１６＝７３の検査画像とが追加されている。

また、学習済のモデル１とモデル２とにおける判定精度を検証するための検証用データとして、直近データから、上記の教師データ２ａで用いたものを用いた。

その結果、モデル１は、検証用データに含まれる良品を示す検査画像７４８１枚中、１９６７枚を過検出すなわち不良品と判定した。一方、モデル２は、検証用データに含まれる良品を示す検査画像７４８１枚中、１５５枚を過検出すなわち不良品と判定した。

つまり、教師データ２ａに使用しない直近データに対して、モデル１の過検出率が２６．３％に対してモデル２の過検出率が２．０７％と大きく改善しているのが確認できた。

このように、大量の検査画像を含む教師データ１（学習時データ）に、少量の検査画像である直近データを加えた教師データ２でモデル２を学習することで、精度が向上するのがわかる。

（その他の実施の形態）
以上、本開示に係る画像判定装置１０などについて、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

（１）例えば、第１の教師データに用いられる旧データセットすなわちデータセット１そのものは更新されないとして説明したが、これに限らない。急遽収集した更新データセット２を用いて更新したデータセット１を次回の再学習時に第１の教師データとして用いてモデル１を再学習させてもよい。

（２）上記の実施の形態では、更新データセット２は第１の教師データにデータを追加して作成したが、これに限らない。急遽収集したデータセット２が十分な量があれば、第一の教師データに追加するのではなく、このデータセット２自体を更新データセット２として使用してモデル２を学習させてもよい。

（３）上記の実施の形態では、画像判定装置１０を構成する判定部１０４は、対象画像を機械学習モデルを併用して、対象画像のラベルの判定結果を出力するとしたが、これに限らない。機械学習モデルを併用して対象画像のラベルを判定する前または後において、さらにルール判定を行ってもよい。ルール判定としては、対象画像に判定対象物が含まれるか否かを検出する判定が考えられ、この場合、対象画像に判定対象物が含まれていない場合、判定部１０４は、対象画像を機械学習モデルを併用した判定を行わないとすればよい。また、対象画像に判定対象物が含まれるか否かを検出する判定としては、判定対象物が対象画像に映っているか否かを判定してもよいし、対象画像の輝度などの情報が判定を実施してもよい適用範囲に含まれるかを判定してもよい。

また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

（４）上記の画像判定装置１０を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（５）上記の画像判定装置１０を構成する構成要素の一部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（６）上記の画像判定装置１０を構成する構成要素の一部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（７）また、上記の画像判定装置１０を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、上記の画像判定装置１０を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

（８）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

（９）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

（１０）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（１１）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本開示は、検査工程における良品判定など機械学習のモデルを用いた画像判定装置、画像判定方法、及び、プログラムなどに利用できる。

１０ 画像判定装置
１０１ 学習部
１０２ 記憶部
１０３ 画像取得部
１０４ 判定部
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００７ 読取装置
１００８ 送受信装置
１００９ バス

Claims (10)

1. 複数の第１の画像と前記複数の第１の画像それぞれに紐づけられた第１のラベルとを含む第１の教師データセットを用いて１以上の種類の機械学習モデルの学習を行うことで１以上の第１のモデルを得、かつ、前記複数の第１の画像と異なる複数の第２の画像と前記複数の第２の画像それぞれに紐づけられた第２のラベルと、前記第１の教師データセットの少なくとも一部とを含む１以上の第２の教師データセットを用いて、１以上の種類の機械学習モデルの学習を行うことで１以上の第２のモデルを得る学習部と、
   対象画像を取得する画像取得部と、
   前記画像取得部で取得された前記対象画像に対して、前記１以上の第１のモデルのうちの１つと前記１以上の第２のモデルのうちの１つとの少なくとも２つを用いることで得た前記対象画像のラベルの判定結果を、出力する判定部と、を備える、
   画像判定装置。
2. 前記複数の第１の画像それぞれ及び前記複数の第２の画像のそれぞれは、所定期間における製造品の検査画像である、
   請求項１に記載の画像判定装置。
3. 前記複数の第１の画像のそれぞれは、前記所定期間のうち第１期間において得た検査画像であり、
   前記複数の第２の画像は、前記所定期間のうち前記第１期間の後において得た検査画像である、
   請求項２に記載の画像判定装置。
4. 前記１以上の第２の教師データセットのうちの１つの第２の教師データセットは、前記第１の教師データセットと比較して、特定の日時における検査画像の割合が大きい、
   請求項２に記載の画像判定装置。
5. 前記１以上の第２の教師データセットのうちの１つの第２の教師データセットは、前記第１の教師データセットと比較して、特定の生産ラインの検査により得られた検査画像の割合が大きい、
   請求項２に記載の画像判定装置。
6. 前記判定部は、さらに、
   前記１以上の第１のモデルそれぞれの出力と前記１以上の第２のモデルのそれぞれの出力を入力として学習済の第３の機械学習モデルに、前記１以上の第１のモデルの少なくとも１つ及び前記１以上の第２のモデルの少なくとも１つからなる組み合わせを選択させ、
   選択させた前記組み合わせを用いることで得た前記対象画像のラベルの判定結果を出力する、
   請求項１～５のいずれか１項に記載の画像判定装置。
7. 前記判定部は、前記１以上の第１のモデルのそれぞれの判定結果と前記１以上の第２のモデルそれぞれの判定結果とを、事前に設定されたルールに従って統合し、前記対象画像のラベルの判定結果として出力する、
   請求項１～５のいずれか１項に記載の画像判定装置。
8. さらに、
   前記第１の教師データセットの一部と前記１以上の第２の教師データセットのそれぞれの一部とからなる検証用データセットに対して、前記１以上の第１のモデルの少なくとも１つ及び前記１以上の第２のモデルの少なくとも１つからなる組み合わせを用いることで得た前記対象画像のラベルの判定結果の判定精度を表示する表示部を備える、
   請求項１～７のいずれか１項に記載の画像判定装置。
9. 複数の第１の画像と前記複数の第１の画像それぞれに紐づけられた第１のラベルとを含む第１の教師データセットを用いて１以上の種類の機械学習モデルの学習を行うことで１以上の第１のモデルを得、かつ、前記複数の第１の画像と異なる複数の第２の画像と前記複数の第２の画像それぞれに紐づけられた第２のラベルと、前記第１の教師データセットの少なくとも一部とを含む１以上の第２の教師データセットを用いて、１以上の種類の機械学習モデルの学習を行うことで１以上の第２のモデルを得る学習ステップと、
   対象画像を取得する画像取得ステップと、
   前記画像取得ステップにおいて取得された前記対象画像に対して、前記１以上の第１のモデルのうちの１つと前記１以上の第２のモデルのうちの１つとの少なくとも２つを用いることで得た前記対象画像のラベルの判定結果を、出力する判定ステップと、を含む、
   画像判定方法。
10. 複数の第１の画像と前記複数の第１の画像それぞれに紐づけられた第１のラベルとを含む第１の教師データセットを用いて１以上の種類の機械学習モデルの学習を行うことで１以上の第１のモデルを得、かつ、前記複数の第１の画像と異なる複数の第２の画像と前記複数の第２の画像それぞれに紐づけられた第２のラベルと、前記第１の教師データセットの少なくとも一部とを含む１以上の第２の教師データセットを用いて、１以上の種類の機械学習モデルの学習を行うことで１以上の第２のモデルを得る学習ステップと、
    対象画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された前記対象画像に対して、前記１以上の第１のモデルのうちの１つと前記１以上の第２のモデルのうちの１つとの少なくとも２つを用いることで得た前記対象画像のラベルの判定結果を、出力する判定ステップと、を、
    コンピュータに実行させるプログラム。

Images