JP6846765B1

JP6846765B1 - 情報処理プログラム

Info

Publication number: JP6846765B1
Application number: JP2020137952A
Authority: JP
Inventors: 黒田　聡; 聡黒田
Original assignee: Information System Engineering Inc
Current assignee: Information System Engineering Inc
Priority date: 2020-03-26
Filing date: 2020-08-18
Publication date: 2021-03-24
Anticipated expiration: 2040-03-26
Also published as: US12450900B2; CN113728328A; US20220335717A1; JP2021157759A; CN113728328B; WO2021193136A1; DE112021000014T5

Abstract

【課題】大規模な情報の再構築をせずに、使用者が必要な際に、使用者が必要な量の情報を、使用者に提示するためのデータ構造、情報処理プログラム及び学習済みモデルを提供する。【解決手段】データ構造は、使用者が作業を行う作業場所であるシーンの画像である第１の画像からシーンを推定するための第１の学習済みモデルと、作業に関係する機器の画像である第２の画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、チャンクＩＤに対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されており、１又は複数のチャンク用メタＩＤを推定するために使用される、複数の第２の学習済みモデルと、を有し、シーンを第１の画像から推定し、推定されたシーンによって複数の第２の学習済みモデルのうちの１つを選定し、第２の画像から１又は複数のチャンク用メタＩＤを推定し、チャンクを推定する処理に用いる。【選択図】図１

Description

本発明は、情報処理プログラムに関する。

例えば特許文献１の作業支援システムでは、作業の手順、内容、留意点又はその他の事項を記述したマニュアルに基づいて、作業の対象又は作業の状況の判定条件を記述したルールを生成し、作業者が装着した機器からのセンサ情報に基づいて作業の対象及び作業の状況を認識し、生成したルール及び認識手段の認識結果に基づいて作業支援情報を出力する。

特開２０１９−１０９８４４号公報

しかしながら特許文献１に記載されたような従来の手法においては、マニュアルなどの文書として蓄積されている情報は、文書単位の検索しかできない。例えば段落単位での検索を文書に対して行う場合には、文書を構造化された情報に再構築する必要がある。検索対象となる全ての文書の再構築は費用対効果を考慮すると現実的ではないことが多く、また文書単位での情報では不要な情報を多分に閲覧してしまい、文書の閲覧者が迅速な対応ができないことがあるという課題がある。

本発明の実施の形態の一態様は、大規模な情報の再構築をせずに、使用者が必要な際に、使用者が必要な量の情報を、使用者に提示するための情報処理プログラムを提供することを目的とする。

使用者の行う作業に関する情報である作業情報を出力する処理を情報処理装置に実行させるプログラムであって、使用者が作業を行う作業場所であるシーンの画像である第１の画像、使用者がいる位置の情報である位置情報及び使用者が作業を行う時間の情報である時間情報を取得し、第１の画像に関係する情報と、シーンを一意に示すシーンＩＤに関係する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用して、シーンを推定する第１のステップと、作業に関係する機器の画像である第２の画像を取得し、第２の画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定する第２のステップと、チャンクを出力する第３のステップと、を備え、複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、チャンク用メタＩＤは機器の性質に関する情報であるチャンク用メタ値を一意に示し、作業情報は、チャンク用メタＩＤを最下層である第１層とし、チャンクＩＤを第２層とし、チャンクを意味のあるひとまとまりの情報とした情報であるコンテンツを一意に示すコンテンツＩＤを第３層とし、シーンＩＤを最上層である第４層とする階層構造を有する、情報処理プログラムを提供する。

本発明の実施の形態の一態様によれば大規模な情報の再構築をせずに、使用者が必要な際に、使用者が必要な量の情報を、使用者に提示する情報処理プログラムを実現できる。

図１は、本実施の形態による利用段階における情報処理装置の構成を示すブロック図である。図２は、本実施の形態による学習段階における情報処理装置の構成を示すブロック図である。図３は、本実施の形態による第１の画像及び第２の画像を示す図である。図４は、本実施の形態による第１の学習済みモデル及び第２の学習済みモデルを示す図である。図５は、本実施の形態による補助記憶装置に記憶されている情報を示す図である。図６は、本実施の形態によるシーン推定機能、チャンク推定機能及びチャンク出力機能の説明に供するシーケンス図である。図７は、本実施の形態による第１の学習済みモデル生成機能及び第２の学習済みモデル生成機能の説明に供するシーケンス図である。図８は、本実施の形態による利用段階における情報処理の処理手順を示すフローチャートである。図９は、本実施の形態による学習段階における情報処理の処理手順を示すフローチャートである。図１０は、他の実施の形態による利用段階における情報処理装置の構成を示すブロック図である。図１１は、シーンＩＤをあいまい検索により検索する際の説明に供する概念図である。

以下図面を用いて、本発明の実施の形態の一態様を詳述する。例えば医療、介護などの現場で機器の手入れをする作業者が参照する情報について説明する。

（本実施の形態）
まず図１を用いて利用段階における情報処理装置１について説明する。図１は、本実施の形態による利用段階における情報処理装置１の構成を示すブロック図である。情報処理装置１は、中央演算装置２、主記憶装置３及び補助記憶装置１０を備える。

中央演算装置２は、例えばＣＰＵ（Central Processing Unit）であって、主記憶装置３に記憶されたプログラムを呼び出すことで処理を実行する。主記憶装置３は、例えばＲＡＭ（Random Access Memory）であって、後述のシーン推定部４、チャンク推定部５、チャンク出力部６、第１の学習済みモデル生成部７及び第２の学習済みモデル生成部８といったプログラムを記憶する。

なおシーン推定部４、チャンク推定部５及びチャンク出力部６を含むプログラムを制御部１５と呼んでもよく、第１の学習済みモデル生成部７及び第２の学習済みモデル生成部８を含むプログラムを学習済みモデル生成部１６と呼んでもよい。

補助記憶装置１０は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）であって、後述の第１の学習済みモデルＤＢ１や第１の学習モデルＤＢ１’や第２の学習済みモデルＤＢ２や第２の学習モデルＤＢ２’といったデータベースやシーンテーブルＴＢ１やモデルテーブルＴＢ２やコンテンツテーブルＴＢ３やシーン・コンテンツテーブルＴＢ４やコンテンツ・チャンクテーブルＴＢ５やチャンク・メタテーブルＴＢ６やチャンクテーブルＴＢ７やチャンク用メタテーブルＴＢ８といったテーブルを記憶する。

図１に示すように使用者の行う作業に関する情報である作業情報を出力する情報処理装置１は、利用段階において、使用者が作業を行う作業場所であるシーンを推定するシーン推定部４と、チャンクを推定するチャンク推定部５と、作業情報を分割又は示唆した情報であるチャンクを出力するチャンク出力部６と、を備える。ここで作業情報をコンテンツと呼んでもよく、コンテンツＩＤは作業情報を一意に示すものとする。

シーン推定部４は、シーンの画像である後述の第１の画像２０（２５）、使用者がいる位置の情報である位置情報及び使用者が作業を行う時間の情報である時間情報を取得し、第１の画像２０（２５）に関係する情報とシーンを一意に示すシーンＩＤに関する情報と、の間における連関性が記憶されている第１の学習済みモデルＤＢ１を使用して、シーンを推定する。

チャンク推定部５は、作業に関係する後述の機器２２（２３）の画像である後述の第２の画像３０（３５）を取得し、第２の画像３０（３５）と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルＤＢ２のうちの１つを使用して、チャンクを推定する。

チャンク推定部５は、複数の第２の学習済みモデルＤＢ２のうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定する。またチャンク用メタＩＤは機器２２，２３の性質に関する情報であるチャンク用メタ値を一意に示す。

なお情報処理装置１は、シーンを推定するために利用段階においてスマートフォンなどのユーザ端末１１から第１の画像２０（２５）と、位置情報と、時間情報と、を取得する。なお位置情報と時間情報とは取得する第１の画像２０（２５）に関連する位置と時間とを示すものとする。また情報処理装置１は、チャンクを推定するために利用段階においてスマートフォンなどのユーザ端末１１から第２の画像３０（３５）を取得する。

ここで具体的には第１の画像に関係する情報は第１の画像２０（２５）、位置情報及び時間情報であり、シーンＩＤに関係する情報はシーンＩＤであって、シーン推定部４は、第１の画像２０（２５）、位置情報及び時間情報と、シーンＩＤと、の間における連関性が記憶されている第１の学習済みモデルＤＢ１を使用して、シーンを推定する。

シーン推定部４は、シーンＩＤとシーンの名称であるシーン名とが１対１で紐づけられたテーブルであるシーンテーブルＴＢ１から、シーンＩＤを検索キーとしてシーン名を取得してユーザ端末１１に送信する。ユーザ端末１１はシーン推定部４から受信したシーン名を使用者に提示する。

チャンク推定部５は、モデルＩＤとシーンＩＤとが１対１で紐づけられたテーブルであるモデルテーブルＴＢ２からシーンＩＤを検索キーとしてモデルＩＤを取得する。またチャンク推定部５は、チャンクＩＤとチャンク用メタＩＤとが１対１又は１対複数で紐づけられたテーブルであるチャンク・メタテーブルＴＢ６からチャンク用メタＩＤを検索キーとしてチャンクＩＤを取得する。

またチャンク推定部５は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクの概要を示すチャンクサマリを取得して、チャンクサマリをユーザ端末１１に送信する。ユーザ端末１１は、チャンク推定部５から受信したチャンクサマリを使用者に提示する。

またチャンク推定部５は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクを取得して、チャンクをユーザ端末１１に送信する。ユーザ端末１１は、チャンク推定部５から受信したチャンクを使用者に提示する。

なおチャンクテーブルＴＢ７は、チャンクＩＤにチャンクとチャンクサマリとハッシュ値とがそれぞれ１対１で紐づけられたテーブルである。なおハッシュ値は例えばチャンクが変更されたか否かを確認するために用いられる。

次に図２を用いて学習段階における情報処理装置１について説明する。例えば学習段階においては図示せぬ入力装置から入力される第１の画像２０（２５）と１又は複数の第２の画像３０（３５）とを１組として学習させる。ここで学習は、例えば教師あり学習を指すものとする。

図２は、本実施の形態による学習段階における情報処理装置の構成を示すブロック図である。学習段階においては、情報処理装置１は、第１の学習済みモデル生成部７と、第２の学習済みモデル生成部８と、を備える。

第１の学習済みモデル生成部７は、シーンＩＤと、第１の画像２０（２５）、位置情報及び時間情報と、を１対として第１の学習モデルＤＢ１’に学習させることで第１の学習済みモデルＤＢ１を生成するプログラムである。

第１の学習済みモデル生成部７は、第１の画像２０（２５）に関してシーンテーブルＴＢ１からシーンＩＤを取得し、シーンＩＤに対応するモデルＩＤをモデルテーブルＴＢ２から取得する。

第２の学習済みモデル生成部８は、モデルＩＤを指定して１又は複数のチャンク用メタＩＤと第２の画像３０（３５）とを１対として第２の学習モデルＤＢ２’に学習させることで第２の学習済みモデルＤＢ２を生成するプログラムである。

第２の学習済みモデル生成部８は、シーンＩＤとコンテンツＩＤとが１対多で紐づけられたテーブルであるシーン・コンテンツテーブルＴＢ４からシーンＩＤを検索キーとしてコンテンツＩＤを取得する。なおここで検索キーとなるシーンＩＤは、処理の対象となる第２の画像３０（３５）と対になっている第１の画像２０（２５）と紐づくものである。

第２の学習済みモデル生成部８は、コンテンツＩＤとコンテンツとが１対１で紐づけられたテーブルであるコンテンツテーブルＴＢ３からコンテンツＩＤを検索キーとしてコンテンツを取得する。

第２の学習済みモデル生成部８は、コンテンツＩＤとチャンクＩＤとが１対１又は多で紐づけられたテーブルであるコンテンツ・チャンクテーブルＴＢ５からコンテンツＩＤを検索キーとしてチャンクＩＤを取得する。

第２の学習済みモデル生成部８は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクを取得し、チャンク・メタテーブルＴＢ６からチャンクＩＤを検索キーとしてチャンク用メタＩＤを取得する。

第２の学習済みモデル生成部８は、チャンク用メタテーブルＴＢ８からチャンク用メタＩＤを検索キーとしてチャンク用メタ値を取得する。チャンク用メタテーブルＴＢ８は、チャンク用メタＩＤにチャンク用カテゴリＩＤとチャンク用カテゴリ名とチャンク用メタ値とがそれぞれ１対１で結び付けられたテーブルである。

チャンク用カテゴリＩＤはチャンク用メタ値が属するカテゴリの名前であるチャンク用カテゴリ名を一意に示す。なお第２の学習済みモデル生成部８は、第２の画像３０（３５）を参照したうえで、取得したチャンク、コンテンツ及びチャンク用メタ値に問題がないことを確認する。

問題がある値を異常値と判断し教師あり学習の学習には使用しないことで、第２の学習済みモデル生成部８は、精度の高い学習済みモデルＤＢ２を生成することが可能となり、利用段階において情報処理装置１は、精度の高い処理を行うことができる。

次に図３を用いてユーザ端末１１が取得し、情報処理装置１が情報として処理する第１の画像２０（２５）及び第２の画像３０（３５）について説明する。図３は、本実施の形態による第１の画像２０（２５）及び第２の画像３０（３５）を示す図である。

第１の画像２０（２５）及び第２の画像３０（３５）はユーザ端末１１に表示される。図３においては同時に表示されている例を示しているが、第1の画像２０（２５）及び第２の画像３０（３５）は別々にユーザ端末１１に表示されてもよい。

第１の画像２０（２５）には、機器２２と機器２３とが撮像される。第１の画像２０（２５）にはシーンを特定できるようなプレート２１が撮像されていてもよい。第２の画像３０（３５）には、機器２２，２３のうちの１つが撮像され、機器２２（２３）に付されたシール３１などが鮮明に撮像される。

次に図４を用いて第１の学習済みモデルＤＢ１及び第２の学習済みモデルＤＢ２について説明する。図４は、本実施の形態による第１の学習済みモデルＤＢ１及び第２の学習済みモデルＤＢ２を示す。

第１の学習済みモデルＤＢ１は、第１の画像２０（２５）、位置情報及び時間情報と、シーンＩＤと、を１対の学習データとして複数用いた機械学習により生成された、複数の第１の画像２０（２５）、位置情報及び時間情報と、複数のシーンＩＤと、の間における連関性が記憶されている。ここで機械学習とは例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）とする。

第１の画像２０（２５）、位置情報及び時間情報と、シーンＩＤと、の間における連関性は、具体的には、図４に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数とによってあらわされる畳み込みニューラルネットワークによって表すことができる。なお図４に示すように第１の学習済みモデルＤＢ１への第１の画像２０（２５）の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。

例えば位置情報は、Ｎ４３，Ｅ１４１のように緯度と経度との組み合わせや、０１：２３：４５：６７：８９：ＡＢ，ａｃｃｅｓｓｐｏｉｎｔ０１，−６５のようにＭＡＣアドレス、ＳＳＩＤ及び電波強度の組み合わせなどによって表される。また例えば時間情報は、Ｆｒｉ，１４００００のように作業を行う曜日と作業を開始する時刻との組み合わせやＭｏｎ，Ｗｅｄ，Ｆｒｉのように複数の作業を行う曜日によって表される。

第２の学習済みモデルＤＢ２は、モデルＩＤと１対１で紐づけられ、複数とする。それぞれの第２の学習済みモデルＤＢ２は、第２の画像３０（３５）と、１又は複数のチャンク用メタＩＤと、を１対の学習データとして複数用いた機械学習により生成された、複数の第２の画像３０（３５）と、複数の１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている。ここで機械学習とは例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）とする。

複数の第２の画像３０（３５）と、複数の１又は複数のチャンク用メタＩＤと、の間における連関性は、具体的には、図４に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数とによってあらわされる畳み込みニューラルネットワークによって表すことができる。なお図４に示すように第２の学習済みモデルＤＢ２への第２の画像３０（３５）の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。

次に図５を用いて補助記憶装置１０に記憶されている情報であるシーンテーブルＴＢ１、モデルテーブルＴＢ２、コンテンツテーブルＴＢ３、シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５、チャンク・メタテーブルＴＢ６、チャンクテーブルＴＢ７及びチャンク用メタテーブルＴＢ８について説明する。図５は、本実施の形態による補助記憶装置１０に記憶されている情報を示す図である。

シーンテーブルＴＢ１などに格納されるシーンＩＤは例えば０ＦＤなどの３桁の１６進数とする。またシーンテーブルＴＢ１などに格納されるシーン名は、例えば手術室や処置室などとし、例えばプレート２１に記載された名称とする。

モデルテーブルＴＢ２などに格納されるモデルＩＤは、例えばＭＤ１のように２文字の英字と１桁の１０進数で表される。コンテンツテーブルＴＢ３などに格納されるコンテンツＩＤは、例えば１Ｂ８２７−０１のように５桁の１６進数と２桁の１０進数とで表される。コンテンツテーブルＴＢ３などに格納されるコンテンツは、例えば１Ｂ８２７−０１．ｔｘｔのようにファイル名がコンテンツＩＤである拡張子付きで示され、コンテンツの実体へのポインタなどが格納される。

コンテンツ・チャンクテーブルＴＢ５などに格納されるチャンクＩＤは、例えば８２７００−０１のように５桁と２桁の１０進数で表される。チャンク・メタテーブルＴＢ６などに格納されるチャンク用メタＩＤは、例えば２４ＦＤのように４桁の１６進数とする。

チャンクテーブルＴＢ７に格納されるチャンクは、例えば１Ｂ８２７−０１．ｔｘｔ＿０のように対象となるチャンクと対応するコンテンツのファイル名と１桁の１０進数とで示され、対象となるチャンクと対応するコンテンツの実体の一部分へのポインタなどが格納される。

チャンクテーブルＴＢ７に格納されるチャンクサマリは、例えば「経年劣化のため、…」といったチャンクの内容を要約した文書とする。チャンクテーブルＴＢ７に格納されるハッシュ値は、例えば５６４５４４ｄ８ｆ０ｂ７４６ｅのように１５桁の１６進数とする。

チャンク用メタテーブルＴＢ８に格納されるチャンク用カテゴリＩＤは、例えば３９４のように３桁の１０進数とする。チャンク用メタテーブルＴＢ８に格納されるチャンク用カテゴリ名は、例えば重量や色や形などとする。チャンク用メタテーブルＴＢ８に格納されるチャンク用メタ値は、例えば軽や重や白や青などとする。なおチャンク用カテゴリＩＤ及びチャンク用カテゴリ名の値はＮＵＬＬであってもよい。

シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５及びチャンク・メタテーブルＴＢ６に示すように、使用者が作業場所において行う作業に関する情報である作業情報のデータ構造はチャンク用メタＩＤを最下層である第１の層とし、チャンクＩＤを第２の層とし、コンテンツＩＤを第３の層とし、シーンＩＤを最上層である第４の層とする階層構造を有している。

次に図６を用いてシーン推定機能、チャンク推定機能及びチャンク出力機能について説明する。図６は、本実施の形態によるシーン推定機能、チャンク推定機能及びチャンク出力機能の説明に供するシーケンス図である。

利用段階の情報処理機能は、後述のシーン推定処理Ｓ６０によって実現されるシーン推定機能と、後述のチャンク推定処理Ｓ８０によって実現されるチャンク推定機能と、後述のチャンク出力処理Ｓ１００によって実現されるチャンク出力機能と、から構成される。

まずシーン推定機能について説明する。制御部１５に含まれるシーン推定部４は、ユーザ端末１１から第１の画像２０（２５）と、位置情報と、時間情報と、を受信すると（Ｓ１）、第１の画像２０（２５）、位置情報及び時間情報を第１の学習済みモデルＤＢ１に入力する（Ｓ２）。

第１の学習済みモデルＤＢ１は、受信した第１の画像２０（２５）、位置情報及び時間情報と強く結びついているシーンＩＤを１又は複数選択し、シーン推定部４に対して選択した１又は複数のシーンＩＤ（以下、これを第１のシーンＩＤリストと呼んでもよい）を出力する（Ｓ３）。

シーン推定部４は、第１のシーンＩＤリストを取得すると、ユーザ端末１１にそのまま送信する（Ｓ４）。ユーザ端末１１は、第１のシーンＩＤリストに含まれるそれぞれのシーンＩＤについてのキャッシュの有無をシーン推定部４に対して送信する（Ｓ５）。

ユーザ端末１１は、過去に処理した情報に関しては、シーンテーブルＴＢ１と同等のテーブルを保持している。ユーザ端末１１は、受信した第１のシーンＩＤリストのシーンＩＤを検索キーとしてユーザ端末１１が保持するテーブル内を検索する。検索結果が見つかったシーンＩＤはキャッシュ有りとなり、検索結果がみつからないシーンＩＤについてはキャッシュ無しとなる。

シーン推定部４は、ユーザ端末１１から受信した第１のシーンＩＤリストに含まれるそれぞれのシーンＩＤのうちユーザ端末１１にキャッシュが無い１又は複数のシーンＩＤ（以下、これを第２のシーンＩＤリストと呼んでもよい）を検索キーとしてシーンテーブルＴＢ１を検索する（Ｓ６）。

シーン推定部４は、検索結果として第２のシーンＩＤリストに含まれるそれぞれのシーンＩＤに対応するシーン名（以下、これをシーン名リストと呼んでもよい）をシーンテーブルＴＢ１から取得する（Ｓ７）。

シーン推定部４は、取得したシーン名リストをユーザ端末１１にそのままに送信する（Ｓ８）。利用段階において情報処理装置１は、ステップＳ１〜Ｓ８によって、ユーザ端末１１が取得した第１の画像２０（２５）のシーンを、シーン名を推定することで、推定するシーン推定機能を実現する。

次にチャンク推定機能について説明する。ユーザ端末１１は、受信したシーン名リストを使用者に提示する。使用者は、提示されたシーン名リストの中から例えば１つのシーン名を選択する。ユーザ端末１１は、使用者に選択されたシーン名を制御部１５に含まれるチャンク推定部５に送信する（Ｓ９）。

チャンク推定部５は、ユーザ端末１１から受信したシーン名に対応するシーンＩＤを検索キーとして（Ｓ１０）、モデルテーブルＴＢ２を検索しモデルＩＤを取得する（Ｓ１１）。

チャンク推定部５は、第２の画像３０（３５）をユーザ端末１１から受信する（Ｓ１２）。チャンク推定部５は、モデルテーブルＴＢ２から取得したモデルＩＤによって複数の第２の学習済みモデルＤＢ２のうちの１つを指定し、第２の画像３０（３５）を指定した第２の学習済みモデルＤＢ２に入力する（Ｓ１３）。

第２の学習済みモデルＤＢ２は、受信した第２の画像３０（３５）と強く結びついている１又は複数のチャンク用メタＩＤを１又は複数選択し、チャンク推定部５に対して選択した１又は複数の、１又は複数のチャンク用メタＩＤ（以下、これをチャンク用メタＩＤリストと呼んでもよい）を出力する（Ｓ１４）。

チャンク推定部５は、チャンク用メタＩＤリストに含まれるそれぞれの１又は複数のチャンク用メタＩＤを検索キーとしてチャンク・メタテーブルＴＢ６を検索する（Ｓ１５）。

チャンク推定部５は、検索結果として１又は複数のチャンクＩＤ（以下、これを第１のチャンクＩＤリストと呼んでもよい）をチャンク・メタテーブルＴＢ６から取得する（Ｓ１６）。チャンク推定部５は、取得した第１のチャンクＩＤリストをユーザ端末１１にそのままに送信する（Ｓ１７）。

ユーザ端末１１は、第１のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤについてのキャッシュの有無をチャンク推定部５に対して送信する（Ｓ１８）。ユーザ端末１１は、過去に処理した情報に関しては、チャンクテーブルＴＢ７におけるチャンクＩＤ列とチャンクサマリ列とを備えたテーブルを保持している。

ユーザ端末１１は、受信した第１のチャンクＩＤリストのチャンクＩＤを検索キーとしてユーザ端末１１が保持するテーブル内を検索する。検索結果が見つかったチャンクＩＤはキャッシュ有りとなり、検索結果がみつからないチャンクＩＤについてはキャッシュ無しとなる。

チャンク推定部５は、ユーザ端末１１から受信した第１のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤのうちユーザ端末１１にキャッシュが無い１又は複数のチャンクＩＤ（以下、これを第２のチャンクＩＤリストと呼んでもよい）を検索キーとしてチャンクテーブルＴＢ７を検索する（Ｓ１９）。

チャンク推定部５は、検索結果として第２のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤに対応するチャンクサマリ（以下、これをチャンクサマリリストと呼んでもよい）をチャンクテーブルＴＢ７から取得する（Ｓ２０）。チャンク推定部５は、取得したチャンクサマリリストをユーザ端末１１にそのままに送信する（Ｓ２１）。

利用段階において情報処理装置１は、ステップＳ９〜Ｓ２１によって、ユーザ端末１１が取得した第２の画像３０（３５）のチャンクを、チャンクサマリを推定することで、推定するチャンク推定機能を実現する。

次にチャンク出力機能について説明する。ユーザ端末１１は、受信したチャンクサマリリストを使用者に提示する。使用者は、提示されたチャンクサマリリストの中から例えば１つのチャンクサマリを選択する。ユーザ端末１１は、使用者に選択されたチャンクサマリを制御部１５に含まれるチャンク出力部６に送信する（Ｓ２２）。

チャンク出力部６は、ユーザ端末１１から受信したチャンクサマリに対応するチャンクＩＤを検索キーとして（Ｓ２３）、チャンクテーブルＴＢ７を検索しチャンクを取得する（Ｓ２４）。

チャンク出力部６は、取得したチャンクをユーザ端末１１にそのままに送信する（Ｓ２５）。ユーザ端末１１は、受信したチャンクをユーザに提示する。利用段階において情報処理装置１は、ステップＳ２２〜Ｓ２５によって、ユーザ端末１１が取得した第２の画像３０（３５）のチャンクを出力するチャンク出力機能を実現する。

次に図７を用いて第１の学習済みモデル生成機能及び第２の学習済みモデル生成機能について説明する。図７は、本実施の形態による第１の学習済みモデル生成機能及び第２の学習済みモデル生成機能の説明に供するシーケンス図である。

学習段階の情報処理機能は、第１の学習済みモデル生成処理によって実現される第１の学習済みモデル生成機能と、第２の学習済みモデル生成処理によって実現される第２の学習済みモデル生成機能と、から構成される。

まず第１の学習済みモデル生成機能について説明する。学習済みモデル生成部１６に含まれる第１の学習済みモデル生成部７は、処理対象とするシーン名と、第１の画像２０（２５）、位置情報及び時間情報と、第２の画像３０（３５）と、の組を決め、シーンテーブルＴＢ１にシーン名を検索キーとして予め生成されたシーンテーブルＴＢ１を検索する（Ｓ３１）。

第１の学習済みモデル生成部７は、検索結果としてシーンＩＤをシーンテーブルＴＢ１から取得し（Ｓ３２）、第１の学習モデルＤＢ１’に第１の画像２０（２５）、位置情報及び時間情報と、シーンＩＤと、を１対として学習させる（Ｓ３３）。

また第１の学習済みモデル生成部７は、モデルテーブルＴＢ２に取得したシーンＩＤを送信しモデルＩＤ取得要求を行う（Ｓ３４）。モデルテーブルＴＢ２は、受信したシーンＩＤに対応するモデルＩＤを生成して、シーンＩＤとモデルＩＤとの組み合わせを記憶する。次に第１の学習済みモデル生成部７は、モデルＩＤをモデルテーブルＴＢ２から取得する（Ｓ３５）。学習段階において情報処理装置１は、ステップＳ３１〜Ｓ３５によって、第１の学習済みモデルＤＢ１を生成する第１の学習済みモデル生成機能を実現する。

次に第２の学習済みモデル生成機能について説明する。学習済みモデル生成部１６に含まれる第２の学習済みモデル生成部８は、ステップＳ３２において第１の学習済みモデル生成部７が受信したシーンＩＤを検索キーとして、予め生成されたシーン・コンテンツテーブルＴＢ４を検索する（Ｓ３６）。

第２の学習済みモデル生成部８は、検索結果としてコンテンツＩＤをシーン・コンテンツテーブルＴＢ４から取得し（Ｓ３７）、取得したコンテンツＩＤを検索キーとして予め生成されたコンテンツテーブルＴＢ３を検索する（Ｓ３８）。

第２の学習済みモデル生成部８は、検索結果としてコンテンツをコンテンツテーブルＴＢ３から取得し（Ｓ３９）、ステップＳ３７で取得したコンテンツＩＤを検索キーとして予め生成されたコンテンツ・チャンクテーブルＴＢ５を検索する（Ｓ４０）。

第２の学習済みモデル生成部８は、検索結果としてチャンクＩＤをコンテンツ・チャンクテーブルＴＢ５から取得し（Ｓ４１）、取得したチャンクＩＤを検索キーとして予め生成されたチャンクテーブルＴＢ７を検索する（Ｓ４２）。

第２の学習済みモデル生成部８は、検索結果としてチャンクをチャンクテーブルＴＢ７から取得し（Ｓ４３）、ステップＳ４１で取得したチャンクＩＤを検索キーとして予め生成されたチャンク・メタテーブルＴＢ６を検索する（Ｓ４４）。

第２の学習済みモデル生成部８は、検索結果として１又は複数のチャンク用メタＩＤをチャンク・メタテーブルＴＢ６から取得し（Ｓ４５）、取得したそれぞれのチャンク用メタＩＤを検索キーとして予め生成されたチャンク用メタテーブルＴＢ８を検索する（Ｓ４６）。

第２の学習済みモデル生成部８は、検索結果としてそれぞれのチャンク用メタＩＤに対応するチャンク用メタ値をチャンク用メタテーブルＴＢ８からそれぞれ取得する（Ｓ４７）。第２の学習済みモデル生成部８は、ステップＳ３９で取得したコンテンツ、ステップＳ４３で取得したチャンク及びステップＳ４７で取得したそれぞれのチャンク用メタ値に問題がないかを第１の画像２０（２５）及び第２の画像３０（３５）を参照して確認を行う。

例えば第２の学習済みモデル生成部８は、第１の画像２０（２５）において撮像されたプレート２１や第２の画像３０（３５）において撮像されたシール３１を参照して確認を行う。

参照した結果、コンテンツやチャンクやチャンク用メタ値が第１の画像２０（２５）や第２の画像３０（３５）に撮像されている機器とは明らかに違う機器についての情報であることが明確であるなどの問題があった場合は対象となる組についての処理を終了する。

次に第２の学習済みモデル生成部８は、第２の学習モデルＤＢ２’にモデルＩＤと、第２の画像３０（３５）と、１又は複数のチャンク用メタＩＤと、を１対として学習させる（Ｓ４８）。学習段階において情報処理装置１は、ステップＳ３６〜Ｓ４８によって、第２の学習済みモデルＤＢ２を生成する第２の学習済みモデル生成機能を実現する。

次に図８を用いて利用段階における情報処理について説明する。図８は、本実施の形態による利用段階における情報処理の処理手順を示すフローチャートである。利用段階における情報処理は、シーン推定処理Ｓ６０と、チャンク推定処理Ｓ８０と、チャンク出力処理Ｓ１００と、から構成される。

まずシーン推定処理Ｓ６０について説明する。シーン推定処理Ｓ６０は、ステップＳ６１〜ステップＳ６７から構成される。シーン推定部４は、ユーザ端末１１から第１の画像２０（２５）と、位置情報と、時間情報と、を受信すると（Ｓ６１）、第１の画像２０（２５）、位置情報及び時間情報を第１の学習済みモデルＤＢ１に入力する（Ｓ６２）。

シーン推定部４は、第１の学習済みモデルＤＢ１から出力として第１のシーンＩＤリストを取得し（Ｓ６３）、ユーザ端末１１に第１のシーンＩＤリストをそのまま送信してキャッシュの有無をユーザ端末１１に問い合わせる（Ｓ６４）。

ユーザ端末１１からの返答結果がすべてキャッシュ有りの場合（Ｓ６５：ＮＯ）、シーン推定処理Ｓ６０は終了しチャンク推定処理Ｓ８０が開始される。ユーザ端末１１からの返答結果が１つでもキャッシュ無しの場合（Ｓ６５：ＹＥＳ）、シーン推定部４は、シーンテーブルＴＢ１からシーン名リストを取得し（Ｓ６６）、そのままユーザ端末１１に送信し（Ｓ６７）、シーン推定処理Ｓ６０は終了する。

次にチャンク推定処理Ｓ８０について説明する。チャンク推定処理Ｓ８０は、ステップＳ８１〜ステップＳ８８から構成される。チャンク推定部５は、使用者に選択されたシーン名をユーザ端末１１から受信する（Ｓ８１）。

ユーザ端末１１からシーン名を受信すると、チャンク推定部５は、モデルテーブルＴＢ２からモデルＩＤを取得する（Ｓ８２）。ユーザ端末１１からモデルＩＤと第２の画像３０（３５）とを受信すると、チャンク推定部５は、モデルＩＤによって複数の第２の学習済みモデルＤＢ２のうちの１つを指定し、第２の画像３０（３５）を指定した第２の学習済みモデルＤＢ２に入力する（Ｓ８３）。

チャンク推定部５は、第２の学習済みモデルＤＢ２から出力としてチャンク用メタＩＤリストを取得し（Ｓ８４）、チャンク・メタテーブルＴＢ６から第１のチャンクＩＤリストを取得する（Ｓ８５）。次にチャンク推定部５は、ユーザ端末１１に第１のチャンクＩＤリストをそのまま送信してキャッシュの有無をユーザ端末１１に問い合わせる（Ｓ８６）。

ユーザ端末１１からの返答結果がすべてキャッシュ有りの場合（Ｓ８６：ＮＯ）、チャンク推定処理Ｓ８０は終了しチャンク出力処理Ｓ１００が開始される。ユーザ端末１１からの返答結果が１つでもキャッシュ無しの場合（Ｓ８６：ＹＥＳ）、チャンク推定部５は、チャンクテーブルＴＢ７からチャンクサマリリストを取得し（Ｓ８７）、そのままユーザ端末１１に送信し（Ｓ８８）、チャンク推定処理Ｓ８０は終了する。

次にチャンク出力処理Ｓ１００について説明する。チャンク出力処理Ｓ１００は、ステップＳ１０１〜ステップＳ１０３から構成される。チャンク出力部６は、使用者に選択されたチャンクサマリをユーザ端末１１から受信する（Ｓ１０１）。

ユーザ端末１１からチャンクサマリを受信すると、チャンク出力部６は、チャンクテーブルＴＢ７からチャンクを取得し（Ｓ１０２）、そのままユーザ端末１１に送信し（Ｓ１０３）、チャンク出力処理Ｓ１００は終了する。

次に図９を用いて学習段階における情報処理について説明する。図９は、本実施の形態による学習段階における情報処理の処理手順を示すフローチャートである。学習段階における情報処理は、第１の学習済みモデル生成処理Ｓ１２０と、第２の学習済みモデル生成処理Ｓ１４０と、から構成される。

まず第１の学習済みモデル生成処理Ｓ１２０について説明する。第１の学習済みモデル生成処理Ｓ１２０は、ステップＳ１２１〜ステップＳ１２４から構成される。第１の学習済みモデル生成部７は、シーン名と、第１の画像２０（２５）、位置情報及び時間情報と、第２の画像３０（３５）と、の組を決めると、シーン名を検索キーとしてシーンテーブルＴＢ１を検索する（Ｓ１２１）。

第１の学習済みモデル生成部７は、検索結果としてシーンテーブルＴＢ１からシーンＩＤを取得し（Ｓ１２２）、第１の学習モデルＤＢ１’にシーンＩＤと、第１の画像２０（２５）、位置情報及び時間情報と、を１対として学習させる（Ｓ１２３）。

次に第１の学習済みモデル生成部７は、モデルテーブルＴＢ２にステップＳ１２２で取得したシーンＩＤを送信しモデルＩＤ取得要求を行い、モデルＩＤを取得する（Ｓ１２４）。

次に第２の学習済みモデル生成処理Ｓ１４０について説明する。第２の学習済みモデル生成処理Ｓ１４０は、ステップＳ１４１〜ステップＳ１５０から構成される。第２の学習済みモデル生成部８は、ステップＳ１２２で取得されたシーンＩＤを検索キーとしてシーン・コンテンツテーブルＴＢ４を検索しコンテンツＩＤを取得する（Ｓ１４１）。

第２の学習済みモデル生成部８は、取得したコンテンツＩＤを検索キーとしてコンテンツテーブルＴＢ３を検索しコンテンツを取得する（Ｓ１４２）。また第２の学習済みモデル生成部８は、取得したコンテンツＩＤを検索キーとしてコンテンツ・チャンクテーブルＴＢ５を検索しチャンクＩＤを取得する（Ｓ１４３）。

また第２の学習済みモデル生成部８は、取得したチャンクＩＤを検索キーとしてチャンクテーブルＴＢ７を検索しチャンクを取得する（Ｓ１４４）。また第２の学習済みモデル生成部８は、取得したチャンクＩＤを検索キーとしてチャンク・メタテーブルＴＢ６を検索し１又は複数のチャンク用メタＩＤを取得する（Ｓ１４５）。

また第２の学習済みモデル生成部８は、取得した１又は複数のチャンク用メタＩＤのそれぞれを検索キーとしてチャンク用メタテーブルＴＢ８を検索し、それぞれのチャンク用メタＩＤに対応するチャンク用メタ値をそれぞれ取得する（Ｓ１４６）。

第２の学習済みモデル生成部８は、ステップＳ１４２で取得したコンテンツ、ステップＳ１４４で取得したチャンク及びステップＳ１４６で取得したそれぞれのチャンク用メタ値に問題がないかを第１の画像２０（２５）及び第２の画像３０（３５）を参照して確認を行う（Ｓ１４７）。

確認の結果問題があった場合（Ｓ１４８：ＮＯ）、処理中の組に関しての学習段階の情報処理は終了する。確認の結果問題がない場合（Ｓ１４８：ＹＥＳ）、第２の学習済みモデル生成部８は、第２の学習モデルＤＢ２’にモデルＩＤと、１又は複数のチャンク用メタＩＤと、第２の画像３０（３５）と、を１対として学習させ（Ｓ１４９）、処理中の組に関しての学習段階の情報処理は終了する。

以上のように本実施の形態による情報処理装置１によって、作業情報を分割又は示唆したチャンクは、ユーザ端末１１を介して提示される。このため、チャンクを適切に設定することで必要な分量の情報を提示することが可能となる。またチャンクを、文書全体を示唆するような情報とすれば、大規模な情報の再構築は不要となる。

また位置情報や位置情報を入力データとすることで、使用者が必要な際をより正確に判断することができるようになる。またモデルテーブルＴＢ２を使用することで、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２との関係が変わった場合にも、モデルテーブルＴＢ２を変更するだけ対応が可能となり、メンテナンス性に優れた装置を提供できる。

なおモデルテーブルＴＢ２を使用しない場合、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２との関係が変わった場合には学習済みモデルＤＢ２を再度生成する必要がある。

本実施の形態においては、シーン推定部４、チャンク推定部５、チャンク出力部６、第１の学習済みモデル生成部７及び第２の学習済みモデル生成部８は、プログラムとしたがこれに限らず論理回路でもよい。

またシーン推定部４、チャンク推定部５、チャンク出力部６、第１の学習済みモデル生成部７、第２の学習済みモデル生成部８、第１の学習済みモデルＤＢ１、第１の学習モデルＤＢ１’、第２の学習済みモデルＤＢ２、第２の学習モデルＤＢ２’、シーンテーブルＴＢ１、モデルテーブルＴＢ２、コンテンツテーブルＴＢ３、シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５、チャンク・メタテーブルＴＢ６、チャンクテーブルＴＢ７及びチャンク用メタテーブルＴＢ８は１つの装置に実装されておらず、ネットワークで接続された複数の装置に分散して実装されていてもよい。

（他の実施の形態）
上述の実施の形態においては、ユーザ端末１１は、スマートフォンなどとしたが本発明はこれに限らず、例えば、ヘッドマウントディスプレイの１種類であるホロレンズ（登録商標）であってもよい。

また上述の実施の形態においては、第１の画像に関係する情報は第１の画像２０（２５）、位置情報及び時間情報とし、シーンＩＤに関係する情報はシーンＩＤとしたがこれに限らない。

例えば、第１の画像に関係する情報を第１の画像２０（２５）とし、シーンＩＤに関係する情報をシーンＩＤとしてもよい。この場合、学習段階において学習時に第１の学習モデルＤＢ１’に学習させるために入力するパラメータが減るため、学習にかかる時間が減り、また利用段階において第１の学習済みモデルＤＢ１からデータが出力されるまでの時間も減る。

また例えば第１の画像に関係する情報を第１の画像２０（２５）とし、シーンＩＤに関係する情報を作業場所の性質に関する情報であるシーン用メタ値を一意に示すシーン用メタＩＤとしてもよい。図１０及び図１１を用いて詳細を説明する。

図１０は、他の実施の形態による利用段階における情報処理装置１の構成を示すブロック図である。図１１は、シーンＩＤをあいまい検索により検索する際の説明に供する概念図である。

図１０に示すように、他の実施の形態において、情報処理装置１は、第１の学習済みモデル生成部７の代わりに第３の学習済みモデル生成部４０を備えていてもよい。また情報処理装置１は、第１の学習済みモデルＤＢ１の代わりに第３の学習済みモデルＤＢ３を備えていてもよい。

また情報処理装置１は、シーンテーブルＴＢ１の代わりにシーンテーブルＴＢ１２を備えていてもよい。またシーン用メタテーブルＴＢ９、位置情報テーブルＴＢ１０及び時間情報テーブルＴＢ１１をさらに備えていてもよい。

第３の学習済みモデル生成部４０は、1又は複数のシーン用メタＩＤと第１の画像２０（２５）とを１対として図示せぬ第３の学習モデルに学習させることで第３の学習済みモデルＤＢ３を生成するプログラムである。

図１１に示すようにシーン用メタテーブルＴＢ９は、シーン用メタＩＤとシーン用カテゴリＩＤとシーン用カテゴリ名とシーン用メタ値とが１対１で結び付けられたテーブルである。シーン用カテゴリＩＤはシーン用メタ値が属するカテゴリの名前であるシーン用カテゴリ名を一意に示す。

シーン用メタテーブルＴＢ９などに格納されるシーン用メタＩＤは、例えばｚａｑ１などのように３文字の英字と１桁の１０進数で表される。シーン用メタテーブルＴＢ９に格納されるシーン用カテゴリ名は、例えば施設や建造物などとする。シーン用メタテーブルＴＢ９に格納されるシーン用メタ値は、例えばＡＡＡ株式会社や化学プラントや浴場などとする。なおシーン用カテゴリＩＤ及びシーン用カテゴリ名の値はＮＵＬＬであってもよい。

図１１に示すように位置情報テーブルＴＢ１０は、位置情報と位置情報を一意に示す場所ＩＤと作業場所の名称である場所名とテーブル内の対象となる行のいずれかの欄を更新した時間である更新日時とが１対１で結び付けられたテーブルである。

位置情報テーブルＴＢ１０などに格納される場所ＩＤは、例えばＬＣ００１などのように２文字の英字と３桁の十進数とで表される。位置情報テーブルに格納される場所名は、例えばｘｘ事業所などとする。位置情報テーブルなどに格納される更新日時は例えば２０２００１２０１０４５１３などのように西暦、月日及び時刻情報などによって表される。

図１１に示すように時間情報テーブルＴＢ１１は、時間情報と時間情報を一意に示す作業ＩＤと作業の名称である作業名と更新日時とが１対１で結び付けられたテーブルである。

時間情報テーブルＴＢ１１などに格納される作業ＩＤは、例えばＷＯ００１などのように２文字の英字と３桁の十進数とで表される。時間情報テーブルに格納される作業名は、例えば圧力点検などとする。

図１１に示すようにシーンテーブルＴＢ１２は、場所ＩＤと作業ＩＤとシーン用メタＩＤとシーンＩＤとシーン名と更新日時とが１対１で結び付けられたテーブルである。

図１１に示すように第３の学習済みモデルＤＢ３は、第１の画像２０（２５）と、１又は複数のシーン用メタＩＤと、を１対の学習データとして複数用いた機械学習により生成された、複数の第１の画像２０（２５）と、複数の１又は複数のシーン用メタＩＤと、の間における連関性が記憶されている。ここで機械学習とは例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）とする。

複数の第１の画像２０（２５）と、複数の１又は複数のシーン用メタＩＤと、の間における連関性は、具体的には、図１１に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数とによってあらわされる畳み込みニューラルネットワークによって表すことができる。なお図１１に示すように第３の学習済みモデルＤＢ３への第１の画像２０（２５）の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。

図１０に示したような情報処理装置１に含まれるシーン推定部４は、場所ＩＤと、作業ＩＤと、シーン用メタＩＤと、を検索キーとして、シーンテーブルＴＢ１２において、シーンＩＤを検索するあいまい検索を行うことでシーンを推定する。

なお実際にユーザ端末１１が使用者から取得する位置情報や時間情報は、ＴＢ１０に格納されている位置情報やＴＢ１１に格納されている時間情報と完全に一致することは少ない。

例えば情報処理装置１は、使用者から、０１：２３：４５：６７：ＡＢ，ａｃｃｅｓｓｐｏｉｎｔ０１，−６３，ｗｅｄ，９５５５２，ｚａｔ１，ｂｇｔ５という情報を取得したとする。シーンテーブルＴＢ１２から得られる情報は、０１：２３：４５：６７：ＡＢ，ａｃｃｅｓｓｐｏｉｎｔ０１，−６５，ｗｅｄ，１０００００，ｚａｑ１，ｂｇｔ５である。

このように使用者から取得する情報とシーンテーブルＴＢ１２から得られる情報とが完全に一致しないような場合においてもあいまい検索をすることで、情報処理装置１は、シーンＩＤを推定することができる。

図１０に示したような情報処理装置１では特に、データベースやテーブルが更新される頻度が低く、読み出される頻度が高い場合に有効である。例えば、データベースやテーブルはシステム構築時や作業フローの変更時や業務拠点移転時などの長いスパンで更新されるのに対し、読みだされる頻度は予測できず不定期であるような場合が挙げられる。これはあいまい検索をすることで、使用者からの情報とデータベースやテーブルとの情報とが少し違っていても処理を進められるためである。

また図１０に示したような情報処理装置１では、学習段階において位置情報及び時間情報を第３の学習モデルに学習させる必要がなくなる。このため、図１０に示したような情報処理装置１では、作業者が作業を行う時間だけを頻繁に変える場合や、同じ外観の建物が複数ある場合などに、都度ごとに学習モデルの学習が不要となる。

また上述の図７及び図９に示した学習段階では、第１の学習済みモデル及び第２の学習済みモデルを関連付けて生成する場合について説明したが、本発明はこれに限らず、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２とは、別々に生成してもよい。

第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２とを別々に生成する場合、例えばシーンは既存のものであってコンテンツのみを追加する場合などに、シーンに関する学習を行わずに済む。

１……情報処理装置、２……中央演算装置、３……主記憶装置、４……シーン推定部、５……チャンク推定部、６……チャンク出力部、７……第１の学習済みモデル生成部、８……第２の学習済みモデル生成部、１０……補助記憶装置、１１……ユーザ端末。

Claims

使用者の行う作業に関する情報である作業情報を出力する処理を情報処理装置に実行させる情報処理プログラムであって、
前記使用者が前記作業を行う作業場所であるシーンの画像である第１の画像、前記使用者がいる位置の情報である位置情報及び前記使用者が前記作業を行う時間の情報である時間情報を取得し、前記第１の画像に関係する情報と、前記シーンを一意に示すシーンＩＤに関係する情報と、の間における連関性が記憶されている第１の学習済みモデルを使用して、前記シーンを推定する第１のステップと、
前記作業に関係する機器の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第２のステップと、
前記チャンクを出力する第３のステップと、を備え、
前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記機器の性質に関する情報であるチャンク用メタ値を一意に示し、
前記作業情報は、前記チャンク用メタＩＤを最下層である第１層とし、前記チャンクＩＤを第２層とし、前記チャンクを意味のあるひとまとまりの情報とした情報であるコンテンツを一意に示すコンテンツＩＤを第３層とし、前記シーンＩＤを最上層である第４層とする階層構造を有する、
情報処理プログラム。