WO2018159462A1

WO2018159462A1 - 作業情報表示システム

Info

Publication number: WO2018159462A1
Application number: PCT/JP2018/006554
Authority: WO
Inventors: 誉之岡野; 賢治金野
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2017-03-03
Filing date: 2018-02-22
Publication date: 2018-09-07
Anticipated expiration: 2019-09-03

Abstract

作業情報表示システムは、作業者の作業内容に応じた指示を外界視野と重ねて表示するシースルーディスプレイを備え、作業中の作業者の生体情報を取得する生体情報取得部を、前記シースルーディスプレイに少なくとも１つ有する。さらに、作業者が実施した作業における作業支障に該当するデータを、作業関連データとして取得する作業関連データ取得部と、前記生体情報と前記作業関連データとの相関関係を解析し、前記作業支障が一定量以上発生することが予測される生体情報の値を、作業閾値として作業者ごとに設定する生体情報解析部と、を有し、生体情報の値が作業閾値を越えた場合、前記シースルーディスプレイが作業者に対する作業対応指示の表示を行う。

Description

作業情報表示システム

　本発明は作業情報表示システムに関するものであり、例えば、ウェアラブルディスプレイを用いて作業者の眼前にシースルーで作業情報を表示する作業情報表示システムに関するものである。

　頭部装着型のウェアラブルディスプレイに使用者の生体情報を検出する検出部を設け、使用者の生体情報の変化に応じて表示を制御する表示装置が、特許文献１，２で提案されている。特許文献１に記載の表示装置では、例えば心拍の間隔の最大差を生体情報の例として、その差がある閾値になると表示を暗くしたり、画面表示を消す旨の表示を行ったりしている。また、閾値については使用者により任意に変更される態様であってもよいとしている。特許文献２に記載の表示装置においても同様に、生体情報の変化に応じて表示の制御を行っており、年齢や性別等に応じて標準的な生体情報の数値範囲を記憶しておき、範囲を外れる場合は制御を行ってもよいとしている。

　特許文献１，２に記載の表示装置では、主に娯楽やエンターテイメントの用途での使用を想定しているが、頭部装着型のウェアラブルディスプレイを製造業等における業務に使用する用途も存在する。例えば特許文献３には、頭部装着型のウェアラブルディスプレイを用いて作業過程の順番に従って作業内容を表示する作業誘導システムが提案されている。

特開２０１５－１７７４０３号公報特開２００８－９９８３４号公報特開２００４－２１９３１号公報

　特許文献１に記載の表示装置では、表示制御の閾値の変更が特に明確な根拠をもって行われるわけではないため、使用者の個人的な感覚で閾値を変更した結果、閾値が使用者にとって不適切な値となり、かえって疲れ等を誘発する可能性がある。特許文献２に記載の表示装置では、年齢や性別による傾向の違いはあるものの、個人差は当然存在するため、やはり設定された数値範囲が使用者自身に最適とはならない場合がある。また、特許文献３に記載の作業誘導システムでは、作業者の生体情報の変化に対する配慮がなされておらず、作業者ごとに作業を効率化するための機能も備えていない。

　本発明はこのような状況に鑑みてなされたものであって、その目的は、作業者が業務用途で作業を行う際に、作業者ごとに最適なパフォーマンスで作業を行って作業の生産性を向上させることが可能な作業情報表示システムを提供することにある。

　上記目的を達成するために、本発明の作業情報表示システムは、作業者の作業内容に応じた指示を外界視野と重ねて表示するシースルーディスプレイを備えた作業情報表示システムであって、
　作業中の作業者の生体情報を取得する生体情報取得部を、前記シースルーディスプレイに少なくとも１つ有し、
　作業者が実施した作業における作業支障に該当するデータを、作業関連データとして取得する作業関連データ取得部と、前記生体情報と前記作業関連データとの相関関係を解析し、前記作業支障が一定量以上発生することが予測される生体情報の値を、作業閾値として作業者ごとに設定する生体情報解析部と、を有し、
　生体情報の値が作業閾値を越えた場合、前記シースルーディスプレイが作業者に対する作業対応指示の表示を行うことを特徴とする。

　本発明によれば、作業者が業務用途で作業を行う際に、生体情報と作業関連データとの相関関係から作業者ごとにミス等の作業支障が起こりやすい心的状態を割り出して、作業対応指示（休憩指示，他作業への交代指示等）の表示を行うことができる。したがって、作業者ごとに最適なパフォーマンスで作業を行って作業の生産性を向上させることが可能である。

作業情報表示システムの実施の形態を示すブロック図。シースルーディスプレイの第１具体例を備えた作業情報表示システムを示す概略構成図。シースルーディスプレイの第２具体例を備えた作業情報表示システムを示す概略構成図。シースルーディスプレイの第３具体例を備えた作業情報表示システムを示す概略構成図。作業情報表示システムの第１の実施の形態における作業手順及び制御動作を示すフローチャート。作業情報表示システムの第２の実施の形態における作業手順及び制御動作を示すフローチャート。作業情報表示システムの第３の実施の形態における作業手順及び制御動作を示すフローチャート。作業情報表示システムの第４の実施の形態における作業手順及び制御動作を示すフローチャート。作業情報表示システムの第５の実施の形態における作業手順及び制御動作を示すフローチャート。作業情報表示システムの第６の実施の形態における作業手順及び制御動作を示すフローチャート。作業情報表示システムの第１，第２の実施の形態で用いる作業閾値を示すグラフ。作業情報表示システムの第３の実施の形態で用いる作業閾値を示すグラフ。作業情報表示システムの第４の実施の形態で用いる作業閾値を示すグラフ。作業情報表示システムの第５の実施の形態で用いる作業閾値を示すグラフ。作業情報表示システムの第６の実施の形態で用いる作業閾値を示すグラフ。

　以下、本発明を実施した作業情報表示システム等を、図面を参照しつつ説明する。なお、各実施の形態，具体例等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。

　図１に、本発明の実施の形態に係る作業情報表示システム１の概略構成を、２つのタイプについて示す。図１（Ａ）に示す作業情報表示システム１はシースルーディスプレイ２及びパーソナルコンピューター３からなっており、図１（Ｂ）に示す作業情報表示システム１はシースルーディスプレイ２からなっている。図１（Ａ）に示す作業情報表示システム１では、シースルーディスプレイ２が画像表示装置４及び生体情報取得部５を有しており、パーソナルコンピューター３が作業関連データ取得部６及び生体情報解析部７を有している。そして、シースルーディスプレイ２とパーソナルコンピューター３とは有線又は無線によって接続されている。図１（Ｂ）に示す作業情報表示システム１では、シースルーディスプレイ２が画像表示装置４及び生体情報取得部５を有しており、画像表示装置４が作業関連データ取得部６及び生体情報解析部７を有している。

　シースルーディスプレイ２は、作業者の作業内容に応じた指示を外界視野と重ねて表示する装置（例えば、ウェアラブルディスプレイ）であり、その表示を行うための主要部が画像表示装置４である。画像表示装置４は、例えば、ホログラム光学素子を有する接眼光学系で作業者の眼前に画像表示を行う装置である。また、シースルーディスプレイ２に有する生体情報取得部５は、作業中の作業者の生体情報（例えば、視線データ，心拍データ等）を取得する装置である。生体情報取得部５の具体例としては、視線センサー，心拍計，脈拍計，眼電位計，血圧計，体温計，脳波計等が挙げられる。

　作業関連データ取得部６は、作業の効率や品質に関連するデータのうち、作業者が実施した作業における作業支障に該当するデータを、作業関連データとして取得する機能ブロックである。作業関連データの具体例としては、作業に要した時間（作業時間），作業ミスの回数等が挙げられる。生体情報解析部７は、生体情報と作業関連データとの相関関係を解析し、作業支障が一定量以上発生することが予測される生体情報の値を、作業閾値として作業者ごとに設定する機能ブロックである。

　作業関連データ取得部６及び生体情報解析部７は、図１（Ａ）に示す作業情報表示システム１では、パーソナルコンピューター３において、ＣＰＵ（Central Processing Unit），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＨＤＤ（Hard Disk Drive）等によって構成されており、図１（Ｂ）に示す作業情報表示システム１では、シースルーディスプレイ２に有する画像表示装置４において、ＣＰＵ，ＲＡＭ，ＲＯＭ，ＨＤＤ等によって構成されている。例えば、ＨＤＤに格納されている処理プログラム（作業マニュアル等）をＣＰＵが読み出し、ＲＡＭに展開して実行することによって、作業関連データ取得部６及び生体情報解析部７が実現される。なお、パーソナルコンピューター３の代わりに、ネットワークを介してシースルーディスプレイ２と（有線又は無線で）接続されたコンピューター（例えばサーバー）を用いてもよい。

　生体情報取得部５で作業者の視線データ等の生体情報をセンシングし、作業者が行った作業に関する情報との相関関係をとることで、作業者ごとにミス等の作業支障が起こりやすい心的状態を割り出すことができる。つまり、作業支障が起こりやすくなる生体情報の閾値を作業者ごとに設定することができる。さらに、生体情報が閾値を越えた際に休憩指示等の作業対応指示を行えば、作業支障を予防しつつ不要な休息等をなくすことができる。

　上記観点から、生体情報解析部７で作業者ごとに設定された作業閾値を生体情報の値が越えた場合、シースルーディスプレイ２は画像表示装置４で作業者に対する作業対応指示の表示を行う構成をとっている。この構成によれば、作業者が業務用途で作業を行う際に、生体情報と作業関連データとの相関関係から作業者ごとにミス等の作業支障が起こりやすい心的状態を割り出して、作業対応指示（例えば、休憩指示，他作業への交代指示等であり、警告も含む。）の表示を行うことができる。したがって、作業者ごとに最適なパフォーマンスで作業を行って作業の生産性を向上させることが可能である。なお、作業閾値と生体情報の値との比較及びその結果に基づく制御は、パーソナルコンピューター３又は画像表示装置４に搭載されているＣＰＵで行われる。

　次に、図１（Ａ）に示すタイプの作業情報表示システム１の具体例を説明する。図２～図４に、シースルーディスプレイ２Ａ，２Ｂ，２Ｃ（第１～第３具体例）を備えた作業情報表示システム１Ａ，１Ｂ，１Ｃの概略構成を示す。図２～図４において、（Ａ）はシースルーディスプレイ２Ａ，２Ｂ，２Ｃの上面側外観、（Ｂ）はシースルーディスプレイ２Ａ，２Ｂ，２Ｃの正面側外観、（Ｃ）はシースルーディスプレイ２Ａ，２Ｂ，２Ｃの下面側外観をそれぞれ示している。また、図２～図４において、（Ｂ）は作業情報表示システム１Ａ，１Ｂ，１Ｃにおけるシースルーディスプレイ２Ａ，２Ｂ，２Ｃとパーソナルコンピューター３との関係をデータの流れで示している。

　シースルーディスプレイ２Ａ，２Ｂ，２Ｃは、画像表示装置４，レンズ８，フレーム９等を有している。前述の生体情報取得部５としては、シースルーディスプレイ２Ａが視線センサー５Ａを有しており、シースルーディスプレイ２Ｂが心拍計５Ｂを有しており、シースルーディスプレイ２Ｃが視線センサー５Ａと心拍計５Ｂの両方を有している。シースルーディスプレイ２Ａ，２Ｃに搭載されている視線センサー５Ａは、作業者の視線を検知して、生体情報の値として視線の変動量を得ることができるようになっている。その具体例としては、トビー・テクノロジー株式会社製　Tobii Pro Glasses 2等が挙げられる。また、シースルーディスプレイ２Ｂ，２Ｃに搭載されている心拍計５Ｂは、作業者の心拍を検知して、生体情報の値として心拍の変化量を得ることができるようになっている。

　シースルーディスプレイ２Ａ，２Ｂ，２Ｃは、画像表示装置４でパーソナルコンピューター３と接続されている。視線センサー５Ａで得られた視線データや心拍計５Ｂで得られた心拍データは、画像表示装置４からパーソナルコンピューター３へと送られ、パーソナルコンピューター３内のＨＤＤに格納されている作業マニュアル等は、パーソナルコンピューター３から画像表示装置４へと送られる。また、パーソナルコンピューター３（作業関連データ取得部６）に対する作業関連データ（作業時間，作業ミスの回数等）の入力は、例えば、パーソナルコンピューター３に付属のマウスやキーボード等で行われる。ただし、作業関連データの入力は、作業者による入力に限らず、作業情報表示システム１Ａ，１Ｂ，１Ｃによる入力でもよい（例えば、ＣＰＵで得た作業時間の入力，センサー等で得た作業ミス回数の入力）。

　画像表示装置４は、光源，照明光学系，表示素子等を筐体内に有している。また画像表示装置４は、ホログラム光学素子等からなる接眼光学系１０も有しており、その上端部が筐体内に位置すると共に、接眼光学系１０の本体が右眼用のレンズ８の前方（作業者とは反対側の外界側）に位置するように配置されている。筐体内の光源や表示素子は、筐体を貫通して設けられるケーブルを介して、回路基板と接続されており、回路基板から駆動電力，画像信号等が供給される。レンズ８は、視力矯正用のレンズであってもよいし、視力矯正を行わない単なるダミーレンズであってもよい。フレーム９は、眼鏡のフレームに相当するものであり、作業者の頭部に装着され、画像表示装置４を支持する支持部材である。このフレーム９は、作業者の左右の側頭部に当接するテンプルを含んでいる。

　シースルーディスプレイ２Ａ，２Ｂ，２Ｃを作業者の頭部に装着し、画像表示装置４で画像を表示すると、その画像光が接眼光学系１０を介して光学瞳位置に導かれる。したがって、光学瞳位置に作業者の瞳を合わせれば、作業者は画像表示装置４の表示画像の拡大虚像を観察することができ、それと同時に、作業者は接眼光学系１０を介して、外界像をシースルーで観察することができる。このように、画像表示装置４が支持部材としてのフレーム９で支持されることにより、作業者は画像表示装置４によって提供される画像をハンズフリーで長時間安定して観察することができる。

　次に、上述の作業情報表示システム１Ａ，１Ｂ，１Ｃを用いて作業手順及び制御動作が更に具体化された第１～第６の実施の形態（ＥＸ１～ＥＸ６）を説明する。図５～図１０のフローチャートに、第１～第６の実施の形態における作業手順（左側のフロー）及び制御動作（右側のフロー）をそれぞれ示す。また、図１１～図１５のグラフに第１～第６の実施の形態で用いる作業閾値等を示す。なお、図１（Ｂ）に示すタイプの作業情報表示システム１を用いた場合、以下に説明する第１～第６の実施の形態と同様の構成をシースルーディスプレイ２Ａ，２Ｂ，２Ｃのみで実現することが可能である。

　第１の実施の形態（ＥＸ１）は、生体情報取得部５として視線センサー５Ａを用いる作業情報表示システム１Ａ（図２）に関するものである。図２に示すように、シースルーディスプレイ２Ａは有線又は無線によってパーソナルコンピューター３と接続されており、視線センサー５Ａで検知された作業者の視線データを含めて必要なデータの送受信が可能に構成されている。パーソナルコンピューター３には、従事する作業に関する作業マニュアルとして、作業手順に沿って作業内容が示されたデータが保存されている。なお、視線センサー５Ａの代わりに、心拍計，脈拍計，眼電位計，血圧計，体温計，脳波計等の生体情報取得部５を単独又は複数用いても構わない。

　図５において、作業者が行う作業実施（＃１０）及び作業関連データの入力（＃２０）と、作業情報表示システム１Ａが行う生体情報取得（＄１０）と、は一定量以上の作業関連データと生体情報データを収集して生体情報の作業閾値を設定するための前段階（点線部分）である。この前段階では、作業者が作業を実施し（＃１０）、作業終了後に作業の効率や品質に関連する作業関連データ（作業時間，作業ミスの回数等）を入力し（＃２０）、一方、作業情報表示システム１Ａが生体情報の値として視線の変動量を取得する。相関が得られる程度のデータを集めるために、この前段階をｎ回（ｎ≒１０～１００）実施する。作業関連データの入力（＃２０）は、前述したようにパーソナルコンピューター３に付属のマウスやキーボード等で行ってもよいし、後述する作業選択や内容更新と同様の入力操作（ボタン入力，音声入力，ジェスチャー入力等）によって行ってもよい。

　作業の実施に入ると（＃３０）、従事する作業を選択する画面がシースルーディスプレイ２Ａに表示される。作業者が作業を決定すると、シースルーディスプレイ２Ａは作業マニュアルをパーソナルコンピューター３から受信して表示し、作業者は入力操作によって作業内容を更新して表示することが可能となる。ボタン入力のためのボタン，音声入力のためのマイク，ジェスチャー入力のためのジェスチャーセンサー等の入力部は図示されていないが、作業選択や内容更新の形態に応じて用意される。なお、作業マニュアルは別途作業マニュアル保存用のサーバーやパーソナルコンピューターを用意してシースルーディスプレイ２Ａと通信するようにしてもよいし、シースルーディスプレイ２に内蔵メモリーを搭載してそちらに保存してもよい。

　パーソナルコンピューター３への送信により作業関連データの入力（＃２０）が行われると、パーソナルコンピューター３の生体情報解析部７で視線データと作業関連データとの相関関係の解析が行われる（＄２０）。人間は集中力が低下すると視線の動きが散漫になることが知られており、集中力が低下すると作業ミス等が誘発されやすい状態になる。このことから、１作業あたり（又は単位時間あたり）の視線データから視線の変動量の平均値を算出し、例えば図１１に示すように、１作業あたりの作業ミスの回数と視線の変動量との相関を算出する（＄２０）。

　得られた相関関係から、作業支障として作業ミスの回数が一定量以上発生することが予測される視線の変動量を、作業閾値として設定する（＄３０，図１１）。つまり、前段階で得られた視線の変動量と作業関連データとの相関関係を解析し（＄２０）、作業ミスの回数が一定量以上発生することが予測される視線の変動量を、作業閾値として作業者ごとに設定する（＄３０）。視線の変動量は平均値に限らず最大値又は最小値であってもよく、変動量ではなく視線の変動速度を用いてもよい。また、作業ミスの回数の代わりにミスの頻度や作業時間を用いてもよく、他の指標を用いても構わない。作業閾値は、例えば、作業の不良率の目標値（図１１），作業の標準時間等に基づいて設定され、また、作業者ごとの相関関係から個別に設定される。

　作業の実施中に（＃３０）、作業情報表示システム１Ａが生体情報の値として視線の変動量を取得する（＄４０）。そして、視線の変動量と作業閾値とを比較し（＄５０）、作業中に作業者の視線の変動量が作業閾値を越えた場合、シースルーディスプレイ２Ａは作業対応指示として、例えば休憩指示を表示する（＄６０）。作業対応指示は休憩指示に限らず、より単純でミスの起こりにくい作業への交代指示等であってもよい。なお、作業中に作業者の視線の変動量が作業閾値を越えていない場合、シースルーディスプレイ２Ａは作業対応指示を行わない（＄７０）。

　作業者はシースルーディスプレイ２からの作業対応指示があるか否かを判定し（＃４０）、作業対応指示があればその指示に従った対応、例えば休憩を実施し（＃５０）、作業対応指示がなければ作業を継続する（＃６０）。作業者は集中力の低下，疲れ，ストレス等の心的要因によって作業支障をきたしやすい状態にあるか否かを知って対応することができるため、作業支障を未然に防止し、作業の生産性を向上させることができる。また、作業閾値は個人ごとに設定されるため、個人の特性に合わせて効率良く作業を行うことができ、より生産性を高めることができる。

　作業閾値については、ある一定量の生体情報と作業関連データから算出した作業閾値を用い続けてもよいし、新しい作業関連データが入るたびに更新してもよい。また、ある一定量の作業関連データが入力されたり、ある一定期間が経過したりした場合に作業閾値を更新してもよい。第２の実施の形態（ＥＸ２）は、ｍ個（ｍ＝１，２，…）の作業関連データが貯まる毎に作業閾値を更新する作業情報表示システム１Ａ（図２）に関するものであり、図６はその作業手順及び制御動作を示している。

　図６に示すように、作業者が作業実施（＃３０）の後に作業関連データを入力し（＃３２）、作業関連データがｍ個貯まると、作業情報表示システム１Ａはその作業関連データと視線の変動量（＄４０）との相関関係を解析する（＄８０）。そして、作業ミスの回数が一定量以上発生することが予測される視線の変動量を、作業閾値として作業者ごとに設定する作業閾値更新を行って（＄９０）、作業閾値が決定される（＄３０，図１１）。これ以外の作業手順及び制御動作は第１の実施の形態（ＥＸ１）と同様である。

　作業データは貯まっていくので、そのデータを追加して作業閾値を更新していった方が、一度決めた作業閾値を使い続けるよりも確度の高い作業閾値が得られる。第２の実施の形態では、作業閾値の設定後に新たに作業関連データが発生した場合に生体情報解析部７が新たな作業関連データを含めて作業閾値を更新する構成を採用しているので、実際の作業を行うときに近い作業者の状態が作業閾値に反映される。したがって、作業の習熟度等に応じた作業閾値の設定が可能となるため、作業効率がより一層高くなる。

　第３の実施の形態（ＥＸ３）は、生体情報取得部５として心拍計５Ｂを用いる作業情報表示システム１Ｂ（図３）に関するものであり、図７はその作業手順及び制御動作を示している。生体情報の作業閾値を設定するための前段階（点線部分）では、作業情報表示システム１Ｂが生体情報として心拍変化を取得し（＄１２）、生体情報解析部７で心拍データを周波数解析して、心拍変化の低周波成分（ＬＦ）と高周波成分（ＨＦ）との比（ＬＦ／ＨＦ）を生体情報の値として算出する（＄１４）。

　パーソナルコンピューター３への送信により作業関連データの入力（＃２０）が行われると、パーソナルコンピューター３の生体情報解析部７で心拍変化の比（ＬＦ／ＨＦ）と作業関連データ（作業ミスの回数）との相関関係の解析が行われる（＄２２）。心拍の変化は自律神経との関連が認められており、心拍の変化を周波数解析した場合、ストレス状態では交感神経が活性化して心拍の低周波成分が増加することが知られている。このことから、例えば図１２に示すように、１作業あたりの作業ミスの回数とＬＦ／ＨＦとの相関を算出する（＄２２）。得られた相関関係から、作業支障として作業ミスの回数が一定量以上発生することが予測されるＬＦ／ＨＦを、作業閾値として設定する（＄３０）。つまり、前段階で得られたＬＦ／ＨＦと作業関連データとの相関関係を解析し（＄２２）、作業ミスの回数が一定量以上発生することが予測されるＬＦ／ＨＦを、作業閾値として作業者ごとに設定する（＄３０，図１２）。

　作業の実施中に（＃３０）、作業情報表示システム１Ｂが生体情報として心拍変化を取得し、生体情報解析部７で心拍データを周波数解析して、生体情報の値としてＬＦ／ＨＦを算出する（＄４０）。そして、ＬＦ／ＨＦと作業閾値とを比較し（＄５０）、作業中に作業者のＬＦ／ＨＦが作業閾値を越えた場合、シースルーディスプレイ２Ａは作業対応指示（例えば休憩指示）を表示する（＄６０）。作業中に作業者のＬＦ／ＨＦが作業閾値を越えていない場合、シースルーディスプレイ２Ｂは作業対応指示を行わない（＄７０）。このように、生体情報取得部５として心拍計５Ｂを用いて制御動作を行う以外は、第１の実施の形態（ＥＸ１）と同様であり、第１の実施の形態と同様の効果を得ることができる。

　第４の実施の形態（ＥＸ４）は、生体情報取得部５として視線センサー５Ａと心拍計５Ｂの両方を用いる作業情報表示システム１Ｃ（図４）に関するものであり、図８はその作業手順及び制御動作を示している。生体情報の作業閾値を設定するための前段階（点線部分）は、第１，第３の実施の形態と同様にそれぞれ行われる。そして、パーソナルコンピューター３への送信により作業関連データの入力（＃２０）が行われると、パーソナルコンピューター３の生体情報解析部７で第１，第３の実施の形態と同様にそれぞれ相関が算出される（＄２０，＄２２）。つまり、視線の変動量と作業関連データ（作業ミスの回数）との相関関係の解析を行って（＄２０）、図１３（Ａ）に示すように１作業あたりの作業ミスの回数と視線の変動量との相関係数αを算出し、心拍変化の比（ＬＦ／ＨＦ）と作業関連データ（作業ミスの回数）との相関関係の解析を行って（＄２２）、図１３（Ｂ）に示すように１作業あたりの作業ミスの回数とＬＦ／ＨＦとの相関係数βを算出する。

　各ｎ個のデータからなる指標ｘ（例えば、視線の変動量）と指標ｙ（例えば、ＬＦ／ＬＨ）がある場合、相関関係は計算式：
相関係数＝（ｘ，ｙの共分散）／｛（ｘの標準偏差）（ｙの標準偏差）｝
で表される。ここで、ｘ，ｙそれぞれの平均値をｘ’，ｙ’とすると、
ｘ，ｙの共分散＝（１／ｎ）Σ_i=1 ⁿ（ｘｉ－ｘ’）（ｙｉ－ｙ’）
ｘの標準偏差＝√｛（１／ｎ）Σ_i=1 ⁿ（ｘｉ－ｘ’）²｝
ｙの標準偏差＝√｛（１／ｎ）Σ_i=1 ⁿ（ｙｉ－ｙ’）²｝
である。

　得られた相関係数αと相関係数βとを比較して、相関係数のより高い方の指標を生体情報として選択する（＄２４）。図１３に示す場合、（Ａ）と（Ｂ）とを比較すると分かるように、視線の変動量に対する相関係数αよりもＬＦ／ＨＦに対する相関係数βの方が明らかに高いため、心拍変化を生体情報として選択する（＄２４）。したがって、作業ミスの回数が一定量以上発生することが予測される生体情報の値を作業閾値として作業者ごとに設定する際、その作業閾値の設定を相関係数の高い方の生体情報の値であるＬＦ／ＨＦについて行うものとする（＄３０）。例えば、相関係数＝０～１において、図１３（Ａ）に示す相関係数αが０．６で、図１３（Ｂ）に示す相関係数βが０．８である場合、ＬＦ／ＨＦで作業閾値を決定する（＄３０）。なお、生体情報取得部５が３つ以上の場合は最も相関係数が高い指標を用いる。

　作業の実施中に（＃３０）、作業情報表示システム１Ｃが生体情報として心拍変化を取得し、生体情報解析部７で心拍データを周波数解析して、生体情報の値としてＬＦ／ＨＦを算出する（＄４０）。そして、ＬＦ／ＨＦと作業閾値とを比較し（＄５０）、作業中に作業者のＬＦ／ＨＦが作業閾値を越えた場合、シースルーディスプレイ２Ａは作業対応指示（例えば休憩指示）を表示する（＄６０）。作業中に作業者のＬＦ／ＨＦが作業閾値を越えていない場合、シースルーディスプレイ２Ｂは作業対応指示を行わない（＄７０）。

　第４の実施の形態（ＥＸ４）では、上記のように作業閾値の設定を相関係数の高い方の生体情報について行う制御動作以外は、第１，第３の実施の形態（ＥＸ１，ＥＸ３）と同様の構成になっており、同様の効果を得ることができる。そして第４の実施の形態のように、生体情報取得部５が作業者の複数の生体情報を取得し、作業情報解析部７が、複数の生体情報の各々と作業関連データとの相関関係を解析し、相関係数の最も高い生体情報について作業閾値の設定を行う構成を採用すれば、相関係数の高い生体情報の方が作業支障の予測の確度が上がることから、より高精度の作業閾値の設定が可能となって作業効率が更に高くなる。

　第５の実施の形態（ＥＸ５）は、第４の実施の形態（ＥＸ４）と同様、生体情報取得部５として視線センサー５Ａと心拍計５Ｂの両方を用いる作業情報表示システム１Ｃ（図４）に関するものであり、図９はその作業手順及び制御動作を示している。双方の相関係数α，βの算出（＄２０，＄２２，図１４）までは第４の実施の形態と同様であるが、作業閾値は双方の指標に対して決定する（＄３２，＄３４）。

　パーソナルコンピューター３の生体情報解析部７で、生体情報の値として視線の変動量を取得し（＄４２）、また、生体情報の値として心拍変化を取得し（＄４４）、心拍データを周波数解析して心拍変化の低周波成分（ＬＦ）と高周波成分（ＨＦ）との比（ＬＦ／ＨＦ）を算出する（＄４５）。次に、作業中の生体情報の現在値と作業閾値との差分を算出する（＄４６，＄４８）。ここでは、差分として現在値と作業閾値との比（現在値／作業閾値）を用い（図１４）、視線の変動量を指標とした場合の差分をｘ、ＬＦ／ＨＦを指標とした場合の差分をｙとする。図１４に示すように、作業閾値をＶｔｈとし、現在値をＶｐとすると、（現在値／作業閾値）＝Ｖｐ／Ｖｔｈである。なお、差分として現在値と作業閾値との差（作業閾値－現在値）を用いてもよいが、その場合、複数の指標の単位が異なるため、例えば作業閾値で規格化した値で差をとることが望ましい。

　次に、重みづけ値を決定し（＄２６，＄２８）、各指標の相関の高さに応じて差分の重みづけを行うことにより個別生体情報値の合算値の算出を行う（＄４９）。重みづけは、重みづけ値として相関係数α，βを用いて差分ｘ，ｙと乗算することにより行い、その値α×ｘ，β×ｙを個別生体情報値とする。重みづけ値は相関係数α，βをそのまま用いる場合に限らず、相関係数の大小関係に応じた値を別途設定してもよい。また、重みづけの方法も乗算ではなく、累乗等の別の重みづけ方法であってもよい。

　そして、個別生体情報値の合算値（この場合、α×ｘ＋β×ｙ）に対して作業閾値を設定する（＄３６）。この個別生体情報値の合算の閾値は、各作業がすべて作業閾値である場合（ｘ＝１，ｙ＝１）の個別生体情報値の合算値として設定する。表１に、３つの計算例を示す。これらの計算例では現在値を変えて計算した結果を示しているが、その数値自体は単に説明を分かり易くするためのものであるため、特に意味を持たない。

　次に、個別生体情報値の合算値と個別生体情報値の合算の閾値との比較を行う（＄５２）。作業中に個別生体情報値の合算値が個別生体情報値の合算の閾値を越えた場合、シースルーディスプレイ２Ｃは作業対応指示として、例えば休憩指示，交代指示等を表示する（＄６０）。なお、作業中に個別生体情報値の合算値が個別生体情報値の合算の閾値を越えていない場合、シースルーディスプレイ２Ｃは作業対応指示を行わない（＄７０）。

　第５の実施の形態（ＥＸ５）では、上記のようにシースルーディスプレイ１Ｃによる作業者に対する作業対応指示の表示を、個別生体情報値の合算値と個別生体情報値の合算の閾値との比較結果に基づいて行う制御動作以外、第４の実施の形態（ＥＸ４）と同様の構成になっている。そして、相関係数が高い生体情報は重みづけを大きくし、相関係数が小さい生体情報は重みづけを小さくして、複数の生体情報から統合的に閾値を設定した方が作業支障の予測の確度が上がる可能性がある。したがって、第５の実施の形態のように、個別生体情報値の合算値が個別生体情報値の合算の閾値を越えた場合を、前記生体情報の値が作業閾値を越えた場合として、シースルーディスプレイ１Ｃによる作業者に対する作業対応指示の表示を行う構成を採用すれば、より高精度の作業閾値の設定が可能となって作業効率が更に高くなる。

　第６の実施の形態（ＥＸ６）は、第１の実施の形態（ＥＸ１）と同様、生体情報取得部５として視線センサー５Ａを用いる作業情報表示システム１Ａ（図２）に関するものであり、図１０はその作業手順及び制御動作を示している。ただし、作業者は作業Ａと作業Ｂの２つの作業に従事しているおり、生体情報の作業閾値を設定するための前段階（点線部分）では、作業Ａと作業Ｂの各々について、作業実施（＃１０Ａ，＃１０Ｂ）及び作業関連データの入力（＃２０Ａ，＃２０Ｂ）を行う。そして、パーソナルコンピューター３への送信により作業関連データの入力（＃２０Ａ，＃２０Ｂ）が行われると、パーソナルコンピューター３の生体情報解析部７で、作業Ａと作業Ｂの各々について、相関の算出（＄２０Ａ，＄２０Ｂ）と作業閾値の決定（＄３０Ａ，＄３０Ｂ）が行われる。

　次に、図１５（Ａ）に示すように、作業Ａの作業閾値ａと作業Ｂの作業閾値ｂの平均値（ａ＋ｂ）／２を全作業閾値として設定する（＄３９）。作業の実施中に（＃３０）、作業情報表示システム１Ａが生体情報の値として視線の変動量を取得し（＄４０）、視線の変動量と全作業閾値とを比較し（＄５０）、作業中に作業者の視線の変動量が全作業閾値を越えた場合、シースルーディスプレイ２Ａは作業対応指示を表示する（＄６０）。ここでは、作業者の従事している作業において平均的に支障を減らしつつ休憩等の作業対応指示も出るように、作業閾値の平均値（ａ＋ｂ）／２を全作業閾値としているが、不良率改善のための目標値設定等の観点から、各作業閾値の最小値を全作業閾値としてもよい。例えば、図１５（Ｂ）に示す作業閾値ａ，ｂの場合、ａ＜ｂの関係があるので、最小値ａを全作業閾値としてもよい。

　第６の実施の形態（ＥＸ６）では、上記のように作業者ごとの作業閾値の設定を、従事している全作業に一括して適用する全作業閾値を設定することにより行う制御動作以外、第１の実施の形態（ＥＸ１）と同様の構成になっている。そして第６の実施の形態のように、作業者が少なくとも２つの作業に従事している場合、生体情報解析部７が各作業において生体情報と作業関連データとの相関関係を解析し、作業支障が一定量以上発生することが予測される生体情報の各作業における値に基づいて、従事している全作業に一括して適用する全作業閾値を設定することにより、作業者ごとの作業閾値の設定を行う構成を採用すれば、全作業を通して１つの全作業閾値として設定されることから、生体情報との比較が簡単になって作業効率が更に高くなる。

　実際の作業においては、１人の作業者が複数作業を行う可能性が高い。第６の実施の形態は、そのような場合に効率良く対応するための作業閾値の設定に関するものであるが、第１の実施の形態を複数作業の各々に対して適用しても、１人の作業者が複数作業を行う場合に対応することはできる。つまり、作業者が少なくとも２つの作業に従事している場合、各作業について生体情報解析部７による作業閾値の設定を行い、各作業中にシースルーディスプレイ２Ａによる作業者に対する作業対応指示の表示を行う構成を採用してもよい。

　以上の説明から分かるように、上述した実施の形態には以下の特徴的な構成（Ｃ１）～（Ｃ１１）等が含まれている。

　（Ｃ１）：作業者の作業内容に応じた指示を外界視野と重ねて表示するシースルーディスプレイを備えた作業情報表示システムであって、
　作業中の作業者の生体情報を取得する生体情報取得部を、前記シースルーディスプレイに少なくとも１つ有し、
　作業者が実施した作業における作業支障に該当するデータを、作業関連データとして取得する作業関連データ取得部と、前記生体情報と前記作業関連データとの相関関係を解析し、前記作業支障が一定量以上発生することが予測される生体情報の値を、作業閾値として作業者ごとに設定する生体情報解析部と、を有し、
　生体情報の値が作業閾値を越えた場合、前記シースルーディスプレイが作業者に対する作業対応指示の表示を行うことを特徴とする作業情報表示システム。

　（Ｃ２）：前記生体情報取得部が、視線センサー，心拍計，脈拍計，眼電位計，血圧計，体温計，脳波計のうちの少なくとも１つであることを特徴とする（Ｃ１）記載の作業情報表示システム。

　（Ｃ３）：前記作業関連データが、作業に要した作業時間又は作業ミスの回数であることを特徴とする（Ｃ１）又は（Ｃ２）記載の作業情報表示システム。

　（Ｃ４）：前記作業対応指示が、休憩指示又は他作業への交代指示であることを特徴とする（Ｃ１）～（Ｃ３）のいずれか１項に記載の作業情報表示システム。

　（Ｃ５）：前記生体情報取得部が作業者の複数の生体情報を取得し、
　前記作業情報解析部が、前記複数の生体情報の各々と前記作業関連データとの相関関係を解析し、相関係数の最も高い生体情報について前記作業閾値の設定を行うことを特徴とする（Ｃ１）～（Ｃ４）のいずれか１項に記載の作業情報表示システム。

　（Ｃ６）：前記生体情報取得部が作業者の複数の生体情報を取得し、
　前記作業情報解析部が、前記複数の生体情報の各々と前記作業関連データとの相関関係を解析し、各生体情報の作業閾値を設定すると共に相関係数に応じた値を各生体情報の重みづけ値として設定し、作業中の作業者の各生体情報について、現在の生体情報の値と前記作業閾値との差分に応じた値に前記重みづけ値を加味した値を個別生体情報値として算出し、少なくとも２つの生体情報の個別生体情報値を用いて合算値の算出と合算の閾値の設定とを行い、
　前記個別生体情報値の合算値が個別生体情報値の合算の閾値を越えた場合を、前記生体情報の値が作業閾値を越えた場合として、前記シースルーディスプレイによる作業者に対する作業対応指示の表示を行うことを特徴とする（Ｃ１）～（Ｃ４）のいずれか１項に記載の作業情報表示システム。

　（Ｃ７）：作業者が少なくとも２つの作業に従事している場合、各作業について前記生体情報解析部による前記作業閾値の設定を行い、各作業中に前記シースルーディスプレイによる作業者に対する作業対応指示の表示を行うことを特徴とする（Ｃ１）～（Ｃ６）のいずれか１項に記載の作業情報表示システム。

　（Ｃ８）：作業者が少なくとも２つの作業に従事している場合、前記生体情報解析部が各作業において前記生体情報と前記作業関連データとの相関関係を解析し、前記作業支障が一定量以上発生することが予測される生体情報の各作業における値に基づいて、従事している全作業に一括して適用する全作業閾値を設定することにより、前記作業者ごとの作業閾値の設定を行うことを特徴とする（Ｃ１）～（Ｃ６）のいずれか１項に記載の作業情報表示システム。

　（Ｃ９）：前記作業閾値の設定後に新たに作業関連データが発生した場合、前記生体情報解析部が前記新たな作業関連データを含めて作業閾値を更新することを特徴とする（Ｃ１）～（Ｃ８）のいずれか１項に記載の作業情報表示システム。

　（Ｃ１０）：前記シースルーディスプレイと接続されたコンピューターを更に備え、前記作業関連データ取得部及び生体情報解析部を前記コンピューターに有することを特徴とする（Ｃ１）～（Ｃ９）のいずれか１項に記載の作業情報表示システム。

　（Ｃ１１）：前記作業関連データ取得部及び生体情報解析部を前記シースルーディスプレイに有することを特徴とする（Ｃ１）～（Ｃ９）のいずれか１項に記載の作業情報表示システム。

　１，１Ａ，１Ｂ，１Ｃ　　作業情報表示システム
　２，２Ａ，２Ｂ，２Ｃ　　シースルーディスプレイ
　３　　パーソナルコンピューター
　４　　画像表示装置
　５　　生体情報取得部
　５Ａ　　視線センサー
　５Ｂ　　心拍計
　６　　作業関連データ取得部
　７　　生体情報解析部

Claims

　作業者の作業内容に応じた指示を外界視野と重ねて表示するシースルーディスプレイを備えた作業情報表示システムであって、
　作業中の作業者の生体情報を取得する生体情報取得部を、前記シースルーディスプレイに少なくとも１つ有し、
　作業者が実施した作業における作業支障に該当するデータを、作業関連データとして取得する作業関連データ取得部と、前記生体情報と前記作業関連データとの相関関係を解析し、前記作業支障が一定量以上発生することが予測される生体情報の値を、作業閾値として作業者ごとに設定する生体情報解析部と、を有し、
　生体情報の値が作業閾値を越えた場合、前記シースルーディスプレイが作業者に対する作業対応指示の表示を行う作業情報表示システム。
　前記生体情報取得部が、視線センサー，心拍計，脈拍計，眼電位計，血圧計，体温計，脳波計のうちの少なくとも１つである請求項１記載の作業情報表示システム。
　前記作業関連データが、作業に要した作業時間又は作業ミスの回数である請求項１又は２記載の作業情報表示システム。
　前記作業対応指示が、休憩指示又は他作業への交代指示である請求項１～３のいずれか１項に記載の作業情報表示システム。
　前記生体情報取得部が作業者の複数の生体情報を取得し、
　前記作業情報解析部が、前記複数の生体情報の各々と前記作業関連データとの相関関係を解析し、相関係数の最も高い生体情報について前記作業閾値の設定を行う請求項１～４のいずれか１項に記載の作業情報表示システム。
　前記生体情報取得部が作業者の複数の生体情報を取得し、
　前記作業情報解析部が、前記複数の生体情報の各々と前記作業関連データとの相関関係を解析し、各生体情報の作業閾値を設定すると共に相関係数に応じた値を各生体情報の重みづけ値として設定し、作業中の作業者の各生体情報について、現在の生体情報の値と前記作業閾値との差分に応じた値に前記重みづけ値を加味した値を個別生体情報値として算出し、少なくとも２つの生体情報の個別生体情報値を用いて合算値の算出と合算の閾値の設定とを行い、
　前記個別生体情報値の合算値が個別生体情報値の合算の閾値を越えた場合を、前記生体情報の値が作業閾値を越えた場合として、前記シースルーディスプレイによる作業者に対する作業対応指示の表示を行う請求項１～４のいずれか１項に記載の作業情報表示システム。
　作業者が少なくとも２つの作業に従事している場合、各作業について前記生体情報解析部による前記作業閾値の設定を行い、各作業中に前記シースルーディスプレイによる作業者に対する作業対応指示の表示を行う請求項１～６のいずれか１項に記載の作業情報表示システム。
　作業者が少なくとも２つの作業に従事している場合、前記生体情報解析部が各作業において前記生体情報と前記作業関連データとの相関関係を解析し、前記作業支障が一定量以上発生することが予測される生体情報の各作業における値に基づいて、従事している全作業に一括して適用する全作業閾値を設定することにより、前記作業者ごとの作業閾値の設定を行う請求項１～６のいずれか１項に記載の作業情報表示システム。
　前記作業閾値の設定後に新たに作業関連データが発生した場合、前記生体情報解析部が前記新たな作業関連データを含めて作業閾値を更新する請求項１～８のいずれか１項に記載の作業情報表示システム。
　前記シースルーディスプレイと接続されたコンピューターを更に備え、前記作業関連データ取得部及び生体情報解析部を前記コンピューターに有する請求項１～９のいずれか１項に記載の作業情報表示システム。
　前記作業関連データ取得部及び生体情報解析部を前記シースルーディスプレイに有する請求項１～９のいずれか１項に記載の作業情報表示システム。