[go: up one dir, main page]

JP7558741B2 - 情報処理方法、情報処理装置、表示方法、表示装置、プログラム、記録媒体、物品の製造方法 - Google Patents

情報処理方法、情報処理装置、表示方法、表示装置、プログラム、記録媒体、物品の製造方法 Download PDF

Info

Publication number
JP7558741B2
JP7558741B2 JP2020166751A JP2020166751A JP7558741B2 JP 7558741 B2 JP7558741 B2 JP 7558741B2 JP 2020166751 A JP2020166751 A JP 2020166751A JP 2020166751 A JP2020166751 A JP 2020166751A JP 7558741 B2 JP7558741 B2 JP 7558741B2
Authority
JP
Japan
Prior art keywords
series data
time series
information processing
image
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020166751A
Other languages
English (en)
Other versions
JP2022059178A5 (ja
JP2022059178A (ja
Inventor
哲 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020166751A priority Critical patent/JP7558741B2/ja
Priority to US17/474,566 priority patent/US11776177B2/en
Priority to CN202111139753.7A priority patent/CN114281028A/zh
Publication of JP2022059178A publication Critical patent/JP2022059178A/ja
Publication of JP2022059178A5 publication Critical patent/JP2022059178A5/ja
Application granted granted Critical
Publication of JP7558741B2 publication Critical patent/JP7558741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、情報処理方法、情報処理装置等に関する。
機械装置は、構成部品の状態変化等により動作状態が時々刻々と変化し得る。その機械装置の使用目的に照らして動作状態が許容範囲内の場合を正常状態、許容範囲外の場合を故障状態と呼ぶとすれば、例えば生産機械であれば、故障状態になると不良品を製造したり、生産ラインを停止させるなどの不具合を発生させてしまうことになる。
生産機械等では、故障状態をなるべく発生させないようにするため、同一の作業を反復継続して行う場合であっても、定期あるいは不定期に保守作業を実施するのが一般的である。予防安全性を高くするには、保守作業の実施インターバルを短くするのが有効だが、保守作業中は生産機械等を停止させるため、保守作業の頻度を過度に高めると生産機械等の稼働率が低下してしまう。そこで、機械等がまだ正常状態ではあるが故障状態の発生が近くなった時にこれを検知できるのが望ましい。故障状態の発生が近づいたことを検知(故障の発生を予測)できれば、その時点で機械等の保守作業を実施すればよいので、稼働率が必要以上に低下するのを抑制することができるからである。
故障の発生を予測するための手法として、機械装置の状態を機械学習した学習済モデルを予め作成しておき、学習済モデルを用いて評価時の機械装置の状態を評価する手法が知られている。予測精度を高めるには、故障の予測に適した学習済モデルを構築することが重要であるが、そのためには機械学習により機械装置の故障予知モデルを生成する際に用いる学習用データ(教師データ)の準備が重要である。抽出したデータが学習用データとして適するか否かを判断するには、波形の確認・比較等の詳細なデータ分析が必要である。
例えば、特許文献1に記載されたデータ分析方法では、生産機器の物理量と計測時刻とが対応付けられた時系列データから部分時系列データを複数抽出し、部分時系列データ毎に所定の基準時刻からの経過時間を軸とする単一のグラフ上にプロットする。そして、プロットした各部分時系列データを、ユーザの操作により経過時間軸方向にシフトし、基準点を合わせることで時系列データの比較を行っている。
特開2013-8234号公報
一般に、機械装置においては、その運転状態を管理するために、様々なパラメータ(物理量)についての計測が行われ、膨大な時系列データが取得されている。機械装置の故障の予測に適した学習済みモデルを構築するためには、取得した膨大な時系列データの中から適宜データを抽出し、学習用データに適するか否かを判断するため、波形の確認・比較などの詳細なデータ分析作業が必要である。
しかし、例えば生産ラインに設置されている工業用ロボットのような機械装置の場合には、一般的に故障の発生頻度が大きくはないので、長期間にわたり時系列データを収集する必要がある。さらに、収集する時系列データは、機械装置の運転状態を管理するデータであるため計測パラメータの数が多く、波形などを詳細に分析するためにはサンプリングレートを高くする必要があり、収集されるデータ量が膨大になる。このように、長期間にわたり高サンプリングレートで収集されたデータの中から、不定期に発生する故障に係るデータを抽出して比較等の作業をする場合、従来のデータ表示方法では作業者に大きな負担が生じ、作業能率や正確性に支障が生じていた。
最も基本的な方法として、横軸を計測時間とした単一グラフ上に時系列データを表示する場合には、長大な時間軸方向の中に故障に係る部分データが不定期に散在することになり、故障に係る複数の部分データが同一画面中に表示されるとは限らない。また、同一画面中に表示するため時間軸方向に圧縮した場合には、高サンプリングレートで計測したにもかかわらずグラフ波形が潰れてしまい、波形の確認や比較が困難になる。詳細検討のためには、操作者自身によるデータの部分拡大等の作業が必要となり、データ分析作業に多大な時間を要することになる。
また、特許文献1では、取得した膨大な時系列データから、まず比較グラフに追加する時系列データを選択し、部分時系列データを抽出する。そして、抽出した部分時系列データ毎に経過時間を付与し、比較グラフ上で複数の部分時系列データの経過時間の位相が同相となるように位置合わせをして、重なり合うように表示する。比較グラフ上で複数の部分時系列データの経過時間の位相が一致するように位置合わせすることにより、部分時系列データ同士の比較は可能となるものの、作業者の操作は煩雑であった。
そこで、作業者が、収集された時系列データの中から、任意の部分データを抽出し、確認や比較等をする際に、作業が容易になる情報処理方法や情報処理装置が求められていた。
本発明の第1の態様は、情報処理装置が、
測定対象の状態に関する時系列データを取得し、前記測定対象に発生するイベントに係るイベントデータに基づいて、前記時系列データの中から部分時系列データを複数抽出し、抽出された複数の前記部分時系列データが取得された時期に係る時期情報を付した状態で、抽出した前記部分時系列データを配置した画像を表示前記画像において、前記イベントが発生しなかった期間は、前記部分時系列データの間に、当該期間に対応する隙間を設け、前記隙間を、前記イベントが発生した期間の前記部分時系列データにおける背景部分の色と異なる色で表示する、ことを特徴とする情報処理方法である。
また、本発明の第2の態様は、測定対象の状態に関する時系列データを取得し、前記時系列データの中から部分時系列データを複数抽出し、抽出された複数の前記部分時系列データが取得された時期に係る時期情報を付した状態で、抽出した前記部分時系列データを配置した画像を表示する、情報処理装置であって、前記測定対象の異常を予測する学習済モデルを作成するための学習用データを取得する場合に、操作者に前記画像を表示する、ことを特徴とする情報処理装置である。
また、本発明の第3の態様は、測定対象の状態に関する情報を表示する表示方法であって、前記測定対象の異常を予測する学習済モデルを作成するための学習用データを取得する場合に、前記測定対象に関する時系列データの中から複数抽出された部分時系列データを、抽出された複数の前記部分時系列データが取得された時期に係る時期情報を付した状態で、抽出した前記部分時系列データを配置した画像を、操作者に表示する、ことを特徴とする表示方法である。
また、本発明の第4の態様は、測定対象の状態に関する情報を表示する表示装置であって、前記測定対象の異常を予測する学習済モデルを作成するための学習用データを取得する場合に、前記測定対象に関する時系列データの中から複数抽出された部分時系列データを、抽出された複数の前記部分時系列データが取得された時期に係る時期情報を付した状態で、抽出した前記部分時系列データを配置した画像を、操作者に表示する、ことを特徴とする表示装置である。
本発明は、作業者が、収集された時系列データの中から任意の部分データを抽出し、確認や比較等をする際に、作業が容易になる情報処理方法や情報処理装置を提供することができる。
実施形態に係る時系列データ表示装置が備える機能ブロックを説明するための模式的な機能ブロック図。 実施形態に係る時系列データ表示装置のハードウェア構成の一例を模式的に示す図。 実施形態に係る制御方法を説明するためのフローチャート。 (a)時系列データ表示装置が収集した時系列データの一例を示す図。(b)時系列データ表示装置が収集したイベントデータの一例を示す図。 機械装置から収集される繰り返し動作1回分の時系列データを例示するグラフ。 (a)繰り返し動作を連続的に行っている際に収集された時系列データを例示するグラフ。(b)長期にわたり収集した時系列データを、時間軸方向を圧縮して示したグラフ。 抽出した部分時系列データを、時間を指標とするリニアスケール(すなわち絶対時間軸)上に配置して表示した例。 実施形態に係る表示画像の一例。 (a)故障停止をイベントとした場合の実施形態に係る表示画像の一例。(b)記憶されたイベント内容に係る情報の一例。 実施形態に係る表示画像の別の一例。 実施形態に係る表示画像の更に別の一例。 実施形態に係る時系列データ表示装置を6軸多関節ロボットに接続した例を示す図。 実施形態に係る編集処理をした後の画像の一例。 実施形態に係る編集処理をした後の画像の別の一例。 実施形態に係る編集処理をした後の画像の更に別の一例。 (a)編集で追加される指標の一例。(b)編集で追加される指標の他の一例。 実施形態に係る編集処理をした後の画像の更に別の一例。 実施形態に係る編集処理をした後の画像の更に別の一例。 実施形態に係る編集処理をした後の画像の更に別の一例。 実施形態に係る編集処理をした後の画像の更に別の一例。
図面を参照して、本発明の実施形態である情報処理方法、情報処理装置、等について説明する。
尚、以下の実施形態の説明において参照する図面では、特に但し書きがない限り、同一の参照番号を付して示す要素は、同様の機能を有するものとする。
図1は、実施形態に係る情報処理装置が備える機能ブロックの構成を説明するための模式図である。尚、図1では本実施形態の特徴を説明するために必要な機能要素を機能ブロックで表しているが、本発明の課題解決原理とは直接関係のない一般的な機能要素については記載を省略している。また、図1に図示された各機能要素は機能概念的なものであり、必ずしも物理的に図示のごとく構成されていることを要しない。例えば、各機能ブロックの分散や統合の具体的形態は図示の例に限らず、その全部または一部を、使用状況等に応じて任意の単位で機能的または物理的に分散・統合して構成することが可能である。
図1に示すように、実施形態に係る情報処理装置としての時系列データ表示装置100は、計測対象である機械装置としての機械装置10と、通信可能に接続されている。
機械装置10は、例えば工業用ロボットや、生産ラインに設置される生産装置など、各種の産業機器である。機械装置10には、機械装置の状態に係る物理量を計測するための各種のセンサー11が設置されている。例えば、機械装置10が多関節ロボットの場合には、関節を駆動するモータの電流値を計測するセンサー、関節の角度センサー、速度や振動や音を計測するセンサーなどが設置され得る。ただし、これは単なる例示であり、機械装置10の種類や作業用途等により、適宜の種類、数のセンサーが、適宜の位置にセンサー11として設置され得る。センサー11には、力センサー、トルクセンサー、振動センサー、音センサー、撮像センサー、距離センサー、温度センサー、湿度センサー、流量センサー、pHセンサー、圧力センサー、粘度センサー、ガスセンサー等の各種センサーが用いられ得る。尚、図1では、図示の便宜のためセンサー11を単数で示したが、通常は複数のセンサーが時系列データ表示装置100と通信可能に設置される。
機械装置10は、情報処理装置としての時系列データ表示装置100と通信可能に有線あるいは無線で接続されており、時系列データ表示装置100はセンサー11が計測したデータを通信により取得することができる。以下、時系列データ表示装置100が有する機能ブロックについて順に説明する。時系列データ表示装置100は、制御部110、記憶部120、表示部130、入力部140を備えている。
制御部110は、複数の機能ブロックを含んでいるが、これらの機能ブロックは、例えば記憶装置や非一時的な記録媒体に記憶された制御プログラムを、時系列データ表示装置100のCPUが読み出して実行することにより構成される。あるいは、時系列データ表示装置100が備えるASIC等のハードウェアにより、機能ブロックの一部または全部を構成してもよい。
記憶部120は、時系列データ記憶手段121、イベントデータ記憶手段122、抽出データ記憶手段123、結合データ記憶手段124、画像情報記憶手段125、を含んでいる。記憶部120が有するこれらの手段は、ハードディスクドライブ、RAM、ROMといった記憶装置の記憶領域に適宜割り当てられて構成される。記憶部120は、時系列データを見易く表示する画像を作成するために、必要な各種のデータを記憶するデータ記憶部である。
表示部130および入力部140は、時系列データ表示装置100が備えるユーザインターフェースである。表示部130には、例えば液晶ディスプレイや有機ELディスプレイなどの表示デバイスが用いられ、入力部140には、例えばキーボード、ジョグダイアル、マウス、ポインティングデバイス、音声入力機などの入力デバイスが用いられる。
制御部110が備えるデータ収集手段111は、機械装置10から時系列データおよび機械装置に関するイベントデータを取得し、それぞれを時系列データ記憶手段121とイベントデータ記憶手段122に格納する。データ収集手段111を、データ取得部と呼ぶこともできる。
データ収集手段111は、例えば機械装置10のセンサー11において計測された電流、速度、圧力や、振動、音、各部の温度、等の機械装置の状態に係る物理賞の時系列データを収集して時系列データ記憶手段121に格納する。あるいは、データ収集手段111は、センサー11から取得した計測値について、所定期間毎の最大値、最小値、平均値、積分値、周波数領域への積分変換値、微分値、二次微分値などを求めて、時系列データ記憶手段に記憶させても良い。
また、データ収集手段111は、機械装置に発生するイベントに係るイベントデータを収集してイベントデータ記憶手段122に格納する。機械装置が所定の状態になることをイベントとして設定し、イベントデータとして例えばイベントが発生した時間情報を収集してイベントデータ記憶手段122に格納する。例えば、通常は継続して繰り返し動作(サイクル動作)をしている機械装置が停止状態になることをイベントとして定めた場合には、停止状態が発生した日時をイベントデータ記憶手段122に格納する。停止状態の発生原因である故障や整備等の事象は、一般には不定期であったり長い時間間隔を空けて発生するが、実施形態の情報処理装置は、このように時間的に離散的あるいは不定期に発生するイベントを取り扱うのに適している。
データ抽出手段112は、時系列データ記憶手段121に格納された時系列データの中から、イベントデータ記憶手段122に格納されているイベントデータに基づいて、イベントに係る部分時系列データを抽出して抽出データ記憶手段123に格納する。データ抽出手段112は、データ抽出部と呼ぶこともできる。
例えば、抽出条件を機械装置の停止とした時には、イベントデータ記憶手段122から機械装置が停止した日時データをイベントデータとして読み出す。そして、このイベントデータに基づき、例えば機械装置が停止する1回前の動作サイクルの中で収集されたセンサーの計測値を抽出して部分時系列データとして抽出データ記憶手段123に格納する。あるいは、機械装置が停止する1動作前の計測値についての所定期間毎の最大値、最小値、平均値、積分値、周波数領域への積分変換値、微分値、二次微分値などを時系列データ記憶手段121から抽出する。そして、部分時系列データとして抽出データ記憶手段123に格納する。
尚、イベントデータ記憶手段122に格納されているイベントデータが1種類の場合の処理を説明したが、複数種類のイベントに係るイベントデータがイベントデータ記憶手段122に格納されている場合も有り得る。その場合には、操作者が入力部140を介して複数種類のイベントの中から所定イベントを選定し、データ抽出手段112は選定された所定イベントに係る部分時系列データを抽出して抽出データ記憶手段123に格納すればよい。あるいは、複数種類のイベントの中から選定した所定イベントを予め登録しておき、登録された所定イベントに係る部分時系列データを自動的に抽出して抽出データ記憶手段123に格納してもよい。
データ結合手段113は、抽出データ記憶手段123に格納された部分時系列データに基づいて、イベントに係る部分時系列データを並べたグラフを作成する。データ結合手段113のことを、画像作成部あるいは処理部と呼ぶこともできる。データ結合手段113は、例えば、データ数を示す横軸に沿って、イベントに係る部分時系列データを結合させたグラフ、ないしは近接配置させたグラフを作成し、結合データ記憶手段124に格納する。作成した画像は、作業者(操作者)の必要に応じて、表示部130に表示したり、不図示の印刷装置を用いて印刷することができる。
編集手段114は、データ結合手段113が作成した画像をもとに、操作者が任意の作業を行う際に便利になる(例えば情報の理解がさらに容易になる)ように画像を編集し、画像情報記憶手段125に格納する。編集手段114を、画像編集部あるいは編集部と呼ぶこともできる。
編集の具体例については後に図面を参照して説明するが、例えば、結合させた部分時系列データの個々の識別性を高めたり、部分時系列データの個々の属性を示したり、部分時系列データのグルーピングを示したりするために画像を加工する。例えば、画像中の一部を分割して加工したり、画像中の情報について着色、モノクロ階調の追加、テクスチャーの追加などを行ったり、指標、ラベル、マーク等を画像中に追加したりする。
編集した画像は、作業者(操作者)の必要に応じて、表示部130に表示したり、不図示の印刷装置を用いて印刷することができる。
次に、図2に、実施形態の時系列データ表示装置のハードウェア構成の一例を模式的に示す。時系列データ表示装置は、図2に示すように、主制御手段としてのCPU1601、記憶装置としてのROM1602、およびRAM1603を備えたPCハードウェアを含むことができる。ROM1602には、後述する情報処理方法を実現するための処理プログラムなどの情報を格納しておくことができる。また、RAM1603は、その情報処理方法を実行する時にCPU1601のワークエリアなどとして使用される。また、PCハードウェアには、外部記憶装置1606が接続されている。外部記憶装置1606は、HDDやSSD、ネットワークマウントされた他のシステムの外部記憶装置などから構成される。
実施形態に係る情報処理装置あるいは情報処理方法を実現するためのCPU1601の処理プログラムは、HDDやSSDなどから成る外部記憶装置1606や、ROM1602の(例えばEEPROM領域)のような記憶部に格納しておくことができる。その場合、情報処理方法(例えば時系列データ表示方法)を実現するためのCPU1601の処理プログラムは、ネットワークインターフェース1607を介して、上記の各記憶部に供給し、また新しい別のプログラムに更新することができる。あるいは、情報処理方法を実現するためのCPU1601の処理プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。情報処理方法を実現するためのCPU1601の処理を実行可能なプログラムを格納した状態における各種の記憶手段、記憶部、ないし記憶デバイスは、本発明の情報処理方法ないし情報処理装置に係るコンピュータ読み取り可能な記録媒体である。
CPU1601には、図1に示したセンサー11が接続される。図2では、図示を簡略化するため、センサー11はCPU1601に直接接続されているように示されているが、例えばIEEE488(いわゆるGPIB)などを介して接続されていてもよい。また、センサー11は、ネットワークインターフェース1607、ネットワーク1608を介してCPU1601に通信可能に接続される構成であってもよい。
ネットワークインターフェース1607は、例えばIEEE 802.3のような有線通信、IEEE 802.11、802.15のような無線通信による通信規格を用いて構成することができる。CPU1601は、ネットワークインターフェース1607を介して、外部装置1104、外部装置1121と通信することができる。例えば時系列データ表示の対象が工業用ロボットであるなら、外部装置1104、外部装置1121は、当該工業用ロボットの制御、管理のために配置されたPLCやシーケンサのような統轄制御装置や、管理サーバなどであってもよい。
図2に示す例では、UI装置(ユーザインターフェース装置)として、図1に示す入力部140に対応する操作部1604、および表示部130に対応する表示装置1605が接続されている。操作部1604は、ハンディターミナルのような端末、あるいはキーボード、ジョグダイアル、マウス、ポインティングデバイス、音声入力機などのデバイス(あるいはそれらを備える制御端末)によって構成することができる。表示装置1605は、データ抽出手段112、データ結合手段113、等が実行する処理に係る情報を表示画面に表示可能なものであればよく、例えば液晶ディスプレイ装置を用いることができる。
次に、図3のフローチャートを参照して、時系列データ表示装置100が実行する情報処理方法(時系列データ表示方法)について説明する。図3は、時系列データ表示装置が実行する処理手順の一例を示している。
まず、ステップS101において、時系列データ表示装置100は、機械装置10から時系列データ及びイベントデータの収集を行う。
図4(a)に、時系列データ表示装置100が収集した時系列データの一例を示すが、これは機械装置10が備える工業用ロボットの駆動電流を周期的にサンプリングして計測した一連のデータである。時系列データ表示装置100のデータ収集手段111は、機械装置10のセンサー11からこのような時系列データを収集し、時系列データ記憶手段121に格納する。
ここで、収集される時系列データについてさらに詳しく説明する。図5に例示するのは、機械装置10が備える工業用ロボットが正常に動作している場合のサイクル動作1回分の時系列データを、電流波形グラフとして画像化したものである。また、図6(a)に例示するのは、当該工業用ロボットがサイクル動作を連続的に行っている際に収集された時系列データを、電流波形グラフとして画像化したものである。図6(a)は、グラフ中に振幅が特異的な波形SPWが含まれていた場合を例示している。さらに、図6(b)に例示するのは、長期にわたり収集した時系列データを、図6(a)よりも時間軸方向を圧縮して示したグラフである。図6(b)では、振幅が特異的な波形SPWが2つ含まれていることは判るものの、各サイクル動作の波形は時間軸方向につぶれてしまっているので、係る画像では波形同士の詳細な確認や比較をすることができないのがわかる。
次に、図4(b)に、時系列データ表示装置100が収集したイベントデータの一例を示すが、これは機械装置10が備える工業用ロボットが停止したことをイベントとして設定した時に、イベントが発生した時間を記録したデータである。この例では、定期あるいは不定期に実施される保守作業による停止や、不定期に発生する故障による停止がイベントとして扱われている。データ収集手段111は、時系列データの収集と並行して、例えば機械装置10の動作を管理する制御部から制御情報を受信してイベントデータの収集を行い、イベントデータ記憶手段122に格納する。
図3に戻り、ステップS102において、データ抽出手段112は、時系列データ記憶手段に記憶された時系列データの中から、所定イベントに係る部分時系列データを抽出する。ここで、所定イベントとは、イベントデータ記憶手段122に記憶されたイベントデータの中から作業者(操作者)が任意に選定したイベントを言うが、制御部110が自動的に選定するように構成してもよい。
例えば、図4(a)に示した時系列データの中から、図4(b)に示したイベントデータをもとに、所定イベントに係る部分時系列データを抽出する。具体的には、選定された所定イベントが発生した時点(工業用ロボットが停止した時点)よりも1サイクル前の動作に係る部分の時系列データを部分時系列データとして抽出する。尚、これは一例であり、例えば所定イベント発生よりも所定の動作サイクル数だけ離れた時系列データを抽出してもよいし、連続した複数の動作サイクル分の時系列データをまとめて部分時系列データとして抽出してもよい。あるいは、所定イベントが発生した動作サイクルそのものの時系列データを、部分時系列データとして抽出することも有り得る。抽出した部分時系列データは、当該部分時系列データに係る時間情報とともに抽出データ記憶手段123に格納される。
ここで、抽出した部分時系列データを、時間を指標とするリニアスケール(すなわち絶対時間軸)上に配置して表示する場合をまず想定してみる。図7は、表示画面Wを模式的に示しているが、グラフには、連続動作中の時系列データの大部分は抽出されなかったため描かれておらず、イベントに係る部分時系列データの波形のみが描かれている。したがって、図6(b)のグラフに比べれば冗長性が大幅に低減されていると言える。しかし、時間的に長期にわたり時系列データが収集されていた場合には、表示画面Wでは部分時系列データの波形は時間軸方向に圧縮されてつぶれるため、波形の詳細を確認することができない。また、波形形状の観察を容易にするため、時間軸方向を拡大しようとすると、部分時系列データどうしは非等間隔で離間しているため、複数の波形を比較観察しようとしても画面からはみ出てしまう場合がある。
そこで、実施形態では、ステップS103において、処理部としてのデータ結合手段113は、抽出データ記憶手段123に記憶された部分時系列データを結合する処理を行い、結合データ記憶手段124に格納する。すなわち、抽出された複数の部分時系列データの各々に係る情報(例えばグラフ)が、時間を指標とするリニアスケール上に配置した場合よりも互いの距離が小さくなるように配置された画像(結合データ)を作成する。データ結合手段113は、隣同士の部分時系列データに係る情報(例えばグラフ)が互いに連結するか、あるいは所定の短距離を隔てて並ぶように、部分時系列データに係る情報(例えばグラフ)を配置させる。例えば、図7における各部分時系列データの波形同士を隔てる横軸方向の距離が、ゼロあるいは小さな所定距離となるように画像処理して、波形同士の間隔を詰めるのである。
そして、ステップS104では、結合データ記憶手段124に格納された結合データを用いて、表示部130にグラフを画像表示する。その際には、波形の観察や比較等が容易になるように、必要に応じて横軸方向を拡大することができる。また、グラフの横軸の指標(目盛り)は、絶対時間ではなく、元の計測データのサンプリング数、動作サイクル数、等とするのが好ましい。非等間隔で離間していた部分時系列データ同士を並べて配置しているため、横軸の指標(目盛り)を絶対時間とすると、指標の値が部分時系列データ同士の境界で不連続に飛躍することになり、作業者が直感的に理解し難いからである。
尚、ステップS104では、作成した画像を表示部130を用いて画像表示することに代えて、時系列データ表示装置100とは別体の表示装置に画像を送信して表示させたり、印刷装置に画像を送信して印刷させてもよい。すなわち、作成した画像は、作業者(操作者)の便宜に応じて出力方法を選択すればよい。
図8に、ステップS104にて表示部130の表示画面Wに表示された画像を例示する。イベントに係る部分時系列データの波形どうしが、横軸方向で隣接するように連結して表示されている。すなわち、工業用ロボットが停止したことをイベントデータとして扱い、工業用ロボットの電流値を監視した時系列データの中からイベント毎に部分時系列データを抽出して結合したグラフが表示されている。このように、イベントが発生した際の部分時系列データのみが結合して表示されているので、イベント発生に関係したグラフ同士の確認や比較を作業者(操作者)が極めて容易に行うことができる。
例えば、イベント(停止)が、機械装置が正常な状態下で行われた点検のための停止であった場合には、部分時系列データの波形は図5に示した正常時の1動作動作サイクルの波形に類似している。図8に例示する実施形態の表示画像によれば、作業者(操作者)は、波形の類似性確認を容易に行うことができる。また、イベント(停止)が、機械装置の故障による停止であった場合には、部分時系列データの波形は、図8に示すABN1、ABN2のように、正常時の波形とは非類似の異常波形となる。このように、正常時とは異なる異常波形を容易に見出したり、イベントと関連付けて比較したりすることができるため、作業者(操作者)は、故障予知モデルを作成する際の学習用データを容易に抽出することができる。
図8の例は、ステップS102における抽出条件(所定イベント)が、正常時における点検のための停止と故障時の停止の両方を含む場合であるが、作業者は、作業目的によってステップS102における抽出条件(所定イベント)を変更することができる。例えば、故障による停止に関係する波形のみを比較し、故障原因と波形の相関を検証したい場合には、ステップS102における抽出条件としての所定イベントを、故障停止に設定すればよい。
例えば図9(a)は、故障による停止を所定イベントとし、所定イベントに係る部分時系列データの波形どうしが横軸方向で隣接するように連結して表示した際の表示画像である。この例では、横軸の指標は動作サイクル数とし、イベント同士の境界がわかりやすいように、グラフを連結した位置に縦線を付け加えている。また、図9(b)は、抽出データ記憶手段123に記憶されたイベント内容に係る詳細情報であるが、図9(a)ではこの情報を用いて部分時系列データの波形に対応させてイベント内容の詳細情報を表示している。作業者(操作者)は、画面に表示されたグラフの波形とイベント内容の詳細情報から、モータ負荷が過大になる結果発生する故障停止の場合には、その予兆として波形ピークの最大値が異常に高くなる傾向があることを容易に把握できる。また、ブレーキ故障の結果発生する故障停止の場合には、その予兆として1動作サイクル中に観測されるピークの回数が増大することを容易に把握できる。このように、部分時系列データを抽出するイベントの内容を詳細に把握することで、各イベントにより抽出された時系列データの特徴を把握することが容易になり、機械学習に用いる学習用データとしての採用の適否を容易に判断することができる。したがって、作業者(操作者)は、故障予知モデルを作成する際の学習用データを、効率的かつ容易に抽出することができる。
また、作業者(操作者)の作業効率を向上させるため、連結した部分時系列データの波形とイベントに係る詳細情報に加えて、作業者(操作者)が情報を入力可能な入力エリアを画像中に設けてもよい。例えば、作業者(操作者)が学習用データとして波形を抽出する作業のためのチェックボックス、プルダウンメニュー、フラグなどを画像中に表示してもよい。あるいは、作業者(操作者)がコメントやメモを記入するための欄を設け、画像中に表示してもよい。
図10は、実施形態に係る表示画像の他の一例である。この例では、作業者(操作者)が部分時系列データの境界を視認しやすいように、隣同士の部分時系列データ(グラフ)が所定の短距離を隔てて並ぶように連結して配置している。さらに、各グラフには、イベント内容に係る情報を示すマークがラベルとして付記されている。この例では、イベントである装置停止に関するサブ分類を表すラベルとして、正常状態における停止(例えば点検)を示すマークと、異常状態(たとえば故障)による停止を示すマークを設定し、各グラフと対応させて画像中にラベル表示している。また、各ラベルの上には、波形の中から故障予知モデルを作成するための学習用データとして採用する波形を選定するためのチェックボックスが表示されている。ラベルやチェックボックスは、作業者(操作者)が入力部140を介して指示することによって表示するようにしてもよいし、自動的に表示するように制御プログラムを構成しておいてもよい。
以上説明した例では、「電流値」のように単一種類の物理量の部分時系列データを抽出して横軸に沿ってグラフを並べて表示したが、一画面に表示するのは単一種類の物理量の部分時系列データに係るグラフに限られるわけではない。複数種類の物理量に係る部分時系列データのグラフを同一画面中に表示できれば、例えば当該イベントにおける異種の物理量同士の相関関係を作業者(操作者)が容易に判断できるため、故障予知モデルを作成するための学習用データを抽出する際に便利である。
図11は、実施形態に係る表示画像の他の一例である。この例では、図3のフローチャートのステップS102において、「装置停止」の所定イベントについて、「電流値」と「圧力」の部分時系列データを抽出した。そして、ステップS103において、「電流値」と「圧力」の各々について、抽出した部分時系列データを結合した。さらに、ステップS104においては、「電流値」のグラフと「圧力」のグラフを上下に配置し、横軸方向のイベントの位相を合わせて表示した。その結果、電流値においてピーク値が過大になるような異常波形が発生すると、圧力においてピーク値が過小になるような異常波形が発生することがわかり、このイベントにおいては電流値と圧力の相関性が大きいことを作業者は容易に理解できる。一方、電流値において1動作サイクル中に観測されるピークの回数が増大するような異常波形が発生しても、圧力は通常の波形であるため、このイベントにおいては電流値と圧力の間には相関性が小さいことがわかる。このように、所定イベントが発生した際の部分時系列データのみを結合して表示しているので、イベント発生に関係したグラフ同士の確認や比較を作業者(操作者)が極めて容易に行うことができる。作業者(操作者)は、故障予知モデルを作成する際に、学習用データを効率的かつ容易に抽出することができる。
以上説明したように、ステップS104において表示される画像は、例えば図6(b)に示したグラフに比べれば、作業者の作業能率向上に寄与するものである。しかし、実施形態の時系列データ表示装置は、更に画像を編集することを可能とする編集手段114を備えている。
図3のフローチャートに戻り、ステップS105では、編集手段114は、結合データ記憶手段124に格納された画像(結合データ)に対して編集処理を行い、画像情報記憶手段125に格納する。作業者の作業が更に容易になるように画像を編集して記憶し、機械学習用の教師データを作成する際をはじめとする任意の時に、作業者が表示、印刷、再編集、等できるようにするものである。
図13に例示するのは、ステップS105にて編集手段114による編集処理をした後の画像IG1である。画像IG1では、ステップS103で作成されたグラフ(横軸をサイクル数として所定イベントに係る部分時系列データのみを結合したグラフ)に、所定イベントが発生した時期(年月)に係る情報INF1(時期情報)をラベルとして追加している。さらに月の境界に境界線(点線SC1)を付し、作業者が情報を理解しやすいように画像が編集されている。また、同一の月に所定イベントが複数回発生している場合には、年月に係る情報INF1は、所定イベント毎ではなく、各月毎に一つだけラベル表示して、見易くしている。
具体的なデータ処理方法の一例を挙げれば、編集手段114は、ステップS103にて部分時系列データのみを結合して作成したグラフを、所定イベントが発生した年月を単位として部分グラフに分割し、各々の部分グラフに情報INF1を追加する。そして、部分グラフどうしを再度結合し、年月の境界に境界線(点線SC1)を付する。もちろん、これは一例であって、図13に示す画像は異なるデータ処理方法により作成されても構わない。ステップS105にて編集処理を行う際には、編集手段114は表示部130に編集に係る画像や情報を表示させ、操作者が入力部140を介して編集手段114にコマンドを入力するようにしてもよい。
次に、ステップS106では、画像情報記憶手段125に格納された編集済の画像(編集画像)を表示部130に表示する。ステップS106は、機械学習用の教師データを作成する際をはじめとする任意の時に実行することができる。
尚、ステップS106では、編集済の画像(編集画像)を表示部130を用いて画像表示することに代えて、時系列データ表示装置100とは別体の表示装置に画像を送信して表示させたり、印刷装置に画像を送信して印刷させてもよい。すなわち、編集済の画像は、作業者(操作者)の便宜に応じて出力方法を選択すればよい。
このように編集された画像によれば、作業者は、所定イベントが発生した年月や、抽出された所定イベント数の各月毎の多少や、所定イベントが発生した月の規則性などを認識することが容易である。
また、編集処理によりラベル表示される情報は、年月に係る情報INF1に限られるわけではない。例えば、図14に示すのは、画像IG1(図13)とは異なる編集処理がされた画像IG2である。
編集手段114は、画像IG1と同様に年月に係る情報INF1と境界線(点線SC1)を画像中に表示するとともに、さらに所定イベントが発生した日付けに係る情報INF2をラベルとして追加している。
このように編集された画像によれば、作業者は、所定イベントが何日ごとに発生しているか、1か月の中で所定イベントが発生しやすい時期が有るか(例えば、月末に発生しやすい傾向があるか)、などを容易に認識することができる。
尚、編集処理により画像に追加される情報は、年月日に係る情報には限られない。例えば、連続動作を開始後の何サイクル目で所定イベントが発生したかを示す情報であってもよい。
また、編集手段114により行われる編集処理は、指標、ラベル、マーク等の追加には限られない。結合させた部分時系列データの個々の識別性を高めたり、部分時系列データの個々の属性を示したり、部分時系列データのグルーピングを示すために、別の手法を用いて画像の編集を行うことができる。例えば、画像中の情報について、カラーやモノクロ階調の付与、テクスチャーの追加などの加工処理を行うことができる。
例えば、図13に示した例では、所定イベントが発生した年月に係る情報を、文字を用いたラベル(情報INF1)で表したが、これとは異なる編集処理を行ってもよい。例えば、図15に示すのは、画像IG1(図13)とは異なる編集処理がされた画像IG3である。
編集手段114は、所定イベントが発生した月に係る情報を表すために、各月のグラフ画像の背景部分BG1に、暦月毎に決められたモノクロ階調と対応させた濃淡を付与する処理を行う。画像IG3に示すように、例えば、暦月とモノクロ階調の対応関係を、年初から年末に向けて濃度が漸増してゆくように定めておけば、グラフの各部分と年度内の時期の関係を、作業者が直感的に把握しやすい画像となる。
また、作業者の便宜のため、暦月とモノクロ階調の対応を示すスケールとしての指標MGD1を画像IG3中に追加する。尚、指標は図15に示す例に限らず、例えば図16(a)や図16(b)に示すものでもよい。
尚、モノクロ階調等を用いて表す情報は、年月に係る情報に限られるわけではない。また、情報を表すための編集処理は、モノクロ階調を付与する処理には限られず、例えば異なるカラーや、異なるテクスチャや、これらの組み合わせを付与する処理でもよい。その場合には、指標MGD1に代えて、カラーチャートやテクスチャーチャートなど、その処理に対応する指標を画像中に併記するのが望ましい。
図15に示す画像IG3には、ステップS103、またはステップS105、またはステップS106において作業者が付記したコメント情報COMTが含まれている。これらの各工程において、例えば表示部130に画像や情報を表示させながら、作業者は入力部140を介してコメント情報COMTを入力することができる。
次に、図17に、異なる編集処理の例として画像IG4を示すが、この例では所定イベントが発生した月に係る情報を表すために、暦月を識別可能な図形を付与する処理を行っている。すなわち、期間を示す図形として、1か月の長さを表す矢印VECを付記する。尚、画像中に付与する図形は矢印に限られるわけではなく、作業者にとって付与した情報が視認しやすく、直感的に理解しやすいものであれば、任意の図形を用いることができる。
また、矢印VECには、暦月毎に決められたモノクロ階調と対応させた濃淡が付与されている。また、画像IG3(図15)と同様に、作業者の便宜のため、暦月と矢印VECに付与されたモノクロ階調の対応を示す指標MGDが画像IG4中に追加されている。このため、グラフの各部分と年度内の時期の関係を、作業者が直感的に把握しやすい画像となっている。
次に、図18に、異なる編集処理の例として画像IG5を示すが、この例では所定イベントが発生した月に関して、暦月の偶数月と奇数月を区別してグルーピングするとともに、所定イベントが発生しなかった月を把握しやすいように画像を編集している。すなわち、図18の例では、暦月の偶数月についてグラフの背景を灰色に、奇数月についてグラフの背景を白色に、それぞれ着色している。また、所定イベント(機械装置の停止)が発生しなかった月は、グラフの間に隙間を設けて背景を淡灰色に着色している。また、作業者の便宜のため、編集処理の内容をCOMT2として画像IG5中に付記している。このため、グラフの各部分と年度内の時期の関係を、作業者が直感的に把握しやすい画像となっている。
次に、図19に、異なる編集処理の例として画像IG6を示す。この例では図15に示した例と同様に、各月のグラフ画像の背景部分BG1に、暦月毎に決められたモノクロ階調と対応させた濃淡を付与しているが、さらに所定イベントの属性に係る情報が追記されている。このグラフは、機械設備の停止を所定イベントとして抽出された部分データが結合されたものであるが、機械設備の停止には、定期点検、故障、稼働停止など、種々の態様のものが含まれている。そこで、図19の例では、一連のグラフの中で定期点検による停止に係る部分が容易に視認できるように、それを示すマークINNF3を画像中に付記している。また、作業者の便宜のため、マークの定義に係る情報MGD4と、所定イベントに係る情報を記入するコメント欄COMT3が画像中に配置されている。このため、一連のグラフの中で、定期点検による停止である部分を作業者が認識しやすい画像となっている。この例では、作業者は、定期点検による停止の直前の動作サイクルのグラフ波形が、機械装置が正常状態である場合のグラフ波形に比べてどの程度変化しているかを容易に把握できる。また、機械設備の停止の中で定期点検が占める割合も把握できるので、これらを合わせれば、定期点検のインターバルが適切かどうか等を容易に判断することができる。
また、所定イベントの属性に係る情報として画像中に追記するのは、定期点検に係る情報に限られるわけではなく、例えば故障に係る情報を追記することもできる。
図20に示す画像IG7では、一連のグラフの中で故障による停止に係る部分が容易に視認できるように、それを示すマークINNF4と、マークの定義に係る情報MGD5とを画像中に付記している。このため、一連のグラフの中で、故障による停止である部分を作業者が認識しやすい画像となっている。この例では、作業者は、故障による停止が発生する間隔や、故障発生の増減の中長期的な傾向、機械設備の停止の中で故障停止が占める割合、などを容易に認識することができる。また、故障による停止の直前の動作サイクルのグラフ波形には、波形ピークの最大値が異常に高くなる態様と、1動作サイクル中に観測されるピークの回数が増大する態様、の2種類があることを容易に把握することができる。
[時系列データ表示装置をロボットに接続した例]
図12に、機械装置10の一例としての6軸多関節ロボットに、実施形態の時系列データ表示装置100を接続した例を示す。
6軸多関節ロボットが備えるリンク200~リンク206は、6つの回転関節J1~J6により直列に接続されている。6軸多関節ロボットには、各回転関節のモータの回転速度を計測するセンサー、関節の回転角度を計測するセンサー、トルクセンサー、モータの電流を計測するセンサー、アクチュエータを駆動するエアの圧力を計測する圧力センサーなどが設けられている。先端のリンクには、アクチュエータとして例えばロボットハンド210を着脱することができる。
6軸多関節ロボットには、実施形態の時系列データ表示装置100が通信可能に接続されており、時系列データ表示装置100は、ロボットの状態に係る物理量の時系列データと、ロボットに発生するイベントに係るイベントデータを収集する。
6軸多関節ロボットは、例えば部品を組立てて物品を製造する動作を繰り返し行うが、操作者は、時系列データ表示装置100に入力部140を介して指令を与えて画像を作成させ、画像の表示や印刷を行うことができる。
例えば、6軸多関節ロボットが物品を製造する動作を行う際に、所定イベント(例えば故障)に関する部分時系列データのグラフを結合させた画像を作成し、表示部130に表示させることができる。かかる表示を行うことにより、操作者は、所定イベントに関するロボットの過去の履歴を容易に確認することができるので、ロボットに物品の製造作業を更に継続させることが可能か否か等の判断を行うことができる。すなわち、本発明の時系列データ表示装置を、ロボット等の製造装置に接続して部分時系列データを表示するようにすれば、故障による停止を未然に防止しながら物品の製造を実施することができる。
また、操作者は、時系列データ表示装置100を用いて、ロボットの故障を予知するための学習済モデルを構築するのに用いる教師データ(学習用データ)を作成することができる。操作者は、時系列データ表示装置100が取得したイベントデータから所定のイベントを選定し、時系列データ表示装置100に各種物理量の時系列データから部分時系列データを抽出させ、グラフの比較等が容易に行える画像を表示させることができる。例えば、図10に例示したチェックボックスを用いれば、操作者は機械学習の教材として適すると判断したデータに簡単にフラグを立てることができ、教師データ(学習用データ)を容易に構築することができる。
また、本実施形態では機械装置10の一例として6軸多関節ロボットで説明したがこれに限られない。例えば、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械を機械装置10として適用可能である。
[他の実施形態]
なお、本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。
例えば、本発明の実施は、単一種類のイベントに係る物理量のグラフ表示に限られるわけではない。例えば、図3のフローチャートのステップS102において、抽出条件として複数種類の所定イベントを設定する。そして、ステップS103にて複数種類の所定イベントの各々について、物理量の部分時系列データを抽出して横軸に沿って結合したグラフを作成し、ステップS104にて一画面内に並べて表示することができる。当該物理量に関して複数種類のイベント同士の間に相関性があるかを操作者が検証する際などに便利である。
本発明は、実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。実施形態の情報処理方法あるいは表示方法を実行可能な制御プログラム、制御プログラムを格納したコンピュータで読み取り可能な非一時的な記録媒体も、本発明の実施形態に含まれる。
10・・・機械装置/11・・・センサー/100・・・時系列データ表示装置/110・・・制御部/111・・・データ収集手段/112・・・データ抽出手段/113・・・データ結合手段/114・・・編集手段/120・・・記憶部/121・・・時系列データ記憶手段/122・・・イベントデータ記憶手段/123・・・抽出データ記憶手段/124・・・結合データ記憶手段/125・・・画像情報記憶手段/130・・・表示部/140・・・入力部/200~206・・・リンク/1601・・・CPU/1602・・・ROM/1603・・・RAM/1604・・・操作部/1605・・・表示装置/1606・・・外部記憶装置/1607・・・ネットワークインターフェース/1608・・・ネットワーク/1104、1121・・・外部装置/IG1~IG7・・・画像/J1~J6・・・回転関節/W・・・表示画面

Claims (30)

  1. 情報処理装置が、
    測定対象の状態に関する時系列データを取得し、
    前記測定対象に発生するイベントに係るイベントデータに基づいて、前記時系列データの中から部分時系列データを複数抽出し、
    抽出された複数の前記部分時系列データが取得された時期に係る時期情報を付した状態で、抽出した前記部分時系列データを配置した画像を表示
    前記画像において、前記イベントが発生しなかった期間は、前記部分時系列データの間に、当該期間に対応する隙間を設け、前記隙間を、前記イベントが発生した期間の前記部分時系列データにおける背景部分の色と異なる色で表示する、
    ことを特徴とする情報処理方法。
  2. 前記画像において前記部分時系列データを配置する場合、前記時系列データの時間軸に基づいて表示する場合における、前記部分時系列データに対応する表示領域間の距離、よりも小さくなるように前記部分時系列データを配置する、
    ことを特徴とする請求項1に記載の情報処理方法。
  3. 前記画像には、前記イベントに係る情報が含まれている、
    ことを特徴とする請求項1または2に記載の情報処理方法。
  4. 前記情報処理装置は、前記イベントデータとして前記測定対象に発生する複数種類のイベントに関するイベントデータを取得し、前記複数種類のイベントから選定された複数種類の所定イベントに関して複数の前記部分時系列データを抽出し、前記複数種類の所定イベントについての複数の前記部分時系列データに係る情報が配置された前記画像を表示する、
    ことを特徴とする請求項1から3のいずれか1項に記載の情報処理方法。
  5. 前記期間は、月である
    ことを特徴とする請求項1から4のいずれか1項に記載の情報処理方法。
  6. 前記部分時系列データを抽出する前の前記時系列データは、時間を指標とするリニアスケール上に配置されている、
    ことを特徴とする請求項1からのいずれか1項に記載の情報処理方法。
  7. 前記画像を、表示部に表示する、
    ことを特徴とする請求項1からのいずれか1項に記載の情報処理方法。
  8. 前記画像には、抽出された複数の前記部分時系列データのグラフが連結された画像グラフが含まれている、
    ことを特徴とする請求項1からのいずれか1項に記載の情報処理方法。
  9. 前記画像には、抽出された前記複数の部分時系列データの各々に係る、前記測定対象の物理量のグラフが互いに所定距離をおいて配置されたグラフが含まれている、
    ことを特徴とする請求項1からのいずれか1項に記載の情報処理方法。
  10. 前記情報処理装置は、前記時系列データとして複数種類の物理量に係る時系列データを取得し、前記時系列データの中から前記複数種類の物理量について複数の前記部分時系列データを抽出し、前記複数種類の物理量についての複数の前記部分時系列データに係る情報が配置された前記画像を表示する、
    ことを特徴とする請求項1からのいずれか1項に記載の情報処理方法。
  11. 前記画像には、操作者が情報を入力可能な入力エリアが含まれている、
    ことを特徴とする請求項1から10のいずれか1項に記載の情報処理方法。
  12. 前記時期情報の表示方法を設定できる、
    ことを特徴とする請求項1から11のいずれか1項に記載に情報処理方法。
  13. 前記画像には、前記時期情報が、モノクロ階調、またはカラー、またはテクスチャーを用いて表されている、
    ことを特徴とする請求項1から12のいずれか1項に記載の情報処理方法。
  14. 前記画像において、前記時期情報を、前記部分時系列データの背景部分に表示する、
    ことを特徴とする請求項1から13のいずれか1項に記載の情報処理方法。
  15. 前記画像において、前記部分時系列データが取得された期間ごとに、異なるモノクロ階調、または異なるカラー、または異なるテクスチャーを用いて表示する、
    ことを特徴とする請求項1から14のいずれか1項に記載の情報処理方法。
  16. モノクロ階調の濃度が年初から年末に向けて漸増するように前記時期情報を表示する、
    ことを特徴とする請求項15に記載の情報処理方法。
  17. 前記画像において、偶数月における前記部分時系列データの背景部分の色と、奇数月における前記部分時系列データの背景部分の色を異ならせる、
    ことを特徴とする請求項1から16のいずれか1項に記載の情報処理方法。
  18. 前記画像において、前記偶数月または前記奇数月のいずれか一方における前記部分時系列データの背景を灰色で表示し、他方を白色で表示する、
    ことを特徴とする請求項17に記載の情報処理方法。
  19. 前記画像には、前記時期情報が、文字、及び/または図形を用いて表されている、
    ことを特徴とする請求項1から18のいずれか1項に記載の情報処理方法。
  20. 前記部分時系列データを、前記時系列データにおける時間軸とは関係なく前記画像に表示する、
    ことを特徴とする請求項1から19のいずれか1項に記載の情報処理方法。
  21. 前記部分時系列データを、サンプリング数、または動作サイクル数に従って前記画像に表示する、
    ことを特徴とする請求項1から20のいずれか1項に記載の情報処理方法。
  22. 前記測定対象は機械設備である、
    ことを特徴とする請求項1から21のいずれか1項に記載の情報処理方法。
  23. 請求項1から22のいずれか1項に記載の情報処理方法を用いた物品の製造方法であって、前記情報処理装置が、前記測定対象が物品を製造する動作を行う場合における前記時系列データを取得し、前記画像を表示する、
    ことを特徴とする物品の製造方法。
  24. 測定対象の状態に関する時系列データを取得し、
    前記時系列データの中から部分時系列データを複数抽出し、
    抽出された複数の前記部分時系列データが取得された時期に係る時期情報を付した状態で、抽出した前記部分時系列データを配置した画像を表示する、情報処理装置であって、
    前記測定対象の異常を予測する学習済モデルを作成するための学習用データを取得する場合に、操作者に前記画像を表示する、
    ことを特徴とする情報処理装置。
  25. 請求項24に記載の情報処理装置が、前記測定対象が物品を製造する動作を行う場合における前記時系列データを取得し、前記画像を表示する、
    ことを特徴とする物品の製造方法。
  26. 請求項24に記載の情報処理装置を用いた情報処理方法であって前記異常は前記測定対象の故障である
    ことを特徴とする情報処理方法。
  27. 測定対象の状態に関する情報を表示する表示方法であって、
    前記測定対象の異常を予測する学習済モデルを作成するための学習用データを取得する場合に、前記測定対象に関する時系列データの中から複数抽出された部分時系列データを、抽出された複数の前記部分時系列データが取得された時期に係る時期情報を付した状態で、抽出した前記部分時系列データを配置した画像を、操作者に表示する、
    ことを特徴とする表示方法。
  28. 測定対象の状態に関する情報を表示する表示装置であって、
    前記測定対象の異常を予測する学習済モデルを作成するための学習用データを取得する場合に、前記測定対象に関する時系列データの中から複数抽出された部分時系列データを、抽出された複数の前記部分時系列データが取得された時期に係る時期情報を付した状態で、抽出した前記部分時系列データを配置した画像を、操作者に表示する、
    ことを特徴とする表示装置。
  29. 請求項1から22のいずれか1項に記載の情報処理方法、または請求項27に記載の表示方法をコンピュータに実行させるためのプログラム。
  30. 請求項29に記載のプログラムを記録した、コンピュータにより読み取り可能な記録媒体。
JP2020166751A 2020-10-01 2020-10-01 情報処理方法、情報処理装置、表示方法、表示装置、プログラム、記録媒体、物品の製造方法 Active JP7558741B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020166751A JP7558741B2 (ja) 2020-10-01 2020-10-01 情報処理方法、情報処理装置、表示方法、表示装置、プログラム、記録媒体、物品の製造方法
US17/474,566 US11776177B2 (en) 2020-10-01 2021-09-14 Methods for displaying recorded physical machine measured state data vs time
CN202111139753.7A CN114281028A (zh) 2020-10-01 2021-09-27 信息处理方法和装置、记录介质、制造产品的方法、获取学习数据的方法、显示方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020166751A JP7558741B2 (ja) 2020-10-01 2020-10-01 情報処理方法、情報処理装置、表示方法、表示装置、プログラム、記録媒体、物品の製造方法

Publications (3)

Publication Number Publication Date
JP2022059178A JP2022059178A (ja) 2022-04-13
JP2022059178A5 JP2022059178A5 (ja) 2023-10-11
JP7558741B2 true JP7558741B2 (ja) 2024-10-01

Family

ID=80868664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020166751A Active JP7558741B2 (ja) 2020-10-01 2020-10-01 情報処理方法、情報処理装置、表示方法、表示装置、プログラム、記録媒体、物品の製造方法

Country Status (3)

Country Link
US (1) US11776177B2 (ja)
JP (1) JP7558741B2 (ja)
CN (1) CN114281028A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7311319B2 (ja) * 2019-06-19 2023-07-19 ファナック株式会社 時系列データ表示装置
JP2023150200A (ja) 2022-03-31 2023-10-16 東洋電装株式会社 ターンシグナルスイッチ装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013073387A (ja) 2011-09-27 2013-04-22 Toshiba Corp データ管理装置およびデータ管理方法
WO2020009210A1 (ja) 2018-07-06 2020-01-09 パナソニックIpマネジメント株式会社 異常予測システム及び異常予測方法
US20200121199A1 (en) 2018-10-23 2020-04-23 Zoll Medical Corporation Data playback interface for a medical device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5371842A (en) * 1990-04-19 1994-12-06 Bioscience Analysis Software Ltd. System for real-time display of the waveshape of an incoming stream of digital data samples
JP2013008234A (ja) 2011-06-24 2013-01-10 Omron Corp データ比較装置、データ比較方法、制御プログラムおよび記録媒体
JP5808605B2 (ja) * 2011-08-17 2015-11-10 株式会社日立製作所 異常検知・診断方法、および異常検知・診断システム
US9659250B2 (en) * 2011-08-31 2017-05-23 Hitachi Power Solutions Co., Ltd. Facility state monitoring method and device for same
US9824470B2 (en) * 2012-12-21 2017-11-21 Business Objects Software Ltd. Use of dynamic numeric axis to indicate and highlight data ranges
JP5530045B1 (ja) * 2014-02-10 2014-06-25 株式会社日立パワーソリューションズ ヘルスマネージメントシステム及びヘルスマネージメント方法
JP2015215709A (ja) * 2014-05-09 2015-12-03 株式会社神戸製鋼所 機器データ処理装置及び機器データ処理方法
US20160105329A1 (en) * 2014-10-09 2016-04-14 Splunk Inc. Defining a service-monitoring dashboard using key performance indicators derived from machine data
RU2019139907A (ru) 2017-05-12 2021-06-07 Мицубиси Электрик Корпорейшн Устройство обработки данных временного ряда, система обработки данных временного ряда и способ обработки данных временного ряда
CN107703920B (zh) * 2017-10-25 2019-12-17 北京交通大学 基于多元时间序列的列车制动系统的故障检测方法
JP6845204B2 (ja) 2018-10-30 2021-03-17 ファナック株式会社 ノウハウ作成装置、ノウハウ作成方法及びノウハウ作成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013073387A (ja) 2011-09-27 2013-04-22 Toshiba Corp データ管理装置およびデータ管理方法
WO2020009210A1 (ja) 2018-07-06 2020-01-09 パナソニックIpマネジメント株式会社 異常予測システム及び異常予測方法
US20200121199A1 (en) 2018-10-23 2020-04-23 Zoll Medical Corporation Data playback interface for a medical device

Also Published As

Publication number Publication date
US20220108501A1 (en) 2022-04-07
US11776177B2 (en) 2023-10-03
CN114281028A (zh) 2022-04-05
JP2022059178A (ja) 2022-04-13

Similar Documents

Publication Publication Date Title
JP7634952B2 (ja) 情報処理方法、情報処理装置、表示方法、表示装置、プログラム、記録媒体、物品の製造方法、学習用データの取得方法
US12220816B2 (en) Learning data confirmation support device, machine learning device, and failure predicting device
JP6957669B2 (ja) 可視化システム
Corradini et al. Design and testing of a digital twin for monitoring and quality assessment of material extrusion process
US7463945B2 (en) Electronic fingerprints for machine control and production machines
KR102355777B1 (ko) 프로세스의 이상 상태 진단 장치 및 이상 상태 진단 방법
JP7710886B2 (ja) 情報処理方法、情報処理装置、制御プログラム、記録媒体、物品の製造方法、学習用データの取得方法
JP7493930B2 (ja) 情報処理方法、情報処理装置、生産システム、プログラム、記録媒体
CN120972677A (zh) 振动机的状态监测系统的操作方法及状态监测系统
KR20170093908A (ko) 로봇 보수 지원 장치 및 방법
JP7558741B2 (ja) 情報処理方法、情報処理装置、表示方法、表示装置、プログラム、記録媒体、物品の製造方法
JP2021096639A (ja) 制御方法、制御装置、機械設備、制御プログラム、記録媒体
JP2023079230A (ja) 監視装置、監視方法、プログラム、制御装置およびプラント
WO2020031225A1 (ja) 異常診断装置及び異常診断方法
KR20220085827A (ko) 예측 시스템, 정보 처리 장치 및 기록 매체
JP7696224B2 (ja) プログラマブルロジックコントローラ
JPH07159285A (ja) 弁の動特性診断装置
JP2020170738A (ja) 機械学習装置、故障予測装置、制御装置、及びプリント板
JP7546502B2 (ja) 状態診断システム
JP7450470B2 (ja) 設定装置およびplcシステム
KR20250080988A (ko) 제조설비 고장분석 및 예측을 위한 시각화 시스템
CN120090340A (zh) 一种矿用电力设备三维数字孪生系统及方法
JP2008059284A (ja) 製品の生産システム及び製品の生産方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240918

R150 Certificate of patent or registration of utility model

Ref document number: 7558741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150