[go: up one dir, main page]

TW201832182A - 動作學習裝置、技能判別裝置以及技能判別系統 - Google Patents

動作學習裝置、技能判別裝置以及技能判別系統 Download PDF

Info

Publication number
TW201832182A
TW201832182A TW106113889A TW106113889A TW201832182A TW 201832182 A TW201832182 A TW 201832182A TW 106113889 A TW106113889 A TW 106113889A TW 106113889 A TW106113889 A TW 106113889A TW 201832182 A TW201832182 A TW 201832182A
Authority
TW
Taiwan
Prior art keywords
unit
feature
trajectory
action
learning
Prior art date
Application number
TW106113889A
Other languages
English (en)
Inventor
佐佐木諒介
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201832182A publication Critical patent/TW201832182A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

包括根據各自攝影熟練作業者與一般作業者而得之動畫像資料擷取熟練作業者以及一般作業者的動作的軌跡特徵的第1動作特徵擷取部(102)、群集與所擷取之軌跡特徵當中被決定為基準之軌跡特徵類似的軌跡特徵、依據所群集之軌跡特徵的出現頻率生成直方圖、並根據所生成之直方圖進行用於指定嫻熟動作的軌跡特徵的判別學習的動作特徵學習部(103)以及參照判別學習的結果、生成表示用於判別是否為嫻熟動作之分界的判別函數的判別函數生成部(104)。

Description

動作學習裝置、技能判別裝置以及技能判別系統
本發明係關於根據動畫像資料對評估對象者之動作進行評估的技術。
為了提升在工廠等作業的作業者的作業效率，需要擷取熟練之作業者(以下稱為熟練作業者)的技能並傳達給並非熟練之作業者的一般作業者(以下稱為一般作業者)的機制。具體而言，在熟練作業者的動作當中，檢出與一般作業者不同的動作，並藉由將檢出的動作教導給一般作業者，支援一般作業者的技能提升。
舉例而言，專利文獻1所揭示的動作特徵擷取裝置中，攝影從事某作業工程之熟練作業者的姿勢，用同樣的攝影角度攝影從事相同作業工程時的一般作業者的姿勢，以擷取一般作業者的異常動作。更詳細而言，從熟練作業者的動畫像資料擷取三次高階自相關(Cubic Higher-order Local Auto-Correlation，CHLAC)特徵，從一般作業者的評估對象畫像擷取CHLAC特徵，並根據所擷取的CHLAC特徵的相關關係，擷取一般作業者的異常動作。
【先前技術文獻】 【專利文獻】
專利文獻1特開2011-133984號公報
但是，上述專利文獻1所揭示的技術中，關於動畫像資料中的動作特徵，需要準備複數個稱為CHLAC特徵的固定的遮罩圖樣(mask pattern)，會有使用者必須設計針對熟練作業者之動作的遮罩圖樣的問題。
本發明為了解決上述問題，目的為不設計針對熟練作業者之動作的遮罩圖樣，而根據從動畫像資料擷取的熟練作業者的動作取得用於判別評估對象之作業者的技能的指標。
根據本發明之動作學習裝置，包括：第1動作特徵擷取部，根據各自攝影熟練作業者與一般作業者而得之動畫像資料，擷取熟練作業者以及一般作業者的動作的軌跡特徵；動作特徵學習部，群集與第1動作特徵擷取部所擷取之軌跡特徵當中被決定為基準之軌跡特徵類似的軌跡特徵，依據所群集之軌跡特徵的出現頻率生成直方圖，根據所生成的直方圖進行用於指定嫻熟動作的軌跡特徵的判別學習；以及判別函數生成部，參照動作特徵學習部的判別學習的結果，生成表示用於判別是否為嫻熟動作之分界的判別函數。
根據本發明，可從動畫像資料擷取熟練作業者的嫻熟動作，並可根據所擷取之動作取得用於判別評估對象之作 業者的技能的指標。
100、100A‧‧‧動作學習裝置
100a、200a‧‧‧處理電路
100b、200b‧‧‧處理器
100c、200c‧‧‧記憶體
101‧‧‧動畫像資料庫
102、102a‧‧‧第1動作特徵擷取部
103、103a‧‧‧動作特徵學習部
104、104a‧‧‧判別函數生成部
105‧‧‧部位檢出部
200、200A‧‧‧技能判別裝置
201‧‧‧畫像資訊取得部
202‧‧‧動作特徵辭典儲存部
203、203a‧‧‧第2動作特徵擷取部
204‧‧‧判別函數蓄積部
205、205a‧‧‧技能判別部
206、206a‧‧‧顯示控制部
300‧‧‧相機
400‧‧‧顯示裝置
D、Da、E‧‧‧軌跡
P、Q‧‧‧區域
ST1~ST32‧‧‧步驟
X‧‧‧作業者
Xa‧‧‧手
Y‧‧‧軌跡特徵
第1圖係表示根據實施型態1之技能判別系統之構成的區塊圖。
第2A、2B圖係表示根據實施型態1之動作學習裝置之硬體構成
第3A、3B圖係表示根據實施型態1之技能判別裝置之硬體構成例的圖。
第4圖係表示根據實施型態1之動作學習裝置之操作的流程圖。
第5圖係表示根據實施型態1之技能判別裝置之操作的流程圖。
第6A、6B、6C、6D圖係表示根據實施型態1之動作學習裝置之處理的說明圖。
第7圖係表示根據實施型態1之技能判別裝置之判別結果的顯示例的圖。
第8圖係表示根據實施型態2之技能判別系統之構成的區塊圖。
第9圖係表示根據實施型態2之動作學習裝置之操作的流程圖。
第10圖係表示根據實施型態2之技能判別裝置之操作的流程圖。
第11圖係表示根據實施型態1之動作學習裝置中追加稀 疏正規化項時之效果的圖。
以下，為更詳細說明本發明，對於用以實施本發明之型態，係根據所附圖式說明。
實施型態1
第1圖係表示根據本發明實施型態1之技能判別系統之構成的區塊圖。
技能判別系統由動作學習裝置100以及技能判別裝置200構成。動作學習裝置100分析熟練之作業者(以下稱為熟練作業者)與並非熟練之作業者的一般作業者(以下稱為一般作業者)之間動作特徵的不同處，並生成用於判別評估對象之作業者的技能的函數。在此，作為評估對象的作業者，包含熟練作業者以及一般作業者。技能判別裝置200用動作學習裝置100所生成的函數判別評估對象之作業者的技能是否嫻熟。
動作學習裝置100係構成為包括動畫像資料庫101、第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104。
動畫像資料庫101為儲存攝影複數個熟練作業者與複數個一般作業者作業的樣子而得之動畫像資料的資料庫。第1動作特徵擷取部102從儲存於動畫像資料庫101的動畫像資料擷取熟練作業者與一般作業者的動作的軌跡特徵。第1動作特徵擷取部102將所擷取的動作的軌跡特徵輸出至動作特徵學習部103。
動作特徵學習部103從第1動作特徵擷取部102 所擷取的動作的軌跡特徵決定成為基準的動作的軌跡特徵。動作特徵學習部103根據成為基準的動作的軌跡特徵進行用於指定嫻熟動作的軌跡特徵的判別學習。動作特徵學習部103生成敘述成為所決定之基準的動作的軌跡特徵的動作特徵辭典，並儲存於技能判別裝置200的動作特徵辭典儲存部202。另外，動作特徵學習部103將判別學習的結果輸出至判別函數生成部104。判別函數生成部104參照動作特徵學習部103的學習結果，生成用於判別評估對象之作業者的技能是否嫻熟的函數(以下稱為判別函數)。判別函數生成部104將所生成的判別函數蓄積至技能判別裝置200的判別函數蓄積部204。
技能判別裝置200由畫像資訊取得部201、動作特徵辭典儲存部202、第2動作特徵擷取部203、判別函數蓄積部204、技能判別部205以及顯示控制部206構成。另外，技能判別裝置200連接至拍攝評估對象之作業者作業的樣子的相機300以及根據技能判別裝置200之顯示控制顯示資訊的顯示裝置400。
畫像資訊取得部201取得相機300拍攝評估對象之作業者作業的樣子而得的動畫像資料(以下稱為評估對象的動畫像資料)。畫像資訊取得部201將所取得之動畫像資料輸出至第2動作特徵擷取部203。動作特徵辭典儲存部202中儲存從動作學習裝置100輸入的敘述成為基準之動作的軌跡特徵的動作特徵辭典。
第2動作特徵擷取部203參照儲存於動作特徵辭典儲存部202的動作特徵辭典，從畫像資訊取得部201所取得 之評估對象的動畫像資料擷取動作的軌跡特徵。第2動作特徵擷取部203將所擷取之動作的軌跡特徵輸出至技能判別部205。判別函數蓄積部204為蓄積動作學習裝置100之判別函數生成部104所生成之判別函數的區域。技能判別部205用判別函數蓄積部204所蓄積的判別函數，從第2動作特徵擷取部203所擷取之動作的軌跡特徵進行評估對象之作業者的技能是否嫻熟的判別。技能判別部205將判別結果輸出至顯示控制部206。顯示控制部206依據技能判別部205的判別結果，決定作為支援資訊的待顯示給評估對象之作業者的全部資訊。顯示控制部206對顯示裝置400進行用於顯示所決定之資訊的顯示控制。
接著，說明動作學習裝置100以及技能判別裝置200的硬體構成例。
首先說明動作學習裝置100的硬體構成例。
第2A、2B圖係表示根據實施型態1之動作學習裝置100之硬體構成例的圖。
動作學習裝置100中的第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104的各功能係由處理電路實現。意即，動作學習裝置100包括用以實現上述各功能的處理電路。該處理電路可為第2A圖所示的專用硬體之處理電路100a，亦可為第2B圖所示的執行儲存於記憶體100c之程式的處理器100b。
如第2A圖所示的第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104為專用的硬體的情況 下，處理電路100a係包含於，例如，單一電路、複合電路、程式化之處理器、平行程式化處理器、ASIC(Application Specific Integrated Circuit)、FPGA(Field-programmable Gate Array)以及其組合之中。第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104各部的功能可由各自的處理電路實現，亦可由1個處理電路整體實現各部的功能。
如第2B圖所示，第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104為處理器100b的情況下，各部的功能由軟體、韌體或軟體與韌體之組合實現。軟體或韌體係作為程式記述並儲存於記憶體100c。處理器100b讀出記憶於記憶體100c的程式並執行，以實現第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104的各功能。意即，動作特徵擷取部、動作特徵學習部103以及判別函數生成部104由處理器100b執行時，包括用於儲存其結果為執行後述第4圖所示之各步驟的程式的記憶體100c。另外，這些程式可為在電腦中執行第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104之程序或方法者。
在此，處理器100b，例如，為CPU(Central Processing Unit)、處理裝置、演算裝置、處理器、微處理器、微電腦或DSP(Digital Signal Processor)等。
記憶體100c，例如，可為RAM(Random Access Memory)、ROM(Read Only Memory)、快閃記憶體、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等非揮發 性或揮發性的半導體記憶體，亦可為小型磁碟(Mini Disc)、CD(Compact Disc)、DVD(Digital Versatile Disc)等光碟。
另外，第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104的各功能可一部分由專用硬體實現而一部分由軟體或韌體實現。如此一來，動作學習裝置100中的處理電路100a可藉由硬體、軟體、韌體或其組合實現上述各功能。
接著，說明技能判別裝置200的硬體構成例。第3A圖與第3B圖係表示根據實施型態1之技能判別裝置200之硬體構成例的圖。
技能判別裝置200中的畫像資訊取得部201、第2動作特徵擷取部203、技能判別部205以及顯示控制部206的各功能係由處理電路實現。意即，技能判別裝置200包括用以實現上述各功能的處理電路。該處理電路可為第3A圖所示的專用硬體之處理電路200a，亦可為第3B圖所示的執行儲存於記憶體200c之程式的處理器200b。
如第3A圖所示的畫像資訊取得部201、第2動作特徵擷取部203、技能判別部205以及顯示控制部206為專用的硬體的情況下，處理電路200a係包含於，例如，單一電路、複合電路、程式化之處理器、平行程式化處理器、ASIC、FPGA以及其組合之中。畫像資訊取得部201、第2動作特徵擷取部203、技能判別部205以及顯示控制部206各部的功能可由各自的處理電路實現，亦可由1個處理電路整體實現各部的功能。
如第3B圖所示，畫像資訊取得部201、第2動作特徵擷取部203、技能判別部205以及顯示控制部206為處理器200b的情況下，各部的功能由軟體、韌體或軟體與韌體之組合實現。軟體或韌體係作為程式記述並儲存於記憶體200c。處理器200b讀出記憶於記憶體200c的程式並執行，以實現畫像資訊取得部201、第2動作特徵擷取部203、技能判別部205以及顯示控制部206的各功能。意即，畫像資訊取得部201、第2動作特徵擷取部203、技能判別部205以及顯示控制部206由處理器200b執行時，包括用於儲存其結果為執行後述第5圖所示之各步驟的程式的記憶體200c。另外，這些程式可為在電腦中執行畫像資訊取得部201、第2動作特徵擷取部203、技能判別部205以及顯示控制部206之程序或方法者。
另外，畫像資訊取得部201、第2動作特徵擷取部203、技能判別部205以及顯示控制部206的各功能可一部分由專用硬體實現且一部分由軟體或韌體實現。如此一來，技能判別裝置200中的處理電路200a可藉由硬體、軟體、韌體或其組合實現上述各功能。
接著，說明動作學習裝置100的操作以及技能判別裝置200的操作。首先說明動作學習裝置100的操作。第4圖係表示根據實施型態1之動作學習裝置100之操作的流程圖。
第1動作特徵擷取部102從動畫像資料庫101讀出攝影熟練作業者以及一般作業者之動作而得的動畫像資料(步驟ST1)。第1動作特徵擷取部102從步驟ST1中讀出的動畫像資 料擷取動作的軌跡特徵(步驟ST2)。第1動作特徵擷取部102將所擷取的軌跡特徵輸出至動作特徵學習部103。
說明上述步驟ST2之處理的細節。
第1動作特徵擷取部102追蹤動畫像資料的特徵點，將一定值以上之影像框(frame)數的特徵點的座標變遷擷取為軌跡特徵。另外，第1動作特徵擷取部102，除了座標變遷，也可追加擷取動畫像資料之特徵點周邊的邊緣資訊、光流(optical flow)的直方圖(histogram)或光流之一次微分的直方圖其中至少一者。在此情況下，第1動作特徵擷取部102將統合座標變遷與另外所得資訊而成的數值資訊擷取為軌跡特徵。
動作特徵學習部103從步驟ST2所擷取的軌跡特徵中決定作為基準的複數個軌跡特徵(步驟ST3)。動作特徵學習部103用步驟ST3中所決定的作為基準的複數個軌跡特徵製作動作特徵辭典，並儲存於技能判別裝置200的動作特徵辭典儲存部202(步驟ST4)。
步驟ST4的動作特徵辭典之製作中，藉由k-means演算法等群集(clustering)方法，可適用將各群集之中位數作為基準軌跡特徵的方法。
動作特徵學習部103用步驟ST3所決定的作為基準的軌跡特徵，將步驟ST2所擷取之各軌跡特徵與類似的軌跡特徵同類進行群集(步驟ST5)。
步驟ST5的處理中，動作特徵學習部103首先向量化步驟ST2所擷取之各軌跡特徵。接著，動作特徵學習部103根據各軌跡特徵的向量與步驟ST3所決定之作為基準之軌跡特徵的 向量之間的距離，判定各軌跡特徵是否與作為基準之軌跡特徵類似。動作特徵學習部103根據是否類似的判定結果進行各軌跡特徵的群集。
動作特徵學習部103根據步驟ST5的群集結果生成對應於類似軌跡特徵之出現頻率的直方圖(步驟ST6)。步驟ST6的處理中，對熟練作業者群與一般作業者群各自生成直方圖。動作特徵學習部103根據步驟ST6所生成的直方圖進行用於指定嫻熟動作的軌跡特徵的判別學習(步驟ST7)。動作特徵學習部103根據步驟ST7之判別學習的學習結果，生成依據作業者熟練程度的對軸之投影轉換矩陣(步驟ST8)。動作特徵學習部103將步驟ST8所生成的投影轉換矩陣輸出至判別函數生成部104。
判別函數生成部104根據步驟ST8所生成的投影轉換矩陣，生成表示用於辨識評估對象之作業者的動作是否為嫻熟動作的分界的判別函數(步驟ST9)。具體而言，步驟ST9中，判別函數生成部104，在由投影轉換矩陣轉換的軸上，設計辨識嫻熟動作與一般動作的線性辨識函數。判別函數生成部104將步驟ST9所生成的判別函數蓄積於技能判別裝置200的判別函數蓄積部204(步驟ST10)，並結束處理。等同步驟ST10中所蓄積之線性辨識函數的判別函數，若為「0」以上，表示評估對象之作業者的動作為嫻熟動作，若未滿「0」，則表示評估對象之作業者的動作不是嫻熟動作而是一般動作。
以下說明上述步驟ST7以及步驟ST8之處理的細節。
動作特徵學習部103用步驟ST6所生成的直方圖進行判別分析，計算使熟練作業者群與一般作的作業者群之組(class)間分散最大且各組內分散最小的投影軸，並決定判別分界。動作特徵學習部103的演算為最大化下列式(1)所示的費雪(Fisher)評估基準。
J S (A)=A t S B A/A t S W A (1)
式(1)中，SB表示組間分散，SW表示組內分散。另外，式(1)中，A為將直方圖轉換為一維數值之矩陣，係上述投影轉換矩陣。
使式(1)之JS(A)最大化的A為由拉格朗日(Lagrange)之待定乘數法變成求出下列式(2)之極值的問題。
J S (A)=A t S B A-λ(A t S B A-I) (2)
式(2)中，I表示單位矩陣。當對式(2)偏微分並展開時，變成，A可作為對應至之最大特徵值的特徵向量求得。所求得之特徵向量可視為投影轉換矩陣。
另外，此時可用主成分分析(principal component analysis)預先計算資料分散大的軸，並在為了維度壓縮而轉換為主成分之處理後利用判別分析或SVM(Support Vector Machine)等判別器。藉此，動作特徵學習部103可檢出使熟練作業者群與一般作業者群間之分散最大的軸，並得到對判別是否為嫻熟動作或一般動作有用的軌跡。意即，動作特徵學習部103可指定表示嫻熟動作之軌跡，並可視覺化該軌跡。
如此一來，動作特徵學習部103直方圖之判別分析結果，進行使熟練作業者群與一般作業者群之組間分散最大 的軸成為特徵向量的奇異值分解(singular value decomposition)，計算對應至特徵向量的投影轉換矩陣。動作特徵學習部103將所計算之投影轉換矩陣作為熟練成分轉換陣列輸出至判別函數生成部104。
接著，說明技能判別裝置200的操作。
第5圖係表示根據實施型態1之技能判別裝置200之操作的流程圖。
當畫像資訊取得部201取得攝影評估對象之作業者作業的樣子而得的動畫像資料(步驟ST21)時，第2動作特徵擷取部203擷取步驟ST21所取得之動畫像資料的動作的軌跡特徵(步驟ST22)。第2動作特徵擷取部203參照儲存於動作特徵辭典儲存部202的動作特徵辭典，對所擷取的軌跡特徵進行群集，並生成對應出現頻率的直方圖(步驟ST23)。第2動作特徵擷取部203將步驟ST23所生成的直方圖輸出至技能判別部205。
技能判別部205藉由蓄積於判別函數蓄積部204的判別函數，從步驟ST23所生成之直方圖判別評估對象之作業者的技能是否嫻熟(步驟ST24)。技能判別部205將判別結果輸出至顯示控制部206。顯示控制部206在評估對象之作業者的技能為嫻熟的情況下(步驟ST24；是)，對顯示裝置400進行用於顯示針對熟練作業者之資訊的顯示控制(步驟ST25)。另一方面，顯示控制部206在評估對象之作業者的技能為不嫻熟的情況下(步驟ST24；否)，對顯示裝置400進行用於顯示針對一般作業者之資訊的顯示控制(步驟 ST26)。上述之後結束處理。
如上所述，依據蓄積於判別函數蓄積部204的判別函數為「0」以上或未滿「0」，判別作業者的技能。在此，步驟ST24的判別處理中，若判別函數為「0」以上則技能判別部205判別作業者的技能為嫻熟，若判別函數未滿「0」則技能判別部205判別作業者的技能為不嫻熟。
接著參照第6圖以及第7圖並說明動作學習裝置100的學習效果。
第6圖係表示根據實施型態1之動作學習裝置100之處理的說明圖。
第6A圖係表示第1動作特徵擷取部102所讀出之動畫像資料的圖，例示作業者X的動畫像資料
第6B圖係表示第1動作特徵擷取部102從第6A圖之動畫像資料擷取之動作的軌跡特徵的圖。第6B圖之例子中，表示作業者X的手Xa的動作的軌跡特徵Y。
第6C圖係表示動作特徵學習部103學習第6B圖之軌跡特徵Y而得之結果的圖。如第6C圖所示，表示動作特徵學習部103從軌跡特徵Y將3個的第1軌跡特徵A、第2軌跡特徵B、第3軌跡特徵C決定為基準的情況。另外，將第6B圖所示的軌跡特徵Y群集至第1軌跡特徵A、第2軌跡特徵B以及第3軌跡特徵C，並生成直方圖表示結果。動作特徵學習部103，由於對熟練作業者以及一般作業者生成直方圖，如第6C圖所示，生成熟練作業者群的直方圖與一般作業者群的直方圖。第6C圖所示的熟練作業者群的直方圖中第3軌跡特徵 C為最高，另一方面，一般作業者群的直方圖中第1軌跡特徵A為最高。
第6D圖係將表示動作特徵學習部103所指定之表示嫻熟動作的軌跡D在表示作業技能之空間(以下稱為作業技能空間)中視覺化顯示的情況的圖。第6D圖所示的橫軸係表示第3軌跡特徵C，其他各軸係表示各軌跡特徵的出現頻率。第6D圖的例子中，越往軌跡D的箭頭方向表示熟練度越高，越往軌跡D的箭頭相反方向表示熟練度越低。藉由將熟練作業者以及一般作業者的軌跡特徵直方圖化，生成作業技能空間，可映射(mapping)動作特徵學習部103所指定的動作。藉此，可假設熟練作業者與一般作業者的動作在作業技能空間內係各自分佈於不同的區域。動作特徵學習部103僅專注在第6D圖所示的熟練度低之區域P與熟練度高之區域Q的組間分散，並首先學習分界。動作特徵學習部103將與所學習之分界垂直的直線求得為熟練之軌跡的軸。
技能判別裝置200的顯示控制部206用第6D圖所示的作業技能空間，根據技能判別部205的判別結果，進行顯示評估對象之作業者的技能水平的程度的控制。
第7圖係表示將根據實施型態1之技能判別裝置200之判別結果顯示於顯示裝置400之情況的一例的圖。
第7圖的例子中，作業者X的技能被判別為不嫻熟，對該作業者X，透過顯示裝置400顯示嫻熟動作的軌跡Da。作業者X藉由視覺辨識該顯示可容易認識到自身待改善的地方。
如上所述，根據此實施型態1，藉由構成為包括根據各自攝影熟練作業者與一般作業者而得之動畫像資料擷取熟練作業者以及一般作業者的動作的軌跡特徵的第1動作特徵擷取部102、群集與所擷取之軌跡特徵當中被決定為基準之軌跡特徵類似的軌跡特徵、依據所群集之軌跡特徵的出現頻率生成直方圖、並根據所生成的直方圖進行用於指定嫻熟動作的軌跡特徵的判別學習的動作特徵學習部103、參照判別學習之結果並生成表示用於判別是否為嫻熟動作之分界的判別函數的判別函數生成部104，可從動畫像資料擷取熟練作業者的嫻熟動作，並可得到用於從所擷取之動作判別評估對象之作業者的技能的指標。
另外，根據此實施型態1，藉由構成為包括從攝影評估對象之作業者的作業而得之動畫像資料擷取該評估對象之作業者的動作的軌跡特徵、用預先決定之作為基準的軌跡特徵對所擷取之軌跡特徵進行群集並依據所群集之軌跡特徵的出現頻率生成直方圖的第2動作特徵擷取部203、透過預先求得之判別嫻熟動作的判別函數從所生成之直方圖判別評估對象之作業者的動作是否嫻熟的技能判別部205、根據判別結果、在評估對象之作業者的動作為嫻熟的情況下進行顯示針對熟練作業者之資訊的控制、並在評估對象之作業者的動作為不嫻熟的情況下進行顯示針對不熟練作業者之資訊的控制的顯示控制部206，可從攝影評估對象之作業者的作業而得之動畫像資料判別該作業者的技能。依據判別結果可切換提示的資訊，可在避免妨礙熟練作業者之作業或降低作業效率的同時向 一般作業者傳達技能。
實施型態2
此實施型態2中，表示以評估對象之作業者身體的各部位評估技能的構成。
第8圖係表示根據實施型態2之技能判別系統之構成的區塊圖。
根據實施型態2之技能判別系統的動作學習裝置100A，係在第1圖所示的實施型態1之動作學習裝置100追加部位檢出部105所構成。另外，取代第1動作特徵擷取部102、動作特徵學習部103以及判別函數生成部104，係構成為包括第1動作特徵擷取部102a、動作特徵學習部103a以及判別函數生成部104a。
根據實施型態2之技能判別系統的技能判別裝置200A，取代第1圖所示之實施型態1的第2動作特徵擷取部203、技能判別部205以及顯示控制部206，係構成為包括第2動作特徵擷取部203a、技能判別部205a以及顯示控制部206a。
以下，與根據實施型態1之動作學習裝置100以及技能判別裝置200的構成單元相同或相當的部分，係附加與實施型態1所使用之符號相同的符號，以省略或簡略說明。
部位檢出部105分析儲存於動畫像資料庫101之動畫像資料，檢出動畫像資料所包含的熟練作業者以及一般作業者的部位(以下記為作業者的部位)。在此，作業者的部位係為作業者的手指、手掌以及手腕等。部位檢出部105將表示所 檢出之部位的資訊以及動畫像資料輸出至第1動作特徵擷取部102a。第1動作特徵擷取部102a，以每個部位檢出部105所檢出之部位，從動畫像資料擷取熟練作業者以及一般作業者的動作的軌跡特徵。第1動作特徵特徵擷取部102a將所擷取的動作的軌跡特徵連結表示作業者部位的資訊輸出至動作特徵學習部103a。
動作特徵學習部103a從第1動作特徵擷取部102a所擷取的動作的軌跡特徵，每部位地決定作為基準之動作的軌跡特徵。動作特徵學習部103a根據作為基準之軌跡特徵，每部位地進行用於指定嫻熟動作的軌跡特徵的判別學習。動作特徵學習部103a生成每部位地儲存所決定作為基準之動作的軌跡特徵的動作特徵辭典，並儲存至技能判別裝置200A的動作特徵辭典儲存部202。另外，動作特徵學習部103a將每部位的判別學習結果輸出至判別函數生成部104a。判別函數生成部104a參照動作特徵學習部103a的學習結果，每部位地生成判別函數。判別函數生成部104a將所生成之判別函數蓄積至技能判別裝置200A的判別函數蓄積部204。
第2動作特徵擷取部203a參照儲存於動作特徵辭典儲存部202的動作特徵辭典，從畫像資訊取得部201所取得的評估對象的動畫像資料擷取動作的軌跡特徵。第2動作特徵擷取部203a將所擷取之動作的軌跡特徵連結表示作業者部位的資訊輸出至技能判別部205a。技能判別部205a用蓄積於判別函數蓄積部204的判別函數，從第2動作特徵擷取部203a所擷取的動作的軌跡特徵進行評估對象之作業者的技能是否 嫻熟的判別。技能判別部205a判別每個連結動作的軌跡特徵之部位。技能判別部205a將判別結果連結表示作業者部位的資訊輸出至顯示控制部206a。顯示控制部206a依據技能判別部205a的判別結果，每作業者部位地決定作為支援資訊的待顯示給評估對象之作業者的全部資訊。
接著，說明動作學習裝置100A以及技能判別裝置200A的硬體構成例。此外，與實施型態1相同之構成的說明將省略。動作學習裝置100A中的部位檢出部105、第1動作特徵擷取部102a、動作特徵學習部103a以及判別函數生成部104a為第2A圖所示之處理電路100a或第2B圖所示之執行儲存於記憶體100c之程式的處理器100b。
技能判別裝置200A中的第2動作特徵擷取部203a、技能判別部205a以及顯示控制部206a為第3A圖所示之處理電路200a或第3B圖所示之執行儲存於記憶體200c之程式的處理器200b。
接著，說明動作學習裝置100A的操作以及技能判別裝置200A的操作。首先說明動作學習裝置100A的操作。第9圖係表示根據實施型態2之動作學習裝置100A之操作的流程圖。另外，第9圖之流程圖中，與第4圖所示的實施型態1之流程圖相同的步驟係附加相同符號，並省略其說明。
部位檢出部105從動畫像資料庫101讀出攝影熟練作業者以及一般作業者而得之動畫像資料(步驟ST31)。部位檢出部105檢出在步驟ST31讀出之動畫像資料所包含的作業者的部位(步驟ST32)。部位檢出部105將表示所檢出之部位的資訊以 及所讀出之動畫像資料輸出至第1動作特徵擷取部102a。第1動作特徵擷取部102a從步驟ST31所讀出之動畫像資料，以每個步驟ST32所檢出之作業者部位，擷取動作的軌跡特徵(步驟ST2a)。第1動作特徵擷取部102a將每作業者部位的動作的軌跡特徵輸出至動作特徵學習部103a。
動作特徵學習部103a每作業者部位地決定作為基準的複數個軌跡特徵(步驟ST3a)。動作特徵學習部103a用步驟ST3a所決定的作為基準的複數個軌跡特徵，每作業者部位地製作動作特徵辭典，並儲存至技能判別裝置200A的動作特徵辭典儲存部202(步驟ST4a)。動作特徵學習部103a進行步驟ST5至步驟ST7的處理，每作業者部位地生成投影轉換陣列(步驟ST8a)。判別函數生成部104a每作業者部位地生成判別函數(步驟ST9a)。判別函數生成部104a將所生成之判別函數連結作業者的部位蓄積至技能判別裝置200A的判別函數蓄積部204(步驟ST10a)，結束處理。
接著，說明技能判別裝置200A的操作。
第10圖係表示根據實施型態2之技能判別裝置200A之操作的流程圖。另外，第10圖之流程圖中，與第5圖所示的實施型態1之流程圖相同的步驟係附加相同符號，並省略其說明。
第2動作特徵擷取部203a參照儲存於動作特徵辭典儲存部202的動作特徵辭典，對所擷取的軌跡特徵進行群集，並每部位地生成對應出現頻率的直方圖(步驟ST23a)。第2動作特徵擷取部203a將步驟ST23a所生成的直方圖連結作業者的部 位輸出至技能判別部205a。技能判別部205a藉由蓄積於判別函數蓄積部204的每部位之判別函數，從步驟ST23a所生成之直方圖判別評估作業者每部位的技能是否嫻熟(步驟ST24a)。技能判別部205a在步驟ST24a中對全部部位的技能進行判別，並將判別結果輸出至顯示控制部206a。
若與某部位有關之作業中的作業者之技能為嫻熟(步驟ST24a；是)，顯示控制部206a對顯示裝置400進行用於顯示與該部位有關之針對熟練作業者之資訊的顯示控制(步驟ST25a)。另一方面，若與某部位有關之作業中的作業者之技能為不嫻熟(步驟ST24a；否)，顯示控制部206a對顯示裝置400進行用於顯示針對一般作業者之資訊的顯示控制(步驟ST26a)。上述之後結束處理。另外，若技能判別部205a的判別結果表示與某部位有關之技能為嫻熟但與某部位有關之技能為不嫻熟，則顯示控制部206a進行步驟ST25a以及ST26a兩個的處理。
如上所述，根據此實施型態2，藉由構成為包括從動畫像資料檢出熟練作業者以及一般作業者被攝影之部位的部位檢出部105、第1動作特徵部102a每檢出部位地擷取軌跡特徵、動作特徵學習部103a每檢出部位地生成直方圖以每部份地進行判別學習、判別函數生成部104a每檢出部位地生成判別函數，可每作業者部位地學習動作特徵。
另外，技能判別裝置200A中，可對評估對象之作業者每部位地提示資訊，使詳細資訊的提示成為可能。
動作特徵學習部103、103a係構成為在判別分析 中進行熟練作業者群與一般作業者群的2組分類時，計算使組間分散最大且組內分散最小的投影軸，並決定判別分界。當追加稀疏(sparse)正規化項以計算投影軸時，影響度低的元素係作為重要性「0」學習。藉此，動作特徵學習部103、103a在計算投影軸時，可構成為追加稀疏正規化項來計算投影軸軸以使軸的成分包含多個「0」。
動作特徵學習部103、103a，藉由追加稀疏正規化項以計算投影軸，可避免決定判別分界所必要的特徵軌跡變成複數個軌跡之組合的複雜特徵軌跡擷取。因此，動作特徵學習部103可從複數個特徵軌跡當中較少種類的特徵軌跡的組合計算投影軸以決定判別分界。藉此，技能判別裝置200、200A可實現作業者容易理解的技能水平提示。
第11圖係表示根據實施型態1之動作學習裝置100中追加稀疏正規化項時之效果的圖。
第11圖中，表示對於實施型態1之第6C圖所示的學習結果追加稀疏正規化項以計算得到投影軸時的作業空間以及軌跡E。第11D圖所示的橫軸表示第3軌跡特徵C，其他各軸表示各軌跡特徵的出現頻率。軌跡E係相對於第3軌跡特徵C為平行，更容易理解地對作業者顯示表示嫻熟動作的軌跡。
上述以外，本發明在其發明範圍內可進行各實施型態的自由組合、各實施型態之任意構成元素的變形、或各實施型態之任意構成元素的省略。
產業上的利用可能性
根據本發明之動作學習裝置，由於可學習作業者的嫻熟動 作，適用於支援作業者的系統等，適合向作業者教導熟練作業者之動作的特徵並實現熟練作業者的技能傳達。

Claims (7)

  1. 一種動作學習裝置，包括：第1動作特徵擷取部，根據各自攝影熟練作業者與一般作業者而得之動畫像資料，擷取上述熟練作業者以及上述一般作業者的動作的軌跡特徵；動作特徵學習部，群集與上述第1動作特徵擷取部所擷取之上述軌跡特徵當中被決定為基準之軌跡特徵類似的軌跡特徵，依據所群集之軌跡特徵的出現頻率生成直方圖，根據所生成的上述直方圖進行用於指定嫻熟動作的軌跡特徵的判別學習；以及判別函數生成部，參照上述動作特徵學習部的判別學習的結果，生成表示用於判別是否為嫻熟動作之分界的判別函數。
  2. 如申請專利範圍第1項所述之動作學習裝置，其中上述動作特徵學習部用上述熟練作業者群的直方圖以及上述一般作業者群的直方圖，計算使上述熟練作業者群與上述一般作業者群之間的分散最大且各群內之分散最小的投影軸，並生成上述判別函數。
  3. 如申請專利範圍第1項所述之動作學習裝置，其中上述動作特徵學習部用機器學習之判別器進行上述判別學習。
  4. 如申請專利範圍第1項所述之動作學習裝置，更包括：部位檢出部，從上述動畫像資料檢出上述熟練作業者以及上述一般作業者被攝影的部位；其中上述第1動作特徵擷取部每上述檢出部位地擷取上述 軌跡特徵，上述動作特徵學習部每上述部位檢出部所檢出之部位地生成上述直方圖以進行上述判別學習，上述判別函數生成部每上述檢出部位地生成上述判別函數。
  5. 如申請專利範圍第3項所述之動作學習裝置，其中上述動作特徵學習部追加稀疏正規化項並用上述判別器進行上述判別學習。
  6. 一種技能判別裝置，包括：第2動作特徵擷取部，從攝影評估對象之作業者的作業而得之動畫像資料擷取該評估對象之作業者的動作的軌跡特徵，用預先決定作為基準的軌跡特徵對上述所擷取之上述評估對象之作業者的軌跡特徵進行群集，依據所群集之軌跡特徵的出現頻率生成直方圖；技能判別部，藉由預先求得之判別嫻熟動作的判別函數，從上述第2動作特徵擷取部所生成之直方圖，判別上述評估對象之作業者的動作是否嫻熟；以及顯示控制部，根據上述技能判別部的判別結果，在上述評估對象之作業者的動作為嫻熟的情況下進行顯示針對熟練作業者之資訊的控制，在上述評估對象之作業者的動作為不嫻熟的情況下進行顯示針對一般作業者之資訊的控制。
  7. 一種技能判別系統，包括：第1動作特徵擷取部，根據各自攝影熟練作業者與一般作業者而得之動畫像資料，擷取上述熟練作業者以及上述一 般作業者的動作的第1軌跡特徵；動作特徵學習部，從上述第1動作特徵擷取部所擷取之上述第1軌跡特徵當中決定作為基準的軌跡特徵，群集與作為基準之軌跡特徵類似的上述第1軌跡特徵，依據所群集之上述第1軌跡特徵的出現頻率生成直方圖，根據該直方圖進行用於指定嫻熟動作的軌跡特徵的判別學習；判別函數生成部，參照上述動作特徵學習部的判別學習的結果，生成表示用於判別是否為嫻熟動作之分界的判別函數；第2動作特徵擷取部，從攝影評估對象之作業者的作業而得之動畫像資料擷取上述評估對象之作業者的動作的第2軌跡特徵，用上述動作特徵學習部所決定作為基準的軌跡特徵對上述第2軌跡特徵進行群集，依據所群集之上述第2軌跡特徵的出現頻率生成直方圖；技能判別部，藉由上述判別函數生成部所生成的上述判別函數，從上述第2動作特徵擷取部所生成之直方圖，判別上述作業中的作業者的動作是否嫻熟；以及顯示控制部，根據上述技能判別部的判別結果，在上述作業中之作業者的動作為嫻熟的情況下進行顯示針對上述熟練作業者之資訊的控制，在上述作業中之作業者的動作為不嫻熟的情況下進行顯示針對上述一般作業者之資訊的控制。
TW106113889A 2017-02-24 2017-04-26 動作學習裝置、技能判別裝置以及技能判別系統 TW201832182A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/007104 WO2018154709A1 (ja) 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム
??PCT/JP2017/007104 2017-02-24

Publications (1)

Publication Number Publication Date
TW201832182A true TW201832182A (zh) 2018-09-01

Family

ID=63252523

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106113889A TW201832182A (zh) 2017-02-24 2017-04-26 動作學習裝置、技能判別裝置以及技能判別系統

Country Status (7)

Country Link
US (1) US20190370982A1 (zh)
JP (1) JP6570786B2 (zh)
KR (1) KR20190099537A (zh)
CN (1) CN110291559A (zh)
DE (1) DE112017006891T5 (zh)
TW (1) TW201832182A (zh)
WO (1) WO2018154709A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106851B2 (ja) * 2017-12-12 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6912513B2 (ja) * 2018-10-31 2021-08-04 ファナック株式会社 表示システム、機械学習装置、及び表示装置
US11119716B2 (en) 2018-10-31 2021-09-14 Fanuc Corporation Display system, machine learning device, and display device
US11267065B2 (en) * 2019-02-18 2022-03-08 Lincoln Global, Inc. Systems and methods providing pattern recognition and data analysis in welding and cutting
KR102618732B1 (ko) * 2019-08-27 2023-12-27 엘지전자 주식회사 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법
JP7393720B2 (ja) * 2019-10-29 2023-12-07 オムロン株式会社 技能評価装置、技能評価方法及び技能評価プログラム
CN111046739A (zh) * 2019-11-14 2020-04-21 京东数字科技控股有限公司 一种操作熟练度识别方法、装置及存储介质
KR102466433B1 (ko) * 2020-09-03 2022-11-11 (주)넥스트랩 영상 분석 기반 작업 동작 인식 장치 및 방법
JP7249444B1 (ja) 2022-02-14 2023-03-30 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
CN114783611B (zh) * 2022-06-22 2022-08-23 新泰市中医医院 基于人工智能的神经康复动作检测系统
CN115760919B (zh) * 2022-11-18 2025-08-05 南京邮电大学 基于关键动作特征与位置信息的单人运动图像摘要方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133984A (ja) 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法
JP5604256B2 (ja) * 2010-10-19 2014-10-08 日本放送協会 人物動作検出装置およびそのプログラム

Also Published As

Publication number Publication date
CN110291559A (zh) 2019-09-27
JP6570786B2 (ja) 2019-09-04
US20190370982A1 (en) 2019-12-05
KR20190099537A (ko) 2019-08-27
DE112017006891T5 (de) 2019-10-10
JPWO2018154709A1 (ja) 2019-06-27
WO2018154709A1 (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
TW201832182A (zh) 動作學習裝置、技能判別裝置以及技能判別系統
Bobick et al. The recognition of human movement using temporal templates
US9098740B2 (en) Apparatus, method, and medium detecting object pose
Harville et al. Fast, integrated person tracking and activity recognition with plan-view templates from a single stereo camera
Zhang et al. A novel method for user-defined human posture recognition using Kinect
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5598751B2 (ja) 動作認識装置
CN106030610B (zh) 移动设备的实时3d姿势识别和跟踪系统
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
CN108171133A (zh) 一种基于特征协方差矩阵的动态手势识别方法
JP2021071769A (ja) 物体追跡装置および物体追跡方法
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
Uke et al. Optimal video processing and soft computing algorithms for human hand gesture recognition from real-time video
Krzeszowski et al. View independent human gait recognition using markerless 3D human motion capture
Abd et al. Human fall down recognition using coordinates key points skeleton
JP6384167B2 (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
Guan et al. A video-based fall detection network by spatio-temporal joint-point model on edge devices
Amara et al. Emotion recognition via facial expressions
Stathopoulou et al. Appearance-based face detection with artificial neural networks
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP2017097549A (ja) 画像処理装置、方法、及びプログラム
JP2011232845A (ja) 特徴点抽出装置および方法
Lablack et al. Analysis of human behaviour in front of a target scene