[go: up one dir, main page]

WO2011077696A1 - 動作解析装置および動作解析方法 - Google Patents

動作解析装置および動作解析方法 Download PDF

Info

Publication number
WO2011077696A1
WO2011077696A1 PCT/JP2010/007375 JP2010007375W WO2011077696A1 WO 2011077696 A1 WO2011077696 A1 WO 2011077696A1 JP 2010007375 W JP2010007375 W JP 2010007375W WO 2011077696 A1 WO2011077696 A1 WO 2011077696A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
data
time
extraction
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/007375
Other languages
English (en)
French (fr)
Inventor
川口京子
田靡雅基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011513791A priority Critical patent/JP5715946B2/ja
Priority to CN201080008083.9A priority patent/CN102317978B/zh
Priority to US13/202,463 priority patent/US8751191B2/en
Publication of WO2011077696A1 publication Critical patent/WO2011077696A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present invention relates to an operation analysis apparatus and an operation analysis method for analyzing a comparison target operation by comparison with a standard operation.
  • the amount of presentation of the appropriate analysis result varies depending on the type and time length of the operation to be analyzed, the situation of the user confirming the analysis result, the accuracy required for the analysis, and the like. If the number of locations to be presented and the time to be presented are excessive, the content presented is complicated and requires time and effort for confirmation. On the other hand, if the number of locations to be presented and the time to be presented are too short, sufficient analysis results cannot be obtained. Moreover, even if the analysis target and the user are the same, the amount of presentation of an appropriate analysis result may differ depending on the situation. Therefore, it is desirable that the amount of analysis results presented can be easily adjusted by the user.
  • An object of the present invention is to provide a motion analysis device and a motion analysis method that can easily adjust the amount of presentation of analysis results.
  • the motion analysis method of the present invention is a motion analysis method for analyzing a comparison target motion by comparing with a standard motion, the step of accepting designation of a presentation amount of the analysis result, the comparison target motion and the standard motion And a step of adjusting the predetermined condition when the amount of the portion satisfying the predetermined condition is different from the designated presentation amount.
  • the presentation amount of the analysis result can be easily adjusted.
  • the system block diagram which shows an example of a structure of the operation
  • the flowchart which shows an example of operation
  • the figure which shows an example of the flow of the information in the motion analysis apparatus which concerns on this Embodiment 1.
  • the flowchart which shows an example of operation
  • movement The figure which shows the content of the standard operation
  • the system block diagram which shows an example of a structure of the motion analysis system containing the motion analysis apparatus which concerns on Embodiment 6 of this invention
  • the flowchart which shows an example of operation
  • FIG. 1 is a system configuration diagram showing an example of the configuration of the motion analysis system according to Embodiment 1 of the present invention.
  • This embodiment will be described as an example in which the present invention is applied to an operation analysis system for analyzing operations of each general worker in a factory where skilled workers and general workers work.
  • the operator's operation is a series of operations including a plurality of unit operations such as picking up parts, placing them on the product body, screwing them, and sticking a seal.
  • the motion analysis system according to the present embodiment takes a picture of a skilled worker who is engaged in a certain work process, and each general worker when engaging in the same work process at the same shooting angle. The figure is photographed and the motion of each general worker is analyzed.
  • the above-described general unit motion and a unit extracted as one departure motion by the motion analysis system 100 are collectively referred to as “motion”.
  • the sensor device 200 is a device that detects a human motion.
  • the sensor device 200 outputs data obtained by measuring the operator's motion to the motion analysis device 300.
  • the sensor device 200 is a camera that outputs image frame data (moving image data) of a photographed image in real time, and can individually photograph each worker working in line on an assembly line in a factory. To do.
  • operation data obtained by photographing a series of standard operations by skilled workers is referred to as “standard operation data”
  • operation data obtained by photographing a series of comparison target operations by general subjects is referred to as “comparison operation data”.
  • the standard operation data and the analysis target data are collectively referred to as “operation data” as appropriate.
  • the motion analysis device 300 is a device that analyzes a comparison target motion by comparing with a standard motion.
  • the motion analysis apparatus 300 extracts a location where the degree of difference between the comparison target motion and the standard motion satisfies a predetermined condition, generates a screen that presents the extracted location (hereinafter referred to as a “result display screen”), and generates the generated screen
  • the result indicating screen is output to the output device 400.
  • the motion analysis apparatus 300 presents locations (hereinafter referred to as “deviation motion locations”) where the comparison target motion is significantly different from the standard motion (hereinafter referred to as “deviation motion location”).
  • the motion analysis apparatus 300 is a computer having a storage medium such as a CPU (central processing unit) and a random access memory (RAM), and a video capture circuit for capturing moving image data. That is, the motion analysis apparatus 300 operates when the CPU executes a stored control program.
  • a storage medium such as a CPU (central processing unit) and a random access memory (RAM)
  • the input device 500 is an interface for the user to operate the motion analysis device 300.
  • the input device 500 is, for example, a mouse and a keyboard as pointing devices.
  • Such an operation analysis system 100 can present the user with the location detected as the deviating operation from the comparison target operation via the result display screen. Therefore, the user can efficiently analyze the comparison target operation by checking only the presented location.
  • the motion analysis apparatus 300 includes a motion data input unit 310, a motion feature extraction unit 321, a motion extraction unit 322, a presentation amount input unit 323, a motion extraction degree adjustment unit 324, and a motion extraction result presentation unit 325.
  • the motion feature extraction unit 321 and the motion extraction unit 322 correspond to the motion difference extraction unit according to the present invention.
  • the motion data input unit 310 acquires motion data from the sensor device 200 in response to a request from the motion feature extraction unit 321 and transfers it to the motion feature extraction unit 321.
  • the transfer of the operation data may be performed in real time or may be performed after storing the operation data.
  • the operation data input unit 310 categorizes the operation data input from the sensor device 200 into either standard operation data or comparison target operation data at the time of input or after input in response to a user operation of the input device 500.
  • the operation data input unit 310 may store the standard operation data once input for reuse.
  • the motion feature extraction unit 321 uses a predetermined parameter (first parameter) from the motion data input from the motion data input unit 310 and uses a predetermined parameter (first parameter) to indicate the feature of the motion (hereinafter simply referred to as “feature amount”). Extract). Then, the motion feature extraction unit 321 outputs the extracted feature amount to the motion extraction unit 322.
  • standard motion feature amount the feature amount extracted from the standard motion data
  • comparison target motion feature amount the feature amount extracted from the comparison target motion data
  • the feature quantity is the CHLAC feature disclosed in Non-Patent Document 2.
  • the CHLAC feature is a high-order local autocorrelation (HLAC) feature, which is feature extraction from two-dimensional image data, and is extended to three dimensions with the addition of a time axis. It is the feature vector which shows the feature of the motion in a dimensional coordinate system.
  • the parameter value used for feature amount extraction is set to a predetermined initial value in the initial state, and is then adjusted as appropriate by the action extraction degree adjustment unit 324.
  • the motion extraction unit 322 uses the predetermined parameter (second parameter) from the standard motion feature value and the comparison target motion feature value input from the motion feature extraction unit 321 to determine the difference between the comparison target motion and the standard motion. Extract. Then, the motion extraction unit 322 extracts a location where the extracted difference satisfies a condition determined by a predetermined parameter (third parameter), and outputs the extraction result to the motion extraction degree adjustment unit 324.
  • the extraction result includes the extracted location (hereinafter referred to as “extraction location”) and the number of extraction locations (hereinafter referred to as “extraction number”) based on a predetermined count standard. If the extraction location is a section, the extraction result includes the start time and end time of the section.
  • the parameters used by the motion feature extraction unit 321 for feature quantity extraction will be collectively referred to as “feature extraction parameters” as appropriate.
  • the parameters used by the motion extraction unit 322 for motion extraction are collectively referred to as “motion extraction parameters” as appropriate.
  • the types of feature extraction parameters include image size, frame rate and window size for CHLAC feature extraction, cumulative contribution of principal component analysis of principal component analysis, number of Fourier series basis functions, and least squares based regression coefficient , And k-nn method (k-nearest method, k-nearest neighbor ⁇ ⁇ algorithm).
  • the types of motion extraction parameters include the duration of motion and a distance threshold described later.
  • the motion extraction degree adjustment unit 324 adjusts the feature extraction parameters of the motion feature extraction unit 321 so that they match, and re-extracts feature quantities to the motion feature extraction unit 321. Instruct. Then, when the number of extractions matches the target number of extractions, the action extraction degree adjustment unit 324 outputs the extraction result to the action extraction result presentation unit 325. That is, the motion extraction degree adjustment unit 324 causes the motion feature extraction unit 321 and the motion extraction unit 322 to repeat processing while changing the feature extraction parameter until the number of extractions matches the target number of extractions.
  • the motion analysis apparatus 300 having such a configuration can present the deviated motion location to the user with the target extraction number specified by the user as the analysis result. Therefore, the user can adjust the presentation amount of the deviating action location by a simple method of inputting the target extraction number without individually adjusting each parameter used for feature quantity extraction or action extraction.
  • the user asks the person in charge of the work including the target action to change between the skilled worker and the general worker with a rest period, and sets the motion analysis apparatus 300 so that each action is photographed. Manipulate. By doing this, it does not require time for operation evaluation, and does not place a burden on workers, so data acquisition for operation analysis can be performed without affecting factory productivity. Can do.
  • the motion extraction degree adjustment unit 324 does not necessarily need to input the target extraction number via the presentation amount input unit 323 when the previous target extraction number is used. Also, in this case, the motion extraction degree adjustment unit 324 inquires of the user via the presentation amount input unit 323 whether or not to use the previous target extraction number, or processes with the same target extraction number for the set number of times. The determination may be made based on whether or not the above is repeated.
  • the motion feature extraction unit 321 extracts a standard motion feature amount for each frame from one or a plurality of standard motion data, and obtains a standard motion subspace from the extracted series of standard motion feature amounts.
  • the standard motion feature amount is a CHLAC feature here as described above.
  • the standard motion subspace is a space that defines a standard motion.
  • the motion feature extraction unit 321 calculates the CHLAC feature x using, for example, an Nth-order autocorrelation function represented by the following formula (1).
  • f is a time-series image
  • the integration range in the time direction is determined by how much correlation in the time direction is taken. That is, the integration range is a three-dimensional pixel set composed of N still images (local feature images), the variable r is one pixel (position pixel) in the image, and the variable a is a displacement from r. Is a vector.
  • F (r) is a function value of the position r, and represents the luminance value of the position r of the local feature image.
  • the displacement is three-dimensional, and the number of displacement vector combinations (displacement patterns) is 1 for the 0th order, 13 for the first order, and 237 for the second order. Therefore, in the case of a binarized image, the CHLAC feature is represented as a total 251-dimensional feature vector.
  • the motion feature extraction unit 321 performs principal component analysis on a series of standard motion feature amounts, for example, and obtains a principal component vector. Then, the motion feature extraction unit 321 acquires the principal component vector as a standard motion subspace. Note that details of the calculation method of the CHLAC feature and the standard motion subspace are described in Patent Document 1, for example.
  • the CHLAC feature falls within the standard motion subspace when only the same motion as the standard motion used to calculate the standard motion feature value is performed in the integration range. Further, the CHLAC feature takes a value away from the standard operation subspace when at least one operation in the integration range is different from the standard operation. In addition, the CHLAC feature has a value farther from the standard operation subspace as the operation different from the standard operation is greatly different and is performed for a longer time. Therefore, the motion analysis apparatus 300 performs motion analysis using the fact that the degree of dissimilarity of the motion with respect to the standard motion is substantially proportional to the magnitude of the distance from the standard motion subspace of the feature amount.
  • the distance from a standard motion subspace of a certain feature amount is, for example, a projection of the feature amount onto the standard motion subspace and its projection onto the orthogonal complement space. This is the vertical distance in the orthogonal complement space obtained from the shadow. Since the CHLAC feature is strongly influenced by the sum of the direction of movement of each part in the motion, it is suitable for evaluating the total coincidence of the direction of motion of each part (for example, hand) in the motion at a certain time.
  • the action extraction unit 322 does not treat an operation that should not be compared with detection noise, a minute deviation action, a background movement, or the like as a deviation action. Only can be extracted.
  • step S1500 the motion extraction degree adjustment unit 324 determines whether the extraction number A is equal to the target extraction number B. When the extraction number A is not equal to the target extraction number B (S1500: NO), the action extraction degree adjustment unit 324 proceeds to step S1600.
  • the parameter correction to be performed is, for example, a coarser resolution of the operation data to be extracted, a wider frame rate interval, a wider pixel interval from the reference point of the CHLAC mask pattern, or the like.
  • Other parameter corrections include, for example, reducing the cumulative contribution of the principal component analysis of the principal component analysis, and increasing the window size during extraction.
  • the parameter adjustment rule for increasing the extraction number A is a content for adjusting the feature extraction parameter as follows in order to extract a smaller feature.
  • the resolution is increased by 5%
  • the frame rate is reduced by 0.5 times
  • the pixel interval from the reference point of the CHLAC mask pattern is increased by 0.5 times
  • the principal component analysis is performed.
  • This is a content that increases the cumulative contribution by 1% and decreases the window size by 5.
  • the motion extraction degree adjustment unit 324 compares the extraction number A with the target extraction number B again (S1500). That is, the processes in steps S1200 to S1800 are repeated until the extraction number A matches the target extraction number B.
  • the action extraction degree adjustment unit 324 When the extraction number A is equal to the target extraction number B (S1500: YES), the action extraction degree adjustment unit 324 outputs the extraction result to the action extraction result presentation unit 325, and proceeds to step S1900.
  • step S1900 the motion extraction result presentation unit 325 generates a result display screen for presenting the extraction result and causes the output device 400 to display the result display screen.
  • FIG. 5 is a diagram showing an example of the result display screen.
  • FIG. 5 shows an example in which the condition to be extracted as the deviating action location is that the distance of the comparison target feature quantity with respect to the standard action subspace is higher than a predetermined distance threshold, and the target extraction number B is 2. is there.
  • the result display screen 610 has an analysis result display area 611, a play button 612, a comparison target action display area 613, a pause button 614, an end button 615, and a standard action display area 616.
  • the result display screen 610 includes, in the analysis result display area 611, time-series data 617 of distances of the comparison target feature quantities with respect to the standard motion subspace, a threshold display line 618 indicating a predetermined distance threshold, and a marker 619 indicating an extraction location. Is displayed. Further, the action extraction result presentation unit 325 displays a reproduction location display line 620 that can be moved left and right from the input device 500.
  • the motion extraction result presentation unit 325 plays back the captured image of the comparison target motion in the comparison target motion display area 613 and moves the playback location display line 620 according to playback.
  • the action extraction result presentation unit 325 temporarily stops the reproduction of the image.
  • the standard operation display area 616 reproduces the standard operation captured image in synchronization with the reproduction of the captured image of the comparison target operation in the comparison target operation display area 613.
  • the user can quickly pick up and check the video of the deviating action by moving the playback location display line 620 to the marker 619 and clicking the playback button 612.
  • the user can receive the analysis result desired by the user. Further, the user can visually compare the comparison target operation with the standard operation.
  • the result display screen 610 may display the standard operation data image and the comparison target operation data image simultaneously or by switching.
  • the result display screen 610 may also output other data related to the operation, for example, the shooting date / time of the operation data, acceleration data of the comparison target, and sound.
  • the result display screen 610 may output the value of CHLAC (analyzed by principal component analysis) together.
  • the result display screen 610 may output acceleration data when a feature amount based on acceleration is used, and sound data when a feature amount based on speech is used.
  • step S2000 the motion analysis apparatus 300 determines whether the end of the analysis process has been instructed by a user operation or the like. If the end of the analysis process is not instructed (S2000: YES), the motion analysis apparatus 300 returns to step S1100, and if instructed to end the analysis process (S2000: NO), the motion analysis apparatus 300 ends the series of operations. .
  • the motion analysis apparatus 300 adjusts the feature extraction parameter so that the actual number of extractions matches the target number of extractions specified by the user, and the extraction is performed when the number of extractions matches the target number of extractions.
  • the result can be presented to the user.
  • the motion extraction degree adjustment unit 324 may leave the extraction result so far as the presentation target when the parameter is corrected in the direction in which the number of extractions increases.
  • the motion extraction degree adjustment unit 324 first, every time parameter correction is performed, an extraction location before the parameter correction (hereinafter referred to as “extraction location before correction”) and an extraction location after the parameter correction. (Hereinafter referred to as “extracted location after correction”). Then, the motion extraction degree adjustment unit 324 adds the items that are not included in any of the pre-correction extraction locations (hereinafter referred to as “new extraction locations”) to the pre-correction extraction locations. Will increase. Then, when the number of extraction points to be presented reaches the target extraction number, the action extraction degree adjustment unit 324 proceeds to step S1900.
  • the motion extraction degree adjustment unit 324 may regard the extraction number A as equal to the target extraction number B and proceed to step S1900.
  • the motion extraction degree adjustment unit 324 makes the extraction number A equal to the target extraction number B. As such, the process may proceed to step S1900.
  • the motion extraction degree adjustment unit 324 may select an extraction result when the difference between the number of extractions A and the target extraction number B is the smallest, and may proceed to step S1900.
  • the motion extraction degree adjustment unit 324 determines that the extraction number A, which is larger than the target extraction number B, is smaller than the target extraction number B as a result of parameter correction, and the number (A old ) before correction and the target extraction number B When the difference is equal to or less than a predetermined threshold value, the following processing may be performed.
  • the motion extraction degree adjustment unit 324 may perform the following processing when the extraction number A that is smaller than the target extraction number B becomes larger than the target extraction number B as a result of parameter correction.
  • the motion extraction degree adjustment unit 324 selects the extraction points when the extraction number A closest to the target extraction number B is obtained, in order from the largest operation area. It is also possible to select within the range of B and proceed to step S1900.
  • the motion analysis apparatus 300 according to the present embodiment does not require manual adjustment of parameter settings related to the motion analysis algorithm, and thus is suitable for a case where the number of unit motions to be analyzed is large. Yes.
  • the motion analysis apparatus 300 according to the present embodiment is effective when the number of types of parameters is enormous and the influence of each parameter on the analysis result is complicated, and does not require skilled parameter adjustment work. And can be reduced with time.
  • the motion analysis apparatus 300 since the motion analysis apparatus 300 according to the present embodiment does not require manual adjustment of parameter settings related to the algorithm of motion analysis even when the target extraction number changes, the required analysis level frequently changes. Suitable for such cases.
  • the motion analysis apparatus 300 since the motion analysis apparatus 300 according to the present embodiment adjusts the feature extraction parameter, it is possible to perform fine adjustment of the extraction target in consideration of the type of operation to be extracted.
  • step S1700a When the extraction number A is larger than the target extraction number B (S1600: YES), the motion extraction degree adjustment unit 324 of the motion analysis apparatus 300 according to the present modification proceeds to step S1700a, and when not larger (S1600: NO) ), The process proceeds to step S1800a.
  • step S1700a the motion extraction degree adjustment unit 324 corrects the motion extraction parameter of the motion extraction unit 322 in the direction in which the extraction number A decreases, returns to step S1400, and re-extracts the motion to the motion extraction unit 322. Instruct.
  • condition for the action extracting unit 322 to extract the action is a condition defined by the above-described distance threshold, the continuous minimum time, and the continuous longest time.
  • the parameter adjustment rule for reducing the extraction number A is, for example, a content that increases the distance threshold by 10%, increases the continuous minimum time by 0.1 second, and increases the continuous longest time by 5%.
  • step S1800a the motion extraction degree adjustment unit 324 corrects the motion extraction parameter of the motion extraction unit 322 in the direction in which the number of extractions A increases, returns to step S1400, and performs the operation on the motion extraction unit 322. Instruct re-extraction.
  • the parameter adjustment rule for increasing the extraction number A is, for example, a content that lowers the distance threshold by 5%, decreases the continuous minimum time by 0.1 second, and decreases the continuous maximum time by 5%.
  • the motion analysis apparatus 300 adjusts the motion extraction parameter, so that it is not necessary to re-extract the feature amount, and the analysis result can be presented more quickly.
  • the motion analysis apparatus 300 may adjust both the feature extraction parameter and the motion extraction parameter. Further, this adjustment may be performed at the same time in one correction, or may be performed separately in another correction. As a result, it is possible to finely adjust the extraction target in consideration of both the type of operation to be extracted and the degree of similarity.
  • the second modification of the first embodiment is an example in which the motion analysis apparatus 300 efficiently analyzes a plurality of types of operations.
  • the motion analysis apparatus 300 performs both motion extraction focusing on feature amounts corresponding to large motions and motion extraction focusing on feature amounts corresponding to small motions.
  • the motion analysis apparatus 300 performs initial settings for extracting feature values corresponding to large motions (hereinafter referred to as “first initial settings”) and initial settings for extracting feature values corresponding to small motions. (Hereinafter referred to as “second initial setting”) is stored in advance.
  • the initial settings include initial values for feature extraction parameters and initial values for motion extraction parameters.
  • the first initial setting is a setting for performing a process of reducing the resolution of the input operation data by half
  • the second initial setting is a setting for keeping the resolution of the input operation data as it is.
  • the motion analysis apparatus 300 first acquires the first extraction result extracted based on the first initial setting and the second extraction result extracted based on the second initial setting. In addition, the motion analysis apparatus 300 receives both the first target extraction number corresponding to the large motion and the second target extraction number corresponding to the small motion from the user. Then, the motion analysis apparatus 300 adjusts the parameters included in the first initial setting based on the first extraction result and the first target extraction number, and sets the second extraction result and the second target extraction number. Based on this, the parameter included in the second initial setting is adjusted.
  • the motion analysis apparatus 300 displays the analysis result for the large motion and the analysis result for the small motion simultaneously or by switching.
  • the analysis result display area 611 displays markers 619 having different display forms such as different colors. It is desirable to display.
  • both the deviating action in the large action and the deviating action in the small action are extracted and presented together, so that the efficiency and convenience of the user action analysis can be improved.
  • the designated presentation amount is not the number of extractions, but the ratio of the total reproduction time of the extracted portions (hereinafter referred to as “extraction time”) to the reproduction time of the comparison target operation data It is an example.
  • the motion analysis apparatus 300 calculates the ratio of the extraction time to the reproduction time of the comparison target motion data (hereinafter referred to as “extraction time ratio”) and accepts designation of the extraction time ratio from the user. Then, the motion analysis apparatus 300 adjusts the feature extraction parameter and the motion extraction parameter so that the calculated extraction motion time matches the designated extraction motion time (hereinafter referred to as “target extraction time ratio”).
  • the motion analysis apparatus 300 has an extraction time of 6 seconds (30 seconds ⁇ 0.2) when the target extraction time ratio is 20% and the average reproduction time of the comparison target motion data is 30 seconds. The parameters are adjusted so that
  • the motion analysis apparatus 300 When the difference between the extraction time ratio and the target extraction time ratio is equal to or less than a predetermined threshold, the motion analysis apparatus 300 considers that the extraction time ratio matches the target extraction time ratio, and proceeds to display the extraction result. For example, when the predetermined threshold is 5% of the average value of the reproduction time of the comparison target operation data and the average value of the reproduction time is 30 seconds, the motion analysis apparatus 300 is 1.5 seconds (30 seconds ⁇ 0 .05) will be accepted. When 20% is specified as the target extraction time ratio, the motion analysis apparatus 300 completes the adjustment process and analyzes when the extraction time ratio satisfies 4.5 seconds or more and 7.5 seconds or less. Display the results.
  • a predetermined threshold is 5% of the average value of the reproduction time of the comparison target operation data and the average value of the reproduction time is 30 seconds
  • the motion analysis apparatus 300 is 1.5 seconds (30 seconds ⁇ 0 .05) will be accepted.
  • 20% is specified as the target extraction time ratio
  • the motion analysis apparatus 300 completes the adjustment process and analyzes when the
  • the motion analysis apparatus 300 may accept the setting of the target value of the extraction time instead of the target extraction time ratio and adjust the parameters so that the actual extraction time matches the target value. Thereby, the user can make the time which reproduction
  • the motion feature extraction unit 321 can also extract a motion by 1 class SVM using the CHLAC feature.
  • the motion feature extraction unit 321 can extract a motion using not only the motion feature amount but also other higher-order feature amounts.
  • Embodiment 2 of the present invention is an operation analysis apparatus capable of switching the type of operation to be presented.
  • FIG. 8 is a block diagram showing an example of the configuration of the motion analysis apparatus according to the present embodiment, and corresponds to FIG. 2 of the first embodiment.
  • the same parts as those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted.
  • the motion analysis apparatus 300b receives the target extraction number B, calculates the distance from the standard motion subspace of the standard motion feature amount for each frame (S1100 to S1300), and proceeds to step S2100b.
  • step S2200b the motion extraction unit 322b extracts standard level motions based on the distance, counts the number of extractions (hereinafter, symbol A is used as appropriate), and outputs the count to the motion extraction degree adjustment unit 324b.
  • the motion extraction unit 322b extracts a portion satisfying the condition defined by the motion extraction parameter from the comparison target motion data as one standard level motion location. Then, the motion extraction unit 322b counts the extracted standard level motion locations as the number of extractions A.
  • the motion analysis apparatus 300b can present not only the deviating motion but also the standard level motion with the presentation amount designated by the user.
  • the type of operation to be presented can be switched according to the user's specification. Therefore, the user can perform deeper analysis on the operation to be compared.
  • FIG. 12 is a block diagram showing an example of the configuration of the motion analysis apparatus according to the present embodiment, and corresponds to FIG. 2 of the first embodiment.
  • the same parts as those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted.
  • the motion analysis apparatus 300c having such a configuration extracts a deviating motion location based on a video feature weight map in which a time weight is applied to a CHLAC feature, and presents the extracted location with a presentation amount specified by the user. Can do.
  • step S1200c the motion analysis device 300c proceeds to step S1200c.
  • step S1400c the action extraction unit 322c extracts a deviation action based on the weight, counts the number of extractions (hereinafter, symbol A is used as appropriate), and outputs the extracted number to the action extraction degree adjustment unit 324.
  • the motion extraction unit 322c extracts a portion satisfying the condition defined by the motion extraction parameter from the comparison target motion data as one departure motion location. Then, the motion extraction unit 322c counts the extracted departure motion locations as the number of extractions A.
  • the movement extraction degree adjustment unit 324c changes the extraction number A in a decreasing direction
  • the movement extraction degree adjustment unit 324c decreases the number of basis functions used for learning the weight map by one.
  • the parameter adjustment for reducing the number of extractions A other than the basis function is a content for adjusting the parameters so that larger features are extracted. For example, in parameter adjustment, the resolution is reduced by 5%, the frame rate is doubled, the pixel interval from the reference point of the CHLAC mask pattern is doubled, the cumulative contribution of principal component analysis is reduced by 1%, and the window size is reduced by 5%. The contents may be adjusted at the same time.
  • the action extraction degree adjustment unit 324c increases the number of basis functions used for learning the weight map by one.
  • the parameter adjustment for increasing the extraction number A other than the number of basis functions is a content for adjusting the parameters so that a smaller feature is extracted.
  • parameter adjustment increases the resolution by 5%, increases the frame rate by 0.5 times, increases the pixel spacing from the reference point of the CHLAC mask pattern by 0.5 times, and increases the cumulative contribution of principal component analysis by 1%.
  • the content may be such that adjustment such as reducing the window size by 5 is performed at the same time.
  • the motion analysis apparatus 300c can extract the departure motion based on the weight learned in the video feature extraction and present the extraction result with the presentation amount specified by the user. it can.
  • the weight learned in the extraction of video features is high in places where the order in which the actions are performed is different even if each action is correct. Therefore, by using the motion analysis device 300c, it is possible to easily perform time-series evaluation on the motion.
  • the area of the action is the time integration of the portion of the weight of the extraction place that exceeds the weight threshold.
  • the motion area is a time integral of the weight of the location to be extracted.
  • Embodiment 4 of the present invention is an operation analysis apparatus that presents an analysis result at a level designated by a user from a plurality of different presentation amount levels.
  • the motion analysis apparatus 300d replaces the motion feature extraction unit, the presentation amount input unit, and the motion extraction degree adjustment unit of the first embodiment with a motion feature extraction unit 321d and a presentation amount input unit 323d that perform different operations. And an operation extraction degree adjustment unit 324d.
  • the motion analysis apparatus 300d newly includes a motion analysis initial value setting unit 327d.
  • the motion analysis initial value setting unit 327d is disposed in the motion data input unit 310, for example.
  • the motion analysis initial value setting unit 327d corresponds to each of a plurality of different presentation amount levels (hereinafter referred to as “extraction levels”) defined in advance, and initial values (hereinafter referred to as “parameter initial values”) of each parameter.
  • extraction levels presentation amount levels
  • parameter initial values initial values
  • Set target extraction number Specifically, the motion analysis initial value setting unit 327d calculates and sets the parameter initial value and the target extraction number based on the standard motion data, corresponding to the extraction level defined in advance.
  • the operation extraction parameter is described as a fixed default value. Further, it is assumed that three levels of a low level with a small amount of presentation, a medium level with a medium amount of presentation, and a high level with a large amount of presentation are defined as extraction levels.
  • the presentation amount input unit 323d accepts designation of an extraction level from the user via the input device 500, and designates the designated extraction (hereinafter referred to as “target extraction level”) as a motion feature extraction unit 321d and a motion extraction degree adjustment unit 324d. Output to.
  • the motion feature extraction unit 321d extracts the feature amount by applying the parameter initial value of the extraction level specified by the user to the feature extraction parameter. Thereafter, the value of the feature extraction parameter is appropriately adjusted by the action extraction degree adjustment unit 324d.
  • the motion extraction degree adjustment unit 324d adjusts the feature extraction parameter of the motion feature extraction unit 321 so as to match when the extraction number does not match the target extraction number calculated by the motion analysis initial value setting unit 327d.
  • the motion analysis apparatus 300d having such a configuration can present the deviating motion location to the user at the extraction level designated by the user as the analysis result. Moreover, since the motion analysis apparatus 300d sets an appropriate parameter initial value and target extraction number for each extraction level based on the standard motion data, it is possible to shorten the time until the analysis result is presented.
  • FIG. 15 is a flowchart showing an example of the operation of the motion analysis apparatus 300d, and corresponds to FIG. 3 of the first embodiment. The same parts as those in FIG. 3 are denoted by the same step numbers, and description thereof will be omitted.
  • FIG. 16 is a diagram illustrating an example of information flow in the motion analysis apparatus 300d according to the present embodiment.
  • the motion analysis initial value setting unit 327d inputs a standard motion number (hereinafter, the symbol J is used as appropriate) from the user via the input device 500, and the standard motion number J is the motion feature extraction unit 321d.
  • the standard motion number is the number of motions included in the standard motion data input by the motion data input unit 310, and is, for example, the number of times a skilled worker extends his / her hand forward.
  • the standard motion number is a measure of the amount of motion to be analyzed, and tends to increase when the standard motion data is long or when the motion is busy.
  • step S1030d the motion analysis initial value setting unit 327d calculates a parameter initial value and a target extraction number B of the extraction level being selected based on the standard operation number J. Then, the motion analysis initial value setting unit 327d sets the calculated parameter initial value as the parameter initial value of the selected extraction level, and outputs the parameter initial value to the motion feature extraction unit 321d. The motion analysis initial value setting unit 327d sets the calculated target extraction number B to the target extraction number B of the selected extraction level, and outputs the target extraction number B to the motion extraction degree adjustment unit 324d.
  • the initial value calculation rule corresponding to the low level is, for example, the resolution is 321 ⁇ 240, the frame rate is 2/3 times, the pixel interval from the reference point of the CHLAC mask pattern is 3, and the cumulative principal component analysis The contribution is 96%, the window size is multiplied by the frame length and the average length of motion and divided by the standard motion number J, and the target extraction number B is the standard motion number J multiplied by 0.2. Content.
  • the initial value calculation rule corresponding to the high level has a resolution of 1280 ⁇ 960
  • the frame rate is left as it is
  • the pixel interval from the reference point of the CHLAC mask pattern is 2
  • the cumulative contribution of principal component analysis is 98%
  • the window size is the frame rate multiplied by the average motion length and divided by the standard motion number J
  • the target extraction number B is the standard motion number J multiplied by 0.4. .
  • the motion analysis initial value setting unit 327d may use the average playback time of the comparison target motion data instead of the average playback time of the standard motion data for calculating the window size used for extraction of the comparison target motion feature amount. good.
  • the motion analysis initial value setting unit 327d may extract the comparison target motion feature using the same window size (a window size calculated based on the average playback time of standard motion data).
  • step S1910d the motion analysis apparatus 300d determines whether or not the end of the analysis process in the same standard operation is instructed by a user operation or the like. If the operation analysis apparatus 300d is not instructed to end the analysis process in the same standard operation (S1910d: YES), the operation analysis apparatus 300d returns to step S1040d. If the operation analysis apparatus 300d is instructed to end the analysis process in the same standard operation (S1910d: NO), the operation analysis apparatus 300d proceeds to step S2000.
  • the motion analysis device 300d can present the analysis result at an extraction level designated by the user, that is, with an appropriate amount of presentation according to the reproduction time of the standard motion data and the number of standard motions. .
  • the motion analysis apparatus 300d sets the parameter initial value and the target extraction number for each presentation level based on the standard motion data, and performs analysis processing at the specified extraction level.
  • the motion analysis apparatus 300d can start processing from an appropriate value compared to the case where only a single default value is used as the parameter initial value, and not only can the processing speed be increased, but also analysis. The accuracy of the result can be improved.
  • the motion analysis apparatus 300d can adjust the presentation amount of each extraction level according to the reproduction time of the standard motion data, the number of standard motions, and the like.
  • the user can adjust the amount of presentation by selecting an abstract option such as an extraction level instead of inputting a numerical value of a number or a ratio. Can do.
  • the distance threshold is set to 65% of the maximum distance value
  • the continuous minimum time is set to a value obtained by multiplying the average length of motion by 0.5
  • the continuous maximum time is left as it is.
  • the number of basis functions is five.
  • the time weight extraction unit 331e calculates the image feature value V for each position and each time using, for example, an Nth-order autocorrelation function expressed by the following equation (5).
  • step S3400e the weighted position feature quantity extraction unit 332e calculates the standard position feature quantity data by applying the time weight map to the standard feature quantity data, and applies the time weight map to the comparison target feature quantity data. The position feature amount data is calculated. Then, the weighted position feature quantity extraction unit 332e outputs the calculated standard position feature quantity data and the comparison target position feature quantity data to the position weight extraction unit 333e.
  • the difference between the standard feature value data and the comparison target feature value data becomes large at the operation points (2) and (3). Therefore, the time weight calculated by the motion analysis device 300e becomes large at the locations of the motions (2) and (3) as shown in FIG. 22C.
  • the size of the weighted position feature value V x, y (tilde) is Depends on the position of the integration range.
  • the user can move the playback location display line 620 to the marker 619 and click the playback button 612.
  • the user can quickly pick up and check a video of a portion having a large difference in operation due to an out-of-order operation or the like.
  • the frame line 621e indicating the important area is displayed, the user can quickly pick up and check a part having a large difference in motion and high importance as an analysis target. That is, the user can easily grasp where in the image the user should pay attention.
  • the darkness of the frame line 621e corresponds to the time weight, the user can check the difference in motion on the video while checking the high importance level.
  • the analysis result display area 611 of the result display screen 610e may output the standard feature value and the principal component score of the comparison target feature value together.
  • the analysis result display area 611 of the result display screen 610e may include a three-dimensional graph 700 in which the principal component score of the image feature quantity is plotted on the horizontal axis.
  • standard motion feature quantities are connected by a line 711
  • comparison target feature quantities are connected by a line 721.
  • the result display screen 610e can display not only the time weight but also the change in the image feature amount in an easy-to-understand manner by performing the three-dimensional display.
  • the motion analysis apparatus 300e according to the present embodiment indicates the importance of each position of the video from the position feature quantity data obtained by applying the time weight to the feature quantity data after calculating the time weight.
  • the position weight is calculated.
  • the motion analysis apparatus 300e according to the present embodiment can easily extract out-of-order operations. That is, it is possible to extract out-of-order operations by making use of the advantage of the CHLAC feature amount without dividing time finely.
  • the motion analysis apparatus 300e displays a position with a high position weight of the video, it can present a position with a large difference in motion to the user.
  • the motion analysis device 300e displays a time when the time weight of the video is high, it is possible to present to the user a time point with a large motion difference. In other words, the motion analysis device 300e can present a motion to be checked with a video to the user.
  • the motion analysis device may first extract a time section to be presented based on the time weight and calculate a position weight for each extracted time section. This makes it possible to calculate a more appropriate position weight.
  • the time weight and the position weight when calculating the time weight and the position weight, data acquired from the same sensor is used, but data acquired from different sensors may be used.
  • data acquired from camera sensors that are the same type of sensor may be used.
  • the standard data used for calculating the time weight is data obtained from a slightly diagonally forward direction that easily captures not only horizontal but also vertical movement, and the data used for calculating the position weight may be data acquired from directly above. good. In this way, more appropriate time weights and position weights can be extracted according to the purpose.
  • a 21-dimensional feature value that is a combination of the six dimensions of both hands and the 15-dimensional correlation between the acceleration data is calculated as the local feature value of the acceleration sensor. It ’s fine. It is also conceivable that an acceleration sensor is attached to the tool used for the motion to be evaluated. By doing so, it is possible to perform an operation evaluation utilizing characteristics of different sensors without attaching an acceleration sensor to the operator.
  • the reason is as follows.
  • the movement of the right hand is accompanied by a large tool movement
  • the movement of the left hand is accompanied by a small part movement. Therefore, the area occupying the image plane is the movement related to the left hand movement is smaller than the area occupying the image plane.
  • FIG. 27 is a system configuration diagram showing an example of the configuration of the motion analysis system including the motion analysis device according to the sixth embodiment of the present invention.
  • the present invention is applied to a system for analyzing the operations of each general worker in a factory where skilled workers and general workers work. This will be described as an example.
  • the motion analysis system in the present embodiment extracts the time of motions that are significantly different between general workers and skilled workers.
  • the motion analysis system 100f includes a sensor device 200, a motion analysis device 300f according to the present embodiment, an output device 400, and an input device 500.
  • the motion analysis system 100f in the present embodiment performs motion analysis based on the image feature amount.
  • the CHLAC feature disclosed in Non-Patent Document 2 is used as the image feature amount.
  • the CHLAC feature is a high-order local autocorrelation (HLAC) feature, which is feature extraction from two-dimensional data, extended to three dimensions with the addition of a time axis. It is the feature vector which shows the feature of the motion in a dimensional coordinate system.
  • HLAC local autocorrelation
  • the image feature quantity obtained from the standard motion data is called “standard feature quantity”, and the standard feature quantity data obtained from the standard motion data is “standard feature quantity”. "Data”.
  • the image feature amount obtained from the comparison target motion data is referred to as “comparison target feature amount”, and the comparison target feature amount data obtained from the comparison target motion data is referred to as “comparison target feature amount data”.
  • the standard feature data and the comparison target feature data are collectively referred to as “feature data” as appropriate.
  • the motion analysis device 300f is a device that analyzes a comparison target operation by comparison with a standard operation.
  • the motion analysis device 300f extracts a position feature quantity from the comparison target feature quantity data and the standard feature quantity data.
  • the motion analysis apparatus 300f calculates a position weight, which is a value representing a difference from the standard motion of the comparison target motion for each position on the image plane (hereinafter referred to as “motion difference” as appropriate) from the position feature amount. Extract.
  • the motion analysis device 300f calculates temporal feature amounts of the comparison target feature amount data and the standard feature amount data using the extracted position weights.
  • the position feature amount is a value obtained by adding the feature amount at a specific position expressed by two-dimensional coordinates on the image at each time by the number of target frames.
  • the position weight indicates the degree of difference between the image feature values for each position calculated from the standard feature value and the comparison target feature value at each position on the video plane (hereinafter simply referred to as “position”). If the position weight is high at a certain position, the difference between the standard feature value at that position and the comparison target feature value is large. If the value is small at a certain position, it is compared with the standard feature value at that position. This indicates that the difference from the target feature amount is small.
  • the position weight may be a value of an inherent weight map, or may be a value of a Fisher weight map using a Fisher discrimination criterion.
  • the operation analysis device 300f may absorb two-dimensional spatial expansion / contraction. Specifically, for example, the motion analysis device 300f performs the above-described processing after increasing or decreasing the number of pixels of the comparison target data on the basis of the number of pixels of the standard motion data.
  • the weighted temporal feature value is a space integral for each time (for each frame) of a value obtained by applying the position weight to the feature value data.
  • the weighted time feature quantity is a position weight corresponding CHLAC feature quantity.
  • the weighted time feature amount is a very local feature amount obtained by adding a position weight to the product of the gray values of pixels in the vicinity of a specific pixel and adding them to the entire image plane.
  • the CHLAC feature to which position weights are not assigned is described in Non-Patent Document 2, and thus the description thereof is omitted.
  • the motion analysis apparatus 300f acquires weighted time feature data obtained from the comparison target feature data and weighted time feature data obtained from the standard feature data.
  • the motion analysis apparatus 300f extracts a time weight that is a value representing a magnitude of a difference from the standard motion of the comparison target motion from the acquired weighted time feature data and weighted time feature data.
  • the weighted time feature data of the comparison target feature data is referred to as “comparison time feature data”
  • the weighted time feature data of the standard feature data is referred to as “standard time feature data”. "Data”.
  • the motion analysis device 300f generates data of a result display screen that indicates the time weight of each time as the importance of each time in the video of the comparison target motion, and outputs the data to the output device 400.
  • the standard time feature quantity data and the comparison target time feature quantity data are collectively referred to as “time feature quantity data” as appropriate.
  • the time weight is a distance between the standard subspace of each time calculated from the standard motion data and the position weight and the image feature amount calculated from the corresponding comparison target motion data and the position weight.
  • the operation analysis device 300f may absorb temporal expansion and contraction. Specifically, for example, the motion analysis device 300f converts the time of each motion data into a conversion time by expanding and contracting the frame interval on the basis of the average time of the standard motion data, and then the image feature of the necessary conversion time. The amount is estimated and the above processing is performed.
  • the estimation of the image feature amount may be approximated by the feature amount closest to the estimated time, or may be performed by a linear function using feature points at two points before and after the estimated time, or may be performed using a plurality of nearby points. You may perform using other functions, such as a next function and a trigonometric function. By doing so, the estimation accuracy can be further improved.
  • the motion analysis device 300f is a computer having a storage medium such as a CPU and a RAM, and a video capture for capturing moving image data. That is, the motion analysis device 300f operates when the CPU executes a control program to be stored.
  • the output device 400 outputs a result display screen based on the data input from the motion analysis device 300f.
  • the output device 400 is a monitor having a liquid crystal display.
  • the output device 400 may be a device (a remote monitoring device, a mobile phone, or the like) disposed at a remote place.
  • the output device 400 is connected to the motion analysis device 300f via a network such as the Internet, for example.
  • Such a motion analysis system 100f first calculates a position weight indicating the magnitude of the motion difference on the video plane (two-dimensional space for each frame). Next, the motion analysis system 100f calculates a time weight indicating the magnitude of the difference in motion on the time axis from the time feature data obtained by applying the position weight to the feature data. Then, the motion analysis system 100f generates a result display screen showing the calculated time weight as the importance of each time in the video of the comparison target motion and presents it to the user. As a result, the motion analysis system 100f can easily extract the generation time and present it to the user by utilizing the advantages of the CHLAC feature amount such as additiveness, etc., even if the motion is small, even if the motion is small. can do. That is, the motion analysis system 100f can extract the differential motion in a state where the influence of the size of the moving object accompanying the motion is suppressed.
  • FIG. 28 is a block diagram showing an example of the configuration of the motion analysis apparatus 300f.
  • the motion analysis apparatus 300f includes a motion data input unit 310, a position weight extraction unit 341f, a weighted time feature amount extraction unit 342f, a time weight extraction unit 343f, and a display information generation unit 350.
  • the motion data input unit 310 acquires motion data from the sensor device 200 in response to a request from the position weight extraction unit 341f, and transfers it to the position weight extraction unit 341f and the display information generation unit 350.
  • the transfer of the operation data may be performed in real time or may be performed after storing the operation data.
  • the operation data input unit 310 categorizes the operation data input from the sensor device 200 into either standard operation data or comparison target operation data at the time of input or after input in response to a user operation of the input device 500.
  • the operation data input unit 310 may store the standard operation data once input for reuse.
  • the position weight extraction unit 341f extracts the image feature amount from the motion data, and generates feature amount data (standard feature amount data and comparison target feature amount data). Then, the position weight extraction unit 341f extracts position weights from the generated standard feature value data and comparison target feature value data, and generates a position weight map that defines weights for each position.
  • the position weight map is data describing the position weight of each position on the video screen of the operation data to be compared. Then, the position weight extracting unit 341f outputs the generated position weight map and feature amount data (standard feature amount data and comparison target feature amount data) to the weighted time feature amount extracting unit 342f.
  • the weighted time feature quantity extraction unit 342f calculates the weighted time feature quantity (standard time feature quantity and comparison target time feature quantity) from the position weight map and the feature quantity data (standard feature quantity data and comparison target feature quantity data). To calculate temporal feature amount data. Then, the weighted time feature amount extraction unit 342f outputs the calculated time feature amount data (standard time feature amount data and comparison target time feature amount data) to the time weight extraction unit 343f.
  • the display information generation unit 350 generates data of a result display screen indicating the time weight of each time as the importance of each time in the video of the comparison target operation from the time weight map and the operation data. Then, the display information generation unit 350 outputs the generated result display screen data to the output device 400. Details of the result display screen will be described later.
  • the weighted temporal feature value is a spatial integration for each time (for each window obtained by combining several frames for smoothing), which is a value obtained by applying the position weight to the feature value data.
  • the position weight takes a larger value at a position where the difference in motion is larger. That is, the weighted time feature amount for each time increases when there is a position where the difference in motion is large, and for example, when a small differential motion occurs, it increases corresponding to the time of the motion. Further, the time weight takes a larger value at a position where the weighted time feature amount is larger.
  • the motion analysis device 300f having the above-described configuration can emphasize the time weight of the time corresponding to the motion, extract the small differential motion time, and present it to the user. be able to.
  • FIG. 29 is a flowchart showing an example of the operation of the motion analysis apparatus 300f.
  • the user asks the person in charge of the work including the target action to take turns between the skilled worker and the general worker with a rest period, and sets the motion analysis apparatus 300f so as to photograph each action.
  • Manipulate By doing this, it does not require time for operation evaluation, and does not place a burden on workers, so data acquisition for operation analysis can be performed without affecting factory productivity. Can do.
  • the operation data input unit 310 inputs the standard operation data and the comparison operation data in step S3100f. Then, the motion data input unit 310 outputs the input standard motion data and comparison target motion data to the position weight extraction unit 341f and the display information generation unit 350 in response to a request from the position weight extraction unit 341f. Note that the motion data input unit 310 may output the standard motion data to the position weight extraction unit 341f when the standard motion data input in the past is stored.
  • step S3200f the position weight extraction unit 341f extracts image feature amounts from the motion data, and generates feature amount data (standard feature amount data and comparison target feature amount data).
  • the position weight extraction unit 341f calculates the image feature value V for each position and each time using, for example, an Nth-order autocorrelation function expressed by the following equation (9).
  • f is a time-series image
  • the integration range in the time direction is determined by how much correlation in the time direction is taken. That is, the integration range is a three-dimensional pixel set composed of N still images (local feature images), the variable r is one pixel (position pixel) in the image, and the variable a is a displacement from r. Is a vector.
  • F (r) is a function value of the position r, and represents the luminance value of the position r of the local feature image.
  • the displacement is three-dimensional, and the number of combinations (displacement patterns) of the displacement vectors is one for the 0th order, 13 for the first order, and 237 for the second order. Therefore, the image feature amount in the present embodiment is expressed as a total 251-dimensional feature vector in the case of a binarized image.
  • step S3310f the position weight extraction unit 341f generates a position weight map from the standard feature amount data and the comparison target feature amount data, and combines the standard feature amount data and the comparison target feature amount data with the weighted time feature amount extraction unit. Output to 342f.
  • step S3410f the weighted time feature quantity extraction unit 342f calculates the standard time feature quantity data by applying the position weight map to the standard feature quantity data, and applies the position weight map to the comparison target feature quantity data. Time feature data is calculated. Then, the weighted time feature amount extraction unit 342f outputs the calculated standard time feature amount data and comparison target time feature amount data to the time weight extraction unit 343f.
  • the weighted time feature amount extraction unit 342f includes the position weight w x, y expressed by the following equation (10) and the real image feature amount V t expressed by the following equation (11). , x, y are used to calculate a weighted time feature V t (tilde) using equation (12). Then, the weighted time feature amount extraction unit 342f outputs the data in which the weighted time feature amounts V t (tilde) for the entire video screen are arranged to the time weight extraction unit 343f as time feature amount data.
  • the symbol t indicates the time (corresponding to the frame) in the video of the operation to be compared
  • the symbols x and y indicate the two-dimensional position in the space (video plane) for each frame
  • the symbol d indicates the number of dimensions of the image feature amount.
  • Symbols n and m indicate the number of pixels in the vertical and horizontal directions of the video.
  • step S3510f the time weight extraction unit 343f generates a time weight map from the standard time feature amount data and the comparison target time feature amount data, and outputs the time weight map to the display information generation unit 350.
  • step S3610f the display information generation unit 350 generates a result display screen that presents the extraction result from the time weight map, the standard operation data, and the comparison operation data, and causes the output device 400 to display the result display screen.
  • step S3700f the motion analysis apparatus 300f determines whether or not the end of the analysis process is instructed by a user operation or the like. If the end of the analysis process is not instructed (S3700f: YES), the motion analysis apparatus 300f returns to step S3100f, and if instructed to end the analysis process (S3700f: NO), the operation analysis apparatus 300f ends the series of operations. .
  • motion analysis device 300f includes position weight w x, after calculating the y, the position weight w x, wherein y quantity data V t, x, time obtained by applying the y characteristic amount data V t The time weight w t is calculated from (tilde). Next, the motion analysis apparatus 300f can present the calculated time weight w t as the importance of each time of the video.
  • FIG. 30 is a diagram illustrating an assumed standard operation image and a comparison target operation image.
  • the shooting angle and the number of shooting pixels of the standard operation video 601 and the comparison target video 602 are the same. Therefore, when the motion analysis apparatus 300f performs the same operation in the same order, the direction, the size, and the order of movement on the video are substantially the same by using the same shooting angle.
  • FIG. 31 is a diagram showing the contents of the assumed standard operation and comparison target operation, and an example of the position weight map in that case.
  • Examples of standard operations include the following operations as shown in FIG. 31A. (1) The large first component 605 moves from the right side and is installed in the front. (2) Extend the right hand forward, take the tool 606, (3) Extend the left hand forward and take the second part 607, (4) A second part 607 is attached to the first part 605 with the tool 606, (5) The first part 605 to which the second part 607 is attached is sent to the left side.
  • the comparison target operation includes the following operations. (1) The large first component 605 moves from the right side and is installed in the front. (2) Extend the right hand forward, take the tool 606, (3) Extend the left hand diagonally to the left and take the second part 607, (4) A second part 607 is attached to the first part 605 with the tool 606, (5) The first part 605 to which the second part 607 is attached is sent to the left side. That is, the comparison target operation differs from the standard operation in the direction of the operation for taking the second component 607.
  • the difference between the standard feature quantity data and the comparison target feature quantity data becomes large at the location of the operation (3). Therefore, the position weight calculated by the motion analysis device 300f becomes large at the position of the motion (3) as shown in FIG. 31C.
  • the shaded shade indicates the position weight.
  • the pixel values are added equally. Therefore, the image feature amount of the movement of the first tool 606 is added to the image feature amount of the right hand motion, the image feature amount of the left hand motion is relatively small, and the difference in the left hand motion can be extracted. It becomes difficult.
  • the tool 606 is large and the second component 607 is relatively small, the image feature amount related to the left hand motion in the image feature amount of the entire frame at that time is further reduced, and the difference in the left hand motion It becomes more difficult to extract.
  • the motion analysis apparatus 300f applies the position weight reflecting the difference in motion for each position as shown in FIG. 31C to the image feature amount, so that it is easy to emphasize the small difference motion as in (3). Can be extracted.
  • FIG. 32 is a diagram showing an example of the distribution (position weight map) of position weights w x, y at each time in the operation shown in FIG.
  • the shaded shade indicates the position weight.
  • the subscript of each symbol indicates the corresponding time t.
  • the value of the position weight w x, y of the position corresponding to the small difference operation becomes large.
  • Image feature values V t, s, y at other positions are relatively small values.
  • the weighted time feature amount V t (tilde) of the time when the operation is performed is obtained as follows. As shown in FIG. 32, the weighted time feature value V t (tilde) is calculated by integrating the value obtained by multiplying the image feature value V t, x, y by the position weight w x, y for each position. A relatively large value. Then, when there is a small difference operation such as the operation of (3), even if a large operation is included in the same frame at the same time, the time weight w t of that time is a relatively large value.
  • the display information generation unit 350 when only the information of one section is presented, the display information generation unit 350 generates a result display screen that highlights a position having a large position weight w x, y value. For example, the display information generation unit 350 sets a group of areas (hereinafter referred to as “important areas”) including positions where the value of the position weight w x, y is large. Next, the display information generating unit 350 makes the line surrounding the important area darker or thicker as the average value of the position weights w x, y of the important area is higher. In addition, for example, the display information generation unit 350 generates a result display screen that clearly displays only the video of the important area and blurs and displays the video of other portions.
  • important areas a group of areas
  • FIG. 33 is a diagram showing an example of a result display screen.
  • the result display screen 610f has an analysis result display area 611, a play button 612, a comparison target action display area 613, a pause button 614, an end button 615, and a standard action display area 616.
  • the result display screen 610f displays time series data (weight map) 617 of time weights, a threshold display line 618 indicating a predetermined threshold, and a marker indicating a section where the time weight exceeds the threshold display line 618 in the analysis result display area 611. 619 is displayed.
  • the result display screen 610f displays a reproduction part display line 620 that can be moved left and right from the input device 500.
  • the result display screen 610f plays back the captured image of the comparison target action in the comparison target action display area 613 and moves the playback position display line 620 in accordance with the playback.
  • the result display screen 610f temporarily stops the reproduction of the image when the pause button 614 is clicked during the reproduction of the image.
  • the standard operation display area 616 reproduces the standard operation captured image in synchronization with the reproduction of the captured image of the comparison target operation in the comparison target operation display area 613.
  • the result display screen 610f displays a frame line 621f indicating an important area so as to overlap the captured image of the comparison target operation.
  • the frame line 621f is, for example, a dark color in a section where the time weight exceeds the threshold display line 618, and a light color in other display sections.
  • the user can move the playback location display line 620 to the marker 619 and click the playback button 612.
  • the user can quickly pick up and check an image of a time when the difference in operation is large due to a small difference operation or the like.
  • the frame line 621f indicating the important area is displayed, the user can quickly pick up and check a portion having a large difference in motion, such as a small difference operation, and a high importance as an analysis target. That is, the user can easily grasp where in the image the user should pay attention.
  • the darkness of the frame line 621f corresponds to the time weight, the user can check the difference in motion on the video while checking the importance level.
  • the shape and size of the frame line 621f may be fixed, or may be a shape and size that match the shape of the important area.
  • the result display screen 610f may display the standard operation data image and the comparison target operation data image simultaneously or by switching.
  • the result display screen 610f may also output other data related to the operation, for example, the shooting date / time of the operation data, the acceleration data of the comparison object, and the sound.
  • the analysis result display area 611 of the result display screen 610f may output the standard feature amount and the principal component score of the comparison target feature amount together.
  • the analysis result display area 611 of the result display screen 610f may include a three-dimensional graph 700 in which the principal component score of the image feature amount is plotted on the horizontal axis.
  • standard motion feature quantities are connected by a line 711
  • comparison target feature quantities are connected by a line 721.
  • the result display screen 610f can display not only the time weight but also the change of the image feature amount in an easy-to-understand manner by performing the three-dimensional display.
  • the motion analysis apparatus 300f indicates the importance of each vice-minister of the video from the time feature data obtained by applying the position weight to the feature data after calculating the position weight.
  • the time weight is calculated.
  • the motion analysis apparatus 300f according to the present embodiment can easily extract a small differential motion. That is, it is possible to extract a small difference operation using the advantage of the CHLAC feature amount without dividing the video screen finely.
  • the motion analysis device 300f displays a position where the position weight of the video is high, a position with a large difference in motion can be presented to the user. Further, since the motion analysis device 300f displays a time when the time weight of the video is high, it is possible to present to the user a time point with a large difference in motion. In other words, the motion analysis device 300f can present a motion to be checked with a video to the user.
  • the position weight map applied to the standard feature data and the position weight map applied to the comparison target feature data are the same, but the present invention is not limited to this.
  • the position weight map applied to the standard feature amount data may be a position weight map of a fixed distribution or a position weight map having a constant value in all regions.
  • the constant value for example, a position weight value at the center of the video plane, an average value of the position weight on the video plane, and a minimum value of the position weight on the video plane can be employed.
  • the position weight may be provided with an upper limit value.
  • the upper limit value for example, an average value of position weights on the video screen can be adopted. Thereby, the difference in the weighted time feature amount between the standard action and the comparison target action may become clearer.
  • the motion analysis device may first extract a region to be presented based on the position weight and calculate a time weight for each extracted region. As a result, a more appropriate time weight can be calculated.
  • temporal expansion and contraction is absorbed based on the standard image with respect to the time weight, but Fourier series expansion may be introduced.
  • the time weight introduced with the Fourier series absorbs temporal expansion and contraction with the introduction of Fourier series expansion for the difference in the feature data.
  • the time weights using the Fourier series are the frequency weights on the time axis that are optimized by the Fisher criterion so as to maximize the variance of the matrix in which the d-dimensional feature vectors of each pixel are arranged. Point to.
  • the optimized time weight has a characteristic that the frame having a difference in motion becomes larger, and has an effect of absorbing the difference in length of each motion data while evaluating the motion in time series. Details of the time weight are described in, for example, Non-Patent Document 3, and thus the description thereof is omitted here.
  • the motion analysis device 300f calculates the distance between the standard subspace of each time calculated from the standard motion data and the image feature amount calculated from the corresponding comparison target motion data, and the time weight It was. Further, the motion analysis apparatus 300f may use a value after performing a process such as normalization based on the calculated distance as a time weight. In addition, the motion analysis apparatus 300f may use a value optimized by a Fisher discriminant criterion or the like so as to maximize the variance of a matrix in which d-dimensional feature quantity vectors are arranged for each time with respect to a difference in temporal feature quantity data. Good.
  • the time weight may be simply a difference between weighted time feature amounts for each frame.
  • the image feature quantity is described as the CHLAC feature quantity, but the present invention is not limited to this.
  • the image feature amount for example, a higher-order local feature amount using a direction histogram can be used.
  • the motion analysis apparatus may obtain a local direction histogram of the image from the density gradient image, and use the obtained direction histogram as a feature vector. Even when such an image feature amount is used, it is possible to easily extract a small difference operation time.
  • the time weight and the position weight when calculating the time weight and the position weight, data acquired from the same sensor is used, but data acquired from different sensors may be used.
  • data acquired from camera sensors that are the same type of sensor may be used.
  • the standard data used for calculating the time weight is data obtained from a slightly diagonally forward direction that easily captures not only horizontal but also vertical movement, and the data used for calculating the position weight may be data acquired from directly above. good. In this way, more appropriate time weights and position weights can be extracted according to the purpose.
  • the data obtained from the acceleration sensor may be used for calculating the time weight
  • the data obtained from the camera sensor may be used for calculating the position weight.
  • a time weight is calculated using data acquired from a camera sensor
  • a time weight is calculated using data acquired from an acceleration sensor.
  • the weak point of the camera sensor can be compensated.
  • the time weight is calculated in the same manner as the feature amount calculated from the image.
  • the local feature amount of the acceleration sensor when the acceleration sensor is worn on both wrists of the operator, a 21-dimensional feature amount, which is a combination of the six dimensions of both hands and the 15 dimensions of the correlation between the acceleration data, What is necessary is just to calculate as a local feature-value of an acceleration sensor. It is also conceivable that an acceleration sensor is attached to the tool used for the operation to be evaluated. By doing so, it is possible to perform an operation evaluation utilizing characteristics of different sensors without attaching an acceleration sensor to the operator.
  • Embodiments 5 and 6 described above can be combined with any one of Embodiments 1 to 4. That is, in the first to fourth embodiments, the analysis target can be the out-of-order operation described in the fifth embodiment or the small different operation described in the sixth embodiment. As a result, it is possible to easily adjust the presentation amount of the extraction result of the out-of-order operation and the presentation amount of the extraction result of the time of the small differential operation.
  • an operation analysis apparatus combining the first embodiment and the fifth or sixth embodiment will be described.
  • the motion analysis apparatus performs motion analysis using an image feature amount including at least a time component and a position component.
  • one of the time component and the position component is referred to as a “first component”, and the other as a “second component”.
  • first component one of the time component and the position component
  • second component the other as a “second component”.
  • first weight the weight indicating the magnitude of the difference for each value of the first component
  • second weight the weight indicating the magnitude of the difference for each value
  • the first weight is a time weight and the second weight is a position weight.
  • first pattern when the first component is a position component, the first weight is a position weight, and the second weight is a time weight.
  • second pattern when the first component is a position component, the first weight is a position weight, and the second weight is a time weight. This case is referred to as a “second pattern”.
  • FIG. 35 is a block diagram showing an example of the configuration of the motion analysis apparatus according to the present embodiment, corresponding to FIG. 2 of the first embodiment, FIG. 19 of the fifth embodiment, and FIG. 28 of the sixth embodiment. To do.
  • the motion analysis apparatus 300g includes a motion data input unit 310, a motion feature extraction unit 321g, a motion extraction unit 322g, a presentation amount input unit 323, a motion extraction degree adjustment unit 324, and a motion extraction result presentation unit 325.
  • the motion feature extraction unit 321g includes a first weight extraction unit 341g and a weighted feature amount extraction unit 342g.
  • the motion extraction unit 322g includes a second weight extraction unit 343g.
  • the first weight extraction unit 341g has the same function as the time weight extraction unit 331e of the fifth embodiment. However, the value of the parameter used in the first weight extraction unit 341g is appropriately adjusted by the action extraction degree adjustment unit 324.
  • the parameters whose values are adjusted include, for example, the resolution, the frame rate, the pixel interval from the reference point of the CHLAC mask pattern, the cumulative contribution of principal component analysis, the window size, and the basis function among the first parameters described above. , Number of expansions, time weight threshold, and continuous minimum (longest) time.
  • the weighted feature quantity extraction unit 342g has the same function as the weighted position feature quantity extraction unit 332e of the fifth embodiment. However, the value of the parameter used in the weighted feature amount extraction unit 342g is appropriately adjusted by the action extraction degree adjustment unit 324.
  • the parameters whose values are adjusted here are, for example, the resolution, the frame rate, the pixel interval from the reference point of the CHLAC mask pattern, the cumulative contribution of principal component analysis, the window size, etc. is there.
  • the second weight extraction unit 343g has the same function as the position weight extraction unit 333e of the fifth embodiment. However, the value of the parameter used in the second weight extraction unit 343g is appropriately adjusted by the action extraction degree adjustment unit 324.
  • the parameters whose values are adjusted here are, for example, the number of basis functions, the number of expansions, the position weight threshold, and the continuous minimum (maximum) region among the second parameter and the third parameter described above.
  • the first pattern is a pattern obtained by combining the fifth embodiment with the first embodiment.
  • the first weight extraction unit 341g has the same function as the position weight extraction unit 341f of the sixth embodiment. However, the value of the parameter used in the first weight extraction unit 341g is appropriately adjusted by the action extraction degree adjustment unit 324.
  • the parameters whose values are adjusted include, for example, the resolution, the frame rate, the pixel interval from the reference point of the CHLAC mask pattern, the cumulative contribution of principal component analysis, the window size, and the basis function among the first parameters described above. , Number of expansions, position weight threshold, and continuous minimum (maximum) area.
  • the weighted feature quantity extraction unit 342g has the same function as the weighted time feature quantity extraction unit 342f of the sixth embodiment. However, the value of the parameter used in the weighted feature amount extraction unit 342g is appropriately adjusted by the action extraction degree adjustment unit 324.
  • the parameters whose values are adjusted here are, for example, the resolution, the frame rate, the pixel interval from the reference point of the CHLAC mask pattern, the cumulative contribution of principal component analysis, the window size, etc. is there.
  • the second weight extraction unit 343g has the same function as the time weight extraction unit 343f of the sixth embodiment. However, the value of the parameter used in the second weight extraction unit 343g is appropriately adjusted by the action extraction degree adjustment unit 324.
  • the parameters whose values are adjusted here are, for example, the number of basis functions, the number of expansions, the time weight threshold, and the continuous minimum (longest) time among the above-described second parameter and third parameter.
  • the second pattern is a pattern obtained by combining the sixth embodiment with the first embodiment.
  • the operation of the motion analysis apparatus 300g is the same as the operation described in the first embodiment, in which the target extraction process counted as the extraction number A is the analysis target extraction process described in the fifth or sixth embodiment. It just replaces it. Therefore, the description of the operation of the motion analysis device 300g is omitted.
  • the motion analysis apparatus 300g can easily adjust the presentation amount of the extraction result of the out-of-order motion and the presentation amount of the extraction result of the small differential motion time. . Therefore, by using the motion analysis device 300g, it is possible to perform motion analysis that matches each need in different applications.
  • the motion analysis apparatus may be configured to switch whether the first component described above is a time component or a position component by user designation or the like.
  • the motion analysis apparatus includes, for example, a system of a time weight extraction unit 331e, a weighted position feature amount extraction unit 332e, and a position weight extraction unit 333e, a position weight extraction unit 341f, and a weighted time feature amount extraction unit. 342f and the time weight extraction unit 343f may be both included.
  • Embodiment 5 and Embodiment 6 may be combined in a switchable manner. Even in this case, the presentation amount cannot be adjusted, but multifaceted motion analysis is possible.
  • the application target of the present invention is an apparatus for analyzing a work operation in a factory, but is not limited thereto.
  • the present invention can be applied to other various devices such as a device that analyzes various operations such as vehicle driving, sports, cooking, and musical instrument performance.
  • the motion analysis device is a motion analysis device that analyzes a comparison target operation by comparison with a standard operation, and the difference between the comparison target operation and the standard operation
  • An operation difference extraction unit that determines a location that satisfies a predetermined condition, a presentation amount input unit that receives designation of a presentation amount at a location that satisfies the predetermined condition, and an amount of a location that satisfies the predetermined condition
  • An action extraction degree adjusting unit that adjusts the predetermined condition so as to achieve a designated presentation amount.
  • the motion analysis apparatus is the motion analysis apparatus according to the first aspect, wherein the standard motion data that is a series of the motion data of the standard motion and the series of motion data of the comparison target motions.
  • a motion data input unit for inputting the comparison target motion data, and the motion difference extraction unit extracts a feature amount from each of the standard motion data and the comparison target motion data using a first parameter. Then, using the second parameter, the difference between the feature value of the comparison target motion data and the feature value of the standard motion data is extracted, and the location where the extracted difference satisfies the condition determined by the third parameter is extracted
  • the motion extraction degree adjusting unit adjusts at least one of the first parameter, the second parameter, and the third parameter.
  • the motion analysis apparatus is the motion analysis apparatus according to the second aspect, wherein the motion data is moving image data, and the feature quantity is a CHLAC feature.
  • the condition determined by the third parameter is that the difference is larger than the third parameter.
  • the presentation amount is the number of locations that satisfy a condition determined by the third parameter.
  • the motion analysis apparatus is the motion analysis apparatus according to the second aspect, wherein the presentation amount is a total of time lengths of locations satisfying a condition defined by the third parameter. .
  • the condition determined by the third parameter is that the difference is smaller than the third parameter.
  • the motion analysis apparatus is the motion analysis apparatus according to the first aspect, wherein the standard motion data that is a series of the motion data of the standard motion and the motion data of the series of the comparison target motions. And a motion data input unit for inputting the comparison target motion data, wherein the motion difference extraction unit uses the fourth parameter to introduce a time weight to the CHLAC feature to calculate the video feature.
  • the time weight is extracted as a feature quantity indicating a difference between the comparison target action and the standard action, a part where the feature quantity satisfies a condition determined by a fifth parameter is extracted, and the action extraction degree adjustment unit At least one of the fourth parameter and the fifth parameter is adjusted.
  • the motion analysis apparatus is the motion analysis apparatus according to the first aspect, wherein the predetermined analysis is performed based on the standard motion data corresponding to each of a plurality of different presentation amount levels.
  • a motion analysis initial value setting unit for setting an initial value of the condition and a target value of the presentation amount, and the motion extraction degree adjustment unit is configured to specify the initial value of the predetermined condition and the presentation according to the designation of the level. Accept specification of quantity.
  • a motion analysis method is a motion analysis method for analyzing a comparison target motion by comparison with a standard motion, the step of receiving designation of a presentation amount of the result of the analysis, and the comparison The step of determining a portion where the degree of difference between the target motion and the standard motion satisfies a predetermined condition and the amount of the portion satisfying the predetermined condition are different from a designated presentation amount, and the predetermined condition is adjusted. Steps.
  • a motion analysis device is a motion analysis device that analyzes a comparison target motion by comparison with a standard motion, and is a comparison target feature amount that is image feature amount data of the comparison target motion.
  • a time weight extraction unit that extracts a time weight representing a magnitude of a difference between the comparison target action and the standard action from the data and standard feature quantity data that is image feature quantity data of the standard action; and the time A weighted position feature quantity extraction unit that calculates a weighted position feature quantity, which is a time integration for each position of a value to which a weight is applied, for each of the comparison target feature quantity data and the standard feature quantity data, and the comparison target feature Comparison target position feature quantity data that is the weighted position feature quantity data of the quantity data, and standard position feature quantity data that is the weighted position feature quantity data of the standard feature quantity data.
  • a motor, and a position weight extraction unit for extracting a position weight representing the magnitude of the difference between the standard operation of the comparison operation.
  • the motion analysis apparatus is the motion analysis apparatus according to the eleventh aspect, and generates information indicating importance of each position in the video of the comparison target motion based on the position weight. And a display information generation unit.
  • the motion analysis apparatus is the motion analysis apparatus according to the eleventh aspect, wherein the importance level of each position in the video of the comparison target motion is calculated based on the position weight and the time weight. It further has a display information generation unit that generates information indicating the importance of each time.
  • the image feature amount is a CHLAC feature amount.
  • a motion analysis method is a motion analysis method for analyzing a comparison target motion by comparison with a standard motion, wherein the comparison target feature amount is image feature amount data of the comparison target motion. Extracting a time weight representing the magnitude of a difference between the comparison target action and the standard action from the data and standard feature quantity data that is image feature quantity data of the standard action, and applying the time weight Calculating a weighted position feature quantity that is a time integration for each position of the value for each of the comparison target feature quantity data and the standard feature quantity data; and the weighted position feature quantity of the comparison target feature quantity data From the comparison target position feature quantity data that is the data of the standard feature quantity data and the standard position feature quantity data that is the weighted position feature quantity data of the standard feature quantity data. And a step of extracting a position weight representing the magnitude of the difference between the standard operation of the operation.
  • a motion analysis device is a motion analysis device that analyzes a comparison target motion by comparison with a standard motion, and is a comparison target feature amount that is image feature amount data of the comparison target motion.
  • a position weight extracting unit that extracts a position weight representing a magnitude of a difference between the comparison target action and the standard action from the data and standard feature quantity data that is image feature quantity data of the standard action; and the position A weighted time feature amount extraction unit that calculates a weighted time feature amount, which is a spatial integration for each time of a value to which a weight is applied, for each of the comparison target feature amount data and the standard feature amount data, and the comparison target feature Comparison target time feature data that is data of the weighted time feature of the amount data, and standard time feature data that is data of the weighted time feature of the standard feature data.
  • a motor and a time weight extraction unit for extracting the time weight representing the magnitude of the difference between the standard operation of the comparison operation.
  • the motion analysis device is the motion analysis device according to the sixteenth aspect, wherein information indicating the importance of each time in the video of the comparison target motion is generated based on the time weight. And a display information generation unit.
  • the motion analysis apparatus is the motion analysis apparatus according to the sixteenth aspect, wherein the importance of each time in the video of the comparison target motion is calculated based on the time weight and the position weight. It further has a display information generation unit that generates information indicating the importance of each position.
  • the motion analysis apparatus is the motion analysis apparatus according to the sixteenth aspect, wherein the image feature amount is a CHLAC feature amount.
  • a motion analysis method is a motion analysis method for analyzing a comparison target motion by comparison with a standard motion, wherein the comparison target feature amount is image feature amount data of the comparison target motion. Extracting a position weight representing the magnitude of a difference between the comparison target action and the standard action from the data and standard feature quantity data that is image feature quantity data of the standard action, and applying the position weight Calculating a weighted temporal feature value that is a spatial integration of each value for each time for each of the comparison target feature value data and the standard feature value data, and the weighted temporal feature value of the comparison target feature value data Comparison target time feature quantity data, and the standard feature quantity data that is the weighted time feature quantity data of the standard feature quantity data. And a step of extracting the time weight representing the magnitude of the difference between the standard operation of the operation.
  • the motion analysis device and the motion analysis method according to the present invention are useful as a motion analysis device and a motion analysis method that can easily adjust the presentation amount of the analysis result.
  • the motion analysis apparatus and the motion analysis method according to the present invention are useful as a motion analysis apparatus and a motion analysis method that can easily extract the positions of out-of-order motions.
  • the motion analysis apparatus and the motion analysis method according to the present invention are useful as a motion analysis apparatus and a motion analysis method that can easily extract a small difference motion time. That is, the present invention is useful as an apparatus and method for analyzing various operations such as factory operation, vehicle operation, sports, cooking, and musical instrument performance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

　解析結果の提示量を容易に調整することができる動作解析装置。動作解析装置（３００）は、標準動作との比較により比較対象動作の解析を行う装置であって、比較対象動作と標準動作との差異の程度が、所定の条件を満たす箇所を判定する動作特徴抽出部（３２１）および動作抽出部（３２２）と、所定の条件を満たす箇所の提示量の指定を受け付ける提示量入力部（３２３）と、所定の条件を満たす箇所の量が指定された提示量となるように、所定の条件を調整する動作抽出度調整部（３２４）とを有する。

Description

動作解析装置および動作解析方法
　本発明は、標準動作との比較により比較対象動作の解析を行う動作解析装置および動作解析方法に関する。
　標準動作との比較により比較対象動作の解析を行う装置や方法が、従来提案されている（例えば非特許文献１および非特許文献２参照）。
　非特許文献１に記載の装置は、運転者の身体各部に取り付けた加速度センサを用いた行動計測を行い、独立成分分析と１クラスＳＶＭ（support vector machine）とを用いて、動作解析を行うものである。より具体的には、非特許文献１に記載の装置は、模範的な運転動作から特徴量ベクトル（３３次元）を抽出し、抽出した特徴量ベクトル集合に主成分分析を適用して、無相関化した後に１クラスＳＶＭを用いる。すなわち、非特許文献１に記載の装置は、ＳＶＭの特徴量を用いて、比較対象動作と標準動作との差異を抽出する。
　非特許文献２に記載の方法は、映像データの立体高次局所自己相関（ＣＨＬＡＣ）特徴に時間重みを導入した動作評価手法である。非特許文献２に記載の方法は、フーリエ級数展開を用いた連続関数として時間重みを導入したものである。より具体的には、非特許文献２に記載の方法は、フーリエ級数を外的基準で最適化した上で、得られた時間重みを用いて映像特徴を算出し、判別分析または重回帰分析により動作評価を行う。また、非特許文献２に記載の方法は、映像特徴の時間重みを用いて、標準動作と比較対象動作との差異を抽出する。
　これらの装置および方法を用いることにより、比較対象動作と標準動作との差異を抽出し、差異の程度が閾値を超えている等の所定の条件を満たす箇所を提示することができる。これにより、ユーザは、提示された箇所を効率良く確認することができる。
特開２００６－７９２７２号公報 特開２００７－３３４７５６号公報
多田昌裕、外５名、「無線加速度センサを用いた運転者行動計測に基づく模範運転動作からの逸脱検出」、電子情報通信学会技術研究報告、Ｖｏｌ.１０７、Ｎｏ.１１４、ｐｐ.１１７－１２２、２００７ 森下雄介、外３名、「時間重みと外的規準を用いた動作評価手法」、電子情報通信学会技術研究報告、Ｖｏｌ.１０７、Ｎｏ.５３９、ｐｐ.４７－５２、２００８ 篠原雄介、大津展之、「フィッシャー重みマップを用いた顔画像からの表情認識」、電子情報通信学会研究報告、Ｖｏｌ.１０３、Ｎｏ.７３７、ｐｐ.７９－８４、２００４
　ところで、解析対象となる動作の種類や時間長さ、解析結果を確認するユーザの状況や解析に求められる精度等に応じて、適切な解析結果の提示量は異なる。提示される箇所の個数や提示対象となる時間が過多である場合には、提示内容は煩雑となり、確認に時間と手間を要する。一方、提示される箇所の個数や提示対象となる時間が過少である場合には、必要な解析結果を十分に得ることができない。また、適切な解析結果の提示量は、解析対象やユーザが同一であっても、状況に応じて異なる場合がある。したがって、解析結果の提示量は、ユーザが容易に調整可能であることが望ましい。
　本発明の目的は、解析結果の提示量を容易に調整することができる動作解析装置および動作解析方法を提供することである。
　本発明の動作解析装置は、標準動作との比較により比較対象動作の解析を行う動作解析装置であって、前記比較対象動作と前記標準動作との差異の程度が、所定の条件を満たす箇所を判定する動作差異抽出部と、前記所定の条件を満たす箇所の提示量の指定を受け付ける提示量入力部と、前記所定の条件を満たす箇所の量が前記指定された提示量となるように、前記所定の条件を調整する動作抽出度調整部とを有する。
　本発明の動作解析方法は、標準動作との比較により比較対象動作の解析を行う動作解析方法であって、前記解析の結果の提示量の指定を受け付けるステップと、前記比較対象動作と前記標準動作との差異の程度が所定の条件を満たす箇所を判定するステップと、前記所定の条件を満たす箇所の量が指定された提示量と異なるとき、前記所定の条件を調整するステップとを有する。
　本発明によれば、解析結果の提示量を容易に調整することができる。
本発明の実施の形態１に係る動作解析システムの構成の一例を示すシステム構成図 本実施の形態１に係る動作解析装置の構成の一例を示すブロック図 本実施の形態１に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態１に係る動作解析装置における情報の流れの一例を示す図 本実施の形態１における結果表示画面の一例を示す図 本実施の形態１の変形例１に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態１の変形例１に係る動作解析装置における情報の流れの一例を示す図 本発明の実施の形態２に係る動作解析装置の構成の一例を示すブロック図 本実施の形態２に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態２に係る動作解析装置における情報の流れの一例を示す図 本実施の形態２における動作抽出結果表示画面の一例を示す図 本発明の実施の形態３に係る動作解析装置の構成の一例を示すブロック図 本実施の形態３に係る動作解析装置の動作の一例を示すフローチャート 本発明の実施の形態４に係る動作解析装置の構成の一例を示すブロック図 本実施の形態４に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態４に係る動作解析装置における情報の流れの一例を示す図 本発明の実施の形態５に係る動作解析装置を含む動作解析システムの構成の一例を示すシステム構成図 本実施の形態５における画像特徴量の算出方法の一例を示す図 本実施の形態５に係る動作解析装置の構成の一例を示すブロック図 本実施の形態５に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態５において想定する標準動作の映像および比較対象動作の映像を示す図 本実施の形態５において想定する標準動作および比較対象動作の内容と、その場合の時間重みマップの一例とを示す図 本実施の形態５における各時刻の時間重みの一例を示す図 本実施の形態５における位置重みの分布（位置重みマップ）の一例を示す図 本実施の形態５において結果表示画面の一例を示す図 本実施の形態５において結果表示画面に含まれる３次元グラフの一例を示す図 本発明の実施の形態６に係る動作解析装置を含む動作解析システムの構成の一例を示すシステム構成図 本実施の形態６に係る動作解析装置の構成の一例を示すブロック図 本実施の形態６に係る動作解析装置の動作の一例を示すフローチャート 本実施の形態６において想定する標準動作の映像および比較対象動作の映像を示す図 本実施の形態６において想定する標準動作および比較対象動作の内容と、その場合の時間重みマップの一例とを示す図 本実施の形態６における各時刻の位置重みの分布（位置重みマップ）の一例を示す図 本実施の形態６において結果表示画面の一例を示す図 本実施の形態６において結果表示画面に含まれる３次元グラフの一例を示す図 本実施の形態７に係る動作解析装置の構成の一例を示すブロック図
　以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、各実施の形態において同一の部分には同一の符号を付し、対応する部分には添え字違いの符号を付す。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る動作解析システムの構成の一例を示すシステム構成図である。
　本実施の形態は、本発明を、熟練作業者と一般作業者とが働く工場において各一般作業者の動作を解析するための動作解析システムに適用した例として説明する。作業者の動作は、例えば、部品を手に取り、製品本体に載せ、ネジ留めをし、シールを貼るといった、複数の単位動作からなる一連の動作である。より具体的には、本実施の形態に係る動作解析システムは、ある作業工程に従事する熟練作業者の姿を撮影し、同じ撮影アングルで同一の作業工程に従事するときの各一般作業者の姿を撮影して、各一般作業者の動作の解析を行うものである。以下、上述の一般的な単位動作と、動作解析システム１００によって１つの逸脱動作として抽出される単位とを、「動作」と総称する。
　図１において、動作解析システム１００は、センサ装置２００、本実施の形態に係る動作解析装置３００、出力装置４００、入力装置５００を有する。
　センサ装置２００は、人の動作を検出する装置である。センサ装置２００は、作業者の動作を計測したデータを、動作解析装置３００へ出力する。ここでは、センサ装置２００は、撮影した画像の画像フレームデータ（動画像データ）をリアルタイムに出力するカメラであり、工場の組み立てラインに並んで作業する各作業者を個別に撮影可能であるものとする。
　以下、熟練作業者による一連の標準動作を撮影した動作データを「標準動作データ」といい、一般対象者による一連の比較対象動作を撮影した動作データを「比較対象動作データ」という。また、標準動作データおよび解析対象データは、適宜「動作データ」と総称する。
　動作解析装置３００は、標準動作との比較により比較対象動作の解析を行う装置である。動作解析装置３００は、比較対象動作と標準動作との差異の程度が所定の条件を満たす箇所を抽出し、抽出した箇所を提示する画面（以下「結果表示画面」という）を生成し、生成した結果標示画面を出力装置４００へ出力する。本実施の形態の動作解析装置３００は、比較対象動作が、標準動作と大きく異なる動作（以下「逸脱動作」という）の箇所（以下「逸脱動作箇所」という）を、提示するものとする。
　動作解析装置３００は、ここでは、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体、動画像データを取り込むためのビデオキャプチャ回路を有するコンピュータであるものとする。すなわち、動作解析装置３００は、記憶する制御プログラムをＣＰＵが実行することによって動作する。
　出力装置４００は、動作解析装置３００から入力される結果表示画面のデータを出力する。ここでは、出力装置４００は、液晶ディスプレイを有するモニタであるものとする。なお、出力装置４００は、遠隔地に配置された装置（遠隔監視装置、携帯電話機等）であっても良い。この場合、出力装置４００は、例えば、インターネット等のネットワークを介して動作解析装置３００と接続される。
　入力装置５００は、ユーザが動作解析装置３００を操作するためのインタフェースである。ここでは、入力装置５００は、例えば、ポインティングデバイスとしてのマウスと、キーボードである。
　このような動作解析システム１００は、比較対象動作から逸脱動作として検出された箇所を、結果表示画面を介してユーザに提示することができる。したがって、ユーザは、提示された箇所のみを確認して、比較対象動作を効率良く解析することができる。
　次に、動作解析装置３００の構成について説明する。
　図２は、動作解析装置３００の構成の一例を示すブロック図である。
　図２において、動作解析装置３００は、動作データ入力部３１０、動作特徴抽出部３２１、動作抽出部３２２、提示量入力部３２３、動作抽出度調整部３２４、および動作抽出結果提示部３２５を有する。動作特徴抽出部３２１および動作抽出部３２２は、本発明に係る動作差異抽出部に対応する。
　動作データ入力部３１０は、動作特徴抽出部３２１からの要求に応じて、センサ装置２００から動作データを取得し、動作特徴抽出部３２１へ転送する。動作データの転送は、リアルタイムで行われても良いし、動作データを格納してから行われても良い。また、動作データ入力部３１０は、センサ装置２００から入力する動作データを、入力装置５００のユーザ操作を受けて、入力時または入力後に標準動作データと比較対象動作データとのいずれかに分類する。動作データ入力部３１０は、一旦入力した標準動作データを、再使用のために格納しておいても良い。
　動作特徴抽出部３２１は、動作データ入力部３１０から入力された動作データから、所定のパラメータ（第１のパラメータ）を用いて、動作データから動作の特徴を示す特徴量（以下単に「特徴量」という）を抽出する。そして、動作特徴抽出部３２１は、抽出した特徴量を、動作抽出部３２２へ出力する。
　以下、標準動作データから抽出された特徴量を、適宜「標準動作特徴量」といい、比較対象動作データから抽出された特徴量を、適宜「比較対象動作特徴量」という。
　ここでは、特徴量は、非特許文献２に開示されているＣＨＬＡＣ特徴とする。ＣＨＬＡＣ特徴は、２次元画像データからの特徴抽出である高次局所自己相関（ＨＬＡＣ）特徴を、時間軸も加えて３次元に拡張したものであり、画像の平面空間に時間軸を加えた３次元座標系における動きの特徴を示す特徴ベクトルである。特徴量抽出に用いられるパラメータの値は、初期状態では予め定められた初期値が設定され、その後、動作抽出度調整部３２４によって適宜調整される。
　動作抽出部３２２は、動作特徴抽出部３２１から入力された標準動作特徴量および比較対象動作特徴量から、所定のパラメータ（第２のパラメータ）を用いて、比較対象動作と標準動作との差異を抽出する。そして、動作抽出部３２２は、抽出された差異が、所定のパラメータ（第３のパラメータ）により定まる条件を満たす箇所を抽出し、抽出結果を、動作抽出度調整部３２４へ出力する。抽出結果は、抽出された箇所（以下「抽出箇所」という）と、所定のカウント基準による抽出箇所の個数（以下「抽出数」という）とを含む。抽出箇所が区間である場合には、抽出結果は、その区間の開始時刻および終了時刻を含む。
　ここで、以下、動作特徴抽出部３２１が特徴量抽出に用いるパラメータを、適宜「特徴抽出パラメータ」と総称する。また、動作抽出部３２２が動作抽出に用いるパラメータを、適宜「動作抽出パラメータ」と総称する。特徴抽出パラメータの種類には、ＣＨＬＡＣ特徴抽出のための画像サイズやフレームレートや窓サイズ、主成分分析の主成分分析の累積寄与度、フーリエ級数の基底関数の数、最小二乗基準の変回帰係数、およびｋ－ｎｎ法（ｋ近傍法、k-nearest neighbor algorithm）のｋの値が含まれる。また、動作抽出パラメータの種類には、動作の継続時間や後述する距離閾値が含まれる。
　提示量入力部３２３は、入力装置５００を介して、ユーザに提示する抽出箇所の個数（抽出結果の提示量）の指定を受け付け、指定された個数（以下「目標抽出数」という）を、動作抽出度調整部３２４へ出力する。
　動作抽出度調整部３２４は、抽出数が目標抽出数と一致しないとき、一致するように、動作特徴抽出部３２１の特徴抽出パラメータを調整して動作特徴抽出部３２１に対して特徴量の再抽出を指示する。そして、動作抽出度調整部３２４は、抽出数が目標抽出数と一致すると、抽出結果を動作抽出結果提示部３２５へ出力する。すなわち、動作抽出度調整部３２４は、抽出数が目標抽出数と一致するまで、特徴抽出パラメータを変化させながら、動作特徴抽出部３２１および動作抽出部３２２に対して処理を繰り返させる。
　動作抽出結果提示部３２５は、動作抽出度調整部３２４から入力された抽出結果を提示する結果表示画面を生成し、出力装置４００を介して表示する。
　このような構成を有する動作解析装置３００は、解析結果として、ユーザから指定された目標抽出数で、逸脱動作箇所をユーザに提示することができる。したがって、ユーザは、特徴量抽出や動作抽出に用いられる各パラメータを個別に調整することなく、目標抽出数の入力という簡単な手法により、逸脱動作箇所の提示量を調整することができる。
　以下、動作解析装置３００の動作について説明する。
　図３は、動作解析装置３００の動作の一例を示すフローチャートである。図４は、動作解析装置３００における情報の流れの一例を示す図である。
　まず、ユーザは、例えば、対象の動作を含む作業の担当を、休み時間を挟んで熟練作業者と一般作業者とで交代して貰い、それぞれの動作を撮影するように、動作解析装置３００を操作する。このようにすることで、動作評価のための時間を特に必要とすることなく作業者にも負荷をかけないため、工場の生産性に影響を与えることなく動作解析のためのデータ取得を行うことができる。
　この結果、動作データ入力部３１０は、標準動作データと比較対象動作データとを入力し、入力した標準動作データおよび比較対象動作データを動作特徴抽出部３２１へ出力する。動作データ入力部３１０は、１回の解析処理につき、一人または複数の人から複数の標準動作データを取得しても良いし、一人または複数の人から複数の比較対象動作データを取得しても良い。また、動作データ入力部３１０は、過去に入力した標準動作データを格納している場合には、その標準動作データを動作特徴抽出部３２１へ出力しても良い。
　まず、ステップＳ１１００において、動作抽出度調整部３２４は、提示量入力部３２３を介して、目標抽出数（以下、記号Ｂを適宜用いる）を入力する。具体的には、例えば、動作抽出度調整部３２４から指示を受けた提示量入力部３２３が、目標抽出数の入力を促す画面を出力装置４００に表示する。そして、提示量入力部３２３は、対応して入力装置５００を介して入力された数値を、目標抽出数Ｂとして動作抽出度調整部３２４に返す。　
　なお、動作抽出度調整部３２４は、前回の目標抽出数を使用する場合には、提示量入力部３２３を介した目標抽出数の入力を必ずしも行わなくて良い。また、この場合、動作抽出度調整部３２４は、前回の目標抽出数を使用するか否かを、提示量入力部３２３を介してユーザに問い合わせたり、設定された回数だけ同じ目標抽出数で処理を繰り返したか否かに基づいて判断しても良い。
　そして、ステップＳ１２００において、動作特徴抽出部３２１は、１つまたは複数の標準動作データから、フレーム毎に標準動作特徴量を抽出し、抽出した一連の標準動作特徴量から、標準動作部分空間を求める。標準動作特徴量は、上述の通りここではＣＨＬＡＣ特徴である。標準動作部分空間とは、標準動作を定義する空間である。
　動作特徴抽出部３２１は、例えば、以下の式（１）に示すＮ次自己相関関数を用いて、ＣＨＬＡＣ特徴ｘを算出する。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆは時系列画像であり、変数ｒおよびＮ個の変数ａｉ（ｉ＝１，・・・，Ｎ）は画像内の２次元座標と時間とを成分として持つ３次元のベクトルである。時間方向の積分範囲は、どの程度の時間方向の相関を取るかによって定まる。すなわち、積分範囲は、Ｎ枚の静止画像（局所特徴画像）から構成される３次元のピクセル集合であり、変数ｒは画像中の１ピクセル（位置ピクセル）であり、変数ａはｒからの変位ベクトルである。そして、ｆ（ｒ）は位置ｒの関数値であり、局所特徴画像の位置ｒの輝度値を表す。
　ＣＨＬＡＣ特徴の場合、変位は３次元であり、変位ベクトルの組み合わせ（変位パターン）の数は、０次で１個、１次で１３個、２次で２３７個である。したがって、ＣＨＬＡＣ特徴は、２値化画像の場合、合計２５１次元の特徴ベクトルとして表される。
　また、動作特徴抽出部３２１は、例えば、一連の標準動作特徴量に対して主成分分析を行い、主成分ベクトルを求める。そして、動作特徴抽出部３２１は、その主成分ベクトルを、標準動作部分空間として取得する。なお、ＣＨＬＡＣ特徴および標準動作部分空間の算出手法の詳細は、例えば特許文献１に記載されている。
　ＣＨＬＡＣ特徴は、その積分範囲において、標準動作特徴量の算出に用いられた標準動作と同じ動作のみが行われた場合、標準動作部分空間に収まる。また、ＣＨＬＡＣ特徴は、その積分範囲において、１つでも標準動作と異なる動作が行われた場合、標準動作部分空間から離れた値となる。また、ＣＨＬＡＣ特徴は、標準動作と異なる動作が、より大きく異なるほど、また、より長い時間行われるほど、標準動作部分空間からより大きく離れた値となる。したがって、動作解析装置３００は、標準動作に対する動作の非類似の度合いが、特徴量の標準動作部分空間からの距離の大きさとほぼ比例関係にあることを利用して、動作解析を行う。ここで、ある特徴量の標準動作部分空間からの距離（以下、適宜「距離」という）とは、例えば、その特徴量の、標準動作部分空間への射影子とそれに対する直交補空間への射影子から求める直交補空間での垂直距離である。ＣＨＬＡＣ特徴は、動作における各部の動きの方向の総和による影響を強く受けるため、ある時点の動作における各部（例えば手）の動きの向きの総和一致性を評価するのに適している。
　なお、動作特徴抽出部３２１は、過去に算出した標準動作部分空間を格納している場合には、新たに算出を行わなくても良い。
　そして、ステップＳ１３００において、動作特徴抽出部３２１は、比較対象動作データから、フレーム毎で比較対象動作特徴量を抽出し、抽出した一連の比較対象動作特徴量のそれぞれの、標準動作部分空間との距離を求める。そして、動作特徴抽出部３２１は、求めた距離を、動作抽出部３２２へ出力する。
　そして、ステップＳ１４００において、動作抽出部３２２は、標準動作部分空間との距離に基づいて、逸脱動作を抽出し、その抽出数（以下、記号Ａを適宜用いる）をカウントして、動作抽出度調整部３２４へ出力する。
　より具体的には、まず、動作抽出部３２２は、比較対象動作データのうち、動作抽出パラメータにより定義される条件を満たす部分を、１つの逸脱動作箇所として抽出する。そして、動作抽出部３２２は、抽出された逸脱動作箇所を、抽出数Ａとしてカウントする。
　動作抽出パラメータにより定義される条件は、例えば、距離が所定の距離閾値よりも大きい状態が続き、その継続時間が所定の連続最小時間以上かつ所定の連続最長時間以下であることである。所定の距離閾値は、例えば、比較対象動作データ全体の各フレームについて求められた距離の最大値の６０％である。所定の連続最小時間は、例えば、０.３秒である。所定の連続最小時間は、例えば、比較対象動作データの長さ（複数の場合には平均長さ）の２５％である。
　このような条件を適用することにより、動作抽出部３２２は、検出ノイズや微小な逸脱動作、背景の動き等の比較対象とすべきではない動作等を、逸脱動作として扱わず、適切な逸脱動作のみを抽出することができる。
　そして、ステップＳ１５００において、動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂに等しいか否かを判断する。動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂに等しくない場合には（Ｓ１５００：ＮＯ）、ステップＳ１６００へ進む。
　ステップＳ１６００において、動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂよりも大きいか否かを判断する。動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂよりも大きい場合には（Ｓ１６００：ＹＥＳ）、ステップＳ１７００へ進み、大きくない場合には（Ｓ１６００：ＮＯ）、ステップＳ１８００へ進む。
　ステップＳ１７００において、動作抽出度調整部３２４は、抽出数Ａが減少する方向に、動作特徴抽出部３２１の特徴抽出パラメータを修正して、ステップＳ１２００へ戻り、動作特徴抽出部３２１に対して特徴量の再抽出を指示する。
　例えば、動作抽出度調整部３２４は、大まかな特徴量に基づいて比較対象動作と標準動作との差異が検出されるように、特徴抽出パラメータを調整する。つまり、動作抽出度調整部３２４は、大きい動作において大きい差異が現れた箇所が検出されるように、パラメータ調整ルールに基づいて特徴抽出パラメータを調整する。ここで、大きい動作とは、ある瞬間において比較的多数の画素に変化をもたらし、周期が長い動作であり、大まかな特徴量とは、このような動作から顕著に抽出される特徴量である。この場合、行われるパラメータ修正は、例えば、抽出対象となる動作データの解像度をより荒くする、フレームレートの間隔をより広くする、ＣＨＬＡＣマスクパターンの参照点からの画素間隔をより広くする等である。また、他のパラメータ修正は、例えば、主成分分析の主成分分析の累積寄与度をより小さくする、抽出の際の窓サイズをより大きくする等である。
　パラメータ調整ルールは、抽出数Ａを減少させる場合と増大させる場合のそれぞれについて、どのパラメータをどのように変化させるかを規定する。動作解析装置３００は、パラメータ調整ルールを、動作特徴抽出部３２１または動作抽出度調整部３２４に格納している。パラメータ調整ルールは、経験測、実験、学習等に基づいて定められたものであり、動作解析装置３００に予め格納されていても良いし、必要に応じてネットワーク等を介して外部から取得されても良い。
　抽出数Ａを減少させるためのパラメータ調整ルールは、より大きな特徴を抽出するために、次のように特徴抽出パラメータを調整する内容である。例えば、パラメータ調整ルールは、解像度を５％下げて荒くし、フレームレートを２倍に長くし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を２倍にし、主成分分析の累積寄与度を１％下げ、窓サイズを５増加させる内容である。この場合、パラメータ調整ルールは、予め定められた記述方式に従って、例えば、Ａ＞Ｂ：ｒ＝―５；ｆｓ＝ｘ２；ｐｓ＝ｘ２；ａｃｒ＝－１；ｗｓ＝＋５と記述される。なお、動作抽出度調整部３２４は、パラメータ調整ルールに複数のパラメータについての変化が記述されている場合、１回の修正で全てのパラメータの値を変化させるのではなく、複数回に分散して複数のパラメータの値を変化させても良い。
　この結果、抽出数Ａは減少し、動作抽出度調整部３２４は、再び抽出数Ａと目標抽出数Ｂとの比較を行う（Ｓ１５００）。
　一方、ステップＳ１８００において、動作抽出度調整部３２４は、抽出数Ａが増大する方向に特徴抽出パラメータを修正して、ステップＳ１２００へ戻り、動作特徴抽出部３２１に対して特徴量の再抽出を指示する。
　例えば、動作抽出度調整部３２４は、細かい特徴量に基づいて比較対象動作と標準動作との差異が検出されるように、つまり、小さい動作において大きい差異が現れた箇所が検出されるように、特徴抽出パラメータを修正する。ここで、小さい動作とは、ある瞬間において、大きな動作よりも少ないが、一定量以上の画素に変化をもたらし、周期が短い動作であり、細かい特徴量とは、このような動作から顕著に抽出される特徴量である。例えば、大きな動作の例は腕を振りおろすといった動きであり、小さな動作の例は人差し指をとんとん上下するといった動きである。大きな動作の方は、小さな動作と比較すると、より多くの画素に変化を与え、動作にかかる時間が長い場合が多い。
　この場合、行われるパラメータ修正は、例えば、抽出対象となる動作データの解像度をより細かくする、フレームレートの間隔をより狭くする、ＣＨＬＡＣマスクパターンの参照点からの画素間隔をより狭くする等である。また、他のパラメータ修正は、例えば、主成分分析の主成分分析の累積寄与度をより大きくする、抽出の際の窓サイズをより小さくする等である。
　抽出数Ａを増大させるためのパラメータ調整ルールは、より小さな特徴を抽出するために、次のように特徴抽出パラメータを調整する内容である。例えば、パラメータ調整ルールは、解像度を５％増加させて細かくし、フレームレートを０.５倍にして短くし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を０.５倍にし、主成分分析の累積寄与度を１％上げ、窓サイズを５減少させる内容である。この場合、パラメータ調整ルールは、予め定められた記述方式に従って、例えば、Ａ＜Ｂ：ｒ＝＋５；ｆｓ＝ｘ０.５；ｐｓ＝ｘ０.５；ａｃｒ＝＋１；ｗｓ＝－５と記述される。
　この結果、抽出数Ａは増大し、動作抽出度調整部３２４は、再び抽出数Ａと目標抽出数Ｂとの比較を行う（Ｓ１５００）。すなわち、抽出数Ａが目標抽出数Ｂに一致するまで、ステップＳ１２００～Ｓ１８００の処理が繰り返される。
　そして、動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂに等しい場合には（Ｓ１５００：ＹＥＳ）、抽出結果を動作抽出結果提示部３２５へ出力し、ステップＳ１９００へ進む。
　ステップＳ１９００において、動作抽出結果提示部３２５は、抽出結果を提示する結果表示画面を生成し、出力装置４００に表示させる。
　図５は、結果表示画面の一例を示す図である。図５は、逸脱動作箇所として抽出される条件が、比較対象特徴量の標準動作部分空間に対する距離が所定の距離閾値よりも高いことであり、目標抽出数Ｂが、２である場合の例である。
　図５に示すように、結果表示画面６１０は、解析結果表示領域６１１、再生ボタン６１２、比較対象動作表示領域６１３、一時停止ボタン６１４、終了ボタン６１５、および標準動作表示領域６１６を有する。
　結果表示画面６１０は、解析結果表示領域６１１に、比較対象特徴量の標準動作部分空間に対する距離の時系列データ６１７と、所定の距離閾値を示す閾値表示線６１８と、抽出箇所を示すマーカ６１９とを表示する。また、動作抽出結果提示部３２５は、入力装置５００から左右に移動操作可能な、再生箇所表示線６２０を表示する。
　動作抽出結果提示部３２５は、再生ボタン６１２がクリックされると、比較対象動作の撮影画像を比較対象動作表示領域６１３で再生すると共に、再生箇所表示線６２０を、再生に合わせて移動させる。また、動作抽出結果提示部３２５は、画像の再生中に一時停止ボタン６１４がクリックされると、画像の再生を一時的に停止する。また、標準動作表示領域６１６は、比較対象動作表示領域６１３における比較対象動作の撮影画像の再生と同期して、標準動作の撮影画像を再生する。
　このような結果表示画面６１０により、ユーザは、再生箇所表示線６２０をマーカ６１９部分に移動させて再生ボタン６１２をクリックすることにより、逸脱動作の映像を素早くピックアップして確認することができる。また、指定した数で逸脱動作箇所がピックアップされるので、ユーザは自己の望む量の解析結果の提示を受けることができる。また、ユーザは、比較対象動作と標準動作とを視覚的に比較することができる。
　なお、結果表示画面６１０は、標準動作データの画像と比較対象動作データ画像とを、同時に、または切り換えて表示しても良い。また、結果表示画面６１０は、動作に関連する他のデータ、例えば、動作データの撮影日時や比較対象物の加速度データや音声を、併せて出力しても良い。また、結果表示画面６１０は、ＣＨＬＡＣ特徴が用いられている場合には、（主成分分析した）ＣＨＬＡＣの値を、併せて出力しても良い。また、結果表示画面６１０は、加速度に基づく特徴量が用いられている場合には加速度データを、音声に基づく特徴量が用いられている場合には音声データを、併せて出力しても良い。結果表示画面６１０は、これらの高次の特徴量が用いられている場合、時系列の高次の特徴量を主成分分析して３次に次元削減して得られる値を、３次元トラジェクトリによって表示させても良い。ここで、結果表示画面６１０は、映像の再生時に、再生と同期させて、出力した３次元トラジェクトリ上の対応する値を、ハイライト表示するようにしても良い。
　そして、ステップＳ２０００において、動作解析装置３００は、ユーザ操作等により解析処理の終了を指示されたか否かを判断する。動作解析装置３００は、解析処理の終了を指示されない場合には（Ｓ２０００：ＹＥＳ）、ステップＳ１１００へ戻り、解析処理の終了を指示された場合には（Ｓ２０００：ＮＯ）、一連の動作を終了する。
　このような動作により、動作解析装置３００は、実際の抽出数がユーザによって指定された目標抽出数に一致するように特徴抽出パラメータを調整し、抽出数が目標抽出数に一致したときに、抽出結果をユーザに提示することができる。
　なお、動作抽出度調整部３２４は、抽出数が増大する方向でパラメータを修正する場合に、それまでの抽出結果を提示対象に残しても良い。
　具体的には、動作抽出度調整部３２４は、まず、パラメータ修正を行う毎に、そのパラメータ修正の前の抽出箇所（以下「修正前抽出箇所」という）と、そのパラメータ修正の後の抽出箇所（以下「修正後抽出箇所」という）とを比較する。そして、動作抽出度調整部３２４は、修正前抽出箇所に、修正後抽出箇所のうち修正前抽出箇所のいずれにも包含されないもの（以下「新規抽出箇所」という）を追加する形で、提示対象を増やしていく。そして、動作抽出度調整部３２４は、提示対象の抽出箇所の個数が目標抽出数に到達すると、ステップＳ１９００へ進む。
　すなわち、動作抽出度調整部３２４は、修正前抽出箇所の個数（Ａｏｌｄ）と新規抽出箇所の個数（Ａｎｅｗ）との和（Ａｓｕｍ＝Ａｏｌｄ＋Ａｎｅｗ）を、目標抽出数（Ｂ）と比較する。そして、動作抽出度調整部３２４は、目標抽出数（Ｂ）よりも抽出箇所の個数の和（Ａｓｕｍ）が小さい間は（Ａｓｕｍ＜Ｂ）、抽出数が増大する方向のパラメータ修正を繰り返す。そして、動作抽出度調整部３２４は、抽出箇所の和（Ａｓｕｍ）が目標抽出数（Ｂ）以上となった時点で（Ａｓｕｍ≧Ｂ）、最初に抽出された箇所と新規抽出箇所とを、抽出結果として採用し、ステップＳ１９００へ進む。
　これにより、一旦抽出された逸脱動作箇所を、抽出数が増大する方向でパラメータが修正される過程において抽出対象外となるのを防ぐことができる。
　また、動作抽出度調整部３２４は、パラメータ修正の回数が予め定められた上限値に到達したとき、抽出数Ａが目標抽出数Ｂに等しいとみなして、ステップＳ１９００へ進んでも良い。
　また、動作抽出度調整部３２４は、目標抽出数Ｂよりも大きかった抽出数Ａが、パラメータ修正の結果目標抽出数Ｂよりも小さくなった場合には、抽出数Ａが目標抽出数Ｂに等しいとみなして、ステップＳ１９００へ進んでも良い。
　また、動作抽出度調整部３２４は、目標抽出数Ｂよりも小さかった抽出数Ａが、パラメータ修正の結果目標抽出数Ｂよりも大きくなった場合には、抽出数Ａが目標抽出数Ｂに等しいとみなして、ステップＳ１９００へ進んでも良い。
　また、動作抽出度調整部３２４は、抽出数Ａの目標抽出数Ｂとの数の差が最も小さくなるときの抽出結果を選択し、ステップＳ１９００へ進んでも良い。
　これらの処理を採用することにより、ステップＳ１２００～Ｓ１８００が長時間繰り返されて抽出結果がいつまでも表示されないといった事態を防ぐことができる。
　また、動作抽出度調整部３２４は、目標抽出数Ｂよりも大きかった抽出数Ａが、パラメータ修正の結果、目標抽出数Ｂよりも小さく、修正前の個数（Ａｏｌｄ）と目標抽出数Ｂとの差が所定の閾値以下となった場合、次の処理を行っても良い。
　動作抽出度調整部３２４は、修正前抽出箇所を、動作の面積が大きいものから順に、目標抽出数Ｂに一致する個数まで選択し、選択した抽出箇所で確定して、ステップＳ１９００へ進む。ここで、動作の面積とは、抽出箇所の距離のうち距離閾値を超える部分の時間積分である。ここで、時刻ｔについて抽出された距離をｄ（ｔ）、距離閾値をｐ、抽出箇所の開始時間および終了時刻をｔ１、ｔ２とすると、動作の面積Ｓは、以下の式（２）で表される値とする。
Figure JPOXMLDOC01-appb-M000002
　また、動作抽出度調整部３２４は、目標抽出数Ｂよりも小さかった抽出数Ａが、パラメータ修正の結果目標抽出数Ｂよりも大きくなった場合に、以下の処理を行っても良い。
　動作抽出度調整部３２４は、修正前抽出箇所を、動作の面積が大きいものから順に、目標抽出数から修正前抽出箇所の個数を引いた個数（Ｂ－Ａｏｌｄ）だけ抽出する。次に、動作抽出度調整部３２４は、その抽出箇所を、新規抽出箇所とし、その個数を、新規抽出箇所の個数（Ａｎｅｗ）とする。そして、動作抽出度調整部３２４は、修正前抽出箇所と新規抽出箇所とを、抽出結果として確定し、ステップＳ１９００へ進む。修正前抽出箇所の個数と新規抽出箇所の個数との和（Ａｏｌｄ＋Ａｎｅｗ）は、目標抽出数（Ｂ）に一致する。
　また、動作抽出度調整部３２４は、パラメータ修正の回数が上限値に到達した場合、目標抽出数Ｂに最も近い抽出数Ａを得たときの抽出箇所を、動作の面積が大きい順に目標抽出数Ｂの範囲内で選択し、ステップＳ１９００へ進んでも良い。
　これらの処理を採用することにより、本実施の形態に係る動作解析装置３００は、標準動作とは異なるものの、継続時間が短く、逸脱動作として扱うべきではないような動作が抽出されるのを防ぐことができる。すなわち、本実施の形態に係る動作解析装置３００は、動作の継続時間を考慮して、逸脱動作の抽出を行うことができる。
　また、動作抽出度調整部３２４は、目標抽出数の入力を、動作解析装置３００が動作データを入力するときや、その後など、他のタイミングで行っても良い。
　以上説明したように、本実施の形態に係る動作解析装置３００は、比較対象動作と標準動作との差異の程度が所定の条件を満たす箇所の数が、ユーザが指定した目標抽出数に一致するように、所定の条件を調整する。すなわち、動作解析装置３００は、逸脱動作として提示する箇所の数を、ユーザの指定値の通りとする。これにより、動作解析装置３００は、細かなパラメータ調整をせずに解析結果の提示量を調整することができ、動作解析の詳細なアルゴリズムを理解していないユーザに対しても、所望の解析レベルで解析結果を容易に得ることを可能にする。
　また、本実施の形態に係る動作解析装置３００は、動作解析のアルゴリズムにかかわるパラメータ設定の手動での調整は不要であるため、解析対象となる単位動作の数が多いような場合にも適している。また、本実施の形態に係る動作解析装置３００は、パラメータの種類が膨大で、各パラメータの解析結果に対する影響の仕方も複雑な場合に有効であり、熟練を要するパラメータ調整作業を不要とし、手間と時間と軽減することができる。
　また、本実施の形態に係る動作解析装置３００は、目標抽出数が変わっても、動作解析のアルゴリズムにかかわるパラメータ設定の手動での調整は不要であるため、求められる解析レベルが頻繁に変化するような場合に適している。
　また、本実施の形態に係る動作解析装置３００は、特徴抽出パラメータを調整するので、抽出対象となる動作の種類を考慮した、きめ細かな抽出対象の調整を行うことができる。
　なお、本発明は、以上説明した実施の形態１以外の様々な実施態様に適用可能である。以下、本発明の他の実施態様を、実施の形態１の変形例として説明する。
　（実施の形態１の変形例１）
　実施の形態１の変形例１は、動作抽出度調整部３２４が、動作特徴抽出部３２１の特徴抽出パラメータではなく、動作抽出部３２２の動作抽出パラメータを修正する例である。
　図６は、本変形例に係る動作解析装置３００の動作の一例を示すフローチャートであり、図３に対応するものである。図７は、本変形例に係る動作解析装置３００における情報の流れの一例を示す図であり、図４に対応するものである。図３および図４と同一部分には同一ステップ番号を付し、これについての説明を省略する。
　本変形例に係る動作解析装置３００の動作抽出度調整部３２４は、抽出数Ａが目標抽出数Ｂより大きい場合は（Ｓ１６００：ＹＥＳ）、ステップＳ１７００ａへ進み、大きくない場合には（Ｓ１６００：ＮＯ）、ステップＳ１８００ａへ進む。
　ステップＳ１７００ａにおいて、動作抽出度調整部３２４は、抽出数Ａが減少する方向に、動作抽出部３２２の動作抽出パラメータを修正して、ステップＳ１４００へ戻り、動作抽出部３２２に対して動作の再抽出を指示する。
　例えば、動作抽出部３２２が動作を抽出する条件が上述の距離閾値、連続最小時間、および連続最長時間で定義される条件である場合を想定する。この場合、抽出数Ａを減少させるためのパラメータ調整ルールは、例えば、距離閾値を１０％上げ、連続最小時間を０.１秒増加させ、連続最長時間を５％上げる内容である。
　一方、ステップＳ１８００ａにおいて、動作抽出度調整部３２４は、抽出数Ａが増加する方向に、動作抽出部３２２の動作抽出パラメータを修正して、ステップＳ１４００へ戻り、動作抽出部３２２に対して動作の再抽出を指示する。
　上述の条件の場合、抽出数Ａを増加させるためのパラメータ調整ルールは、例えば、距離閾値を５％下げ、連続最小時間を０.１秒減少させ、連続最長時間を５％下げる内容である。
　本変形例によれば、動作解析装置３００は、動作抽出パラメータを調整するので、特徴量の再抽出を行う必要がなく、解析結果をより迅速に提示することが可能となる。
　なお、動作解析装置３００は、特徴抽出パラメータと動作抽出パラメータとの両方を調整しても良い。また、この調整は、１回の修正で同時に行われても良く、別の回の修正に分けて行われても良い。これにより、抽出対象となる動作の種類と類似度の大きさとの両方を考慮した、よりきめ細かな抽出対象の調整を行うことが可能となる。
　（実施の形態１の変形例２）
　実施の形態１の変形例２は、動作解析装置３００が、複数種類の動作について効率的に解析を行う例である。
　本変形例に係る動作解析装置３００は、大きい動作に対応する特徴量に着目した動作抽出と、小さい動作に対応する特徴量に着目した動作抽出との両方を行う。
　このために、動作解析装置３００は、大きい動作に対応する特徴量の抽出用の初期設定（以下、「第１の初期設定」という）と、小さい動作に対応する特徴量の抽出用の初期設定（以下、「第２の初期設定」という）とを予め格納している。
　初期設定には、特徴抽出パラメータの初期値および動作抽出パラメータの初期値が含まれる。例えば、第１の初期設定は、入力された動作データの解像度を半分に落とす処理を行う設定であり、第２の初期設定は、入力された動作データの解像度をそのままとする設定である。
　動作解析装置３００は、まず、第１の初期設定に基づいて抽出した第１の抽出結果と、第２の初期設定に基づいて抽出した第２の抽出結果とを取得する。また、動作解析装置３００は、大きい動作に対応する第１の目標抽出数と、小さい動作に対応する第２の目標抽出数との両方の入力を、ユーザから受け付ける。そして、動作解析装置３００は、第１の抽出結果および第１の目標抽出数に基づいて、第１の初期設定に含まれるパラメータを調整し、第２の抽出結果および第２の目標抽出数に基づいて、第２の初期設定に含まれるパラメータを調整する。
　そして、動作解析装置３００は、大きい動作についての解析結果と、小さい動作についての解析結果とを、同時に、または切り換えて表示する。動作解析装置３００は、大きい動作についての解析結果と、小さい動作についての解析結果とを解析結果表示領域６１１（図５参照）に同時に表示する場合には、色が異なるなど表示形態の異なるマーカ６１９を表示することが望ましい。
　本変形例によれば、大きい動作における逸脱動作と、小さい動作における逸脱動作との両方を、抽出して纏めて提示するので、ユーザの動作解析の効率性および利便性を向上させることができる。
　（実施の形態１の変形例３）
　実施の形態１の変形例３は、指定する提示量が、抽出数ではなく、比較対象動作データの再生時間に対する抽出箇所の再生時間の合計値（以下「抽出時間」という）の割合である場合の例である。
　本変形例に係る動作解析装置３００は、比較対象動作データの再生時間に対する抽出時間の割合（以下「抽出時間割合」という）を算出すると共に、抽出時間割合の指定をユーザから受け付ける。そして、動作解析装置３００は、算出した抽出動作時間が、指定された抽出動作時間（以下「目標抽出時間割合」という）に一致するように、特徴抽出パラメータおよび動作抽出パラメータの調整を行う。
　例えば、動作解析装置３００は、目標抽出時間割合が２０％であって、比較対象動作データの再生時間の平均値が３０秒である場合、抽出時間が６秒（３０秒×０.２）となるように、パラメータ調整を行う。
　動作解析装置３００の動作は、図３を用いて説明した動作と同様である。但し、抽出数および目標抽出数は、抽出時間割合と目標抽出時間割合とにそれぞれ置き換えられる。また、抽出時間割合が目標抽出時間割合に完全に一致するようなパラメータ調整ルールを設定することは困難であることから、動作解析装置３００は、例えば以下のような動作を行う。
　動作解析装置３００は、抽出時間割合と目標抽出時間割合との差が所定の閾値以下の場合には、抽出時間割合が目標抽出時間割合に一致したとみなし、抽出結果の表示の処理に移る。例えば、所定の閾値が比較対象動作データの再生時間の平均値の５％であり、当該再生時間の平均値が３０秒である場合、動作解析装置３００は、１.５秒（３０秒×０.０５）の誤差を認めることとなる。そして、目標抽出時間割合として２０％が指定された場合には、動作解析装置３００は、抽出時間割合が４.５秒以上７.５秒以下を満たした時点で、調整処理を完了し、解析結果を表示する。
　本変形例によれば、ユーザは、動作の数ではなく、動作データの長さに対する時間の割合を入力することにより、動作データの長さを特に考慮することなく抽象的に抽出度合いを指定できる。
　なお、動作解析装置３００は、目標抽出時間割合ではなく、抽出時間の目標値の設定を受け付け、実際の抽出時間がこの目標値に一致するようにパラメータ調整を行っても良い。これにより、ユーザは、抽出箇所の再生に要する時間を所望の時間とすることができる。
　（実施の形態１の変形例４）
　実施の形態１の変形例４は、動作の特徴を示す特徴量がＣＨＬＡＣ特徴以外の特徴量であり、動作の抽出に標準動作部分空間との距離以外の情報を用いる例である。
　例えば、動作特徴抽出部３２１は、動作の特徴を示す特徴量としてＳＶＭの特徴量を用い、動作の抽出を１クラスＳＶＭに基づいて行う。ＳＶＭの特徴量および１クラスＳＶＭの算出手法の詳細は、例えば非特許文献１に記載されているため、ここでの説明を省略する。
　この場合、動作解析装置３００が用いる特徴抽出パラメータには、例えば、窓サイズ、ｗａｖｅｌｅｔ展開係数、および主成分分析の累積寄与度が含まれる。また、本変形例に係る動作解析装置３００が用いる動作抽出パラメータには、識別超平面の乖離データの割合、識別超平面のカーネルパラメータ、連続最小時間、および連続最長時間が含まれる。
　なお、動作特徴抽出部３２１は、ＣＨＬＡＣ特徴を用いて１クラスＳＶＭにより動作を抽出することもできる。また、動作特徴抽出部３２１は、動作特徴量だけでなく、他の高次の特徴量を用いて動作を抽出することもできる。
　本変形例によれば、ＣＨＬＡＣ特徴および距離以外の特徴量および情報を用いる動作解析手法において、ユーザは、各パラメータを手動で調整することなく、解析結果の提示量を容易に調整することができる。
　なお、以上説明した各変形例は、任意に組み合わせて実施することが可能である。これにより、上述した各効果を複合的に得ることができる。
　（実施の形態２）
　本発明の実施の形態２は、提示対象とする動作の種別を切り換えることが可能な動作解析装置である。
　図８は、本実施の形態に係る動作解析装置の構成の一例を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
　図８において、動作解析装置３００ｂは、実施の形態１の動作抽出部および動作抽出度調整部に代えて、異なる動作を行う動作抽出部３２２ｂおよび動作抽出度調整部３２４ｂを有し、新たに、抽出種別入力部３２６ｂを有する。
　抽出種別入力部３２６ｂは、入力装置５００を介して、ユーザに提示する動作の種別の指定を受け付け、指定された種別（以下「抽出動作種別」という）を、動作抽出部３２２ｂへ出力する。ここでは、抽出種別入力部３２６ｂは、抽出動作種別として、逸脱動作と、比較対象動作と標準動作との差異が小さい動作（以下「標準レベル動作」という）とのいずれかの指定を受け付けるものとする。
　動作抽出部３２２ｂは、逸脱動作が指定された場合、実施の形態１と同様の動作を行い、標準レベル動作が指定された場合には、標準レベル動作の箇所を標準レベル動作箇所として抽出し、抽出結果を動作抽出度調整部３２４ｂへ出力する。標準レベル動作箇所の抽出手法については後述する。
　動作抽出度調整部３２４ｂは、逸脱動作箇所が入力された場合には、実施の形態１と同様の動作を行う。また、動作抽出度調整部３２４ｂは、標準レベル動作箇所が入力された場合には、逸脱動作の場合とは異なる内容のパラメータ調整によって、抽出数を目標抽出数と一致させる。
　このような構成を有する動作解析装置３００ｂは、標準レベル動作箇所を抽出し、ユーザが指定した提示量で、抽出箇所を提示することができる。
　次に、動作解析装置３００ｂの動作について説明する。
　図９は、動作解析装置３００ｂの動作の一例を示すフローチャートであり、実施の形態１の図３に対応するものである。図３と同一部分には同一符号を付し、これについての説明を省略する。図１０は、動作解析装置３００ｂにおける情報の流れの一例を示す図である。
　まず、ステップＳ１０１０ｂにおいて、動作抽出部３２２ｂは、抽出種別入力部３２６ｂを介して、抽出動作種別を入力し、ステップＳ１１００へ進む。具体的には、例えば、動作抽出部３２２ｂから指示を受けた抽出種別入力部３２６ｂが、動作種別の選択を促す画面を出力装置４００に表示する。そして、抽出種別入力部３２６ｂは、対応して入力装置５００を介して選択された動作種別を、抽出動作種別として動作抽出部３２２ｂに返す。
　そして、動作解析装置３００ｂは、目標抽出数Ｂを入力し、フレーム毎に標準動作特徴量の標準動作部分空間からの距離を算出すると（Ｓ１１００～Ｓ１３００）、ステップＳ２１００ｂへ進む。
　ステップＳ２１００ｂにおいて、動作抽出部３２２ｂは、抽出動作種別が、逸脱動作ではなく標準レベル動作であるか否かを判断する。動作抽出部３２２ｂは、抽出動作種別が逸脱動作である場合には（Ｓ２１００ｂ：ＮＯ）、ステップＳ１４００へ進み、抽出動作種別が標準レベル動作である場合には（Ｓ２１００ｂ：ＹＥＳ）、ステップＳ２２００ｂへ進む。
　ステップＳ２２００ｂにおいて、動作抽出部３２２ｂは、距離に基づいて、標準レベル動作を抽出し、その抽出数（以下、記号Ａを適宜用いる）をカウントして、動作抽出度調整部３２４ｂへ出力する。
　より具体的には、まず、動作抽出部３２２ｂは、比較対象動作データのうち、動作抽出パラメータにより定義される条件を満たす部分を、１つの標準レベル動作箇所として抽出する。そして、動作抽出部３２２ｂは、抽出された標準レベル動作箇所を、抽出数Ａとしてカウントする。
　動作抽出パラメータにより定義される条件は、例えば、距離が所定の距離閾値よりも小さい状態が続き、その継続時間が所定の連続最小時間以上かつ所定の連続最長時間以下であることである。所定の距離閾値は、例えば、比較対象動作データ全体から求められた距離の最大値の４０％である。所定の連続最小時間は、例えば、０.３秒である。所定の連続最小時間は、例えば、比較対象動作データの長さ（複数の場合には平均長さ）の２５％である。
　このような条件を適用することにより、検出ノイズや背景の動きの影響により、標準レベル動作として扱われるべき動作が、提示対象から除外されるのを防ぐことができる。
　そして、図３のステップＳ１５００～Ｓ１８００と同様に、動作抽出度調整部３２４ｂは、抽出数Ａと目標抽出数Ｂとの大小関係に応じて、動作特徴抽出部３２１の特徴抽出パラメータの調整を行う（Ｓ２３００ｂ～Ｓ２６００ｂ）。
　但し、動作抽出度調整部３２４は、Ｓ１７００、Ｓ１８００とは異なる内容で、ステップＳ２５００ｂ、Ｓ２６００ｂにおけるパラメータ修正を行う。すなわち、動作抽出度調整部３２４は、例えば、抽出動作種別が逸脱動作である場合と標準レベル動作である場合のそれぞれについて、抽出数Ａを減少させる場合と増大させる場合のパラメータ調整ルールを格納している。これは、逸脱動作と標準レベル動作とでは、動作抽出パラメータにより定義される条件が上述のように異なり、抽出数Ａを同じ方向に変化させる場合であってもどのパラメータをどのように修正すべきかが異なるからである。
　図１１は、標準レベル動作が選択された場合の動作抽出結果表示画面の一例を示す図であり、実施の形態１の図５に対応するものである。図５と同一部分には同一符号を付し、これについての説明を省略する。
　この場合、図１１に示すように、結果表示画面６１０は、解析結果表示領域６１１に、標準レベル動作箇所である抽出箇所を示すマーカ６１９を表示する。このような結果表示画面６１０により、ユーザは、標準レベル動作箇所を素早くピックアップし、標準レベル動作を、画像で素早く確認することができる。また、指定した数で標準レベル動作箇所がピックアップされるので、ユーザは自己の望む量の解析結果の提示を受けることができる。
　このように、本実施の形態に係る動作解析装置３００ｂは、逸脱動作のみならず、標準レベル動作をも、ユーザが指定した提示量で提示することができる。また、提示対象となる動作の種別をユーザの指定に従って切り換えることができる。したがって、ユーザは、比較対象となる動作について、より深い解析を行うことができる。
　なお、動作解析装置３００ｂは、逸脱動作箇所と標準レベル動作箇所の両方を抽出し、両方の抽出結果を、同時にまたは切り換えて提示しても良い。動作解析装置３００ｂは、逸脱動作箇所と標準レベル動作箇所とを解析結果表示領域６１１（図５参照）に同時に表示する場合には、色が異なるなど表示形態の異なるマーカ６１９を表示することが望ましい。また、動作解析装置３００ｂは、常に標準レベル動作箇所のみを提示するようにしても良い。
　また、本実施の形態は、実施の形態１で説明した各種変形例と任意に組み合わせて実施することが可能である。
　但し、動作の面積を利用した標準レベル動作箇所の抽出が行われる場合には、動作の面積Ｓは、以下の式（３）で表される値とする。そして、動作抽出度調整部３２４ｂは、修正前抽出箇所を、動作の面積が小さいものから順に、目標抽出数Ｂに一致する個数まで選択し、選択した抽出箇所で確定する。
Figure JPOXMLDOC01-appb-M000003
　（実施の形態３）
　本発明の実施の形態３は、動作の特徴を示す特徴量がＣＨＬＡＣ特徴における時間重みであり、動作の抽出に時間重みを用いる動作解析装置である。
　図１２は、本実施の形態に係る動作解析装置の構成の一例を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
　図１２において、動作解析装置３００ｃは、実施の形態１の動作特徴抽出部および動作抽出部に代えて、異なる動作を行う動作特徴抽出部３２１ｃおよび動作抽出部３２２ｃを有する。
　動作特徴抽出部３２１ｃは、ＣＨＬＡＣ特徴に時間重みを適用した値を積分することにより、動作データ全体に関する特徴量である映像特徴を算出する手法において、フレーム毎に重みを定義する重みマップを学習する（非特許文献２参照）。そして、動作特徴抽出部３２１ｃは、学習した重みマップを、動作抽出部３２２ｃへ出力する。
　動作抽出部３２２ｃは、重みマップに含まれるフレーム毎の重みに基づいて、逸脱動作を抽出し、抽出結果を動作抽出度調整部３２４へ出力する。
　このような構成を有する動作解析装置３００ｃは、ＣＨＬＡＣ特徴に時間重みを適用した映像特徴の重みマップに基づいて、逸脱動作箇所を抽出し、ユーザが指定した提示量で、抽出箇所を提示することができる。
　図１３は、動作解析装置３００ｃの動作の一例を示すフローチャートであり、実施の形態１の図３と対応するものである。図３と同一部分には同一ステップ番号を付し、これについての説明を省略する。
　逸脱動作の目標抽出数Ｂが入力されると（Ｓ１１００）、動作解析装置３００ｃは、ステップＳ１２００ｃへ進む。
　ステップＳ１２００ｃにおいて、動作特徴抽出部３２１ｃは、標準動作データから、フレーム毎にＣＨＬＡＣ特徴を抽出する。
　そして、ステップＳ１３００ｃにおいて、動作特徴抽出部３２１ｃは、比較対象動作データから、フレーム毎にＣＨＩＬＡＣ特徴を抽出して重みマップを学習し、学習した重みマップを、動作抽出部３２２ｃへ出力する。
　具体的には、動作特徴抽出部３２１ｃは、抽出した標準動作および比較対象動作の一連の各ＣＨＬＡＣ特徴から、映像特徴を抽出するための時間重みの重みマップ（フレーム毎の重み）を、例えばフィッシャー判別基準により学習する。重みマップの学習に用いられる特徴抽出パラメータには、時間的な伸縮を吸収するために導入したフーリエ級数展開に伴う基底関数の数が含まれる。
　動作特徴抽出部３２１ｃは、実施の形態１と同様にパラメータ調整を行う。したがって、重み付けの最適化は、学習データだけではなく、目標抽出数にも基づいて行われることになる。最適化された各重みは、動作に差があるフレームほど大きくなるという特性を有し、かつ、動作を時系列に評価しつつ各動作データの長さの違いを吸収するという効果を有する。映像特徴および重みマップの学習手法の詳細は、例えば特許文献２に記載されているため、ここでの説明を省略する。
　そして、ステップＳ１４００ｃにおいて、動作抽出部３２２ｃは、重みに基づいて、逸脱動作を抽出し、その抽出数（以下、記号Ａを適宜用いる）をカウントして、動作抽出度調整部３２４へ出力する。
　より具体的には、まず、動作抽出部３２２ｃは、比較対象動作データのうち、動作抽出パラメータにより定義される条件を満たす部分を、１つの逸脱動作箇所として抽出する。そして、動作抽出部３２２ｃは、抽出された逸脱動作箇所を、抽出数Ａとしてカウントする。
　動作抽出パラメータにより定義される条件は、例えば、重みが所定の重み閾値よりも大きい状態が続き、その継続時間が所定の連続最小時間以上かつ所定の連続最長時間以下であることである。所定の重み閾値は、例えば、比較対象動作データ全体から求められた重みの最大値の６０％である。所定の連続最小時間は、例えば、０.３秒である。所定の連続最小時間は、例えば、比較対象動作データの長さ（複数の場合には平均長さ）の２５％である。
　そして、図３のステップＳ１５００～Ｓ１８００と同様に、動作抽出度調整部３２４ｃは、抽出数Ａと目標抽出数Ｂとの大小関係に応じて、動作特徴抽出部３２１の特徴抽出パラメータの調整を行う。但し、動作抽出度調整部３２４ｃは、Ｓ１７００、Ｓ１８００とは異なる内容で、ステップＳ１７００ｃ、Ｓ１８００ｃにおけるパラメータ修正を行っても良い。
　例えば、動作抽出度調整部３２４ｃは、抽出数Ａを減少させる方向に変化させる場合、重みマップの学習に用いられる基底関数の数を１少なくする。この場合、動作抽出度調整部３２４ｃは、予め定められた記述方式に従って、例えば、Ａ＞Ｂ：ｂｆ＝－１と記述されたパラメータ調整ルールを格納する。ここで、基底関数以外の抽出数Ａを減少させるためのパラメータ調整は、より大きな特徴が抽出されるようにパラメータを調整する内容である。例えば、パラメータ調整は、解像度を５％下げ、フレームレートを２倍にし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を２倍にし、主成分分析の累積寄与度を１％下げ、窓サイズを５増加させる等の調整を同時に行う内容であっても良い。
　また、例えば、動作抽出度調整部３２４ｃは、抽出数Ａを増大させる方向に変化させる場合、重みマップの学習に用いられる基底関数の数を１多くする。この場合、動作抽出度調整部３２４ｃは、予め定められた記述方式に従って、例えば、Ａ＜Ｂ：ｂｆ＝＋１と記述されたパラメータ調整ルールを格納する。ここで、基底関数の数以外の抽出数Ａを増大させるためのパラメータ調整は、より小さな特徴が抽出されるようにパラメータを調整する内容である。例えば、パラメータ調整は、解像度を５％増加させ、フレームレートを０.５倍にし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を０.５倍にし、主成分分析の累積寄与度を１％上げ、窓サイズを５減少させる等の調整を同時に行う内容であっても良い。
　このような動作により、動作解析装置３００ｃは、重みが大きい箇所を逸脱動作箇所として抽出することができる。
　以上説明したように、本実施の形態に係る動作解析装置３００ｃは、映像特徴の抽出において学習される重みに基づいて逸脱動作を抽出し、ユーザが指定した提示量で抽出結果を提示することができる。映像特徴の抽出において学習される重みは、個々の動作が正しくても動作が行われる順番が異なるような箇所において高くなる。したがって、動作解析装置３００ｃを用いることにより、動作に対する時系列的な評価を、簡単に行うことができる。
　なお、本実施の形態は、実施の形態１で説明した各種変形例および実施の形態２と任意に組み合わせて実施することが可能である。また、本実施の形態は、実施の形態２のように、特徴抽出パラメータを修正せず、動作抽出パラメータのみを修正しても良い。
　但し、動作の面積を利用した逸脱動作箇所の抽出が行われる場合には、動作の面積は、抽出箇所の重みのうち重み閾値を超える部分の時間積分となる。また、動作の面積を利用して標準レベル動作箇所の抽出を行う場合には、動作の面積は、抽出箇所の重みの時間積分となる。
　例えば、本実施の形態と実施の形態２とを組み合わせる場合、特徴抽出パラメータと動作抽出パラメータとの両方が修正され得る。この場合、抽出数Ａを減少させるためのパラメータ調整ルールは、より大きな特徴を抽出するために、次のようにパラメータを調整する内容である。例えば、パラメータ調整ルールは、解像度を５％増加させ、フレームレートを２倍にし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を２倍にし、主成分分析の累積寄与度を１％下げ、窓サイズを５増加させる内容である。また、このパラメータ調整ルールは、動作抽出パラメータに対して、重み閾値を５％下げ、連続最小時間を０.２秒増加させ、連続最長時間を１％増加させ、基底関数の数を１少なくする内容である。この場合、パラメータ調整ルールは、予め定められた記述方式に従って、例えば、Ａ＞Ｂ：ｒ＝＋５；ｆｓ＝ｘ２；ｐｓ＝ｘ２；ａｃｒ＝－１；ｗｓ＝＋５；ｗ＝－５；ｍｉｎｔ＝＋０.２；ｍａｘｔ＝＋０．１；ｂｆ＝－１、と記述される。
　（実施の形態４）
　本発明の実施の形態４は、複数の異なる提示量のレベルの中からユーザによって指定されたレベルで、解析結果の提示を行う動作解析装置である。
　図１４は、本実施の形態に係る動作解析装置の構成の一例を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
　図１４において、動作解析装置３００ｄは、実施の形態１の動作特徴抽出部、提示量入力部、および動作抽出度調整部に代えて、異なる動作を行う動作特徴抽出部３２１ｄ、提示量入力部３２３ｄ、および動作抽出度調整部３２４ｄを有する。また、動作解析装置３００ｄは、新たに、動作解析初期値設定部３２７ｄを有する。動作解析初期値設定部３２７ｄは、例えば、動作データ入力部３１０に配置される。
　動作解析初期値設定部３２７ｄは、予め定義された複数の異なる提示量のレベル（以下「抽出レベル」という）のそれぞれに対応して、各パラメータの初期値（以下「パラメータ初期値」という）と目標抽出数とを設定する。具体的には、動作解析初期値設定部３２７ｄは、予め定義された抽出レベルに対応して、標準動作データに基づいて、パラメータ初期値と目標抽出数とを算出し、設定する。
　なお、本実施の形態では、動作抽出パラメータは固定のデフォルト値を用いるものとして説明を行う。また、抽出レベルとして、提示量が少ない低レベル、提示量が中程度である中レベル、提示量が多い高レベルの３つのレベルが定義されているものとする。
　提示量入力部３２３ｄは、入力装置５００を介して、ユーザから抽出レベルの指定を受け付け、指定された抽出（以下「目標抽出レベル」という）を、動作特徴抽出部３２１ｄおよび動作抽出度調整部３２４ｄへ出力する。
　動作特徴抽出部３２１ｄは、ユーザが指定した抽出レベルのパラメータ初期値を特徴抽出パラメータに適用して、特徴量の抽出を行う。特徴抽出パラメータの値は、その後、動作抽出度調整部３２４ｄによって適宜調整される。
　動作抽出度調整部３２４ｄは、抽出数が動作解析初期値設定部３２７ｄによって算出された目標抽出数と一致しないとき、一致するように、動作特徴抽出部３２１の特徴抽出パラメータを調整する。
　このような構成を有する動作解析装置３００ｄは、解析結果として、ユーザから指定された抽出レベルで逸脱動作箇所をユーザに提示することができる。また、動作解析装置３００ｄは、標準動作データに基づいて抽出レベル毎に適切なパラメータ初期値および目標抽出数を設定するので、解析結果を提示するまでの時間を短縮することができる。
　以下、動作解析装置３００ｄの動作について説明する。
　図１５は、動作解析装置３００ｄの動作の一例を示すフローチャートであり、実施の形態１の図３に対応するものである。図３と同一部分には同一ステップ番号を付し、これについての説明を省略する。図１６は、本実施の形態に係る動作解析装置３００ｄにおける情報の流れの一例を示す図である。
　まず、ステップＳ１０２０ｄにおいて、動作解析初期値設定部３２７ｄは、入力装置５００を介して、ユーザから標準動作数（以下、記号Ｊを適宜用いる）を入力し、標準動作数Ｊを動作特徴抽出部３２１ｄへ出力する。ここで、標準動作数とは、動作データ入力部３１０が入力する標準動作データに含まれる動作の個数であり、例えば、熟練作業者が手を前方へ伸ばす回数である。標準動作数は、解析の対象となるべき動作の量の目安となるものであり、例えば、標準動作データが長い場合や動作が忙しく行われる場合には、大きくなる傾向がある。
　そして、ステップＳ１０３０ｄにおいて、動作解析初期値設定部３２７ｄは、標準動作数Ｊに基づいて、選択中の抽出レベルのパラメータ初期値および目標抽出数Ｂを算出する。そして、動作解析初期値設定部３２７ｄは、算出したパラメータ初期値を、選択中の抽出レベルのパラメータ初期値に設定し、動作特徴抽出部３２１ｄへ出力する。また、動作解析初期値設定部３２７ｄは、算出した目標抽出数Ｂを、選択中の抽出レベルの目標抽出数Ｂに設定し、動作抽出度調整部３２４ｄへ出力する。
　どのようにパラメータ初期値および目標抽出数Ｂを算出するかは、抽出レベル毎に、初期値算出ルールとして、動作解析初期値設定部３２７ｄに格納されている。初期値算出ルールは、予め格納されていても良いし、ユーザにより手入力されても良いし、必要に応じてネットワーク等を介して外部から取得されても良い。
　例えば、低レベルに対応する初期値算出ルールは、例えば、解像度を３２１×２４０とし、フレームレートを２／３倍にし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を３とし、主成分分析の累積寄与度を９６％とし、窓サイズをフレームレートに動作の平均長さを乗じて標準動作数Ｊで割った値とし、目標抽出数Ｂを標準動作数Ｊに０.２を乗じた値とする内容である。
　また、例えば、中レベルに対応する初期値算出ルールは、解像度を６４０×４８０とし、フレームレートをそのままとし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を３とし、主成分分析の累積寄与度を９７％とし、窓サイズをフレームレートに動作の平均長さを乗じて標準動作数Ｊで割った値とし、目標抽出数Ｂを標準動作数Ｊに０.３を乗じた値とする内容である。
　また、例えば、高レベルに対応する初期値算出ルールは、解像度を１２８０×９６０とし、フレームレートをそのままとし、ＣＨＬＡＣマスクパターンの参照点からの画素間隔を２とし、主成分分析の累積寄与度を９８％とし、窓サイズをフレームレートに動作の平均長さを乗じて標準動作数Ｊで割った値とし、目標抽出数Ｂを標準動作数Ｊに０.４を乗じた値とする内容である。
　なお、動作の平均長さは、例えば、標準動作データの平均再生時間を標準動作数Ｊで割ることにより得られる時間長さである。
　ここでは、上述の初期値算出ルールが適用され、元の標準動作データにおいて、標準動作数Ｊが１０、平均再生時間が２０秒、フレームレートが３０ｂｐｓである場合を想定する。このとき、フレームレートの初期値は、低レベルにおいて２０ｂｐｓ、中レベルおよび高レベルにおいて３０ｂｐｓとなり、窓サイズは、低レベルにおいて４０、中レベルにおいて６０、高レベルにおいて３０ｂｐｓとなる。また、目標抽出数Ｂは、低レベルにおいて２、中レベルにおいて３、高レベルにおいて４となる。
　ここで、比較対象動作データの平均再生時間の方が、標準動作データの平均再生時間より長かった場合は、一般作業者の熟練度が低いために動作の平均速度が遅いことが考えられる。この場合は、動作解析初期値設定部３２７ｄは、比較対象動作特徴量の抽出に用いる窓サイズの算出に、標準動作データの平均再生時間ではなく、比較対象動作データの平均再生時間を用いても良い。但し、比較対象動作データの平均再生時間の方が、標準動作データの平均再生時間より長い場合でも、一般作業者が余計な動作をしている可能性もある。従って、動作解析初期値設定部３２７ｄは、同じ窓サイズ（標準動作データの平均再生時間に基づいて算出される窓サイズ）を用いて、比較対象動作特徴量の抽出を行っても良い。
　そして、ステップＳ１０４０ｄにおいて、動作特徴抽出部３２１ｄおよび動作抽出度調整部３２４ｄは、提示量入力部３２３ｄを介して、目標抽出レベル（以下、記号Ｋを適宜用いる）を入力する。具体的には、例えば、動作特徴抽出部３２１ｄまたは動作抽出度調整部３２４ｄから指示を受けた提示量入力部３２３ｄが、抽出レベルの選択を促す画面を出力装置４００に表示する。そして、提示量入力部３２３ｄは、対応して入力装置５００を介して選択された抽出レベルを、目標抽出レベルＫとして動作特徴抽出部３２１ｄおよび動作抽出度調整部３２４ｄに返す。
　この結果、動作特徴抽出部３２１ｄおよび動作抽出度調整部３２４ｄは、目標抽出レベルＫに対応するパラメータ初期値および目標抽出数Ｂを採用する。そして、動作解析装置３００ｄは、採用したパラメータ初期値および目標抽出数Ｂを用いて解析処理行い、解析結果を提示して（Ｓ１２００～Ｓ１９００）、ステップＳ１９１０ｄへ進む。
　ステップＳ１９１０ｄにおいて、動作解析装置３００ｄは、ユーザ操作等により同じ標準動作での解析処理の終了を指示されたか否かを判断する。動作解析装置３００ｄは、同じ標準動作での解析処理の終了を指示されない場合には（Ｓ１９１０ｄ：ＹＥＳ）、ステップＳ１０４０ｄへ戻る。また、動作解析装置３００ｄは、同じ標準動作での解析処理の終了を指示された場合には（Ｓ１９１０ｄ：ＮＯ）、ステップＳ２０００へ進む。
　このような動作により、動作解析装置３００ｄは、ユーザから指定された抽出レベルで、つまり標準動作データの再生時間や標準動作数に応じた適切な提示量で、解析結果の提示を行うことができる。
　以上説明したように、本実施の形態に係る動作解析装置３００ｄは、標準動作データに基づいて提示レベル毎にパラメータ初期値および目標抽出数を設定し、指定された抽出レベルで解析処理を行う。これにより、動作解析装置３００ｄは、単一のデフォルト値のみパラメータ初期値として用いる場合に比べて、適切な値から処理を開始することができ、処理の高速化を図ることができるだけでなく、解析結果の精度を向上させることができる。また、動作解析装置３００ｄは、標準動作データの再生時間や標準動作数等に応じて各抽出レベルの提示量を調整することができる。また、ユーザは、数や割合の数値を入力するのではなく、抽出レベルといった抽象的な選択肢を選ぶ操作を行うことにより、提示量を調整することができるので、より直感的に操作を行うことができる。
　なお、動作解析装置３００ｄは、２つまたは４つ以上の抽出レベルを定義しても良い。
　また、動作解析装置３００ｄは、予め複数または全ての抽出レベルについて解析処理を行っておき、複数の解析結果を、同時にまたは切り換えて表示しても良い。
　また、動作解析装置３００ｄは、デフォルトで１つの抽出レベルに対応する処理のみを実行するようにしても良い。この場合、目標抽出レベルの入力は不要となる。この場合でも、適切なパラメータ値から処理を開始することができ、処理の高速化を図ることができる。
　例えば、特に本実施の形態と実施の形態２とを組み合わせる場合、特徴抽出パラメータと動作抽出パラメータとの両方について初期値が設定され得る。以下、動作抽出パラメータについての初期値算出ルールの例およびその算出結果の例を示す。
　例えば、低レベルに対応する初期値算出ルールは、距離閾値を距離の最大値の６５％とし、連続最小時間を動作の平均長さに０.５を乗じた値とし、連続最大時間をそのままとし、基底関数の数を５とする内容である。
　また、例えば、中レベルに対応する初期値算出ルールは、距離閾値を距離の最大値の６０％とし、連続最小時間を動作の平均長さに０.５を乗じた値とし、連続最大時間をそのままとし、基底関数の数を５とする内容である。
　また、例えば、高レベルに対応する初期値算出ルールは、距離閾値を距離の最大値の５０％とし、連続最小時間を動作の平均長さに０.２５を乗じた値とし、連続最大時間を動作の平均長さに０.７５を乗じた値とし、基底関数の数を８とする内容である。
　ここでは、上述の初期値算出ルールが適用され、元の標準動作データにおいて、標準動作数Ｊが１０、平均再生時間が２０秒である場合を想定する。このとき、連続最小時間の初期値は、低レベルおよび中レベルにおいて１秒、高レベルにおいて０.５秒となり、連続最大時間は、低レベルおよび中レベルにおいて２秒、高レベルにおいて１.５秒となる。
　なお、以上説明した各実施の形態では、動作データを動画像データとしたが、これに限定されない。動作データとして、動作から得られる距離データ、温度データ、加速度データ、磁気データ、音データ等、動作の特徴を示す特徴量を抽出可能な各種データを採用することができる。これらの場合、センサ装置は、距離センサ、温度センサ、加速度センサ、および磁気センサ、集音センサ等の適切な装置とする必要がある。
　また、動作解析装置は、解析結果の提示を、画面表示と併せて、または画面表示に代えて、音声出力により行っても良い。この場合、主力装置を、ラウドスピーカ等とする必要がある。
　（実施の形態５）
　ＣＨＬＡＣ特徴量の位置毎の時間積分値を用いて、主成分分析等により動作評価を行う動作評価手法が、例えば特許文献２に記載されている。特許文献２の方法を用いることにより、少ない処理負荷で、映像において比較対象動作と標準動作との差異の程度が大きい位置を、ユーザに提示することができる。
　ところで、例えば、ピアノ演奏において親指でドの音を弾いて次に中指でミの音を弾くのが正しい動作であるときに、中指でミの音を弾いて次に親指でドの音を弾くと、異なる曲になってしまう。したがって、このような動作が行われたとき、映像における中指の位置と親指の位置とを提示することが望まれる。
　また、例えば、製品の組み立て工程におけるねじ締め動作が、正しい順番と異なる順番で行われている場合にも、比較対象動作の映像におけるその動作が行われている位置を提示することが望まれる。ねじ締めの順番は、製品の安全性や作業効率に関わる重要な問題だからである。
　すなわち、個々の動作は正しいけれども動作の順序が異なるような一連の動作（以下「順序違い動作」という）が発生している場合に、その動作の位置が提示されることが望ましい。
　しかしながら、非特許文献２記載の方法では、順序違い動作の時間を抽出することはできても、順序違い動作の位置を自動で抽出することはできない。なぜなら、非特許文献２記載の方法は、ＣＨＬＡＣ特徴量を空間積分した、位置不変の値を用いるからである。
　また、特許文献２記載の方法では、個々の動作は正しいことから、順序違い動作の発生をそもそも検出することができない。なぜなら、特許文献２記載の方法は、ＣＨＬＡＣ特徴量を時間積分した、時間不変の値を用いるからである。
　時間を細かく区切って特許文献２記載の方法を適用すれば、区切られた時間毎に、順序違い動作の位置を抽出することは可能である。ところが、このような処理は煩雑であるため、特に、標準動作の映像データと比較対象動作の映像データとで時間長さが異なる場合に、装置の処理負荷が高くなる。すなわち、従来技術には、順序違い動作の位置を容易に抽出することができないという課題がある。
　そこで、本発明の実施の形態５として、順序違い動作の位置を容易に抽出することができるようにした動作解析装置について説明する。
　以下、本発明の実施の形態５について、図面を参照して詳細に説明する。
　図１７は、本発明の実施の形態５に係る動作解析装置を含む動作解析システムの構成の一例を示すシステム構成図である。
　本実施の形態は、実施の形態１～実施の形態４と同様に、本発明を、熟練作業者と一般作業者とが働く工場において各一般作業者の動作を解析するためのシステムに適用した例として説明する。但し、本実施の形態における動作解析システムは、一般作業者と熟練作業者とで大きく異なる動作の位置を抽出する。
　図１７において、本実施の形態に係る動作解析システム１００ｅは、センサ装置２００、本実施の形態に係る動作解析装置３００ｅ、出力装置４００、入力装置５００を有する。
　センサ装置２００は、人の動作を検出する装置である。センサ装置２００は、作業者の動作を計測したデータを、動作解析装置３００ｅへ出力する。ここでは、センサ装置２００は、撮影した画像の画像フレームデータ（動画像データ）をリアルタイムに出力するカメラであり、工場の組み立てラインに並んで作業する各作業者を個別に撮影可能であるものとする。
　以下、実施の形態１～実施の形態４と同様に、熟練作業者による一連の標準動作を撮影した時系列のフレームデータを「標準動作データ」といい、一般対象者による一連の比較対象動作を撮影した時系列のフレームデータを「比較対象動作データ」という。また、標準動作データおよび比較対象動作データは、適宜「動作データ」と総称する。また、比較対象動作データを構成するフレームのうち、１つの解析の対象となる連続した複数のフレームを、「対象フレーム」という。
　また、本実施の形態における動作解析システム１００ｅは、画像特徴量に基づいて、動作解析を行う。本実施の形態では、画像特徴量として、非特許文献２に開示されているＣＨＬＡＣ特徴を用いる。
　本実施の形態において、標準動作データから得られる画像特徴量は「標準特徴量」といい、標準動作データから得られる標準特徴量のデータは、「標準特徴量データ」という。また、比較対象動作データから得られる画像特徴量は、「比較対象特徴量」といい、比較対象動作データから得られる比較対象特徴量のデータは、「比較対象特徴量データ」という。また、標準特徴量データおよび比較対象特徴量データは、適宜「特徴量データ」と総称する。
　動作解析装置３００ｅは、標準動作との比較により比較対象動作の解析を行う装置である。動作解析装置３００ｅは、比較対象特徴量データと標準特徴量データとから、各時刻の画像における比較対象動作と標準動作との差異（以下、適宜「動作の差異」という）の大きさを表す値である時間重みを抽出する。次に、動作解析装置３００ｅは、抽出した時間重みを用いて、比較対象特徴量データと標準特徴量データのそれぞれの重み付き位置特徴量を算出する。
　ここで、時間重みとは、各時刻の標準特徴量および比較対象特徴量から算出された、時刻毎の画像特徴量の違いの度合いを示す。時間重みは、ある時刻においてその値が高ければ、その時刻の標準特徴量と比較対象特徴量との差異が大きいことを示し、ある時刻においてその値が少なければ、その時刻の標準特徴量と比較対象特徴量との差異が小さいことを示す。
　動作解析装置３００ｅは、例えば、時刻毎に、標準特徴量から標準部分空間を生成しておき、標準部分空間と比較対象特徴量との距離を算出して、各時刻の時間重みを求める。標準部分空間との距離の算出方法は公知の技術である。
　例えば、各動作データは、各動作データ開始点を時刻ｔ＝０とし、毎秒３０フレームの画像が３００ｅフレーム分（１０秒分）存在するとする。この場合、窓サイズを１とすると、窓毎のＣＨＬＡＣ特徴量は、２９８個取ることができる（ひとつのＣＨＬＡＣ特徴量を算出するのに３フレーム必要なため）。ここで、標準動作データが３０フレーム分ある場合、動作解析装置３００ｅは、窓毎に、標準動作データから、ＣＨＬＡＣ特徴量のフレーム時刻である１／３０秒から９＋２８／３０秒までの２９８個の標準部分空間を算出する。次に、動作解析装置３００ｅは、それぞれの標準部分空間に対する比較対象特徴量の距離に基づき、時間重みを求める。例えば、動作解析装置３００ｅは、ここで求めた２９８個の距離を、平均０、分散１で標準化した値を、各時刻の時間重みの値としてもよい。
　なお、ここでは、各時刻の画像特徴量に各フレームの画像特徴量をそのまま適用する例を説明したが、動作データによってフレーム数が異なる場合には、動作解析装置３００ｅは、時間的な伸縮を吸収するようにしてもよい。具体的には、例えば、動作解析装置３００ｅは、標準動作データの平均時間を基準に、フレーム間隔を伸縮させることによって各動作データの時刻を換算時刻に変換した後、必要な換算時刻の画像特徴量を推定して、上記処理を行う。
　例えば、画像特徴量の抽出は、フレームレートＦを毎秒２０フレーム（フレーム間隔Ｄ＝０.０５秒）として行う。また、標準動作データの平均時間ｐは、１０秒（２００フレーム）であり、ある標準動作データの時間ｑは、８秒（１６０フレーム）とする。この場合、その標準動作のフレーム間隔は、Ｄ’＝０.０６２５秒（＝ｐ／Ｆｑ）に換算される。そして、例えば、１番目のフレームの換算時刻はｔ＝０、２番目のフレームの換算時刻はｔ＝０.０６２５、ｊ番目のフレームの換算時刻はｔ＝０.０６２５（ｊ－１）＝ｐｊ／Ｆｑとなる。
　ここで、動作解析装置３００ｅは、ｊ番目のフレームの換算時刻Ｄ（ｊ－１）の画像特徴量を、換算時刻Ｄ（ｊ－１）に一番近い換算時刻のフレームの画像特徴量を用いて算出しても良い。また、動作解析装置３００ｅは、ｊ番目のフレームの換算時刻Ｄ（ｊ－１）の画像特徴量を、隣接する二つのフレームの画像特徴量から推定により算出しても良い。
　例えば、動作解析装置３００ｅは、換算時刻ｔ＝０.５の画像特徴量を求める場合、換算時刻ｔ＝０.５の８番目のフレームの画像特徴量を利用する。また、動作解析装置３００ｅは、換算時刻ｔ＝０.５５の画像特徴量を、換算時刻が一番近い換算時刻ｔ＝０.５６２５の９番目のフレームの値を用いて算出しても良い。また、動作解析装置３００ｅは、時刻ｔ＝０.５５と隣接する８番目と９番目のフレームから推定して算出してもよい。
　動作解析装置３００ｅは、換算時刻が一番近いフレームの画像特徴量を用いる場合、動作データの長さの違いを吸収しつつ処理負荷を軽減することができる。また、動作解析装置３００ｅは、推定により算出を行う場合、より正確な結果を出すことができる。
　図１８は、推定により画像特徴量を算出する方法の一例を示す図である。
　図１８に示すように、換算時刻ｎは、換算時刻ｔ＝０.５６２５（９番目のフレーム）、換算時刻ｍは、換算時刻ｔ＝０.５（８番目のフレーム）とする。ここでは、換算時刻ｔ＝０.５５である換算時刻ｋの画像特徴量を推定するものとする。
　ここで、例えば、画像特徴量の算出は、換算時刻ｎのフレームの２５１次元の画像特徴量をＶｎとし、換算時刻ｍのフレームの２５１次元の画像特徴量をＶｍとし、換算時刻ｋのフレームの２５１次元の画像特徴量をＶｋとする。
　この場合、動作解析装置３００ｅは、例えば、画像特徴量Ｖｎ、Ｖｍから、以下の式（４）を用いて、画像特徴量Ｖｋの次元毎に、画像特徴量Ｖｋを算出する。
Figure JPOXMLDOC01-appb-M000004
　すなわち、動作解析装置３００ｅは、図１８に示す時間と値の差分との比例関係を想定して、画像特徴量Ｖｋを推定する。
　例えば、画像特徴量Ｖｎの第１次元の値が４５０００で、画像特徴量Ｖｍの第１次元の値が４００００であるとする。この場合、動作解析装置３００ｅは、画像特徴量Ｖｋの第１次元の値として、４００００＋（４５０００－４００００）×０.０５／０.６２５＝４０４００を算出する。動作解析装置３００ｅは、残りの２５０次元の値についても、同様に算出する。
　ここでは、画像特徴量として２５１次元の値を算出する方法を説明したが、動作解析装置３００ｅは、主成分分析を行って次数を削減した後の値を用いて推定してもよい。こうすることで、計算量が削減される。また、ここでは、２点を用いて一次関数による推定を行うとしたが、動作解析装置３００ｅは、多数の点を用いて二次関数や三角関数など他の関数を用いて推定を行っても良い。こうすることで、さらに推定精度の向上が見込まれる。
　動作解析装置３００ｅは、このような方法により、標準動作データおよび比較対象動作データの全て、および標準部分空間を作成する換算時刻の全てについて、画像特徴量を算出する。その後、動作解析装置３００ｅは、推定を行わない場合と同様に、標準動作データから算出した画像特徴量から、時間重みを算出する時刻ごとに標準部分空間を生成する。次に、動作解析装置３００ｅは、それぞれの標準部分空間と、対応する比較対象動作データから算出した画像特徴量との距離を算出して、時間重みとする。
　また、重み付き位置特徴量とは、時間重みを特徴量データに適用した値の、位置毎の時間積分である。重み付き位置特徴量は、言い換えれば、時間重み対応画素対応ＣＨＬＡＣ特徴量である。つまり、重み付き位置特徴量は、特定画素の近傍の画素の濃淡値の積に時間重みを付与し、対象フレーム全体に対して足し合わせて得られる、非常に局所的な特徴量である。例えば、時間重みの付加されていない画素対応ＣＨＬＡＣ特徴量に関しては、非特許文献３に記載されているので説明は省略する。
　そして、動作解析装置３００ｅは、時間重みと比較対象特徴量データとから得られた重み付き位置特徴量のデータと、時間重みと標準特徴量データとから得られた重み付き位置特徴量のデータとを取得する。次に、動作解析装置３００ｅは、取得した重み付き位置特徴量のデータと重み付き位置特徴量のデータとから、比較対象動作の標準動作との差異の大きさを表す値である位置重みを抽出する。なお、以下、比較対象特徴量データの重み付き位置特徴量のデータは、以下「比較対象位置特徴量データ」といい、標準特徴量データの重み付き位置特徴量のデータは以下「標準位置特徴量データ」という。更に、動作解析装置３００ｅは、各位置の位置重みを、比較対象動作の映像における各位置の重要度として示す結果表示画面のデータを生成し、出力装置４００へ出力する。なお、以下、標準位置特徴量データおよび比較対象位置特徴量データは、適宜「位置特徴量データ」と総称する。
　ここで、位置重みとは、位置特徴量データの差異について、各画素のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された、映像面上の位置の重みを指す。
　なお、動作データによって画像サイズが異なる場合には、動作解析装置３００ｅは、画素数の増減により画像サイズの違いを吸収するようにしてもよい。具体的には、例えば、動作解析装置３００ｅは、標準動作データの画素数を基準に、画像サイズを伸縮させることによって各動作データの位置を換算位置に変換した後、必要な換算位置の画像特徴量を推定して、上記処理を行う。
　動作解析装置３００ｅは、ＣＰＵおよびＲＡＭ等の記憶媒体、動画像データを取り込むビデオキャプチャを有するコンピュータとする。すなわち、動作解析装置３００ｅは、記憶する制御プログラムをＣＰＵが実行することによって動作する。
　出力装置４００は、動作解析装置３００ｅから入力されるデータに基づいて、結果表示画面を出力する。ここでは、出力装置４００は、液晶ディスプレイを有するモニタであるものとする。なお、出力装置４００は、遠隔地に配置された装置（遠隔監視装置、携帯電話機等）であっても良い。この場合、出力装置４００は、例えば、インターネット等のネットワークを介して動作解析装置３００ｅと接続される。
　入力装置５００は、ユーザが動作解析装置３００ｅを操作するためのインタフェースである。ここでは、入力装置５００は、例えば、ポインティングデバイスとしてのマウスと、キーボードである。
　このような動作解析システム１００ｅは、まず、時間軸での動作の差異の大きさを示す時間重みを算出する。次に、動作解析システム１００ｅは、時間重みを特徴量データに適用して得られる位置特徴量データから、映像面（フレーム毎の空間）での動作の差異の大きさを示す位置重みを算出する。そして、動作解析システム１００ｅは、算出した位置重みを、比較対象動作の映像における各位置の重要度として示す結果表示画面を生成し、ユーザに提示する。これにより、動作解析システム１００ｅは、順序違い動作であっても、処理負荷を低減可能であることおよび加法性等のＣＨＬＡＣ特徴量の利点を活かし、その動作の位置を容易に抽出してユーザに提示することができる。
　次に、動作解析装置３００ｅの構成について説明する。
　図１９は、動作解析装置３００ｅの構成の一例を示すブロック図である。
　図１９において、動作解析装置３００ｅは、動作データ入力部３１０、時間重み抽出部３３１ｅ、重み付き位置特徴量抽出部３３２ｅ、位置重み抽出部３３３ｅ、および表示情報生成部３５０を有する。
　動作データ入力部３１０は、時間重み抽出部３３１ｅからの要求に応じて、センサ装置２００から動作データを取得し、時間重み抽出部３３１ｅおよび表示情報生成部３５０へ転送する。動作データの転送は、リアルタイムで行われても良いし、動作データを格納してから行われても良い。また、動作データ入力部３１０は、センサ装置２００から入力する動作データを、入力装置５００のユーザ操作を受けて、入力時または入力後に標準動作データと比較対象動作データとのいずれかに分類する。動作データ入力部３１０は、一旦入力した標準動作データを、再使用のために格納しておいても良い。
　時間重み抽出部３３１ｅは、動作データから画像特徴量を抽出し、特徴量データ（標準特徴量データおよび比較対象特徴量データ）を生成する。そして、時間重み抽出部３３１ｅは、生成した標準特徴量データおよび比較対象特徴量データから、時間重みを抽出し、フレーム毎に重みを定義する時間重みマップを生成する。時間重みマップは、比較対象動作データの各フレームの時間重みを記述したデータである。そして、時間重み抽出部３３１ｅは、生成した時間重みマップと、特徴量データ（標準特徴量データおよび比較対象特徴量データ）とを、重み付き位置特徴量抽出部３３２ｅへ出力する。
　重み付き位置特徴量抽出部３３２ｅは、時間重みマップと、特徴量データ（標準特徴量データおよび比較対象特徴量データ）とから、重み付き位置特徴量（標準位置特徴量および比較対象位置特徴量）を算出し、位置特徴量データを算出する。そして、重み付き位置特徴量抽出部３３２ｅは、算出した位置特徴量データ（標準位置特徴量データおよび比較対象位置特徴量データ）を、位置重み抽出部３３３ｅへ出力する。
　位置重み抽出部３３３ｅは、比較対象位置特徴量データおよび標準位置特徴量データから、位置重みを抽出し、位置毎に重みを定義する位置重みマップを生成する。位置重みマップは、比較対象動作データの映像の各位置の位置重みを記述するデータである。そして、位置重み抽出部３３３ｅは、生成した位置重みマップを、表示情報生成部３５０へ出力する。
　表示情報生成部３５０は、位置重みマップと、動作データとから、各位置の位置重みを比較対象動作の映像における各位置の重要度として示す結果表示画面のデータを生成する。そして、表示情報生成部３５０は、生成した結果表示画面のデータを、出力装置４００に出力する。結果表示画面の詳細については後述する。
　重み付き位置特徴量は、上述の通り、時間重みを特徴量データに適用した値の、位置毎の時間積分である。また、時間重みは、動作の差異がより大きい時間において、より大きい値を取る。すなわち、各位置の重み付き位置特徴量は、動作の差異が大きい時間が存在すると大きくなり、例えば、順序違い動作が発生していると、その動作の位置に対応して大きくなる。また、位置重みは、重み付き位置特徴量がより大きい位置において、より大きい値を取る。
　したがって、上述の構成を有する動作解析装置３００ｅは、順序違い動作が存在するとき、その動作に対応する位置の位置重みを強調することができ、順序違い動作の位置を抽出してユーザに提示することができる。
　次に、動作解析装置３００ｅの動作について説明する。
　図２０は、動作解析装置３００ｅの動作の一例を示すフローチャートである。
　まず、ユーザは、例えば、対象の動作を含む作業の担当を、休み時間を挟んで熟練作業者と一般作業者とで交代して貰い、それぞれの動作を撮影するように、動作解析装置３００ｅを操作する。このようにすることで、動作評価のための時間を特に必要とすることなく作業者にも負荷をかけないため、工場の生産性に影響を与えることなく動作解析のためのデータ取得を行うことができる。
　この結果、動作データ入力部３１０は、ステップＳ３１００ｅにおいて、標準動作データと比較対象動作データとを入力する。そして、動作データ入力部３１０は、入力した標準動作データおよび比較対象動作データを、時間重み抽出部３３１ｅからの要求に応じて、時間重み抽出部３３１ｅおよび表示情報生成部３５０へ出力する。なお、動作データ入力部３１０は、過去に入力した標準動作データを格納している場合には、その標準動作データを時間重み抽出部３３１ｅへ出力しても良い。
　そして、ステップＳ３２００ｅにおいて、時間重み抽出部３３１ｅは、動作データから画像特徴量を抽出し、特徴量データ（標準特徴量データおよび比較対象特徴量データ）を生成する。
　具体的には、時間重み抽出部３３１ｅは、例えば、以下の式（５）に示すＮ次自己相関関数を用いて、位置毎および時間毎の画像特徴量Ｖを算出する。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｆは時系列画像であり、変数ｒおよびＮ個の変数ａｉ（ｉ＝１，・・・，Ｎ）は画像内の２次元座標と時間とを成分として持つ３次元のベクトルである。時間方向の積分範囲は、どの程度の時間方向の相関を取るかによって定まる。すなわち、積分範囲は、Ｎ枚の静止画像（局所特徴画像）から構成される３次元のピクセル集合であり、変数ｒは画像中の１ピクセル（位置ピクセル）であり、変数ａはｒからの変位ベクトルである。そして、ｆ（ｒ）は位置ｒの関数値であり、局所特徴画像の位置ｒの輝度値を表す。
　ＣＨＬＡＣ特徴量の場合、変位は３次元であり、変位ベクトルの組み合わせ（変位パターン）の数は、０次で１個、１次で１３個、２次で２３７個である。したがって、本実施の形態における画像特徴量は、２値化画像の場合、合計２５１次元の特徴ベクトルとして表される。
　ステップＳ３３００ｅにおいて、時間重み抽出部３３１ｅは、標準特徴量データおよび比較対象特徴量データから時間重みマップを生成し、標準特徴量データおよび比較対象特徴量データと併せて、重み付き位置特徴量抽出部３３２ｅへ出力する。
　ステップＳ３４００ｅにおいて、重み付き位置特徴量抽出部３３２ｅは、標準特徴量データに時間重みマップを適用して標準位置特徴量データを算出し、比較対象特徴量データに時間重みマップを適用して比較対象位置特徴量データを算出する。そして、重み付き位置特徴量抽出部３３２ｅは、算出した標準位置特徴量データおよび比較対象位置特徴量データを、位置重み抽出部３３３ｅへ出力する。
　具体的には、重み付き位置特徴量抽出部３３２ｅは、以下に示す、式（６）で表される時間重みｗｔと、式（７）で表される実数の画像特徴量Ｖｔ,ｘ,ｙとから、式（８）を用いて、重み付き位置特徴量Ｖｘ,ｙ（チルダ）を算出する。そして、重み付き位置特徴量抽出部３３２ｅは、映像面全体についての時間特徴量Ｖｘ,ｙ（チルダ）を並べたデータを、位置特徴量データとして位置重み抽出部３３３ｅへ出力する。ここで、記号ｔは比較対象動作の映像における時間（フレームに対応）を示し、記号ｘ,ｙはフレーム毎の空間（映像面）における２次元位置を示し、記号ｄは画像特徴量の次元数を示し、記号τは時間方向の積分範囲を示す。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　そして、ステップＳ３５００ｅにおいて、位置重み抽出部３３３ｅは、標準位置特徴量データおよび比較対象位置特徴量データから、位置重みマップを生成し、表示情報生成部３５０へ出力する。
　そして、ステップＳ３６００ｅにおいて、表示情報生成部３５０は、位置重みマップと、標準動作データおよび比較対象動作データとから、抽出結果を提示する結果表示画面を生成し、出力装置４００に表示させる。
　そして、ステップＳ３７００ｅにおいて、動作解析装置３００ｅは、ユーザ操作等により解析処理の終了を指示されたか否かを判断する。動作解析装置３００ｅは、解析処理の終了を指示されない場合には（Ｓ３７００ｅ：ＹＥＳ）、ステップＳ３１００ｅへ戻り、解析処理の終了を指示された場合には（Ｓ３７００ｅ：ＮＯ）、一連の動作を終了する。
　上記の動作により、動作解析装置３００ｅは、時間重みｗｘ,ｙｔを算出後、その時間重みｗｘ,ｙｔを特徴量データＶｔ,ｘ,ｙ（チルダ）に適用して得られる位置特徴量データＶｘ,ｙ（チルダ）から位置重みｗｘ,ｙを算出する。次に、動作解析装置３００ｅは、算出した位置重みｗｘ,ｙを、映像の各位置の重要度として提示することができる。
　以下、順序違い動作の一例を挙げて、各パラメータの状態および結果表示画面について説明する。
　図２１は、想定する標準動作の映像および比較対象動作の映像を示す図である。
　図２１に示すように、標準動作の映像６０１と比較対象動作の映像６０２の撮影アングルは同じである。したがって、動作解析装置３００ｅは、同じ動作を同じ順序で行う場合、撮影アングルおよび撮影画素数を同じくすることにより、映像上の動きの向き、大きさ、順序もほぼ同一となる。
　図２２は、想定する標準動作および比較対象動作の内容と、その場合の時間重みマップの一例とを示す図である。
　標準動作の例は、図２２Ａに示すように、以下の動作を含む。
　（１）左側から第１の部品を取り正面に設置し、
　（２）左手を斜め左に伸ばして第２の部品を取って第１の部品に取り付け、
　（３）左手を前に伸ばして第３の部品を取って第１の部品に取り付け、
　（４）右手を前に伸ばして第４の部品を取って第１の部品に取り付け、
　（５）第２～第４の部品が取り付けられた第１の部品を右側に置く。
　一方、比較対象動作の例は、図２２Ｂに示すように、以下の動作を含む。
　（１）左側から第１の部品を取り正面に設置し、
　（２）左手を前に伸ばして第３を取って第１の部品に取り付け、
　（３）左手を斜め左に伸ばして第２の部品を取って第１の部品に取り付け、
　（４）右手を前に伸ばして第４の部品を取って第１の部品に取り付け、
　（５）第２～第４の部品が取り付けられた第１の部品を右側に置く。
　すなわち、比較対象動作は、２番目の動作と３番目の動作の順序が、標準動作と異なっており、順序違い動作を含んでいるものとする。
　この場合、標準特徴量データと比較対象特徴量データとの差異は、（２）および（３）の動作の箇所において大きくなる。したがって、動作解析装置３００ｅが算出する時間重みは、図２２Ｃに示すように、（２）および（３）の動作の箇所において大きくなる。
　図２３は、図２２に示す動作における各時刻の時間重みの例を示す図である。ここでは、網掛けの濃さは時間重みの大きさを示す。また、各記号の添え字は、対応する時刻ｔを示すものとする。また、時刻ｔ＝１～５は、順に、図２２に示す動作（１）～（５）に対応しているものとする。すなわち、順序違い動作は、時刻ｔ＝２、３において発生している。
　図２３Ａに示すように、時間重みｗ１～ｗ５のうち、順序違い動作に対応する時間重みｗ２、ｗ３の値が大きくなる。画像特徴量Ｖ１～Ｖ５は、動作（１）～（５）が行われている位置において大きな値となる。すなわち、例えば、時刻ｔ＝１のフレームでは、動作（１）が行われている位置（左手が左側から正面に移動する範囲）の画像特徴量Ｖｔ,ｓ,ｙは大きい値となり、その他の位置の画像特徴量Ｖｔ,ｓ,ｙは小さい値となる。
　したがって、動きの大きい順序違い動作が存在するとき、その動作位置の重み付き位置特徴量Ｖｘ,ｙ（チルダ）は、図２３Ｂに示すように、時刻毎に画像特徴量Ｖｔ,ｓ,ｙに時間重みｗｔを乗じた値を積分して算出することで、大きい値となる。そして、動きの大きい順序違い動作が存在するとき、その動作が行われた位置の位置重みｗｘ,ｙも、大きい値となる。一方、それ以外の位置の重み付き位置特徴量Ｖｘ,ｙ（チルダ）および位置重みｗｘ,ｙは、画像特徴量Ｖｘ,ｙが小さいことから、時間重みｗｔによらずに小さい値となる。
　重み付き位置特徴量Ｖｘ,ｙ（チルダ）を算出する際の積分範囲（τ）が対象フレームの全体長に比べて短いとき、重み付き位置特徴量Ｖｘ,ｙ（チルダ）の大きさは、積分範囲の位置によって異なる。
　図２４は、各区間における位置重みｗｘ,ｙの分布（位置重みマップ）の一例を示す図である。ここで、網掛けの濃さは位置重みｗｘ,ｙの大きさを示す。
　時刻ｔ＝２と時刻ｔ＝３とでは、左手を出す方向が異なることから、動作が行われている位置は異なる。したがって、図２４に示すように、例えば、時刻ｔ＝２を中心とした区間Ｐ＝１と、時刻ｔ＝３を中心とした区間Ｐ＝２とでは、位置重みマップの内容が異なることになる。
　表示情報生成部３５０は、例えば、１つの区間の情報のみを提示する場合には、位置重みｗｘ,ｙの値が大きい位置を目立たせる結果表示画面を生成する。例えば、表示情報生成部３５０は、位置重みｗｘ,ｙの値が大きい位置を含む一まとまりのエリア（以下「重要エリア」という）を設定する。次に、表示情報生成部３５０は、重要エリアの位置重みｗｘ,ｙの平均値が高いほど、重要エリアを囲む線をより濃い色にしたりより太くしたりする。また、例えば、表示情報生成部３５０は、重要エリアの映像のみを鮮明に表示し、他の部分の映像をぼやかして表示する結果表示画面を生成する。
　図２５は、結果表示画面の一例を示す図である。
　図２５に示すように、結果表示画面６１０ｅは、解析結果表示領域６１１、再生ボタン６１２、比較対象動作表示領域６１３、一時停止ボタン６１４、終了ボタン６１５、および標準動作表示領域６１６を有する。
　結果表示画面６１０ｅは、解析結果表示領域６１１に、時間重みの時系列データ（重みマップ）６１７と、所定の閾値を示す閾値表示線６１８と、時間重みが閾値表示線６１８を超える区間を示すマーカ６１９とを表示する。また、結果表示画面６１０ｅは、入力装置５００から左右に移動操作可能な、再生箇所表示線６２０を表示する。
　結果表示画面６１０ｅは、再生ボタン６１２がクリックされると、比較対象動作の撮影画像を比較対象動作表示領域６１３で再生すると共に、再生箇所表示線６２０を、再生に合わせて移動させる。また、結果表示画面６１０ｅは、画像の再生中に一時停止ボタン６１４がクリックされると、画像の再生を一時的に停止する。また、標準動作表示領域６１６は、比較対象動作表示領域６１３における比較対象動作の撮影画像の再生と同期して、標準動作の撮影画像を再生する。
　そして、結果表示画面６１０ｅは、比較対象動作の撮影画像に重ねて、重要エリアを示す枠線６２１ｅを表示する。枠線６２１ｅは、例えば、時間重みが閾値表示線６１８を超える区間において、濃い色となり、他の表示区間において、薄い色となる。
　このような結果表示画面６１０ｅにより、ユーザは、再生箇所表示線６２０をマーカ６１９部分に移動させて再生ボタン６１２をクリックすることができる。そして、この操作により、ユーザは、順序違い動作等によって動作の差異が大きい箇所の映像を、素早くピックアップして確認することができる。また、重要エリアを示す枠線６２１ｅが表示されるので、ユーザは、動きの差異が大きく、解析対象として重要度が高い箇所を、素早くピックアップして確認することができる。すなわち、ユーザは、画像の中のどこを注目して見るべきなのかを、簡単に把握することができる。また、ユーザは、枠線６２１ｅの濃さが時間重みに対応しているので、重要度の高さを併せて確認しながら、動きの差異を映像で確認することができる。
　なお、枠線６２１ｅの形状および大きさは、固定であっても良いし、重要エリアの形状に合わせた形状および大きさであっても良い。また、結果表示画面６１０ｅは、標準動作データの画像と比較対象動作データ画像とを、同時に、または切り換えて表示しても良い。また、結果表示画面６１０ｅは、動作に関連する他のデータ、例えば、動作データの撮影日時や比較対象物の加速度データや音声を、併せて出力しても良い。
　また、結果表示画面６１０ｅの解析結果表示領域６１１は、標準特徴量および比較対象特徴量の主成分スコアを併せて出力しても良い。例えば、図２６に示すように、結果表示画面６１０ｅの解析結果表示領域６１１は、画像特徴量の主成分スコアを、時間を横軸にとった３次元グラフ７００を含んでも良い。３次元グラフ７００は、例えば、標準動作特徴量を線７１１で結び、比較対象特徴量を線７２１で結ぶ。このように、結果表示画面６１０ｅは、３次元表示を行うことによって、時間重みだけでなく、動作とともに画像特徴量の変化を分かり易く表示することができる。
　以上のように、本実施の形態に係る動作解析装置３００ｅは、時間重みを算出後に、時間重みを特徴量データに適用して得られる位置特徴量データから、映像の各位置の重要度を示す位置重みを算出するものである。これにより、本実施の形態に係る動作解析装置３００ｅは、順序違い動作を容易に抽出することができる。すなわち、時間を細かく区切ることなく、ＣＨＬＡＣ特徴量の利点を活かして、順序違い動作を抽出することができる。
　また、動作解析装置３００ｅは、映像の位置重みが高い位置を表示するので、動作の差異が大きい位置をユーザに提示することができる。また、動作解析装置３００ｅは、映像の時間重みが高い時間を表示するので、動作の差異が大きい時間箇所をユーザに提示することができる。すなわち、動作解析装置３００ｅは、ユーザに対して、映像でチェックすべき動作を提示することができる。
　なお、本実施の形態では、標準特徴量データに適用する時間重みマップと比較対象特徴量データに適用する時間重みマップとを同一としたが、本発明はこれに限定されない。例えば、標準特徴量データに適用する時間重みマップは、固定された分布の時間重みマップや、全てのフレームにおいて一定値の時間重みマップとしても良い。一定値としては、例えば、対象フレームの最初の時間重みの値、対象フレームにおける時間重みの平均値、対象フレームにおける時間重みの最低値を採用することができる。また、時間重みは、上限値を設けても良い。上限値としては、例えば、対象フレームにおける時間重みの平均値を採用することができる。これにより、標準動作と比較対象動作との間の重み付き位置特徴量の差異がより明確になることがある。
　また、動作解析装置は、まず、時間重みに基づいて提示の対象となる時間区間を抽出し、抽出した時間区間毎に位置重みを算出してもよい。これにより、より適切な位置重みを算出することが可能となる。
　また、本実施の形態では、時間重みについて標準画像に基づき時間的な伸縮を吸収したが、フーリエ級数展開を導入しても良い。フーリエ級数を導入した時間重みは、特徴量データの差異について、フーリエ級数展開の導入により時間的な伸縮を吸収する。更に、フーリエ級数を導入した時間重みは、各画素のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された、時間軸上の周波数重みを指す。最適化された時間重みは、動作に差があるフレームほど大きくなるという特性を有し、かつ、動作を時系列に評価しつつ各動作データの長さの違いを吸収するという効果を有する。時間重みの詳細については、例えば非特許文献２に記載されているため、ここでの説明を省略する。
　また、本実施の形態では、動作解析装置３００ｅは、標準動作データから算出した各時間の標準部分空間と、対応する比較対象動作データから算出した画像特徴量との距離を算出して、時間重みとした。また、動作解析装置３００ｅは、算出した距離に基づいて正規化等の処理をおこなった後の値を、時間重みとしても良い。また、動作解析装置３００ｅは、時間特徴量データの差異について、各時間のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された値としてもよい。
　また、標準動作の映像と比較対象動作の映像とで時間長さが同じ、または、異なる場合であっても同じ時間長さに伸縮される場合には、本実施の形態で説明したように、必ずしも導入しなくても良い。また、かかる場合には、時間重みを、単にフレーム毎の画像特徴量の差としても良い。また、位置重みは、単に位置毎の重み付き位置特徴量の差としても良い。
　また、本実施の形態では、画像特徴量をＣＨＬＡＣ特徴量として説明したが、これに限定されない。画像特徴量として、例えば、重み付き方向ヒストグラムを用いた高次の局所特徴量等を用いることができる。かかる特徴量を用いる場合、動作解析装置は、濃度勾配画像から画像の局所的な方向ヒストグラムを求め、求めた方向ヒストグラムを特徴ベクトルとすれば良い。このような画像特徴量を用いた場合でも、順序違い動作の位置を容易に抽出することができる。
　また、本実施の形態では、時間重みの算出および位置重みの算出を行う際に、同一のセンサから取得したデータを用いたが、異なるセンサから取得したデータを用いても良い。本実施の形態では、例えば、同じ種類のセンサであるカメラセンサから取得したデータを用いても良い。この場合、時間重みの算出に用いる標準データは、水平方向だけでなく垂直方向の動きも捕らえやすいやや斜め前方から取得したデータとし、位置重みの算出に用いるデータは真上から取得したデータとしても良い。こうすることで、目的に応じて、より適切な時間重みや位置重みを抽出することができる。
　更に、例えば、時間重みの算出には、加速度センサから取得したデータを用い、位置重みの算出にはカメラセンサから取得したデータを用いるようにしても良い。本実施の形態では、例えば、カメラセンサから取得したデータを用いて時間重みを算出し、加速度センサから取得したデータで時間重みを算出する。この場合は、カメラセンサに水平方向や垂直方向に死角や誤差があっても、カメラセンサの弱点を補うことができる。加速度センサから取得したデータを用いる場合にも、局所特徴量を算出した後は、画像から算出した特徴量と同様に時間重みを算出する。例えば、加速度センサを動作者の両手首に装着した場合は、両手の６次元と加速度データ間の相関関係の１５次元とを合わせた２１次元の特徴量を、加速度センサの局所特徴量として算出すれば良い。また、評価する動作に用いる道具には、加速度センサを装着させておくことも考えられる。こうすることで、動作者に加速度センサを装着せずに、異なるセンサの特性を生かした動作評価が可能となる。
　（実施の形態６）
　例えば、製品の組み立て工程において、右手と左手が異なる作業を行うことがある。具体的には、例えば、右手で電動ドライバのような工具を持ち、左手でネジのような部品を取って支え、ネジ留めをするような作業である。このように、右手で大きい工具を持ち左手で小さい部品を取って作業を行うときに、左手が無駄な動作をしていると、作業効率が低下する。したがって、このような動作が行われたとき、その動作が発生した時間の映像を提示することが望まれる。
　しかしながら、このような例の場合、上述の特許文献２および非特許文献２に記載の方法では、左手の無駄な動作を抽出することが困難である。
　理由は以下の通りである。上述の例の場合、右手の動作に大きい工具の動きが付随し、左手の動作に小さい部品の動きが付随する。したがって、右手の動作に関連する動きが映像面を占める面積に比べて、左手の動作に関連する動きが映像面を占める面積は小さい。
　ＣＨＬＡＣ特徴量を空間積分した値を用いる非特許文献２記載の方法では、左手の動作を示す画像特徴量が積分値に与える影響は小さくなり、左手の無駄な動作の時間を適切に抽出することは難しい。更に、右手の動作を示す画像特徴量が積分値に与える影響は大きいため、このような大きい動きが他に存在すると、動作時間の抽出がより困難となる。
　また、特許文献２記載の方法では、左手の無駄な動作の位置を抽出することはできても、左手の無駄な動作の時間を自動で抽出することはできない。なぜなら、特許文献２記載の方法は、ＣＨＬＡＣ特徴量を時間積分した、位置不変の値を用いるからである。
　映像面を細かく区切って非特許文献２記載の方法を適用し、区切られた領域毎に動作評価を行えば、左手の無駄な動作の時間を抽出することは可能である。ところが、このような処理は煩雑であるため、特に、標準動作の映像データと比較対象動作の映像データとで映像の画素数が異なる場合に、装置の処理負荷が高くなる。すなわち、従来技術には、関連する動きが映像面を占める面積は小さいものの、標準動作との差異が大きいような動作（以下「小さい差異動作」という）が発生している場合に、その動作時間を容易に抽出することができないという課題がある。
　そこで、本発明の実施の形態６として、小さい差異動作の時間を容易に抽出することができるようにした動作解析装置について説明する。
　以下、本発明の実施の形態６について、図面を参照して詳細に説明する。
　図２７は、本発明の実施の形態６に係る動作解析装置を含む動作解析システムの構成の一例を示すシステム構成図である。
　本実施の形態は、実施の形態１～実施の形態５と同様に、本発明を、熟練作業者と一般作業者とが働く工場において各一般作業者の動作を解析するためのシステムに適用した例として説明する。但し、本実施の形態における動作解析システムは、一般作業者と熟練作業者とで大きく異なる動作の時間を抽出する。
　図２７において、本実施の形態に係る動作解析システム１００ｆは、センサ装置２００、本実施の形態に係る動作解析装置３００ｆ、出力装置４００、入力装置５００を有する。
　センサ装置２００は、人の動作を検出する装置である。センサ装置２００は、作業者の動作を計測したデータを、動作解析装置３００ｆへ出力する。ここでは、センサ装置２００は、撮影した画像の画像フレームデータ（動画像データ）をリアルタイムに出力するカメラであり、工場の組み立てラインに並んで作業する各作業者を個別に撮影可能であるものとする。
　以下、実施の形態１～実施の形態５と同様に、熟練作業者による一連の標準動作を撮影した時系列のフレームデータを「標準動作データ」といい、一般対象者による一連の比較対象動作を撮影した時系列のフレームデータを「比較対象動作データ」という。また、標準動作データおよび比較対象動作データは、適宜「動作データ」と総称する。また、比較対象動作データを構成するフレームのうち、１つの解析の対象となる連続した複数のフレームを、「対象フレーム」という。
　また、本実施の形態における動作解析システム１００ｆは、画像特徴量に基づいて、動作解析を行う。本実施の形態では、画像特徴量として、非特許文献２に開示されているＣＨＬＡＣ特徴を用いる。ＣＨＬＡＣ特徴は、２次元データからの特徴抽出である高次局所自己相関（ＨＬＡＣ）特徴を、時間軸をも加えて３次元に拡張したものであり、画像の平面空間に時間軸を加えた３次元座標系における動きの特徴を示す特徴ベクトルである。
　本実施の形態においても、実施の形態５と同様に、標準動作データから得られる画像特徴量は「標準特徴量」といい、標準動作データから得られる標準特徴量のデータは、「標準特徴量データ」という。また、比較対象動作データから得られる画像特徴量は、「比較対象特徴量」といい、比較対象動作データから得られる比較対象特徴量のデータは、「比較対象特徴量データ」という。また、標準特徴量データおよび比較対象特徴量データは、適宜「特徴量データ」と総称する。
　動作解析装置３００ｆは、標準動作との比較により比較対象動作の解析を行う装置である。動作解析装置３００ｆは、比較対象特徴量データと標準特徴量データとから、位置特徴量を抽出する。そして、動作解析装置３００ｆは、この位置特徴量から、映像面の位置毎の比較対象動作の標準動作との差異（以下適宜「動作の差異」という）の大きさを表す値である位置重みを抽出する。次に、動作解析装置３００ｆは、抽出した位置重みを用いて、比較対象特徴量データと標準特徴量データのそれぞれの時間特徴量を算出する。
　ここで、位置特徴量は、各時刻の画像上の２次元座標で表現されるある特定の位置の特徴量を、対象フレームの数だけ足した値である。また、位置重みとは、映像面の各位置（以下、単に「位置」という）の標準特徴量および比較対象特徴量から算出された、位置毎の画像特徴量の違いの度合いを示す。位置重みは、ある位置においてその値が高ければ、その位置の標準特徴量と比較対象特徴量との差異が大きいことを示し、ある位置においてその値が少なければ、その位置の標準特徴量と比較対象特徴量との差異が小さいことを示す。位置重みは、非特許文献３に開示されているように、固有重みマップの値を用いても良いし、フィッシャー判別基準を用いたフィッシャー重みマップの値を用いても良い。
　なお、動作データによって画素数が異なる場合には、動作解析装置３００ｆは、２次元空間的な伸縮を吸収するようにしてもよい。具体的には、例えば、動作解析装置３００ｆは、標準動作データの画素数を基準に、比較対象データの画素数を増減させてから、上記処理を行う。
　また、重み付き時間特徴量とは、位置重みを特徴量データに適用した値の、時間毎（フレーム毎）の空間積分である。重み付き時間特徴量は、言い換えれば、位置重み対応ＣＨＬＡＣ特徴量である。つまり、重み付き時間特徴量は、特定画素の近傍の画素の濃淡値の積に位置重みを付与し、画像面全体に対して足し合わせて得られる、非常に局所的な特徴量である。例えば、位置重みの付与されていないＣＨＬＡＣ特徴に関しては、非特許文献２に記載されているので説明は省略する。
　そして、動作解析装置３００ｆは、比較対象特徴量データから得られた重み付き時間特徴量のデータと、標準特徴量データから得られた重み付き時間特徴量のデータとを取得する。次に、動作解析装置３００ｆは、取得した重み付き時間特徴量のデータと重み付き時間特徴量のデータとから、比較対象動作の標準動作との差異の大きさを表す値である時間重みを抽出する。なお、以下、比較対象特徴量データの重み付き時間特徴量のデータは、以下「比較対象時間特徴量データ」といい、標準特徴量データの重み付き時間特徴量のデータは以下「標準時間特徴量データ」という。更に、動作解析装置３００ｆは、各時間の時間重みを、比較対象動作の映像における各時間の重要度として示す結果表示画面のデータを生成し、出力装置４００へ出力する。なお、以下、標準時間特徴量データおよび比較対象時間特徴量データは、適宜「時間特徴量データ」と総称する。
　ここで、時間重みとは、標準動作データおよび位置重みから算出した各時間の標準部分空間と、対応する比較対象動作データおよび位置重みから算出した画像特徴量との距離とする。
　なお、動作データによってフレーム数が異なる場合には、動作解析装置３００ｆは、時間的な伸縮を吸収するようにしてもよい。具体的には、例えば、動作解析装置３００ｆは、標準動作データの平均時間を基準に、フレーム間隔を伸縮させることによって各動作データの時刻を換算時刻に変換した後、必要な換算時刻の画像特徴量を推定して、上記処理を行う。画像特徴量の推定は、推定する時刻に最も近い特徴量で近似してもよいし、推定時刻の前後２点の特徴量を用いて一次関数により行ったり、近傍の複数の点を用いて二次関数や三角関数など他の関数を用いて行っても良い。こうすることで、さらに推定精度の向上が見込まれる。
　動作解析装置３００ｆは、ＣＰＵおよびＲＡＭ等の記憶媒体、動画像データを取り込むビデオキャプチャを有するコンピュータとする。すなわち、動作解析装置３００ｆは、記憶する制御プログラムをＣＰＵが実行することによって動作する。
　出力装置４００は、動作解析装置３００ｆから入力されるデータに基づいて、結果表示画面を出力する。ここでは、出力装置４００は、液晶ディスプレイを有するモニタであるものとする。なお、出力装置４００は、遠隔地に配置された装置（遠隔監視装置、携帯電話機等）であっても良い。この場合、出力装置４００は、例えば、インターネット等のネットワークを介して動作解析装置３００ｆと接続される。
　入力装置５００は、ユーザが動作解析装置３００ｆを操作するためのインタフェースである。ここでは、入力装置５００は、例えば、ポインティングデバイスとしてのマウスと、キーボードである。
　このような動作解析システム１００ｆは、まず、映像面（フレーム毎の２次元空間）での動作の差異の大きさを示す位置重みを算出する。次に、動作解析システム１００ｆは、位置重みを特徴量データに適用して得られる時間特徴量データから、時間軸での動作の差異の大きさを示す時間重みを算出する。そして、動作解析システム１００ｆは、算出した時間重みを、比較対象動作の映像における各時間の重要度として示す結果表示画面を生成し、ユーザに提示する。これにより、動作解析システム１００ｆは、小さい差異動作であっても、処理負荷を低減可能であることおよび加法性等のＣＨＬＡＣ特徴量の利点を活かし、その発生時間を容易に抽出してユーザに提示することができる。すなわち、動作解析システム１００ｆは、動作に付随して動くものの大きさによる影響を抑えた状態で、差異動作の抽出を行うことができる。
　次に、動作解析装置３００ｆの構成について説明する。
　図２８は、動作解析装置３００ｆの構成の一例を示すブロック図である。
　図２８において、動作解析装置３００ｆは、動作データ入力部３１０、位置重み抽出部３４１ｆ、重み付き時間特徴量抽出部３４２ｆ、時間重み抽出部３４３ｆ、および表示情報生成部３５０を有する。
　動作データ入力部３１０は、位置重み抽出部３４１ｆからの要求に応じて、センサ装置２００から動作データを取得し、位置重み抽出部３４１ｆおよび表示情報生成部３５０へ転送する。動作データの転送は、リアルタイムで行われても良いし、動作データを格納してから行われても良い。また、動作データ入力部３１０は、センサ装置２００から入力する動作データを、入力装置５００のユーザ操作を受けて、入力時または入力後に標準動作データと比較対象動作データとのいずれかに分類する。動作データ入力部３１０は、一旦入力した標準動作データを、再使用のために格納しておいても良い。
　位置重み抽出部３４１ｆは、動作データから画像特徴量を抽出し、特徴量データ（標準特徴量データおよび比較対象特徴量データ）を生成する。そして、位置重み抽出部３４１ｆは、生成した標準特徴量データおよび比較対象特徴量データから、位置重みを抽出し、位置毎に重みを定義する位置重みマップを生成する。位置重みマップは、比較対象動作データの映像面の各位置の位置重みを記述したデータである。そして、位置重み抽出部３４１ｆは、生成した位置重みマップと、特徴量データ（標準特徴量データおよび比較対象特徴量データ）とを、重み付き時間特徴量抽出部３４２ｆへ出力する。
　重み付き時間特徴量抽出部３４２ｆは、位置重みマップと、特徴量データ（標準特徴量データおよび比較対象特徴量データ）とから、重み付き時間特徴量（標準時間特徴量および比較対象時間特徴量）を算出し、時間特徴量データを算出する。そして、重み付き時間特徴量抽出部３４２ｆは、算出した時間特徴量データ（標準時間特徴量データおよび比較対象時間特徴量データ）を、時間重み抽出部３４３ｆへ出力する。
　時間重み抽出部３４３ｆは、比較対象時間特徴量データおよび標準時間特徴量データから、時間重みを抽出し、時間毎に重みを定義する時間重みマップを生成する。時間重みマップは、比較対象動作データの映像の各時間の時間重みを記述するデータである。そして、時間重み抽出部３４３ｆは、生成した時間重みマップを、表示情報生成部３５０へ出力する。
　表示情報生成部３５０は、時間重みマップと、動作データとから、各時間の時間重みを比較対象動作の映像における各時間の重要度として示す結果表示画面のデータを生成する。そして、表示情報生成部３５０は、生成した結果表示画面のデータを、出力装置４００に出力する。結果表示画面の詳細については後述する。
　重み付き時間特徴量は、上述の通り、位置重みを特徴量データに適用した値の、時間毎（平滑化のためにフレームをいくつか合わせた窓毎）の空間積分である。また、位置重みは、動作の差異がより大きい位置において、より大きい値を取る。すなわち、各時間の重み付き時間特徴量は、動作の差異が大きい位置が存在すると大きくなり、例えば、小さい差異動作が発生していると、その動作の時間に対応して大きくなる。また、時間重みは、重み付き時間特徴量がより大きい位置において、より大きい値を取る。
　したがって、上述の構成を有する動作解析装置３００ｆは、小さい差異動作が存在するとき、その動作に対応する時間の時間重みを強調することができ、小さい差異動作の時間を抽出してユーザに提示することができる。
　次に、動作解析装置３００ｆの動作について説明する。
　図２９は、動作解析装置３００ｆの動作の一例を示すフローチャートである。
　まず、ユーザは、例えば、対象の動作を含む作業の担当を、休み時間を挟んで熟練作業者と一般作業者とで交代して貰い、それぞれの動作を撮影するように、動作解析装置３００ｆを操作する。このようにすることで、動作評価のための時間を特に必要とすることなく作業者にも負荷をかけないため、工場の生産性に影響を与えることなく動作解析のためのデータ取得を行うことができる。
　この結果、動作データ入力部３１０は、ステップＳ３１００ｆにおいて、標準動作データと比較対象動作データとを入力する。そして、動作データ入力部３１０は、入力した標準動作データおよび比較対象動作データを、位置重み抽出部３４１ｆからの要求に応じて、位置重み抽出部３４１ｆおよび表示情報生成部３５０へ出力する。なお、動作データ入力部３１０は、過去に入力した標準動作データを格納している場合には、その標準動作データを位置重み抽出部３４１ｆへ出力しても良い。
　そして、ステップＳ３２００ｆにおいて、位置重み抽出部３４１ｆは、動作データから画像特徴量を抽出し、特徴量データ（標準特徴量データおよび比較対象特徴量データ）を生成する。
　具体的には、位置重み抽出部３４１ｆは、例えば、以下の式（９）に示すＮ次自己相関関数を用いて、位置毎および時間毎の画像特徴量Ｖを算出する。
Figure JPOXMLDOC01-appb-M000009
　ここで、ｆは時系列画像であり、変数ｒおよびＮ個の変数ａｉ（ｉ＝１，・・・，Ｎ）は画像内の２次元座標と時間とを成分として持つ３次元のベクトルである。時間方向の積分範囲は、どの程度の時間方向の相関を取るかによって定まる。すなわち、積分範囲は、Ｎ枚の静止画像（局所特徴画像）から構成される３次元のピクセル集合であり、変数ｒは画像中の１ピクセル（位置ピクセル）であり、変数ａはｒからの変位ベクトルである。そして、ｆ（ｒ）は位置ｒの関数値であり、局所特徴画像の位置ｒの輝度値を表す。
　ＣＨＬＡＣ特徴量の場合、変位は３次元であり、変位ベクトルの組み合わせ（変位パターン）の数は、０次で１個、１次で１３個、２次で２３７個である。したがって、本実施の形態における画像特徴量は、２値化画像の場合、合計２５１次元の特徴ベクトルとして表される。
　ステップＳ３３１０ｆにおいて、位置重み抽出部３４１ｆは、標準特徴量データおよび比較対象特徴量データから位置重みマップを生成し、標準特徴量データおよび比較対象特徴量データと併せて、重み付き時間特徴量抽出部３４２ｆへ出力する。
　ステップＳ３４１０ｆにおいて、重み付き時間特徴量抽出部３４２ｆは、標準特徴量データに位置重みマップを適用して標準時間特徴量データを算出し、比較対象特徴量データに位置重みマップを適用して比較対象時間特徴量データを算出する。そして、重み付き時間特徴量抽出部３４２ｆは、算出した標準時間特徴量データおよび比較対象時間特徴量データを、時間重み抽出部３４３ｆへ出力する。
　具体的には、重み付き時間特徴量抽出部３４２ｆは、以下に示す、式（１０）で表される位置重みｗｘ,ｙと、式（１１）で表される実数の画像特徴量Ｖｔ,ｘ,ｙとから、式（１２）を用いて、重み付き時間特徴量Ｖｔ（チルダ）を算出する。そして、重み付き時間特徴量抽出部３４２ｆは、映像面全体についての重み付き時間特徴量Ｖｔ（チルダ）を並べたデータを、時間特徴量データとして時間重み抽出部３４３ｆへ出力する。ここで、記号ｔは比較対象動作の映像における時間（フレームに対応）を示し、記号ｘ，ｙはフレーム毎の空間（映像面）における２次元位置を示し、記号ｄは画像特徴量の次元数を示し、記号ｎ、ｍは映像の縦横それぞれの画素数を示す。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　そして、ステップＳ３５１０ｆにおいて、時間重み抽出部３４３ｆは、標準時間特徴量データおよび比較対象時間特徴量データから、時間重みマップを生成し、表示情報生成部３５０へ出力する。
　そして、ステップＳ３６１０ｆにおいて、表示情報生成部３５０は、時間重みマップと、標準動作データおよび比較対象動作データとから、抽出結果を提示する結果表示画面を生成し、出力装置４００に表示させる。
　そして、ステップＳ３７００ｆにおいて、動作解析装置３００ｆは、ユーザ操作等により解析処理の終了を指示されたか否かを判断する。動作解析装置３００ｆは、解析処理の終了を指示されない場合には（Ｓ３７００ｆ：ＹＥＳ）、ステップＳ３１００ｆへ戻り、解析処理の終了を指示された場合には（Ｓ３７００ｆ：ＮＯ）、一連の動作を終了する。
　上記の動作により、動作解析装置３００ｆは、位置重みｗｘ,ｙを算出後、その位置重みｗｘ,ｙを特徴量データＶｔ,ｘ,ｙに適用して得られる時間特徴量データＶｔ（チルダ）から時間重みｗｔを算出する。次に、動作解析装置３００ｆは、算出した時間重みｗｔを、映像の各時間の重要度として提示することができる。
　以下、動作の画面上の位置に差異があり、時間軸で見ると他に大きな動作があるために相対的に小さい動作となる場合がある。このような標準動作と比較対象動作との差異動作といえる動作（以下、単に「小さい差異動作」という）の一例を挙げて、各パラメータの状態および結果表示画面について説明する。
　図３０は、想定する標準動作の映像および比較対象動作の映像を示す図である。
　図３０に示すように、標準動作の映像６０１と比較対象動作の映像６０２の撮影アングルおよび撮影画素数は同じである。したがって、動作解析装置３００ｆは、同じ動作を同じ順序で行う場合、撮影アングルを同じくすることにより、映像上の動きの向き、大きさ、順序もほぼ同一となる。
　図３１は、想定する標準動作および比較対象動作の内容と、その場合の位置重みマップの一例とを示す図である。
　標準動作の例は、図３１Ａに示すように、以下の動作を含む。
　（１）右側から大きな第１の部品６０５が移動して正面に設置され、
　（２）右手を前に伸ばして工具６０６を取り、
　（３）左手を前に伸ばして第２の部品６０７を取り、
　（４）工具６０６で第２の部品６０７を第１の部品６０５に取り付け、
　（５）第２の部品６０７が取り付けられた第１の部品６０５を左側に送る。
　一方、比較対象動作の例は、図３１Ｂに示すように、以下の動作を含む。
　（１）右側から大きな第１の部品６０５が移動して正面に設置され、
　（２）右手を前に伸ばして工具６０６を取り、
　（３）左手を斜め左に伸ばして第２の部品６０７を取り、
　（４）工具６０６で第２の部品６０７を第１の部品６０５に取り付け、
　（５）第２の部品６０７が取り付けられた第１の部品６０５を左側に送る。
　すなわち、比較対象動作は、第２の部品６０７を取る動作の方向が、標準動作と異なっている。
　この場合、標準特徴量データと比較対象特徴量データとの差異は、（３）の動作の箇所において大きくなる。したがって、動作解析装置３００ｆが算出する位置重みは、図３１Ｃに示すように、（３）の動作の箇所において大きくなる。ここで、網掛けの濃さは、位置重みの大きさを示す。
　従来のＣＨＬＡＣ特徴量、つまり画像特徴量をフレーム毎に空間積分した値では、画素の値は均等に加算される。したがって、右手の動作の画像特徴量には第１の工具６０６の動きの画像特徴量が加算され、左手の動作の画像特徴量は相対的に少なくなり、左手の動作の差異を抽出することが困難になる。特に、工具６０６が大きく、相対的に第２の部品６０７が非常に小さい場合、その時間におけるフレーム全体の画像特徴量に占める左手の動作に関する画像特徴量は更に小さくなり、左手の動作の差異の抽出することはより困難となる。
　この点、動作解析装置３００ｆは、図３１Ｃに示すような動作の差異を位置毎に反映する位置重みを、画像特徴量に適用するので、（３）のような小さい差異動作を強調して容易に抽出することができる。
　図３２は、図３１に示す動作における各時刻の位置重みｗｘ,ｙの分布（位置重みマップ）の例を示す図である。ここでは、網掛けの濃さは位置重みの大きさを示す。また、各記号の添え字は、対応する時間ｔを示すものとする。また、時間ｔ＝１～５は、順に、図３１に示す動作（１）～（５）に対応しているものとする。すなわち、小さい差異動作は、時間ｔ＝３において発生している。
　図３２に示すように、位置重みのうち、小さい差異動作に対応する位置の位置重みｗｘ,ｙの値が大きくなる。画像特徴量Ｖ１（チルダ）～Ｖ５（チルダ）は、動作（１）～（５）が行われている位置において大きな値となる。すなわち、例えば、時間ｔ＝３のフレームでは、動作（３）が行われている位置（左手が斜め前に移動する範囲）の画像特徴量Ｖｔ,ｓ,ｙは相対的に大きい値となり、その他の位置の画像特徴量Ｖｔ,ｓ,ｙは相対的に小さい値となる。
　したがって、（３）の動作のような小さい差異動作が存在するとき、その動作が行われた時間の重み付き時間特徴量Ｖｔ（チルダ）は、次のように求める。重み付き時間特徴量Ｖｔ（チルダ）は、図３２に示すように、位置毎に画像特徴量Ｖｔ,ｘ,ｙに位置重みｗｘ,ｙを乗じた値を積分して算出することで、相対的に大きい値となる。そして、（３）の動作のような小さい差異動作が存在するとき、同じフレームに同時に大きな動作が含まれていたとしても、その時間の時間重みｗｔも、相対的に大きい値となる。
　表示情報生成部３５０は、例えば、１つの区間の情報のみを提示する場合には、位置重みｗｘ,ｙの値が大きい位置を目立たせる結果表示画面を生成する。例えば、表示情報生成部３５０は、位置重みｗｘ,ｙの値が大きい位置を含む一まとまりのエリア（以下「重要エリア」という）を設定する。次に、表示情報生成部３５０は、重要エリアの位置重みｗｘ,ｙの平均値が高いほど、重要エリアを囲む線をより濃い色にしたりより太くしたりする。また、例えば、表示情報生成部３５０は、重要エリアの映像のみを鮮明に表示し、他の部分の映像をぼやかして表示する結果表示画面を生成する。
　図３３は、結果表示画面の一例を示す図である。
　図３３に示すように、結果表示画面６１０ｆは、解析結果表示領域６１１、再生ボタン６１２、比較対象動作表示領域６１３、一時停止ボタン６１４、終了ボタン６１５、および標準動作表示領域６１６を有する。
　結果表示画面６１０ｆは、解析結果表示領域６１１に、時間重みの時系列データ（重みマップ）６１７と、所定の閾値を示す閾値表示線６１８と、時間重みが閾値表示線６１８を超える区間を示すマーカ６１９とを表示する。また、結果表示画面６１０ｆは、入力装置５００から左右に移動操作可能な、再生箇所表示線６２０を表示する。
　結果表示画面６１０ｆは、再生ボタン６１２がクリックされると、比較対象動作の撮影画像を比較対象動作表示領域６１３で再生すると共に、再生箇所表示線６２０を、再生に合わせて移動させる。また、結果表示画面６１０ｆは、画像の再生中に一時停止ボタン６１４がクリックされると、画像の再生を一時的に停止する。また、標準動作表示領域６１６は、比較対象動作表示領域６１３における比較対象動作の撮影画像の再生と同期して、標準動作の撮影画像を再生する。
　そして、結果表示画面６１０ｆは、比較対象動作の撮影画像に重ねて、重要エリアを示す枠線６２１ｆを表示する。枠線６２１ｆは、例えば、時間重みが閾値表示線６１８を超える区間において、濃い色となり、他の表示区間において、薄い色となる。
　このような結果表示画面６１０ｆにより、ユーザは、再生箇所表示線６２０をマーカ６１９部分に移動させて再生ボタン６１２をクリックすることができる。そして、この操作により、ユーザは、小さい差異動作等によって動作の差異が大きい時間の映像を、素早くピックアップして確認することができる。また、重要エリアを示す枠線６２１ｆが表示されるので、ユーザは、小さい差異動作等の、動きの差異が大きく、解析対象として重要度が高い箇所を、素早くピックアップして確認することができる。すなわち、ユーザは、画像の中のどこを注目して見るべきなのかを、簡単に把握することができる。また、ユーザは、枠線６２１ｆの濃さが時間重みに対応しているので、重要度の高さを併せて確認しながら、動きの差異を映像で確認することができる。
　なお、枠線６２１ｆの形状および大きさは、固定であっても良いし、重要エリアの形状に合わせた形状および大きさであっても良い。また、結果表示画面６１０ｆは、標準動作データの画像と比較対象動作データ画像とを、同時に、または切り換えて表示しても良い。また、結果表示画面６１０ｆは、動作に関連する他のデータ、例えば、動作データの撮影日時や比較対象物の加速度データや音声を、併せて出力しても良い。
　また、結果表示画面６１０ｆの解析結果表示領域６１１は、標準特徴量および比較対象特徴量の主成分スコアを併せて出力しても良い。例えば、図３４に示すように、結果表示画面６１０ｆの解析結果表示領域６１１は、画像特徴量の主成分スコアを、時間を横軸にとった３次元グラフ７００を含んでも良い。３次元グラフ７００は、例えば、標準動作特徴量を線７１１で結び、比較対象特徴量を線７２１で結ぶ。このように、結果表示画面６１０ｆは、３次元表示を行うことによって、時間重みだけでなく、動作とともに画像特徴量の変化を分かり易く表示することができる。
　以上のように、本実施の形態に係る動作解析装置３００ｆは、位置重みを算出後に、位置重みを特徴量データに適用して得られる時間特徴量データから、映像の各次官の重要度を示す時間重みを算出するものである。これにより、本実施の形態に係る動作解析装置３００ｆは、小さい差異動作を容易に抽出することができる。すなわち、映像面を細かく区切ることなく、ＣＨＬＡＣ特徴量の利点を活かして、小さい差異動作を抽出することができる。
　また、動作解析装置３００ｆは、映像の位置重みが高い位置を表示するので、動作の差異が大きい位置をユーザに提示することができる。また、動作解析装置３００ｆは、映像の時間重みが高い時間を表示するので、動作の差異が大きい時間箇所をユーザに提示することができる。すなわち、動作解析装置３００ｆは、ユーザに対して、映像でチェックすべき動作を提示することができる。
　なお、本実施の形態では、標準特徴量データに適用する位置重みマップと比較対象特徴量データに適用する位置重みマップとを同一としたが、本発明はこれに限定されない。例えば、標準特徴量データに適用する位置重みマップは、固定された分布の位置重みマップや、全ての領域において一定値の位置重みマップとしても良い。一定値としては、例えば、映像面の中心の位置重みの値、映像面における位置重みの平均値、映像面における位置重みの最低値を採用することができる。また、位置重みは、上限値を設けても良い。上限値としては、例えば、映像面における位置重みの平均値を採用することができる。これにより、標準動作と比較対象動作との間の重み付き時間特徴量の差異がより明確になることがある。
　また、動作解析装置は、まず、位置重みに基づいて提示の対象となる領域を抽出し、抽出した領域毎に時間重みを算出してもよい。これにより、より適切な時間重みを算出することが可能となる。
　また、本実施の形態では、時間重みについて標準画像に基づき時間的な伸縮を吸収したが、フーリエ級数展開を導入しても良い。フーリエ級数を導入した時間重みは、特徴量データの差異について、フーリエ級数展開の導入により時間的な伸縮を吸収する。次に、フーリエ級数を導入した時間重みは、各画素のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された、時間軸上の周波数重みを指す。最適化された時間重みは、動作に差があるフレームほど大きくなるという特性を有し、かつ、動作を時系列に評価しつつ各動作データの長さの違いを吸収するという効果を有する。時間重みの詳細については、例えば非特許文献３に記載されているため、ここでの説明を省略する。
　また、本実施の形態では、動作解析装置３００ｆは、標準動作データから算出した各時間の標準部分空間と、対応する比較対象動作データから算出した画像特徴量との距離を算出して、時間重みとした。また、動作解析装置３００ｆは、算出した距離に基づいて正規化等の処理をおこなった後の値を時間重みとしても良い。また、動作解析装置３００ｆは、時間特徴量データの差異について、各時間のｄ次元の特徴量ベクトルを並べた行列の分散を最大化するように、フィッシャー判別基準等により最適化された値としてもよい。また、時間重みは、単にフレーム毎の重み付き時間特徴量の差としても良い。
　また、本実施の形態では、画像特徴量をＣＨＬＡＣ特徴量として説明したが、これに限定されない。画像特徴量として、例えば、方向ヒストグラムを用いた高次の局所特徴量等を用いることができる。かかる特徴量を用いる場合、動作解析装置は、濃度勾配画像から画像の局所的な方向ヒストグラムを求め、求めた方向ヒストグラムを特徴ベクトルとすれば良い。このような画像特徴量を用いた場合でも、小さい差異動作の時間を容易に抽出することができる。
　また、本実施の形態では、時間重みの算出および位置重みの算出を行う際に、同一のセンサから取得したデータを用いたが、異なるセンサから取得したデータを用いても良い。例えば、本実施の形態では、同じ種類のセンサであるカメラセンサから取得したデータを用いても良い。この場合、時間重みの算出に用いる標準データは、水平方向だけでなく垂直方向の動きも捕らえやすいやや斜め前方から取得したデータとし、位置重みの算出に用いるデータは真上から取得したデータとしても良い。こうすることで、目的に応じて、より適切な時間重みや位置重みを抽出することができる。
　更に、例えば、時間重みの算出には加速度センサから取得したデータを用い、位置重みの算出にはカメラセンサから取得したデータを用いるようにしても良い。本実施の形態では、例えば、カメラセンサから取得したデータを用いて時間重みを算出し、加速度センサから取得したデータで時間重みを算出する。この場合は、カメラセンサに水平方向や垂直方向に死角や誤差があっても、カメラセンサの弱点を補うことができる。加速度センサから取得したデータを用いる場合にも、局所特徴量を算出した後は、画像から算出した特徴量と同様に時間重みを算出する。例えば、加速度センサの局所特徴量の算出は、加速度センサを動作者の両手首に装着した場合、両手の６次元と加速度データ間の相関関係の１５次元とを合わせた２１次元の特徴量を、加速度センサの局所特徴量として算出すれば良い。また、評価する動作に用いる道具は、加速度センサを装着させておくことも考えられる。こうすることで、動作者に加速度センサを装着せずに、異なるセンサの特性を生かした動作評価が可能となる。
　（実施の形態７）
　以上説明した実施の形態５および実施の形態６は、実施の形態１～実施の形態４のいずれかと組み合わせることが可能である。すなわち、実施の形態１～実施の形態４において、解析の対象を、実施の形態５で説明した順序違い動作や、実施の形態６で説明した小さい差異動作とすることができる。これにより、順序違い動作の抽出結果の提示量や、小さい差異動作の時間の抽出結果の提示量についても、容易に調整することが可能となる。本発明の実施の形態７として、実施の形態１と実施の形態５または実施の形態６とを組み合わせた動作解析装置について説明する。
　ここで、動作解析装置は、少なくとも、時間成分と位置成分とを含む画像特徴量を用いて動作解析を行うものとする。以下、時間成分および位置成分のうちの一方は「第１の成分」とし、他方は「第２の成分」とする。そして、比較対象特徴量データと標準特徴量データとの間の差異のうち、第１の成分の値毎の差異の大きさを表す重みは「第１の重み」といい、第２の成分の値毎の差異の大きさを表す重みは「第２の重み」という。
　すなわち、第１の成分が時間成分である場合には、第１の重みが時間重みであり、第２の重みは位置重みである。この場合を、「第１のパターン」という。また、第１の成分が位置成分である場合には、第１の重みが位置重みであり、第２の重みは時間重みである。この場合を、「第２のパターン」という。
　図３５は、本実施の形態に係る動作解析装置の構成の一例を示すブロック図であり、実施の形態１の図２、実施の形態５の図１９、および実施の形態６の図２８に対応するものである。
　図３５において、動作解析装置３００ｇは、動作データ入力部３１０、動作特徴抽出部３２１ｇ、動作抽出部３２２ｇ、提示量入力部３２３、動作抽出度調整部３２４、および動作抽出結果提示部３２５を有する。動作特徴抽出部３２１ｇは、第１重み抽出部３４１ｇおよび重み付き特徴量抽出部３４２ｇを有する。動作抽出部３２２ｇは、第２重み抽出部３４３ｇを有する。
　まず、第１のパターンにおける各部の機能について説明する。
　第１重み抽出部３４１ｇは、実施の形態５の時間重み抽出部３３１ｅと同一の機能を有する。但し、第１重み抽出部３４１ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第１のパラメータのうち、例えば、解像度、フレームレート、ＣＨＬＡＣマスクパターンの参照点からの画素間隔、主成分分析の累積寄与度、窓サイズ、基底関数の数、展開数、時間重み閾値、および連続最小（最長）時間等である。
　重み付き特徴量抽出部３４２ｇは、実施の形態５の重み付き位置特徴量抽出部３３２ｅと同一の機能を有する。但し、重み付き特徴量抽出部３４２ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第１のパラメータのうち、例えば、解像度、フレームレート、ＣＨＬＡＣマスクパターンの参照点からの画素間隔、主成分分析の累積寄与度、および窓サイズ等である。
　第２重み抽出部３４３ｇは、実施の形態５の位置重み抽出部３３３ｅと同一の機能を有する。但し、第２重み抽出部３４３ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第２のパラメータおよび第３のパラメータのうち、例えば、基底関数の数、展開数、位置重み閾値、および連続最小（最大）領域等である。
　すなわち、第１のパターンは、実施の形態５を実施の形態１と組み合わせたパターンである。
　次に、第２のパターンにおける各部の機能について説明する。
　第１重み抽出部３４１ｇは、実施の形態６の位置重み抽出部３４１ｆと同一の機能を有する。但し、第１重み抽出部３４１ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第１のパラメータのうち、例えば、解像度、フレームレート、ＣＨＬＡＣマスクパターンの参照点からの画素間隔、主成分分析の累積寄与度、窓サイズ、基底関数の数、展開数、位置重み閾値、および連続最小（最大）領域等である。
　重み付き特徴量抽出部３４２ｇは、実施の形態６の重み付き時間特徴量抽出部３４２ｆと同一の機能をする。但し、重み付き特徴量抽出部３４２ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第１のパラメータのうち、例えば、解像度、フレームレート、ＣＨＬＡＣマスクパターンの参照点からの画素間隔、主成分分析の累積寄与度、および窓サイズ等である。
　第２重み抽出部３４３ｇは、実施の形態６の時間重み抽出部３４３ｆと同一の機能を有する。但し、第２重み抽出部３４３ｇにおいて用いられるパラメータの値は、動作抽出度調整部３２４によって適宜調整される。ここで値が調整されるパラメータは、上述の第２のパラメータおよび第３のパラメータのうち、例えば、基底関数の数、展開数、時間重み閾値、および連続最小（最長）時間等である。
　すなわち、第２のパターンは、実施の形態６を実施の形態１と組み合わせたパターンである。
　動作解析装置３００ｇの動作は、実施の形態１で説明した動作のうち、抽出数Ａとしてカウントされる対象の抽出処理が、実施の形態５または実施の形態６で説明した解析対象の抽出処理に置き換わるのみである。したがって、動作解析装置３００ｇの動作の説明については省略する。
　このように、本実施の形態に係る動作解析装置３００ｇは、順序違い動作の抽出結果の提示量や、小さい差異動作の時間の抽出結果の提示量についても、容易に調整することを可能にする。したがって、動作解析装置３００ｇを用いることにより、異なる用途において、各ニーズにマッチした動作解析を行うことができる。
　なお、本実施の形態では、実施の形態１との組み合わせについてのみ説明したが、同様に、実施の形態２～実施の形態４と実施の形態５または実施の形態６を組み合わせることも可能である。
　また、実施の形態５および実施の形態６の両方を、切り替え可能に組み合わせるようにしても良い。すなわち、動作解析装置は、上述の第１の成分を時間成分とするか位置成分とするかを、ユーザ指定等により切り替えられるようにしても良い。この場合には、動作解析装置は、例えば、時間重み抽出部３３１ｅ、重み付き位置特徴量抽出部３３２ｅ、および位置重み抽出部３３３ｅの系統と、位置重み抽出部３４１ｆ、重み付き時間特徴量抽出部３４２ｆ、および時間重み抽出部３４３ｆの系統との両方を有するようにすれば良い。
　更には、実施の形態５および実施の形態６のみを切り替え可能に組み合わせるようにしても良い。この場合でも、提示量は調整することができないものの、多面的な動作解析が可能となる。
　また、本発明の適用対象は、以上説明した実施の形態１～実施の形態７では工場における作業動作の解析するための装置としたが、これに限定されない。本発明は、例えば、車両運転、スポーツ、調理、楽器演奏等、各種の動作を解析する装置等、他の各種装置に適用することができる。
　以上のように、本発明の第１の態様に係る動作解析装置は、標準動作との比較により比較対象動作の解析を行う動作解析装置であって、前記比較対象動作と前記標準動作との差異の程度が、所定の条件を満たす箇所を判定する動作差異抽出部と、前記所定の条件を満たす箇所の提示量の指定を受け付ける提示量入力部と、前記所定の条件を満たす箇所の量が前記指定された提示量となるように、前記所定の条件を調整する動作抽出度調整部とを有する。
　本発明の第２の態様に係る動作解析装置は、前記第１の態様に係る動作解析装置において、一連の前記標準動作の動作データである標準動作データと、一連の前記比較対象動作の動作データである比較対象動作データとを入力する動作データ入力部を更に有し、前記動作差異抽出部は、第１のパラメータを用いて前記標準動作データおよび前記比較対象動作データのそれぞれから特徴量を抽出し、第２のパラメータを用いて前記比較対象動作データと前記標準動作データの特徴量との特徴量との差異を抽出し、抽出された差異が第３のパラメータにより定まる条件を満たす箇所を抽出し、前記動作抽出度調整部は、前記第１のパラメータ、前記第２のパラメータ、および前記第３のパラメータの少なくとも１つを調整する。
　本発明の第３の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記動作データは動画像データであり、前記特徴量はＣＨＬＡＣ特徴である。
　本発明の第４の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記第３のパラメータにより定まる条件は、前記差異が前記第３のパラメータよりも大きいことである。
　本発明の第５の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記提示量は、前記第３のパラメータにより定まる条件を満たす箇所の個数である。
　本発明の第６の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記提示量は、前記第３のパラメータにより定まる条件を満たす箇所の時間長さの合計である。
　本発明の第７の態様に係る動作解析装置は、前記第２の態様に係る動作解析装置において、前記第３のパラメータにより定まる条件は、前記差異が前記第３のパラメータよりも小さいことである。
　本発明の第８の態様に係る動作解析装置は、前記第１の態様に係る動作解析装置において、一連の前記標準動作の動画データである標準動作データと、一連の前記比較対象動作の動画データである比較対象動作データとを入力する動作データ入力部を更に有し、前記動作差異抽出部は、第４のパラメータを用いて、ＣＨＬＡＣ特徴に時間重みを導入して映像特徴を算出する際の時間重みを、前記比較対象動作と前記標準動作との差異を示す特徴量として抽出し、前記特徴量が第５のパラメータにより定まる条件を満たす箇所を抽出し、前記動作抽出度調整部は、前記第４のパラメータおよび第５のパラメータの少なくとも１つを調整する。
　本発明の第９の態様に係る動作解析装置は、前記第１の態様に係る動作解析装置において、複数の異なる提示量のレベルのそれぞれに対応して、前記標準動作データに基づいて、前記所定の条件の初期値および前記提示量の目標値を設定する動作解析初期値設定部を更に有し、前記動作抽出度調整部は、前記レベルの指定により、前記所定の条件の初期値および前記提示量の指定を受け付ける。
　本発明の第１０の態様に係る動作解析方法は、標準動作との比較により比較対象動作の解析を行う動作解析方法であって、前記解析の結果の提示量の指定を受け付けるステップと、前記比較対象動作と前記標準動作との差異の程度が所定の条件を満たす箇所を判定するステップと、前記所定の条件を満たす箇所の量が指定された提示量と異なるとき、前記所定の条件を調整するステップとを有する。
　本発明の第１１の態様に係る動作解析装置は、標準動作との比較により比較対象動作の解析を行う動作解析装置であって、前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す時間重みを抽出する時間重み抽出部と、前記時間重みを適用した値の位置毎の時間積分である重み付き位置特徴量を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出する重み付き位置特徴量抽出部と、前記比較対象特徴量データの前記重み付き位置特徴量のデータである比較対象位置特徴量データと、前記標準特徴量データの前記重み付き位置特徴量のデータである標準位置特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す位置重みを抽出する位置重み抽出部とを有する。
　本発明の第１２の態様に係る動作解析装置は、前記第１１の態様に係る動作解析装置において、前記位置重みに基づいて、前記比較対象動作の映像における各位置の重要度を示す情報を生成する表示情報生成部を更に有する。
　本発明の第１３の態様に係る動作解析装置は、前記第１１の態様に係る動作解析装置において、前記位置重みおよび前記時間重みに基づいて、前記比較対象動作の映像における各位置の重要度と各時間の重要度とを示す情報を生成する表示情報生成部を更に有する。
　本発明の第１４の態様に係る動作解析装置は、前記第１１の態様に係る動作解析装置において、前記画像特徴量は、ＣＨＬＡＣ特徴量である。
　本発明の第１５の態様に係る動作解析方法は、標準動作との比較により比較対象動作の解析を行う動作解析方法であって、前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す時間重みを抽出するステップと、前記時間重みを適用した値の位置毎の時間積分である重み付き位置特徴量を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出するステップと、前記比較対象特徴量データの前記重み付き位置特徴量のデータである比較対象位置特徴量データと、前記標準特徴量データの前記重み付き位置特徴量のデータである標準位置特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す位置重みを抽出するステップとを有する。
　本発明の第１６の態様に係る動作解析装置は、標準動作との比較により比較対象動作の解析を行う動作解析装置であって、前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す位置重みを抽出する位置重み抽出部と、前記位置重みを適用した値の時間毎の空間積分である重み付き時間特徴量を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出する重み付き時間特徴量抽出部と、前記比較対象特徴量データの前記重み付き時間特徴量のデータである比較対象時間特徴量データと、前記標準特徴量データの前記重み付き時間特徴量のデータである標準時間特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す時間重みを抽出する時間重み抽出部とを有する。
　本発明の第１７の態様に係る動作解析装置は、前記第１６の態様に係る動作解析装置において、前記時間重みに基づいて、前記比較対象動作の映像における各時間の重要度を示す情報を生成する表示情報生成部を更に有する。
　本発明の第１８の態様に係る動作解析装置は、前記第１６の態様に係る動作解析装置において、前記時間重みおよび前記位置重みに基づいて、前記比較対象動作の映像における各時間の重要度と各位置の重要度とを示す情報を生成する表示情報生成部を更に有する。
　本発明の第１９の態様に係る動作解析装置は、前記第１６の態様に係る動作解析装置において、前記画像特徴量は、ＣＨＬＡＣ特徴量である。
　本発明の第２０の態様に係る動作解析方法は、標準動作との比較により比較対象動作の解析を行う動作解析方法であって、前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す位置重みを抽出するステップと、前記位置重みを適用した値の時間毎の空間積分である重み付き時間特徴量を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出するステップと、前記比較対象特徴量データの前記重み付き時間特徴量のデータである比較対象時間特徴量データと、前記標準特徴量データの前記重み付き時間特徴量のデータである標準時間特徴量データとから、前記比較対象動作の前記標準動作との差異の大きさを表す時間重みを抽出するステップとを有する。
　２００９年１２月２２日出願の特願２００９－２９１０１８、２０１０年３月２５日出願の特願２０１０－７０４４４の日本出願、および２０１０年３月２５日出願の特願２０１０－７０４４５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明に係る動作解析装置および動作解析方法は、解析結果の提示量を容易に調整することができる動作解析装置および動作解析方法として有用である。また、本発明に係る動作解析装置および動作解析方法は、順序違い動作の位置を容易に抽出することができる動作解析装置および動作解析方法として有用である。また、本発明に係る動作解析装置および動作解析方法は、小さい差異動作の時間を容易に抽出することができる動作解析装置および動作解析方法として有用である。すなわち、本発明は、工場における作業動作、車両運転、スポーツ、調理、および楽器演奏等、各種の動作を解析する装置および方法として有用である。
　１００、１００ｅ、１００ｆ　動作解析システム
　２００　センサ装置
　３００、３００ｂ、３００ｃ、３００ｄ、３００ｅ、３００ｆ　動作解析装置
　３１０　動作データ入力部
　３２１、３２１ｃ、３２１ｄ　動作特徴抽出部
　３２２、３２２ｂ、３２２ｃ　動作抽出部
　３２３、３２３ｄ　提示量入力部
　３２４、３２４ｂ、３２４ｄ　動作抽出度調整部
　３２５　動作抽出結果提示部
　３２６ｂ　抽出種別入力部
　３２７ｄ　動作解析初期値設定部
　３３１ｅ　時間重み抽出部
　３３２ｅ　重み付き位置特徴量抽出部
　３３３ｅ　位置重み抽出部
　３４１ｆ　位置重み抽出部
　３４２ｆ　重み付き時間特徴量抽出部
　３４３ｆ　時間重み抽出部
　４００　出力装置
　５００　入力装置
 

Claims (19)

  1. 　標準動作との比較により比較対象動作の解析を行う動作解析装置であって、
    　前記比較対象動作と前記標準動作との差異の程度が、所定の条件を満たす箇所を判定する動作差異抽出部と、
    　前記所定の条件を満たす箇所の提示量の指定を受け付ける提示量入力部と、
    　前記所定の条件を満たす箇所の量が前記指定された提示量となるように、前記所定の条件を調整する動作抽出度調整部と、
    　を有する動作解析装置。
  2. 　一連の前記標準動作の動作データである標準動作データと、一連の前記比較対象動作の動作データである比較対象動作データとを入力する動作データ入力部、を更に有し、
    　前記動作差異抽出部は、
    　第１のパラメータを用いて前記標準動作データおよび前記比較対象動作データのそれぞれから特徴量を抽出し、第２のパラメータを用いて前記比較対象動作データと前記標準動作データの特徴量との特徴量との差異を抽出し、抽出された差異が第３のパラメータにより定まる条件を満たす箇所を抽出し、
    　前記動作抽出度調整部は、
    　前記第１のパラメータ、前記第２のパラメータ、および前記第３のパラメータの少なくとも１つを調整する、
    　請求項１記載の動作解析装置。
  3. 　前記動作データは動画像データであり、前記特徴量はＣＨＬＡＣ特徴である、
    　請求項２記載の動作解析装置。
  4. 　前記第３のパラメータにより定まる条件は、前記差異が前記第３のパラメータよりも大きいことである、
    　請求項２記載の動作解析装置。
  5. 　前記提示量は、前記第３のパラメータにより定まる条件を満たす箇所の個数である、
    　請求項２記載の動作解析装置。
  6. 　前記提示量は、前記第３のパラメータにより定まる条件を満たす箇所の時間長さの合計である、
    　請求項２記載の動作解析装置。
  7. 　前記第３のパラメータにより定まる条件は、前記差異が前記第３のパラメータよりも小さいことである、
    　請求項２記載の動作解析装置。
  8. 　一連の前記標準動作の動画データである標準動作データと、一連の前記比較対象動作の動画データである比較対象動作データとを入力する動作データ入力部、を更に有し、
    　前記動作差異抽出部は、
    　第４のパラメータを用いて、ＣＨＬＡＣ特徴に時間重みを導入して映像特徴を算出する際の時間重みを、前記比較対象動作と前記標準動作との差異を示す特徴量として抽出し、前記特徴量が第５のパラメータにより定まる条件を満たす箇所を抽出し、
    　前記動作抽出度調整部は、
    　前記第４のパラメータおよび第５のパラメータの少なくとも１つを調整する、
    　請求項１記載の動作解析装置。
  9. 　複数の異なる提示量のレベルのそれぞれに対応して、前記標準動作データに基づいて、前記所定の条件の初期値および前記提示量の目標値を設定する動作解析初期値設定部、を更に有し、
    　前記動作抽出度調整部は、前記レベルの指定により、前記所定の条件の初期値および前記提示量の指定を受け付ける、
    　請求項１記載の動作解析装置。
  10. 　標準動作との比較により比較対象動作の解析を行う動作解析方法であって、
    　前記解析の結果の提示量の指定を受け付けるステップと、
    　前記比較対象動作と前記標準動作との差異の程度が所定の条件を満たす箇所を判定するステップと、
    　前記所定の条件を満たす箇所の量が指定された提示量と異なるとき、前記所定の条件を調整するステップと、
    　を有する動作解析方法。
  11. 　前記動作差異抽出部は、
    　前記比較対象動作の画像特徴量のデータである比較対象特徴量データと、前記標準動作の画像特徴量のデータである標準特徴量データとから、前記画像特徴量の時間成分および位置成分のうちの一方である第１の成分の値毎に前記比較対象動作の前記標準動作との差異の大きさを表す、第１の重みを抽出する第１重み抽出部と、
    　前記第１の重みを適用した値の前記第１の成分の値の積分値を、前記比較対象特徴量データおよび前記標準特徴量データのそれぞれについて算出する重み付き特徴量抽出部と、
    　前記比較対象特徴量データから算出された前記積分値と、前記標準特徴量データから算出された前記積分値とから、前記画像特徴量の時間成分および位置成分のうちの他方である第２の成分の値毎に前記比較対象動作の前記標準動作との差異の大きさを表す、第２の重みを抽出する第２の重み抽出部と、を有する、
    　請求項１記載の動作解析装置。
  12. 　前記第１の成分は、前記時間成分であり、前記第１の重みは、前記比較対象動作の前記標準動作との時間毎の差異の大きさを表す時間重みであり、前記第２の成分は、前記位置成分であり、前記第２の重みは、前記比較対象動作の前記標準動作との位置毎の差異の大きさを表す位置重みである、
    　請求項１１記載の動作解析装置。
  13. 　前記位置重みに基づいて、前記比較対象動作の映像における各位置の重要度を示す情報を生成する表示情報生成部、を更に有する、
    　請求項１２記載の動作解析装置。
  14. 　前記位置重みおよび前記時間重みに基づいて、前記比較対象動作の映像における各位置の重要度と各時間の重要度とを示す情報を生成する表示情報生成部、を更に有する、
    　請求項１２記載の動作解析装置。
  15. 　前記画像特徴量は、ＣＨＬＡＣ特徴量である、
    　請求項１２記載の動作解析装置。
  16. 　前記第１の成分は、前記位置成分であり、前記第１の重みは、前記比較対象動作の前記標準動作との位置毎の差異の大きさを表す位置重みであり、前記第２の成分は、前記時間成分であり、前記第２の重みは、前記比較対象動作の前記標準動作との時間毎の差異の大きさを表す時間重みである、
    　請求項１１記載の動作解析装置。
  17. 　前記時間重みに基づいて、前記比較対象動作の映像における各時間の重要度を示す情報を生成する表示情報生成部、を更に有する、
    　請求項１６記載の動作解析装置。
  18. 　前記時間重みおよび前記位置重みに基づいて、前記比較対象動作の映像における各時間の重要度と各位置の重要度とを示す情報を生成する表示情報生成部、を更に有する、
    　請求項１６記載の動作解析装置。
  19. 　前記画像特徴量は、ＣＨＬＡＣ特徴量である、
    　請求項１６記載の動作解析装置。
     
PCT/JP2010/007375 2009-12-22 2010-12-20 動作解析装置および動作解析方法 Ceased WO2011077696A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011513791A JP5715946B2 (ja) 2009-12-22 2010-12-20 動作解析装置および動作解析方法
CN201080008083.9A CN102317978B (zh) 2009-12-22 2010-12-20 动作解析装置以及动作解析方法
US13/202,463 US8751191B2 (en) 2009-12-22 2010-12-20 Action analysis device and action analysis method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2009291018 2009-12-22
JP2009-291018 2009-12-22
JP2010-070445 2010-03-25
JP2010-070444 2010-03-25
JP2010070444 2010-03-25
JP2010070445 2010-03-25

Publications (1)

Publication Number Publication Date
WO2011077696A1 true WO2011077696A1 (ja) 2011-06-30

Family

ID=44195250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007375 Ceased WO2011077696A1 (ja) 2009-12-22 2010-12-20 動作解析装置および動作解析方法

Country Status (4)

Country Link
US (1) US8751191B2 (ja)
JP (1) JP5715946B2 (ja)
CN (2) CN102317978B (ja)
WO (1) WO2011077696A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012434A (ja) * 2013-06-28 2015-01-19 カシオ計算機株式会社 フォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システム
KR20150076325A (ko) * 2013-12-26 2015-07-07 현대자동차주식회사 모션 인식을 이용한 공정 검사 시스템
JP2016140576A (ja) * 2015-02-02 2016-08-08 株式会社ソシオネクスト 情報処理装置、振戦情報表示方法、情報処理システム、及びプログラム
WO2017017741A1 (ja) * 2015-07-24 2017-02-02 富士通株式会社 モニタ方法、情報処理装置およびモニタプログラム
CN110008814A (zh) * 2019-01-25 2019-07-12 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置和电子设备
JP2020155961A (ja) * 2019-03-20 2020-09-24 オムロン株式会社 動画出力装置、動画出力方法、動画出力プログラム、および動画出力システム
RU2771745C1 (ru) * 2021-10-21 2022-05-11 Федеральное государственное бюджетное образовательное учреждение высшего образования "Самарский государственный медицинский университет" Министерства здравоохранения Российской Федерации Способ отслеживания (трекинга) в реальном времени анатомических ориентиров объекта
US11842741B2 (en) 2018-03-15 2023-12-12 Nec Corporation Signal processing system, signal processing device, signal processing method, and recording medium
WO2025243445A1 (ja) * 2024-05-23 2025-11-27 Ｎｔｔ株式会社 動作方向提示装置、動作方向提示方法、プログラム、および動作方向提示システム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5455787B2 (ja) 2010-05-27 2014-03-26 パナソニック株式会社 動作解析装置および動作解析方法
TWI476706B (zh) * 2012-04-30 2015-03-11 Pixart Imaging Inc 偵測物件移動輸出命令的方法及其系統
TWI464696B (zh) * 2012-09-12 2014-12-11 Ind Tech Res Inst 動作比對方法與動作比對系統
CN103902954B (zh) * 2012-12-26 2018-06-26 中国移动通信集团贵州有限公司 一种不良视频的鉴别方法和系统
JP5733298B2 (ja) * 2012-12-28 2015-06-10 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JP6051991B2 (ja) * 2013-03-21 2016-12-27 富士通株式会社 信号処理装置、信号処理方法、及び信号処理プログラム
US20150185731A1 (en) * 2013-12-26 2015-07-02 Hyundai Motor Company Work-in-process inspection system using motion detection, and method thereof
WO2016079833A1 (ja) 2014-11-19 2016-05-26 富士通株式会社 異常検出装置、異常検出方法および異常検出プログラム
CN104307171B (zh) * 2014-11-21 2017-08-08 京东方科技集团股份有限公司 体感识别装置
US10120933B2 (en) * 2014-12-10 2018-11-06 Kyndi, Inc. Weighted subsymbolic data encoding
WO2016139906A1 (ja) 2015-03-04 2016-09-09 パナソニックＩｐマネジメント株式会社 人物追跡方法および人物追跡装置
WO2016143106A1 (ja) * 2015-03-11 2016-09-15 富士機械製造株式会社 部品種類自動判別方法及び部品種類自動判別システム並びに画像処理用部品データ作成方法及び画像処理用部品データ作成システム
JP6903976B2 (ja) * 2017-03-22 2021-07-14 オムロン株式会社 制御システム
CN108686363A (zh) * 2017-04-11 2018-10-23 富士通株式会社 动作评价的方法和装置
JP6824838B2 (ja) * 2017-07-07 2021-02-03 株式会社日立製作所 作業データ管理システム及び作業データ管理方法
TWI681798B (zh) 2018-02-12 2020-01-11 莊龍飛 運動課程評分方法與系統、電腦程式產品
CN110148072B (zh) * 2018-02-12 2023-05-02 庄龙飞 运动课程评分方法与系统
CN108744414B (zh) * 2018-04-09 2020-01-03 广东斐瑞智能技术有限公司 运动理疗器械及运动评价方法
CN109682823B (zh) * 2018-12-28 2021-04-30 新昌县馁侃农业开发有限公司 起毛程度判断平台
US11199561B2 (en) * 2018-12-31 2021-12-14 Robert Bosch Gmbh System and method for standardized evaluation of activity sequences
CN111489320A (zh) * 2019-01-29 2020-08-04 华为技术有限公司 图像处理的方法和装置
USD955874S1 (en) 2019-12-20 2022-06-28 S. C. Johnson & Son, Inc. Container
JP7521602B2 (ja) * 2020-12-08 2024-07-24 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079272A (ja) * 2004-09-08 2006-03-23 National Institute Of Advanced Industrial & Technology 異常動作検出装置および異常動作検出方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111410A (en) * 1989-06-23 1992-05-05 Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho Motion analyzing/advising system
US5097328A (en) * 1990-10-16 1992-03-17 Boyette Robert B Apparatus and a method for sensing events from a remote location
KR0181036B1 (ko) * 1995-04-08 1999-05-01 배순훈 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법
US6993159B1 (en) 1999-09-20 2006-01-31 Matsushita Electric Industrial Co., Ltd. Driving support system
JP2002351293A (ja) * 2001-05-22 2002-12-06 Yoriaki Yamai 動作分析方法
JP2003167613A (ja) * 2001-11-30 2003-06-13 Sharp Corp 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体
JP2004164563A (ja) * 2002-09-26 2004-06-10 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
US20070048740A1 (en) * 2003-02-14 2007-03-01 Research Association For Biotechnology Full-length cDNA
US7535515B2 (en) * 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
JP2005253685A (ja) * 2004-03-11 2005-09-22 Konica Minolta Medical & Graphic Inc 画像診断支援装置及び画像診断支援プログラム
JP4603512B2 (ja) * 2006-06-16 2010-12-22 独立行政法人産業技術総合研究所 異常領域検出装置および異常領域検出方法
JP4215781B2 (ja) * 2006-06-16 2009-01-28 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法
KR101858531B1 (ko) * 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079272A (ja) * 2004-09-08 2006-03-23 National Institute Of Advanced Industrial & Technology 異常動作検出装置および異常動作検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUSUKE MORISHITA ET AL.: "A Method of Motion Evaluation using Time Weights and External Criteria", IEICE TECHNICAL REPORT, vol. 107, no. 538, 3 March 2008 (2008-03-03), pages 47 - 52 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012434A (ja) * 2013-06-28 2015-01-19 カシオ計算機株式会社 フォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システム
KR20150076325A (ko) * 2013-12-26 2015-07-07 현대자동차주식회사 모션 인식을 이용한 공정 검사 시스템
KR101592376B1 (ko) * 2013-12-26 2016-02-11 현대자동차주식회사 모션 인식을 이용한 공정 검사 시스템
JP2016140576A (ja) * 2015-02-02 2016-08-08 株式会社ソシオネクスト 情報処理装置、振戦情報表示方法、情報処理システム、及びプログラム
WO2017017741A1 (ja) * 2015-07-24 2017-02-02 富士通株式会社 モニタ方法、情報処理装置およびモニタプログラム
US11842741B2 (en) 2018-03-15 2023-12-12 Nec Corporation Signal processing system, signal processing device, signal processing method, and recording medium
CN110008814A (zh) * 2019-01-25 2019-07-12 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置和电子设备
JP2020155961A (ja) * 2019-03-20 2020-09-24 オムロン株式会社 動画出力装置、動画出力方法、動画出力プログラム、および動画出力システム
JP7063294B2 (ja) 2019-03-20 2022-05-09 オムロン株式会社 動画出力装置、動画出力方法、動画出力プログラム、および動画出力システム
RU2771745C1 (ru) * 2021-10-21 2022-05-11 Федеральное государственное бюджетное образовательное учреждение высшего образования "Самарский государственный медицинский университет" Министерства здравоохранения Российской Федерации Способ отслеживания (трекинга) в реальном времени анатомических ориентиров объекта
WO2025243445A1 (ja) * 2024-05-23 2025-11-27 Ｎｔｔ株式会社 動作方向提示装置、動作方向提示方法、プログラム、および動作方向提示システム

Also Published As

Publication number Publication date
CN102317978B (zh) 2014-11-12
US8751191B2 (en) 2014-06-10
CN103942544A (zh) 2014-07-23
JPWO2011077696A1 (ja) 2013-05-02
CN102317978A (zh) 2012-01-11
JP5715946B2 (ja) 2015-05-13
US20120004887A1 (en) 2012-01-05
CN103942544B (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
JP5715946B2 (ja) 動作解析装置および動作解析方法
US10747988B2 (en) Method and device for face tracking and smart terminal
EP2344983B1 (en) Method, apparatus and computer program product for providing adaptive gesture analysis
US7065230B2 (en) Image processing system and driving support system
JP5297530B2 (ja) 画像処理装置、及びインターフェース装置
US7593552B2 (en) Gesture recognition apparatus, gesture recognition method, and gesture recognition program
US20080212850A1 (en) Eyelid detection apparatus and programs therefor
US11232585B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
EP2905680B1 (en) Information processing apparatus, information processing method, and program
JP2000163196A (ja) ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
US11036974B2 (en) Image processing apparatus, image processing method, and storage medium
US9280703B2 (en) Apparatus and method for tracking hand
US20060098846A1 (en) Movement analysis apparatus
JP2014048962A (ja) 画像処理装置、画像処理方法及びプログラム
WO2011148439A1 (ja) 動作解析装置および動作解析方法
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
JP2005309765A (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
JP4153819B2 (ja) ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2020170252A (ja) 画像処理装置、情報処理方法及びプログラム
JP2012181710A (ja) オブジェクト追跡装置、方法、及びプログラム
CN104881215A (zh) 电子设备的控制方法、控制装置及电子设备
US11875518B2 (en) Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium
US20220262031A1 (en) Information processing apparatus, information processing method, and storage medium
US11847823B2 (en) Object and keypoint detection system with low spatial jitter, low latency and low power usage
US20220309704A1 (en) Image processing apparatus, image processing method and recording medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080008083.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011513791

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13202463

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10838935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10838935

Country of ref document: EP

Kind code of ref document: A1