[go: up one dir, main page]

WO2018037891A1 - 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体 - Google Patents

画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体 Download PDF

Info

Publication number
WO2018037891A1
WO2018037891A1 PCT/JP2017/028527 JP2017028527W WO2018037891A1 WO 2018037891 A1 WO2018037891 A1 WO 2018037891A1 JP 2017028527 W JP2017028527 W JP 2017028527W WO 2018037891 A1 WO2018037891 A1 WO 2018037891A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
representative
displacement
image processing
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/028527
Other languages
English (en)
French (fr)
Inventor
太田　雅彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2018535578A priority Critical patent/JP7063267B2/ja
Priority to US16/327,701 priority patent/US10922823B2/en
Publication of WO2018037891A1 publication Critical patent/WO2018037891A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to a technique for photographing a moving object and detecting (observing) the movement of the object by image processing.
  • Factory lines, belt conveyors, and rotating antennas have moving parts that move with periodicity.
  • a movable part that opens and closes at entrance gates. These movable parts move at the same position, take the same posture repeatedly, or repeat the same deformation.
  • the movable part by performing image processing on an image of the movable part photographed by a camera and analyzing information obtained by the image processing.
  • image processing for example, when the movable portion is a rotating body, the rotating movable portion is photographed, and the first rotation and the second rotation are taken.
  • Patent Document 1 Japanese Patent Laid-Open No. 02-284267
  • Patent Document 2 Japanese Patent Publication No. 07-31249
  • sensors for detecting moving objects are arranged side by side with a camera and a light source.
  • a trigger signal output from the sensor is taken into the processing device.
  • the processing device gives a delay at the timing when the trigger signal is received and controls the camera and the light source. Send a signal.
  • the processing device thus controls the camera and the light source.
  • a sensor that detects a moving object takes a time (response time) of several tens of us (microseconds) to several tens of milliseconds (milliseconds) from the detection of the object to the output of a signal.
  • the response time of such a sensor is mainly due to “delay” caused by internal processing and “variation in output timing”.
  • the processing device Since the “delay” time is almost constant and can be estimated, the processing device sends a control signal in consideration of the delay time to the camera or light source after the processing device captures the trigger signal from the sensor. Thus, the “delay” can be eliminated.
  • the time of “variation of output timing” fluctuates and is difficult to estimate, it is difficult for the processing device to output a trigger signal from the sensor in order to eliminate the “variation of output timing” of the sensor. Therefore, the “output timing variation” of the sensor is one of the causes of variations in camera photographing timing.
  • the camera also takes a time (response time) of several tens of us (microseconds) to several tens of milliseconds (milliseconds) from when the trigger signal (camera control signal) is received until shooting is performed.
  • This camera response time factor also includes “delay” due to internal processing and “variation in execution timing”.
  • the “delay” of the camera can be eliminated by the processing device.
  • the “variation of execution timing” of the camera is similar to the “variation of output timing” of the sensor. , Difficult to eliminate. For this reason, “variation in execution timing” of the camera is one of the causes of variations in the photographing timing of the camera.
  • the main object of the present invention is to provide a technique for accurately detecting (observing) the motion of a photographed object by image analysis without reducing the influence of variations in photographing timing and without stopping the motion of the moving object. There is to do.
  • an image processing apparatus of the present invention provides: A representative selection unit that selects a representative image that is a reference for processing from among captured images obtained by photographing an object to be detected; In a state where the representative image is selected, by comparing and analyzing the representative image and the captured image different from the captured image selected as the representative image, the amount of displacement between the representative image and the captured image A displacement analysis unit for calculating A reference selection unit configured to select the reference image used in the process of analyzing the motion of the object to be detected from the photographed image determined as the reference image based on the calculated displacement amount;
  • the image processing system of the present invention includes: A photographing device for photographing an object to be detected; The image processing apparatus of the present invention is provided.
  • the image processing method of the present invention includes: Select a representative image to be used as a processing standard from the captured images of the object to be detected, In a state where the representative image is selected, by comparing and analyzing the representative image and the captured image different from the captured image selected as the representative image, the amount of displacement between the representative image and the captured image To calculate From the captured image determined as a reference image, select the reference image to be used in the process of analyzing the motion of the object to be detected based on the calculated displacement amount, Based on the selected reference image and the captured image, the motion of the object to be detected is analyzed.
  • the program storage medium of the present invention includes: A process of selecting a representative image as a reference for processing from among captured images obtained by photographing an object to be detected; In a state where the representative image is selected, by comparing and analyzing the representative image and the captured image different from the captured image selected as the representative image, the amount of displacement between the representative image and the captured image A process of calculating A process of selecting the reference image to be used in the process of analyzing the movement of the object to be detected from the captured image determined as a reference image based on the calculated displacement amount; A computer program for causing a computer to execute a process of analyzing a motion of the object to be detected based on the selected reference image and the captured image is stored.
  • the main object of the present invention is also achieved by the image processing method of the present invention corresponding to the image processing apparatus of the present invention.
  • the main object of the present invention is also achieved by the computer program of the present invention corresponding to the image processing apparatus and the image processing method of the present invention, and a program storage medium for storing the computer program.
  • the present invention it is possible to detect (observe) the motion of a photographed object with high accuracy by image analysis without reducing the influence of variations in photographing timing and without stopping the motion of the moving object.
  • 1 is a block diagram illustrating a simplified configuration of an image processing apparatus according to a first embodiment of the present invention.
  • 1 is a block diagram illustrating a simplified configuration of an image processing system including an image processing apparatus according to a first embodiment of the present invention. It is a block diagram which simplifies and represents the structure of an image processing system provided with the image processing apparatus of 2nd Embodiment which concerns on this invention. It is a block diagram which simplifies and represents the structure of the image processing apparatus of 2nd Embodiment which concerns on this invention. It is a figure explaining an example of the information registered into the memory
  • FIG. 1 is a block diagram showing a simplified configuration example of the image processing apparatus according to the first embodiment of the present invention. As shown in FIG. 2, the image processing apparatus 1 according to the first embodiment constitutes an image processing system 6 together with the photographing apparatus 7.
  • the photographing device 7 has a function of photographing an object to be detected.
  • the image processing apparatus 1 includes a representative selection unit 2, a displacement analysis unit 3, and a reference selection unit 4.
  • the representative selection unit 2 has a function of selecting a representative image serving as a processing reference from a photographed image obtained by photographing an object to be detected.
  • the displacement analysis unit 3 has a function of calculating a displacement amount between the representative image and the captured image by comparing and analyzing the representative image and a captured image different from the representative image in a state where the representative image is selected. Is provided.
  • the displacement amount here may be the displacement amount (or the total sum) of the entire image or the displacement amount (or the sum total) in a specific region (ROI (Region Of Interest)) in the image. .
  • the displacement analysis unit 3 calculates a predetermined displacement amount among such displacement amounts.
  • the reference selection unit 4 selects a reference image to be used in the process of analyzing the motion of the detection target object from the captured images determined as the reference image based on the displacement amount calculated by the displacement analysis unit 3. It has a function.
  • the image processing apparatus 1 is used in a process of analyzing a motion of an object to be detected based on a displacement amount between a representative image that is a captured image captured in the past under the same conditions and a captured image.
  • a configuration for selecting an image to be performed (reference image) is provided.
  • FIG. 3 is a block diagram showing a simplified configuration of an image processing system including the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating a simplified configuration of the image processing apparatus according to the second embodiment.
  • the image processing system 20 is a system that detects (observes) the movement of an object using an image obtained by photographing the object (for example, an abnormality detection process for a rotationally movable member in a factory line or facility equipment). Applied to the system).
  • the image processing system 20 includes an image processing device 21, a storage device 22, a detection device 23, and a photographing device 24.
  • the image processing device 21 is communicably connected to the storage device 22, the detection device 23, and the photographing device 24.
  • the detection device 23 and the photographing device 24 are arranged in a state where the movement of the object can be detected or photographed.
  • the photographing device 24 is composed of an image sensor, a camera, a video camera, and the like.
  • the imaging device 24 includes a configuration that performs an imaging operation in accordance with an imaging control signal supplied from the image processing device 21 and outputs the captured image to the image processing device 21.
  • the detection device 23 When the detection device 23 senses the state of the object to be detected and detects that the movement or deformation of the object is in a predetermined state (position / posture / shape), a signal that informs the detection is used as a synchronization signal to perform image processing. A configuration for outputting to the device 21 is provided.
  • the detection device 23 includes a sensor device such as a proximity sensor, a capacitance sensor, a contact detection sensor, a bending sensor, and a strain sensor, and a sensor array device.
  • the detection apparatus 23 may be comprised by sensor devices, such as a photoelectric sensor, a distance sensor, and an encoder, and the processing apparatus which processes the sensing information output from the said sensor device.
  • the detection device 23 senses the state of the object to be detected using the output signal, and based on the sensing And a configuration for outputting a synchronization signal.
  • the detection device 23 may be configured to output not only the synchronization signal but also data such as various sensor values and their calculated values.
  • the detection device 23 may be configured to sense the state of an object to be detected by image processing using an image captured by an image sensor and output a synchronization signal based on the sensing. Furthermore, the detection device 23 calculates the similarity between the image of the object to be detected and a reference image (for example, a representative image to be described later) representing the motion state of the object, and the similarity is higher than the threshold value. In this case, a configuration may be provided that outputs a synchronization signal. Further, the detection device 23 may be configured to output not only the synchronization signal but also values and data calculated by image processing such as image similarity. As described above, the detection device 23 may have a configuration using an image of an object to be detected. In this case, the detection device 23 may be incorporated in the photographing device 24.
  • the storage device 22 is a device that stores information (data). In the second embodiment, the storage device 22 stores image data and the like used by the image processing device 21.
  • the image processing device 21 includes an imaging control unit 211, a representative selection unit 212, a displacement analysis unit 213, a reference selection unit 214, an image analysis unit 215, and a writing unit 216.
  • the displacement analysis unit 213 is connected to the imaging control unit 211, the representative selection unit 212, and the reference selection unit 214, respectively.
  • the image analysis unit 215 is connected to the imaging control unit 211 and the reference selection unit 214, respectively.
  • the imaging control unit 211 is connected to the detection device 23 and the imaging device 24, respectively.
  • the imaging control unit 211 receives a synchronization signal (a signal corresponding to the motion or deformation state of the object to be observed) from the detection device 23 and outputs an imaging control signal for instructing imaging based on the synchronization signal to the imaging device 24. It has a function. For example, the imaging control unit 211 adjusts the output timing of the imaging control signal such that the imaging control signal is output to the imaging device 24 after a preset delay time has elapsed since receiving the synchronization signal from the detection device 23. You may have the function to do.
  • the delay time is longer than the time (response time) required for response processing when the imaging control unit 211 receives the synchronization signal and immediately outputs the imaging control signal.
  • the imaging control unit 211 controls the imaging of the imaging device 24 so that the influence of variations in response time and the like can be suppressed and the motion and deformation states of the observation object captured by the imaging device 24 can be aligned. Timing can be controlled.
  • the imaging control unit 211 outputs an image (captured image) acquired from the imaging device 24 to the representative selection unit 212, and outputs the captured image as a processing target image to the displacement analysis unit 213 and the image analysis unit 215. It has a function.
  • the representative selecting unit 212 stores an image (representative image) to be used as a reference image in the processing of the displacement analyzing unit 213. 22 is provided.
  • the representative selection unit 212 has a function of registering the captured image of the imaging device 24 received through the imaging control unit 211 as a representative image in the storage device 22 when the representative image is not registered in the storage device 22. Yes.
  • the representative selection unit 212 sequentially receives the captured images of the imaging device 24, and a representative image to be used as a reference image in the processing of the displacement analysis unit 213 is determined in advance from a plurality of preset captured images. The selection function is provided.
  • the representative selection unit 212 sets, for example, an image randomly selected from a plurality of captured images captured by the imaging device 24 as a primary representative image, and the primary representative image and other captured images are displayed.
  • the displacement amount is calculated by analyzing the displacement.
  • the representative selection unit 212 statistically evaluates the amount of displacement and selects an image taking the median value as a representative image. Selecting the representative image by such a method can narrow the displacement search area in the processing by the displacement analysis unit 213.
  • the writing unit 216 has a function of writing information (data) such as an image into the storage device 22.
  • the representative image selected by the representative selection unit 212 is written into the storage device 22 by the function of the writing unit 216.
  • the displacement analysis unit 213 analyzes the displacement of the point or area where the object in the processing target image received from the imaging control unit 211 is captured with respect to the representative image read from the storage device 22. It has a function to perform analysis. In the second embodiment, the displacement analysis unit 213 mainly handles global shifts. The displacement analysis unit 213 calculates the displacement amount as a value indicating how much the position of the object in the processing target image is deviated from the representative image. In addition, the displacement analysis unit 213 has a function of outputting the calculated displacement amount to the reference selection unit 214.
  • the displacement analysis performed by the displacement analysis unit 213 is, for example, disclosed in Japanese Patent Laid-Open No. 2006-33142, a method of calculating a translational deviation amount by a gradient method, and Japanese Patent Laid-Open No. 2009-77363. It is possible to use a motion amount calculation method by optical flow. In addition, for the analysis of displacement, the movement of local image features represented by the movement tracking method by template matching, the displacement calculation method by image correlation method, SIFT (Scale Invariant Feature Transform) feature, etc. There are also methods such as analysis methods. The displacement analysis unit 213 analyzes the displacement by a method appropriately selected from such various methods.
  • the reference selection unit 214 selects a reference image from a plurality of reference images stored in the storage device 22 based on the displacement amount obtained from the displacement analysis unit 213.
  • the reference image is an image including an object to be observed that has been imaged in advance by the imaging device 24 at the same timing (periodic timing) as the timing at which the object to be observed is imaged. For example, when a representative image is selected by the representative selection unit 212, a displacement amount between the representative image and each reference image is calculated by the displacement analysis unit 213.
  • the storage device 22 includes an image storage unit 221, and the image storage unit 221 includes a representative image selected by the representative selection unit 212, a reference image, the reference image, and a representative. The amount of displacement with the image is stored in an associated state.
  • the reference selection unit 214 selects, from the image storage unit 221 of the storage device 22, the reference image associated with the displacement amount closest to the displacement amount between the processing target image and the representative image calculated by the displacement analysis unit 213. To do.
  • the reference selection unit 214 does not select one reference image, but selects a plurality of reference images close to the amount of displacement between the processing target image and the representative image calculated by the displacement analysis unit 213 as a reference image group. May be.
  • the image analysis unit 215 has a function of detecting (observing) the movement of an object to be observed by image analysis using the processing target image received through the imaging control unit 211 and the reference image selected by the reference selection unit 214. It has.
  • the image analysis unit 215 analyzes the local displacement of the object to be observed in the image using, for example, the displacement analysis method as described above. Alternatively, the image analysis unit 215 may analyze the displacement of the entire image.
  • the image analysis unit 215 may take a difference between images. Further, the image analysis unit 215 may extract the edge of the object to be observed and evaluate the angle and length thereof.
  • the image processing device 21 may have a function of acquiring information obtained at the time of photographing together with an image based on the synchronization signal output from the detection device 23.
  • the image analysis unit 215 may analyze the movement of the object to be observed in consideration of information obtained at the time of shooting.
  • information obtained at the time of photographing for example, image photographing time, photographing environment information (illuminance at the time of photographing, wind direction, wind speed, etc.), information obtained from the detection device 23 (image similarity, etc.), and the like. is there.
  • the information obtained at the time of shooting is the sensor values obtained at the time of shooting from various sensors (photoelectric sensors, distance sensors, acceleration sensors, gyros, etc.) installed to sense the presence and state of the object to be observed and their calculated values. It may be.
  • the information obtained at the time of photographing used by the image processing device 21 and the image analyzing unit 215 is not limited to one of the above information, and a plurality of information obtained at the time of photographing may be used.
  • the image analysis unit 215 Based on, for example, a change in the movement of the object analyzed by the image analysis unit 215 as described above, for example, it is determined whether or not there is an abnormality in a rotationally movable member in a factory line or facility equipment. Note that how the result of the image analysis performed by the image analysis unit 215 is processed depends on the system to which the image processing system of the second embodiment is applied, and the above-described member abnormality It is not limited to detection.
  • FIG. 6 is a block diagram illustrating a simplified hardware configuration of the image processing apparatus 21.
  • the image processing apparatus 21 includes, for example, a CPU (Central Processing Unit) 15, a communication unit 16, a memory 17, and an input / output IF (Interface) 18. Furthermore, a display device (not shown) may be connected to the image processing device 21.
  • a CPU Central Processing Unit
  • a communication unit 16 a memory 17
  • an input / output IF Interface
  • a display device may be connected to the image processing device 21.
  • the communication unit 16 is connected to, for example, an information processing apparatus (not shown) owned by a user of the system via an information communication network (not shown) and has a function of realizing communication with the information processing apparatus or the like.
  • the input / output IF 18 is connected to, for example, a detection device 23, an imaging device 24, a storage device 22, and an input device (not shown) such as a keyboard for inputting information by an operator (user) of the device. And a function for realizing communication of information (signal).
  • the memory 17 is a storage device (storage medium) that stores data and computer programs (programs).
  • the CPU 15 is an arithmetic circuit, and has a function of controlling the operation of the image processing device 21 by reading a program stored in the memory 17 and executing the program. For example, when the CPU 15 executes the program, the imaging control unit 211, the representative selection unit 212, the displacement analysis unit 213, the reference selection unit 214, the image analysis unit 215, and the writing unit 216, which are functional units, are realized.
  • FIG. 7 represents, for example, a processing procedure executed by the CPU 15 of the image processing apparatus 21.
  • the imaging control unit 211 when receiving the synchronization signal from the detection device 23 (Step S1), the imaging control unit 211 outputs the imaging control signal to the imaging device 24 (Step S2). In addition, when the image capturing unit 211 acquires an image from the image capturing device 24 (step S3), the image capturing unit 211 supplies the image to the representative selecting unit 212, and outputs the processed image to the displacement analyzing unit 213 and the image analyzing unit 215.
  • the representative selection unit 212 determines whether or not the representative image is present (registered) in the storage device 22 (step S4). If it does not exist, the representative selection unit 212 writes (registers) the received image as a representative image in the image storage unit 221 of the storage device 22 by the writing unit 216 (step S5). Then, the image processing device 21 stands by in preparation for the next synchronization signal.
  • step S6 if a representative image exists in the image storage unit 221 of the storage device 22, the representative image is selected based on a predetermined selection method.
  • the displacement analysis unit 213 analyzes the displacement between the processing target image received from the imaging control unit 211 and the representative image selected by the representative selection unit 212, and calculates a displacement amount (step S7). Then, the reference selection unit 214 has the same or predetermined deviation allowable range as the calculated displacement amount in the reference image associated with the representative image selected by the representative selection unit 212 in the image storage unit 221. It is determined whether or not there is a reference image associated with the displacement amount (step S8). When there is no corresponding reference image in the image storage unit 221, the reference selection unit 214 sets a captured image by the imaging device 24 that is a processing target of the displacement analysis unit 213 as a reference image.
  • the reference selection unit 214 registers the reference image in the reference image storage unit 122 with the writing unit 216 in a state associated with the displacement calculated by the displacement analysis unit 213 (step S9). Then, the image processing device 21 stands by in preparation for the next synchronization signal.
  • the reference selection unit 214 selects a corresponding reference image (step S10), and the selected reference The image is read from the image storage unit 221.
  • the image analysis unit 215 analyzes the image using the processing target image received from the imaging control unit 211 and the reference image selected by the reference selection unit 214 (step S11). Then, the image analysis unit 215 outputs the result obtained by this analysis, for example, an observation result such as the movement of the object to be observed to an output device (not shown) (step S12).
  • the image processing device 21 can observe the movement of the object to be observed by a series of operations including the image processing as described above, and can output the observation result to a display device (not shown).
  • the image processing apparatus 21 according to the second embodiment and the image processing system 20 including the same can achieve the following effects. That is, in the second embodiment, as shown in FIG. 5, a plurality of reference images are associated with one representative image, and the displacement amount of each reference image with respect to the representative image is calculated. The displacement amount is associated with the reference image. In such a state, the representative image, the reference image, and the displacement amount are stored in the image storage unit 221. Both the representative image and the reference image are images obtained by photographing the object to be observed under the same conditions as the analysis target photographed image output from the photographing device 24.
  • the reference selection unit 214 selects a reference from the reference images stored in the image storage unit 221 based on the amount of displacement between the reference representative image and the captured image to be analyzed (processing target image).
  • the image is an image that can be easily compared with the processing target image.
  • the displacement analysis unit 213 can extract a component due to a variation in photographing timing between the processing target image and the representative image as a parameter called a displacement amount.
  • the reference selection unit 214 can select a reference image having a close displacement amount from the reference images in the image storage unit 221 associated with the displacement amount indicating the variation component of the photographing timing with the same representative image. It becomes.
  • the reference image having a close displacement amount is a reference image that has a small variation in photographing timing with the processing target image and can be easily compared with the processing target image. Even when the position of the object in the image varies due to the variation in the shooting timing as a result of selecting such a reference image, the image analysis unit 215 determines the object to be observed in the processing target image, It is possible to compare the object to be observed in the reference image having the same position and orientation as the object. Thereby, the deviation of the position and orientation of the observation target object in the processing target image with respect to the observation target object in the reference image is small, and the image analysis unit 215 can easily extract the behavior to be observed in the observation target object.
  • the reference selection unit 214 can appropriately select a reference image including an observation target object that can be easily compared with the observation target object in the processing target image. For this reason, even when the motion speed of the object changes, the image analysis unit 215 can easily extract the behavior to be observed in the observation target object by image analysis based on the comparison between the processing target image and the reference image.
  • the image processing device 21 and the image processing system 20 including the image processing device 21 have a simple configuration, reduce the adverse effects of variations in shooting timing, and show the behavior of an object shot without stopping the movement of the moving object. It can be detected (observed) with high accuracy by image analysis.
  • FIG. 8 is a block diagram illustrating a simplified configuration of a modification of the image processing device 21 according to the second embodiment.
  • parts having the same names as constituent parts constituting the image processing apparatus 21 shown in FIG. 4 are denoted by the same reference numerals, and redundant description of common parts in the functions is omitted.
  • an image alignment unit 217 which is a functional unit realized by the CPU 15 is provided.
  • the reference selection unit 214 selects a plurality of reference images close to the displacement amount between the processing target image and the representative image calculated by the displacement analysis unit 213 as a reference image group.
  • the image alignment unit 217 has a function of aligning the selected reference images according to a predetermined rule.
  • the image analysis unit 215 extracts the behavior of the object to be observed by image analysis based on the reference image aligned by the image alignment unit 217 and the processing target image.
  • the other configuration of the image processing apparatus 21 shown in FIG. 8 is the same as that of the image processing apparatus 21 in FIG. 8.
  • FIG. 9 is a flowchart showing a modification of the operation example of FIG. 8 in the image processing apparatus 21.
  • the operation from step S1 to step S12 is the same as the operation from step S1 to step S12 in FIG. 7, but the reference is made after the operation in step S12.
  • An operation of registering an image in the storage device 22 is performed (step S13). That is, in step S13, after the image analysis unit 215 outputs the analysis result, the reference selection unit 214 sets the processing target image as a new reference image and associates it with the displacement amount calculated by the displacement analysis unit 213.
  • the data is output to the writing unit 216.
  • information on the new reference image and the displacement amount between the reference image and the representative image is written (updated) in the image storage unit 221 of the storage device 22 by the writing unit 216.
  • the image processing apparatus 21 can appropriately accumulate the reference image.
  • FIG. 10 is a flowchart showing another modified example of the operation in the image processing apparatus 21.
  • step S7 in which the displacement analysis unit 213 calculates the displacement amount of the processing target image with respect to the representative image, for example, the processing range in which the displacement amount calculated by the reference selection unit 214 is set in advance.
  • An operation (step S14) is performed to determine whether or not it is within.
  • the image processing device 21 executes the operation after step S8 when the displacement amount is within the processing range, and prepares for receiving the next synchronization signal when the displacement amount is larger than the processing range. And wait.
  • steps other than those described above are the same as the operations shown in FIG. 7 or FIG. 9, and the same operation parts are given the same step numbers and are appropriately selected.
  • the illustration is omitted, and further, duplicate description of common parts is omitted.
  • the reference selection unit 214 can select the processing target image, and the processing target image within the processing range in which the displacement amount calculated by the displacement analysis unit 213 is appropriate is sent to subsequent processing. Therefore, the image analysis unit 215 can more easily compare with the reference image, and can improve the accuracy of image analysis.
  • the reference image can be accumulated in the image storage unit 221 as in the operation example of FIG. 9, the processing target image having an appropriate displacement amount is accumulated as the reference image. .
  • the reference image accumulation speed in the image storage unit 221 is slower than when no processing target image is selected. Therefore, even when a storage device 22 having a small storage capacity such as RAM (Random Access Memory) is used, a configuration in which the reference image is accumulated can be applied.
  • FIG. 11 is a bar graph showing an example of the relationship between the displacement amount of the processing target image with respect to the representative image and the appearance frequency of the processing target image corresponding to the displacement amount. Note that the displacement amount is divided by a predetermined displacement amount, and FIG. 11 shows the appearance frequency of the processing target image for each division.
  • the processing target image is selected as in the operation example of FIG. 10 and the displacement amount is in the range from “ ⁇ 2” to “2” in FIG.
  • a processing target image corresponding to the added appearance frequency is selected.
  • the number of processing target images processed by the reference selection unit 214 and the image analysis unit 215 is reduced by selecting the processing target image as compared with the case where the processing target image is not selected. Is done.
  • the configuration in which the processing target image is selected can suppress the accumulation amount of the reference image.
  • step S8 and step S9 can be made unnecessary.
  • the image processing apparatus 21 can process the image at a higher speed and can reduce the number of reference images to be recorded in the image storage unit 221. Therefore, the image processing apparatus 21 can be applied even when the storage device 22 having a smaller storage capacity is used.
  • the representative selection unit 212 is configured to set (select) a representative image from the captured images received through the shooting control unit 211.
  • the representative selection unit 212 may set (select) a representative image from the reference images in the storage device 22 when the reference image is stored in the storage device 22.
  • the image processing device 21 may include a configuration for updating the representative image at a preset timing.
  • a method for setting (selecting) a representative image to be updated for example, the following method can be considered.
  • a method is conceivable in which a reference image corresponding to a median value or an average value of displacement amounts of each reference image with respect to the representative image registered in the image storage unit 221 of the storage device 22 is selected as the representative image. Since the difference between the representative image and the processing target image is reduced by selecting the representative image in this way, such a representative image selection configuration is a processing load for calculating the displacement amount between the representative image and the processing target image. Can be reduced, and the processing speed can be increased.
  • the displacement amount of the reference image with respect to the updated representative image is calculated, and information (data) in which the reference image and the calculated displacement amount are associated with the updated representative image. It is necessary to re-register in the image storage unit 221 of the storage device 22.
  • a plurality of representative images may be registered in the image storage unit 221 in a state associated with the reference image and the displacement amount, respectively.
  • the displacement analysis unit 213 may calculate the displacement amount between each of the plurality of representative images and the processing target image.
  • the reference selection unit 214 may select a reference image corresponding to the calculated displacement amount from the reference images associated with each representative image whose displacement amount has been calculated.
  • the image analysis unit 215 can perform image analysis by comparing a plurality of reference images captured at different timings with one processing target image.
  • the reference selection unit 214 may select a plurality of reference images from the image storage unit 121 as a reference image group. For example, the reference selection unit 214 sets a displacement amount from a preset width range (for example, a value obtained by subtracting a predetermined value ⁇ from the displacement amount P (P ⁇ ) centered on the displacement amount of the processing target image with respect to the representative image. A value obtained by adding a predetermined value ⁇ to P (range up to P + ⁇ ) is calculated. Then, the reference selection unit 214 selects a reference image associated with the displacement amount within the range as a reference image group.
  • a preset width range for example, a value obtained by subtracting a predetermined value ⁇ from the displacement amount P (P ⁇ ) centered on the displacement amount of the processing target image with respect to the representative image.
  • a value obtained by adding a predetermined value ⁇ to P range up to P + ⁇
  • the reference selection unit 214 selects a reference image associated with the displacement amount within the range as a reference image group
  • the displacement amount may be divided into a plurality of classes, and the reference image may be classified into any one of the classes based on the displacement amount of the reference image with respect to the representative image.
  • the class information thus classified is also associated with the reference image registered in the image storage unit 221.
  • the reference selection unit 214 determines which class the processing target image belongs to based on the amount of displacement calculated by the displacement analysis unit 213, and a reference belonging to the same class as the class determined that the processing target image belongs to All of the images may be selected.
  • the reference selection unit 214 selects a reference image group by processing such as the modification example 7 and the modification example 8, a plurality of reference images close to the processing target image can be obtained. Therefore, the image analysis unit 215 can obtain a more precise image. Analysis results can be obtained.
  • the predetermined value ⁇ in the modified example 7 and the range of each class of the displacement amount in the modified example 8 may be set according to the magnitude of the behavior to be observed.
  • the class range may be set so that ⁇ > ⁇ , where ⁇ is the range of the class of each displacement and ⁇ is the magnitude of the behavior to be observed.
  • the analysis unit 215 can easily detect (observe) the motion ⁇ desired to be observed.
  • information on the displacement amount associated with the reference image registered in the image storage unit 221 of the storage device 22 includes, for example, “a displacement amount in the movement direction of the object” and “a displacement amount in a direction perpendicular to the movement of the object”. As described above, information on a plurality of different displacement amounts may be included. For example, when the movement direction of the object to be observed is the X direction and the direction perpendicular to the movement direction is the Y direction, as shown in the image diagram of FIG. 13, information on the amount of displacement associated with the reference image Includes information on the amount of displacement in the X direction and information on the amount of displacement in the Y direction.
  • the displacement analysis unit 213 obtains the displacement amount in the X direction and the displacement amount in the Y direction of the processing target image with respect to the representative image, and the reference selection unit 214 calculates the calculated X direction.
  • the reference image is selected based on the amount of displacement in the Y direction.
  • the image analysis unit 215 can detect (observe) the movement (behavior) or the like of the object to be observed with higher accuracy by performing image analysis based on the reference image selected as described above and the processing target image. it can.
  • the displacement analysis unit 213 calculates the displacement amount by paying attention to the “component of the displacement amount in the movement direction of the object”, and isolates other influences, so that the reference selection unit 214 determines the movement direction of the object. It is possible to select a reference image that matches the processing target image.
  • the reference image registered in the image storage unit 221 of the storage device 22 is not only associated with information on the amount of displacement with respect to the representative image, but is obtained when the reference image is captured, for example, as shown in FIG. Information on photographing time, which is information to be obtained, may be associated. Furthermore, information related to the processing of the image processing device 21 that the displacement amount calculation has failed may be associated with the reference image as information obtained at the time of shooting.
  • the reference image registered in the image storage unit 221 of the storage device 22 may be associated with data as information obtained at the time of photographing, as shown in the image diagram of FIG.
  • information obtained at the time of photographing for example, image photographing time, photographing environment information (illuminance at the time of photographing, wind direction, wind speed, etc.), information obtained from the detection device 23 (image similarity, etc.), and the like. is there.
  • the information obtained at the time of shooting is the sensor values obtained at the time of shooting from various sensors (photoelectric sensors, distance sensors, acceleration sensors, gyros, etc.) installed to sense the presence and state of the object to be observed and their calculated values. It may be.
  • the reference selection unit 214 selects a reference image using not only the displacement amount but also such data. Thereby, the reference selection unit 214 can select a reference image more suitable for the processing target image.
  • the image analysis unit 215 uses such data associated with the processing target image to detect and observe, for example, the effects of time-series changes and illuminance changes by arranging and analyzing the processing target images. )it can. More specifically, for example, the image analysis unit 215 can analyze more detailed changes in behavior of the object to be observed by comparing the processing target images with the close photographing times and the reference images.
  • the image analysis unit 215 can analyze the behavior of the object to be observed in a state where the influence of the difference in illuminance is reduced by comparing images having similar illuminances of shooting.
  • the image analysis unit 215 can analyze a factor that causes an item to be observed in an observation target object by performing image analysis in consideration of information obtained at the time of photographing.
  • the image analysis unit 215 compares a plurality of processing target images selected based on a plurality of pieces of information obtained at the time of shooting, such as comparing processing target images having similar shooting illuminances and similar shooting illuminances. Based on the above, it becomes possible to analyze the behavior of the object to be observed. As described above, the image analysis unit 215 performs the image analysis based on the processing target image selected in consideration of information obtained at the time of shooting and the reference image (that is, an image having a close shooting state), so that the image analysis unit 215 This makes it possible to detect easily and accurately the matters to be observed.
  • FIG. 16 is a block diagram showing a simplified configuration of the image processing apparatus according to the third embodiment.
  • the image processing apparatus 21 according to the third embodiment includes a classification unit 230 and a reference unit 231 instead of the reference selection unit 214 in the second embodiment.
  • the classification unit 230 has a function of classifying the processing target image, which is a captured image received through the imaging control unit 211, based on the displacement amount obtained from the displacement analysis unit 213. For example, as described above, the displacement amount is classified into classes, and the classification unit 230 classifies the processing target image into any class based on the displacement amount of the processing target image with respect to the representative image.
  • the classification unit 230 further outputs the processing target image and the classified class information to the writing unit 216.
  • the writing unit 216 sets the processing target image as a reference image and is associated with the representative image and the class information. Is provided with a function for writing to the storage device 22.
  • the reference unit 231 is connected to the storage device 22 and has a function of selecting a class of displacement based on a preset selection method when a reference request is received from a system user, for example.
  • Various methods can be considered as the selection method.
  • the reference unit 231 selects a class of displacement amounts corresponding to the most recent displacement amount calculated by the displacement analysis unit 213.
  • the reference unit 231 selects a reference image group having the highest appearance frequency.
  • the reference unit 231 has a function of acquiring a plurality of reference images belonging to the class selected as described above from the storage device 22.
  • the image analysis unit 215 detects (observes) the movement (behavior) or the like of the object to be observed by analyzing a plurality of reference images acquired by the reference unit 231.
  • the operation of the image processing device 21 is different from the operation of the image processing device 21 in the second embodiment in the following points.
  • the image processing device 21 sequentially registers the video (processing target image) of the object to be observed captured by the photographing device 24 in the storage device 22 as a reference image or a representative image. Then, when there is a request for reference (see the operations in steps S21, S22, and S23), the image processing apparatus 21 executes an image analysis process using the reference image.
  • step S22 the image processing device 21 (reference unit 231) selects a class of displacement based on a preset selection method, and sets a plurality of reference images classified into the selected class as reference image groups. As read from the storage device 22.
  • the image analysis unit 215 calculates the amount of displacement between the reference images for the plurality of reference images in the read reference image group by image analysis, and uses the amount of displacement to determine the observation target. Observe (detect) the movement (behavior) of an object.
  • the image processing apparatus 21 and the image processing system 20 including the same according to the third embodiment can obtain the effects described in the second embodiment by including the above-described configuration, and the following effects. You can also get That is, the image processing apparatus 21 according to the third embodiment uses a plurality of reference images belonging to the same class as the reference images used in the image analysis for observing (detecting) the movement of the object to be observed. That is, since the image processing apparatus 21 analyzes images between reference images having a small variation component of photographing timing, it is possible to observe the movement of the object to be observed in a state where the influence of the variation in photographing timing is small.
  • the reference unit 231 in the image processing apparatus 21 of the third embodiment can select a reference image group of an appropriately selected class, for example, by selecting a reference image group having the highest appearance frequency, Many reference images with small variation components can be obtained. By using many reference images acquired in this way, the image analysis unit 215 can detect the behavior to be observed in the observation target object with high probability.
  • an image alignment unit 217 may be further provided in the image processing device 21 as shown in FIG. Similar to the image alignment unit 217 described in the first modification of the second embodiment, the image alignment unit 217 has predetermined reference images belonging to the reference image group selected and acquired by the reference unit 231. It has a function of sorting (sorting) according to rules.
  • the configuration in which a large number of reference images can be aligned (sorted) by the image alignment unit 217 suppresses complication of the reference images. Can do.
  • the image analysis unit 25 can more easily and accurately detect matters to be observed in the object to be observed.
  • an image alignment unit having a function of aligning a plurality of images (reference images and processing target images) based on a displacement amount in a direction different from the movement direction of the object to be observed (for example, a direction perpendicular to the movement direction) is provided. May be.
  • FIG. 19 is a block diagram showing a simplified configuration of the image processing system 20 including the image processing device 21 according to the fourth embodiment.
  • the image processing system 20 includes the same configuration as that of the second or third embodiment, but a motion detection device 33 is provided as the detection device 23.
  • Other configurations in the image processing system 20 are the same as the configurations of the image processing system 20 of the second or third embodiment.
  • FIG. 20 shows a specific example of information (data) registered in the image storage unit 221 in the storage device 22.
  • the motion detection device 33 as a detection device monitors the rotation of the object 40 (see FIG. 19) to be observed and detects that the object 40 has entered a predetermined rotation state. It has a function to output a synchronization signal to notify it.
  • the image storage unit 221 stores a plurality of reference images, a displacement amount, a class of the displacement amount, a shooting time, and the like associated with one representative image. Note that the number of representative images is not limited to one and may be plural.
  • the storage device 22 is configured by a hard disk device or an SSD (Solid State Drive). Alternatively, for example, when the storage capacity is small or information (data) is processed in real time, the storage device 22 may be configured by a memory such as a RAM.
  • the image processing apparatus 21 and the image processing system 20 including the same according to the fourth embodiment have the same configuration as that of the second or third embodiment. Therefore, the same effects as those of the second or third embodiment can be obtained. Obtainable.
  • the operation example in this description is an operation example based on the second embodiment.
  • the imaging control unit 211 of the image processing device 21 sets the captured image as a processing target image in the X cycle.
  • a plurality of representative images are registered in the image storage unit 221 of the storage device 22, and the representative selection unit 212 represents a representative image as a representative image associated with the processing target image in the X cycle from among the representative images. Select an image.
  • the displacement analysis unit 213 calculates a displacement amount between the processing target image in the X cycle and the representative image, and obtains ⁇ 0.6 [pixel], for example.
  • the reference selection unit 214 selects a reference image as a reference image closest to the calculated displacement amount ⁇ 0.6 [pixel]. Further, the image analysis unit 215 analyzes the displacement distribution between the processing target image in the X cycle and the selected reference image, and obtains a displacement distribution image. For example, the image processing device 21 outputs the obtained displacement distribution image to the display device as an analysis result.
  • FIG. 22 shows a display example in which a plurality of displacement distribution images obtained as described above are displayed together. Along with the displacement distribution image, relational data between the displacement amount (class) and the number of appearances of the displacement amount as shown in FIG. 23 obtained by the processing of the displacement analysis unit 213 may be displayed.
  • the displacement distribution image after the selection / alignment processing as shown in FIG. 24 the displacement amount (class) as shown in FIG. Data related to the number of occurrences of the displacement amount may be switched and displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明は、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知（観察）できる技術を提供する。すなわち、画像処理装置１は、代表選択部２と、変位解析部３と、参照選択部４とを備える。代表選択部２は、検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する。変位解析部３は、代表画像が選択されている状態で、代表画像と、当該代表画像として選択された撮影画像とは異なる撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する。参照選択部４は、参照画像として定められた撮影画像の中から、検知対象の物体の動きを解析する処理で使用する参照画像を、変位解析部３により算出された変位量に基づいて選択する。

Description

画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体
　本発明は、運動中の物体を撮影し当該物体の動きを画像処理により検知（観察）する技術に関する。
　工場ライン、ベルトコンベア、回転運動するアンテナなどには周期性をもって運動する可動部がある。また、入退場ゲートなどには開閉運動する可動部がある。これら可動部は、同じ位置で運動する、繰り返し同じ姿勢を取る、又は、同じ変形を繰り返すというような動きをする。このような動きをする可動部を、運動を止めることなく、点検する技術が求められている。
　例えば、カメラで撮影された可動部の画像を画像処理し当該画像処理により得られた情報を解析することにより、可動部を点検することが考えられる。このような画像処理を利用した可動部の点検を実現するためには、例えば可動部が回転体である場合には、回転中の可動部を撮影し、１回転目の運動時と２回転目の運動時のように異なるタイミングで撮影された可動部の画像同士を比較して解析をする必要がある。そのように点検のために可動部の画像を比較するためには、予め定められた動作タイミング毎の可動部の画像同士を比較・解析する必要がある。
　物体の動作タイミングに合わせた画像を得る技術が、例えば、特許文献１（特開平０２－２８４２６７号公報）や、特許文献２（特公平０７－３１２４９号公報）に提案されている。これらの先行技術では、運動する物体を検知するセンサがカメラや光源と並べられて配置されている。当該センサが観察対象となる物体を検知した際に、センサから出力されるトリガ信号が処理装置に取り込まれる。そして、処理装置は、カメラの画角内に観察対象の物体が入ったタイミングでカメラもしくは光源を動作させるために、トリガ信号を受信したタイミングでディレイを付与して、カメラおよび光源に向けて制御信号を送る。処理装置は、このようにしてカメラおよび光源を制御している。
特開平０２－２８４２６７号公報 特公平０７－３１２４９号公報
　しかしながら、上述した先行技術では、運動する物体をセンサおよびカメラを利用して撮影する場合には、撮影タイミングのばらつきが問題になる。通常、運動する物体を検知するセンサは、物体を検知してから信号を出力するまでに、数十us（マイクロ秒）～数十ms（ミリ秒）の時間（応答時間）が掛かる。一般的には、このようなセンサの応答時間は、主に、内部処理に起因する“遅延”と、“出力タイミングのばらつき”とに因る。
　“遅延”の時間はほぼ一定で推測可能な時間であるので、センサからのトリガ信号を処理装置が取り込んだ後に、処理装置がその遅延時間を考慮した制御信号をカメラや光源に向けて送ることにより、“遅延”の解消を図ることができる。一方、“出力タイミングのばらつき”の時間は変動し、かつ、推測が難しいことから、処理装置がセンサの“出力タイミングのばらつき”を解消すべくセンサからのトリガ信号を出力することは難しい。したがって、センサの“出力タイミングのばらつき”は、カメラの撮影タイミングのばらつきの要因の一つとなる。
　さらに、カメラも、トリガ信号（カメラ制御信号）を受信してから撮影が実行されるまでに、数十us（マイクロ秒）～数十ms（ミリ秒）の時間（応答時間）が掛かる。このカメラの応答時間の要因にも、内部処理に起因する“遅延”と、“実行タイミングのばらつき”とがある。カメラの“遅延”に関しても、センサの“遅延”と同様に、処理装置により解消することが可能であるが、カメラの“実行タイミングのばらつき”は、センサの“出力タイミングのばらつき”と同様に、解消することが難しい。このため、カメラの“実行タイミングのばらつき”もカメラの撮影タイミングのばらつきの要因の一つとなる。
　カメラの撮影タイミングがばらつくと、被写体である物体が運動している場合には、画像における物体の位置や姿勢などがばらつく事態が発生する。ここで、運動中の物体（可動部）の画像に基づいて可動部の様子を観察・解析することにより可動部を点検したい場合に、可動部における観察対象部分の挙動の大きさよりも、画像における可動部の位置や姿勢のばらつきが大きくなってしまったとする。この場合には、そのばらつきのために、可動部における観察対象部分の挙動を画像処理により検知することが難しいという課題が生じる。
　本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知（観察）する技術を提供することにある。
　上記目的を達成するために、本発明の画像処理装置は、
　検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する代表選択部と、
　前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する変位解析部と、
　参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する参照選択部とを備える。
　本発明の画像処理システムは、
　検知対象の物体を撮影する撮影装置と、
　本発明の画像処理装置と
を備える。
　本発明の画像処理方法は、
　検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択し、
　前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出し、
　参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択し、
　選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する。
　本発明のプログラム記憶媒体は、
　検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する処理と、
　前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する処理と、
　参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する処理と、
　選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
　なお、本発明の上記主な目的は、本発明の画像処理装置に対応する本発明の画像処理方法によっても達成される。また、本発明の上記主な目的は、本発明の画像処理装置、画像処理方法に対応する本発明のコンピュータプログラムおよびそれを格納するプログラム記憶媒体によっても達成される。
　本発明によれば、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知（観察）できる。
本発明に係る第１実施形態の画像処理装置の構成を簡略化して表すブロック図である。 本発明に係る第１実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。 本発明に係る第２実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。 本発明に係る第２実施形態の画像処理装置の構成を簡略化して表すブロック図である。 第２実施形態における記憶装置に登録される情報の一例を説明する図である。 第２実施形態の画像処理装置のハードウェア構成を説明する図である。 第２実施形態の画像処理装置の動作例を説明するフローチャートである。 第２実施形態の画像処理装置の一変形例の構成を簡略化して表すブロック図である。 第２実施形態の画像処理装置の動作の変形例を説明するフローチャートである。 第２実施形態の画像処理装置の動作のさらに別の変形例を説明するフローチャートである。 変位量と出現頻度の関係例を表すグラフである。 第２実施形態における記憶装置に登録される情報の変形例を説明する図である。 第２実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。 第２実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。 第２実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。 本発明に係る第３実施形態の画像処理装置の構成を簡略化して表すブロック図である。 第３実施形態の画像処理装置の動作例を説明するフローチャートである。 第３実施形態の画像処理装置の一変形例の構成を簡略化して表すブロック図である。 本発明に係る第４実施形態の画像処理システムの構成を簡略化して表すブロック図である。 第４実施形態における記憶装置に登録される情報の具体例を説明する図である。 第４実施形態の画像処理装置の動作により得られる情報（データ）の具体例を表す図である。 第４実施形態の画像処理装置による解析結果の具体的な表示例を表す図である。 第４実施形態の画像処理装置による別の解析結果の具体的な表示例を表す図である。 第４実施形態の画像処理装置によるさらに別の解析結果の具体的な表示例を表す図である。 第４実施形態の画像処理装置によるさらにまた別の解析結果の具体的な表示例を表す図である。
　以下に、本発明に係る実施形態を図面を参照しつつ説明する。
　＜第１実施形態＞
　図１は、本発明に係る第１実施形態の画像処理装置の構成例を簡略化して表すブロック図である。この第１実施形態の画像処理装置１は、図２に表されるように、撮影装置７と共に画像処理システム６を構成する。
　撮影装置７は、検知対象の物体を撮影する機能を備える。
　画像処理装置１は、代表選択部２と、変位解析部３と、参照選択部４とを備える。代表選択部２は、検知対象の物体を撮影した撮影画像から、処理の基準となる代表画像を選択する機能を備える。
　変位解析部３は、代表画像が選択されている状態で、代表画像と、当該代表画像とは異なる撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する機能を備える。ここでの変位量とは、画像全体の変位量（あるいはその総和）であっても、画像の中の特定領域（ＲＯＩ（Region Of Interest））における変位量（あるいはその総和）であってもよい。変位解析部３は、そのような変位量のうちの予め定められた変位量を算出する。
　参照選択部４は、参照画像として定められた撮影画像の中から、検知対象の物体の動きを解析する処理で使用する参照画像を、変位解析部３により算出された変位量に基づいて選択する機能を備える。
　この第１実施形態の画像処理装置１は、過去に同じ条件で撮影された撮影画像である代表画像と、撮影画像との変位量に基づいて、検知対象の物体の動きを解析する処理で使用する画像（参照画像）を選択する構成を備えている。このように選択された参照画像を利用して、検知対象の物体の動きを解析することにより、画像処理装置１は、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知可能となる。
　＜第２実施形態＞
　以下に、本発明に係る第２実施形態を説明する。
　図３は、本発明に係る第２実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。図４は、第２実施形態の画像処理装置の構成を簡略化して表すブロック図である。
　第２実施形態では、画像処理システム２０は、物体を撮影した画像を利用して物体の動きを検知（観察）するシステム（例えば、工場ラインや施設設備などにおける回転可動する部材の異常検知処理を行うシステム）に適用される。この画像処理システム２０は、画像処理装置２１と、記憶装置２２と、検知装置２３と、撮影装置２４とを備えている。画像処理装置２１は、記憶装置２２と検知装置２３と撮影装置２４にそれぞれ通信可能に接続されている。検知装置２３と撮影装置２４は、物体の動きを検知もしくは撮影可能な状態で配置されている。
　撮影装置２４は、画像センサ、カメラ、ビデオカメラ等により構成される。撮影装置２４は、画像処理装置２１から供給される撮影制御信号に応じて撮影動作を実行し、撮影した画像を画像処理装置２１に向けて出力する構成を備える。
　検知装置２３は、検知対象の物体の状態をセンシングして、物体の運動や変形が所定の状態(位置・姿勢・形状)であることを検知すると、それを知らせる信号を同期信号として、画像処理装置２１に向けて出力する構成を備えている。
　例えば、検知装置２３は、近接センサ、静電容量センサ、接触検知センサ、曲げセンサ、歪みセンサなどのセンサデバイスやセンサアレイ装置により構成される。あるいは、検知装置２３は、光電センサ、距離センサ、エンコーダーなどのセンサデバイスと、当該センサデバイスから出力されるセンシング情報を処理する処理装置とにより構成されてもよい。また、検知対象の物体から運動や変形の状態に応じた信号が出力される場合には、検知装置２３は、その出力信号を利用して検知対象の物体の状態をセンシングし、当該センシングに基づいて同期信号を出力する構成を備えていてもよい。さらに、検知装置２３は、同期信号だけでなく、各種センサ値やその演算値などのデータをも出力する構成を備えていてもよい。
　さらに、検知装置２３は、画像センサで撮影した画像を利用した画像処理により検知対象の物体の状態をセンシングし、当該センシングに基づいて同期信号を出力する構成を備えていてもよい。さらにまた、検知装置２３は、検知対象の物体の画像と、その物体の運動の状態を表す参照画像（例えば、後述する代表画像）との類似度を算出し、当該類似度が閾値よりも高くなった場合に同期信号を出力する構成を備えていてもよい。さらに、検知装置２３は、同期信号だけでなく、画像の類似度のように画像処理により算出された値やデータをも出力する構成を備えていてもよい。このように検知装置２３は、検知対象の物体の画像を利用した構成を備えていてもよい。この場合には、検知装置２３は、撮影装置２４に組み込まれていてもよい。
　記憶装置２２は、情報（データ）を記憶する装置である。第２実施形態では、記憶装置２２は、画像処理装置２１が用いる画像データ等を記憶している。
　画像処理装置２１は、図４に表されるように、撮影制御部２１１と代表選択部２１２と変位解析部２１３と参照選択部２１４と画像解析部２１５と書き込み部２１６を備える。変位解析部２１３は、撮影制御部２１１と代表選択部２１２と参照選択部２１４にそれぞれ接続されている。画像解析部２１５は、撮影制御部２１１と参照選択部２１４にそれぞれ接続されている。
　撮影制御部２１１は、検知装置２３と撮影装置２４にそれぞれ接続されている。撮影制御部２１１は、検知装置２３から同期信号（観察対象の物体の運動や変形の状態に応じた信号）を受け取り、同期信号に基づいて撮影を指示する撮影制御信号を撮影装置２４に出力する機能を備えている。撮影制御部２１１は、例えば、検知装置２３から同期信号を受け取ってから予め設定された遅延時間が経過した後に撮影制御信号を撮影装置２４に出力するというように、撮影制御信号の出力タイミングを調整する機能を備えていてもよい。その遅延時間は、例えば撮影制御部２１１が同期信号を受けて直ちに撮影制御信号を出力する場合における応答処理に要する時間（応答時間）よりも長い時間とする。これにより、撮影制御部２１１は、その応答時間のばらつき等の影響を抑制し撮影装置２４により撮影される観察対象の物体の運動や変形の状態を揃えることができるように、撮影装置２４の撮影タイミングを制御できる。
　また、撮影制御部２１１は、撮影装置２４から取得した画像（撮影画像）を代表選択部２１２に出力し、また、当該撮影画像を処理対象画像として変位解析部２１３と画像解析部２１５に出力する機能を備えている。
　代表選択部２１２は、撮影装置２４により撮影された画像（撮影画像）を撮影制御部２１１を通して受け取った場合に、変位解析部２１３の処理で基準の画像として使用する画像（代表画像）が記憶装置２２に登録されているか否かを判断する機能を備えている。そして、代表選択部２１２は、代表画像が記憶装置２２に登録されていない場合には、撮影制御部２１１を通して受け取った撮影装置２４の撮影画像を代表画像として記憶装置２２に登録する機能を備えている。あるいは、代表選択部２１２は、撮影装置２４の撮影画像を順次受け取り、予め設定された複数枚の撮影画像の中から、変位解析部２１３の処理で基準の画像として使用する代表画像を予め定められた選択手法により選択する機能を備えている。代表画像を選択する手法には、様々な手法が考えられ、何れの手法を採用してもよいが、その一例を次に述べる。例えば、代表選択部２１２は、撮影装置２４により撮影された複数の撮影画像の中から例えば無作為に選択した画像を一次的な代表画像とし、当該一次的な代表画像と他の撮影画像との変位を解析して変位量を算出する。その後、代表選択部２１２は、その変位量を統計的に評価しその中央値を取る画像を代表画像として選択する。このような手法により代表画像を選択することは、変位解析部２１３による処理における変位の探索領域を狭くすることができる。
　書き込み部２１６は、画像等の情報（データ）を記憶装置２２に書き込む機能を備えている。代表選択部２１２により選択された代表画像は、書き込み部２１６の機能によって記憶装置２２に書き込まれる。
　変位解析部２１３は、撮影制御部２１１から受け取った処理対象画像の中の物体が撮影されている点もしくは領域が、記憶装置２２から読み出した代表画像に対してどの程度ずれているかを解析する変位解析を行う機能を備えている。この第２実施形態では、変位解析部２１３は、主に大局的なずれを扱うこととする。変位解析部２１３は、処理対象画像の中の物体の位置が、代表画像に対してどの程度ずれているかを示す値として変位量を算出する。また、変位解析部２１３は、算出した変位量を参照選択部２１４に出力する機能を備えている。
　変位解析部２１３が実行する変位の解析には、例えば、特開２００６－３３１４２号公報に開示されている勾配法による並進ずれ量算出の手法や、特開２００９－７７３６３号公報に開示されているオプティカルフローによる動き量の算出手法を利用できる。また、変位の解析には、さらに、テンプレートマッチングによる移動量の追跡手法や、画像相関法による変位量の算出手法や、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量などに代表される局所画像特徴の動き解析手法などの手法も有る。変位解析部２１３は、そのような様々な手法の中から適宜選択された手法によって、変位の解析を行う。
　参照選択部２１４は、記憶装置２２に記憶されている複数の参照画像の中から、変位解析部２１３から得た変位量に基づいて参照画像を選択する。参照画像は、観察対象の物体を撮影するタイミングと同じタイミング（周期タイミング）で撮影装置２４によって予め撮影された観察対象の物体を含む画像である。例えば、代表選択部２１２により代表画像が選択されると、当該代表画像と、各参照画像との変位量が変位解析部２１３により算出される。記憶装置２２は、図５に表されるように画像記憶部２２１を有し、当該画像記憶部２２１には、代表選択部２１２により選択された代表画像と、参照画像と、当該参照画像と代表画像との変位量とが関連付けられた状態で記憶されている。
　参照選択部２１４は、例えば、記憶装置２２の画像記憶部２２１から、変位解析部２１３により算出された処理対象画像と代表画像間の変位量に最も近い変位量に関連付けられている参照画像を選択する。あるいは、参照選択部２１４は、参照画像を１つ選択するのではなく、変位解析部２１３により算出された処理対象画像と代表画像間の変位量に近い複数の参照画像を参照画像群として選択してもよい。
　画像解析部２１５は、撮影制御部２１１を通して受け取った処理対象画像と、参照選択部２１４により選択された参照画像とを用いて、観察対象の物体の動き等を画像解析によって検知（観察）する機能を備えている。画像解析部２１５は、例えば、前述したような変位の解析手法により、画像における観察対象の物体の局所的な変位を解析する。あるいは、画像解析部２１５は、画像全体の変位を解析してもよい。また、画像解析部２１５は、画像間の差分を取ってもよい。さらに、画像解析部２１５は、観察対象の物体のエッジを抽出し、その角度や長さなどを評価してもよい。さらにまた、画像処理装置２１は、検知装置２３が出力する同期信号に基づき、撮影時に得られる情報をも画像と共に取得する機能を備えていてもよい。そして、画像解析部２１５は、その撮影時に得られる情報をも考慮して、観察対象の物体の動き等を解析してもよい。ここでの撮影時に得られる情報としては、例えば、画像の撮影時刻や、撮影環境情報（撮影時の照度、風向き、風速など）や、検知装置２３から得た情報（画像の類似度など）がある。さらに、撮影時に得られる情報は、観察対象の物体の存在や状態をセンシングするために設置した各種センサ（光電センサ、距離センサ、加速度センサ、ジャイロなど）から撮影時に得られるセンサ値やその演算値であってもよい。画像処理装置２１と画像解析部２１５が用いる撮影時に得られる情報は、上記のような情報のうちの一つに限定されず、撮影時に得られる複数の情報を利用してもよい。
　上記のような画像解析部２１５により解析された例えば物体の動きの変化に基づき、例えば、工場ラインや施設設備などにおける回転可動する部材に異常が有るか否かが判断される。なお、画像解析部２１５により画像解析された結果がどのように処理されるかは、第２実施形態の画像処理システムが適用されるシステムに応じて定まるものであり、上記のような部材の異常検知に限定されない。
　第２実施形態における画像処理装置２１およびそれを備える画像処理システム２０は、上記のように構成されている。なお、図６は、画像処理装置２１のハードウェア構成を簡略化して表すブロック図である。画像処理装置２１は、例えば、ＣＰＵ（Central Processing Unit）１５と、通信ユニット１６と、メモリ１７と、入出力ＩＦ（Interface）１８とを有する。さらに、画像処理装置２１には、表示装置（図示せず）が接続されていてもよい。
　通信ユニット１６は、例えば、情報通信網（図示せず）を介してシステムのユーザが所有する情報処理装置（図示せず）等に接続され、当該情報処理装置等との通信を実現する機能を備えている。入出力ＩＦ１８は、例えば、検知装置２３、撮影装置２４、記憶装置２２、さらに、装置の操作者（ユーザ）が情報を入力するキーボード等の入力装置（図示せず）等に接続し、これら装置との情報（信号）の通信を実現する機能を備えている。メモリ１７は、データやコンピュータプログラム（プログラム）を格納する記憶装置（記憶媒体）である。記憶装置には、例えば、ハードディスク装置、ＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）というように様々な種類が有り、１つの装置に複数種の記憶装置が搭載されることがあるが、ここでは、包括的に１つのメモリとして表す。ＣＰＵ１５は、演算回路であり、メモリ１７に格納されているプログラムを読み出し当該プログラムを実行することにより、画像処理装置２１の動作を制御する機能を備える。例えば、ＣＰＵ１５がプログラムを実行することによって、機能部である撮影制御部２１１と代表選択部２１２と変位解析部２１３と参照選択部２１４と画像解析部２１５と書き込み部２１６が実現される。
　次に、画像処理装置２１の動作例を図７のフローチャートに基づいて説明する。なお、図７のフローチャートは、例えば、画像処理装置２１のＣＰＵ１５が実行する処理手順を表している。
　例えば、撮影制御部２１１は、検知装置２３から同期信号を受け取ると（ステップＳ１）、撮影制御信号を撮影装置２４に向けて出力する（ステップＳ２）。また、撮影制御部２１１は、撮影装置２４から画像を取得すると（ステップＳ３）、代表選択部２１２に供給し、また、処理対象画像として変位解析部２１３と画像解析部２１５に出力する。
　代表選択部２１２は、撮影制御部２１１から画像を受け取ると、記憶装置２２に代表画像が存在しているか（登録されているか）否かを判定する（ステップＳ４）。存在していない場合には、代表選択部２１２は、受け取った画像を代表画像として書き込み部２１６によって記憶装置２２の画像記憶部２２１に書き込む（登録する）（ステップＳ５）。そして、画像処理装置２１は、次の同期信号に備え、待機する。
　一方、記憶装置２２の画像記憶部２２１に代表画像が存在している場合には、予め定められた選択手法に基づいて代表画像を選択する（ステップＳ６）。
　その後、変位解析部２１３は、撮影制御部２１１から受け取った処理対象画像と、代表選択部２１２により選択された代表画像との間の変位を解析し、変位量を算出する（ステップＳ７）。そして、参照選択部２１４は、画像記憶部２２１において、代表選択部２１２により選択された代表画像に関連付けられている参照画像の中に、算出された変位量と同じあるいは予め定められたずれ許容範囲内の変位量に関連付けられている参照画像があるか否かを判定する（ステップＳ８）。該当する参照画像が画像記憶部２２１に無い場合には、参照選択部２１４は、変位解析部２１３の処理対象であった撮影装置２４による撮影画像を参照画像とする。そして、参照選択部２１４は、その参照画像を変位解析部２１３により算出された変位量と関連付けられた状態で参照画像記憶部１２２に書き込み部２１６によって登録する（ステップＳ９）。そして、画像処理装置２１は、次の同期信号に備え、待機する。
　一方、変位解析部２１３により算出された変位量に応じた参照画像が画像記憶部２２１に存在する場合には、参照選択部２１４は、対応する参照画像を選択し（ステップＳ１０）、選択した参照画像を画像記憶部２２１から読み出す。
　然る後に、画像解析部２１５は、撮影制御部２１１から受け取った処理対象画像と、参照選択部２１４により選択された参照画像とを用いて、画像を解析する（ステップＳ１１）。そして、画像解析部２１５は、この解析により得られた結果、例えば、観察対象の物体の動き等の観察結果を図示しない出力装置に向けて出力する（ステップＳ１２）。
　画像処理装置２１は、上記のような画像処理を含む一連の動作によって観察対象の物体の動き等を観察し、観察結果を表示装置（図示せず）に出力することができる。
　第２実施形態の画像処理装置２１およびそれを備えた画像処理システム２０は、次のような効果を得ることができる。すなわち、第２実施形態では、図５に表されるように、１枚の代表画像に複数の参照画像が関連付けられ、さらに、代表画像に対する各参照画像の変位量が計算され、算出された各変位量が参照画像に関連付けられている。このような状態で、代表画像と参照画像と変位量が画像記憶部２２１に格納されている。代表画像も参照画像も、撮影装置２４から出力される解析対象の撮影画像と同じ条件で観察対象の物体を撮影した画像である。このため、画像記憶部２２１に格納されている参照画像の中から、基準となる代表画像と解析対象の撮影画像（処理対象画像）との変位量に基づいて参照選択部２１４により選択される参照画像は、処理対象画像と比較し易い画像である。換言すれば、変位解析部２１３は、処理対象画像と代表画像との撮影タイミングのばらつきによる成分を変位量というパラメータとして抽出することができる。そして、参照選択部２１４は、同じ代表画像との撮影タイミングのばらつき成分を示す変位量に関連付けられている画像記憶部２２１の参照画像の中から、変位量が近い参照画像を選択することが可能となる。その変位量が近い参照画像とは、すなわち、処理対象画像との撮影タイミングのばらつき成分が小さく、処理対象画像との比較が容易な参照画像である。このような参照画像が選択される結果、撮影タイミングのばらつきにより画像中の物体の位置がばらつくような場合であっても、画像解析部２１５は、処理対象画像中における観察対象の物体と、当該物体と同様な位置や姿勢の参照画像における観察対象の物体とを比較できる。これにより、参照画像中の観察対象の物体に対する処理対象画像中の観察対象の物体の位置や姿勢等のずれが小さく、画像解析部２１５が観察対象の物体における観察したい挙動を抽出し易くなる。
　また、撮影タイミングのばらつきではなく、物体の運動速度が変化した際に、画像中の物体の撮影される位置がずれるという場合もある。その場合においても、参照選択部２１４は、処理対象画像における観察対象の物体との比較が容易な観察対象の物体が含まれている参照画像を適切に選択できる。このため、物体の運動速度が変化した場合においても、画像解析部２１５は、処理対象画像と参照画像の比較に基づいた画像解析により観察対象の物体における観察したい挙動を容易に抽出できる。
　このため、画像処理装置２１およびそれを備えた画像処理システム２０は、簡単な構成で、撮影タイミングのばらつきの悪影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の挙動を画像解析により精度良く検知（観察）できる。
　＜第２実施形態における変形例＞
　・変形例１
　図８は、第２実施形態における画像処理装置２１の変形例の構成を簡略化して表すブロック図である。なお、図８では、図４に表されている画像処理装置２１を構成する構成部分と同一名称部分には同一符号を付し、その機能における共通部分の重複説明は省略する。
　この変形例では、図４に表される画像処理装置２１の構成に加えて、例えばＣＰＵ１５により実現される機能部である画像整列部２１７が備えられている。この変形例では、例えば、参照選択部２１４は、変位解析部２１３により算出された処理対象画像と代表画像間の変位量に近い複数の参照画像を参照画像群として選択する。そして、画像整列部２１７は、その選択された複数の参照画像を予め定められたルールに従って整列する機能を有する。画像解析部２１５は、画像整列部２１７により整列された参照画像と、処理対象画像とに基づいて、観察対象の物体の挙動等を画像解析により抽出する。
　図８に表される画像処理装置２１の上記以外の構成は、図４における画像処理装置２１の構成と同様である。
　・変形例２
　図９は、画像処理装置２１における図８の動作例の変形例を表すフローチャートである。この図９に表される画像処理装置２１の動作例では、ステップＳ１～ステップＳ１２までの動作は、図７におけるステップＳ１～ステップＳ１２の動作と同様であるが、ステップＳ１２の動作の後に、参照画像を記憶装置２２に登録する動作を行う（ステップＳ１３）。すなわち、ステップＳ１３において、画像解析部２１５が解析結果を出力した後に、参照選択部２１４が、処理対象画像を新たな参照画像として、変位解析部２１３により算出された変位量と関連付けられた状態で書き込み部２１６に出力する。これにより、新たな参照画像と、当該参照画像と代表画像との変位量との情報が書き込み部２１６によって記憶装置２２の画像記憶部２２１に書き込まれる（更新される）。
　このような動作を行う（機能を持つ）ことによって、画像処理装置２１は、参照画像を適宜蓄積していくことができる。
　・変形例３
　図１０は、画像処理装置２１におけるさらに別の動作の変形例を表すフローチャートである。この図１０の例では、変位解析部２１３が代表画像に対する処理対象画像の変位量を算出した動作（ステップＳ７）の後に、例えば参照選択部２１４がその算出した変位量が予め設定された処理範囲内か否かを判断する動作（ステップＳ１４）を行う。そして、画像処理装置２１は、変位量が処理範囲内である場合には、ステップＳ８以降の動作を実行し、変位量が処理範囲を超えて大きい場合には、次の同期信号の受け取りに備えて待機する。図１０に表されている動作例では、上記以外の動作は、図７あるいは図９に表されている動作と同様であり、同様な動作部分には同一のステップ番号を付し、また、適宜その図示を省略し、さらに、その共通部分の重複説明は省略する。
　この動作例では、参照選択部２１４が処理対象画像を選択することが可能となり、変位解析部２１３により算出された変位量が適切な処理範囲内の処理対象画像が後段の処理に回される。したがって、画像解析部２１５は、参照画像との比較がより容易となり、画像解析の精度を高めることができる。また、図９の動作例のように、画像記憶部２２１に参照画像を蓄積していくことができる場合には、適切な変位量を持つ処理対象画像が参照画像として蓄積されていくこととなる。さらに、この場合には、処理対象画像が選択されない場合に比べて、画像記憶部２２１における参照画像の蓄積のスピードが遅くなる。このため、ＲＡＭ（Random Access Memory）などの小さな記憶容量の記憶装置２２を用いた場合でも、参照画像を蓄積していく構成が適用可能となる。
　図１１は、代表画像に対する処理対象画像の変位量と、当該変位量に対応する処理対象画像の出現頻度との関係例が棒グラフにより表されている。なお、変位量は予め定められた変位量ずつ区分されており、図１１では、区分毎における処理対象画像の出現頻度が表されている。
　例えば、図１０の動作例のように処理対象画像を選択する場合に、変位量が図１１における“－２”から“２”までの範囲を処理範囲とした場合には、図１１において斜線を付した出現頻度に応じた分の処理対象画像が選択される。この図に表されているように、処理対象画像が選択されない場合に比べて、処理対象画像を選択することにより、参照選択部２１４や画像解析部２１５により処理される処理対象画像の数が削減される。これにより、画像解析部２１５により処理された処理対象画像を参照画像として記憶装置２２に格納する場合に、処理対象画像を選択する構成は、参照画像の蓄積量を抑制できる。
　なお、処理対象画像を選択する処理で用いる処理範囲を十分に小さくした場合には、ステップＳ８やステップＳ９の処理を不要にすることも可能となる。この場合、画像処理装置２１は、さらに高速に処理でき、画像記憶部２２１に記録する参照画像を減らすことができるため、さらに小さな記憶容量の記憶装置２２を用いた場合でも適用可能となる。
　・変形例４
　第２実施形態では、代表選択部２１２は、撮影制御部２１１を通して受け取った撮影画像の中から代表画像を設定（選択）する構成であることを説明している。これに代えて、代表選択部２１２は、記憶装置２２に参照画像が記憶されている場合には、記憶装置２２の参照画像から代表画像を設定（選択）してもよい。
　・変形例５
　また、第２実施形態の構成（機能）に加えて、画像処理装置２１は、代表画像を予め設定されたタイミングで更新する構成を備えていてもよい。更新する代表画像を設定（選択）する手法としては、例えば次のような手法が考えられる。例えば、記憶装置２２の画像記憶部２２１に登録されている代表画像に対する各参照画像の変位量のうちの中央値あるいは平均値に対応する参照画像を代表画像として選択する手法が考えられる。このように代表画像を選択することによって代表画像と処理対象画像とのずれが小さくなるので、そのような代表画像の選択構成は、代表画像と処理対象画像との変位量を算出する処理の負荷を軽減することができ、処理の高速化を図ることができる。
　なお、代表画像を更新する場合には、更新後の代表画像に対する参照画像の変位量を算出し、更新後の代表画像に、参照画像と、算出した変位量とを関連付けた情報（データ）を記憶装置２２の画像記憶部２２１に登録し直す必要がある。
　・変形例６
　さらに、画像記憶部２２１には、複数の代表画像がそれぞれ参照画像および変位量に関連付けられた状態で登録されていてもよい。この場合には、変位解析部２１３は、複数の代表画像のそれぞれと、処理対象画像との変位量を算出してもよい。さらに、参照選択部２１４は、変位量を算出した各代表画像に関連付けられている参照画像の中から、算出された変位量に対応する参照画像を選択してもよい。このような場合には、画像解析部２１５は、１枚の処理対象画像に、異なるタイミングで撮影された複数の参照画像を比較して画像解析することができる。
　・変形例７
　さらに、参照選択部２１４は、画像記憶部１２１から複数枚の参照画像を参照画像群として選択してもよい。例えば、参照選択部２１４は、代表画像に対する処理対象画像の変位量を中心にした予め設定された幅の範囲（例えば、変位量Ｐから所定値βを差し引いた値（Ｐ－β）から変位量Ｐに所定値βを加算した値（Ｐ＋β）までの範囲）を算出する。そして、参照選択部２１４は、その範囲内の変位量に関連付けられている参照画像を参照画像群として選択する。
　・変形例８
　さらに、変位量を複数の階級に区分し、代表画像に対する参照画像の変位量に基づいて参照画像がそれら階級の何れかに分類されてもよい。この場合には、図１２に表されるように、画像記憶部２２１に登録されている参照画像には、そのように分類された階級の情報も関連付けられる。また、参照選択部２１４は、変位解析部２１３により算出された変位量に基づいて処理対象画像がどの階級に属するかを判定し、処理対象画像が属すると判定された階級と同じ階級に属する参照画像の全てを選択してもよい。
　変形例７や変形例８のような処理によって参照選択部２１４が参照画像群を選択することにより、処理対象画像に近い複数の参照画像が得られるので、画像解析部２１５によって、より精密な画像解析結果を得ることができる。
　なお、変形例７における所定値βや、変形例８における変位量の各階級の範囲は、観察したい挙動の大きさに応じて設定してもよい。例えば、変形例８において、各変位量の階級の範囲をαとし、観察したい挙動の大きさをγとしたとき、γ＞αとなるように階級の範囲を設定してもよい。この場合には、観察したい挙動の大きさγよりも、画像解析部２１５で処理に用いられる複数の参照画像間のずれ幅が小さいので、複数の参照画像間のずれ幅の影響が小さく、画像解析部２１５は、観察したい動きγを容易に検知（観察）できる。
　・変形例９
　また、記憶装置２２の画像記憶部２２１に登録される参照画像に関連付けられる変位量の情報は、例えば、“物体の運動方向の変位量”と、“物体の運動に垂直な方向の変位量”というように、互いに異なる複数の変位量の情報が含まれていてもよい。例えば、観察対象の物体の運動方向をＸ方向とし、その運動方向に垂直な方向をＹ方向とした場合には、図１３のイメージ図に表されるように、参照画像に関連付けられる変位量の情報は、Ｘ方向変位量の情報と、Ｙ方向変位量の情報とを含む。
　このような場合には、例えば、変位解析部２１３は、代表画像に対する処理対象画像のＸ方向の変位量と、Ｙ方向の変位量とを求め、参照選択部２１４は、それら算出されたＸ方向とＹ方向の変位量に基づいて参照画像を選択する。画像解析部２１５は、そのように選択された参照画像と、処理対象画像とに基づいた画像解析によって、より精度の良い観察対象の物体の動き（挙動）等の検知（観察）を行うことができる。
　また、一般的に、物体が運動している状態で画像を撮影する場合には、“物体の運動方向の変位量の成分”が“物体の運動に垂直な方向の変位量の成分”よりも大きくなる傾向がある。このため、例えば、変位解析部２１３は、“物体の運動方向の変位量の成分”に着目して変位量を算出し、その他の影響を切り分けることで、参照選択部２１４は、物体の運動方向に着目して処理対象画像に合う参照画像を選択できる。
　・変形例１０
　また、記憶装置２２の画像記憶部２２１に登録される参照画像には、代表画像に対する変位量の情報が関連付けられるだけでなく、例えば、図１４に表されるように、参照画像の撮影時に得られる情報である撮影時刻の情報が関連付けられていてもよい。さらに、参照画像には、変位量算出に失敗したというような画像処理装置２１の処理に関わる情報が撮影時に得られる情報として関連付けられていてもよい。
　さらに、記憶装置２２の画像記憶部２２１に登録される参照画像には、図１５のイメージ図に表されるように、撮影時に得られる情報としてのデータが関連付けられていてもよい。ここでの撮影時に得られる情報としては、例えば、画像の撮影時刻や、撮影環境情報（撮影時の照度、風向き、風速など）や、検知装置２３から得た情報（画像の類似度など）がある。さらに、撮影時に得られる情報は、観察対象の物体の存在や状態をセンシングするために設置した各種センサ（光電センサ、距離センサ、加速度センサ、ジャイロなど）から撮影時に得られるセンサ値やその演算値であってもよい。
　上記のような撮影時に得られる一つあるいは複数の情報がデータとして参照画像に関連付けられる場合には、参照選択部２１４で処理される処理対象画像にも同様なデータが関連付けられている構成とする。そして、参照選択部２１４は、変位量だけでなく、そのようなデータをも利用して参照画像を選択する。これにより、参照選択部２１４は、より処理対象画像に合う参照画像を選択できる。画像解析部２１５は、処理対象画像に関連付けられているそのようなデータを利用して、処理対象画像を並べて解析することにより、例えば時系列変化の影響や、照度変化の影響などを検知（観察）できる。より具体的に述べれば、例えば、画像解析部２１５は、撮影時刻が近い処理対象画像同士、参照画像同士の比較により、観察対象の物体のより詳細な挙動の変化を解析することが可能となる。また、画像解析部２１５は、撮影の照度が同様な画像同士を比較することにより、照度の違いの影響が軽減された状態で観察対象の物体の挙動を解析することが可能となる。画像解析部２１５は、撮影時に得られる情報を考慮して画像解析することにより、観察対象の物体における観察したい事項が発生する要因を解析することも可能になる。
　さらに、画像解析部２１５は、撮影時刻が近く、かつ、撮影の照度が同様な処理対象画像同士を比較するというように、撮影時に得られる複数の情報に基づいて選択された複数の処理対象画像に基づいて、観察対象の物体の挙動を解析することも可能となる。このように、撮影時に得られる情報をも考慮して選択された処理対象画像と参照画像（つまり、撮影状況が近い画像）に基づき画像解析することにより、画像解析部２１５は、観察対象の物体における観察したい事項をより容易に、かつ、精度良く検知できるようになる。
　＜第３実施形態＞
　以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第２実施形態の画像処理装置と画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　図１６は、第３実施形態の画像処理装置の構成を簡略化して表すブロック図である。第３実施形態の画像処理装置２１は、第２実施形態における参照選択部２１４に代えて、分類部２３０と参照部２３１を備える。
　分類部２３０は、変位解析部２１３から得た変位量に基づいて、撮影制御部２１１を通して受け取った撮影画像である処理対象画像を分類する機能を備えている。例えば、前述したように、変位量が階級に区分されており、分類部２３０は、代表画像に対する処理対象画像の変位量に基づいて、処理対象画像を何れかの階級に分類する。
　分類部２３０は、さらに、処理対象画像と、分類された階級の情報とを書き込み部２１６に出力し、書き込み部２１６によって、処理対象画像を参照画像とし、代表画像と階級情報に関連付けられた状態で記憶装置２２に書き込ませる機能を備えている。
　参照部２３１は、記憶装置２２に接続されており、例えば、参照の要求をシステムのユーザから受けた場合に、予め設定された選択手法に基づいて変位量の階級を選択する機能を備える。その選択手法には様々な手法が考えられる。例えば、参照部２３１は、変位解析部２１３により算出された直近の変位量に対応する変位量の階級を選択する。あるいは、参照部２３１は、最も出現頻度が高い参照画像群を選択する。
　さらに、参照部２３１は、そのように選択された階級に属している複数の参照画像を記憶装置２２から取得する機能を備える。
　画像解析部２１５は、参照部２３１が取得した複数の参照画像を解析することにより、観察対象の物体の動き（挙動）等を検知（観察）する。
　第３実施形態における画像処理装置２１の上記以外の構成は、第２実施形態の画像処理装置の構成と同様である。
　次に、第３実施形態の画像処理装置２１の動作例を図１７のフローチャートに基づいて説明する。なお、図１７においては、図７、図９や図１０のフローチャートにおいて説明される動作と同様な動作のステップには、同一のステップ番号を付し、その共通部分の重複説明は省略する。
　この例では、画像処理装置２１の動作が、第２実施形態における画像処理装置２１の動作と次の点で異なる。すなわち、第３実施形態では、画像処理装置２１は、撮影装置２４により撮影された観察対象の物体の映像（処理対象画像）を参照画像あるいは代表画像として記憶装置２２に順次、登録していく。そして、画像処理装置２１は、参照の要求が有った場合（ステップＳ２１、Ｓ２２、Ｓ２３の動作を参照）に、参照画像を利用した画像解析の処理を実行する。
　また、ステップＳ２２において、画像処理装置２１（参照部２３１）は、予め設定された選択手法に基づいて変位量の階級を選択し、選択した階級に分類されている複数の参照画像を参照画像群として記憶装置２２から読み出す。
　さらにまた、ステップＳ２３において、画像解析部２１５は、その読み出した参照画像群における複数の参照画像について、各参照画像間の変位量を画像解析により算出し、この変位量を利用して観察対象の物体の動き（挙動）等を観察（検知）する。
　第３実施形態における画像処理装置２１の上記以外の動作は、第２実施形態の画像処理装置２１の動作と同様である。
　第３実施形態の画像処理装置２１とそれを備える画像処理システム２０は、上記のような構成を備えることにより、第２実施形態で述べた効果を得ることができ、また、次のような効果を得ることもできる。すなわち、第３実施形態の画像処理装置２１は、観察対象の物体の動き等を観察（検知）する画像解析において利用する参照画像として、変位量が同じ階級に属する複数の参照画像を利用する。つまり、画像処理装置２１は、撮影タイミングのばらつき成分が小さい参照画像間で画像を解析するので、撮影タイミングのばらつきの影響が小さい状態で観察対象の物体の動きを観察することができる。
　また、第３実施形態の画像処理装置２１における参照部２３１は、適宜に選択した階級の参照画像群を選択できるので、例えば、最も出現頻度が高い参照画像群を選択することにより、撮影タイミングのばらつき成分が小さい多くの参照画像を得ることができる。このように取得された多くの参照画像を利用することにより、画像解析部２１５は、観察対象の物体における観察したい挙動を高い確率で検知することができる。
　＜第３実施形態における変形例＞
　なお、上述した第３実施形態の画像処理装置２１の構成に加えて、図１８に表されるように、画像整列部２１７がさらに画像処理装置２１に備えられてもよい。その画像整列部２１７は、第２実施形態における変形例１にて説明した画像整列部２１７と同様に、参照部２３１により選択され取得された参照画像群に属する複数の参照画像を予め定められたルールに従って整列（ソート）する機能を有する。
　この第３実施形態では、多くの参照画像が解析されることも想定されることから、画像整列部２１７によって多数の参照画像を整列（ソート）できる構成は、参照画像の煩雑化を抑制することができる。また、整列（ソート）するルール（条件）を適宜設定することにより、画像解析部２５は、観察対象の物体における観察したい事項をより容易に、かつ、精度良く検知できるようになる。
　さらに、観察対象の物体の運動方向とは異なる方向（例えば運動方向に垂直な方向）の変位量に基づいて複数の画像（参照画像や処理対象画像）を整列する機能を持つ画像整列部が設けられてもよい。そのように整列された画像と、画像解析部２１５により得られた変位量分布とを利用することにより、観察対象の物体の挙動の変化や、その変化のプロセスを精度良く検知することや、人間が見た目で分かり易くする可視化することが容易となる。
　＜第４実施形態＞
　以下に、本発明に係る第４実施形態を説明する。なお、第４実施形態の説明において、第２と第３の各実施形態における画像処理装置と画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
　図１９は、第４実施形態の画像処理装置２１を備える画像処理システム２０の構成を簡略化して表すブロック図である。この第４実施形態では、画像処理システム２０は、第２又は第３の実施形態と同様の構成を備えるが、検知装置２３として運動検知装置３３が設けられている。画像処理システム２０におけるそれ以外の構成は、第２又は第３の実施形態の画像処理システム２０の構成と同様である。
　図２０は、記憶装置２２における画像記憶部２２１に登録される情報（データ）の具体例を表している。
　第４実施形態では、検知装置としての運動検知装置３３は、観察対象の物体４０（図１９参照）の回転を監視し、当該物体４０が予め定められた回転状態になったことを検知すると、それを知らせる同期信号を出力する機能を備えている。
　画像記憶部２２１には、１つの代表画像に対して複数の参照画像と、その変位量、当該変位量の階級、撮影時刻等が関連付けられて記憶されている。なお、代表画像は１つに限定されず、複数であってもよい。また、記憶装置２２は、ハードディスク装置やＳＳＤ（Solid State Drive）により構成される。あるいは、例えば、記憶する容量が少ない場合や、リアルタイムで情報（データ）を処理する場合は、記憶装置２２は、ＲＡＭ等のメモリにより構成されていてもよい。
　第４実施形態の画像処理装置２１およびそれを備える画像処理システム２０は、第２又は第３の実施形態と同様の構成を備えているので、第２又は第３の実施形態と同様の効果を得ることができる。
　ここで、図２１を利用して、第４実施形態の画像処理装置２１の具体的な動作例を説明する。なお、この説明における動作例は、第２実施形態に基づいた動作例である。
　例えば、観察対象の物体がＸ周期目の動作の際に運動検知装置３３によって得られた信号を基に、撮影装置２４が作動してＸ周期目の観察対象の画像が撮影されたとする。画像処理装置２１の撮影制御部２１１は、その撮影画像を受け取ると、当該撮影画像をＸ周期目の処理対象画像とする。また、記憶装置２２の画像記憶部２２１には、複数の代表画像が登録されており、代表選択部２１２は、それら代表画像の中から、Ｘ周期目の処理対象画像に関連付ける代表画像としての代表画像を選択する。そして、変位解析部２１３は、Ｘ周期目の処理対象画像と代表画像との間の変位量を算出し、例えば、－０．６[pixel]を得る。
　参照選択部２１４は、算出した変位量－０．６[pixel]に最も近い参照画像として、参照画像を選択する。さらに、画像解析部２１５は、Ｘ周期目の処理対象画像と、選択された参照画像との間の変位分布を解析し、変位分布画像を得る。例えば、画像処理装置２１は、その得られた変位分布画像を解析結果として表示装置に出力する。図２２は、上記のようにして得られた複数の変位分布画像がまとめて表示されている表示例が表されている。その変位分布画像と共に、変位解析部２１３の処理により得られる図２３に表されるような変位量（階級）とその変位量の出現回数との関係データも表示してもよい。
　さらに、画像整列部２１７が備えられている場合には、図２４のように選択・整列処理が行われた後の変位分布画像や、図２５に表されるような変位量（階級）とその変位量の出現回数との関係データが切り替え表示されてもよい。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１６年８月２５日に出願された日本出願特願２０１６－１６４７１９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１，２１　画像処理装置
　２，２１２　代表選択部
　３，２１３　変位解析部
　４，２１４　参照選択部
　７，２４　撮影装置
　２１５　画像解析部
　２１７　画像整列部

Claims (10)

  1. 　検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する代表選択手段と、
    　前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する変位解析手段と、
    　参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する参照選択手段とを備える画像処理装置。
  2. 　前記参照画像には、前記代表画像との間の変位量の情報が関連付けられており、
    　前記参照選択手段は、前記変位解析手段により算出された変位量を含む予め設定された範囲内の変位量に関連付けられている前記参照画像を選択する請求項１に記載の画像処理装置。
  3. 　前記参照画像には、前記代表画像との間の変位量に基づいて分類された変位量の階級の情報が関連付けられており、
    　前記参照選択手段は、前記変位解析手段により算出された変位量の前記階級を判定し、判定された前記階級に属する前記参照画像を選択する請求項１に記載の画像処理装置。
  4. 　前記変位解析手段は、前記検知対象の物体の予め定められた運動方向の変位量を算出し、
    　前記参照画像には、前記代表画像との間における前記運動方向の変位量が関連付けられており、
    　前記参照選択手段は、前記算出された運動方向の変位量に基づいて前記参照画像を選択する請求項１に記載の画像処理装置。
  5. 　前記撮影画像には前記検知対象の物体の撮影時に得られる情報が関連付けられ、また、前記参照画像にも、前記検知対象の物体の撮影時に得られる情報が関連付けられており、
    　前記参照選択手段は、前記変位量と前記撮影時に得られる情報に基づいて前記参照画像を選択する請求項１乃至請求項４の何れか一つに記載の画像処理装置。
  6. 　前記参照選択手段により選択された前記参照画像と、前記撮影画像とを比較することにより、前記検知対象の物体の動きを解析する画像解析手段をさらに備える請求項１乃至請求項５の何れか一つに記載の画像処理装置。
  7. 　前記参照画像に関連付けられている情報に基づいて前記参照画像を予め与えられたルールに従って整列する画像整列手段をさらに備える請求項１乃至請求項６の何れか一つに記載の画像処理装置。
  8. 　検知対象の物体を撮影する撮影装置と、
    　請求項１乃至請求項７の何れか一つに記載の画像処理装置と
    を備える画像処理システム。
  9. 　検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択し、
    　前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出し、
    　参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択し、
    　選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する画像処理方法。
  10. 　検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する処理と、
    　前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する処理と、
    　参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する処理と、
    　選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する処理と
    をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
PCT/JP2017/028527 2016-08-25 2017-08-07 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体 Ceased WO2018037891A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018535578A JP7063267B2 (ja) 2016-08-25 2017-08-07 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム
US16/327,701 US10922823B2 (en) 2016-08-25 2017-08-07 Motion analyis device, motion analysis method, and program recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-164719 2016-08-25
JP2016164719 2016-08-25

Publications (1)

Publication Number Publication Date
WO2018037891A1 true WO2018037891A1 (ja) 2018-03-01

Family

ID=61245675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/028527 Ceased WO2018037891A1 (ja) 2016-08-25 2017-08-07 画像処理装置、画像処理システム、画像処理方法およびプログラム記録媒体

Country Status (3)

Country Link
US (1) US10922823B2 (ja)
JP (1) JP7063267B2 (ja)
WO (1) WO2018037891A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020141320A (ja) * 2019-02-28 2020-09-03 株式会社富士通アドバンストエンジニアリング 表示制御装置、表示制御プログラム及び検品システム
CN111885281A (zh) * 2019-05-02 2020-11-03 顶级公司 图像处理
JP7553134B1 (ja) 2023-03-03 2024-09-18 国立大学法人広島大学 画像解析装置、画像解析方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304852A (ja) * 2006-05-11 2007-11-22 Univ Of Tsukuba 被写体追尾方法及び装置
JP2009245287A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 画像追尾装置及び画像追尾方法並びに画像追尾プログラム
WO2014002813A1 (ja) * 2012-06-26 2014-01-03 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731249B2 (ja) 1988-02-19 1995-04-10 東京エレクトロン株式会社 撮像システム
JPH02284267A (ja) 1989-04-26 1990-11-21 Toppan Printing Co Ltd 番号検査装置
JP2006033142A (ja) 2004-07-13 2006-02-02 Seiko Epson Corp 動画像符号化装置、動画像符号化方法、プログラム、記録媒体、画像処理装置、および画像処理システム
JP2009077363A (ja) 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
CN102117128B (zh) * 2009-12-31 2013-03-27 敦南科技股份有限公司 高解析度图像感测装置及其图像运动感测方法
WO2011139734A2 (en) * 2010-04-27 2011-11-10 Sanjay Nichani Method for moving object detection using an image sensor and structured light
US9020832B2 (en) * 2011-03-07 2015-04-28 KBA2 Inc. Systems and methods for analytic data gathering from image providers at an event or geographic location
US9514570B2 (en) * 2012-07-26 2016-12-06 Qualcomm Incorporated Augmentation of tangible objects as user interface controller

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304852A (ja) * 2006-05-11 2007-11-22 Univ Of Tsukuba 被写体追尾方法及び装置
JP2009245287A (ja) * 2008-03-31 2009-10-22 Fujitsu Ltd 画像追尾装置及び画像追尾方法並びに画像追尾プログラム
WO2014002813A1 (ja) * 2012-06-26 2014-01-03 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020141320A (ja) * 2019-02-28 2020-09-03 株式会社富士通アドバンストエンジニアリング 表示制御装置、表示制御プログラム及び検品システム
JP7207014B2 (ja) 2019-02-28 2023-01-18 富士通株式会社 表示制御装置、表示制御プログラム及び検品システム
CN111885281A (zh) * 2019-05-02 2020-11-03 顶级公司 图像处理
CN111885281B (zh) * 2019-05-02 2023-12-26 Arm有限公司 图像处理
JP7553134B1 (ja) 2023-03-03 2024-09-18 国立大学法人広島大学 画像解析装置、画像解析方法及びプログラム
JP2024129166A (ja) * 2023-03-03 2024-09-27 国立大学法人広島大学 画像解析装置、画像解析方法及びプログラム

Also Published As

Publication number Publication date
JP7063267B2 (ja) 2022-05-09
US10922823B2 (en) 2021-02-16
US20190220984A1 (en) 2019-07-18
JPWO2018037891A1 (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
US11222239B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
US8135172B2 (en) Image processing apparatus and method thereof
JP3944647B2 (ja) 物体計測装置、物体計測方法、およびプログラム
CN112927249B (zh) 通过视觉系统查找图像中线的系统和方法
US12165358B2 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
US20160284098A1 (en) Image processing device, image processing method, computer program product, and image processing system
EP4137901A1 (en) Deep-learning-based real-time process monitoring system, and method therefor
US8724851B2 (en) Aerial survey video processing
JP6684475B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20150116543A1 (en) Information processing apparatus, information processing method, and storage medium
JP6494418B2 (ja) 画像解析装置、画像解析方法、およびプログラム
WO2014010174A1 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
JP6988790B2 (ja) 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラム
JP2007334756A (ja) 異常動作検出装置および異常動作検出方法
CN106575363A (zh) 用于追踪场景中的关键点的方法
US11521413B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
US10043276B2 (en) Image processing method, image processing apparatus, robot apparatus, program, and recording medium
JP7063267B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
KR101214858B1 (ko) 클러스터링 기법을 이용한 이동물체 검출장치 및 방법
Nasrollahi et al. Haar-like features for robust real-time face recognition
KR102846973B1 (ko) 이동량 추정을 위한 이미지 처리 시스템 및 그 방법
CN106203453A (zh) 一种基于压缩感知的生物与非生物目标识别方法及其系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843376

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018535578

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17843376

Country of ref document: EP

Kind code of ref document: A1