[go: up one dir, main page]

WO2011092865A1 - 物体検出装置及び物体検出方法 - Google Patents

物体検出装置及び物体検出方法 Download PDF

Info

Publication number
WO2011092865A1
WO2011092865A1 PCT/JP2010/051355 JP2010051355W WO2011092865A1 WO 2011092865 A1 WO2011092865 A1 WO 2011092865A1 JP 2010051355 W JP2010051355 W JP 2010051355W WO 2011092865 A1 WO2011092865 A1 WO 2011092865A1
Authority
WO
WIPO (PCT)
Prior art keywords
strong
discriminator
discrimination
target object
depicted
Prior art date
Application number
PCT/JP2010/051355
Other languages
English (en)
French (fr)
Inventor
省吾 澤井
Original Assignee
株式会社モルフォ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社モルフォ filed Critical 株式会社モルフォ
Priority to JP2010513549A priority Critical patent/JP4806101B2/ja
Priority to PCT/JP2010/051355 priority patent/WO2011092865A1/ja
Priority to US12/742,869 priority patent/US8693791B2/en
Priority to EP10714836A priority patent/EP2397989A1/en
Priority to CN2010800008446A priority patent/CN102216958A/zh
Publication of WO2011092865A1 publication Critical patent/WO2011092865A1/ja
Priority to US14/179,041 priority patent/US20140161364A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Definitions

  • the present invention relates to an object detection apparatus and an object detection method.
  • Patent Document 1 an apparatus and a method for detecting an object based on image information are known (see, for example, Patent Document 1).
  • the detection device described in Patent Literature 1 learns information (for example, a feature amount) related to a detection target object (for example, a face) included in image information, and configures a plurality of homogeneous classifiers (homogeneous classifiers) based on the learning result. To do.
  • the plurality of homogeneous discriminators are configured such that the detection accuracy of the detection target object varies, for example, by changing the number of feature amounts.
  • the apparatus described in Patent Document 1 cascades a plurality of homogeneous discriminators in series so that the detection accuracy of each homogenous discriminator becomes gradually more accurate toward the end of processing. Configure the detector.
  • the device described in Patent Document 1 inputs image information of a determination image to a detector, causes the homogeneous discriminators constituting the detector to execute in series, and all the homogeneous discriminators detect a detection target object Only when the detection target object is detected from the determination image information.
  • Patent Document 1 determines that one of the plurality of homogeneous discriminators constituting the detector does not include the feature amount of the detection target object in the determination image information, It is determined that the detection target object is not detected from the determination image information without executing processing performed after the homogeneous classifier.
  • the apparatus described in Patent Document 1 is configured so that the detection accuracy of the homogenous discriminator constituting the detector becomes gradually more accurate toward the end of the serial coupling, so that the detection process
  • the feature quantity discriminated by the homogeneous discriminator tends to increase as the process ends. That is, there is a possibility that the processing speed of each homogeneous classifier decreases as the stage after the series connection. For this reason, in the apparatus described in Patent Document 1, the speed of the object detection process may decrease.
  • an object of the present invention is to provide an object detection apparatus and an object detection method capable of speeding up object detection processing.
  • an object detection device is an object detection device that detects the target object depicted in a determination image based on a feature amount of the target object learned in advance using a learning image.
  • a plurality of weak classifiers that respectively calculate estimated values indicating the possibility that the target object is depicted in the determination image based on the feature amount of the target object, and a plurality of the estimated values,
  • a plurality of strong discriminators that discriminate whether or not the target object is depicted in the determination image with different discrimination accuracies, and the strong discriminator that are executed in descending order of discriminating accuracy. If the strong discriminator determines that the target object is not depicted in the determination image, the processing is continued.
  • a detector that does not detect the target object without executing the strong discriminator, and the strong discriminator inputs a discrimination result of the strong discriminator having a discrimination accuracy lower than that of the strong discriminator. And determining whether or not the target object is depicted in the determination image based on a plurality of the estimated values and the input determination result.
  • the strong discriminator constituting the detector inputs the discrimination result of the strong discriminator having the discrimination accuracy lower than that of the strong discriminator, and the input discrimination result is It is used to determine whether or not the target object is depicted in the determination image. That is, in this object detection device, each strong discriminator does not independently discriminate the target object, but each strong discriminator discriminates the target object using the discrimination results of the other strong discriminators. In this way, the strong discriminator uses the discrimination results of the other strong discriminators, so that each strong discriminator uses a weak discriminant for calculation compared to the case where each strong discriminator independently discriminates the target object. The number of estimated values of the vessel can be reduced.
  • the processing speed of each of the strong discriminators can be increased. It becomes possible. As a result, it is possible to speed up the determination of whether or not the target object is depicted in the determination image.
  • the strong discriminator may input the discrimination result of the strong discriminator having the second lowest discrimination accuracy than the strong discriminator among the plurality of strong discriminators.
  • the strong discriminator is configured to output the determination image based on a weighted voting result using a weight indicating a degree of ease of discrimination of the weak discriminator and an estimated value of the weak discriminator, and an input discrimination result. It may be determined whether or not the target object is depicted.
  • the strong discriminator as a discrimination result of the strong discriminator having a discrimination accuracy lower than that of the strong discriminator, includes a weight indicating a discrimination ease of the weak discriminator and an estimated value of the weak discriminator. You may input the result of the used weighted vote.
  • a weight corresponding to the discrimination accuracy is assigned to each of the plurality of strong discriminators, and the strong discriminator adds the weight of the input strong discriminator to the input weighted vote result. It may be determined whether or not the target object is depicted in the determination image using the integrated value. In such a configuration, the degree of reflecting the discrimination results of other strong discriminators is changed according to the weight of the strong discriminator as the input source. For this reason, since the discrimination results of other strong discriminators can be appropriately reflected in the self discrimination, it is possible to improve the discrimination accuracy of individual strong discriminators.
  • the object detection method includes a plurality of weak classifiers that respectively calculate estimated values indicating the possibility that the target object is depicted in the determination image based on the feature amount of the target object,
  • An object detection method for an object detection device comprising: a plurality of strong discriminators that discriminate with different discrimination accuracy whether or not the target object is depicted in the determination image based on the estimated value of An execution step in which the strong classifiers are serially coupled in descending order of discrimination accuracy, and the strong discriminator executes discrimination in ascending order of discrimination accuracy; and the strong discriminator has a lower discrimination accuracy than the strong discriminator.
  • the strong discriminator determines that the target object is depicted in the determination image
  • the execution step is continued, and the strong discriminator does not depict the target object in the determination image. If it is determined, the execution step is interrupted.
  • the strong discriminator may input a discrimination result of the strong discriminator having the second lowest discrimination accuracy than the strong discriminator among the plurality of strong discriminators.
  • the strong discriminator uses the weighted voting result using the weight indicating the degree of ease of discrimination of the weak discriminator and the estimated value of the weak discriminator, and the input discrimination result. Based on the determination image, it may be determined whether or not the target object is depicted.
  • the strong discriminator has a weight indicating the degree of ease of discrimination of the weak discriminator and the weak discriminator as a discrimination result of the strong discriminator having a discrimination accuracy lower than that of the strong discriminator.
  • the result of weighted voting using the estimated value may be input.
  • a plurality of strong discriminators are given weights according to the discrimination accuracy, and in the discrimination step, the strong discriminator adds an input source result of the strong discriminator to the result of the weighted vote. Weights may be integrated and it may be determined whether the target object is depicted in the determination image using the integrated value.
  • the object detection apparatus and the object detection method which are one embodiment of the present invention, it is possible to increase the speed of the object detection process.
  • the object detection device is a device that detects (discriminates and identifies) an object depicted in an image based on image information.
  • a personal computer For example, a personal computer, a digital camera, a mobile phone, a PDA (Personal Digital Assistant ) And the like.
  • the object detection apparatus learns the characteristics of the detection target object before the detection process, and performs the detection process based on the learned characteristics.
  • the target object to be detected is not particularly limited. For example, a human face or the like is used. In the following, a face detection device mounted on a portable terminal having a camera function will be described as an example of the object detection device according to the present invention in consideration of ease of understanding.
  • FIG. 1 is a functional block diagram of a mobile terminal 3 including a face detection device 1 according to the present embodiment.
  • a mobile terminal 3 shown in FIG. 1 is a mobile terminal carried by a user, for example.
  • FIG. 2 is a hardware configuration diagram of the mobile terminal 3.
  • the mobile terminal 3 physically includes a main storage device such as a CPU (Central Processing Unit) 100, a ROM (Read Only Memory) 101, and a RAM (Random Access Memory) 102, a camera, a keyboard, and the like.
  • the input device 103, the output device 104 such as a display, the auxiliary storage device 105 such as a hard disk, and the like are configured as a normal computer system.
  • Each function of the portable terminal 3 and the face detection device 1 described later is configured to load the input device 103 and the output device 104 under the control of the CPU 100 by reading predetermined computer software on hardware such as the CPU 100, the ROM 101, and the RAM 102. This is realized by operating and reading and writing data in the main storage device and the auxiliary storage device 105.
  • the face detection apparatus 1 normally includes a main storage device such as the CPU 100, the ROM 101 and the RAM 102, the input device 103, the output device 104, and the auxiliary storage device 105. It may be configured as a computer system.
  • the mobile terminal 3 may include a communication module or the like.
  • the mobile terminal 3 includes a camera 30, a face detection device 1, an image composition unit 31, and a display unit 32.
  • the camera 30 has a function of capturing an image.
  • an image sensor or the like is used as the camera 30.
  • the camera 30 has a function of outputting the captured image to the face detection device 1 as a determination image.
  • the image composition unit 31 has a function of generating a composite image in which a symbol or an enclosure that emphasizes the face portion of the determination image is superimposed on the determination image.
  • the display unit 32 has a function of displaying the composite image generated by the image composition unit 31.
  • the face detection device 1 includes a determination image input unit 10, an image region division unit 11, and a detector 2.
  • the determination image input unit 10 has a function of inputting an image captured by the camera 30 as a determination image.
  • the image area dividing unit 11 has a function of dividing the determination image input by the determination image input unit 10 into predetermined areas.
  • the image area dividing unit 11 has a function of dividing the image area of the determination image into a plurality of small areas (so-called subwindows) having a predetermined size.
  • the sub window may have a rectangular shape or other shapes.
  • the positions of the subwindows can be overlapped or not overlapped.
  • the image area dividing unit 11 changes the magnification of this subwindow to various sizes. Thereby, the range to be processed in the target image can be changed.
  • a conventional method can be adopted as a method of changing the magnification.
  • the detector 2 has a function of inputting a subwindow divided by the image region dividing unit 11 and determining whether or not a face as a detection target object is depicted in the subwindow. That is, the detector 2 has a function of detecting a face displayed in the input subwindow. The detector 2 determines whether or not a face is depicted based on image information (such as luminance values) and rectangular features (Rectangleectfeatures) of the subwindow.
  • the rectangular feature is a kind of local feature, and for example, a Haar-like feature is used.
  • FIG. 3 shows an example of the rectangular feature.
  • 3A to 3D show four types of rectangular features 20a to 20d.
  • 3A and 3B are for extracting features appearing at the edge of the face, and the rectangular features 20c and 20d shown in FIGS. 3C and 3D. Extracts features that appear in the line of the face.
  • Each rectangular feature 20a to 20d is evaluated by the difference between the sum (or average brightness value) of the pixel values (luminance values) in the white area and the sum (or average brightness value) of the pixel values in the black area. For example, in the case of the rectangular feature 20a, the evaluation is based on the difference between the sum of the luminance values in the white region 20a_B and the sum of the luminance values in the black region 20a_A.
  • Each rectangular feature 20a to 20d can be applied to an arbitrary position in the sub-window. FIG.
  • the detector 2 calculates the difference between the sum of the luminance values in the white region 20b_B of the rectangular feature 20b and the sum of the luminance values in the black region 20b_A. Is calculated.
  • the black region 20b_A surrounding the eyeline is often darker than the white region 20b_B surrounding the cheek, nose, and cheeks below.
  • the detector 2 learns such human facial features in advance, and determines the discrimination result based on whether or not the calculated difference is greater than a pre-learned threshold.
  • the detector 2 includes a plurality of weak discriminators 20n (n: integer) in order to efficiently perform such processing.
  • the weak discriminator 20n is a discriminator having a relatively low discrimination ability, and has a function of calculating an estimated value indicating the possibility that a previously learned facial feature is displayed in the sub-window.
  • a plurality of weak classifiers 20n are prepared corresponding to the above-described rectangular features, calculate the difference between the sum of the luminance values of the white region and the sum of the luminance values of the black region with respect to the corresponding rectangular features, This is a threshold function that outputs 1 or 0 that is an estimated value based on the magnitude relationship.
  • the weak classifier 20n can be expressed by the following Equation 1.
  • x is a feature amount
  • f j (x) is a function of the weak classifier 20n. That is, f (x) is a function that calculates the difference between the sum of the luminance values of the white region and the sum of the luminance values of the black region using a rectangular feature corresponding to the feature amount x.
  • the detector 2 combines the weak discriminators 20n to construct a strong discriminator 21m (m: integer) having a relatively high discrimination accuracy.
  • the strong discriminator 21m performs weighted voting based on the plurality of estimated values calculated by the plurality of weak discriminators 20n and the weights assigned to the weak discriminators 20n, and uses the result to display a face in the subwindow. Has a function of determining whether or not is displayed.
  • the combination and number of weak classifiers 20n used for weighted voting differ depending on the strong classifier 21m. For this reason, each of the strong discriminators 21m has a different discrimination accuracy.
  • the detector 2 discriminates one subwindow with the plurality of strong discriminators 21m, and finally discriminates whether or not a face exists in the subwindow based on the discrimination results of the plurality of strong discriminators 21m.
  • the combination of p j ⁇ ⁇ 1,1 ⁇ of the weak discriminator 20n and the threshold T j , the weight of the weak discriminator 20n, and the weak discriminator 20n used by the strong discriminator 21m is, for example, according to the AdaBoost Algorithm. Learned in advance.
  • the Adaboost algorithm is one of machine learning methods, and learns so that image information that is difficult to identify by a simple identification method can be identified by a combination of a plurality of simple classifiers.
  • a simple classifier that is a base corresponds to the weak classifier 20n.
  • the final discriminator in the Adaboost algorithm is the strong discriminator 21m.
  • a set of face images in which a face as a detection target object is depicted, a set of non-face images in which a face as a detection target object is not depicted, and a set of weak classifiers 20n are prepared.
  • p j and T j of all weak classifiers 20n are provisionally determined using a set of face images and a set of non-face images.
  • a weight k j is prepared and initialized for each of the face image and the non-face image. The weight k j indicates the importance in discrimination, and an image having a larger weight k j is an important image that should not be erroneously identified.
  • the weak discriminator 20n are optimized to minimize the weighted error, and the weak discriminator 20n using the weak discriminator 20n having the smallest weighted error in the strong discriminator 21m. Adopt as. Thereafter, the weight k j of the face image and the non-face image is updated. Thus, the weight k j is updated every time one weak discriminator 20n is selected. For example, the weight k j of the learning image that cannot be discriminated well by the selected weak classifier 20n is updated so as to increase. For this reason, it becomes easy to select the weak discriminator 20n that can identify an image that has been difficult to identify until now by repeating the above processing.
  • the weights assigned to each weak discriminator 20n, strong discriminator 21m is configured for weighting the vote by using the function h j of weak classifiers 20n.
  • the strong discriminator 21m represented by the following formula 2 is constructed by Adaboost learning.
  • the weak classifiers 20n is h j (x)
  • strong discriminator 21m is equivalent to the S 0.
  • the weight w j of the weak discriminator 20n means voting power and indicates the degree of discriminability (ie reliability) of the weak discriminator 20n.
  • the weight w j is calculated using an error rate based on a weighted error during learning.
  • the weight w j of the weak discriminator 20n that determines that a correct face image is almost a face is set large. Further, the weak classifier 20n that hardly determines a correct face image as a face only needs to reverse the determination, and thus the weight w j is set large.
  • ⁇ 0 is a value calculated during learning based on the weight w j , for example, and when S 0 is larger than ⁇ 0 , it is determined as a face.
  • S 0 is passed through more than A% of the face image for learning, and, until the passing of B less than% of the non-face image for learning, performs selection and additional weak discriminator 20n.
  • a and B can be set arbitrarily. By changing A and B, a strong discriminator 21m having different discrimination accuracy can be constructed.
  • S 1 which is a strong discriminator 21 m with high discrimination accuracy is learned and generated.
  • S 1 is so determined accuracy is better than S 0, A than that in the learning of S 0, B is set strictly.
  • a strong discriminator S i (i: natural number) shown in the following Expression 3 is generated.
  • the strong discriminator 21m is configured to input the discrimination result of the strong discriminator 21m having the next lowest discrimination accuracy than the strong discriminator 21m.
  • W i is a weight set for each S i of strong discriminator 21m.
  • the weak discriminator 20n is selected from the beginning and the discrimination accuracy is higher.
  • the number of weak classifiers 20n to be selected / added can be reduced as compared with the case where the strong classifier 21m is constructed.
  • Detector 2 the S 0 and S i to run serially generated a strong discriminator 21m, linear combination.
  • Each strong classifier 21m that is linearly coupled is also called a stage.
  • the strong discriminators 21m are connected side by side so that the discrimination accuracy increases as the end of the linear combination.
  • the detector 2 receives the sub-window, the detector 2 sequentially executes the strongly combined strong discriminator 21m.
  • the detector 2 causes the strong discriminator 21m having the next highest discrimination accuracy to execute a detection process.
  • the strong discriminator 21m does not detect a face, the detector 2 Processing after the appearance of the strong discriminator 21m having higher discrimination accuracy than the discriminator 21m is not performed. Further, except for the first stage, each of the strong discriminators 21m inputs the discrimination result of the strong discriminator 21m having the second lowest discriminating accuracy next to the strong discriminator 21m and performs its own detection processing.
  • FIG. 5 is a flowchart showing the operation of the face detection apparatus 1.
  • the process illustrated in FIG. 5 is executed, for example, at a timing when the camera function of the mobile terminal 3 is turned on, and is repeatedly executed at a predetermined cycle. Note that the processing of S10 to S16 shown in FIG. 5 is executed by the face detection apparatus 1, and the processing of S18 to S22 is executed by the portable terminal 3.
  • the determination image input unit 10 first inputs a determination image (S10).
  • FIG. 6 shows an example of the determination image F.
  • the image area dividing unit 11 generates an integral image of the determination image input in the process of S10 (S12).
  • the image region dividing unit 11 scans the determination image F to generate a plurality of subwindows Gn (S14).
  • the detector 2 selects one of the generated subwindows Gn and performs face detection processing (S16).
  • FIG. 7 the detector 2 is strong discriminator is a S 1 ⁇ S n serially to be executed by the low determination accuracy sequentially 21m.
  • S 1 ⁇ S n carries out processing on the same subwindow Gn.
  • the detector 2 ends the process at that time, and when it is determined that the face is a face, the process is continued.
  • S 2 to Sn are used to input the result of the previous stage and determine whether or not the face. Then, the detector 2 determines that a face is depicted in the subwindow Gn that has passed through all the stages. The detector 2 performs the above process on all the subwindows Gn.
  • the process of S16 ends, the process proceeds to a determination process (S18).
  • the image composition unit 31 determines whether or not a face has been detected in the process of S16.
  • a composite image in which the position of the sub window Gn is emphasized is generated (S20).
  • the display unit 32 displays the composite image (S22).
  • the determination image is displayed as it is (S22).
  • the determination image F is input and divided to generate the subwindow Gn, and whether the subwindow Gn displays a face in each stage is determined based on the result of the previous stage. Is judged.
  • the determination result of the preceding stage is inherited by the succeeding stage, it is not necessary to evaluate the subwindow Gn from the beginning in the succeeding stage. Further, the detection accuracy needs to be improved as the number of subsequent stages increases. However, since the determination result of the previous stage is input, the detection accuracy can be improved by adding fewer rectangular features. For this reason, it is possible to suppress an increase in processing time occurring in the subsequent stage.
  • a detector for determining the subwindow Gn is, S 1 ⁇ serially to execute S n in ascending order of discrimination accuracy is strong classifiers.
  • S 1 to S n function independently, so that the rectangular feature used in each stage becomes more complicated as it becomes later, and as a result, the amount of calculation processing in each stage also becomes later. To increase. Furthermore, even if a strong discriminator up to a certain stage gives a sufficient result, it is rejected by the result of one subsequent stage, so that the detection accuracy may be lowered.
  • the strong discriminator 21m constituting the detector 2 inputs the discrimination result of the strong discriminator 21m having a discrimination accuracy lower than that of the strong discriminator 21m. Then, it is determined whether or not the face 40 is depicted in the determination image using the input determination result. That is, in this face detection device 1, each strong discriminator 21m does not discriminate the face 40 independently, but each strong discriminator 21m discriminates the face 40 using the discrimination results of the other strong discriminators 21m. To do. Thus, since the strong discriminator 21m can use the discrimination result of the other strong discriminators 21m, the strong discriminator 21m is compared with the case where each of the strong discriminators 21m independently discriminates the face 40.
  • the number of estimated values of the weak classifier 20n used by can be reduced. For this reason, even when the detection accuracy of the strong discriminator 21m constituting the detector 2 is configured to be gradually more accurate toward the end of the serial coupling, the processing speed of each of the strong discriminators 21m is reduced. It becomes possible to speed up. As a result, it is possible to speed up the determination as to whether or not the face 40 is depicted in the determination image. Furthermore, since each strong discriminator is discriminated by reflecting the results of the previous stages, the discriminating information can be discriminated. For this reason, detection accuracy can be improved as a result.
  • the detector 2 integrates the weights W i-1 of the input source of the strong discriminator 21m on the result S i-1 of the input weighted vote is integrated It is possible to determine whether or not the face 40 is depicted in the determination image using the obtained value. For this reason, since the discrimination results of the other strong discriminators 21m can be appropriately reflected in their own discrimination, it is possible to improve the discrimination accuracy of the individual strong discriminators 21m.
  • the above-described embodiment shows an example of the object detection device according to the present invention.
  • the object detection device according to the present invention is not limited to the object detection device according to the embodiment, and the object detection device according to each embodiment may be modified or otherwise changed without changing the gist described in each claim. It may be applied to the above.
  • the present invention is not limited to this.
  • embodiment mentioned above demonstrated the example which applies the face detection apparatus 1 to the portable terminal 3, it is not restricted to this.
  • the example in which the object detection device performs the detection process by inputting the image from the camera 30 has been described, but the input image of the object detection device is not limited to this. For example, it may be an image acquired through communication or an image stored in a storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

学習画像を用いて予め学習された対象物体の特徴量に基づいて、判定画像に描写された対象物体を検出する物体検出装置であって、判別精度が低い順に強判別器２１ｍを実行させ、強判別器２１ｍが判定画像に対象物体が描写されていると判別した場合には処理を継続し、強判別器２１ｍが判定画像に対象物体が描写されていないと判別した場合には当該強判別器２１ｍよりも判別精度が高い強判別器２１ｍの実行を行うことなく対象物体を未検出とする検出器２を備え、強判別器２１ｍは、当該強判別器２１ｍよりも判別精度の低い強判別器２１ｍの判別結果を入力し、複数の推定値及び入力された判別結果に基づいて判定画像に対象物体が描写されているか否かを判別することを特徴とする。

Description

物体検出装置及び物体検出方法
　本発明は、物体検出装置及び物体検出方法に関するものである。
　従来、物体を検出する装置及び方法として、画像情報に基づいて物体を検出する装置及び方法が知られている（例えば、特許文献１参照）。特許文献１記載の検出装置は、画像情報に含まれる検出対象物体（例えば、顔）に関する情報（例えば特徴量）を学習し、学習結果に基づいて複数の同次判別器（homogeneous classifier）を構成する。複数の同次判別器は、例えば特徴量の数を変更することにより検出対象物体の検出精度が異なるように構成される。特許文献１記載の装置は、それぞれの同次判別器の検出精度が処理の終了に向かうに連れて段々と正確になるように、複数の同次判別器を直列結合（cascade）して１つの検出器を構成する。特許文献１記載の装置は、判定画像の画像情報を検出器に入力させて、検出器を構成する同次判別器を直列順に実行させ、全ての同次判別器が検出対象物体を検出した場合のみ、判定画像情報から検出対象物体を検出したと判定する。ここで、特許文献１記載の装置は、検出器を構成する複数の同次判別器のうちの一つが判定画像情報に検出対象物体の特徴量が含まれていないと判定した場合には、当該同次判別器より後に行う処理を実行することなく、判定画像情報から検出対象物体を検出しないと判定する。
米国特許第７０９９５１０号公報
　しかしながら、特許文献１記載の装置にあっては、検出器を構成する同次判別器の検出精度が直列結合の終了に向かうに連れて段々と正確になるように構成しているため、検出処理の終了になるに従って同次判別器が判別する特徴量が増加する傾向にある。すなわち直列結合の後段になるほど個々の同次判別器の処理速度が低下するおそれがある。このため、特許文献１記載の装置にあっては、物体検出処理の速度が低下する場合がある。
　そこで、本発明はこのような技術課題を解決するためになされたものであって、物体検出処理の高速化を図ることができる物体検出装置及び物体検出方法を提供することを目的とする。
　すなわち、本発明の一態様である物体検出装置は、学習画像を用いて予め学習された対象物体の特徴量に基づいて、判定画像に描写された前記対象物体を検出する物体検出装置であって、前記対象物体の前記特徴量に基づいて、前記判定画像に前記対象物体が描写されている可能性を示す推定値をそれぞれ算出する複数の弱判別器と、複数の前記推定値に基づいて、前記判定画像に前記対象物体が描写されているか否かをそれぞれ異なる判別精度で判別する複数の強判別器と、判別精度が低い順に前記強判別器を実行させ、前記強判別器が前記判定画像に前記対象物体が描写されていると判別した場合には処理を継続し、前記強判別器が前記判定画像に前記対象物体が描写されていないと判別した場合には当該強判別器よりも判別精度が高い前記強判別器の実行を行うことなく前記対象物体を未検出とする検出器と、を備え、前記強判別器は、当該強判別器よりも判別精度の低い前記強判別器の判別結果を入力し、複数の前記推定値及び入力された判別結果に基づいて前記判定画像に前記対象物体が描写されているか否かを判別することを特徴として構成される。
　本発明の一態様である物体検出装置によれば、検出器を構成する強判別器が、当該強判別器よりも判別精度の低い強判別器の判別結果を入力し、入力された判別結果を用いて判定画像に対象物体が描写されているか否かを判別する。すなわち、この物体検出装置では、強判別器それぞれが独立して対象物体を判別するのではなく、強判別器それぞれが他の強判別器の判別結果を利用して対象物体を判別する。このように、強判別器が他の強判別器の判別結果を利用することで、強判別器それぞれが独立して対象物体を判別する場合に比べて、各強判別器が演算に用いる弱判別器の推定値の数を少なくすることができる。このため、検出器を構成する強判別器の検出精度が直列結合の終了に向かうに連れて段々と正確になるように構成した場合であっても、強判別器それぞれの処理速度を速めることが可能となる。よって、結果として判定画像に対象物体が描写されているか否かの判定を高速化することができる。
　ここで、前記強判別器は、複数の前記強判別器のうち当該強判別器よりも次に判別精度の低い前記強判別器の判別結果を入力してもよい。
　また、前記強判別器は、前記弱判別器の識別容易性の度合いを示す重みと当該弱判別器の推定値とを用いた重み付け投票の結果、及び入力された判別結果に基づいて前記判定画像に前記対象物体が描写されているか否かを判別してもよい。
　また、前記強判別器は、当該強判別器よりも判別精度の低い前記強判別器の判別結果として、前記弱判別器の識別容易性の度合いを示す重みと当該弱判別器の推定値とを用いた重み付け投票の結果を入力してもよい。
　さらに、複数の前記強判別器には、判別精度に応じた重みがそれぞれ付与されており、前記強判別器は、入力された重み付け投票の結果に入力元の前記強判別器の重みを積算し、積算された値を用いて前記判定画像に前記対象物体が描写されているか否かを判別してもよい。このように構成した場合には、他の強判別器の判別結果を反映する度合いが入力元の強判別器の重みに応じて変更される。このため、他の強判別器の判別結果を自己の判別に適切に反映することができるので、個々の強判別器の判別の精度を高めることが可能となる。
　また、本発明の一態様である物体検出方法は、対象物体の特徴量に基づいて判定画像に対象物体が描写されている可能性を示す推定値をそれぞれ算出する複数の弱判別器と、複数の前記推定値に基づいて前記判定画像に前記対象物体が描写されているか否かをそれぞれ異なる判別精度で判別する複数の強判別器とを備える物体検出装置の物体検出方法であって、複数の前記強判別器が判別精度の低い順に直列結合されて、判別精度の低い順に前記強判別器が判別を実行する実行ステップと、前記強判別器が、当該強判別器よりも判別精度の低い前記強判別器の判別結果を入力し、複数の前記推定値及び入力された判別結果に基づいて前記判定画像に前記対象物体が描写されているか否かを判別する判別ステップと、を含み、前記判別ステップにおいて、前記強判別器が前記判定画像に前記対象物体が描写されていると判別した場合には前記実行ステップを継続し、前記強判別器が前記判定画像に前記対象物体が描写されていないと判別した場合には前記実行ステップを中断することを特徴とする。
　また、前記判別ステップでは、前記強判別器が、複数の前記強判別器のうち当該強判別器よりも次に判別精度の低い前記強判別器の判別結果を入力してもよい。
　また、前記判別ステップでは、前記強判別器が、前記弱判別器の識別容易性の度合いを示す重みと当該弱判別器の推定値とを用いた重み付け投票の結果、及び入力された判別結果に基づいて前記判定画像に前記対象物体が描写されているか否かを判別してもよい。
　また、前記判別ステップでは、前記強判別器が、当該強判別器よりも判別精度の低い前記強判別器の判別結果として、前記弱判別器の識別容易性の度合いを示す重みと当該弱判別器の推定値とを用いた重み付け投票の結果を入力してもよい。
　さらに、複数の前記強判別器には、判別精度に応じた重みが付与されており、前記判別ステップでは、前記強判別器は、入力された重み付け投票の結果に入力元の前記強判別器の重みを積算し、積算された値を用いて前記判定画像に前記対象物体が描写されているか否かを判別してもよい。
　本発明の一態様である物体検出方法によれば、上述した本発明の一態様である物体検出装置と同様の効果を奏する。
　本発明の一態様である物体検出装置及び物体検出方法によれば、物体検出処理の高速化を図ることができる。
本発明の一態様である物体検出装置を搭載した携帯端末の機能ブロック図である。 本発明の一態様である物体検出装置が搭載される携帯端末のハードウェア構成図である。 本発明の一態様である物体検出装置が用いる特徴量の一例である。 図３に示す特徴量の一つを画像に当てはめた一例である。 本発明の一態様である物体検出装置の動作を説明するフローチャートである。 識別対象画像の分割を説明する概要図である。 本発明の一態様である物体検出装置の検出動作を説明する概要図である。 従来の物体検出装置の検出動作を説明する概要図である。
　以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
　本実施形態に係る物体検出装置は、画像情報に基づいて画像に描写された物体を検出（判別、識別）する装置であって、例えば、パーソナルコンピュータ、デジタルカメラ、携帯電話、ＰＤＡ（Personal Digital Assistant）等に好適に採用されるものである。本実施形態に係る物体検出装置は、検出処理の前に検出対象物体の特徴を学習しておき、学習した特徴に基づいて検出処理を行うものである。検出する対象物体としては、特に限定はないが、例えば人の顔等が用いられる。なお、以下では、説明理解の容易性を考慮し、本発明に係る物体検出装置の一例として、カメラ機能を備えた携帯端末に搭載される顔検出装置を説明する。
　図１は、本実施形態に係る顔検出装置１を備える携帯端末３の機能ブロック図である。図１に示す携帯端末３は、例えばユーザにより携帯される移動端末である。最初に、携帯端末３のハードウェア構成について説明する。図２は、携帯端末３のハードウェア構成図である。図２に示すように、携帯端末３は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末３及び顔検出装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末３のハードウェア構成として説明したが、顔検出装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末３は、通信モジュール等を備えてもよい。
　図１に示すように、携帯端末３は、カメラ３０、顔検出装置１、画像合成部３１及び表示部３２を備えている。カメラ３０は、画像を撮像する機能を有している。カメラ３０として、例えば撮像素子等が用いられる。カメラ３０は、撮像した画像を判定画像として顔検出装置１へ出力する機能を有している。画像合成部３１は、顔検出装置１の検出結果に基づいて、判定画像の顔部分を強調する記号又は囲いを判定画像に重ねた合成画像を生成する機能を有している。表示部３２は、画像合成部３１が生成した合成画像を表示する機能を有している。
　顔検出装置１は、判定画像入力部１０、画像領域分割部１１及び検出器２を備えている。判定画像入力部１０は、カメラ３０により撮像された画像を判定画像として入力する機能を有している。
　画像領域分割部１１は、判定画像入力部１０が入力した判定画像を所定の領域に分割する機能を有している。画像領域分割部１１は、判定画像の画像領域を所定の大きさの複数の小領域（いわゆるサブウィンドウ）に分割する機能を有している。このサブウィンドウの形状は、矩形であってもよいし他の形状であってもよい。サブウィンドウの位置は、重複するようにすることもできるし、重複しないようにすることも可能である。また、画像領域分割部１１は、このサブウィンドウを様々なサイズに倍率変更する。これにより、対象画像において処理対象となる範囲を変更することができる。倍率変更の方法は、従来の方法を採用することができる。
　検出器２は、画像領域分割部１１が分割したサブウィンドウを入力し、サブウィンドウに検出対象物体である顔が描写されているか否かを判定する機能を有している。すなわち、検出器２は、入力したサブウィンドウ内に表示される顔を検出する機能を有している。検出器２は、サブウィンドウの画像情報（輝度値等）及び矩形特徴（Rectangle features）に基づいて、顔が描写されているか否かを判定する。矩形特徴は、局所特徴の一種であり、例えばハールライク（Haar-like）特徴が用いられる。図３に矩形特徴の一例を示す。図３の（ａ）～（ｄ）では４種類の矩形特徴２０ａ～２０ｄを示している。図３の（ａ），（ｂ）に示す矩形特徴２０ａ，２０ｂは、顔のエッジ部に現れる特徴を抽出するものであり、図３の（ｃ），（ｄ）に示す矩形特徴２０ｃ，２０ｄは、顔の線部に現れる特徴を抽出するものである。各矩形特徴２０ａ～２０ｄは、白領域内の画素値（輝度値）の総和（又は平均輝度値）と、黒領域内の画素値の総和（又は平均輝度値）との差分で評価される。例えば、矩形特徴２０ａであれば、白領域２０ａ_Ｂ内の輝度値の総和と、黒領域２０ａ_Ａ内の輝度値の総和との差分で評価される。各矩形特徴２０ａ～２０ｄは、サブウィンドウ内の任意の位置に適用可能である。図４は、矩形特徴２０ｂをサブウィンドウＧｎに適用した例である。図４に示すように、サブウィンドウＧｎが検出器２に与えられると、検出器２は、矩形特徴２０ｂの白領域２０ｂ_Ｂ内の輝度値の総和と、黒領域２０ｂ_Ａ内の輝度値の総和との差分を算出する。人の顔４０は、アイラインを囲う黒領域２０ｂ_Ａがその下の頬、鼻、頬を囲う白領域２０ｂ_Ｂよりも暗いことが多い。検出器２は、予めこのような人の顔の特徴を学習しておき、算出した差分が予め学習された閾値よりも大きいか否かによって判別結果を決定する。
　検出器２は、このような処理を効率的に行うために、複数の弱判別器２０ｎ（ｎ：整数）を備えている。弱判別器２０ｎは、比較的判別能力の低い判別器であって、予め学習した顔の特徴がサブウィンドウ内に表示されている可能性を示す推定値を算出する機能を有している。弱判別器２０ｎは、上述した矩形特徴に対応して複数個用意され、対応する矩形特徴に関して白領域の輝度値の総和と黒領域の輝度値の総和との差分を算出し、差分と閾値との大小関係に基づいて、推定値である１又は０を出力する閾値関数である。例えば、弱判別器２０ｎは、以下の式１で表すことができる。
Figure JPOXMLDOC01-appb-M000001
 ここで、ｘは特徴量、ｆｊ（ｘ）は弱判別器２０ｎの関数である。すなわち、ｆ（ｘ）は、特徴量ｘに対応する矩形特徴を用いて白領域の輝度値の総和と黒領域の輝度値の総和との差分を算出する関数である。ｐｊ∈｛－１，１｝及び閾値Ｔｊは機械学習によって弱判別器２０ｎそれぞれに予め定められる定数である。差分ｆ（ｘ）が閾値Ｔｊより大きいとき（すなわちｐ＝１のとき）、あるいは、差分ｆ（ｘ）が閾値Ｔｊより小さいとき（すなわちｐ＝－１のとき）であれば、サブウィンドウに顔が表示されていると判定する。
　検出器２は、上記の弱判別器２０ｎを組み合わせて、判別精度が比較的高い強判別器２１ｍ（ｍ：整数）を構築する。強判別器２１ｍは、複数の弱判別器２０ｎにより算出された複数の推定値、及び弱判別器２０ｎのそれぞれに付与された重みに基づいて重み付け投票を行い、その結果を用いてサブウィンドウ内に顔が表示されているか否かを判定する機能を有している。重み付け投票に用いる弱判別器２０ｎの組合せ及び数は、強判別器２１ｍそれぞれによって異なる。このため、強判別器２１ｍそれぞれは、その判別精度がそれぞれ異なる。検出器２は、１つのサブウィンドウを複数の強判別器２１ｍで判別し、複数の強判別器２１ｍの判別結果に基づいて、最終的にサブウィンドウ内に顔が存在するか否かを判別する。
　弱判別器２０ｎのｐｊ∈｛－１，１｝及び閾値Ｔｊ、弱判別器２０ｎの重み、及び強判別器２１ｍが用いる弱判別器２０ｎの組合せは、例えばアダブーストアルゴリズム（AdaBoost Algorithm）により事前に学習される。アダブーストアルゴリズムは、機械学習法の一つであって、単純な識別方法では識別が困難な画像情報を、複数の単純な判別器の組合せにより識別できるように学習するアルゴリズムである。ベースとなる単純な判別器は、弱判別器２０ｎに対応する。また、アダブーストアルゴリズムにおける最終的な判別器は、強判別器２１ｍである。
　アダブーストアルゴリズムにおける学習方法の概要を説明する。まず、検出対象物体である顔が描写された顔画像の集合、検出対象物体である顔が描写されていない非顔画像の集合、及び弱判別器２０ｎの集合を用意する。そして、全ての弱判別器２０ｎのｐｊ，Ｔｊを顔画像の集合及び非顔画像の集合を用いて仮決定する。顔画像及び非顔画像それぞれに重みｋｊを用意して初期化する。この重みｋｊは判別における重要度を示すものであり、この重みｋｊが大きい画像ほど誤識別してはいけない重要な画像となる。その後、弱判別器２０ｎのｐｊ，Ｔｊを最適化して重み付き誤差を最小とし、弱判別器２０ｎの集合の中から重み付き誤差が最小のものを強判別器２１ｍで用いる弱判別器２０ｎとして採用する。その後、顔画像及び非顔画像の重みｋｊを更新する。このように重みｋｊは、弱判別器２０ｎが一つ選択される度に更新される。例えば、選択された弱判別器２０ｎがうまく識別できない学習画像の重みｋｊを大きくするように更新する。このため、上記処理の反復により、今まで識別が困難であった画像をさらに上手く識別することができる弱判別器２０ｎが選ばれやすくなる。そして、最終的には全ての学習画像を正しく識別できる弱判別器２０ｎの組合せが決定する。そして、弱判別器２０ｎごとに割り当てられた重みと、弱判別器２０ｎの関数ｈｊとを用いて重み付け投票を行う強判別器２１ｍが構成される。例えば、以下の式２で表す強判別器２１ｍがアダブースト学習により構築される。
Figure JPOXMLDOC01-appb-M000002
 式２において、弱判別器２０ｎがｈｊ（ｘ），強判別器２１ｍがＳ０に相当する。弱判別器２０ｎの重みｗｊは、投票力を意味し、弱判別器２０ｎの識別容易性の度合い（すなわち信頼度）を示すものである。この重みｗｊは、学習時の重み付き誤差に基づく誤り率を用いて算出される。例えば、正しい顔画像をほとんど顔と判定する弱判別器２０ｎの重みｗｊは大きく設定される。また、正しい顔画像をほとんど顔と判断しないような弱判別器２０ｎも、その判断を逆にすればよいだけであるので、重みｗｊは大きく設定される。また、θ０は例えば重みｗｊに基づいて学習時に算出される値であり、Ｓ０がθ０よりも大きい場合には、顔と判定される。ここで、Ｓ０が学習用の顔画像のＡ％以上を通過させ、かつ、学習用の非顔画像のＢ％未満を通過させるようになるまで、弱判別器２０ｎの選択・追加を行う。Ａ，Ｂは任意に設定可能である。このＡ，Ｂを変更することで、判別精度の異なる強判別器２１ｍを構築することができる。
　Ｓ０を作成した後に、次に判別精度の良い強判別器２１ｍであるＳ１を学習生成する。Ｓ１の学習では、Ｓ１がＳ０よりも判別精度が良くなるように、Ｓ０の学習時に比べてＡ，Ｂが厳しく設定される。また、Ｓ１の学習では、Ｓ０の判別結果を入力した状態で、弱判別器２０ｎの選択・追加を行う。この学習を繰り返すことで、以下の式３に示す強判別器Ｓｉ（ｉ：自然数）が生成される。
Figure JPOXMLDOC01-appb-M000003
 このように、強判別器２１ｍは、当該強判別器２１ｍよりも次に判別精度の低い強判別器２１ｍの判別結果を入力する形となる。ここで、Ｗｉは強判別器２１ｍのＳｉごとに設定された重みである。例えば、強判別器２１ｍの判別精度ごとに設定される。また、学習時において、判別精度の低い強判別器２１ｍの判別結果を入力した状態で弱判別器２０ｎの選択・追加を行うことにより、一から弱判別器２０ｎを選択して判別精度のより高い強判別器２１ｍを構築する場合に比べて、選択・追加する弱判別器２０ｎの数を抑えることができる。
　検出器２は、生成した強判別器２１ｍであるＳ０及びＳｉを直列的に実行するために、線形結合する。線形結合した個々の強判別器２１ｍは、ステージとも呼ぶ。このとき、各強判別器２１ｍは、線形結合の最後になるほど判別精度が高くなるように並べて結合される。検出器２は、サブウィンドウを入力すると、線形結合した強判別器２１ｍを順次実行させる。検出器２は、強判別器２１ｍが顔を検出した場合には、次に判別精度の高い強判別器２１ｍに検出処理を実行させ、強判別器２１ｍが顔を検出しない場合には、当該強判別器２１ｍよりも判別精度の高い強判別器２１ｍが登場する以降の処理は行わない。また、最初のステージを除いて、強判別器２１ｍそれぞれは、当該強判別器２１ｍの次に判別精度の低い強判別器２１ｍの判別結果を入力して、自己の検出処理を行う。
　次に、顔検出装置１の動作を説明する。図５は、顔検出装置１の動作を示すフローチャートである。図５に示す処理は、例えば携帯端末３のカメラ機能をＯＮしたタイミングで実行され、所定の周期で繰り返し実行される。なお、図５に示すＳ１０～Ｓ１６の処理は、顔検出装置１が実行し、Ｓ１８～Ｓ２２の処理は携帯端末３が実行する。
　図５に示すように、最初に判定画像入力部１０が判定画像を入力する（Ｓ１０）。図６は、判定画像Ｆの一例を示すものである。次に、画像領域分割部１１が、Ｓ１０の処理で入力された判定画像の積分画像（integral image）を生成する（Ｓ１２）。そして、図６に示すように、画像領域分割部１１が、判定画像Ｆを走査して複数のサブウィンドウＧｎを生成する（Ｓ１４）。次に、検出器２が、生成したサブウィンドウＧｎの一つを選択して、顔検出処理を行う（Ｓ１６）。Ｓ１６の処理の概要を図７に示す。図７に示すように、検出器２は、強判別器２１ｍであるＳ１～Ｓｎを判別精度の低い順に直列的に実行させる。Ｓ１～Ｓｎは、同一のサブウィンドウＧｎに対して処理を行う。検出器２は、各ステージにおいて、顔でないと判別した場合には、その時点で処理を終了し、顔であると判別した場合には、処理を継続する。図中矢印で示すように、Ｓ２～Ｓｎは、前段のステージの結果を入力して顔であるか否かを判別する。そして、検出器２は、全てのステージを通過したサブウィンドウＧｎには顔が描写されていると判別する。検出器２は、上記処理を全てのサブウィンドウＧｎに対して実行する。Ｓ１６の処理が終了すると、判定処理へ移行する（Ｓ１８）。
　Ｓ１８の処理では、画像合成部３１が、Ｓ１６の処理で顔を検出したか否かを判定する処理である。画像合成部３１が、Ｓ１６の処理で顔を検出したと判定した場合には、サブウィンドウＧｎの位置を強調した合成画像を生成する（Ｓ２０）。そして、表示部３２が合成画像を表示する（Ｓ２２）。一方、Ｓ１８の処理において、画像合成部３１が、Ｓ１６の処理で顔を検出していないと判定した場合には、判定画像をそのまま表示する（Ｓ２２）。Ｓ２２の処理が終了すると、図５に示す制御処理を終了する。
　図５に示す制御処理を実行することで、判定画像Ｆが入力・分割されてサブウィンドウＧｎが生成され、サブウィンドウＧｎが各ステージにおいて顔を表示しているか否かを、前段のステージの結果を踏まえて判断される。このように、前段のステージの判別結果が後段のステージに受け継がれるので、後段のステージでは一からサブウィンドウＧｎを評価する必要がなくなる。また、後段のステージになるほど検出精度を向上させる必要があるが、前段のステージの判別結果を入力するので、少ない矩形特徴の追加で検出精度を向上させることができる。このため、後段のステージに発生する処理時間の増大を抑制することができる。
　ここで、本実施形態に係る顔検出装置１の作用効果を説明するために、図８を用いて従来技術を説明する。図８に示すように、従来の顔検出装置では、サブウィンドウＧｎを判別する検出器が、強判別器であるＳ１～Ｓｎを判別精度の低い順に直列的に実行させる。この従来の顔検出装置においては、Ｓ１～Ｓｎは全て独立に機能するため、各ステージで用いる矩形特徴が後段になるに従って複雑化し、結果として、各ステージにおける演算処理量も後段になるに従って増加する。さらに、あるステージまでの強判別器で十分な結果が出ていても、その後のステージ１つの結果によって拒絶されるため、検出精度が低下する可能性がある。
　これに対して、実施形態に係る顔検出装置１によれば、検出器２を構成する強判別器２１ｍが、当該強判別器２１ｍよりも判別精度の低い強判別器２１ｍの判別結果を入力し、入力された判別結果を用いて判定画像に顔４０が描写されているか否かを判別する。すなわち、この顔検出装置１では、強判別器２１ｍそれぞれが独立して顔４０を判別するのではなく、強判別器２１ｍそれぞれが他の強判別器２１ｍの判別結果を利用して顔４０を判別する。このように、強判別器２１ｍが他の強判別器２１ｍの判別結果を利用することができるので、強判別器２１ｍそれぞれが独立して顔４０を判別する場合に比べて、当該強判別器２１ｍが用いる弱判別器２０ｎの推定値の数を減らすことができる。このため、検出器２を構成する強判別器２１ｍの検出精度が直列結合の終了に向かうに連れて段々と正確になるように構成した場合であっても、強判別器２１ｍそれぞれの処理速度を速めることが可能となる。よって、結果として判定画像に顔４０が描写されているか否かの判定を高速化することができる。さらに、各強識別器は、前段までのステージの結果を反映させて判別するので、積み重ねた情報で判別することができる。このため、結果として検出精度を向上させることができる。
　また、実施形態に係る顔検出装置１によれば、検出器２は、入力された重み付け投票の結果Ｓｉ－１に入力元の強判別器２１ｍの重みＷｉ－１を積算し、積算された値を用いて判定画像に顔４０が描写されているか否かを判別することができる。このため、他の強判別器２１ｍの判別結果を自己の判別に適切に反映することができるので、個々の強判別器２１ｍの判別の精度を高めることが可能となる。
　なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、実施形態に係る物体検出装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、各実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。
　例えば、上述した実施形態では、アダブーストアルゴリズムを用いて学習する例を説明したが、これに限られるものではない。また、上述した実施形態では、携帯端末３に顔検出装置１を適用する例を説明したが、これに限られるものではない。さらに、上述した実施形態では、物体検出装置が、カメラ３０からの画像を入力して検出処理を行う例を説明したが、物体検出装置の入力画像はこれに限られるものではない。例えば、通信を介して取得した画像であってもよいし、記憶媒体に格納された画像であってもよい。
　１…物体検出装置、２…検出器、２０ｎ…弱判別器、２１ｍ…強判別器。

Claims (10)

  1. 　学習画像を用いて予め学習された対象物体の特徴量に基づいて、判定画像に描写された前記対象物体を検出する物体検出装置であって、
    　前記対象物体の前記特徴量に基づいて、前記判定画像に前記対象物体が描写されている可能性を示す推定値をそれぞれ算出する複数の弱判別器と、
    　複数の前記推定値に基づいて、前記判定画像に前記対象物体が描写されているか否かをそれぞれ異なる判別精度で判別する複数の強判別器と、
    　判別精度が低い順に前記強判別器を実行させ、前記強判別器が前記判定画像に前記対象物体が描写されていると判別した場合には処理を継続し、前記強判別器が前記判定画像に前記対象物体が描写されていないと判別した場合には当該強判別器よりも判別精度が高い前記強判別器の実行を行うことなく前記対象物体を未検出とする検出器と、
    を備え、
    　前記強判別器は、当該強判別器よりも判別精度の低い前記強判別器の判別結果を入力し、複数の前記推定値及び入力された判別結果に基づいて前記判定画像に前記対象物体が描写されているか否かを判別すること、
    を特徴とする物体検出装置。
  2. 　前記強判別器は、複数の前記強判別器のうち当該強判別器よりも次に判別精度の低い前記強判別器の判別結果を入力する請求項１に記載の物体検出装置。
  3. 　前記強判別器は、前記弱判別器の識別容易性の度合いを示す重みと当該弱判別器の推定値とを用いた重み付け投票の結果、及び入力された判別結果に基づいて前記判定画像に前記対象物体が描写されているか否かを判別する請求項１又は２に記載の物体検出装置。
  4. 　前記強判別器は、当該強判別器よりも判別精度の低い前記強判別器の判別結果として、前記弱判別器の識別容易性の度合いを示す重みと当該弱判別器の推定値とを用いた重み付け投票の結果を入力する請求項１～３の何れか一項に記載の物体検出装置。
  5. 　複数の前記強判別器には、判別精度に応じた重みがそれぞれ付与されており、
    　前記強判別器は、入力された重み付け投票の結果に入力元の前記強判別器の重みを積算し、積算された値を用いて前記判定画像に前記対象物体が描写されているか否かを判別する請求項４に記載の物体検出装置。
  6. 　対象物体の特徴量に基づいて判定画像に対象物体が描写されている可能性を示す推定値をそれぞれ算出する複数の弱判別器と、複数の前記推定値に基づいて前記判定画像に前記対象物体が描写されているか否かをそれぞれ異なる判別精度で判別する複数の強判別器とを備える物体検出装置の物体検出方法であって、
    　複数の前記強判別器が判別精度の低い順に直列結合されて、判別精度の低い順に前記強判別器が判別を実行する実行ステップと、
    　前記強判別器が、当該強判別器よりも判別精度の低い前記強判別器の判別結果を入力し、複数の前記推定値及び入力された判別結果に基づいて前記判定画像に前記対象物体が描写されているか否かを判別する判別ステップと、
    を含み、
    　前記判別ステップにおいて、前記強判別器が前記判定画像に前記対象物体が描写されていると判別した場合には前記実行ステップを継続し、前記強判別器が前記判定画像に前記対象物体が描写されていないと判別した場合には前記実行ステップを中断すること、
    を特徴とする物体検出方法。
  7. 　前記判別ステップでは、前記強判別器が、複数の前記強判別器のうち当該強判別器よりも次に判別精度の低い前記強判別器の判別結果を入力する請求項6に記載の物体検出方法。
  8. 　前記判別ステップでは、前記強判別器が、前記弱判別器の識別容易性の度合いを示す重みと当該弱判別器の推定値とを用いた重み付け投票の結果、及び入力された判別結果に基づいて前記判定画像に前記対象物体が描写されているか否かを判別する請求項６又は７に記載の物体検出方法。
  9. 　前記判別ステップでは、前記強判別器が、当該強判別器よりも判別精度の低い前記強判別器の判別結果として、前記弱判別器の識別容易性の度合いを示す重みと当該弱判別器の推定値とを用いた重み付け投票の結果を入力する請求項６～８の何れか一項に記載の物体検出方法。
  10. 　複数の前記強判別器には、判別精度に応じた重みが付与されており、
    　前記判別ステップでは、前記強判別器は、入力された重み付け投票の結果に入力元の前記強判別器の重みを積算し、積算された値を用いて前記判定画像に前記対象物体が描写されているか否かを判別する請求項9に記載の物体検出方法。
PCT/JP2010/051355 2010-02-01 2010-02-01 物体検出装置及び物体検出方法 WO2011092865A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010513549A JP4806101B2 (ja) 2010-02-01 2010-02-01 物体検出装置及び物体検出方法
PCT/JP2010/051355 WO2011092865A1 (ja) 2010-02-01 2010-02-01 物体検出装置及び物体検出方法
US12/742,869 US8693791B2 (en) 2010-02-01 2010-02-01 Object detection apparatus and object detection method
EP10714836A EP2397989A1 (en) 2010-02-01 2010-02-01 Object detection device and object detection method
CN2010800008446A CN102216958A (zh) 2010-02-01 2010-02-01 物体检测装置以及物体检测方法
US14/179,041 US20140161364A1 (en) 2010-02-01 2014-02-12 Object detection apparatus and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/051355 WO2011092865A1 (ja) 2010-02-01 2010-02-01 物体検出装置及び物体検出方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US12/742,869 A-371-Of-International US8693791B2 (en) 2010-02-01 2010-02-01 Object detection apparatus and object detection method
US14/179,041 Continuation US20140161364A1 (en) 2010-02-01 2014-02-12 Object detection apparatus and object detection method

Publications (1)

Publication Number Publication Date
WO2011092865A1 true WO2011092865A1 (ja) 2011-08-04

Family

ID=44318872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/051355 WO2011092865A1 (ja) 2010-02-01 2010-02-01 物体検出装置及び物体検出方法

Country Status (5)

Country Link
US (2) US8693791B2 (ja)
EP (1) EP2397989A1 (ja)
JP (1) JP4806101B2 (ja)
CN (1) CN102216958A (ja)
WO (1) WO2011092865A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014530424A (ja) * 2011-09-27 2014-11-17 インテル・コーポレーション Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して顔特徴点の位置を検出するための方法、装置、およびコンピュータ可読記録媒体
JP2015187759A (ja) * 2014-03-26 2015-10-29 キヤノン株式会社 画像検索装置、画像検索方法
CN112686209A (zh) * 2021-01-25 2021-04-20 深圳市艾为智能有限公司 基于车轮识别的车后盲区监测方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068948A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 顔属性推定装置およびその方法
US9449259B1 (en) * 2012-07-25 2016-09-20 Hrl Laboratories, Llc Opportunistic cascade and cascade training, evaluation, and execution for vision-based object detection
CN103577789B (zh) * 2012-07-26 2018-02-13 中兴通讯股份有限公司 检测方法和装置
US9317768B2 (en) * 2012-09-25 2016-04-19 Intel Corporation Techniques for improved feature detection
JP6111796B2 (ja) * 2013-03-28 2017-04-12 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
WO2018119684A1 (zh) * 2016-12-27 2018-07-05 深圳前海达闼云端智能科技有限公司 一种图像识别系统及图像识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP2006268825A (ja) * 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
WO2008026414A1 (fr) * 2006-08-31 2008-03-06 Osaka Prefecture University Public Corporation Procédé de reconnaissance d'image, dispositif de reconnaissance d'image et programme de reconnaissance d'image
JP2009087209A (ja) * 2007-10-02 2009-04-23 Sony Corp 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
JP2009116401A (ja) * 2007-11-01 2009-05-28 Canon Inc 画像処理装置および画像処理方法
JP2009151395A (ja) * 2007-12-18 2009-07-09 Canon Inc パターン識別器生成方法、情報処理装置、コンピュータプログラム及び記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769228B2 (en) * 2004-05-10 2010-08-03 Siemens Corporation Method for combining boosted classifiers for efficient multi-class object detection
JP4767595B2 (ja) 2005-06-15 2011-09-07 パナソニック株式会社 対象物検出装置及びその学習装置
KR100813167B1 (ko) * 2006-06-09 2008-03-17 삼성전자주식회사 고속 정확한 얼굴 검출 방법과 얼굴 검출 학습 방법 및이를 구현하는 시스템
JP4980988B2 (ja) 2008-06-13 2012-07-18 トヨタ自動車株式会社 運転者状態推定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP2006268825A (ja) * 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
WO2008026414A1 (fr) * 2006-08-31 2008-03-06 Osaka Prefecture University Public Corporation Procédé de reconnaissance d'image, dispositif de reconnaissance d'image et programme de reconnaissance d'image
JP2009087209A (ja) * 2007-10-02 2009-04-23 Sony Corp 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
JP2009116401A (ja) * 2007-11-01 2009-05-28 Canon Inc 画像処理装置および画像処理方法
JP2009151395A (ja) * 2007-12-18 2009-07-09 Canon Inc パターン識別器生成方法、情報処理装置、コンピュータプログラム及び記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014530424A (ja) * 2011-09-27 2014-11-17 インテル・コーポレーション Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して顔特徴点の位置を検出するための方法、装置、およびコンピュータ可読記録媒体
US9202109B2 (en) 2011-09-27 2015-12-01 Intel Corporation Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
JP2016001492A (ja) * 2011-09-27 2016-01-07 インテル・コーポレーション Ａｄａｂｏｏｓｔ学習アルゴリズムを使用して顔特徴点の位置を検出するための方法、装置、およびコンピュータ可読記録媒体
US9563821B2 (en) 2011-09-27 2017-02-07 Intel Corporation Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
JP2015187759A (ja) * 2014-03-26 2015-10-29 キヤノン株式会社 画像検索装置、画像検索方法
CN112686209A (zh) * 2021-01-25 2021-04-20 深圳市艾为智能有限公司 基于车轮识别的车后盲区监测方法

Also Published As

Publication number Publication date
US8693791B2 (en) 2014-04-08
US20140161364A1 (en) 2014-06-12
CN102216958A (zh) 2011-10-12
JPWO2011092865A1 (ja) 2013-05-30
JP4806101B2 (ja) 2011-11-02
US20120020514A1 (en) 2012-01-26
EP2397989A1 (en) 2011-12-21

Similar Documents

Publication Publication Date Title
JP4806101B2 (ja) 物体検出装置及び物体検出方法
JP4657934B2 (ja) 顔検出方法および装置並びにプログラム
US7881494B2 (en) Characteristic point detection of target object included in an image
JP4712563B2 (ja) 顔検出方法および装置並びにプログラム
JP4933186B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4517633B2 (ja) 対象物検出装置及び方法
US9202109B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
JP4553044B2 (ja) 集団学習装置及び方法
US20080175447A1 (en) Face view determining apparatus and method, and face detection apparatus and method employing the same
WO2014074959A1 (en) Real-time face detection using pixel pairs
JP6852779B2 (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
JP4795864B2 (ja) 特徴点検出装置および方法並びにプログラム
WO2012046426A1 (ja) 物体検出装置、物体検出方法および物体検出プログラム
JP4624889B2 (ja) 顔検出方法および装置並びにプログラム
JP4588575B2 (ja) デジタル画像の複数対象物検出方法および装置並びにプログラム
JP2007094633A (ja) 顔検出装置ならびにプログラム
US7643674B2 (en) Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
JP4749884B2 (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
Hassan et al. Facial image detection based on the Viola-Jones algorithm for gender recognition
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
JP7509212B2 (ja) 情報処理システム、情報処理方法、及びコンピュータプログラム
JP2011170890A (ja) 顔検出方法および装置並びにプログラム
JP2007108990A (ja) 顔検出方法および装置並びにプログラム
JP2007323104A (ja) 目の状態判別方法および装置ならびにプログラム
JP4795737B2 (ja) 顔検出方法および装置並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080000844.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010513549

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2010714836

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12742869

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10714836

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE