[go: up one dir, main page]

WO2019038821A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2019038821A1
WO2019038821A1 PCT/JP2017/029884 JP2017029884W WO2019038821A1 WO 2019038821 A1 WO2019038821 A1 WO 2019038821A1 JP 2017029884 W JP2017029884 W JP 2017029884W WO 2019038821 A1 WO2019038821 A1 WO 2019038821A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image data
feature
image
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/029884
Other languages
English (en)
French (fr)
Inventor
守屋　芳美
直大 澁谷
杉本　和夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to PCT/JP2017/029884 priority Critical patent/WO2019038821A1/ja
Priority to SG11202000383SA priority patent/SG11202000383SA/en
Priority to CN201780093880.3A priority patent/CN111033564B/zh
Priority to US16/635,969 priority patent/US11200683B2/en
Priority to JP2018525481A priority patent/JP6407493B1/ja
Priority to KR1020207004231A priority patent/KR102150847B1/ko
Priority to GB2002056.6A priority patent/GB2579736C/en
Priority to TW107102185A priority patent/TW201913568A/zh
Publication of WO2019038821A1 publication Critical patent/WO2019038821A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to an image processing technique for analyzing whether an object photographed by a plurality of cameras is the same object.
  • Non-Patent Document 2 feature extraction is performed from a human image using a neural network, and it is determined whether a pair of human images is the same person using vectors of feature amounts generated by the neural network.
  • Non-Patent Document 1 it is determined whether the same person is the same person by comparing pairs of human images of still images.
  • a sequence of person images is identified from a moving image taken by a surveillance camera, and a sequence of identified person images and a sequence of person images of a moving image taken by another surveillance camera It is necessary to determine whether the person is the same person or not.
  • Non-Patent Document 3 discloses a conventional method for estimating the same object from moving images.
  • the present invention it is possible to determine whether the objects are identical among the images captured by a plurality of cameras, in a manner robust to changes in feature amounts due to background or occlusion.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1.
  • FIG. 7 is a diagram showing an example of an image recognition result of the image processing apparatus according to the first embodiment.
  • FIG. 3A and FIG. 3B are diagrams showing an example of the hardware configuration of the image processing apparatus according to the first embodiment.
  • 5 is a flowchart showing an operation of image recognition processing of the image processing apparatus according to Embodiment 1; 5 is a flowchart showing an operation of image matching processing of the image processing apparatus according to Embodiment 1; 6A and 6B are diagrams showing an example of image data of a person tracked as an object in the matching process of the image processing apparatus according to the first embodiment.
  • FIG. 1 is a block diagram showing the configuration of an image processing system provided with the image processing apparatus 100 according to the first embodiment.
  • the image processing system the network camera NC 1, NC 2 of n number (n is an integer of 1 or more), ..., and NC n, these network camera NC 1, NC 2, ..., NC n
  • the image processing apparatus 100 that receives the still image data or the moving image stream distributed from each of the above through the communication network NW.
  • the image processing apparatus 100, network camera NC 1, NC 2, ..., still image data or moving image data received from the NC n (hereinafter, collectively referred to as image data) performing image analysis on.
  • the image processing apparatus 100 stores spatial, geographical or temporal descriptors indicating the result of image analysis in association with the image.
  • Each network camera NC is configured by an imaging unit (not shown) that images a subject, and a transmission unit (not shown) that transmits the output of the imaging unit toward the image processing apparatus 100 on the communication network NW.
  • the imaging unit compresses and encodes an imaging optical system that forms an optical image of a subject, a solid-state imaging device that converts the formed optical image into an electrical signal, and the converted electrical signal as still image data or moving image data.
  • an encoder circuit for example, a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) element may be used.
  • CCD charge-coupled device
  • CMOS complementary metal-oxide semiconductor
  • a compression-coded moving image stream is generated according to a Real-time Transport Protocol / Real Time Streaming Protocol (RTP), MPEG Media Transport (MMT) or Dynamic Adaptive Streaming over HTTP (DASH) streaming method.
  • RTP Real-time Transport Protocol
  • MMT MPEG Media Transport
  • DASH Dynamic Adaptive Streaming over HTTP
  • the streaming method used in the present embodiment is not limited to MPEG-2 TS, RTP / RTSP, MMT or DASH. However, in any streaming method, it is assumed that identifier information capable of uniquely separating moving image data contained in a moving image stream by the image processing apparatus 100 is multiplexed in the moving image stream.
  • the image processing apparatus 100 includes a receiving unit 101, a decoding unit 102, an image recognition unit 103, a descriptor generation unit 104, a data recording control unit 105, a storage 106, an interface unit 107, and an image comparison unit 108.
  • the receiving unit 101 receives distribution data from the network cameras NC 1 , NC 2 ,..., NC n , and separates image data from the received distribution data.
  • the image data includes still image data or a moving image stream.
  • the receiving unit 101 outputs the separated image data to the decoding unit 102.
  • the visual feature quantities of the object are feature quantities such as the color of the object, the texture of the object, the shape of the object, the movement of the object, and the face in the object.
  • the object detection unit 103a also outputs the image data to the object tracking unit 103b.
  • FIG. 2 is a diagram showing an example of an image recognition result of the image recognition process of the image processing apparatus 100 according to the first embodiment.
  • FIG. 2 shows the case where the image processing apparatus 100 receives distribution data from two network cameras NC 1 and NC 2 that capture the area Xa and the area Xb. Further, FIG. 2 shows the result of tracking the movement of three persons of the person indicated by the object A, the person indicated by the object B, and the person indicated by the object C among the delivery data. .
  • Object detection unit 103a the image data of the network camera NC 1 decoded to detect the object A1a.
  • the object detection unit 103 a detects an object A 1 b from the next image data of the network camera NC 1 .
  • the object detection unit 103a detects an object A1c in the following image data of the network camera NC 1.
  • the object detection unit 103a continuously performs the above-described detection process to detect an object A1g from the object A1a.
  • the object detection unit 103a from the image data of the network camera NC 2 decoded to detect an object Ce object A2c from the object A2a, from the object Ba from the object Bg and object Ca.
  • the object detection unit 103a acquires visual feature amounts, position information, shooting time and the like of all detected objects (A1a to A1g, A2a to A2c, Ba to Bg, Ca to Ce).
  • the object tracking unit 103b refers to the detection result of the object input from the object detection unit 103a, and tracks the detected object in the time direction.
  • the object tracking unit 103b compares the detection results of the object detected by the object detection unit 103a between one image data and a plurality of temporally consecutive image data. Do tracking.
  • the object tracking unit 103 b outputs the motion information (optical flow) of the object, which is the tracking result of the object, to the descriptor generation unit 104. For example, when the object to be tracked is a person, the same person photographed by one network camera is tracked.
  • FIG. 2 shows a specific example where the object to be tracked is a person.
  • the object tracking unit 103b tracks objects A1 (A1a to A1g) having the same feature among the image data obtained by imaging the region Xa.
  • the object tracking unit 103b tracks objects A2 (A2a to A2c), objects B (Ba to Bg), and objects C (Ca to Ce) having the same features among the image data obtained by imaging the area Xb.
  • the object tracking unit 103b captures, as motion information of the objects A1, A2, B, and C, for example, the objects A2, B, and C capture the region Xb while the object A1 appears in the image data obtained by capturing the region Xa.
  • Information indicating the motion of the objects A1, A2, B, and C, which has appeared in the image data is output to the descriptor generation unit 104.
  • the descriptor generation unit 104 generates a spatial descriptor, a geographical descriptor, and a time based on the detection result of the object input from the object detection unit 103a and the motion information of the object input from the object tracking unit 103b. Generate a descriptor that indicates a specific descriptor or a combination of these. Specifically, the descriptor generation unit 104 converts an object detection result and an object tracking result into a feature descriptor according to a predetermined format.
  • the feature descriptor includes the number of objects detected by the object detection unit 103a, the visual feature amount of each object, the position information of each object, the shooting time of each object, and the like. Also, the feature descriptor includes an identifier indicating that the object is the same object tracked in the time direction.
  • FIG. 1 shows a configuration in which the image processing apparatus 100 includes the storage 106
  • the image processing apparatus 100 may be configured such that the data recording control unit 105 accesses one or more network storage devices (not shown) disposed on the communication network NW, instead of the storage 106.
  • the data recording control unit 105 can store the image data and the feature descriptor in an external network storage device, and can build a database outside the image processing apparatus 100.
  • the external device 200 accesses a database in the storage 106 via the interface unit 107.
  • the search condition is area information to be searched, time information to be searched, a type of an object to be searched, or a determination time of an object to be searched.
  • the search condition for example, a condition instructing to search for an object for which the time traced as the same object in a certain network camera NC exceeds a predetermined time, or an area preset in the network camera NC For example, there is a condition for instructing detection of an object having position information corresponding to the entry prohibited area).
  • the image comparison unit 108 includes an image search unit 108 a, a feature extraction unit 108 b, and a determination unit 108 c.
  • the image search unit 108 a accesses the storage 106 and searches for an object that matches the search condition set by the external device 200.
  • the image search unit 108a narrows down a set of objects to be matched (hereinafter referred to as an object pair) with respect to objects matching the search condition.
  • the object pair to be matched is a combination of objects respectively present in image data obtained by imaging different regions.
  • the object pair narrowing is performed in consideration of the appearance time of the object, the movement trajectory of the object, and the walking time of a preset general person.
  • the image search unit 108 a outputs the image data of the object obtained by the search and the narrowing down of the object pair and the feature descriptor to the feature extraction unit 108 b.
  • the image search unit 108a searches, for example, an object A1, an object A2, an object B, and an object C as objects matching the search condition. Furthermore, the image search unit 108a narrows down the object pairs imaged by different network cameras NC, and excludes the object B having a movement direction different from that of the object A1 from the objects.
  • the image search unit 108 a outputs the image data and the feature descriptor of the searched object A 1, object A 2 and object C to the feature extraction unit 108 b.
  • the feature extraction unit 108 b performs clustering using a feature amount among a plurality of image data of each object, using the image data and the description data of the object input from the image search unit 108 a.
  • the feature extraction unit 108 b defines the largest number of images included in a cluster as a cluster that characterizes an object as a result of clustering.
  • the feature extraction unit 108 b extracts feature amounts used for object matching from the image data included in the defined cluster.
  • the feature extraction unit 108 b extracts feature amounts used for object matching, for example, by the same method as the method disclosed in Non-Patent Document 1 or Non-Patent Document 2 described above.
  • the feature quantities obtained by the method disclosed in Non-Patent Document 1 or Non-Patent Document 2 are all N-dimensional vector data.
  • the feature extraction unit 108 b averages the N-dimensional vector data of all the image data included in the cluster or vector data indicating the maximum value To extract one feature quantity for the cluster.
  • the feature extraction unit 108 b outputs the extracted feature amount to the determination unit 108 c.
  • the determination unit 108 c compares the feature amounts of the objects constituting the object pair among the feature amounts input from the feature extraction unit 108 b, and determines whether the objects are the same.
  • the determination unit 108 c records the determination result as a descriptor in a buffer (not shown) or the like, and outputs the determination result to the external device 200 via the interface unit 107.
  • the determination unit 108c compares the feature quantities of the object A1 and the object A2, which are object pairs captured by different network cameras NC, and compares the feature quantities of the object A1 and the object C. Do.
  • the determination unit 108c determines that the feature amounts of the object A1 and the object A2 are the same. Further, the determination unit 108c determines that the feature amount of the object A1 and the feature amount of the object C are not the same.
  • FIG. 3A and FIG. 3B are diagrams showing an example of the hardware configuration of the image processing apparatus 100.
  • Each function of the reception unit 101, the decoding unit 102, the image recognition unit 103, the descriptor generation unit 104, the data recording control unit 105, the interface unit 107, and the image comparison unit 108 in the image processing apparatus 100 is realized by a processing circuit. That is, the image processing apparatus 100 includes a processing circuit for realizing the above-described functions.
  • the processing circuit may be the processing circuit 100a which is dedicated hardware as shown in FIG. 3A, or may be the processor 100b which executes a program stored in the memory 100c as shown in FIG. 3B. Good.
  • the circuit 100a corresponds to, for example, a single circuit, a complex circuit, a programmed processor, a parallel programmed processor, an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA), or a combination thereof. .
  • the functions of the reception unit 101, the decoding unit 102, the image recognition unit 103, the descriptor generation unit 104, the data recording control unit 105, the interface unit 107, and the image comparison unit 108 may be realized by processing circuits, or The functions of may be realized collectively by one processing circuit.
  • the receiving unit 101, the decoding unit 102, the image recognition unit 103, the descriptor generation unit 104, the data recording control unit 105, the interface unit 107, and the image comparison unit 108 when executed by the processor 100b, will be described later.
  • These programs cause the computer to execute the procedure or method of the receiving unit 101, the decoding unit 102, the image recognition unit 103, the descriptor generation unit 104, the data recording control unit 105, the interface unit 107, and the image comparison unit 108. It can be said that
  • the processing circuit 100a in the image processing apparatus 100 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • the object detection unit 103a acquires the visual feature amount of the detected object, position information, shooting time, and the like (step ST5).
  • the object detection unit 103a outputs the detected image data of the object, the acquired visual feature amount of the object, the position information, the photographing time, and the like to the object tracking unit 103b and the descriptor generation unit 104 as a detection result.
  • the determination unit 108c compares the feature amounts extracted in step ST27, and determines whether the objects forming the object pair are identical to each other (step ST28).
  • the determination unit 108 c stores the determination result of step ST 28 in a buffer or the like, outputs the determination result to the external device 200 via the interface unit 107 (step ST 29), and ends the process.
  • the image search unit 108a reads the image data and the descriptor data of the object A1, the object A2 and the object C from the storage 106.
  • the feature extraction unit 108b performs clustering using the feature amount of the object A1, clustering using the feature amount of the object A2, and clustering using the feature amount of the object C.
  • the feature extraction unit 108b defines a cluster for each of the object A1, the object A2, and the object C.
  • the feature extraction unit 108b extracts feature amounts from the image data in the defined cluster.
  • an object detection unit 103a that analyzes image data to detect an object appearing in the image data
  • an object tracking unit 103b that tracks the detected object in the time direction.
  • the descriptor generation unit 104 that generates a feature descriptor of the object, the generated feature descriptor, and the image data of the object corresponding to the feature descriptor
  • the data recording control unit 105, and an image search unit 108a for searching an object that meets a set search condition from the database and that forms a set of objects appearing in image data obtained by imaging different areas.
  • the image processing apparatus is suitable, for example, for use in an object recognition system including a surveillance system, or an image search system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

画像データに現れるオブジェクトを検出するオブジェクト検出部（１０３ａ）と、検出されたオブジェクトを時間方向に追跡するオブジェクト追跡部（１０３ｂ）と、オブジェクトの検出結果と追跡結果とに基づいて、オブジェクトの特徴記述子を生成する記述子生成部（１０４）と、生成された特徴記述子と、当該特徴記述子に対応したオブジェクトの画像データとからデータベースを構成するデータ記録制御部（１０５）と、データベースから検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した画像データに現れるオブジェクトの組を構成するオブジェクトを検索する画像検索部（１０８ａ）と、検索されたオブジェクトの画像データおよび特徴記述子から、照合に用いる特徴量を抽出する特徴抽出部（１０８ｂ）と、抽出された特徴量の照合を行い、オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行う判定部（１０８ｃ）とを備える。

Description

画像処理装置および画像処理方法
　この発明は、複数のカメラで撮影されたオブジェクトが同一のオブジェクトであるか解析を行う画像処理技術に関するものである。
　複数のカメラにまたがって撮影されたオブジェクトが、同一のオブジェクトであるかどうかを推定する従来の方法が、例えば非特許文献１および非特許文献２に開示されている。
　非特許文献１では、人物画像を含む矩形領域をサブウィンドウに分割し、分割したサブウィンドウごとに色のヒストグラムとテクスチャのヒストグラムとを特徴量として生成する。さらに、同一人物かどうかのラベルが付与されている学習用の人物画像を集めたデータセットを用意し、学習用の人物画像から上述した特徴量のベクトルを生成し、距離学習を行う。距離学習では、同一の人物画像のペアの特徴量のベクトルの距離が小さくなるように重みパラメータの学習を行い、同一でない人物画像のペアの特徴量のベクトルの距離は大きくなるように重みパラメータの学習を行っている。
　非特許文献２では、人物画像からニューラルネットワークを用いて特徴抽出を行い、ニューラルネットワークが生成した特徴量のベクトルを使って、人物画像のペアが同一人物かどうかを判定している。
　上述した非特許文献１または非特許文献２に開示された従来の方法では、静止画の人物画像のペアを比較することにより、同一人物であるかを判定している。一方、実際の環境下では、例えば監視カメラで撮影された動画像から人物画像のシーケンスを特定し、特定された人物画像のシーケンスと、他の監視カメラで撮影された動画像の人物画像のシーケンスと比較し、同一人物であるか判定を行う必要がある。動画像から同一のオブジェトであるかを推定する従来の方法が、例えば非特許文献３に開示されている。
　非特許文献３では、シーケンス内の人物画像の色とテクスチャのヒストグラムを特徴量として生成し、生成した特徴量をシーケンス内で平均化し、人物画像のシーケンスの特徴量としている。特徴量をシーケンスン内で平均化することにより、背景またはオクルージョンによる特徴量の変化を無視し、ロバストな人物画像の特徴量を生成している。
S. Liao, Y. Hu, X. Zhu, S. Z. Li, "Person re-identification by local maximal occurrence representation and metric learning", In Computer Vision and Pattern Recognition (CVPR), 2015. E. Ahmed, M. Jones, T.K. Marks, "An improved deep learning architecture for person re-identification," In Computer Vision and Pattern Recognition (CVPR), 2015. J. You, A. Wu, X. Li, and W.-S. Zheng, "Top-push video-based person re-identification," in Computer Vision and Pattern Recognition (CVPR), 2016.
　複数のカメラにまたがって撮影される場合、同一人物を撮影していたとして、例えば鞄の持ち方が途中で変化する、またはカメラの設置位置と人物の移動の方向によって、カメラに人物の持ち物等が映っている場合と映ってない場合が存在する。この場合、上記非特許文献３に開示された技術では、各人物画像から取得される特徴量をシーケンス内で平均化した場合、背景またはオクルージョンによる特徴量の変化を無視することができる一方で、同一人物であるかを判定するために有効な特徴量を無視してしまう場合があるという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、背景またはオクルージョンによる特徴量の変化に対してロバストに、複数のカメラで撮影された画像間で同一オブジェクトであるか否か判定することを目的とする。
　この発明に係る画像処理装置は、画像データを解析して当該画像データに現れるオブジェクトを検出するオブジェクト検出部と、オブジェクト検出部が検出したオブジェクトを時間方向に追跡するオブジェクト追跡部と、オブジェクト検出部の検出結果と、オブジェクト追跡部の追跡結果とに基づいて、オブジェクトの特徴記述子を生成する記述子生成部と、記述子生成部が生成した特徴記述子と、当該特徴記述子に対応したオブジェクトの画像データとからデータベースを構成するデータ記録制御部と、データ記録制御部が構成したデータベースから、設定された検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した画像データに現れるオブジェクトの組を構成するオブジェクトを検索する画像検索部と、画像検索部が検索したオブジェクトの画像データおよび特徴記述子から、照合に用いる特徴量を抽出する特徴抽出部と、特徴抽出部が抽出した特徴量の照合を行い、オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行う判定部とを備えるものである。
　この発明によれば、背景またはオクルージョンによる特徴量の変化に対してロバストに、複数のカメラで撮影された画像間で、同一オブジェクトであるか判定することができる。
実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る画像処理装置の画像認識結果の一例を示す図である。 図３Ａ、図３Ｂは、実施の形態１に係る画像処理装置のハードウェア構成例を示す図である。 実施の形態１に係る画像処理装置の画像認識処理の動作を示すフローチャートである。 実施の形態１に係る画像処理装置の画像照合処理の動作を示すフローチャートである。 図６Ａ、図６Ｂは、実施の形態１に係る画像処理装置の照合処理において、オブジェクトとして追跡された人物の画像データ例を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る画像処理装置１００を備えた画像処理システムの構成を示すブロック図である。
　図１に示すように、画像処理システムは、ｎ台（ｎは１以上の整数）のネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎと、これらネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎの各々から配信された静止画像データまたは動画像ストリームを、通信ネットワークＮＷを介して受信する画像処理装置１００とで構成される。画像処理装置１００は、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎから受信した静止画像データまたは動画像データ（以下、総じて画像データと記載する）に対して画像解析を行う。画像処理装置１００は、画像解析の結果を示す空間的、地理的または時間的記述子を、画像と関連付けて蓄積する。
　通信ネットワークＮＷとしては、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮなどの構内通信網、拠点間を結ぶ専用回線網、またはインターネットなどの広域通信網が挙げられる。
　ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎは全て同一構成を有している。各ネットワークカメラＮＣは、被写体を撮像する撮像部（図示しない）と、撮像部の出力を通信ネットワークＮＷ上の画像処理装置１００に向けて送信する送信部（図示しない）とで構成される。撮像部は、被写体の光学像を形成する撮像光学系と、形成された光学像を電気信号に変換する固体撮像素子と、変換された電気信号を静止画像データまたは動画像データとして圧縮符号化するエンコーダ回路とを有している。固体撮像素子としては、例えば、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-oxide Semiconductor）素子を使用すればよい。
　ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎの各々は、固体撮像素子の出力を動画像データとして圧縮符号化する場合には、例えば、ＭＰＥＧ－２　ＴＳ（Moving Picture Experts Group 2 Transport Stream）、ＲＴＰ／ＲＴＳＰ（Real-time Transport Protocol/Real Time Streaming Protocol）、ＭＭＴ（MPEG Media Transport）またはＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）のストリーミング方式に従い、圧縮符号化された動画像ストリームを生成する。なお、本実施の形態で使用されるストリーミング方式は、ＭＰＥＧ－２　ＴＳ、ＲＴＰ／ＲＴＳＰ、ＭＭＴまたはＤＡＳＨに限定されるものではない。ただし、いずれのストリーミング方式でも、動画像ストリームに含まれる動画像データを画像処理装置１００で一意に分離できる識別子情報が、当該動画像ストリーム内に多重化されているものとする。
　図１に示すように、画像処理装置１００は、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、ストレージ１０６、インタフェース部１０７および画像照合部１０８を備える。
　受信部１０１は、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎから配信データを受信し、受信した配信データから画像データを分離する。ここで、画像データには、静止画像データまたは動画像ストリームが含まれる。受信部１０１は、分離した画像データを復号部１０２に出力する。
　復号部１０２は、受信部１０１から入力された、圧縮符号化された画像データを、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎで使用された圧縮符号化方式に従って復号する。復号部１０２は、復号した画像データを画像認識部１０３に出力する。
　画像認識部１０３は、復号部１０２から入力された画像データに対して画像認識処理を行う。画像認識部１０３は、オブジェクト検出部１０３ａおよびオブジェクト追跡部１０３ｂを備える。
　オブジェクト検出部１０３ａは、復号部１０２から入力された時間的に連続した複数の画像データを解析して、当該画像データに現れるオブジェクトを検出する。オブジェクト検出部１０３ａは、検出されたオブジェクトの数、各オブジェクトの視覚的特徴量、各オブジェクトの位置情報、および各オブジェクトの撮影時刻等を取得し、オブジェクトの検出結果としてオブジェクト追跡部１０３ｂおよび記述子生成部１０４に出力する。ここで、オブジェクトの視覚的特徴量とは、オブジェクトの色、オブジェクトのテクスチャ、オブジェクトの形状、オブジェクトの動きおよびオブジェクト内の顔等の特徴量である。オブジェクト検出部１０３ａは、オブジェクト追跡部１０３ｂに対して画像データも合わせて出力する。
　図２は、実施の形態１に係る画像処理装置１００の画像認識処理の画像認識結果の一例を示す図である。図２では、画像処理装置１００が、領域Ｘａおよび領域Ｘｂを撮像する２つのネットワークカメラＮＣ１，ＮＣ２から配信データを受信した場合を示している。また、図２は、配信データ間で、オブジェクトＡで示された人物、オブジェクトＢで示された人物、およびオブジェクトＣで示された人物の３人の人物の動きを追跡した結果を示している。
　オブジェクト検出部１０３ａは、復号されたネットワークカメラＮＣ１の画像データから、オブジェクトＡ１ａを検出する。オブジェクト検出部１０３ａはネットワークカメラＮＣ１の次の画像データからオブジェクトＡ１ｂを検出する。続けて、オブジェクト検出部１０３ａはネットワークカメラＮＣ１の次の画像データからオブジェクトＡ１ｃを検出する。オブジェクト検出部１０３ａは、上述した検出処理を連続して行い、オブジェクトＡ１ａからオブジェクトＡ１ｇを検出する。
　同様に、オブジェクト検出部１０３ａは、復号されたネットワークカメラＮＣ２の各画像データから、オブジェクトＡ２ａからオブジェクトＡ２ｃ、オブジェクトＢａからオブジェクトＢｇおよびオブジェクトＣａからオブジェクトＣｅを検出する。オブジェクト検出部１０３ａは、検出した全てのオブジェクト（Ａ１ａ～Ａ１ｇ，Ａ２ａ～Ａ２ｃ，Ｂａ～Ｂｇ，Ｃａ～Ｃｅ）の視覚的特徴量、位置情報および撮影時刻等を取得する。
　オブジェクト追跡部１０３ｂは、オブジェクト検出部１０３ａから入力されたオブジェクトの検出結果を参照し、検出されたオブジェクトを時間方向に追跡する。オブジェクト追跡部１０３ｂは、オブジェクトの時間方向への追跡を行う場合、オブジェクト検出部１０３ａで検出されたオブジェクトの検出結果を、１つの画像データ内、および時間的に連続する複数の画像データ間で比較して追跡を行う。オブジェクト追跡部１０３ｂは、オブジェクトの追跡結果であるオブジェクトの動き情報（オプティカルフロー）を記述子生成部１０４に出力する。例えば、追跡対象のオブジェクトが人物の場合、一台のネットワークカメラで撮影された同一人物を追跡する。
　図２に追跡対象のオブジェクトが人物の場合の具体例を示している。
　図２の場合、オブジェクト追跡部１０３ｂは、領域Ｘａを撮像した画像データ間で、同一の特徴を有するオブジェクトＡ１（Ａ１ａ～Ａ１ｇ）を追跡する。同様に、オブジェクト追跡部１０３ｂは、領域Ｘｂを撮像した画像データ間で、同一の特徴を有するオブジェクトＡ２（Ａ２ａ～Ａ２ｃ）、オブジェクトＢ（Ｂａ～Ｂｇ）およびオブジェクトＣ（Ｃａ～Ｃｅ）を追跡する。
　オブジェクト追跡部１０３ｂは、オブジェクトＡ１，Ａ２，Ｂ，Ｃの動き情報として、例えばオブジェクトＡ１が領域Ｘａを撮像した画像データ内に出現していた時間、オブジェクトＡ２，Ｂ，Ｃが領域Ｘｂを撮像した画像データ内に出現していた時間、オブジェクトＡ１，Ａ２，Ｂ，Ｃの動きを示す情報を記述子生成部１０４に出力する。
　記述子生成部１０４は、オブジェクト検出部１０３ａから入力されたオブジェクトの検出結果、およびオブジェクト追跡部１０３ｂから入力されたオブジェクトの動き情報に基づいて、空間的な記述子、地理的な記述子、時間的な記述子またはこれらの組み合わせを示す記述子を生成する。
　具体的には、記述子生成部１０４は、所定のフォーマットに従って、オブジェクトの検出結果およびオブジェクトの追跡結果を、特徴記述子に変換する。特徴記述子には、オブジェクト検出部１０３ａで検出されたオブジェクトの数、各オブジェクトの視覚的特徴量、各オブジェクトの位置情報、および各オブジェクトの撮影時刻等が含まれる。また、特徴記述子には、時間方向に追跡された同一のオブジェクトであることを示す識別子が含まれる。
　データ記録制御部１０５は、復号部１０２から入力された復号された画像データと、記述子生成部１０４から入力された特徴記述子とからデータベースを構成する。データ記録制御部１０５は、構成したデータベースをストレージ１０６に格納する制御を行う。データ記録制御部１０５は、画像データと、特徴記述子とを、双方向に高速にアクセスすることができる形式で、ストレージ１０６に格納するのが望ましい。また、データ記録制御部１０５は、画像データと特徴記述子との対応関係を示すインデックステーブルを作成してデータベースを構成してもよい。例えば、データ記録制御部１０５は、画像データを構成する特定の画像フレームのデータ位置が与えられた場合、当該データ位置に対応する記述子データのストレージ１０６上の格納位置を高速に特定可能なように、インデックス情報を付加する。また、データ記録制御部１０５は、ストレージ１０６上の格納位置に対応するデータ位置を高速に特定可能なようにインデックス情報を付加してもよい。
　ストレージ１０６は、例えば、ＨＤＤ（Hard Disk Drive）またはフラッシュメモリの大容量記録媒体で構成される。ストレージ１０６は、画像データが蓄積される第１のデータ記憶部１０６ａと、記述子データが蓄積される第２のデータ記憶部１０６ｂで構成されている。図１では、１つのストレージ１０６内に第１のデータ記憶部１０６ａおよび第２のデータ記憶部１０６ｂを設ける構成を示したが、これに限定されるものではない。例えば、第１のデータ記憶部１０６ａと、第２のデータ記憶部１０６ｂとが、それぞれ異なるストレージに分散して設けられていてもよい。
　また、図１では、画像処理装置１００がストレージ１０６を備える構成を示したが、当該構成に限定されるものではない。画像処理装置１００は、ストレージ１０６に替えて、通信ネットワークＮＷ上に配置された単数または複数のネットワークストレージ装置（図示しない）に、データ記録制御部１０５がアクセスするように構成してもよい。これにより、データ記録制御部１０５が画像データと特徴記述子とを、外部のネットワークストレージ装置に蓄積することができ、画像処理装置１００の外部にデータベースを構築することができる。
　外部機器２００は、インタフェース部１０７を介して、ストレージ１０６内のデータベースにアクセスする。
　画像照合部１０８は、インタフェース部１０７を介して、外部機器２００から検索条件が設定されると、処理を開始する。ここで、検索条件とは、検索対象とするエリア情報、検索対象とする時刻情報、検索対象とするオブジェクトの種類または検索対象とするオブジェクトの判定時間等である。検索条件の具体例として、例えば、あるネットワークカメラＮＣ内で同一のオブジェクトとして追跡された時間が一定時間超えたオブジェクトを検索することを指示する条件、またはネットワークカメラＮＣ内で予め設定されたエリア（例えば、進入禁止エリア）に該当する位置情報を有するオブジェクトを検出することを指示する条件が挙げられる。
　画像照合部１０８は、画像検索部１０８ａ、特徴抽出部１０８ｂおよび判定部１０８ｃを備える。画像検索部１０８ａは、ストレージ１０６にアクセスし、外部機器２００が設定した検索条件に合致するオブジェクトを検索する。画像検索部１０８ａは、検索条件に合致したオブジェクトに対して、照合するオブジェクトの組（以下、オブジェクトペアと記載する）の絞り込みを行う。照合するオブジェクトペアは、異なる領域を撮像した画像データにそれぞれ存在するオブジェクトの組み合わせである。また、オブジェクトペアの絞り込みは、オブジェクトの出現時間、オブジェクトの移動軌跡および予め設定された一般的な人の歩行時間を考慮して行われる。画像検索部１０８ａは、検索およびオブジェクトペアの絞り込みによって得られたオブジェクトの画像データと特徴記述子とを特徴抽出部１０８ｂに出力する。
　図２の例において、画像検索部１０８ａが、検索条件に合致するオブジェクトとして、例えばオブジェクトＡ１、オブジェクトＡ２、オブジェクトＢおよびオブジェクトＣを検索する。さらに、画像検索部１０８ａは、異なるネットワークカメラＮＣで撮像されたオブジェクトペアの絞り込みを行い、オブジェクトＡ１と移動方向が異なるオブジェクトＢをオブジェクトから除外する。画像検索部１０８ａは、検索したオブジェクトＡ１、オブジェクトＡ２およびオブジェクトＣの画像データと特徴記述子とを、特徴抽出部１０８ｂに出力する。
　特徴抽出部１０８ｂは、画像検索部１０８ａから入力されたオブジェクトの画像データおよび記述データを用いて、各オブジェクトの複数の画像データ間で特徴量を用いたクラスタリングを行う。特徴抽出部１０８ｂは、クラスタリングの結果、クラスタに含まれる画像数が最大のものを、オブジェクトを特徴付けるクラスタと定義する。特徴抽出部１０８ｂは、定義したクラスタに含まれる画像データから、オブジェクトの照合に用いる特徴量を抽出する。特徴抽出部１０８ｂは、例えば上述した非特許文献１または非特許文献２に開示された手法と同様の手法で、オブジェクトの照合に用いる特徴量を抽出する。非特許文献１または非特許文献２に開示された手法で求められる特徴量は、いずれもＮ次元のベクトルデータとなる。特徴抽出部１０８ｂは、クラスタに含まれる各画像データに対してＮ次元ベクトルデータを算出した後、クラスタに含まれる全ての画像データのＮ次元ベクトルデータを平均化する、または最大値を示すベクトルデータを選択し、クラスタに対して１つの特徴量を抽出する。特徴抽出部１０８ｂは、抽出した特徴量を判定部１０８ｃに出力する。
　判定部１０８ｃは、特徴抽出部１０８ｂから入力された特徴量のうち、オブジェクトペアを構成する各オブジェクトの特徴量を比較し、オブジェクトが互いに同一であるか否か判定を行う。判定部１０８ｃは、判定結果を記述子としてバッファ（図示しない）等に記録し、インタフェース部１０７を介して外部機器２００に出力する。
　図２の例の場合、判定部１０８ｃは、異なるネットワークカメラＮＣで撮像されたオブジェクトペアである、オブジェクトＡ１とオブジェクトＡ２との特徴量の比較、およびオブジェクトＡ１とオブジェクトＣとの特徴量の比較を行う。判定部１０８ｃは、オブジェクトＡ１とオブジェクトＡ２の特徴量が同一であると判定する。また、判定部１０８ｃは、オブジェクトＡ１の特徴量とオブジェクトＣの特徴量が同一でないと判定する。
　次に、画像処理装置１００のハードウェア構成例を説明する。
　図３Ａおよび図３Ｂは、画像処理装置１００のハードウェア構成例を示す図である。
　画像処理装置１００における受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の各機能は、処理回路により実現される。即ち、画像処理装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
　図３Ａに示すように、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
　図３Ｂに示すように、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の各機能を実現する。即ち、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８は、プロセッサ１００ｂにより実行されるときに、後述する図４および図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の手順または方法をコンピュータに実行させるものであるともいえる。
　ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
　メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
　なお、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、画像処理装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　次に、画像処理装置１００の動作について説明する。
　まず、画像処理装置１００の画像認識処理について、図４を参照しながら説明する。
　図４は、実施の形態１に係る画像処理装置１００の画像認識処理の動作を示すフローチャートである。
　受信部１０１は、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣｎから配信データを受信して画像データを分離し（ステップＳＴ１）、復号部１０２に出力する。復号部１０２は、ステップＳＴ１で分離された画像データを復号し（ステップＳＴ２）、画像認識部１０３に出力する。
　画像認識部１０３のオブジェクト検出部１０３ａは、ステップＳＴ２で復号された画像データに現れるオブジェクトの検出を試みる（ステップＳＴ３）。ここで、検出対象となるオブジェクトは、自動車、自転車および歩行者など、追跡対象の動くオブジェクトである。オブジェクト検出部１０３ａは、オブジェクトを検出したか否か判定を行う（ステップＳＴ４）。オブジェクトを検出しなかった場合（ステップＳＴ４；ＮＯ）、フローチャートはステップＳＴ１の処理に戻る。
　一方、オブジェクトを検出した場合（ステップＳＴ４；ＹＥＳ）、オブジェクト検出部１０３ａは、検出したオブジェクトの視覚的特徴量、位置情報および撮影時刻等を取得する（ステップＳＴ５）。オブジェクト検出部１０３ａは、検出したオブジェクトの画像データと、取得したオブジェクトの視覚的特徴量、位置情報および撮影時刻等を検出結果としてオブジェクト追跡部１０３ｂおよび記述子生成部１０４に出力する。
　オブジェクト追跡部１０３ｂは、オブジェクト検出部１０３ａから入力されたオブジェクトの画像データを参照し、１つの画像フレーム内で検出された各オブジェクトに対してそれぞれ異なるＩＤを付与する（ステップＳＴ６）。オブジェクト追跡部１０３ｂは、１つのフレーム内で検出された各オブジェクトの画像データから、各オブジェクトの動き情報を抽出する（ステップＳＴ７）。オブジェクト追跡部１０３ｂは、ステップＳＴ５で取得されたオブジェクトの視覚的特徴量と、ステップＳＴ７で抽出したオブジェクトの動き情報とを参照し、オブジェクト検出部１０３ａから入力されたオブジェクトと、当該オブジェクトと時間的に連続した過去の画像フレームから検出されたオブジェクトとが、同一であるか否か判定を行う（ステップＳＴ８）。オブジェクトが同一でないと判定した場合（ステップＳＴ８；ＮＯ）、ステップＳＴ１０の処理に進む。
　一方、オブジェクトが同一であると判定した場合（ステップＳＴ８；ＹＥＳ）、オブジェクト追跡部１０３ｂは、ステップＳＴ６で付与したＩＤを、同一である過去のオブジェクトに付与されたＩＤで書き換える（ステップＳＴ９）。オブジェクト追跡部１０３ｂは、オブジェクト検出部１０３ａから入力された全てのオブジェクトに対して処理を行ったか否か判定を行う（ステップＳＴ１０）。全てのオブジェクトに対して処理を行っていない場合（ステップＳＴ１０；ＮＯ）、フローチャートはステップＳＴ７の処理に戻る。一方、全てのオブジェクトに対して処理を行った場合（ステップＳＴ１０；ＹＥＳ）、オブジェクト追跡部１０３ｂはオブジェクトのＩＤおよびオブジェクトの動き情報を記述子生成部１０４に出力する（ステップＳＴ１１）。
　記述子生成部１０４は、オブジェクト検出部１０３ａから入力されたオブジェクトの視覚的特徴量、位置情報および撮影時刻、ステップＳＴ１１としてオブジェクト追跡部１０３ｂから入力されたオブジェクトのＩＤおよびオブジェクトの動き情報に基づいて、記述子を生成する（ステップＳＴ１２）。記述子生成部１０４は、生成した記述子をデータ記録制御部１０５に出力する。データ記録制御部１０５は、ステップＳＴ１２で生成された記述子と、ステップＳＴ２で復号された画像データとを関連付けてストレージ１０６に格納する制御を行い（ステップＳＴ１３）、処理を終了する。
　次に、画像処理装置１００の画像照合処理について、図５を参照しながら説明する。
　図５は、実施の形態１に係る画像処理装置１００の画像照合処理の動作を示すフローチャートである。なお、以下では、２つのネットワークカメラが撮像した２つの画像データ間で、オブジェクトペアを検索する場合の処理を想定した説明を行うが、３以上の画像データ間でオブジェクトペアを検索する処理にも同様に適用可能である。
　インタフェース部１０７を介して外部機器２００から検索条件が設定されると（ステップＳＴ２１）、画像検索部１０８ａはストレージ１０６内の検索を行い、設定された検索条件と一致するオブジェクトを検索し、オブジェクトペアの絞り込みを行う（ステップＳＴ２２）。画像検索部１０８ａは、それぞれ異なるネットワークカメラＮＣで撮像されたオブジェクトペアを１組以上検索したか否か判定を行う（ステップＳＴ２３）。オブジェクトペアを１組以上検索しなかった場合（ステップＳＴ２３；ＮＯ）、画像検索部１０８ａは処理を終了する。
　一方、オブジェクトペアを１組以上検索した場合（ステップＳＴ２３；ＹＥＳ）、画像検索部１０８ａは、ストレージ１０６から検索した１組以上のオブジェクトペアの画像データおよび記述子データを読み出す（ステップＳＴ２４）。画像検索部１０８ａは、読み出した画像データおよび記述子データを特徴抽出部１０８ｂに出力する。特徴抽出部１０８ｂは、ステップＳＴ２４で読み出された画像データおよび記述子データを用いて、各オブジェクトの各画像データ間で特徴量を用いたクラスタリングを行う（ステップＳＴ２５）。特徴抽出部１０８ｂは、各オブジェクトを特徴付けるクラスタを定義する（ステップＳＴ２６）。特徴抽出部１０８ｂは、ステップＳＴ２６で定義したクラスタ内の画像データから特徴量を抽出する（ステップＳＴ２７）。特徴抽出部１０８ｂは、抽出した特徴量を判定部１０８ｃに出力する。
　判定部１０８ｃは、ステップＳＴ２７で抽出された特徴量を比較し、オブジェクトペアを構成するオブジェクトが互いに同一であるか否か判定を行う（ステップＳＴ２８）。判定部１０８ｃは、ステップＳＴ２８の判定結果を、バッファ等に格納し、インタフェース部１０７を介して外部機器２００に出力し（ステップＳＴ２９）、処理を終了する。
　次に、図５のフローチャートの各処理について、図２で示した例を参照しながら説明する。
　ステップＳＴ２１として、外部機器２００から、例えば「ネットワークカメラＮＣ１およびネットワークカメラＮＣ２が撮影しているエリアにおいて、一定時間以上滞在している人物」との検索条件が設定される。
　ステップＳＴ２２として、画像検索部１０８ａは、ストレージ１０６内の検索を行い、「ネットワークカメラＮＣ１およびネットワークカメラＮＣ２が撮影しているエリアにおいて、一定時間以上滞在している人物」との検索条件と一致するオブジェクトの検索を行う。
　上述したが、ストレージ１０６には、オブジェクトの画像データと関連付けられて、オブジェクトのＩＤ、視覚的特徴量、位置情報、撮影時刻、オブジェクトのＩＤおよび動き情報が格納されている。図２の例では、ネットワークカメラＮＣ１で検出され、追跡された人物であるオブジェクトＡ１について、新しいＩＤが付与された時刻が、ネットワークカメラＮＣ１の撮像画像に該当する人物であるオブジェクトＡ１ａが現れた時刻に相当する。また、当該新しいＩＤと同一のＩＤが付与された人物であるオブジェクト（Ａ１ｂからＡ１ｇ）は、同一オブジェクトであるとして追跡されたオブジェクトである。よって、新しいＩＤと同一のＩＤが付与されていた時間が、そのオブジェクトがネットワークカメラ撮像画像内に滞在していた時間に相当する。また、図２において示した矢印Ｔａ１は、同一オブジェクトであるとして追跡されたオブジェクト（Ａ１ａからＡ１ｇ）の位置情報から推定される、オブジェクトＡ１の移動軌跡を示す矢印である。
　ステップＳＴ２３として、画像検索部１０８ａは、検索条件と一致する４つのオブジェクト（オブジェクトＡ１、オブジェクトＡ２、オブジェクトＢおよびオブジェクトＣ）を検索する。また、ステップＳＴ２３として、画像検索部１０８ａは、オブジェクトペアの絞り込みを行って、オブジェクトＢを除外し、３つのオブジェクト（オブジェクトＡ１、オブジェクトＡ２およびオブジェクトＣ）を検出する（ステップＳＴ２３；ＹＥＳ）。
　ステップＳＴ２４として、画像検索部１０８ａはオブジェクトＡ１、オブジェクトＡ２、オブジェクトＣの画像データおよび記述子データを、ストレージ１０６から読み出す。ステップＳＴ２５として、特徴抽出部１０８ｂは、オブジェクトＡ１の特徴量を用いたクラスタリング、オブジェクトＡ２の特徴量を用いたクラスタリングおよびオブジェクトＣの特徴量を用いたクラスタリングを行う。ステップＳＴ２６として、特徴抽出部１０８ｂは、オブジェクトＡ１、オブジェクトＡ２およびオブジェクトＣのそれぞれに対してクラスタを定義する。ステップＳＴ２７として、特徴抽出部１０８ｂは、定義したクラスタ内の画像データから特徴量を抽出する。
　ステップＳＴ２８として、判定部１０８ｃはオブジェクトＡ１、オブジェクトＡ２およびオブジェクトＣの視覚的特徴量および画像データの特徴量を用いて、オブジェクトペアを構成するオブジェクトＡ１とオブジェクトＡ２が同一であると判定する。また、判定部１０８ｃは、オブジェクトペアを構成するオブジェクトＡ１とオブジェクトＣが同一でないと判定する。ステップＳＴ２９として、判定部１０８ｃは、オブジェクトＡ１とオブジェクトＡ２は同一のオブジェクトであるとの判定結果、オブジェクトＡ１とオブジェクトＢは同一のオブジェクトでないとの判定結果、オブジェクトＡ１とオブジェクトＣは同一のオブジェクトでないとの判定結果を、バッファ等に記録し、外部機器２００に出力する。
　図６は、実施の形態１に係る画像処理装置１００の照合処理において、オブジェクトとして追跡された人物の画像データ例を示す図である。
　図６Ａは図２で示したオブジェクトＡの画像データを示し、図６Ｂは図２で示したオブジェクトＣの画像データを示す図である。
　図６Ａに示すように、同一のオブジェクトＡを追跡した画像データであっても、例えば障害物Ｙによって、オブジェクトＡの一部が隠れている場合もある。また、同一のオブジェクトＡを追跡した画像データであっても、例えばオブジェクトの姿勢が変化した場合に、撮像される内容が異なる。そのため、図６Ａで示したオブジェクトＡの４つの画像データから１つの画像データ（例えば、オブジェクトＡｃを撮像した画像データ）を選択し、図６ＢのオブジェクトＣの４つの画像データから選択した画像データ（例えば、オブジェクトＣｂを撮像した画像データ）と比較すると、選択した画像データに依存し、画像照合部１０８の照合精度が低下する。
　そこで、画像照合部１０８は、図６Ａで示した例えば４つの画像データを用いてクラスタを定義し、定義したクラスタ内の画像データから特徴量を抽出する。同様に、画像照合部１０８は、図６Ｂで示した例えば３つの画像データを用いてクラスタを定義し、定義したクラスタ内の画像データから特徴量を抽出する。判定部１０８ｃは、オブジェクトＡの抽出された特徴量と、オブジェクトＣの抽出された特徴量とを比較することにより、判定結果が画像データに依存するのを抑制することができる。
　以上のように、実施の形態１によれば、画像データを解析して当該画像データに現れるオブジェクトを検出するオブジェクト検出部１０３ａと、検出されたオブジェクトを時間方向に追跡するオブジェクト追跡部１０３ｂと、オブジェクトの検出結果と追跡結果とに基づいて、オブジェクトの特徴記述子を生成する記述子生成部１０４と、生成された特徴記述子と、当該特徴記述子に対応したオブジェクトの画像データとからデータベースを構成するデータ記録制御部１０５と、データベースから、設定された検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した画像データに現れるオブジェクトの組を構成するオブジェクトを検索する画像検索部１０８ａと、検索されたオブジェクトの画像データおよび特徴記述子から、照合に用いる特徴量を抽出する特徴抽出部１０８ｂと、抽出された特徴量の照合を行い、オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行う判定部１０８ｃとを備えるように構成したので、背景またはオクルージョンによる特徴量の変化にロバストに、複数のカメラで撮影された画像間で同一のオブジェクトであるか判定することができる。
　また、実施の形態１によれば、特徴抽出部は、検索されたオブジェクトの画像データおよび特徴記述子から、検索された各オブジェクトの画像データ間で特徴量を用いたクラスタリングを行い、クラスタリングの結果から定義されるクラスタ内の画像データから、特徴量を抽出するように構成したので、画像データに依存して照合精度が低下するのを抑制することができる。
　この発明に係る画像処理装置は、例えば、監視システムを含む物体認識システム、または画像検索システムに用いられるのに適している。
　１００　画像処理装置、１０１　受信部、１０２　復号部、１０３　画像認識部、１０３ａ　オブジェクト検出部、１０３ｂ　オブジェクト追跡部、１０４　記述子生成部、１０５　データ記録制御部、１０６　ストレージ、１０６ａ　第１のデータ記憶部、１０６ｂ　第２のデータ記憶部、１０７　インタフェース部、１０８　画像照合部、１０８ａ　画像検索部、１０８ｂ　特徴抽出部、１０８ｃ　判定部。

Claims (4)

  1. 　画像データを解析して当該画像データに現れるオブジェクトを検出するオブジェクト検出部と、
    　前記オブジェクト検出部が検出した前記オブジェクトを時間方向に追跡するオブジェクト追跡部と、
    　前記オブジェクト検出部の検出結果と、前記オブジェクト追跡部の追跡結果とに基づいて、前記オブジェクトの特徴記述子を生成する記述子生成部と、
    　前記記述子生成部が生成した前記特徴記述子と、当該特徴記述子に対応したオブジェクトの前記画像データとからデータベースを構成するデータ記録制御部と、
    　前記データ記録制御部が構成した前記データベースから、設定された検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した前記画像データに現れるオブジェクトの組を構成するオブジェクトを検索する画像検索部と、
    　前記画像検索部が検索したオブジェクトの前記画像データおよび前記特徴記述子から、照合に用いる特徴量を抽出する特徴抽出部と、
    　前記特徴抽出部が抽出した前記特徴量の照合を行い、前記オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行う判定部とを備えた画像処理装置。
  2. 　前記特徴抽出部は、前記画像検索部が検索したオブジェクトの前記画像データおよび前記特徴記述子から、前記検索された各オブジェクトの画像データ間で特徴量を用いたクラスタリングを行い、前記クラスタリングの結果から定義されるクラスタ内の画像データから、前記特徴量を抽出することを特徴とする請求項１記載の画像処理装置。
  3. 　前記特徴記述子には、前記オブジェクトの視覚的特徴量、および前記オブジェクトの位置情報が含まれることを特徴とする請求項１または請求項２記載の画像処理装置。
  4. 　オブジェクト検出部が、画像データを解析して当該画像データに現れるオブジェクトを検出するステップと、
    　オブジェクト追跡部が、前記検出されたオブジェクトを時間方向に追跡するステップと、
    　記述子生成部が、前記オブジェクトの検出結果と、前記検出されたオブジェクトの追跡結果とに基づいて、前記検出されたオブジェクトの特徴記述子を生成するステップと、
    　データ記録制御部が、前記生成された特徴記述子と、当該特徴記述子に対応したオブジェクトの前記画像データとからデータベースを構成するステップと、
    　画像検索部が、前記構成されたデータベースから、設定された検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した前記画像データに現れるオブジェクトの組を構成するオブジェクトを検索するステップと、
    　特徴抽出部が、前記検索されたオブジェクトの前記画像データおよび前記特徴記述子から、照合に用いる特徴量を抽出するステップと、
    　判定部が、前記抽出された特徴量の照合を行い、前記オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行うステップとを備えた画像処理方法。
PCT/JP2017/029884 2017-08-22 2017-08-22 画像処理装置および画像処理方法 Ceased WO2019038821A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
PCT/JP2017/029884 WO2019038821A1 (ja) 2017-08-22 2017-08-22 画像処理装置および画像処理方法
SG11202000383SA SG11202000383SA (en) 2017-08-22 2017-08-22 Image processing device and image processing method
CN201780093880.3A CN111033564B (zh) 2017-08-22 2017-08-22 图像处理装置及图像处理方法
US16/635,969 US11200683B2 (en) 2017-08-22 2017-08-22 Image processing device and image processing method
JP2018525481A JP6407493B1 (ja) 2017-08-22 2017-08-22 画像処理装置および画像処理方法
KR1020207004231A KR102150847B1 (ko) 2017-08-22 2017-08-22 화상 처리 장치 및 화상 처리 방법
GB2002056.6A GB2579736C (en) 2017-08-22 2017-08-22 Image processing device and image processing method
TW107102185A TW201913568A (zh) 2017-08-22 2018-01-22 影像處理裝置及影像處理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/029884 WO2019038821A1 (ja) 2017-08-22 2017-08-22 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2019038821A1 true WO2019038821A1 (ja) 2019-02-28

Family

ID=63855258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029884 Ceased WO2019038821A1 (ja) 2017-08-22 2017-08-22 画像処理装置および画像処理方法

Country Status (8)

Country Link
US (1) US11200683B2 (ja)
JP (1) JP6407493B1 (ja)
KR (1) KR102150847B1 (ja)
CN (1) CN111033564B (ja)
GB (1) GB2579736C (ja)
SG (1) SG11202000383SA (ja)
TW (1) TW201913568A (ja)
WO (1) WO2019038821A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021082255A (ja) * 2020-09-10 2021-05-27 株式会社ＡＲＩＳＥ ａｎａｌｙｔｉｃｓ 画像処理装置、画像処理方法、及びプログラム
JP2021081966A (ja) * 2019-11-19 2021-05-27 株式会社ＡＲＩＳＥ ａｎａｌｙｔｉｃｓ 画像処理装置、画像処理方法、及びプログラム
JPWO2022195790A1 (ja) * 2021-03-18 2022-09-22
US12488560B2 (en) 2023-07-27 2025-12-02 Mitsubishi Electric Corporation Image processing device and image processing method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227007B2 (en) * 2019-07-23 2022-01-18 Obayashi Corporation System, method, and computer-readable medium for managing image
WO2022014327A1 (ja) * 2020-07-14 2022-01-20 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム
KR20220121105A (ko) * 2021-02-24 2022-08-31 삼성전자주식회사 타겟 영역 내의 객체의 위치를 추적하는 방법 및 이를 수행하는 전자 장치
CN113553457B (zh) * 2021-08-02 2025-02-21 杭州拼便宜网络科技有限公司 基于图像的商品检索方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031678A (ja) * 2004-05-28 2006-02-02 Sony United Kingdom Ltd 画像処理
JP2016143335A (ja) * 2015-02-04 2016-08-08 富士通株式会社 グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP2016154306A (ja) * 2015-02-20 2016-08-25 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743330B1 (en) * 2000-06-19 2010-06-22 Comcast Ip Holdings I, Llc Method and apparatus for placing virtual objects
EP2385705A4 (en) * 2008-12-30 2011-12-21 Huawei Device Co Ltd METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE
US9324003B2 (en) * 2009-09-14 2016-04-26 Trimble Navigation Limited Location of image capture device and object features in a captured image
TWI416068B (zh) 2009-12-10 2013-11-21 Ind Tech Res Inst 跨感測器間之物體追蹤方法與系統
JP5940862B2 (ja) * 2012-03-30 2016-06-29 セコム株式会社 画像処理装置
CN102799900B (zh) * 2012-07-04 2014-08-06 西南交通大学 一种基于检测中支持在线聚类学习的对象跟踪方法
US10438050B2 (en) * 2013-02-27 2019-10-08 Hitachi, Ltd. Image analysis device, image analysis system, and image analysis method
JP6118752B2 (ja) 2014-03-28 2017-04-19 セコム株式会社 学習データ生成装置
KR20160032432A (ko) * 2014-09-16 2016-03-24 삼성에스디에스 주식회사 동일 객체 검출 방법 및 장치
JP6377533B2 (ja) * 2015-01-06 2018-08-22 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
CN107949866A (zh) * 2015-09-15 2018-04-20 三菱电机株式会社 图像处理装置、图像处理系统和图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031678A (ja) * 2004-05-28 2006-02-02 Sony United Kingdom Ltd 画像処理
JP2016143335A (ja) * 2015-02-04 2016-08-08 富士通株式会社 グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP2016154306A (ja) * 2015-02-20 2016-08-25 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021081966A (ja) * 2019-11-19 2021-05-27 株式会社ＡＲＩＳＥ ａｎａｌｙｔｉｃｓ 画像処理装置、画像処理方法、及びプログラム
JP2021082255A (ja) * 2020-09-10 2021-05-27 株式会社ＡＲＩＳＥ ａｎａｌｙｔｉｃｓ 画像処理装置、画像処理方法、及びプログラム
JP7157784B2 (ja) 2020-09-10 2022-10-20 株式会社ARISE analytics 画像処理装置、画像処理方法、及びプログラム
JPWO2022195790A1 (ja) * 2021-03-18 2022-09-22
WO2022195790A1 (ja) * 2021-03-18 2022-09-22 三菱電機株式会社 画像処理装置及び画像処理方法
JP7274068B2 (ja) 2021-03-18 2023-05-15 三菱電機株式会社 画像処理装置及び画像処理方法
GB2618757A (en) * 2021-03-18 2023-11-15 Mitsubishi Electric Corp Image processing device and image processing method
GB2618757B (en) * 2021-03-18 2024-05-29 Mitsubishi Electric Corp Image processing device and image processing method
US12488560B2 (en) 2023-07-27 2025-12-02 Mitsubishi Electric Corporation Image processing device and image processing method

Also Published As

Publication number Publication date
US11200683B2 (en) 2021-12-14
JP6407493B1 (ja) 2018-10-17
JPWO2019038821A1 (ja) 2019-11-07
TW201913568A (zh) 2019-04-01
GB2579736A (en) 2020-07-01
GB2579736C (en) 2021-03-10
KR20200020009A (ko) 2020-02-25
GB202002056D0 (en) 2020-04-01
GB2579736B (en) 2021-01-27
US20200242782A1 (en) 2020-07-30
SG11202000383SA (en) 2020-02-27
CN111033564A (zh) 2020-04-17
CN111033564B (zh) 2023-11-07
KR102150847B1 (ko) 2020-09-02

Similar Documents

Publication Publication Date Title
JP6407493B1 (ja) 画像処理装置および画像処理方法
JP7317919B2 (ja) 外観検索のシステムおよび方法
US10691949B2 (en) Action recognition in a video sequence
JP4616702B2 (ja) 画像処理
JP7492490B2 (ja) オブジェクト認識ニューラルネットワークの訓練
JP6829412B1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2008501172A (ja) 画像比較方法
CN110992393B (zh) 一种基于视觉的目标运动跟踪方法
EP4276770B1 (en) Object re-identification in video streams
KR20150112712A (ko) 객체 행동패턴 cctv 영상 분석서버
Mi et al. Recognizing actions in wearable-camera videos by training classifiers on fixed-camera videos
US8670598B2 (en) Device for creating and/or processing an object signature, monitoring device, method and computer program
Mahalakshmi et al. Real-Time Human Detection and Tracking Using PEI Representation in a Dynamic 3D Environment
CN118762057A (zh) 一种基于卷积网络的无监督行为跟踪识别方法及系统

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018525481

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17922153

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207004231

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 202002056

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20170822

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17922153

Country of ref document: EP

Kind code of ref document: A1