[go: up one dir, main page]

TW201913568A - 影像處理裝置及影像處理方法 - Google Patents

影像處理裝置及影像處理方法 Download PDF

Info

Publication number
TW201913568A
TW201913568A TW107102185A TW107102185A TW201913568A TW 201913568 A TW201913568 A TW 201913568A TW 107102185 A TW107102185 A TW 107102185A TW 107102185 A TW107102185 A TW 107102185A TW 201913568 A TW201913568 A TW 201913568A
Authority
TW
Taiwan
Prior art keywords
unit
feature
image data
image
objects
Prior art date
Application number
TW107102185A
Other languages
English (en)
Inventor
守屋芳美
澁谷直大
杉本和夫
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW201913568A publication Critical patent/TW201913568A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

包括：物件檢出部(103a)，檢出顯現於影像資料中的物件；物件追蹤部(103b)，於時間方向追蹤已檢出的物件；記述子產生部(104)，基於物件的檢出結果及追蹤結果，產生物件的特徵記述子；資料記錄控制部(105)，由已產生的特徵記述子、及該特徵記述子所對應的物件的影像資料，構成資料庫；影像檢索部(108a)，從資料庫，檢索出符合檢索條件的物件，並構成分別拍攝相異區域的影像資料中顯現的物件組的物件；特徵抽出部(108b)，從已檢索出的物件的影像資料及特徵記述子，抽出比對所使用的特徵量；判定部(108c)，進行已抽出的特徵量的比對，判定構成物件組的物件是否為同一。

Description

影像處理裝置及影像處理方法
本發明係關於解析用複數攝影機所拍攝的物件是否為同一物件之影像處理技術。
推定複數攝影機都拍攝到的物件是否為同一物件之習知的方法為，例如非專利文獻1及非專利文獻2中揭露者。
非專利文獻1中，將包含人物影像的矩形區域分割為次視窗，針對已分割的次視窗產生顏色的柱狀圖及紋理的柱狀圖以作為特徵量。而且，準備集合了已經賦予是否為同一人物之標記的學習用的人物影像的資料組，從學習用的人物影像產生上述的特徵量的向量，進行距離學習。距離學習中，進行加權參數的學習，使得同一人物影像對的特徵量之向量距離變小，進行加權參數的學習以使得並非同一的人物影像對的特徵量之向量距離變大。
非專利文獻2中，使用神經網路由人物影像進行特徵抽出，使用神經網路所產生的特徵量的向量，判定人物影像對是否為同一人物。
上述非專利文獻1或非專利文獻2揭露的習知的方法中，藉由比較靜止影像的人物影像對，以判定是否為同一人物。另一方面，在實際環境下，必須從例如監視攝影機拍攝的 動態影像特定出人物影像的序列，將已特定的人物影像的序列、和用其他監視攝影機拍攝的動態影像的人物影像的序列比較，以判定是否為同一人物。從動態影像推定是否為同一物件的習知方法為，例如非專利文獻3所揭露者。
非專利文獻3中，產生序列內的人物影像的顏色和紋理的柱狀圖以作為特徵量，將已產生的特徵量在序列內平均化，作為人物影像的序列之特徵量。將特徵量在序列內平均化，藉此忽略背景或遮蔽所造成的特徵量的變化，而產生穩定的人物影像的特徵量。
先行技術文獻 非專利文獻
【非專利文獻1】S. Liao, Y. Hu, X. Zhu, S. Z. Li, “Person re-identification by local maximal occurrence representation and metric learning”, In Computer Vision and Pattern Recognition (CVPR), 2015.
【非專利文獻2】E. Ahmed, M. Jones, T.K. Marks, “An improved deep learning architecture for person re-identification,” In Computer Vision and Pattern Recognition (CVPR), 2015.
【非專利文獻3】J. You, A. Wu, X. Li, and W.-S. Zheng, “Top-push video-based person re-identification,” in Computer Vision and Pattern Recognition (CVPR), 2016.
複數攝影機都進行拍攝的情況下，假設拍攝到同一人物時，因為例如途中改變皮包的拿取方式、或攝影機的設置位置和人物的移動方向的關係，攝影機有時拍到但有時又拍不到人物的所持物等。在此情況下，上述非專利文獻3中揭露的技術中，將從各人物影像取得的特徵量在序列內平均化的情況下，能夠忽略因為背景或遮蔽所造成的特徵量的變化，但另一方面，亦有如後的課題：有時候會把用於判定是否為同一人物的有效特徵量也忽略了。
本發明係為了解決如上述的課題，其目的在於，對於背景或遮蔽造成的特徵量的變化，能夠在用複數攝影機拍攝的影像間，判定是否為同一物件。
本發明的影像處理裝置，其包括：物件檢出部，解析影像資料，檢出顯現於該影像資料中的物件；物件追蹤部，於時間方向追蹤該物件檢出部所檢出的該物件；記述子產生部，基於該物件檢出部的檢出結果、及該物件追蹤部的追蹤結果，產生該物件的特徵記述子；資料記錄控制部，由該記述子產生部所產生的該特徵記述子、及該特徵記述子所對應的物件的該影像資料，構成資料庫；影像檢索部，從該資料記錄控制部所構成的該資料庫，檢索出符合已設定的檢索條件的物件，並構成分別拍攝相異區域的該影像資料中顯現的物件組的 物件；特徵抽出部，從該影像檢索部所檢索出的物件的該影像資料及該特徵記述子，抽出比對所使用的特徵量；判定部，進行該特徵抽出部所抽出的該特徵量的比對，判定構成該物件組的物件是否為同一。
依據本發明，對於背景或遮蔽造成的特徵量的變化，能夠在用複數攝影機拍攝的影像間，判定是否為同一物件。
100‧‧‧影像處理裝置
101‧‧‧接收部
102‧‧‧解碼部
103‧‧‧影像識別部
103a‧‧‧物件檢出部
103b‧‧‧物件追蹤部
104‧‧‧記述子產生部
105‧‧‧資料記錄控制部
106‧‧‧儲存器
106a‧‧‧第1資料記憶部
106b‧‧‧第2資料記憶部
107‧‧‧介面部
108‧‧‧影像比對部
108a‧‧‧影像檢索部
108b‧‧‧特徵抽出部
108c‧‧‧判定部
【圖1】表示實施形態1的影像處理裝置之構成的方塊圖。
【圖2】表示實施形態1的影像處理裝置之影像識別結果的一例之圖。
【圖3】圖3A、圖3B為表示實施形態1的影像處理裝置之硬體構成例的圖。
【圖4】表示實施形態1的影像處理裝置之影像識別處理的動作的流程圖。
【圖5】表示實施形態1的影像處理裝置的影像比對處理之動作的流程圖。
【圖6】圖6A、圖6B為表示實施形態1的影像處理裝置的比對處理中，作為物件被追蹤的人物影像資料例的圖。
以下，為了更詳細說明本發明，按照附圖說明用以實施本發明的形態。
實施形態1
圖1為表示具備實施形態1的影像處理裝置100的影像處理系統之構成的方塊圖。
如圖1所示，影像處理系統由下列構成：n台(n為1以上的整數)的網路攝影機NC1,NC2,...,NCn、透過通信網路NW接收由這些網路攝影機NC1,NC2,...,NCn中的各個傳送之靜止影像資料或動態影像串流的影像處理裝置100。影像處理裝置100，對於從網路攝影機NC1,NC2,...,NCn接收的靜止影像資料或動態影像資料(以下總稱之為影像資料)，進行影像解析。影像處理裝置100，將表示影像解析結果的空間的、地理的或時間的記述子與影像對映並儲存之。
例如，可使用有線LAN(Local Area Network)、無線LAN等的場所內通信網、連結場所間的專用線路網、或網際網路等的網域通信網，以作為通信網路NW。
網路攝影機NC1,NC2,...,NCn都具有相同構成。各網路攝影機NC由下列構成：拍攝被拍攝體的拍攝部(未圖示)、將拍攝部的輸出向通信網路NW上的影像處理裝置100傳送的傳訊部(未圖示)。拍攝部具有：形成被拍攝體的光學像的拍攝光學系統、將已形成的光學像轉換為電氣訊號的固體拍攝元件、將已轉換的電氣訊號壓縮編碼為靜止影像資料或動態影像資料的編碼電路。固體拍攝元件可以使用例如CCD(Charge-Coupled Device)或CMOS(Complementary Metal-oxide Semiconductor)元件。
網路攝影機NC1,NC2,...,NCn中的各個，在將固體拍攝元件的輸出壓縮編碼為動態影像資料的情況下，按照例如 MPEG-2 TS(Moving Picture Experts Group 2 Transport Stream)、RTP/RTSP(Real-time Transport Protocol/Real Time Streaming Protocol)、MMT(MPEG Media Transport)或DASH(Dynamic Adaptive Streaming over HTTP)的串流方式，產生已壓縮編碼的動態影像串流。再者，本實施形態中所使用的串流方式不限於MPEG-2 TS、RTP/RTSP、MMT或DASH。不過，不管是用哪一種串流方式，在該動態影像串流內，都多路複用了能夠用影像處理裝置100將動態影像串流中包含的動態影像資料唯一分離出來的識別子資訊。
如圖1所示，影像處理裝置100具備；接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、儲存器106、介面部107及影像比對部108。接收部101，從網路攝影機NC1,NC2,...,NCn接收傳送資料，從已接收的傳送資料分離出影像資料。在此，在影像資料中包含靜止影像資料或動態影像串流。接收部101，將已分離的影像資料輸出到解碼部102。
解碼部102，按照網路攝影機NC1,NC2,...,NCn中已使用的壓縮編碼方式，將從接收部101輸入並已壓縮編碼的影像資料加以解碼。解碼部102，將已解碼的影像資料向影像識別部103輸出。
影像識別部103，對於從解碼部102輸入的影像資料進行影像識別處理。影像識別部103具備物件檢出部103a及物件追蹤部103b。
物件檢出部103a，解析從解碼部102輸入之時間上連續的 複數影像資料，檢出該影像資料中顯現的物件。物件檢出部103a，取得已檢出的物件之數量、各物件的視覺特徵量、各物件的位置資訊、及各物件的拍攝時刻等，將之作為物件的檢出結果，向物件追蹤部103b及記述子產生部104輸出。在此，物件的視覺特徵量為：物件的顏色、物件的紋理、物件的形狀、物件的移動及物件內的臉部等的特徵量。物件檢出部103a，連同影像資料一起輸出至物件追蹤部103b。
圖2為表示實施形態1的影像處理裝置100的影像識別處理之影像識別結果的一例之圖。圖2中表示，影像處理裝置100從拍攝區域Xa及區域Xb的2台網路攝影機NC1,NC2接收傳送資料的情況。另外，圖2表示，在傳送資料間，追蹤以物件A表示之人物、以物件B表示之人物、及以物件C表示之人物共3人的人物之移動的結果。
物件檢出部103a，從已解碼的網路攝影機NC1的影像資料檢出物件A1a。物件檢出部103a從網路攝影機NC1的下一個影像資料檢出物件A1b。接著，物件檢出部103a從網路攝影機NC1的下一個影像資料檢出物件A1c。物件檢出部103a連續執行上述的檢出處理，檢出物件A1a到物件A1g。
同樣地，物件檢出部103a，從已解碼的網路攝影機NC2的各影像資料，檢出物件A2a到物件A2c、物件Ba到物件Bg及物件Ca到物件Ce。物件檢出部103a，取得已檢出的所有物件(A1a~A1g,A2a~A2c,Ba~Bg,Ca~Ce)的視覺特徵量、位置資訊及拍攝時刻等。
物件追蹤部103b，參照從物件檢出部103a輸入之 物件的檢出結果，在時間方向追蹤已檢出的物件。物件追蹤部103b，當進行物件的時間方向之追蹤時，將物件檢出部103a所檢出的物件之檢出結果，在1個影像資料內、及時間上連續的複數影像資料間比較以進行追蹤。物件追蹤部103b，將作為物件的追蹤結果的物件的移動資訊(光流)輸出到記述子產生部104。例如，追蹤對象的物件為人物時，追蹤一台網路攝影機所拍攝的同一人物。
圖2表示追蹤對象的物件為人物時的具體例。
圖2的情況下，物件追蹤部103b，在拍攝區域Xa的影像資料間，追蹤具有同一特徵的物件A1(A1a~A1g)。同樣地，物件追蹤部103b，在拍攝區域Xb的影像資料間，追蹤具有同一特徵的物件A2(A2a~A2c)、物件B(Ba~Bg)及物件C(Ca~Ce)。
物件追蹤部103b，將例如物件A1出現在拍攝區域Xa的影像資料內的時間、物件A2,B,C出現在拍攝區域Xb的影像資料內的時間、表示物件A1,A2,B,C的移動的資訊、作為物件A1,A2,B,C的移動資訊，並輸出到記述子產生部104。
記述子產生部104，基於從物件檢出部103a輸入的物件之檢出結果、及從物件追蹤部103b輸入的物件的移動資訊，產生空間的記述子、地理的記述子、時間的記述子或表示上述之組合的記述子。
具體言之，記述子產生部104，按照特定的格式，將物件的檢出結果及物件的追蹤結果轉換為特徵記述子。特徵記述子中包含物件檢出部103a所檢出的物件之數量、各物件的視覺特徵量、各物件的位置資訊、及各物件的拍攝時刻等。另外，特 徵記述子中包含表示是在時間方向追蹤的同一物件的識別子。
資料記錄控制部105，由從解碼部102輸入的已解碼的影像資料、及從記述子產生部104輸入的特徵記述子，構成資料庫。資料記錄控制部105，進行將已構成的資料庫儲存在儲存器106中的控制。資料記錄控制部105，以可雙向高速存取的形式，將影像資料及特徵記述子儲存在儲存器106中為佳。另外，資料記錄控制部105，亦可作成表示影像資料和特徵記述子的對應關係之索引表，以構成資料庫。例如，資料記錄控制部105，在已取得構成影像資料的特定影像訊框的資料位置的情況下，附加索引資訊，以使得能夠快速特定出對應於該資料位置的記述子資料的儲存器106上的儲存位置。另外，資料記錄控制部105亦可附加索引資訊，以使得能夠快速特定出對應於儲存器106上的儲存位置的資料位置。
儲存器106由例如HDD(Hard Disk Drive)或快閃記憶體的大容量儲存媒體構成。儲存器106由儲存影像資料的第1資料記憶部106a、以及儲存記述子資料的第2資料記憶部106b所構成。圖1中，雖顯示在1個儲存器106內設置第1資料記憶部106a及第2資料記憶部106b的構成，但並不限定於此。例如，第1資料記憶部106a及第2資料記憶部106b，亦可分散設置於各個不同的儲存器。
另外，圖1中，雖顯示影像處理裝置100具有儲存器106的構成，但並不限定於該構成。影像處理裝置100亦可構成為，資料記錄控制部105存取配置在通信網路NW上的單數或複數網路儲存器裝置(未圖示)，以取代儲存器106。藉此，資料 記錄控制部105可以將影像資料和特徵記述子儲存在外部的網路儲存器裝置，能夠在影像處理裝置100的外部構築資料庫。
外部機器200，透過介面部107，存取儲存器106內的資料庫。
影像比對部108，當透過介面部107，從外部機器200設定檢索條件時，開始處理。在此，所謂的檢索條件為，作為檢索對象的區域資訊、作為檢索對象的時刻資訊、作為檢索對象的物件的種類或作為檢索對象的物件的判定時間等。檢索條件的具體例為，例如、指示檢索在某個網路攝影機NC內作為同一物件追蹤的時間超過一定時間的物件之條件、或指示檢出在網路攝影機NC內具有等當於預設區域(例如，進入禁止區域)的位置資訊之物件的條件。
影像比對部108具有影像檢索部108a、特徵抽出部108b及判定部108c。影像檢索部108a，存取儲存器106，檢索符合外部機器200所設定的檢索條件之物件。影像檢索部108a，對於符合檢索條件的物件，進行比對物件之組(以下記載為物件對)的限縮。比對物件對為，分別存在於拍攝相異區域的影像資料中的物件之組合。另外，物件對的限縮的進行，係考慮物件的出現時間、物件的移動軌跡及預設的一般的人的步行時間。影像檢索部108a，檢索及物件對的限縮所得到的物件之影像資料和特徵記述子輸出到特徵抽出部108b。
在圖2的例子中，影像檢索部108a，檢索到例如物件A1、物件A2、物件B及物件C，作為符合檢索條件的物件。而且，影像檢索部108a，進行相異網路攝影機NC所拍攝的物件對的限 縮，將移動方向與物件A1相異的物件B從物件中排除。影像檢索部108a，將已檢索的物件A1、物件A2及物件C的影像資料和特徵記述子輸出到特徵抽出部108b。
特徵抽出部108b，使用從影像檢索部108a輸入的物件的影像資料及記述資料，使用特徵量在各物件的複數影像資料間進行分群。特徵抽出部108b，將分群結果中，包含在群組中的影像數最大者，定義為賦予特徵物件群組。特徵抽出部108b，從已定義的群組中所包含的影像資料，抽出物件比對所使用的特徵量。特徵抽出部108b，使用例如與上述非專利文獻1或非專利文獻2揭露之手法相同的手法，抽出物件比對使用的特徵量。用非專利文獻1或非專利文獻2揭露的手法所求出的特徵量，都是N次元的向量資料。特徵抽出部108b，針對群組所包含的各影像資料算出N次元向量資料後，將群組中包含的所有的影像資料之N次元向量資料予以平均化，或者選擇表示最大值的向量資料，針對群組抽出1個特徵量。特徵抽出部108b，將已抽出的特徵量輸出到判定部108c。
判定部108c，比較從特徵抽出部108b輸入的特徵量當中的構成物件對的各物件之特徵量，判定物件彼此是否為同一。判定部108c，將判定結果作為記述子記錄在暫存器(未圖示)等，並透過介面部107輸出到外部機器200。
在圖2之例的情況下，判定部108c進行作為相異網路攝影機NC所拍攝之物件對的物件A1和物件A2的特徵量的比較、及物件A1和物件C的特徵量之比較。判定部108c判定物件A1和物件A2的特徵量為同一。另外，判定部108c判定物件A1的特徵 量和物件C的特徵量並非同一。
繼之，說明影像處理裝置100的硬體構成例。
圖3A及圖3B為表示影像處理裝置100的硬體構成例之圖。
影像處理裝置100中的接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、介面部107及影像比對部108的各功能係藉由處理電路實現。亦即，影像處理裝置100具有用以實現上述各功能的處理電路。該處理電路，可以如圖3A所示般，為專用硬體的處理電路100a，亦可如圖3B所示般，為執行儲存在記憶體100c中的程式的處理器100b。
如圖3A所示，接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、介面部107及影像比對部108為專用硬體的情況下，處理電路100a為例如單一電路、複合電路、程式化處理器、並列程式化處理器、ASIC(Application Specific Integrated Circuit)、FPGA(Field-programmable Gate Array)、或上述之組合。接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、介面部107及影像比對部108的各部之各個功能可以用處理電路實現，也可以將各部的功能整合用1個處理電路實現。
如圖3B所示，接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、介面部107及影像比對部108為處理器100b的情況下，各部的功能由軟體、韌體、或者軟體和韌體的組合實現。軟體及韌體記載為程式並 儲存於記憶體100c。處理器100b，讀取並執行記憶體100c中所記憶的程式，藉此實現接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、介面部107及影像比對部108的各功能。亦即，藉由處理器100b實現接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、介面部107及影像比對部108時，具有用以儲存執行後述圖4及圖5所示的各步驟之程式的記憶體100c。另外，這些程式亦可說是使得電腦執行接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、介面部107及影像比對部108的程序或方法之物。
在此，處理器100b為例如CPU(Central Processing Unit)、處理裝置、演算裝置、處理器、微處理器、微電腦或者DSP(Digital Signal Processor)等。
記憶體100c為例如RAM(Random Access Memory)、ROM(Read Only Memory)、快閃記憶體、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等的非揮發性或揮發性的半導體記憶體，亦可為硬碟、軟碟等的磁碟，亦可為迷你光碟(minidisc)、CD(Compact Disc)、DVD(Digital Versatile Disc)等的光碟。
再者，接收部101、解碼部102、影像識別部103、記述子產生部104、資料記錄控制部105、介面部107及影像比對部108的各功能，可以一部分用專用硬體實現，一部分用軟體或韌體實現。像這樣，影像處理裝置100中的處理電路100a，可以用硬體、軟體、韌體、或其組合，實現上述的各功能。
繼之，說明影像處理裝置100的動作。
首先，參照圖4，說明影像處理裝置100的影像識別處理。
圖4為表示實施形態1的影像處理裝置100之影像識別處理的動作的流程圖。
接收部101從網路攝影機NC1,NC2,...,NCn接收傳送資料並將影像資料分離(步驟ST1)，輸出到解碼部102。解碼部102，將步驟ST1中所分離的影像資料解碼(步驟ST2)，輸出到影像識別部103。
影像識別部103的物件檢出部103a，嘗試要檢出步驟ST2中已解碼的影像資料中顯現的物件(步驟ST3)。在此，作為檢出對象的物件為，汽車、自行車及行人等的追蹤對象的移動物件。物件檢出部103a，判定是否已檢出物件(步驟ST4)。在未檢出物件的情況下(步驟ST4[否])，流程圖回到步驟ST1的處理。
另一方面，已檢出物件的情況下(步驟ST4[是])、物件檢出部103a，取得已檢出之物件的視覺特徵量、位置資訊及拍攝時刻等(步驟ST5)。物件檢出部103a，將已檢出的物件之影像資料、已取得的物件之視覺特徵量、位置資訊及拍攝時刻等作為檢出結果，輸出到物件追蹤部103b及記述子產生部104。
物件追蹤部103b，參照從物件檢出部103a輸入的物件之影像資料，對於1個影像訊框內檢出的各物件分別賦予不同的ID(步驟ST6)。物件追蹤部103b，從1個訊框內檢出的各物件的影像資料，抽出各物件的移動資訊(步驟ST7)。物件追 蹤部103b，參照步驟ST5中已取得的物件之視覺特徵量、及步驟ST7中已抽出的物件的移動資訊，判定從物件檢出部103a輸入的物件、和與該物件時間上連續的過去的影像訊框中檢出的物件，是否為同一(步驟ST8)。當判定物件並非同一時(步驟ST8[否])，進行步驟ST10的處理。
另一方面，判定物件為同一時(步驟ST8[是])，物件追蹤部103b，將步驟ST6中所賦予的ID改寫為已賦予給相同的過去物件的ID(步驟ST9)。物件追蹤部103b，判定是否已對於從物件檢出部103a輸入的所有物件進行處理(步驟ST10)。尚未對所有物件進行處理時(步驟ST10[否])，流程圖回到步驟ST7的處理。另一方面，已經對所有物件進行處理的情況下(步驟ST10[是])，物件追蹤部103b將物件ID及物件的移動資訊輸出到記述子產生部104(步驟ST11)。
記述子產生部104，基於從物件檢出部103a輸入的物件的視覺特徵量、位置資訊及拍攝時刻、步驟ST11中從物件追蹤部103b輸入的物件ID及物件的移動資訊，產生記述子(步驟ST12)。記述子產生部104，將已產生的記述子輸出到資料記錄控制部105。資料記錄控制部105，執行控制，使得將步驟ST12中已產生的記述子、和步驟ST2中已解碼的影像資料對映，並儲存於儲存器106中(步驟ST13)，處理結束。
繼之，參照圖5說明影像處理裝置100的影像比對處理。
圖5為表示實施形態1的影像處理裝置的影像比對處理之動作的流程圖。再者，以下係假設在2台網路攝影機拍攝的2個 影像資料間，檢索物件對時的處理，來進行說明，但也同樣可以適用於在3以上的影像資料間檢索物件對的處理。
透過介面部107從外部機器200設定檢索條件時(步驟ST21)，影像檢索部108a執行儲存器106內的檢索，檢索和已設定的檢索條件一致的物件，進行物件對的限縮(步驟ST22)。影像檢索部108a，判定是否已檢索到1組以上的各個不同的網路攝影機NC拍攝的物件對(步驟ST23)。未檢索到1組以上的物件對的情況下(步驟ST23[否])，影像檢索部108a結束處理。
另一方面，已檢索到1組以上物件對的情況下(步驟ST23[是])，影像檢索部108a，從儲存器106讀取已檢索到的1組以上的物件對的影像資料及記述子資料(步驟ST24)。影像檢索部108a，將已讀取的影像資料及記述子資料輸出到特徵抽出部108b。特徵抽出部108b，使用步驟ST24中已讀取的影像資料及記述子資料，使用特徵量在各物件的各影像資料間進行分群(步驟ST25)。特徵抽出部108b，定義賦予特徵各物件群組(步驟ST26)。特徵抽出部108b，從步驟ST26中已定義的群組內的影像資料抽出特徵量(步驟ST27)。特徵抽出部108b，將已抽出的特徵量輸出到判定部108c。
判定部108c，比較步驟ST27中已抽出的特徵量，判定構成物件對的物件彼此是否為同一(步驟ST28)。判定部108c，將步驟ST28的判定結果儲存於暫存器等，透過介面部107輸出到外部機器200(步驟ST29)，處理結束。
繼之，參照圖2所示之例，說明圖5之流程圖的各處理。
步驟ST21為，從外部機器200設定檢索條件，例如為「在網路攝影機NC1及網路攝影機NC2拍攝之區域中，逗留了一定時間以上的人物」。
步驟ST22為，影像檢索部108a進行儲存器106內的檢索，檢索與「在網路攝影機NC1及網路攝影機NC2拍攝之區域中，逗留了一定時間以上的人物」之檢索條件一致的物件。
如上述，在儲存器106中，儲存了物件ID、視覺特徵量、位置資訊、拍攝時刻、物件ID及移動資訊，並將其與物件的影像資料對映。在圖2的例中，對於作為網路攝影機NC1所檢出並追蹤的人物的物件A1，賦予新ID的時刻，相當於做為等當於網路攝影機NC1的拍攝影像的人物的物件A1a出現的時刻。另外，作為被賦予和該新ID相同ID的人物之物件(A1b到A1g)，係為作為同一物件被追蹤的物件。因此，被賦予和新ID相同ID的時間，相當於該物件逗留在網路攝影機拍攝影像內的時間。另外，圖2中顯示的箭頭Ta1，係由作為同一物件而被追蹤的物件(A1a到A1g)的位置資訊推定，為表示物件A1的移動軌跡的箭頭。
步驟ST23為，影像檢索部108a，檢索與檢索條件一致的4個物件(物件A1、物件A2、物件B及物件C)。另外，步驟ST23為，影像檢索部108a進行物件對的限縮，將物件B除外，檢出3個物件(物件A1、物件A2及物件C)(步驟ST23[是])。
步驟ST24為，影像檢索部108a，從儲存器106讀取物件A1、物件A2、物件C的影像資料及記述子資料。步驟ST25為，特徵抽出部108b，進行使用物件A1的特徵量的分群、使用 物件A2的特徵量的分群及使用物件C的特徵量的分群。步驟ST26為，特徵抽出部108b，分別對於物件A1、物件A2及物件C定義群組。步驟ST27為，特徵抽出部108b，從已定義的群組內的影像資料抽出特徵量。
步驟ST28為，判定部108c使用物件A1、物件A2及物件C的視覺特徵量及影像資料的特徵量，判定構成物件對的物件A1和物件A2為同一。另外，判定部108c，判定構成物件對的物件A1和物件C並非同一。步驟ST29為，判定部108c，將物件A1和物件A2為同一物件的判定結果、物件A1和物件B並非同一物件的判定結果、物件A1和物件C並非同一物件的判定結果，記錄在暫存器等，輸出到外部機器200。
圖6為表示實施形態1的影像處理裝置100的比對處理中，作為物件被追蹤的人物的影像資料例之圖。
圖6A為表示圖2所示之物件A的影像資料之圖，圖6B為表示圖2所示物件C的影像資料之圖。
如圖6A所示，即使是追蹤同一物件A的影像資料，有時候也會有例如因為障礙物Y而把物件A的一部分遮蔽的情況。另外，即使是追蹤同一物件A的影像資料，例如物件的姿勢已變化時，拍攝到的內容會改變。因此，從圖6A所示的物件A的4個影像資料選擇1個影像資料(例如，拍攝物件Ac的影像資料)，和從圖6B的物件C的4個影像資料選擇的影像資料(例如，拍攝物件Cb的影像資料)比較，則依存於已選擇的影像資料，影像比對部108的比對精度降低。
因此，影像比對部108，使用圖6A所示的例如4個 影像資料定義群組，從已定義的群組內的影像資料抽出特徵量。同樣地，影像比對部108，使用圖6B所示的例如3個影像資料定義群組，從已定義的群組內的影像資料抽出特徵量。判定部108c，將物件A的已抽出的特徵量、和物件C的已抽出的特徵量比較，藉此，能夠抑制判定結果依存於影像資料。
如上述，依據實施形態1，構成為具備：物件檢出部103a，解析影像資料，檢出顯現於該影像資料中的物件；物件追蹤部103b，於時間方向追蹤所檢出的該物件；記述子產生部104，基於物件的檢出結果、及追蹤結果，產生該物件的特徵記述子；資料記錄控制部105，由該所產生的該特徵記述子、及該特徵記述子所對應的物件的該影像資料，構成資料庫；影像檢索部108a，從資料庫，檢索出符合已設定的檢索條件的物件，並構成分別拍攝相異區域的該影像資料中顯現的物件組的物件；特徵抽出部108b，從所檢索出的物件的該影像資料及該特徵記述子，抽出比對所使用的特徵量；判定部108c，進行所抽出的該特徵量的比對，判定構成該物件組的物件是否為同一，因此，能夠不受背景或遮蔽造成的特徵量的變化之影響，在複數攝影機拍攝的影像間判定是否為同一物件。
另外，依據實施形態1，構成為，特徵抽出部，從檢索到的物件影像資料及特徵記述子，使用特徵量在已檢索的各物件的影像資料間進行分群，從由分群結果定義的群組內的影像資料抽出特徵量，能夠抑制依存於影像資料而使得比對精度降低的情況。
【產業上的利用可能性】
本發明的影像處理裝置，適用於例如包含監視系統的物體識別系統、或影像檢索系統。

Claims (4)

  1. 一種影像處理裝置，其包括：物件檢出部，解析影像資料，檢出顯現於該影像資料中的物件；物件追蹤部，於時間方向追蹤該物件檢出部所檢出的該物件；記述子產生部，基於該物件檢出部的檢出結果、及該物件追蹤部的追蹤結果，產生該物件的特徵記述子；資料記錄控制部，由該記述子產生部所產生的該特徵記述子、及該特徵記述子所對應的物件的該影像資料，構成資料庫；影像檢索部，從該資料記錄控制部所構成的該資料庫，檢索出符合已設定的檢索條件的物件，並構成分別拍攝相異區域的該影像資料中顯現的物件組的物件；特徵抽出部，從該影像檢索部所檢索出的物件的該影像資料及該特徵記述子，抽出比對所使用的特徵量；判定部，進行該特徵抽出部所抽出的該特徵量的比對，判定構成該物件組的物件是否為同一。
  2. 如申請專利範圍第1項所記載的影像處理裝置，該特徵抽出部，從該影像檢索部已檢索出的物件的該影像資料及該特徵記述子，在該已檢索的各物件的影像資料間進行使用特徵量的分群，從以該分群的結果定義的群組內的影像資料，抽出該特徵量。
  3. 如申請專利範圍第1或2項所記載的影像處理裝置，該特 徵記述子中包含該物件的視覺特徵量、及該物件的位置資訊。
  4. 一種影像處理方法，其包括：物件檢出部，解析影像資料，檢出顯現於該影像資料中的物件的步驟；物件追蹤部，於時間方向追蹤已檢出的該物件的步驟；記述子產生部，基於該物件的檢出結果、及該已檢出之物件的追蹤結果，產生該已檢出之物件的特徵記述子的步驟；資料記錄控制部，由該已產生的特徵記述子、及該特徵記述子所對應的物件的該影像資料，構成資料庫的步驟；影像檢索部，從該已構成的該資料庫，檢索出符合已設定的檢索條件的物件，並構成分別拍攝相異區域的該影像資料中顯現的物件組的物件的步驟；特徵抽出部，從該已檢索出的物件的該影像資料及該特徵記述子，抽出比對所使用的特徵量的步驟；判定部，進行該已抽出的特徵量的比對，判定構成該物件組的物件是否為同一的步驟。
TW107102185A 2017-08-22 2018-01-22 影像處理裝置及影像處理方法 TW201913568A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/JP2017/029884 2017-08-22
PCT/JP2017/029884 WO2019038821A1 (ja) 2017-08-22 2017-08-22 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
TW201913568A true TW201913568A (zh) 2019-04-01

Family

ID=63855258

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102185A TW201913568A (zh) 2017-08-22 2018-01-22 影像處理裝置及影像處理方法

Country Status (8)

Country Link
US (1) US11200683B2 (zh)
JP (1) JP6407493B1 (zh)
KR (1) KR102150847B1 (zh)
CN (1) CN111033564B (zh)
GB (1) GB2579736C (zh)
SG (1) SG11202000383SA (zh)
TW (1) TW201913568A (zh)
WO (1) WO2019038821A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227007B2 (en) * 2019-07-23 2022-01-18 Obayashi Corporation System, method, and computer-readable medium for managing image
JP6764012B1 (ja) * 2019-11-19 2020-09-30 株式会社ＡＲＩＳＥ ａｎａｌｙｔｉｃｓ 画像処理装置、画像処理方法、及びプログラム
JPWO2022014327A1 (zh) * 2020-07-14 2022-01-20
JP7157784B2 (ja) * 2020-09-10 2022-10-20 株式会社ARISE analytics 画像処理装置、画像処理方法、及びプログラム
KR20220121105A (ko) * 2021-02-24 2022-08-31 삼성전자주식회사 타겟 영역 내의 객체의 위치를 추적하는 방법 및 이를 수행하는 전자 장치
GB2618757B (en) * 2021-03-18 2024-05-29 Mitsubishi Electric Corp Image processing device and image processing method
CN113553457B (zh) * 2021-08-02 2025-02-21 杭州拼便宜网络科技有限公司 基于图像的商品检索方法、装置、设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743330B1 (en) * 2000-06-19 2010-06-22 Comcast Ip Holdings I, Llc Method and apparatus for placing virtual objects
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
WO2010075726A1 (zh) * 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
US9324003B2 (en) * 2009-09-14 2016-04-26 Trimble Navigation Limited Location of image capture device and object features in a captured image
TWI416068B (zh) 2009-12-10 2013-11-21 Ind Tech Res Inst 跨感測器間之物體追蹤方法與系統
JP5940862B2 (ja) * 2012-03-30 2016-06-29 セコム株式会社 画像処理装置
CN102799900B (zh) * 2012-07-04 2014-08-06 西南交通大学 一种基于检测中支持在线聚类学习的对象跟踪方法
SG11201506229RA (en) * 2013-02-27 2015-09-29 Hitachi Ltd Image analysis device, image analysis system, and image analysis method
JP6118752B2 (ja) 2014-03-28 2017-04-19 セコム株式会社 学習データ生成装置
KR20160032432A (ko) * 2014-09-16 2016-03-24 삼성에스디에스 주식회사 동일 객체 검출 방법 및 장치
JP6377533B2 (ja) * 2015-01-06 2018-08-22 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
JP2016143335A (ja) * 2015-02-04 2016-08-08 富士通株式会社 グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP5999394B2 (ja) * 2015-02-20 2016-09-28 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
WO2017046872A1 (ja) * 2015-09-15 2017-03-23 三菱電機株式会社 画像処理装置、画像処理システム及び画像処理方法

Also Published As

Publication number Publication date
GB2579736B (en) 2021-01-27
KR102150847B1 (ko) 2020-09-02
CN111033564A (zh) 2020-04-17
US20200242782A1 (en) 2020-07-30
WO2019038821A1 (ja) 2019-02-28
JPWO2019038821A1 (ja) 2019-11-07
US11200683B2 (en) 2021-12-14
CN111033564B (zh) 2023-11-07
GB2579736C (en) 2021-03-10
JP6407493B1 (ja) 2018-10-17
GB2579736A (en) 2020-07-01
GB202002056D0 (en) 2020-04-01
SG11202000383SA (en) 2020-02-27
KR20200020009A (ko) 2020-02-25

Similar Documents

Publication Publication Date Title
JP6407493B1 (ja) 画像処理装置および画像処理方法
JP7317919B2 (ja) 外観検索のシステムおよび方法
EP3321844B1 (en) Action recognition in a video sequence
JP4616702B2 (ja) 画像処理
JP6829412B1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
KR20160101010A (ko) 비-균일한 사이즈의 공간 영역들과 관련된 메타데이터를 발생시키기 위한 시스템들, 방법들, 및 장치
KR101750094B1 (ko) 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
JP4973188B2 (ja) 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
CN110533053A (zh) 一种事件检测方法、装置及电子设备
Huang et al. Enhancing multi-camera people tracking with anchor-guided clustering and spatio-temporal consistency id re-assignment
Ramos et al. Fast-forward video based on semantic extraction
Al-Obaidi et al. Making sense of neuromorphic event data for human action recognition
TW201328359A (zh) 基於壓縮域的移動物件偵測方法及裝置
KR20230099369A (ko) 객체의 위치 추정을 위한 가려짐 판별과 객체 좌표 보정
KR102475752B1 (ko) 이동 경로 예측 방법 및 장치
Zeppelzauer et al. A novel trajectory clustering approach for motion segmentation
CN118762057A (zh) 一种基于卷积网络的无监督行为跟踪识别方法及系统
CN120302011A (zh) 一种社区远程监控视频传输方法及系统
Yue et al. Spatio-temporal constraint for fast face tracking in movies