[go: up one dir, main page]

TWI666592B - 產生非剛性模型之系統及方法 - Google Patents

產生非剛性模型之系統及方法 Download PDF

Info

Publication number
TWI666592B
TWI666592B TW102134182A TW102134182A TWI666592B TW I666592 B TWI666592 B TW I666592B TW 102134182 A TW102134182 A TW 102134182A TW 102134182 A TW102134182 A TW 102134182A TW I666592 B TWI666592 B TW I666592B
Authority
TW
Taiwan
Prior art keywords
appearance
shape
rigid model
model
images
Prior art date
Application number
TW102134182A
Other languages
English (en)
Other versions
TW201432583A (zh
Inventor
西蒙麥克 盧斯
傑森莫拉 薩拉吉
Original Assignee
澳洲聯邦科學暨工業研究組織
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2012904080A external-priority patent/AU2012904080A0/en
Application filed by 澳洲聯邦科學暨工業研究組織 filed Critical 澳洲聯邦科學暨工業研究組織
Publication of TW201432583A publication Critical patent/TW201432583A/zh
Application granted granted Critical
Publication of TWI666592B publication Critical patent/TWI666592B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種產生非剛性模型之方法，包含：在一資料介面上接收複數個關鍵影像；以及以一處理器，產生該非剛性模型，基於：該複數個關鍵影像之外觀與該非剛性模型之一外觀組件之間的一外觀誤差；該複數個關鍵影像之形狀與該非剛性模型之一形狀組件之間的一形狀誤差；以及該非剛性模型之該形狀組件及該外觀組件的一維度。

Description

產生非剛性模型之系統及方法 【相關申請案】
本申請案主張澳洲臨時專利申請案案號2012904080，其申請日為2012年9月19日，本案申請藉由引用該臨時專利申請案包含其所有內容。
本發明係關於一種數位模型之產生；特別是，但不限於，本發明係關於一種使用一特定人主動外觀模型產生之一視頻。
隨著數位相機已於多種設備上變為是司空見慣，使用者自行產生內容(User Generated Content、UGC)正變得越來越受歡迎。使用者可以錄下自己或別人的視頻，並藉由一網站或經由電子郵件與朋友家人分享。
合成使用者自行產生內容，其為使用者劃的視頻剪輯，也越來越受歡迎了。在選舉期間，流行劃代表政治人物之化身；及在節假日時是流行劃有關該節假日之人物，如聖誕有關之精靈。
目前有多數系統存在可供使用者藉由指令畫出一化身，此種指令之例子包含可使該化身哈哈笑或微笑、擺出表情或以某種方式動之指令。然而，此種習知前案之系統的問題在於，化身只能基於受限制之一組指令執行。這常常導致限制情感的表達，也因此該化身無法具有逼真之外 觀。
某些系統允許使用者藉由自己的動作動畫一化身。此一些系統包括表情之偵測，其中一使用者的表情會被偵測到並且應用到該化身。其他更先進的系統包括模擬該使用者之移動方式及表情，並將所得到的模型結果應用於該化身。
此些習知技術之系統的另一個問題在於，建模過程可能會很複雜又費時。嘗試減少複雜性可能導致產生一不夠健全的系統和/或其使用者之模型不準。同樣的，複雜的習知技術之系統中沒有特別適合於複雜敏感的應用程式，例如即時及手持式之應用程式。
然而，習知技術之系統的另一個問題在於，系統所產生的模型可能不接近使用者的真實再現。此問題在訓練資料量少時特別明顯。在這種情況下，過度擬合可能會發生，其中該模型沒有準確地描述到該使用者但還是非常擬合於該訓練資料。
本發明之一目的在於提供一種系統及方法，可產生一使用者的模型，其模型可更接近呈現該使用者的真實模樣。
本發明提供一種產生非剛性模型之方法，包含：在一資料介面上接收複數個關鍵影像；以及以一處理器，產生該非剛性模型，基於：該複數個關鍵影像之外觀與該非剛性模型之一外觀組件之間的一外觀誤差；該複數個關鍵影像之形狀與該非剛性模型之一形狀組件之間的一形狀誤差；以及該非剛性模型之該形狀組件及該外觀組件的一維度。
較佳地，產生非剛性模型之方法更包含：分解一成本函數為一複數個使用交替方向乘子法之子問題。
較佳地，該成本函數包含∥D∥++λ a ∥E a ∥1+λ s ∥E s ∥1，其中∥D∥+包含描述該外觀組件及該形狀組件之該矩陣的一核型範數(nuclear norm)；∥E a ∥1包含該外觀誤差之一L1範數(L1 norm)；∥E s ∥1包含該形狀誤差之一L1範數；以及 λ a 、λ s 分別包含該外觀誤差及該形狀誤差之加權因數(weighting factor)。
100‧‧‧視頻會議系統
105a‧‧‧第一相機
105b‧‧‧第二相機
110a‧‧‧第一顯示畫面
110‧‧‧顯示畫面
115‧‧‧計算裝置
120‧‧‧資料通訊網路
200‧‧‧系統
205‧‧‧相機
210‧‧‧螢幕
215‧‧‧處理器
220‧‧‧記憶體
為了幫助理解本發明，並可使本技術領域具有通常知識者可將本發明付諸實際效果，本發明的較佳實施例將會如下描述，並且僅以示例的方式與附圖參考，其中：圖一係為本發明之視訊系統的一實施例；圖二係為本發明之一系統的實施例，其係用於產生一特定人主動外觀模型；圖三a係為一形狀資料之正面圖之一實施例；圖三b係為圖三a之形狀資料的側面圖；圖4係為產生一特定主動外觀模型之方法的一實施例；圖5係為本發明之一計算裝置的實施例。
本技術領域具有通常知識者將會理解，附圖中所示的元件之佈局的微小偏差將不會脫離本發明公開的實施例的正常運行。
本發明之實施例包括產生非剛性模型的系統及方法。本發明的元件在附圖中以簡潔輪廓形式示出，並僅示出為理解本發明所必要的該些具體細節，以便不擾亂過多細節的公開對本領域具有通常知識者來說是顯而易見的技術內容。
在本專利說明書中，如第一及第二、左及右、前及後、頂部及底部等形容詞，僅係用於區別一元件或方法步驟與另一元件或方法步驟，而不一定是在如該些形容詞描述要求的一特定的相對位置或序列。如“包括”或“包含”之詞並不係用於限定一組元件或方法步驟。更確切地說，這樣的詞僅僅定義元件或之最低限度的組合或包含一特定實施例之方法步驟。
本說明書中所引用或參考到的任何習知技術之前案，並非被 視為是本說明書在承認係部分形成為通常知識。
根據一個方面，本發明係在於產生一非剛性模型之方法，包括：於一資料介面上接收複數個關鍵影像；以及以一處理器產生該非剛性模型，該產生是基於：該複數個關鍵影像之外觀與該非剛性模型之一外觀組件之間的一外觀誤差；該複數個關鍵影像之形狀與該非剛性模型之一形狀組件之間的一形狀誤差；以及該非剛性模型之該形狀組件及該外觀組件的一維度。
在本發明的其他某些實施例包括在低複雜度中提供一健全的特定人模型的功能。藉此，可更有效的提供化身的動畫。此外，通過產生模型時，利用形狀和外觀來產生該模型，更準確的模型可被提供。
圖1顯示本發明之視頻會議系統100的一實施例。
本視頻會議系統100包括一第一相機105a和耦合到一第一計算裝置115a之一第一顯示畫面110a，其共同於一第一位置形成該視頻會議系統100之一第一部分。視頻會議系統100更包括一第二相機105b及一第二顯示畫面110b耦合於一第二計算裝置115b，其是共同於一第二位置形成該視頻會議系統100之一第二部分。
第一和第二計算裝置115a、115b藉由一資料通訊網路120，如互聯網聯，耦接著。
下面所描述的為一方法，用於產生使用一特定人模型之一視頻，其中該視頻是顯示於該視頻會議系統100上。
在傳送任何視頻資料前，將執行供於系統100上使用者之一登記階段。登記階段可以是一個帳戶註冊步驟的一部分，或可以在使用者於系統100初始使用視頻會議通訊進行。
在註冊階段，使用者的一登記視頻將會被記錄起來。登記視頻可以，例如，為10秒之久。然而，更長和更短的登記視頻可以被用來創造更準確及更不準確的特定人模型或具有更豐富表情之模型。然而，是較佳將登記階段盡可能的保持於最短，以致使不會造成使用者的不便。
正如熟於此技術領域者可輕易理解到，並非視頻會議系統100之所有使用者須進行該註冊階段。有些使用者可使用依據本發明之一特 定人主動外觀模型，而其他使用者可使用泛型模型，以舉例而言。相同的，一第一使用者可繪畫一化身，而一第二使用者可以傳輸未修飾的視頻。
一泛型人臉檢測器並且將會係應用於該登記視頻，以致使使用者的臉可被局部化。一泛型人臉檢測器之一例子係為是一基於堇菜-瓊斯(Viola-Jones)之人臉檢測演算法。在登記階段中，背景及視頻中的其它特徵將不進一步考慮。
系統100可修改登記視頻，以使得其只包括臉部、可產生一僅包含臉部之新的登記視頻串或可以其他方式忽視背景及其他特徵。
一特定人主動外觀模型(AAM)基於該登記視頻之人臉並且將會被產生。AAM係為一模型，其代表一物體之形狀及外觀。藉由代表形狀及外觀，該模型可利用到一目標物體所包括之一影像區域之訊息，而並非僅僅利用到該影像區域中的邊緣。
在此情況下，形狀是指該人臉之幾何形狀，如眼睛、嘴及其他臉特徵之形狀及位置。外觀是指臉的紋理或臉的外觀，其是提供於該影像之像素值。
當擬合一AAM於登記視頻之臉時，視頻中的臉之形狀與AAM所模擬的臉之形狀將會有一誤差，且視頻中的臉之外觀與AAM的臉之外觀也將會有一誤差。該誤差的大小通常會隨著模型變複雜而減少，並因此能夠更有效地呈現形狀及紋理。
本發明提供了一種AAM，既簡單(即低維)及準確(即具有較低的形狀及外觀錯誤)。這是藉由共同減少：1)該複數個關鍵影像之外觀與該非剛性模型之一外觀組件之間的一外觀誤差；2)該複數個關鍵影像之形狀與該非剛性模型之一形狀組件之間的一形狀誤差；以及3)該非剛性模型之該形狀組件及該外觀組件的一維度。
該AAM還是錨定於所有臉之泛型子空間，以避免過擬合資料。藉由納入泛型臉之外觀及形狀的子空間，一更穩定之模型可被產生。
AAM之產生可以經由以下方式進行：
s.t.I+[J1△p1,...,J T △p T ]=D+[E a ；E s ]
D=ΦC.
在此，D=[A；S]，其D表示集合之每個影像中的扭曲外觀和形狀的扭曲評估之串聯，其分別疊於矩陣A及S之列。EA和ES表示外觀誤差和形狀誤差，以及λA和λS分別表示外觀誤差及形狀誤差的加權因數(weighting factor)。I表示扭曲影像及形狀，其上執行影像的線性化及扭曲函數。JT代表層疊雅可比矩陣(Jacobians)分別對第t影像之影像、扭曲函數。最後，Φ表示相結合的外觀及形狀之變異的一泛型線性模型，其中C表示為每該影像以欄層疊之係數。
藉由使用單值分解(Singular Value Decomposition)，可從D中取得該特定人主動外觀模型，如本技術領域具有通常知識者可輕易理解。
主動外觀模型之產生，如前所述，可依據交替方向乘子法分解為多個子問題。每個子問題可以簡單而有效地在一電腦處理器上被解決。使用拉格朗日乘子(Lagrange multipliers)，主動外觀模型之產生可被改寫為：
其中E=[Ea；Es]
如本技術領域具有通常知識者可理解的，拉格朗日乘數之拐點，其係為產生該AAM之相等解決方法，可依據下列步驟交替執行直至收斂：
一旦此特定人主動外觀模型(AAM)被產生後，可於視頻會議系統100中使用。
該特定人主動外觀模型AAM可供視頻會議系統100之其他使用者使用，以致使該些使用者可使用該特定人主動外觀模型AAM，依據該特定人主動外觀模型的參數來重建形狀及/或外形資料。根據某些實施方式中，該模型之產生可使用外型及形狀兩者，其中該動態頭像之產生僅使用該形狀。在產生該模型時，藉由同時參考形狀及外觀，可產生更準確的模型。
使用者所輸入的圖藉由使用相機105a擷取，並且該特定人主動外觀模型AAM係被套用於該圖上。特定人主動外觀模型之套用係在相機105a接收該些圖時進行，以利於避免視訊會議時引入延遲的情況。
第一計算裝置115a接著將會把特定人主動外觀模型AAM之形狀參數傳輸至第二計算裝置115b，第二計算裝置115b則是將該形狀參數套用於一頭像化身，如使用者化身製圖。該使用者化身製圖可被傳輸至第二使用者設備(第二計算裝置)115b，或可由第二使用者設備410b、510b所產生。化身隨後會被呈現於第二使用者設備410b的螢幕上。
根據另一實施例(未示出)，視頻會議系統100可包括一閘道伺服器，用於傳送資料。閘道伺服器可從第一計算裝置115a接收未經處理的視頻影像並且產生該特定人主動外觀模型AAM，或自第一計算裝置 115a接收該特定人主動外觀模型AAM並且從其呈現一化身。該特定人主動外觀模型AAM或該呈現的化身將會被傳送至第二使用者裝置(第二計算裝置)115b。藉由此可使得部分資料處理能夠在遠離第一計算裝置115a及/或第二計算裝置115b之處進行。
此處所言的未處理資料係指未經過處理來產生該人特定人主動外觀模型AAM的視頻影像。如本技術領域具有通常知識者可輕易理解，該視頻影像被相繼擷取後可以被壓縮、編碼/加密或以其他方式修改。
根據某些實施方式，用於產生特定人主動外觀模型AAM之ADMM係依據一通用面部比對(配對)演算法被初始化。通用面部比對演算法的一個例子可為約束局部模型(Constrained Local Model、CLM)。這是有利於在聯合優化中可尋找到全局的最小值(global minimum)，如尋找一個準確的特定人主動外觀模型AAM，而不是在找一個與準確特定人主動外觀模型AAM不對應的局部最小值。
根據某些實施方式，產生特定人主動外觀模型AAM之計算處理負載係，藉由從登記的視頻中選取一複數個關鍵幀(key frames)，進一步的被降低。由於特定人主動外觀模型之產生使用較少的圖像，可實現降低相當多的複雜性。
在此情況下，一個通用面部比對/配準演算法，如上述的約束局部模型CLM，係用於獲取登記影像中臉部形狀之一估計值。該些臉部(亦即，登記影像的影像幀)會依據通用面部配準演算法之輸出被聚集(亦即，該些形狀之估計值)。登記影像中表現呈現最獨特的面部形狀之影像幀將會被選為關鍵幀。
然後，根據只使用關鍵幀對特定人主動外觀模型AAM之形狀誤差、外觀誤差及維數進行聯合最小化。
圖2示出一系統200，依據本發明之一實施例係用於產生一特定人主動外觀模型。
系統200包括相機205及顯示螢幕210，類似於圖1中的第一及第二計算裝置115a、115b。系統200可用於例如在視頻剪輯中顯示一化身，其可被儲存起來、上傳到一文件共享網站(file-sharing site)或傳送給 朋友。
系統200進一步包括一處理器215，其係耦接於該相機205及顯示螢幕210。處理器215進一步係耦接於一記憶體220，其包含一指令代碼225，用於基於相機205錄製之影像產生一特定人主動外觀模型AAM。
該指令代碼225包括用於接收相機205的視頻影像之指令、基於該視頻影像至少一部分產生一特定人主動外觀模型AAM之指令、套用該特定人主動外觀模型AAM於該視頻影像上之指令以及當套用於該視頻影像時基於該特定人主動外觀模型之形狀參數產生一化身圖像之指令。
如本技術領域中具有通常知識者可輕易理解，該複數個關鍵影像像並非一定係由相機205捕獲。系統200可，例如，包括網絡介面(未示出)，用於將系統200連接至一網路以接收該視頻影像。然而，在其他實施例中，視頻影像亦可從一檔案中讀取得到。因此，特定人主動外觀模型AAM可自一第一使用者的一視頻剪輯中被產生，並且可用來畫出一化身。
系統200可，例如，包括一低處理能力的設備，如行動電話、個人數位助理(Personal Digital Assistant、PDA)、平板電腦，或其他類似的設備、個人電腦或一複數個電腦裝置。
根據本發明的另一個實施例(未示出)，系統200將會把視頻影像傳輸至一伺服器中，其伺服器可對該視頻影像進行影像處理並且產生該特定人主動外觀模型AAM。該特定人主動外觀模型AAM則係會從該系統200被傳回。然後，系統200可以套用該特定人主動外觀模型於該視頻影像上(或其它視頻)，並且根據形狀參數劃出一化身模型。然而，在其他實施例中，該伺服器亦可套用該特定人主動外觀模型AAM於該視頻影像。
畫出該化身模型特別係適合於小型裝備(compact devices)，如行動電話，的圖形處理單元(Graphics Processing Units、GPU)。該動畫可包括將使用者的面部表情傳輸至一化身的面部，或傳輸一身體規格或動作。此處可包含，例如，畫出使用者的表情、使一化身以一特定方式跳舞或移動或以產生特定的動作，例如手語。
化身的動畫可包括適用一個三維模型(3D model)、所述特定 人主動外觀模型的參數，或其他形狀的資料套用於所述化身資料，並且可以包括根據化身的資料對形狀資料施加一個匹配函數。此外，化身的動畫可以根據多個源化身匹配映射函數，如國際專利申請號PCT/AU2012/000295中描述(其標題為“METHOD AND SYSTEM FOR FACIAL EXPRESSION TRANSFER”，由本發明之申請人於2012年3月21日申請)。
圖3a示出形狀數據300的前視圖，根據本發明的一實施例，圖3b示出形狀數據300的側視圖。
形狀數據300包括多個三維點(3D points)305，對應於使用者的面部之特徵。該特徵可以包括一眼睛、嘴、眉毛、顎的形狀或任何其它的特徵。如本文所定義，形狀數據300可以被輸入至特定人主動外觀模型AAM中以致使加細該特定人主動外觀模型AAM。
圖4示出根據本發明之一實施例，產生特定人主動外觀模型AAM之一方法400。
在步驟405中，一複數個影像會被接收，其係與一使用者相關。該複數個影像有利地包括一個視頻序列，其為被特定人主動外觀模型AAM套用之對象，如前所討論過。
在步驟410中，一個通用對準演算法係應用到複數個圖像/影像。該通用對準演算法可以，例如，包括CLM。
在步驟415中，根據通用對準演算法的輸出，該複數個圖像將會被聚集。聚集係是有利地基於複數個影像中之面部形狀，使得相似的面部形狀被聚集在一起。
在步驟420中，一複數個關鍵影像將將會被選擇，包括從每個聚集中的至少一個關鍵影像。這可提供一組關鍵影像作為代表使用者的面部形狀之廣泛範圍，並包括例如形狀數據300。
在步驟425中，非剛性模型是基於一外觀誤差、一形狀誤差及一模型的維數被產生，如前所討論過。
圖5圖解示出了本發明之計算裝置500之一實施例。圖1中的第一和第二計算裝置105a、105b可與計算裝置500相似或相同。相同 地，圖4之方法400可以使用計算裝置500來實現。
計算裝置500包括一中央處理器502、一系統記憶體504及一系統總線506耦接於各種系統組件，包括耦接該系統記憶體504至該中央處理器502。系統總線506可以為各種種類的總線結構，包括可使用任何種類的總線體的記憶總線或存儲器控制器、一外設總線以及一局部總線。系統存儲器504的結構是本領域技術人員眾所周知的，並且可以包括儲存於一唯讀記憶體(Read only Memory、ROM)之一基本輸入/輸出系統(BIOS)及一個或多個程序模組，例如操作系統、應用程式及儲存於隨機存取記憶體(Random Access Memory、RAM)的程式數據。
計算裝置500還可以包括多種介面單元及用於讀取和寫入數據的硬碟。該些數據可以包括，例如，如前所述相機與顯示畫面之間的位移。
具體而言，該計算裝置500包括數據存儲介面508及可抽取式記憶體介面510，分別耦接一固態或硬盤驅動器512及一可抽取式記憶體硬碟514至系統總線506。抽取式記憶體硬碟514可包括磁盤硬碟及光盤硬碟。硬碟及其關聯的可讀取媒體，如數位化功能光盤(DVD)516提供計算機可讀指令、數據結構、程序模組及其它數據的計算機(電腦)系統500的非易失性存儲(non-volatile storage)。單個硬盤硬碟512和一個可抽取式記憶體514僅為顯示使用用途，計算裝置500亦可以包括各種類似的驅動器。此外，計算裝置500可以包括用於與其他種類的電腦可讀取媒體連接之驅動器。
計算裝置500可以包括用於將設備連接到系統總線506的附加介面。圖。圖5示出一個通用串行總線(USB)介面518可用於連接一個設備到系統總線506。例如，一個IEEE 1394介面520可用於連接附加設備連接到計算裝置500。額外的設備的例子包括攝像機，用於接收圖像或視頻，或麥克風用於記錄音頻。
的計算裝置500可以在使用到一個或多個遠程計算機或其他設備，諸如服務器，路由器，網絡個人計算機，對等設備或其它常見的網絡節點，無線邏輯連接在聯網環境中操作電話或無線個人數字助理。計 算裝置500包括網絡介面522耦合在系統總線506到區域網(LAN)524。網絡環境常見於辦公室，企業範圍的計算機網絡和家用電腦系統。
一種廣域網(WAN)，如互聯網，也可以由計算裝置通過連接到串行端口介面526調製解調器單元或經由LAN 524訪問，例如。
可以理解的係，所示和所述的網絡連接是示例性的，亦可以使用建立計算機之間的通信鏈路的其他方式。任何各種公知的協議，如TCP/IP，幀中繼，以太網，FTP，HTTP等中，存在著被假定，並且在計算裝置500可以在客戶端-服務器配置中操作以允許使用者要從中檢索數據，例如，基於網絡的服務器。
在計算裝置500的操作可以由各種不同的程序模塊來控制。程序模塊的實例是例程，程序，對象，組件，和它們執行特定任務或實現特定抽象數據類型的數據結構。本發明也可以用其它計算機系統配置，包括手持式設備，多處理器系統，基於微處理器或可編程消費電子產品，網絡PC，小型機，大型計算機，個人數字助理等。此外，本發明還可以實施在其中任務由通過通信網絡鏈接的遠程處理設備執行的分佈式計算環境。在分佈式計算環境中，程序模塊可以位於本地和遠程存儲器存儲設備中。
綜上所述，本發明的某些實施例的優點包括提供，在低複雜度，一個強大的個人特定模型的能力。因此，更高效的化身的動畫可以設置。
本發明各種實施例的以上描述提供了一種用於描述的目的，以在相關領域中普通技術人員中的一個。它並非旨在是窮盡的或將本發明限制到所公開的單個實施例。如上面所提到的，許多替代方案和變型，本發明將是顯而易見的本領域技術人員根據上述教導本領域中。因此，在一些替代的實施例已被具體地討論的，其它實施例將是顯而易見的或相對容易地通過本領域的普通技術人員開發的。因此，本專利說明書旨在涵蓋所有替換，修改和已在此所討論的本發明的變化，並落在上述描述的本發明的精神和範圍內的其它實施例。

Claims (19)

  1. 一種產生非剛性模型之方法，包含：在一計算裝置的一資料介面上接收複數個關鍵影像；以及以該計算裝置的一處理器，基於一成本函數，進行聯合最小化產生該非剛性模型，其中該成本函數包括由以下部份所形成的線性組合：該複數個關鍵影像之外觀與該非剛性模型之一外觀組件之間的一外觀誤差；該複數個關鍵影像之形狀與該非剛性模型之一形狀組件之間的一形狀誤差；以及描述該非剛性模型之該形狀組件及該外觀組件的一矩陣的一級別或一核型範數，其中該矩陣包括該些關鍵影像中的每一者中估測的扭曲外觀及形狀之串聯；其中產生該非剛性模型包含分解一成本函數為一複數個使用交替方向乘子法之子問題。
  2. 如申請專利範圍第1項所述之方法，其中該成本函數包含∥D∥++λ a ∥E a ∥1+λ s ∥E s ∥1，其中∥D∥+包含描述該外觀組件及該形狀組件之該矩陣的一核型範數；∥E a ∥1包含該外觀誤差之一L1範數；∥E s ∥1包含該形狀誤差之一L1範數；以及λ a 、λ s 分別包含該外觀誤差及該形狀誤差之加權因數。
  3. 如申請專利範圍第2項所述之方法，其中D包括[A；S]，各別表示該些關鍵影像中的每一者中估測的扭曲外觀及形狀之串聯所形成的矩陣A及矩陣S之行。
  4. 如申請專利範圍第1項所述之方法，其中描述該非剛性模型的該形狀組件及外觀組件的該矩陣之維度包含形容該形狀組件及該外觀組件之該矩陣的一級別。
  5. 如申請專利範圍第1項所述之方法，其中描述該非剛性模型之該形狀組件及該外觀組件的該矩陣的該維度包含判斷形容該形狀組件及該外觀組件的該矩陣之一核型範數。
  6. 如申請專利範圍第1項所述之方法，其中該形狀誤差包含代表該複數個關鍵影像之形狀與該非剛性模型之一形狀組件之間的一誤差之一L1範數。
  7. 如申請專利範圍第1項所述之方法，其中該外觀誤差包含代表該複數個關鍵影像之外觀與該非剛性模型之一外觀組件之間的一矩陣之一L1範數。
  8. 如申請專利範圍第1項所述之方法，其中產生該非剛性模型更包含將該非剛性模型錨定於一泛型模型之一子空間。
  9. 如申請專利範圍第1至8項任一所述之方法其中之一，其中該該非剛性模型包含一主動外觀模型。
  10. 如申請專利範圍第9項所述之方法，其中該非剛性模型包含一特定人臉主動外觀模型。
  11. 如申請專利範圍第1項所述之方法，其中該關鍵影像包含一視頻序列之影像。
  12. 如申請專利範圍第1項所述之方法，更包含：對該些關鍵影像施加一泛型對準算法，其中產生該非剛性模型包含使用該泛型對準算法之輸出來初始化一搜索功能。
  13. 如申請專利範圍第12項所述之方法，其中該泛型對準算法包含局部限制模型。
  14. 如申請專利範圍第1項所述之方法，其中該關鍵影像包含一複數個影像之一子集。
  15. 如申請專利範圍第14項所述之方法，其中該非剛性模型被施加於該複數個影像。
  16. 如申請專利範圍第1至8、11、12-15項任一所述之方法其中之一，更包含：對複數個影像施加一泛型對準算法；以及依據該泛型對準算法之一輸出，聚集該複數個影像；其中該關鍵影像包含每該聚集之一影像。
  17. 一種產生複數個化身影像之方法，該方法包含：於一計算裝置的一資料介面上接收複數個輸入影像；以該計算裝置的一處理器自該複數個輸入影像選擇一複數個關鍵影像；以該處理器基於一成本函數進行聯合最小化產生該非剛性模型，其中該成本函數包括由以下部份所形成的線性組合：該複數個關鍵影像之外觀與該非剛性模型之一外觀組件之間的一外觀誤差；該複數個關鍵影像之形狀與該非剛性模型之一形狀組件之間的一形狀誤差；以及描述該非剛性模型之該形狀組件及該外觀組件的一矩陣的一級別或一核型範數，其中該矩陣包括該些關鍵影像中的每一者中估測的扭曲外觀及形狀之串聯；以該處理器，藉由對該複數個輸入影像施加該非剛性模型，產生複數個參數供該非剛性模型；以及以該處理器，產生複數個化身影像，其中顯示於該複數個化身影像其中之一化身係使用該複數個參數產生動畫；其中產生該非剛性模型包含分解一成本函數為一複數個使用交替方向乘子法之子問題。
  18. 如申請專利範圍第17項所述之方法，其中使用該複數個參數產生動畫之化身影像顯示於一視頻會議系統。
  19. 一種產生一非剛性模型之系統，該系統包含：一資料介面；一處理器耦接於該資料介面；以及一記憶體耦接至該處理器，該記憶體包含電腦可讀取指令碼供：於該資料介面上接收複數個關鍵影像；以及於該資料介面上基於一成本函數進行聯合最小化，其中該成本函數包括由以下部份所形成的線性組合：該複數個關鍵影像之外觀與該非剛性模型之一外觀組件之間的一外觀誤差；該複數個關鍵影像之形狀與該非剛性模型之一形狀組件之間的一形狀誤差；以及描述該非剛性模型之該形狀組件及該外觀組件的一矩陣的一級別或一核型範數，其中該矩陣包括該些關鍵影像中的每一者中估測的扭曲外觀及形狀之串聯；其中產生該非剛性模型包含分解一成本函數為一複數個使用交替方向乘子法之子問題。
TW102134182A 2012-09-19 2013-09-23 產生非剛性模型之系統及方法 TWI666592B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??2012904080 2012-09-19
AU2012904080A AU2012904080A0 (en) 2012-09-19 System and method of generating a non-rigid model

Publications (2)

Publication Number Publication Date
TW201432583A TW201432583A (zh) 2014-08-16
TWI666592B true TWI666592B (zh) 2019-07-21

Family

ID=50340454

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102134182A TWI666592B (zh) 2012-09-19 2013-09-23 產生非剛性模型之系統及方法

Country Status (4)

Country Link
US (1) US9928635B2 (zh)
AU (1) AU2013317700B2 (zh)
TW (1) TWI666592B (zh)
WO (1) WO2014043755A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090011152A (ko) * 2007-07-25 2009-02-02 삼성전자주식회사 콘텐츠 제공 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001037222A1 (en) * 1999-11-18 2001-05-25 Anthropics Technology Limited Image processing system
US20050169536A1 (en) * 2004-01-30 2005-08-04 Vittorio Accomazzi System and method for applying active appearance models to image analysis
US20100295854A1 (en) * 2003-03-06 2010-11-25 Animetrics Inc. Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2846502B1 (fr) * 2002-10-28 2005-02-11 Thomson Licensing Sa Procede de selection de germes pour le regroupement d'images cles
CA2774257C (en) 2008-09-30 2021-04-27 Universite De Montreal Method and device for assessing, training and improving perceptual-cognitive abilities of individuals
US8144976B1 (en) * 2010-12-06 2012-03-27 Seiko Epson Corporation Cascaded face model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001037222A1 (en) * 1999-11-18 2001-05-25 Anthropics Technology Limited Image processing system
US20100295854A1 (en) * 2003-03-06 2010-11-25 Animetrics Inc. Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery
US20050169536A1 (en) * 2004-01-30 2005-08-04 Vittorio Accomazzi System and method for applying active appearance models to image analysis

Also Published As

Publication number Publication date
AU2013317700A1 (en) 2015-04-09
WO2014043755A1 (en) 2014-03-27
AU2013317700B2 (en) 2019-01-17
US9928635B2 (en) 2018-03-27
US20150235406A1 (en) 2015-08-20
TW201432583A (zh) 2014-08-16

Similar Documents

Publication Publication Date Title
US12272015B2 (en) Messaging system with neural hair rendering
US11710248B2 (en) Photometric-based 3D object modeling
US11836835B2 (en) Motion representations for articulated animation
US12056792B2 (en) Flow-guided motion retargeting
US12081794B2 (en) Video compression system
CN115803783A (zh) 从2d图像重建3d对象模型
US12154303B2 (en) Compressing image-to-image models with average smoothing
US9747695B2 (en) System and method of tracking an object
CN117136404A (zh) 从歌曲中提取伴奏的神经网络
TWI666592B (zh) 產生非剛性模型之系統及方法
CN119338958A (zh) 基于语音驱动的人物动画生成方法和装置、设备及介质
CN116685981A (zh) 压缩图像到图像模型

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees