TWI774088B - 餐飲內容識別方法以及餐飲內容識別系統 - Google Patents

Abstract

一種餐飲內容識別系統，用以執行一種餐飲內容識別方法。方法包含：取得一偵測區域上的多個距離值，以產生一距離分佈，並擷取包含偵測區域之一待分析影像；將距離分佈映射至待分析影像；設定一門檻距離，以在待分析影像中定義各距離值小於門檻距離的部份作為至少一待辨識區塊；對至少一待辨識區塊進行影像辨識，識別位於待辨識區塊的一食物的種類；以及依據距離分佈，取得食物的體積。

Description

餐飲內容識別方法以及餐飲內容識別系統

本發明有關於餐飲內容的自動識別，特別是關於一種餐飲內容識別方法以及其餐飲內容識別系統。

在需要快速記錄取用餐飲內容的場合，例如自助式取餐的計價、個人飲食內容管理，往往需要人工辨識並記錄食物的種類、重量，以進一步彙整成其餘的關連資訊，例如餐飲價格、餐飲營養組成。

先前技術提出幾種自動識別食物並以量取重量的技術方案。多種技術方案之一是以對應的容器盛裝不同食物，容器上設置機器可判讀標籤，例如條碼、RFID，以供讀取機器快速判讀，透過標籤判讀得到食物種類，並以電子秤等裝置進行重量的量測，藉以區分食物種類以及食物重量。此一方法需要設置相對複雜的設備，同時，食物也必須事先放置於正確的容器中，需要較複雜的前置作業流程。

另一種技術方案是以影像識別方式分辨食物以及判讀食物體積，再利用食物體積與食物資訊換算食物重量。影像識別需要在完整的待分析影像中排除非屬於食物的部份，而需要較高的運算資源進行影像處理以及影像識別，處理效能受限於硬體效能。而判讀食物體積也依賴影像 識別，透過影像識別分析食物體積帶來了額外的運算負載。同時，為了避免判讀錯誤，食物的三維形狀也受到限制，導致了需要額外的前置作業流程進行食物的處理。

先前技術中的自動識別食物並以量取重量的技術方案存在著需要設置相對複雜的設備、需要較高的運算資源、或增加額外處理食物的額外前置作業流程的問題。

基於上述技術問題，本發明提出一種餐飲內容識別方法，包含：取得一偵測區域上的多個距離值，以產生一距離分佈，並擷取包含偵測區域之一待分析影像；將距離分佈映射至待分析影像；設定一門檻距離，以在待分析影像中定義各距離值小於門檻距離的部份作為至少一待辨識區塊；對至少一待辨識區塊進行影像辨識，識別位於待辨識區塊的一食物的種類；以及依據距離分佈，取得食物的體積。

在至少一實施例中，於取得多個距離值之前，持續擷取待分析影像，分析待分析影像是否包含偵測區域。

在至少一實施例中，擷取待分析影像包含以一影像擷取裝置擷取待分析影像，且影像擷取裝置與偵測區域的一表面之間具有一實際基準距離值，門檻距離小於或等於實際基準距離值。

在至少一實施例中，偵測區域的長度以及寬度在待分析影像內佔據的像素數分別為Xn×Yn，且影像擷取裝置與偵測區域的表面之間具有一預設基準距離值，偵測區域於預設基準距離值下的一實際長度以及 一實際寬度在待分析影像內佔據的像素數分別是L×W，實際基準距離值與預設基準距離值之間的關係為：z0'=z0×(L/Xn)；或是z0'=z0×(W/Yn)；其中，z0為預設基準距離值，z0’為實際基準距離值。

在至少一實施例中，餐飲內容識別方法更包含判斷每一距離值是否介於一距離上限值以及一距離下限值之間的範圍區間；若任一距離值超出距離上限值以及距離下限值的範圍區間，重新取得多個距離值以及重新擷取待分析影像。

在至少一實施例中，餐飲內容識別方法更包含依據距離分佈以及至少一標準容器資訊，識別至少一待辨識區塊是否符合一正確放置的標準容器。

在至少一實施例中，識別位於待辨識區塊的食物的種類的步驟包含：載入至少一食物資訊；其中，至少一食物資訊至少包含食物的種類以及一樣本影像；比對待辨識區塊的影像以及樣本影像是否相近似，以於待辨識區塊識別出食物的種類。

在至少一實施例中，餐飲內容識別方法，更包含：載入至少一食物資訊；其中，至少一食物資訊更包含食物的食物密度；以及將食物密度乘以食物的體積以得到食物的重量。

在至少一實施例中，餐飲內容識別方法，更包含：載入至少一食物資訊；其中，至少一食物資訊還包含營養成分、單位重量價格；以及以營養成分乘以食物的重量，以得到食物的一營養組成；以單位重量價 格乘以食物的重量，以得到食物的價格；以及關連食物的種類、重量、營養組成以及價格於一用餐者，並上傳至一管理平台。

在至少一實施例中，餐飲內容識別方法更包含分析至少一待辨識區塊是否符合正確擺放的一標準容器；當至少一待辨識區塊不符合正確擺放的標準容器，產生一錯誤提示。

本發明還提出一種餐飲內容識別系統，包含一三維掃瞄器、一影像擷取裝置以及一資料處理模組。

三維掃瞄器用以取得一偵測區域上的多個距離值，以產生一距離分佈。影像擷取裝置用以擷取偵測區域之一待分析影像。資料處理模組電性連接於三維掃瞄器以及影像擷取裝置；其中，資料處理模組將距離分佈映射至待分析影像；資料處理模組並設定一門檻距離，以在待分析影像中定義各距離值小於門檻距離的部份作為至少一待辨識區塊；且資料處理模組對至少一待辨識區塊進行影像辨識，識別位於至少一待辨識區塊的一食物的種類，並依據距離分佈，取得食物的體積。

在至少一實施例中，於取得多個距離值之前，影像擷取裝置持續擷取待分析影像，且資料處理模組分析待分析影像是否包含偵測區域。

在至少一實施例中，影像擷取裝置與偵測區域的一表面之間具有一實際基準距離值，門檻距離小於或等於實際基準距離值。

在至少一實施例中，偵測區域的長度以及寬度在待分析影像內佔據的像素數分別為Xn×Yn，且影像擷取裝置與偵測區域的表面之間具有一預設基準距離值，偵測區域於預設基準距離值下的一實際長度以及 一實際寬度在待分析影像內佔據的像素數分別是L×W，實際基準距離值與預設基準距離值之間的關係為：z0'=z0×(L/Xn)；或是z0'=z0×(W/Yn)；其中，z0為預設基準距離值，z0’為實際基準距離值。

在至少一實施例中，資料處理模組判斷每一距離值是否介於一距離上限值以及一距離下限值之間的範圍區間；若任一距離值超出距離上限值以及距離下限值的範圍區間，以三維掃瞄器以及影像擷取裝置重新取得多個距離值以及重新擷取待分析影像。

在至少一實施例中，資料處理模組由載入至少一標準容器資訊，並依據距離分佈以及至少一標準容器資訊，識別至少一待辨識區塊是否符合一正確放置的標準容器。

在至少一實施例中，資料處理模組載入食物的種類以及一樣本影像，並比對待辨識區塊的影像以及樣本影像是否相近似，以於待辨識區塊識別出食物的種類。

在至少一實施例中，資料處理模組載入食物的食物密度，並將食物密度乘以食物的體積以得到食物的重量。

在至少一實施例中，資料處理模組載入營養成分、單位重量價格，以營養成分乘以食物的重量以得到食物的一營養組成，並以單位重量價格乘以食物的重量以得到食物的價格；且資料處理模組關連食物的種類、重量、營養組成以及價格於一用餐者，並上傳至一管理平台。

在至少一實施例中，資料處理模組分析至少一待辨識區塊是否符合正確擺放的一標準容器；當至少一待辨識區塊不符合正確擺放的標準容器，產生一錯誤提示。

本發明透過三維掃瞄以及影像擷取的結合，由擷取的影像以及三維掃瞄資訊的對應關係，在待分析影像中的偵測區域標記出標準容器所佔有的區域，而僅對標準容器所對應的待辨識區塊進行影像辨識，取代對整個待分析影像進行影像辨識，以判斷食物的種類。因此，本發明可以降低進行影像識別所需要的運算負載，而可加速識別食物過程。同時，透過標準容器的應用，三維掃瞄所取得的距離分佈可以用於有效地且相對精確地計算食物的體積，配合食物資訊之關連，即可快速地分析完整餐飲的資訊，藉以結合用餐者識別資訊進行後端管理。

100:餐飲內容識別系統

110:三維掃瞄器

120:影像擷取裝置

130:資料處理模組

140:支架

150:容器資料庫

160:食物資料庫

200:食物

301,302,303:標準容器

304:非標準容器

400:管理平台

A,A’:偵測區域

B:待辨識區塊

C:待分析影像

D:間隔距離

L:偵測區域A的實際長度

Xn:偵測區域A’的長度

W:偵測區域A的實際寬度

Yn:偵測區域A’的寬度

P:距離分佈

S:放置台

X:長度方向

Y:寬度方向

Z:高度方向

△a:網格區域面積

h:網格高度

z(x,y):距離值

zmax:門檻距離

z0:預設基準距離值

z0’:實際基準距離值

Step 112~Step 170:步驟

圖1是本發明實施例的餐飲內容識別系統的側面示意圖。

圖2是本發明實施例的餐飲內容識別系統的俯視示意圖。

圖3是本發明實施例的餐飲內容識別系統的系統方塊圖。

圖4是本發明實施例中，映射距離至待分析影像的示意圖。

圖5是本發明實施例中，校正多個距離值的示意圖。

圖6是本發明實施例的餐飲內容識別方法的流程圖(一)。

圖7是本發明實施例的餐飲內容識別方法中，依據距離門檻定義至少一待辨識區塊的示意圖。

圖8是本發明實施例的餐飲內容識別方法中，食物資料庫中的資訊對照表。

圖9是本發明實施例的餐飲內容識別方法中，依據距離分佈取得食物的體積的示意圖。

圖10是本發明實施例的餐飲內容識別方法的流程圖(二)。

圖11是本發明實施例的餐飲內容識別方法的流程圖(三)。

圖12是本發明實施例的餐飲內容識別方法的流程圖(四)。

圖13是本發明實施例的餐飲內容識別方法中，識別偵測區域的示意圖。

圖14是本發明實施例的餐飲內容識別方法中，定義至少一待辨識區塊的示意圖。

圖15是本發明實施例的餐飲內容識別方法中，分析至少一待辨識區塊是否符合正確擺放的一標準容器的示意圖。

以下說明使用的術語「模組」可以是指專用積體電路(ASIC)、電子電路、微處理器，執行一個或多個軟體或韌體程式的晶片、電路設計。模組被配置為執行各種演算法、變換和/或邏輯處理以生成一或多個訊號。當模組以軟體實現時，模組可以作為晶片、電路設計可讀取的程式碼而透過程式碼執行實現於記憶體中。

如圖1、圖2以及圖3所示，為本發明實施例所揭露的一種餐飲內容識別系統100，用以執行一餐飲內容識別方法，識別位於一偵測區域A中的至少一食物200的種類。餐飲內容識別系統100包含三維掃瞄器110、影像擷取裝置120以及資料處理模組130。

如圖1、圖2以及圖3所示，三維掃瞄器110以及影像擷取裝置120設置於一支架140上，並且三維掃瞄器110以及影像擷取裝置120朝向放置台S，而偵測區域A位於放置台S。

如圖1、圖2、圖3以及圖4所示，三維掃瞄器110用於對於偵測區域A進行三維掃瞄，取得偵測區域A上的多個偵測點的多個距離值z(x,y)，以產生一距離分佈。距離分佈，亦即些距離值z(x,y)以及於偵測區域A對應的位置，形成一點雲(point cloud)，可呈現偵測區域A的起伏狀態，藉以供資料處理模組130判斷偵測區域A上是否有擺設物件，並且可用於分析物件的三維形態。三維掃瞄器110可以是但不限於深度攝影相機(Stereo Camera)、飛行測距(Time of Flight，TOF)攝影相機、光達、或其他的光學、聲學測距裝置，只要可以偵測多個深度值即可。

如圖1、圖2、圖3以及圖4所示，影像擷取裝置120用以擷取包含偵測區域A的一待分析影像C。於一具體實施例中，影像擷取裝置120是RGB彩色攝影機，而可擷取彩色的待分析影像C，以利執行影像分析。影像擷取裝置120不限定為彩色攝影機，不排除是單色攝影機，使待分析影像C為單色(黑白)影像。

如圖1、圖2、圖3以及圖4所示，資料處理模組130電性連接於三維掃瞄器110以及影像擷取裝置120，用以接收距離分佈以及待分析影像C。架設於支架140上的三維掃瞄器110以及影像擷取裝置120大致上位於相同高度(相對於偵測區域A)，但於水平方向上會間隔一間隔距離D。

如圖4所示，資料處理模組130可以依據間隔距離D，對距離分佈以及待分析影像C的平面座標關係進行平移(Shift)，映射(Mapping)距離分佈P至待分析影像C。

如圖5所示，此外，資料處理模組130也利用偵測區域A於待分析影像C的像素資訊與偵測區域A的實際尺寸，校正距離值z(x,y)的基準面，亦即取得影像擷取裝置120至偵測區域A的表面的實際基準距離值z0’。

一般而言，偵測區域A通常為矩型，而有固定的長度以及寬度。例如，本發明實施例以餐盤的表面作為偵測區域A。標準化的餐盤會有固定的長度以及寬度。

如圖5所示，在標準作業狀態下，餐盤平穩地擺設在一平台上，使得偵測區域A的表面至影像擷取裝置120之間具有一預設基準距離值z0。此時，在長度方向X以及寬度方向Y上，偵測區域A的實際長度以及實際寬度在待分析影像C內佔據的像素數分別是L×W。

實際操作本發明的餐飲內容識別系統100時，使用者可能不會將餐盤完整平放在平台上，也許是手拖著餐盤在某個高度。此時，偵測區域A的平面至影像擷取裝置120之間的距離將會縮小，而使得預設基準距離值z0不適用，導致後續的門檻距離zmax設定錯誤，影響後續的判斷以及計算作業。

如圖5所示，當餐盤被提高而位於較高的高度時，作為偵測區域A’的平面至影像擷取裝置120之間的距離會縮小成為實際基準距離值z0’。此時，資料處理模組130所擷取的待分析影像C中，偵測區域A’會 放大，而使得偵測區域A’的長度以及寬度在待分析影像C內佔據的像素數分別改變為Xn×Yn。

在此種情況下，原先儲存於資料處理模組130中的預設基準距離值z0不適用，而需要取得實際基準距離值z0’。此時，實際基準距離值z0’與預設基準距離值z0之間的關係為可利用像素數比例表示如下：z0'=z0×(L/Xn)；或是z0'=z0×(W/Yn)。

如圖2以及圖3所示，不同的食物200分別以不同的標準容器301,302,303裝填，標準容器301,302,303的開口朝向偵測區域A的上方，以使得三維掃瞄器110以及影像擷取裝置120可以偵測標準容器301,302,303的內部的狀況。此外，每一標準容器301,302,303都具有環繞內部空間側壁，使得標準容器301,302,303在偵測區域A中形成一個高於偵測區域A的環狀區域。具體而言，資料處理模組130可內建或連接於一容器資料庫150，容器資料庫150中儲存有標準容器301,302,303的資訊，例如開口的面積與形狀、側壁厚度、容置空間的截面積大小。理想的標準容器301,302,303中，容置空間的截面積較佳地是於高度方向Z上維持一致，如柱狀，而可有利於後續的分析與計算。但不排除容置空間呈現倒置的錐狀，亦即由開口至底部截面積係呈現漸縮，前述的截面積與高度之間的關係只要預先儲存於容器資料庫150，而可快速地經由查表或公式運算取得即可。

一般而言，例如在自助取餐的場合，用餐者是將所要取用的食物200連同其標準容器301,302,303放置在一餐盤上。因此，偵測區域 A可以設定為位於一餐盤的表面。透過顏色的差異化設定，可以讓餐盤的表面(即偵測區域A)與環境形成對比，而有利於標示出偵測區域A。同時，標準化的餐盤也可以讓偵測區域A具有固定的長度(L)以及寬度(W)。

以下說明本發明實施例所揭露的餐飲內容識別方法。

如圖1、圖2、圖4以及圖6所示，首先，資料處理模組130啟動並控制三維掃瞄器110以及影像擷取裝置120進行工作。依據資料處理模組130的控制，三維掃瞄器110對於偵測區域A進行三維掃瞄，取得偵測區域A上的多個距離值z(x,y)，以產生距離分佈P，如步驟Step 112所示。而影像擷取裝置120擷取包含偵測區域A之一待分析影像C，如步驟Step 114所示。前述步驟Step 112以及步驟Step 114可以同時執行，也可以是依序執行。

如圖4以及圖6所示，接著，資料處理模組130映射距離分佈P至待分析影像C，如步驟Step 120所示。此一映射步驟，係用以使得每一距離值z(x,y)在待分析影像C上都有一個或一組對應的像素，亦即，每一距離值z(x,y)在待分析影像C上具有一個對應的座標值(x,y)。

如圖6以及圖7所示，資料處理模組130中設定有一門檻距離zmax。依據此一門檻距離zmax，資料處理模組130在待分析影像C中定義各距離值z(x,y)小於門檻距離zmax的部分作為一或多個待辨識區塊B，如步驟Step 130所示。

如圖7所示，門檻距離zmax可以是設定為落在偵測區域A的表面，也就是將實際基準距離值z0’設定為門檻距離zmax，或是設定一略 小於實際基準距離值z0’的數值作為門檻距離zmax。每一標準容器301,302,303都具有環繞其內部空間的側壁，使得標準容器301,302,303在偵測區域A中形成一個高於偵測區域A表面的環狀區域；即使是空標準容器301,302,303中內部空間的底部，也會因為標準容器301,302,303的實體厚度而高於偵測區域A表面；因此，只要高度高於零，亦即對應距離值z(x,y)小於門檻距離zmax的像素，都可以視為標準容器301,302,303所涵蓋的區域。因此，資料處理模組130可以將待分析影像C中相關像素佔有的部份分離出來作為待辨識區塊B，取代對整個待分析影像C進行分析。

如圖6以及圖7所示，接著，資料處理模組130對待辨識區塊B進行影像辨識，識別位於待辨識區塊B的一食物200的種類，如步驟Step 140所示。

如圖6以及圖7所示於步驟Step 130中，資料處理模組130已經將可能放置餐飲的待辨識區塊B分割出來，而排除無關於食物200以及無關於標準容器301,302,303的像素區域。因此，在步驟Step 140中，資料處理模組130只需要對待辨識區塊B進行影像辨識而不需對整個待分析影像C進行影像辨識，資料處理模組130所需要耗損的運算資源較少，而可加速影像辨識效率，並且有效降低辨識錯誤的機率。

如圖3以及圖8所示，資料處理模組130內建或外接一食物資料庫160。食物資料庫160中儲存有多筆食物資訊。食物資訊包含食物200的種類、樣本影像、食物密度、營養成分、單位重量價格(例如元/100克)等資訊。經由比對待辨識區塊B的影像以及樣本影像是否相近似，資料處理模組130可於待辨識區塊B識別出食物200的種類。

如圖6所示，依據待辨識區塊B中的距離分佈P，資料處理模組130取得食物200的體積，如步驟Step 150所示。

如圖9所示，取得食物200的體積的具體實施例說明如下。待辨識區塊B可被切割為多個網格區域，每一網格區域對應一個距離值z(x,y)。依據標準容器資訊以及偵測區域A表面(即餐盤表面)之實際基準距離值z0’，資料處理模組130可換算出每一網格區域中，食物相對於標準容器301,302,303內部空間的底部的網格高度h。網格高度h乘以網格區域面積△a，即為網格區域中的局部食物200的體積。

最後資料處理模組130加總所有網格區域中的食物200的體積，即為標準容器301,302,303中的食物200的體積，如圖中所示的斜線部分。如前所述，容置空間的截面積較佳地是於高度方向Z上維持一致，如柱狀，而可有利於後續的分析與計算。但不排除容置空間呈現倒置的錐狀；此時，依據標準容器資訊，網格高度h可以依據斜面狀況修正，如圖9中位於邊緣的網格高度h被扣除斜面的平均高度。標準容器資訊可包含標準容器301,302,303以及容置空間的三維型態，因此，網格高度h可以依據三維型態修正，藉以得到正確的食物200的體積。前述圖5以及對應說明所述取得實際基準距離值z0’，就是要避免錯誤地採用預設基準距離值z0，而導致網格高度h被錯誤地增加致使食物200的體積計算錯誤。

如圖6以及圖8所示，最後，依據食物資料庫160載入的食物資訊，以及食物200的體積計算食物200的重量，如步驟Step 160所示。如前所述，食物資訊還包含食物密度、營養成分、單位重量價格等資訊，因此資料處理模組130將食物密度乘以食物200的體積就可以得到食物200 的重量。此外，成分組成中的營養成分分別乘以重量，就可以得到食物200的營養組成。同樣地，單位重量價格乘以重量可以得到食物200的價格。

前述的用餐資訊，包含食物200的種類、重量、營養組成以及價格等，可關連於特定用餐者。資料處理模組130關連用餐者識別資訊以及餐飲內容，並上傳至一管理平台400，以進行用餐者的飲食管理或是餐飲費用管理，如步驟Step 170所示。特定用餐者的識別方式，可以是生物特徵辨識、讀取RFID、輸入帳號密碼等，用餐者的識別可於餐飲內容識別方法執行之前進行，且可以是在步驟Step 160之後進行。

前述的餐飲內容識別方法係於理想狀態下進行。於實際應用場合，可能遭遇不同問題需要解決，以下進一步說明前述餐飲內容識別方法的變化例。

如圖10、圖11以及圖12所示，首先，餐飲內容識別方法的開始，可以是手動啟動，也可以是自動啟動。於自動啟動的場合，資料處理模組130啟動並控制三維掃瞄器110以及影像擷取裝置120進行工作，持續對放置台S進行偵測。影像擷取裝置120持續擷取待分析影像C，並且資料處理模組130持續分析待分析影像C是否包含偵測區域A，步驟Step 116所示。當偵測到待分析影像C包含偵測區域A，資料處理模組130便執行映射距離分佈P至待分析影像C，如步驟Step 120所示，並且繼續執行步驟Step 130。

如圖13所示，偵測區域A為餐盤的表面，於俯視狀態下具有固定的形狀以及特定顏色。因此，資料處理模組130可以依據形狀以及顏色，判斷偵測區域A(即餐盤)是否出現在放置台S，而自動啟動後續辨 識程序。

如圖5以及圖10所示，接著，資料處理模組130利用分析偵測區域A的影像中的像素資訊與偵測區域A的實際尺寸，以取得實際基準距離值z0’，如步驟Step 122所示。實際基準距離值z0’與預設基準距離值z0之間的關係為可利用像素數比例表示如下：z0'=z0×(L/Xn)；或是z0'=z0×(W/Yn)。

如圖10所示，資料處理模組130依據實際基準距離值z0’分析距離值z(x,y)的分佈是否合理，如步驟Step 124所示。例如，依據餐盤厚度、標準容器301,302,303高度、食物可能的填裝量，每一距離值z(x,y)應介於一距離上限值以及一距離下限值之間的範圍區間，若距離值z(x,y)其中之一超出距離上限值以及距離下限值的範圍區間，則距離值z(x,y)為不合理，而需重新執行步驟Step 112以及Step 114。

於步驟Step 130找出的一或多個待辨識區塊B，即有可能是標準容器301,302,303。標準容器301,302,303的開口朝向偵測區域A的上方，而有固定的俯視形狀。

如圖14所示，此時，資料處理模組130可以依據步驟Step 116中所識別出的偵測區域A，去除待分析影像C中一或多個待辨識區塊B以外的部份，以作為後續影像之用。

如圖11所示，資料處理模組130由容器資料庫150載入標準容器301,302,303的資訊，例如開口的面積與形狀，分析待辨識區塊B是否符合標準容器301,302,303的開口的面積與形狀，以判斷每一待辨識區 塊B是否對應於正確擺放的標準容器301,302,303，如步驟Step 132所示。

如圖15所示，錯誤的擺放方式包含：標準容器301,302,303之間互相干涉交疊，使等標準容器301,302,303被共同定義為單一待辨識區塊B，導致俯視型態不符合任一標準容器301,302,303的開口形狀；標準容器301,302,303傾倒，導致俯視型態不符合任一標準容器301,302,303的開口形狀；標準容器301,302,303的放置超出偵測區域A，而導致位於偵測區域A的部份之形狀不符合標準容器301,302,303的開口形狀；或是，放置於偵測區域A的為錯誤的非標準容器304。

如圖11以及圖15所示，當一或多個待辨識區塊B不符合任一標準容器301,302,303的開口形狀，資料處理模組130判斷至少一待辨識區塊B所對應於標準容器301,302,303未正確擺放，則資料處理模組130產生一錯誤提示，並驅動一顯示裝置或一警示裝置發出錯誤提示，如步驟Step 134所示。

如圖11所示，若每一待辨識區塊B對應於正確擺放的標準容器301,302,303，資料處理模組130執行步驟Step 140，識別位於待辨識區塊B的一食物200的種類。當成功識別食物200的種類，則持續進行食物200的體積以及重量的計算，如步驟Step 142、Step 150、Step 160，並且基於用餐者的識別，關連用餐者識別資訊以及餐飲內容，上傳資料至管理平台400，如步驟Step 170所示。

如圖11以及圖12所示，部分的食物200，可能是以特定的標準容器301,302,303承裝，因此，若步驟Step 142中判斷無法辨識食物200的種類，則資料處理模組130分析是否可依據標準容器資訊，由標準容器 301,302,303的種類判斷食物200的種類，如步驟Step 144所示。若可由標準容器301,302,303的種類判斷食物200的種類，則資料處理模組130繼續執行步驟Step 150、Step 160。若無法由標準容器301,302,303的種類判斷食物200的種類，則資料處理模組130執行步驟Step 134，產生錯誤提示。步驟Step 134也可以省略，於步驟Step 142中判斷無法辨識食物200的種類時，資料處理模組130就直接執行步驟Step 134。

本發明透過三維掃瞄以及影像擷取的結合，由擷取的影像以及三維掃瞄資訊的對應關係，在待分析影像中的偵測區域標記出標準容器所佔有的區域，而僅對標準容器所對應的待辨識區塊進行影像辨識，取代對整個待分析影像進行影像辨識，以判斷食物的種類。因此，本發明可以降低進行影像識別所需要的運算負載，而可加速識別食物過程。同時，透過標準容器的應用，三維掃瞄所取得的距離分佈可以用於有效地且相對精確地計算食物的體積，配合食物資訊之關連，即可快速地分析完整餐飲的資訊，藉以結合用餐者識別資訊進行後端管理。

Step 112~160:步驟

Claims (16)

1. 一種餐飲內容識別方法，包含：透過一三維掃瞄器取得一偵測區域上的多個距離值，以產生一距離分佈，並以一影像擷取裝置擷取包含該偵測區域之一待分析影像；一資料處理模組將該距離分佈映射至該待分析影像；該資料處理模組設定一門檻距離，以在該待分析影像中定義各該距離值小於該門檻距離的部份作為至少一待辨識區塊；該資料處理模組對該至少一待辨識區塊進行影像辨識，識別位於該待辨識區塊的一食物的種類；以及該資料處理模組依據該距離分佈，取得該食物的體積；其中，該影像擷取裝置與該偵測區域的一表面之間具有一實際基準距離值，該門檻距離小於或等於該實際基準距離值；其中，該偵測區域的一長度以及一寬度在該待分析影像內佔據的像素數分別為Xn×Yn，且該影像擷取裝置與該偵測區域的該表面之間具有一預設基準距離值，該偵測區域於該預設基準距離值下的一實際長度以及一實際寬度在該待分析影像內佔據的像素數分別是L×W，該實際基準距離值與該預設基準距離值之間的關係為：z0'=z0×(L/Xn)；或是z0'=z0×(W/Yn)；其中，z0為該預設基準距離值，z0’為該實際基準距離值。
2. 如請求項1所述的餐飲內容識別方法，其中，於取得該多個距離值之前，該影像擷取裝置持續擷取該待分析影像，該資料處理模組 分析該待分析影像是否包含該偵測區域。
3. 如請求項1所述的餐飲內容識別方法，更包含該資料處理模組判斷每一該距離值是否介於一距離上限值以及一距離下限值之間的範圍區間；若任一該距離值超出該距離上限值以及該距離下限值的範圍區間，重新取得該多個距離值以及重新擷取該待分析影像。
4. 如請求項1所述的餐飲內容識別方法，更包含該資料處理模組依據該距離分佈以及至少一標準容器資訊，識別該至少一待辨識區塊是否符合一正確放置的標準容器。
5. 如請求項1所述的餐飲內容識別方法，其中，識別位於該待辨識區塊的該食物的種類的步驟包含：該資料處理模組載入至少一食物資訊；其中，該至少一食物資訊至少包含該食物的種類以及一樣本影像；以及該資料處理模組比對該待辨識區塊的影像以及該樣本影像是否相近似，以於該待辨識區塊識別出該食物的種類。
6. 如請求項5所述的餐飲內容識別方法，更包含：該資料處理模組載入該至少一食物資訊；其中，該至少一食物資訊更包含該食物的食物密度；以及該資料處理模組將該食物密度乘以該食物的體積以得到該食物的重量。
7. 如請求項6所述的餐飲內容識別方法，更包含：該資料處理模組載入該至少一食物資訊；其中，該至少一食物資訊還包含一營養成分、一單位重量價格； 該資料處理模組以該營養成分乘以該食物的重量，以得到該食物的一營養組成；該資料處理模組以該單位重量價格乘以該食物的重量，以得到該食物的價格；以及該資料處理模組關連該食物的種類、重量、營養組成以及價格於一用餐者，並上傳至一管理平台。
8. 如請求項1所述的餐飲內容識別方法，更包含該資料處理模組分析該至少一待辨識區塊是否符合正確擺放的一標準容器；當該至少一待辨識區塊不符合正確擺放的該標準容器，產生一錯誤提示。
9. 一種餐飲內容識別系統，包含：一三維掃瞄器，用以取得一偵測區域上的多個距離值，以產生一距離分佈；一影像擷取裝置，用以擷取該偵測區域之一待分析影像；以及一資料處理模組，電性連接於該三維掃瞄器以及該影像擷取裝置；其中，該資料處理模組將該距離分佈映射至該待分析影像；該資料處理模組並設定一門檻距離，以在該待分析影像中定義各該距離值小於該門檻距離的部份作為至少一待辨識區塊；且該資料處理模組對該至少一待辨識區塊進行影像辨識，識別位於該至少一待辨識區塊的一食物的種類，並依據該距離分佈，取得該食物的體積；其中，該影像擷取裝置與該偵測區域的一表面之間具有一實際基準距離值，該門檻距離小於或等於該實際基準距離值； 其中，該偵測區域的一長度以及一寬度在該待分析影像內佔據的像素數分別為Xn×Yn，且該影像擷取裝置與該偵測區域的該表面之間具有一預設基準距離值，該偵測區域於該預設基準距離值下的一實際長度以及一實際寬度在該待分析影像內佔據的像素數分別是L×W，該實際基準距離值與該預設基準距離值之間的關係為：z0'=z0×(L/Xn)；或是z0'=z0×(W/Yn)；其中，z0為該預設基準距離值，z0’為該實際基準距離值。
10. 如請求項9所述的餐飲內容識別系統，其中，於取得該多個距離值之前，該影像擷取裝置持續擷取該待分析影像，且該資料處理模組分析該待分析影像是否包含該偵測區域。
11. 如請求項9所述的餐飲內容識別系統，其中，該資料處理模組判斷每一該距離值是否介於一距離上限值以及一距離下限值之間的範圍區間；若任一該距離值超出該距離上限值以及該距離下限值的範圍區間，以該三維掃瞄器以及該影像擷取裝置重新取得該多個距離值以及重新擷取該待分析影像。
12. 如請求項9所述的餐飲內容識別系統，其中，該資料處理模組由載入至少一標準容器資訊，並依據該距離分佈以及該至少一標準容器資訊，識別該至少一待辨識區塊是否符合一正確放置的標準容器。
13. 如請求項9所述的餐飲內容識別系統，其中，該資料處理模組載入該食物的種類以及一樣本影像，並比對該待辨識區塊的影像以及該樣本影像是否相近似，以於該待辨識區塊識別出該食物的種類。
14. 如請求項13所述的餐飲內容識別系統，其中，該資料處理模組載入該食物的食物密度，並將該食物密度乘以該食物的體積以得到該食物的重量。
15. 如請求項14所述的餐飲內容識別系統，其中，該資料處理模組載入營養成分、單位重量價格，以該營養成分乘以該食物的重量以得到該食物的一營養組成，並以該單位重量價格乘以該食物的重量以得到該食物的價格；且該資料處理模組關連該食物的種類、重量、營養組成以及價格於一用餐者，並上傳至一管理平台。
16. 如請求項9所述的餐飲內容識別系統，其中，該資料處理模組分析該至少一待辨識區塊是否符合正確擺放的一標準容器；當該至少一待辨識區塊不符合正確擺放的該標準容器，產生一錯誤提示。

Images