TW202538452A - 自移動設備的控制方法及裝置、設備、媒體與程式產品 - Google Patents

Abstract

本發明是關於一種自移動設備的控制方法及裝置、電子設備、電腦可讀儲存媒體以及電腦程式產品，涉及智慧型機器人技術領域，可以應用於對清潔機器人進行移動控制的場景。該方法包括：獲取周圍環境的影像資訊與雷射點雲資訊；基於影像資訊與雷射點雲資訊進行物品識別處理與結果融合處理，得到周圍環境中待識別物品的物品類型與位置資訊；根據物品類型與位置資訊，確定自移動設備的避障策略，避障策略用於控制生成自移動設備的移動路徑。

Description

自移動設備的控制方法及裝置、設備、媒體與程式產品

本發明涉及智慧型機器人技術領域，具體而言，涉及一種自移動設備的控制方法、自移動設備的控制裝置、電子設備、電腦可讀儲存媒體以及電腦程式產品。

隨著人工智慧技術的發展，出現了各種各樣的智慧型機器人，比如工業機器人、初級智慧型機器人、智慧農業機器人、家庭智慧陪護機器人以及高級智慧型機器人等。例如，家庭智慧陪護機器人可以包括掃地機器人、拖地機器人、吸塵器、除草機等。這些清潔機器人在工作過程中能夠自動識別周圍的障礙物，並對障礙物執行避障操作。

需要說明的是，在上述背景技術部分公開的資訊僅用於加強對本發明的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的資訊。

本發明的目的在於提供一種自移動設備的控制方法、自移動設備的控制裝置、電子設備以及電腦可讀儲存媒體。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本發明的第一方面，提供一種自移動設備的控制方法，包括：獲取周圍環境的影像資訊與雷射點雲資訊；基於所述影像資訊與所述雷射點雲資訊進行物品識別處理與結果融合處理，得到所述周圍環境中待識別物品的物品類型與位置資訊；根據所述物品類型與所述位置資訊，確定所述自移動設備的避障策略，所述避障策略用於控制生成所述自移動設備的移動路徑。

在本發明的一種示例性實施方式中，所述基於所述影像資訊與所述雷射點雲資訊進行物品識別處理與結果融合處理，得到所述周圍環境中待識別物品的物品類型與位置資訊，包括：基於所述影像資訊與所述雷射點雲資訊進行物品識別處理，得到物品類型識別結果，所述物品類型識別結果包括影像識別結果和/或點雲識別結果；獲取所述影像資訊與所述雷射點雲資訊之間的影像點雲關係，所述影像點雲關係包括環境影像的像素位置與點雲資料的測距點之間的對應關係；基於所述影像點雲關係，獲取所述物品類型識別結果對應的物品類別點雲和/或物品類別影像；對所述物品類型識別結果與對應的所述物品類別點雲和/或所述物品類別影像進行所述結果融合處理，得到所述物品類型與所述位置資訊。

在本發明的一種示例性實施方式中，所述基於所述影像資訊和/或所述雷射點雲資訊進行物品識別處理，得到物品類型識別結果，包括：基於所述影像資訊進行物品識別處理，得到所述待識別物品的影像識別結果，所述影像識別結果包括物品邊界框或分割像素資訊；和/或基於所述雷射點雲資訊進行物品識別處理，得到所述待識別物品的點雲識別結果，所述點雲識別結果包括物品類別點。

在本發明的一種示例性實施方式中，所述影像識別結果包括物品邊界框或分割像素資訊，所述對所述物品類型識別結果與對應的所述物品類別點雲和/或所述物品類別影像進行所述結果融合處理，得到所述物品類型與所述位置資訊，包括：將所述物品邊界框或所述分割像素資訊投影至所述物品類別點雲，得到所述物品類別點雲的點雲特徵；根據所述點雲特徵對所述影像識別結果進行分類過濾識別，得到所述物品類型，並確定所述物品類型所處的位置資訊。

在本發明的一種示例性實施方式中，所述根據所述點雲特徵對所述影像識別結果進行分類過濾識別，得到所述物品類型，包括：當所述影像識別結果為第一障礙物，且所述點雲特徵不具有高度資訊時，將所述物品類型確定為無障礙物；當所述影像識別結果為第一障礙物，且所述點雲特徵具有高度資訊時，基於所述點雲特徵獲取點雲資料的空間屬性特徵；根據所述空間屬性特徵確定所述物品類型。

在本發明的一種示例性實施方式中，所述根據所述空間屬性特徵確定所述物品類型，包括：當所述空間屬性特徵為空間非封閉時，將所述物品類型確定為所述第一障礙物；當所述空間屬性特徵為空間封閉時，將所述物品類型確定為第二障礙物。

在本發明的一種示例性實施方式中，所述根據所述點雲特徵對所述影像識別結果進行分類過濾識別，得到所述物品類型，包括：當所述影像識別結果為第三障礙物，且所述點雲特徵具有高度資訊時，將所述物品類型確定為無障礙物；當所述影像識別結果為第三障礙物，且所述點雲特徵不具有高度資訊時，基於所述點雲特徵獲取反光強度資訊；根據所述反光強度資訊確定所述物品類型。

在本發明的一種示例性實施方式中，所述對所述物品類型識別結果與對應的所述物品類別點雲和/或所述物品類別影像進行所述結果融合處理，得到所述物品類型與所述位置資訊，包括：基於所述影像點雲關係，對所述點雲識別結果與所述物品類別影像進行位置對齊處理，得到初始融合結果，所述初始融合結果中的影像像素具有測距資料；獲取所述物品類別影像對應的顏色特徵；基於所述顏色特徵對所述初始融合結果進行過濾識別處理，得到所述物品類型與所述位置資訊。

在本發明的一種示例性實施方式中，所述基於所述影像點雲關係，對所述點雲識別結果與所述物品類別影像進行位置對齊處理，得到初始融合結果，包括：基於所述影像點雲關係，將所述點雲識別結果中的物品類別點投影至所述物品類別影像，得到所述初始融合結果；或基於所述影像點雲關係，將所述物品類別影像投影至所述點雲識別結果，得到所述初始融合結果。

在本發明的一種示例性實施方式中，所述基於所述影像資訊與所述雷射點雲資訊進行物品識別處理與結果融合處理，得到所述周圍環境中待識別物品的物品類型與位置資訊，包括：基於所述影像資訊與所述雷射點雲資訊進行物品識別處理，得到影像識別結果與點雲識別結果；對所述影像識別結果與所述點雲識別結果進行結果合併處理，得到所述物品類型；獲取影像點雲關係，根據所述影像點雲關係確定所述物品類型對應的位置資訊。

根據本發明的第二方面，提供一種自移動設備的控制裝置，包括：環境資訊獲取模組，用於獲取周圍環境的影像資訊與雷射點雲資訊；物品類型確定模組，用於基於所述影像資訊與所述雷射點雲資訊進行物品識別處理與結果融合處理，得到所述周圍環境中待識別物品的物品類型與位置資訊；設備控制模組，用於根據所述物品類型與所述位置資訊，確定所述自移動設備的避障策略，所述避障策略用於控制生成所述自移動設備的移動路徑。

在本發明的一種示例性實施方式中，所述物品類型確定模組包括第一類型確定單元，用於：基於所述影像資訊與所述雷射點雲資訊進行物品識別處理，得到物品類型識別結果，所述物品類型識別結果包括影像識別結果和/或點雲識別結果；獲取所述影像資訊與所述雷射點雲資訊之間的影像點雲關係，所述影像點雲關係包括環境影像的像素位置與點雲資料的測距點之間的對應關係；基於所述影像點雲關係，獲取所述物品類型識別結果對應的物品類別點雲和/或物品類別影像；將所述物品類型識別結果與對應的所述物品類別點雲和/或所述物品類別影像進行所述結果融合處理，得到所述物品類型與所述位置資訊。

在本發明的一種示例性實施方式中，所述第一類型確定單元包括類型識別子單元，用於：基於所述影像資訊進行物品識別處理，得到所述待識別物品的影像識別結果，所述影像識別結果包括物品邊界框或分割像素資訊；和/或基於所述雷射點雲資訊進行物品識別處理，得到所述待識別物品的點雲識別結果，所述點雲識別結果包括物品類別點。

在本發明的一種示例性實施方式中，影像識別結果包括物品邊界框或分割像素資訊，所述第一類型確定單元包括第一類型確定子單元，用於：將所述物品邊界框或所述分割像素資訊投影至所述物品類別點雲，得到所述物品類別點雲的點雲特徵；根據所述點雲特徵對所述影像識別結果進行分類過濾識別，得到所述物品類型，並確定所述物品類型所處的位置資訊。

在本發明的一種示例性實施方式中，所述第一類型確定子單元包括第一過濾子單元，用於：當所述影像識別結果為第一障礙物，且所述點雲特徵不具有高度資訊時，將所述物品類型確定為無障礙物；當所述影像識別結果為第一障礙物，且所述點雲特徵具有高度資訊時，基於所述點雲特徵獲取點雲資料的空間屬性特徵；根據所述空間屬性特徵確定所述物品類型。

在本發明的一種示例性實施方式中，所述第一類型確定子單元包括第二過濾子單元，用於：當所述空間屬性特徵為空間非封閉時，將所述物品類型確定為所述第一障礙物；當所述空間屬性特徵為空間封閉時，將所述物品類型確定為第二障礙物。

在本發明的一種示例性實施方式中，所述第一類型確定子單元包括第三過濾子單元，用於：當所述影像識別結果為第三障礙物，且所述點雲特徵具有高度資訊時，將所述物品類型確定為無障礙物；當所述影像識別結果為第三障礙物，且所述點雲特徵不具有高度資訊時，基於所述點雲特徵獲取反光強度資訊；根據所述反光強度資訊確定所述物品類型。

在本發明的一種示例性實施方式中，所述物品類型確定模組包括第二類型確定單元，用於：基於所述影像點雲關係，對所述點雲識別結果與所述物品類別影像進行位置對齊處理，得到初始融合結果，所述初始融合結果中的影像像素具有測距資料；獲取所述物品類別影像對應的顏色特徵；基於所述顏色特徵對所述初始融合結果進行過濾識別處理，得到所述物品類型與所述位置資訊。

在本發明的一種示例性實施方式中，所述第二類型確定單元包括融合處理子單元，用於：基於所述影像點雲關係，將所述點雲識別結果中的物品類別點投影至所述物品類別影像，得到所述初始融合結果；或基於所述影像點雲關係，將所述物品類別影像投影至所述點雲識別結果，得到所述初始融合結果。

在本發明的一種示例性實施方式中，所述物品類型確定模組包括第三類型確定單元，用於：基於所述影像資訊與所述雷射點雲資訊進行物品識別處理，得到影像識別結果與點雲識別結果；對所述影像識別結果與所述點雲識別結果進行結果合併處理，得到所述物品類型；獲取影像點雲關係，根據所述影像點雲關係確定所述物品類型對應的位置資訊。

根據本發明的第三方面，提供一種電子設備，包括：處理器；以及記憶體，所述記憶體上儲存有電腦可讀指令，所述電腦可讀指令被所述處理器執行時實現根據上述任意一項所述的自移動設備的控制方法。

根據本發明的第四方面，提供一種電腦可讀儲存媒體，其上儲存有電腦程式，所述電腦程式被處理器執行時實現根據上述任意一項所述的自移動設備的控制方法。

根據本發明實施例的第五方面，提供一種電腦程式產品，包括電腦程式，該電腦程式被處理器執行時實現上述任意一項所述的自移動設備的控制方法。

應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本發明。

現在將參考圖式更全面地描述示例實施例。然而，示例實施例能夠以多種形式實施，且不應被理解為限於在此闡述的實施例；相反，提供這些實施例使得本發明將全面和完整，並將示例實施例的構思全面地傳達給本領域的技術人員。在圖中相同的圖式標記表示相同或類似的部分，因而將省略對它們的重複描述。

此外，所描述的特徵、結構或特性可以以任何合適的方式結合在一個或更多實施例中。在下面的描述中，提供許多具體細節從而給出對本發明的實施例的充分理解。然而，本領域技術人員將意識到，可以實踐本發明的技術方案而沒有所述特定細節中的一個或更多，或者可以採用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知結構、方法、裝置、實現、材料或者操作以避免模糊本發明的各方面。

圖式中所示的方圖僅僅是功能實體，不一定必須與物理上獨立的實體相對應。即，可以採用軟體形式來實現這些功能實體，或在一個或多個軟體硬化的模組中實現這些功能實體或功能實體的一部分，或在不同網路和/或處理器裝置和/或微控制器裝置中實現這些功能實體。

在採用自清潔機器人進行地面清掃時，自清潔機器人可以探測自己與障礙物的距離來自動避開障礙物。例如，在採用單目影像識別障礙物時，可以通過把紅綠藍（Red green blue，RGB）顏色資訊傳送到神經網路，並輸出相應的物體位置在影像內的像素區域，包括邊界框或者具體的像素區域。然而在機器人實際使用時，實際使用到的資訊是將影像像素投影到三維世界的點雲資料。一般而言基於影像轉換得到的特徵點雲的精確度相對較差，而飛行時間（Time of flight，TOF）測距法的一個優勢就是測距結果更準確。

基於此，在本示例實施例中，首先提供了一種自移動設備的控制方法，可以利用終端設備來實現本發明所述的方法，其中，本發明中描述的終端可以包括個人數位助理（Personal Digital Assistant，PDA）、可攜式媒體播放機（Portable Media Player，PMP）、導航裝置、計步器、智慧型機器人、掃地機器人、拖地機器人等移動終端。圖1示意性示出了根據本發明的一些實施例的自移動設備的控制方法流程的示意圖。參考圖1，該自移動設備的控制方法可以包括以下步驟： 步驟S110，獲取周圍環境的影像資訊與雷射點雲資訊。

根據本發明的一些示例性實施例，周圍環境可以是自移動設備在移動過程中所處的環境。影像資訊可以是對周圍環境進行影像採集所得到的影像。雷射點雲資訊可以是採用三維雷射雷達設備對周圍環境進行掃描所得到的空間點的資料集所包含的資訊，每個點雲都包含了三維座標（XYZ）和雷射反射強度（Intensity）。

本實施例以自移動設備為掃地機器人為例進行說明，自移動設備是多感測器集成體，可以包括雷射雷達、視覺相機等。在自移動設備的移動過程中，可以通過視覺相機採集周圍環境的環境影像，基於採集到的環境影像生成對應的影像資訊；還可以通過雷射雷達設備不斷掃描周圍環境，得到周圍環境中全部點/線的距離資訊，經過成像處理後便可生成點雲資料，將採集到的全部點/線的距離資訊作為雷射點雲資訊。

步驟S120，基於影像資訊與雷射點雲資訊進行物品識別處理與結果融合處理，得到周圍環境中待識別物品的物品類型與位置資訊。

根據本發明的一些示例性實施例，物品識別處理可以是根據影像資訊與雷射點雲資訊中的至少一種資訊進行物品類型識別的處理過程。結果融合處理可以是將分別影像資訊與雷射點雲資訊各自進行物品識別處理後得到的識別結果進行融合處理以確定物品類型的處理過程。待識別物品可以是周圍環境中包含的物品。物品類型可以是周圍環境中某一物品的具體類型。位置資訊可以是用於表徵周圍環境中某一物品所處位置的相關資訊。

在得到周圍環境的影像資訊與雷射點雲資訊後，可以分別基於影像資訊與雷射點雲資訊進行物品識別處理，在物品識別處理過程中，可以僅根據影像資訊進行物品識別處理，也可以僅根據雷射點雲資訊進行物品識別處理，還可以將二者結合進行物品識別處理。如果分別採用影像資訊和雷射點雲資訊進行物品識別處理，則將二者得到的識別結果進行融合處理，如將二者的識別結果進行交集運算，得到周圍環境中待識別物品的物品類型與位置資訊。

如果僅採用影像資訊進行物品識別處理，在得到影像識別結果後，可以結合雷射點雲資訊對影像識別結果進行融合處理，確定出周圍環境中待識別物品的物品類型與位置資訊。如果僅採用雷射點雲資訊進行物品識別處理，在得到點雲識別結果後，可以結合影像資訊對點雲識別結果進行融合處理，確定出周圍環境中待識別物品的物品類型與位置資訊。由於在物品類型的確定過程中，綜合了影像資訊與雷射點雲資訊，不僅可以獲得影像的識別結果，還可以獲取到點雲距離資訊，進一步提高了識別結果的準確性。

步驟S130，根據物品類型與位置資訊，確定自移動設備的避障策略，避障策略用於控制生成自移動設備的移動路徑。

根據本發明的一些示例性實施例，避障策略可以是自移動設備在移動過程中規避障礙物的具體策略。移動路徑可以是自移動設備在移動過程中構建的路徑。

在識別出周圍環境的物品類型與位置資訊後，自移動設備可以根據不同的物品類型進行避障，並生成移動路徑。以自移動設備為掃地機器人為例，物體類型可以包括待清理物品和障礙物，在移動過程中，當掃地機器人在識別出待清理物品（如污漬）時，將移動至待清理物品處，進行清理操作；當掃地機器人在識別出障礙物（如體重計）時，將進行自動避障，繞開該障礙物進行移動。

根據本示例實施例中的自移動設備的控制方法，一方面，將周圍環境的影像資訊與雷射點雲資訊相結合，共同確定物品類型，可以得到更準確的類別結果，提高了物品識別的準確度。另一方面，根據物品識別結果確定設備避障策略，使得後續生成的設備移動路徑更加合理。

下面，將對本示例實施例中的自移動設備的控制方法進行進一步的說明。

在本發明的一種示例性實施方式中，對於步驟S120，基於影像資訊與雷射點雲資訊進行物品識別處理與結果融合處理，得到周圍環境中待識別物品的物品類型與位置資訊，包括：基於影像資訊與雷射點雲資訊進行物品識別處理，得到物品類型識別結果，物品類型識別結果包括影像識別結果和/或點雲識別結果；獲取影像資訊與雷射點雲資訊之間的影像點雲關係，影像點雲關係包括環境影像的像素位置與點雲資料的測距點之間的對應關係；基於影像點雲關係，獲取物品類型識別結果對應的物品類別點雲和/或物品類別影像；將物品類型識別結果與對應的物品類別點雲和/或物品類別影像進行結果融合處理，得到物品類型與位置資訊。

其中，物品類型識別結果可以是對周圍環境中待識別物品的具體類型進行識別後得到的結果。影像識別結果可以是根據影像資訊對周圍環境中待識別物品的具體類型進行識別處理所得到的類型識別結果。點雲識別結果可以是根據雷射點雲資訊對周圍環境中待識別物品的具體類型進行識別處理所得到的物品類型識別結果。影像點雲關係可以是環境影像中像素點的像素位置與三維點雲資料中的測距點的位置之間的對應關係。

環境影像可以是周圍環境對應的影像。像素位置可以是環境影像中各個像素點的位置座標。點雲資料可以是構成周圍環境的三維點雲構成的資料集。測距點可以是點雲資料中包含的所有點。物品類別點雲可以是根據影像點雲關係確定出的與影像識別結果對應的點雲資料。物品類別影像可以是由根據影像點雲關係確定出的與點雲識別結果對應的影像像素點組成。

在得到影像資訊與雷射點雲資訊後，可以基於影像資訊與雷射點雲資訊的至少一種進行物品識別處理，得到物品類型識別結果。將基於影像資訊進行物品識別處理得到的識別結果，作為影像識別結果；將基於雷射點雲資訊進行物品識別處理得到的識別結果，作為點雲識別結果，點雲識別結果包括周圍環境中待識別物品對應的點雲資料。物品識別處理過程是為了對周圍環境進行類物品識別，識別出包括線團、風扇、電子秤、污漬之類的物體。

自移動設備通常可以預先標定RGB與TOF資訊，進而可以確定出兩種感測器之間的對應關係，即影像資訊與雷射點雲資訊之間的影像點雲關係。例如，相機感測器獲取到的影像資訊，相對於自移動設備而言，處於正前面10cm且偏左側5cm處，雷射雷達設備獲取到的雷射點雲資訊，相對於自移動設備而言，處於正前面10cm且偏右側5cm處，因此，影像資訊與雷射點雲資訊的對應關係為同一水平面且左右位置相差10cm。

根據影像點雲關係可以確定出影像識別結果中某一個像素位置對應的點雲資料中的測距點；以及確定出點雲識別結果中某一測距點對應的影像像素。因此，當物品類型識別結果為影像識別結果時，根據影像點雲關係可以確定出對應的物品類別點雲；當物品類型識別結果為點雲識別結果時，根據影像點雲關係可以確定出對應的物品類別影像。

在得到物品類型識別結果對應的物品類別點雲和/或物品類別影像後，對影像識別結果與對應的物品類別點雲進行結果融合處理，確定出影像識別結果中各個像素在點雲資料中對應的測距點，進而識別出周圍環境中的物品類型，以及各個物品類型在周圍環境中的位置資訊。或者，對點雲識別結果與對應的物品類別影像進行結果融合處理，確定出點雲識別結果各個測距點對應的影像像素，進而根據融合結果確定待識別物品的物品類型與位置資訊。通過影像資訊與雷射點雲資訊進行類型識別處理，不僅可以獲取影像的識別結果，還可以獲取到點雲距離資訊，兩者結合得到物品識別結果具有更高的準確性。

在本發明的一種示例性實施方式中，基於影像資訊與雷射點雲資訊進行物品識別處理，得到影像識別結果與點雲識別結果，包括：基於影像資訊進行物品識別處理，得到待識別物品的影像識別結果，影像識別結果包括物品邊界框或分割像素資訊；和/或基於雷射點雲資訊進行物品識別處理，得到待識別物品的點雲識別結果，點雲識別結果包括物品類別點。

其中，物品邊界框（Bounding Box），也稱為邊界體積或邊界區域，是用來描述目標在影像中位置和範圍的矩形框。分割像素資訊可以是對影像在像素級別上進行分類得到的分割資訊，屬於同一類的像素都要被歸為一類，例如，屬於人的像素部分被劃分為一類，屬於物品的像素部分被劃分為一類，屬於背景的像素部分被劃分為一類。物品類別點可以是點雲資料中屬於同一類別的物品對應的測距點。

由於影像資訊包含周圍環境的環境影像，對環境影像執行物品識別處理的檢測任務，在檢測任務中，模型通過預測環境影像中目標物體的邊界框來實現物品的檢測和定位，最終輸出邊界框，邊界框由矩形框的左上角和右下角座標定義，用來標記和定位目標物品，並方便地操作和分析目標物品。在基於影像的目標檢測任務中，將RGB圖上標記出來的邊界框作為影像識別結果。

在影像語義分割方案中，將環境影像輸入至全卷積神經網路（Fully Convolutional Networks，FCN），在該網路模型中，使用卷積層代替普通卷積神經網路（Convolutional Neural Networks，CNN）中的全連接層，使用不同尺度資訊融合，可以生成任意大小的影像分割圖，從而實現對影像進行像素級的分類。在影像語義分割中，將RGB圖上標記出來的分割像素資訊作為影像識別結果。

由於自移動設備獲取到了周圍環境的雷射點雲資訊，因此還可以基於雷射點雲資訊進行物品識別處理，基於雷射點雲資訊確定周圍環境對應的點雲資料，基於並在點雲資料中標記出來包含類物體識別結果的點，包括識別線團、風扇、電子秤之類的物體，即物品類別點。採用影像資訊和/或雷射點雲資訊進行物品識別，可以將得到的物品識別結果用於後續的物品類型確定過程。

在本發明的一種示例性實施方式中，將物品類型識別結果與對應的物品類別點雲和/或物品類別影像進行結果融合處理，得到物品類型與位置資訊，包括：將物品邊界框或分割像素資訊投影至物品類別點雲，得到物品類別點雲的點雲特徵；根據點雲特徵對影像識別結果進行分類過濾識別，得到物品類型，並確定物品類型所處的位置資訊。

其中，物品類別點雲可以是周圍環境中不同類別的物品各自對應的三維點雲資料，屬於同一物品的測距點被劃分為同一物品類別點雲中。物品類別點雲的點雲特徵可以是點雲識別結果中的點雲資料包含的具體特徵，例如，點雲特徵可以包括空間特徵與測距特徵等。分類過濾識別可以是結合點雲特徵對基於影像資訊確定出的物品類型劃分結果進行過濾，以排除掉不準確分類結果的處理過程。

影像識別結果可以採用物品邊界框或分割像素資訊來表達，以物品邊界框為例，根據影像點雲關係資訊可以計算出TOF中類別物品包含的像素對應的點雲資料，作為物品類別點雲，以實現後續影像RGB資訊與TOF資料對齊的處理過程。在影像RGB資訊與TOF資料完成對齊後，將影像識別結果與TOF深度資訊相結合，可形成類似與色彩深度圖（RGBD）的感測器，確定出周圍環境中的物體類型與物體所處的位置資訊，用於後續避障。

兩者結合的方案主要有兩類，一種是將影像內的邊界框或者像素資訊，投影到物品類別點雲上，找到對應的點雲特徵。另一個是將有效的點雲（周圍環境中物品對應的點雲資料）直接映射到影像上，後面再根據影像的框或者分割的結果反觀點雲的特徵。在得到點雲特徵後，根據點雲特徵對影像識別結果進行分類過濾識別，得到物品類型，並確定出每個物品類型在周圍環境中所處的位置座標。通過將影像識別結果與點雲識別結果相融合並確定物品類型，可以得到更準確的類別資訊。

在本發明的一種示例性實施方式中，根據點雲特徵對影像識別結果進行分類過濾識別，得到物品類型，包括：當影像識別結果為第一障礙物，且點雲特徵不具有高度資訊時，將物品類型確定為無障礙物；當影像識別結果為第一障礙物，且點雲特徵具有高度資訊時，基於點雲特徵獲取點雲資料的空間屬性特徵；根據空間屬性特徵確定物品類型。

其中，高度資訊可以是用於表徵點雲資料的高度資料的相關資訊。空間屬性特徵可以是用於表徵點雲資料的三維空間屬性的特徵。

在得到影像識別結果後，進一步結合點雲特徵進行分類過濾識別。當影像識別結果為第一障礙物時，例如第一障礙物是線材，針對環境影像上的線材，在找到對應的物品類別點雲後，基於物品類別點雲可以計算出更加精確的距離資訊，從而提升避障效果。比如當地面上真的存在一團線的時候，影像結果可以識別出來，同時物品類別點雲上也可以測出有一定高度，即點雲特徵具有高度資訊，此時，將基於點雲特徵獲取點雲資料的空間屬性特徵，後續根據空間屬性特徵進一步識別並確定該物品是否為線材。

然而，當地面上存在有長得像線材的花紋的時候（如地板花紋，地毯花紋，地墊花紋等），影像裡也可能將這種花紋識別為線材，但在TOF點雲裡這種花紋並沒有明顯的高度資訊，即點雲特徵不具有高度資訊，在此情況下，將過濾掉這種誤識別的線材，將物品類型確定為無障礙物，此時，自移動設備對應的避障距離也就相對近一些。將點雲特徵用於物品類型的確定過程，可以進一步過濾影像的誤識別結果，提高識別結果的準確性。

在本發明的一種示例性實施方式中，根據空間屬性特徵確定物品類型，包括：當空間屬性特徵為空間非封閉時，將物品類型確定為第一障礙物；當空間屬性特徵為空間封閉時，將物品類型確定為第二障礙物。

其中，空間封閉可以是光線照射在該物品時，光線在整個物品表面不可穿透的特徵。空間非封閉可以是光線照射在該物品時，光線在整個物品表面部分可穿透部分不可穿透的特徵。

參考圖2，圖2示出了根據本發明的示例性實施方式的識別線材類物品的示意圖。如果影像識別結果為第一障礙物，且點雲特徵具有高度資訊，從點雲特徵中確定出三維點雲資料的空間屬性特徵後，進一步結合空間屬性特徵判斷周圍環境中物品的具體類型。如果點雲資料的空間屬性特徵為空間封閉時，兩者相結合可以確認真的存在線材210。即自移動設備真的識別到線材時，也將採取相應的避障策略，比如繞行距離也將比一般障礙物繞的遠很多。

參考圖3，圖3示出了根據本發明的示例性實施方式的識別低矮障礙物的示意圖。如果影像識別結果為第二障礙物，如低矮障礙物，對於其他低矮障礙物而言，比如體重秤、小玩具、插線板之類的物品，影像上有時有誤識別，這時通過TOF點雲也可以側面印證檢測結果是否正確。比如這類小物體在TOF裡一定具有高度資訊，當點雲特徵具有高度資訊時，進一步判斷點雲資料的空間屬性特徵，判斷空間是否封閉，以此遮罩掉部分平面上的誤識別結果。當點雲特徵具有高度資訊，且空間屬性特徵為空間封閉時，將物品類型確定為低矮障礙物，如體重秤310，通過上述識別方式，可以得到更準確的識別資訊。

在本發明的一種示例性實施方式中，根據點雲特徵對影像識別結果進行分類過濾識別，得到物品類型，包括：當影像識別結果為第三障礙物，且點雲特徵具有高度資訊時，將物品類型確定為無障礙物；當影像識別結果為第三障礙物，且點雲特徵不具有高度資訊時，基於點雲特徵獲取反光強度資訊；根據反光強度資訊確定物品類型。

其中，反光強度訊息可以是用於表徵點雲資料的反光強度的相關資訊。

參考圖4，圖4示出了根據本發明的示例性實施方式的識別污漬類資訊的示意圖。如果影像識別結果為第三障礙物，如污漬。針對影像識別到的污漬資訊，當找到對應的點雲後，獲取點雲特徵，如果點雲特徵顯示具有很明顯的高度資訊，則說明影像中找到的污漬資訊不準確，通常認為污漬不應該有高度，反向過濾誤識別的結果。另外，還可以根據點雲的強度、反光等資訊，判斷是污漬410的可能性。

在TOF中有一個指標是反應點雲反光強弱的資訊，比如金屬物體反光比較強，則打到該物體上的點雲反光強度將高一些。對於那種黑色物體或者吸光材質物體（比如啞光面），反光比較弱，因此打到該物體上的反光強度就將相對弱一些。當掃地機器人進行清掃時，如果影像上檢測到了污漬存在，同時點雲上也存在一塊區域反光情況與其他位置明顯不同，比如地板材質上反光強度一般，但當撒上一塊醬油漬時，醬油區域的反光情況將比周圍弱很多；或者在過門石這種反光較弱的材質上，撒上一塊果汁，那果汁的反光將比周圍強很多，那就進一步印證污漬檢測的是正確的。

反之，如果影像裡檢測到污漬，但是TOF對應區域並沒有出現明顯的反光資訊變化，則說明該污漬可能識別有誤。採用上述分類過濾識別方式，也將進一步過濾掉影像中的誤識別結果，得到更準確的類別資訊。

在本發明的一種示例性實施方式中，對於步驟S120，將物品類型識別結果與對應的物品類別點雲和/或物品類別影像進行結果融合處理，得到物品類型與位置資訊，包括：基於影像點雲關係，對點雲識別結果與物品類別影像進行位置對齊處理，得到初始融合結果，初始融合結果中的影像像素具有測距資料；獲取物品類別影像對應的顏色特徵；基於顏色特徵對初始融合結果進行過濾識別處理，得到物品類型與位置資訊。

其中，位置對齊處理可以是將點雲識別結果的位置座標與物品類別影像的像素點進行對齊處理的過程。初始融合結果可以是經過位置對齊處理後得到的物品類型劃分結果。顏色特徵可以是與點雲識別結果對應的物品類別影像中包含的RGB資訊對應的特徵。過濾識別處理可以是過濾掉類型劃分結果中的誤分類結果的處理過程。

本實施例還提供了另一種將兩種識別結果進行融合處理以確定物品類型的實現方案。基於影像點雲關係，對點雲識別結果與物品類別影像進行位置對齊處理，得到初始融合結果。在進行位置對齊操作後，點雲便有了RGB資訊，可以採用影像處理的相關技術手段過濾誤識別結果。例如，採用環境影像的顏色特徵對初始融合結果進行過濾識別處理，得到物品類型與位置資訊。

例如，從點雲資料上來看，可能金屬盒子和一本厚的書的外形差不多，但從影像中來看，金屬盒子可能更亮一點，更具有金屬光澤，而書本更暗一點，這一特徵可以二次印證點雲識別的結果是否正確。針對點雲識別的物體，如果其對應的影像完全不具備可能的顏色特徵，便可反向過濾誤識別的結果，此處的顏色特徵參考上述書本或者金屬盒子按照顏色亮暗程度進行區分的例子。上述類型識別方案，基於帶有顏色資訊的點雲資料進行，可以進一步提高識別結果的準確性。

在本發明的一種示例性實施方式中，基於影像點雲關係，將點雲識別結果與物品類別影像進行位置對齊處理，得到初始融合結果，包括：基於影像點雲關係，將點雲識別結果中的物品類別點投影至物品類別影像，得到初始融合結果；或基於影像點雲關係，將物品類別影像投影至點雲資料，得到初始融合結果。

在點雲識別結果與物品類別影像進行位置對齊處理過程中，由於點雲識別結果包括周圍環境的點雲資料，由於事先標定了RGB和TOF，可以獲取到兩者感測器的大致對應關係，即影像點雲關係。根據影像點雲關係可以對點雲識別結果與物品類別影像進行位置對齊處理，具體包括以下兩類： 一種是將點雲中帶有類別資訊的點（即物品類別點）投影到物品類別影像上，得到初始融合結果。另一種是物品類別影像對齊到點雲識別結果上，即使點雲帶上顏色資訊。上述處理過程可以理解為，首先要先知道點雲和影像之間的位置關係，即兩者的安裝位置，然後可以選擇將點雲結果投影到物品類別影像上，即點雲對齊到像素座標，讓每個像素都有距離資訊。也可以將物品類別影像投影到點雲上，即每個點都有顏色，可能一個像素對應多個點雲。通過上述處理過程，可以使影像識別結果與點雲識別結果實現位置對齊，以基於對齊後的融合結果進行類型識別處理。

在本發明的一種示例性實施方式中，對於步驟S120，基於影像資訊與雷射點雲資訊進行物品識別處理與結果融合處理，得到周圍環境中待識別物品的物品類型與位置資訊，包括：基於影像資訊與雷射點雲資訊進行物品識別處理，得到影像識別結果與點雲識別結果；對影像識別結果與點雲識別結果進行結果合併處理，得到物品類型；獲取影像點雲關係，根據影像點雲關係確定物品類型對應的位置資訊。

其中，結果合併處理可以是對影像識別結果與點雲識別結果取聯集的處理過程。

在上述結果融合方案中，可以僅採用影像資訊進行物品識別處理，或僅採用雷射點雲資訊進行物品識別處理，在本實施例中，基於影像資訊與雷射點雲資訊分別進行物品識別處理，得到各自對應的影像識別結果與點雲識別結果。在得到兩種識別結果後，與上述處理過程類似，通過將影像投影到點雲，或者點雲投影到影像的方式進行資料對齊處理。

由於對影像識別結果與點雲識別結果均具有類別資訊，因此，將兩種識別結果進行結果合併處理，如取交集操作，即可確定出物品類型；在得到物品類型後，根據影像點雲關係確定每個物品類型在周圍環境中的位置座標。由於兩者都具備類別資訊，所以兩者結合取其交集，可以提高識別的準確度。

綜上所述，本發明的自移動設備的控制方法，獲取周圍環境的影像資訊與雷射點雲資訊；基於影像資訊與雷射點雲資訊進行物品識別處理與結果融合處理，得到周圍環境中待識別物品的物品類型與位置資訊；根據物品類型與位置資訊，確定自移動設備的避障策略，避障策略用於控制生成自移動設備的移動路徑。一方面，將周圍環境的影像資訊與雷射點雲資訊相結合，共同確定物品類型，可以得到更準確的類別結果，提高了物品識別的準確度。另一方面，根據物品識別結果確定設備避障策略，使得後續生成的設備移動路徑更加合理。

需要說明的是，儘管在圖式中以特定順序描述了本發明中方法的各個步驟，但是，這並非要求或者暗示必須按照該特定順序來執行這些步驟，或是必須執行全部所示的步驟才能實現期望的結果。附加的或備選的，可以省略某些步驟，將多個步驟合併為一個步驟執行，以及/或者將一個步驟分解為多個步驟執行等。

此外，在本示例實施例中，還提供了一種自移動設備的控制裝置。參考圖5，該自移動設備的控制裝置500可以包括：環境資訊獲取模組510，物品類型確定模組520以及設備控制模組530。

具體的，環境資訊獲取模組510，用於獲取周圍環境的影像資訊與雷射點雲資訊；物品類型確定模組520，用於基於影像資訊與雷射點雲資訊進行物品識別處理與結果融合處理，得到周圍環境中待識別物品的物品類型與位置資訊；設備控制模組530，用於根據物品類型與位置資訊，確定自移動設備的避障策略，避障策略用於控制生成自移動設備的移動路徑。

在本發明的一種示例性實施方式中，物品類型確定模組520包括第一類型確定單元，用於：基於影像資訊與雷射點雲資訊進行物品識別處理，得到物品類型識別結果，物品類型識別結果包括影像識別結果和/或點雲識別結果；獲取影像資訊與雷射點雲資訊之間的影像點雲關係，影像點雲關係包括環境影像的像素位置與點雲資料的測距點之間的對應關係；基於影像點雲關係，獲取物品類型識別結果對應的物品類別點雲和/或物品類別影像；將物品類型識別結果與對應的物品類別點雲和/或物品類別影像進行結果融合處理，得到物品類型與位置資訊。

在本發明的一種示例性實施方式中，第一類型確定單元包括類型識別子單元，用於：基於影像資訊進行物品識別處理，得到待識別物品的影像識別結果，影像識別結果包括物品邊界框或分割像素資訊；和/或基於雷射點雲資訊進行物品識別處理，得到待識別物品的點雲識別結果，點雲識別結果包括物品類別點。

在本發明的一種示例性實施方式中，影像識別結果包括物品邊界框或分割像素資訊，第一類型確定單元包括第一類型確定子單元，用於：將物品邊界框或分割像素資訊投影至物品類別點雲，得到物品類別點雲的點雲特徵；根據點雲特徵對影像識別結果進行分類過濾識別，得到物品類型，並確定物品類型所處的位置資訊。

在本發明的一種示例性實施方式中，第一類型確定子單元包括第一過濾子單元，用於：當影像識別結果為第一障礙物，且點雲特徵不具有高度資訊時，將物品類型確定為無障礙物；當影像識別結果為第一障礙物，且點雲特徵具有高度資訊時，基於點雲特徵獲取點雲資料的空間屬性特徵；根據空間屬性特徵確定物品類型。

在本發明的一種示例性實施方式中，第一類型確定子單元包括第二過濾子單元，用於：當空間屬性特徵為空間非封閉時，將物品類型確定為第一障礙物；當空間屬性特徵為空間封閉時，將物品類型確定為第二障礙物。

在本發明的一種示例性實施方式中，第一類型確定子單元包括第三過濾子單元，用於：當影像識別結果為第三障礙物，且點雲特徵具有高度資訊時，將物品類型確定為無障礙物；當影像識別結果為第三障礙物，且點雲特徵不具有高度資訊時，基於點雲特徵獲取反光強度資訊；根據反光強度資訊確定物品類型。

在本發明的一種示例性實施方式中，物品類型確定模組520包括第二類型確定單元，用於：基於影像點雲關係，對點雲識別結果與物品類別影像進行位置對齊處理，得到初始融合結果，初始融合結果中的影像像素具有測距資料；獲取物品類別影像對應的顏色特徵；基於顏色特徵對初始融合結果進行過濾識別處理，得到物品類型與位置資訊。

在本發明的一種示例性實施方式中，第二類型確定單元包括融合處理子單元，用於：基於影像點雲關係，將點雲識別結果中的物品類別點投影至物品類別影像，得到初始融合結果；或基於影像點雲關係，將物品類別影像投影至點雲識別結果，得到初始融合結果。

在本發明的一種示例性實施方式中，物品類型確定模組520包括第三類型確定單元，用於：基於影像資訊與雷射點雲資訊進行物品識別處理，得到影像識別結果與點雲識別結果；對影像識別結果與點雲識別結果進行結果合併處理，得到物品類型；獲取影像點雲關係，根據影像點雲關係確定物品類型對應的位置資訊。

上述中各自移動設備的控制裝置的虛擬模組的具體細節已經在對應的自移動設備的控制方法中進行了詳細的描述，因此此處不再贅述。

本發明提供的技術方案可以包括以下有益效果： 本發明的示例性實施例中的自移動設備的控制方法，一方面，將周圍環境的影像資訊與雷射點雲資訊相結合，共同確定物品類型，可以得到更準確的類別結果，提高了物品識別的準確度。另一方面，根據物品識別結果確定設備避障策略，使得後續生成的設備移動路徑更加合理。

應當注意，儘管在上文詳細描述中提及了自移動設備的控制裝置的若干模組或者單元，但是這種劃分並非強制性的。實際上，根據本發明的實施方式，上文描述的兩個或更多模組或者單元的特徵和功能可以在一個模組或者單元中具體化。反之，上文描述的一個模組或者單元的特徵和功能可以進一步劃分為由多個模組或者單元來具體化。

此外，在本發明的示例性實施例中，還提供了一種能夠實現上述方法的電子設備。

所屬技術領域的技術人員能夠理解，本發明的各個方面可以實現為系統、方法或程式產品。因此，本發明的各個方面可以具體實現為以下形式，即：完全的硬體實施例、完全的軟體實施例（包括韌體、微程式等），或硬體和軟體方面結合的實施例，這裡可以統稱為「電路」、「模組」或「系統」。

下面參考圖6來描述根據本發明的這種實施例的電子設備600。圖6顯示的電子設備600僅僅是一個示例，不應對本發明實施例的功能和使用範圍帶來任何限制。

如圖6所示，電子設備600以通用計算設備的形式表現。電子設備600的元件可以包括但不限於：上述至少一個處理單元610、上述至少一個儲存單元620、連接不同系統元件（包括儲存單元620和處理單元610）的匯流排630、顯示單元640。

其中，所述儲存單元620儲存有程式碼，所述程式碼可以被所述處理單元610執行，使得所述處理單元610執行本說明書上述「示例性方法」部分中描述的根據本發明各種示例性實施例的步驟。

儲存單元620可以包括易失性儲存單元形式的可讀媒體，例如隨機存取儲存單元（RAM）621和/或快取記憶體儲存單元622，還可以進一步包括唯讀儲存單元（ROM）623。

儲存單元620可以包括具有一組（至少一個）程式模組625的程式/實用工具624，這樣的程式模組625包括但不限於：作業系統、一個或者多個應用程式、其它程式模組以及程式資料，這些示例中的每一個或某種組合中可能包括網路環境的實現。

匯流排630可以表示幾類匯流排結構中的一種或多種，包括儲存單元匯流排或者儲存單元控制器、週邊匯流排、圖形加速埠、處理單元或者使用多種匯流排結構中的任意匯流排結構的局域匯流排。

電子設備600也可以與一個或多個外部設備670（例如鍵盤、指向設備、藍牙設備等）通訊，還可與一個或者多個使得使用者能與該電子設備600交互的設備通訊，和/或與使得該電子設備600能與一個或多個其它計算設備進行通訊的任何設備（例如路由器、數據機等等）通訊。這種通訊可以通過輸入/輸出（I/O）埠650進行。並且，電子設備600還可以通過網路配接器660與一個或者多個網路（例如區域網路（LAN），廣域網路（WAN）和/或公共網路，例如網際網路）通訊。如圖所示，網路配接器660通過匯流排630與電子設備600的其它模組通訊。應當明白，儘管圖中未示出，可以結合電子設備600使用其它硬體和/或軟體模組，包括但不限於：微程式、裝置驅動程式、冗餘處理單元、外部磁碟驅動陣列、RAID系統、磁帶驅動器以及資料備份儲存系統等。

通過以上的實施例的描述，本領域的技術人員易於理解，這裡描述的示例實施例可以通過軟體實現，也可以通過軟體結合必要的硬體的方式來實現。因此，根據本發明實施例的技術方案可以以軟體產品的形式體現出來，該軟體產品可以儲存在一個非易失性儲存媒體（可以是CD-ROM，隨身碟，行動硬碟等）中或網路上，包括若干指令以使得一台計算設備（可以是個人電腦、伺服器、終端裝置、或者網路設備等）執行根據本發明實施例的方法。

在本發明的示例性實施例中，還提供了一種電腦可讀儲存媒體，其上儲存有能夠實現本說明書上述方法的程式產品。在一些可能的實施例中，本發明的各個方面還可以實現為一種程式產品的形式，其包括程式碼，當所述程式產品在終端設備上運行時，所述程式碼用於使所述終端設備執行本說明書上述「示例性方法」部分中描述的根據本發明各種示例性實施例的步驟。

參考圖7所示，描述了根據本發明的實施例的用於實現上述方法的程式產品700，其可以採用光碟唯讀記憶體（CD-ROM）並包括程式碼，並可以在終端設備，例如個人電腦上運行。然而，本發明的程式產品不限於此，在本文件中，可讀儲存媒體可以是任何包含或儲存程式的有形媒體，該程式可以被指令執行系統、裝置或者器件使用或者與其結合使用。

所述程式產品可以採用一個或多個可讀媒體的任意組合。可讀媒體可以是可讀訊號媒體或者可讀儲存媒體。可讀儲存媒體例如可以為但不限於電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件，或者任意以上的組合。可讀儲存媒體的更具體的例子（非窮舉的列表）包括：具有一個或多個導線的電連接、可攜式盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可程式設計唯讀記憶體（EPROM或快閃記憶體）、光纖、   光碟唯讀記憶體（CD-ROM）、光記憶體件、磁記憶體件、或者上述的任意合適的組合。

電腦可讀訊號媒體可以包括在基帶中或者作為載波一部分傳播的資料訊號，其中承載了可讀程式碼。這種傳播的資料訊號可以採用多種形式，包括但不限於電磁訊號、光訊號或上述的任意合適的組合。可讀訊號媒體還可以是可讀儲存媒體以外的任何可讀媒體，該可讀媒體可以發送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程式。

可讀媒體上包含的程式碼可以用任何適當的媒體傳輸，包括但不限於無線、有線、光纜、RF等等，或者上述的任意合適的組合。

可以以一種或多種程式設計語言的任意組合來編寫用於執行本發明操作的程式碼，所述程式設計語言包括物件導向的程式設計語言—諸如Java、C++等，還包括常規的過程式程式設計語言—諸如「C」語言或類似的程式設計語言。程式碼可以完全地在使用者計算設備上執行、部分地在使用者設備上執行、作為一個獨立的套裝軟體執行、部分在使用者計算設備上部分在遠端計算設備上執行、或者完全在遠端計算設備或伺服器上執行。在涉及遠端計算設備的情形中，遠端計算設備可以通過任意種類的網路，包括區域網路（LAN）或廣域網路（WAN），連接到使用者計算設備，或者，可以連接到外部計算設備（例如利用網際網路服務提供者來通過網際網路連接）。

此外，上述圖式僅是根據本發明示例性實施例的方法所包括的處理的示意性說明，而不是限制目的。易於理解，上述圖式所示的處理並不表明或限制這些處理的時間順序。另外，也易於理解，這些處理可以是例如在多個模組中同步或非同步執行的。

本領域技術人員在考慮說明書及實踐這裡公開的發明後，將容易想到本發明的其他實施例。本發明旨在涵蓋本發明的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本發明的一般性原理並包括本發明未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本發明的真正範圍和精神由請求項指出。

應當理解的是，本發明並不局限於上面已經描述並在圖式中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本發明的範圍僅由所附的申請專利範圍來限。

210:線材 310:體重秤 410:污漬 500:自移動設備的控制裝置 510:環境資訊獲取模組 520:物品類型確定模組 530:設備控制模組 600:電子設備 610:處理單元 620:儲存單元 621:隨機存取儲存單元（RAM） 622:快取記憶體儲存單元 623:唯讀儲存單元（ROM） 624:程式/實用工具 625:程式模組 630:匯流排 640:顯示單元 650:輸入/輸出埠 660:網路配接器 670:外部設備 700:程式產品 S110、S120、S130:步驟

此處的圖式被併入說明書中並構成本說明書的一部分，示出了符合本發明的實施例，並與說明書一起用於解釋本發明的原理。顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其他的圖式。在圖式中： 圖1示意性示出了根據本發明的示例性實施方式的自移動設備的控制方法的流程圖； 圖2示出了根據本發明的示例性實施方式的識別線材類物品的示意圖； 圖3示出了根據本發明的示例性實施方式的識別低矮障礙物的示意圖； 圖4示出了根據本發明的示例性實施方式的識別污漬類資訊的示意圖； 圖5示意性示出了根據本發明的示例性實施方式的自移動設備的控制裝置的方塊圖； 圖6示意性示出了根據本發明一示例性實施例的電子設備的方塊圖；以及 圖7示意性示出了根據本發明一示例性實施例的電腦可讀儲存媒體的示意圖。

S110、S120、S130:步驟

Claims (23)

1. 一種自移動設備的控制方法，其包括以下步驟： 獲取周圍環境的影像資訊與雷射點雲資訊； 基於所述影像資訊與所述雷射點雲資訊進行物品識別處理與結果融合處理，得到所述周圍環境中待識別物品的物品類型與位置資訊； 根據所述物品類型與所述位置資訊，確定所述自移動設備的避障策略，所述避障策略用於控制生成所述自移動設備的移動路徑。
2. 如請求項1所述之自移動設備的控制方法，其中，所述基於所述影像資訊與所述雷射點雲資訊進行物品識別處理與結果融合處理，得到所述周圍環境中待識別物品的物品類型與位置資訊，包括以下步驟： 基於所述影像資訊和/或所述雷射點雲資訊進行所述物品識別處理，得到物品類型識別結果，所述物品類型識別結果包括影像識別結果和/或點雲識別結果； 獲取所述影像資訊與所述雷射點雲資訊之間的影像點雲關係，所述影像點雲關係包括環境影像的像素位置與點雲資料的測距點之間的對應關係； 基於所述影像點雲關係，獲取所述物品類型識別結果對應的物品類別點雲和/或物品類別影像； 對所述物品類型識別結果與對應的所述物品類別點雲和/或所述物品類別影像進行所述結果融合處理，得到所述物品類型與所述位置資訊。
3. 如請求項2所述之自移動設備的控制方法，其中，所述基於所述影像資訊和/或所述雷射點雲資訊進行物品識別處理，得到物品類型識別結果，包括以下步驟： 基於所述影像資訊進行所述物品識別處理，得到所述待識別物品的影像識別結果，所述影像識別結果包括物品邊界框或分割像素資訊；和/或 基於所述雷射點雲資訊進行所述物品識別處理，得到所述待識別物品的點雲識別結果，所述點雲識別結果包括物品類別點。
4. 如請求項2所述之自移動設備的控制方法，其中，所述影像識別結果包括物品邊界框或分割像素資訊，所述對所述物品類型識別結果與對應的所述物品類別點雲和/或所述物品類別影像進行所述結果融合處理，得到所述物品類型與所述位置資訊，包括以下步驟： 將所述物品邊界框或所述分割像素資訊投影至所述物品類別點雲，得到所述物品類別點雲的點雲特徵； 根據所述點雲特徵對所述影像識別結果進行分類過濾識別，得到所述物品類型，並確定所述物品類型所處的位置資訊。
5. 如請求項4所述之自移動設備的控制方法，其中，所述根據所述點雲特徵對所述影像識別結果進行分類過濾識別，得到所述物品類型，包括以下步驟： 當所述影像識別結果為第一障礙物，且所述點雲特徵不具有高度資訊時，將所述物品類型確定為無障礙物； 當所述影像識別結果為所述第一障礙物，且所述點雲特徵具有所述高度資訊時，基於所述點雲特徵獲取所述點雲資料的空間屬性特徵； 根據所述空間屬性特徵確定所述物品類型。
6. 如請求項5所述之自移動設備的控制方法，其中，所述根據所述空間屬性特徵確定所述物品類型，包括以下步驟： 當所述空間屬性特徵為空間非封閉時，將所述物品類型確定為所述第一障礙物； 當所述空間屬性特徵為空間封閉時，將所述物品類型確定為第二障礙物。
7. 如請求項4所述之自移動設備的控制方法，其中，所述根據所述點雲特徵對所述影像識別結果進行分類過濾識別，得到所述物品類型，包括以下步驟： 當所述影像識別結果為第三障礙物，且所述點雲特徵具有高度資訊時，將所述物品類型確定為無障礙物； 當所述影像識別結果為所述第三障礙物，且所述點雲特徵不具有所述高度資訊時，基於所述點雲特徵獲取反光強度資訊； 根據所述反光強度資訊確定所述物品類型。
8. 如請求項2所述之自移動設備的控制方法，其中，所述對所述物品類型識別結果與對應的所述物品類別點雲和/或所述物品類別影像進行所述結果融合處理，得到所述物品類型與所述位置資訊，包括以下步驟： 基於所述影像點雲關係，對所述點雲識別結果與所述物品類別影像進行位置對齊處理，得到初始融合結果，所述初始融合結果中的影像像素具有測距資料； 獲取所述物品類別影像對應的顏色特徵； 基於所述顏色特徵對所述初始融合結果進行過濾識別處理，得到所述物品類型與所述位置資訊。
9. 如請求項8所述之自移動設備的控制方法，其中，所述基於所述影像點雲關係，對所述點雲識別結果與所述物品類別影像進行位置對齊處理，得到初始融合結果，包括以下步驟： 基於所述影像點雲關係，將所述點雲識別結果中的物品類別點投影至所述物品類別影像，得到所述初始融合結果；或 基於所述影像點雲關係，將所述物品類別影像投影至所述點雲識別結果，得到所述初始融合結果。
10. 如請求項1所述之自移動設備的控制方法，其中，所述基於所述影像資訊與所述雷射點雲資訊進行物品識別處理與結果融合處理，得到所述周圍環境中待識別物品的物品類型與位置資訊，包括以下步驟： 基於所述影像資訊與所述雷射點雲資訊進行所述物品識別處理，得到影像識別結果與點雲識別結果； 對所述影像識別結果與所述點雲識別結果進行結果合併處理，得到所述物品類型； 獲取影像點雲關係，根據所述影像點雲關係確定所述物品類型對應的位置資訊。
11. 一種自移動設備的控制裝置，其包括： 環境資訊獲取模組，用於獲取周圍環境的影像資訊與雷射點雲資訊； 物品類型確定模組，用於基於所述影像資訊與所述雷射點雲資訊進行物品識別處理與結果融合處理，得到所述周圍環境中待識別物品的物品類型與位置資訊； 設備控制模組，用於根據所述物品類型與所述位置資訊，確定所述自移動設備的避障策略，所述避障策略用於控制生成所述自移動設備的移動路徑。
12. 如請求項11所述之自移動設備的控制裝置，其中，所述物品類型確定模組包括第一類型確定單元，所述第一類型確定單元用於： 基於所述影像資訊和/或所述雷射點雲資訊進行所述物品識別處理，得到物品類型識別結果，所述物品類型識別結果包括影像識別結果和/或點雲識別結果； 獲取所述影像資訊與所述雷射點雲資訊之間的影像點雲關係，所述影像點雲關係包括環境影像的像素位置與點雲資料的測距點之間的對應關係； 基於所述影像點雲關係，獲取所述物品類型識別結果對應的物品類別點雲和/或物品類別影像； 對所述物品類型識別結果與對應的所述物品類別點雲和/或所述物品類別影像進行所述結果融合處理，得到所述物品類型與所述位置資訊。
13. 如請求項12所述之自移動設備的控制裝置，其中，所述第一類型確定單元包括類型識別子單元，所述類型識別子單元用於： 基於所述影像資訊進行所述物品識別處理，得到所述待識別物品的影像識別結果，所述影像識別結果包括物品邊界框或分割像素資訊；和/或 基於所述雷射點雲資訊進行所述物品識別處理，得到所述待識別物品的點雲識別結果，所述點雲識別結果包括物品類別點。
14. 如請求項12所述之自移動設備的控制裝置，其中，所述圖像識別結果包括物品邊界框或分割像素資訊，所述第一類型確定單元包括第一類型確定子單元，所述第一類型確定子單元用於： 將所述物品邊界框或所述分割像素資訊投影至所述物品類別點雲，得到所述物品類別點雲的點雲特徵； 根據所述點雲特徵對所述影像識別結果進行分類過濾識別，得到所述物品類型，並確定所述物品類型所處的位置資訊。
15. 如請求項14所述之自移動設備的控制裝置，其中，所述第一類型確定子單元包括第一過濾子單元，所述第一過濾子單元用於： 當所述影像識別結果為第一障礙物，且所述點雲特徵不具有高度資訊時，將所述物品類型確定為無障礙物； 當所述影像識別結果為所述第一障礙物，且所述點雲特徵具有所述高度資訊時，基於所述點雲特徵獲取所述點雲資料的空間屬性特徵； 根據所述空間屬性特徵確定所述物品類型。
16. 如請求項15所述之自移動設備的控制裝置，其中，所述第一類型確定子單元包括第二過濾子單元，所述第二過濾子單元用於： 當所述空間屬性特徵為空間非封閉時，將所述物品類型確定為所述第一障礙物； 當所述空間屬性特徵為空間封閉時，將所述物品類型確定為第二障礙物。
17. 如請求項14所述之自移動設備的控制裝置，其中，所述第一類型確定子單元包括第三過濾子單元，所述第三過濾子單元用於： 當所述影像識別結果為第三障礙物，且所述點雲特徵具有高度資訊時，將所述物品類型確定為無障礙物； 當所述影像識別結果為所述第三障礙物，且所述點雲特徵不具有所述高度資訊時，基於所述點雲特徵獲取反光強度資訊； 根據所述反光強度資訊確定所述物品類型。
18. 如請求項12所述之自移動設備的控制裝置，其中，所述物品類型確定模組包括第二類型確定單元，所述第二類型確定單元用於： 基於所述影像點雲關係，對所述點雲識別結果與所述物品類別影像進行位置對齊處理，得到初始融合結果，所述初始融合結果中的影像像素具有測距資料； 獲取所述物品類別影像對應的顏色特徵； 基於所述顏色特徵對所述初始融合結果進行過濾識別處理，得到所述物品類型與所述位置資訊。
19. 如請求項18所述之自移動設備的控制裝置，其中，所述第二類型確定單元包括融合處理子單元，所述融合處理子單元用於： 基於所述影像點雲關係，將所述點雲識別結果中的物品類別點投影至所述物品類別影像，得到所述初始融合結果；或 基於所述影像點雲關係，將所述物品類別影像投影至所述點雲識別結果，得到所述初始融合結果。
20. 如請求項11所述之自移動設備的控制裝置，其中，所述物品類型確定模組包括第三類型確定單元，所述第三類型確定單元用於： 基於所述影像資訊與所述雷射點雲資訊進行所述物品識別處理，得到影像識別結果與點雲識別結果； 對所述影像識別結果與所述點雲識別結果進行結果合併處理，得到所述物品類型； 獲取影像點雲關係，根據所述影像點雲關係確定所述物品類型對應的位置資訊。
21. 一種電子設備，其包括： 處理器；以及 記憶體，所述記憶體上儲存有電腦可讀指令，所述電腦可讀指令被所述處理器執行時實現如請求項1至10中任一項所述的自移動設備的控制方法。
22. 一種電腦可讀儲存媒體，其上儲存有電腦程式，其特徵在於，所述電腦程式被處理器執行時實現如請求項1至10中任一項所述的自移動設備的控制方法。
23. 一種電腦程式產品，包括電腦程式，其中，所述電腦程式被處理器執行時實現請求項1至10中任一項所述的自移動設備的控制方法。