[go: up one dir, main page]

TWI751735B - 自走車跟隨系統及自走車跟隨方法 - Google Patents

自走車跟隨系統及自走車跟隨方法 Download PDF

Info

Publication number
TWI751735B
TWI751735B TW109135087A TW109135087A TWI751735B TW I751735 B TWI751735 B TW I751735B TW 109135087 A TW109135087 A TW 109135087A TW 109135087 A TW109135087 A TW 109135087A TW I751735 B TWI751735 B TW I751735B
Authority
TW
Taiwan
Prior art keywords
spherical
coordinates
coordinate
target
spherical coordinate
Prior art date
Application number
TW109135087A
Other languages
English (en)
Other versions
TW202215184A (zh
Inventor
粘博閎
高薇雅
黃穎竹
田永平
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW109135087A priority Critical patent/TWI751735B/zh
Priority to CN202011258643.8A priority patent/CN114326695B/zh
Application granted granted Critical
Publication of TWI751735B publication Critical patent/TWI751735B/zh
Publication of TW202215184A publication Critical patent/TW202215184A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明提出一種自走車跟隨系統及自走車跟隨方法。自走車跟隨系統包括：資料收集單元，獲得彩色影像並獲得二維資訊；資料運算單元，獲得所述彩色影像中的目標的三維座標，獲得所述二維資訊中所述目標的二維座標，將所述三維座標轉換為球座標系的第一球座標並將所述二維座標轉換為所述球座標系的第二球座標，根據基於彩色影像深度攝影機獲得的所述第一球座標與基於光學雷達獲得的所述第二球座標來產生所述目標的第三球座標；以及車體控制單元，包括車體控制器，根據所述第三球座標控制車體來跟隨所述目標。

Description

自走車跟隨系統及自走車跟隨方法
本發明是有關於一種自走車跟隨系統及自走車跟隨方法，且特別是有關於一種讓自走車能在干擾較多或路線較複雜的場域跟隨目標的自走車跟隨系統及自走車跟隨方法。
近年來智慧零售與物流電商蓬勃發展，但勞動人口高齡化，搬運與撿貨等人力作業成本顯著上升。為解決物流業人力資源供不應求的問題，使用人機協作跟隨式自走車，可提升人員作業效率並擴大就業年齡層。
倉儲用服務型自走車可大致分為導航式自走車及跟隨式自走車。現存的跟隨型自走車主要應用於環境較單純的場域，如貨架位置固定的物流倉。若在干擾較多或路線較複雜的場域，如人車繁雜的物流倉或零售賣場，當多人同時作業時，難免發生人員交錯的情況，目標一旦被遮蔽，便無法繼續跟隨。因此，如何讓自走車能正確地跟隨人員是本領域技術人員應致力的目標。
有鑑於此，本發明提供一種自走車跟隨系統及自走車跟隨方法，讓自走車能在干擾較多或路線較複雜的場域跟隨目標。
本發明提出一種自走車跟隨系統，包括：資料收集單元，包括：彩色影像深度攝影機，獲得彩色影像；以及光學雷達，獲得二維資訊；以及資料運算單元，包括：影像目標追蹤模組，獲得所述彩色影像中的目標的三維座標；光學雷達目標追蹤模組，並獲得所述二維資訊中所述目標的二維座標；座標融合模組，將所述三維座標轉換為球座標系的第一球座標，並將所述二維座標轉換為所述球座標系的第二球座標；以及控制指令輸出模組，根據基於所述彩色影像深度攝影機獲得的所述第一球座標與基於所述光學雷達獲得的所述第二球座標，來產生所述目標的第三球座標；以及車體控制單元，包括車體控制器，根據所述第三球座標控制車體來跟隨所述目標。
本發明提出一種自走車跟隨方法，包括：藉由彩色影像深度攝影機獲得彩色影像，並藉由光學雷達，獲得二維資訊；獲得所述彩色影像中的目標的三維座標，並獲得所述二維資訊中所述目標的二維座標；將所述三維座標轉換為球座標系的第一球座標，並將所述二維座標轉換為所述球座標系的第二球座標；根據基於所述彩色影像深度攝影機獲得的所述第一球座標與基於所述光學雷達獲得的所述第二球座標，來產生所述目標的第三球座標；以及藉由車體控制器根據所述第三球座標控制車體來跟隨所述目標。
基於上述，本發明的自走車跟隨系統及自走車跟隨方法利用設置於車體上的彩色影像深度攝影機獲得彩色影像並利用設置於車體上的光學雷達獲得二維資訊，獲得彩色影像中的目標的三維座標及二維資訊中目標的二維座標，並分別將三維座標及二維座標轉換為第一球座標及第二球座標，再根據第一球座標及第二球座標產生目標的第三球座標。最後，車體的車體控制器可根據第三球座標控制車體來跟隨目標。本發明的自走車跟隨系統及自走車跟隨方法以彩色影像深度攝影機增加目標可被辨識的特徵來彌補光學雷達的點雲圖特徵不足的問題，以在複雜的環境中可更準確地偵測目標。
本發明同時使用光學雷達(Lidar)及視覺影像兩種跟隨方法，以互相彌補不足。具體來說，當目標被遮擋時，光學雷達無法判斷目標物與障礙物的不同，易跟錯目標。視覺影像儲存了目標的顏色、形狀、紋理等特徵，供系統匹配，使跟隨車不會誤判目標，當障礙物移除後，仍可繼續跟隨正確的目標物。光學雷達所生成的點雲圖可獲得目標與車體的距離和目標大致的形狀大小，在追蹤的過程中易與形狀相近的障礙物混淆。視覺影像可儲存目標物的色彩分佈、形狀、紋理等特徵，使追蹤目標的過程有更多資訊可供判讀。然而，視覺影像的視域範圍較窄，當目標超出彩色影像深度(RGB-D)攝影機之視線範圍時，易跟丟目標。光學雷達視域廣，可繼續追蹤超出攝影機視域之目標物，使跟隨自走車能繼續追蹤跟隨。
圖1為根據本發明一實施例的自走車跟隨系統的方塊圖。
請參照圖1，本發明一實施例的自走車跟隨系統包括資料收集單元110、資料運算單元120及車體控制單元130。資料收集單元110包括設置於自走車車體上的彩色影像深度攝影機111及光學雷達112。彩色影像深度攝影機111可獲得彩色影像。光學雷達112可獲得例如點雲圖的二維資訊。資料運算單元120可對彩色影像及二維資訊進行運算以輸出目標座標讓車體控制單元130的車體控制機器人操作系統(Robot Operating System，ROS)131根據目標座標控制車體來跟隨目標。資料運算單元120包括人員偵測模組121、影像目標鎖定模組122、影像目標追蹤模組123、光學雷達目標鎖定模組124、光學雷達目標追蹤模組125、座標融合模組126及控制指令輸出模組127。在一實施例中，資料運算單元120可包括處理器並執行分別對應各模組(即，人員偵測模組121、影像目標鎖定模組122、影像目標追蹤模組123、光學雷達目標鎖定模組124、光學雷達目標追蹤模組125、座標融合模組126及控制指令輸出模組127)的軟體/韌體程式碼。在另一實施例中，資料運算單元120的各模組可透過硬體電路來實作。在另一實施例中，資料運算單元120的各模組也可透過硬體電路及/或軟體/韌體程式碼的組合來實作。本發明不限制資料運算單元120的各模組的實作方式。資料運算單元120的各模組將在下文中詳細說明。
在一實施例中，資料運算單元120可執行鎖定目標人員程序或人員辨識追蹤程序來進行彩色深度影像的目標鎖定及追蹤。鎖定目標人員程序或人員辨識追蹤程序都可利用深度學習方法取得目標人員影像或是取得影像中所有人的影像，再藉由機器學習方法(例如，MobileNet -SSD v2 lite物件識別模型)執行分割影像並取得特徵，例如將取得的人員影像分割成多個等份，並取得多等份的第一主成分當作此影像的特徵。在執行鎖定目標人員程序時，資料運算單元120儲存這些特徵。在執行人員辨識追蹤的程序時，資料運算單元120可將鎖定目標人員時所得到的特徵做為目標特徵輸入，用以進行特徵比對並取得目標位置，並依據辨識結果鎖定目標與進行跟隨。特徵提取方法為例如是RGB直方圖(Histogram)。
另一方面，資料運算單元120還可執行光學雷達演算法來進行光學雷達二維資訊的目標鎖定及追蹤。光學雷達演算法可透過二維光學雷達(Lidar)經由光學感測器取得環境資訊(例如，點雲圖)。這些資訊為以光學雷達為中心，與周遭環境物體距離和角度資訊的集合。為了避免因畫面中物件大小的改變而跟丟，本發明可使用CSRT追蹤演算法進行物件追蹤。CSRT追蹤演算法可使用具通道及空間可靠度的判別相關濾波器(Discriminative Correlation Filter with Channel and Spatial Reliability，DCF-CSR)演算法來調整濾波器，確保物件被縮放時依舊能被追蹤。CSRT 追蹤演算法可計算被選取區域的方向梯度直方圖(Histogram of Oriented Gradient，HOG)特徵及色彩名稱(Colornames)特徵，與前一幀進行比對，以此判斷物件當前的位置。
圖2為根據本發明一實施例的人員偵測模組的方塊圖。
請參照圖2，人員偵測模組121可接收彩色影像210的輸入，將彩色影像210經過深度學習物件偵測模型230的分析，以輸出人員全身定界框座標和框中影像220。深度學習物件偵測模型230例如是單次多框偵測器(Single Shot Multibox Detector，SSD)。深度學習物件偵測模型230可經由分類器231接收彩色影像210再透過多個卷積層232進行特徵提取後執行人員偵測功能233，最後輸出人員全身定界框座標和框中影像220。
圖3為根據本發明一實施例的影像目標鎖定模組的方塊圖。
請參照圖3，影像目標鎖定模組122會接收來自人員辨識模組121的人員定界框座標和框中影像220，在彩色影像深度攝影機111的視域範圍內，鎖定面積最大的定界框為目標(S301)並忽略人員偵測模組121偵測到的其他非目標人員。接著，影像目標鎖定模組122會針對面積最大的定界框提取影像特徵並儲存為目標影像特徵(S302)以輸出目標影像特徵310，儲存面積最大的定界框為目標影像定界框(S303)以輸出目標定界框320(或稱為第一目標定界框)。
圖4為根據本發明一實施例的影像目標追蹤模組的方塊圖。
請參照圖4，影像目標追蹤模組123可執行目標追蹤模組執行影像目標追蹤程序來接收目標影像特徵310、目標定界框320及人員定界框座標和框中影像220來計算人員定界框與目標定界框的覆蓋率(S401)。影像目標追蹤模組123還將框中影像與目標影像特徵310進行人員全身影像特徵匹配(S402)。影像目標追蹤模組123再接收彩色影像210的像素深度資訊410來定位目標的三維中心位置(S403)以輸出三維座標420。舉例來說，當目標定界框以( x 1, y 1, w 1, h 1 )表示且人員定界框以( x 2, y 2, w 2, h 2 )表示時，覆蓋率(Coverage Rate)
Figure 02_image001
，其中 x及 y為定界框的基準座標(例如，中心座標或角落座標)， w及 h分別為定界框的寬度及高度。
圖5為根據本發明一實施例的光學雷達目標鎖定模組的方塊圖。
請參照圖5，光學雷達目標鎖定模組124可接收光學雷達112的二維資訊510(例如，二維點雲圖)以鎖定預定座標的定界框為目標定界框(或稱為第二目標定界框)(S501)，初始化特徵追蹤器(S502)並輸出特徵追蹤器520。特徵追蹤器520例如是腿部特徵追蹤器。
圖6為根據本發明一實施例的光學雷達目標追蹤模組的方塊圖。
請參照圖6，光學雷達目標追蹤模組125可執行點雲目標追蹤程序來接收二維資訊510及特徵追蹤器520並依據二維資訊510與特徵追蹤器520來追蹤目標(S601)，並定位目標的二維中心位置(S602)以輸出目標的二維座標610。
請再參考圖1，座標融合模組126捨棄攝影機座標系的三維座標420中對應高度的座標值以將三維座標420轉換為對應車體的車體座標系的第一座標再將第一座標轉換為第一球座標，並將光學雷達座標系的二維座標610轉換為車體座標系的第二座標再將第二座標轉換為第二球座標。以下將參考圖7來說明攝影機座標系及光學雷達座標系分別轉換為車體座標系的轉換流程。
圖7為根據本發明一實施例的攝影機座標系、光學雷達座標系及車體座標系的座標關係的示意圖。
請參照圖7，車體是從車體座標系710的角度來判斷人員的位置，因此座標融合模組126會將攝影機座標系720及光學雷達座標系730的資料轉換到車體座標系710來顯示。
舉例來說，假設攝影機座標系720的資料點座標為
Figure 02_image003
。若車體座標系710與攝影機座標系720之間存在旋轉關係
Figure 02_image005
及平移關係
Figure 02_image007
，則攝影機座標系720的資料點在車體座標系710的第一座標為
Figure 02_image009
，
Figure 02_image011
，其中
Figure 02_image013
,
Figure 02_image015
。
類似地，假設光學雷達座標系730的資料點座標為
Figure 02_image017
。若車體座標系710與光學雷達座標系730之間存在旋轉關係
Figure 02_image019
平移關係
Figure 02_image021
，則光學雷達座標系730的資料點在車體座標系710的第二座標為
Figure 02_image023
，
Figure 02_image025
，其中
Figure 02_image027
,
Figure 02_image029
。
接著，座標融合模組126可利用以下公式將第一座標及第二座標分別轉換為第一球座標及第二球座標：
Figure 02_image031
，
Figure 02_image033
，也就是將第一座標及第二座標的笛卡兒座標( x, y)轉換為第一球座標及第二球座標的極座標(
Figure 02_image035
,
Figure 02_image037
)。
圖8為根據本發明一實施例的控制指令輸出模組輸出目標的第三球座標的流程圖。
請參照圖8，「A：基於彩色影像判斷的第一球座標(
Figure 02_image039
,
Figure 02_image041
)」801及「B：基於光學雷達判斷的第二球座標(
Figure 02_image043
,
Figure 02_image045
)」802會被輸入控制指令輸出模組127來進行目標位置判斷(S810)。若A及B皆有值(S811)，且
Figure 02_image041
及
Figure 02_image045
相差大於門檻值(S812)，取A為第三球座標(S813)，因為彩色影像深度攝影機111在沒跟丟目標時準確率比光學雷達112高。
若A及B皆有值，且
Figure 02_image041
及
Figure 02_image045
相差小於等於門檻值(S814)，根據
Figure 02_image041
及
Figure 02_image045
的算術平均值及
Figure 02_image039
及
Figure 02_image043
較小者獲得第三球座標(S815)，因為具有較小半徑值的輸出座標離車體較近，有較大的可能性為要追蹤的目標。
若A及B其中之一為空值(S816)，也就是從彩色影像深度攝影機111及光學雷達112的其中之一沒有追蹤到目標時，取A與B的有值者為第三球座標(S817)。
若A及B皆為空值(S818)，則不輸出第三球座標(S819)，並重新執行目標追蹤程序(S820)。
綜上所述，本發明的自走車跟隨系統及自走車跟隨方法利用設置於車體上的彩色影像深度攝影機獲得彩色影像並利用設置於車體上的光學雷達獲得二維資訊，獲得彩色影像中的目標的三維座標及二維資訊中目標的二維座標，並分別將三維座標及二維座標轉換為第一球座標及第二球座標，再根據第一球座標及第二球座標產生目標的第三球座標。最後，車體的車體控制器可根據第三球座標控制車體來跟隨目標。本發明的自走車跟隨系統及自走車跟隨方法以彩色影像深度攝影機增加目標可被辨識的特徵來彌補光學雷達的點雲圖特徵不足的問題，以在複雜的環境中可更準確地偵測目標。此外，系統也能記憶目標特徵，即使目標被遮蔽也能繼續跟隨。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
110:資料收集單元 111:彩色影像深度攝影機 112:光學雷達 120:資料運算單元 121:人員偵測模組 122:影像目標鎖定模組 123:影像目標追蹤模組 124:光學雷達目標鎖定模組 125:光學雷達目標追蹤模組 126:座標融合模組 127:控制指令輸出模組 130:車體控制單元 131:車體控制機器人操作系統 210:彩色影像 220:人員全身定界框座標和框中影 230:深度學習物件偵測模型 231:分類器 232:卷積層 233:人員偵測功能 310:目標影像特徵 320:目標定界框 S301~S303:步驟 410:像素深度資訊 420:三維座標 S401~S403:步驟 510:二維資訊 520:特徵追蹤器 S501~S502:步驟 610:二維座標 S601~S602:步驟 710:車體座標系 720:攝影機座標系 730:光學雷達座標系 801:「A：基於彩色影像判斷的第一球座標(
Figure 02_image039
,
Figure 02_image041
)」 802:「B：基於光學雷達判斷的第二球座標(
Figure 02_image043
,
Figure 02_image045
)」 S810~S820:步驟
圖1為根據本發明一實施例的自走車跟隨系統的方塊圖。 圖2為根據本發明一實施例的人員偵測模組的方塊圖。 圖3為根據本發明一實施例的影像目標鎖定模組的方塊圖。 圖4為根據本發明一實施例的影像目標追蹤模組的方塊圖。 圖5為根據本發明一實施例的光學雷達目標鎖定模組的方塊圖。 圖6為根據本發明一實施例的光學雷達目標追蹤模組的方塊圖。 圖7為根據本發明一實施例的攝影機座標系、光學雷達座標系及車體座標系的座標關係的示意圖。 圖8為根據本發明一實施例的控制指令輸出模組輸出目標的第三球座標的流程圖。
110:資料收集單元
111:彩色影像深度攝影機
112:光學雷達
120:資料運算單元
121:人員偵測模組
122:影像目標鎖定模組
123:影像目標追蹤模組
124:光學雷達目標鎖定模組
125:光學雷達目標追蹤模組
126:座標融合模組
127:控制指令輸出模組
130:車體控制單元
131:車體控制機器人操作系統

Claims (20)

  1. 一種自走車跟隨系統，包括：資料收集單元，包括：彩色影像深度攝影機，獲得彩色影像；以及光學雷達，獲得二維資訊；以及資料運算單元，包括：人員偵測模組，接收來自所述彩色影像深度攝影機的所述彩色影像後，將所述彩色影像經由深度學習物件偵測模型分析，輸出至少一個人員定界框的座標和至少一個框中影像；以及影像目標鎖定模組，接收所述至少一個人員定界框的座標和所述至少一個框中影像，用以鎖定一面積最大的至少一個定界框為第一目標定界框，並且從所述第一目標定界框提取影像特徵並儲存為目標影像特徵，輸出所述第一目標定界框和所述目標影像特徵；影像目標追蹤模組，由所述影像目標鎖定模組獲得所述彩色影像中的目標的三維座標；光學雷達目標追蹤模組，獲得所述二維資訊中所述目標的二維座標；座標融合模組，將所述三維座標轉換為球座標系的第一球座標，並將所述二維座標轉換為所述球座標系的第二球座標；以及控制指令輸出模組，根據基於所述彩色影像深度攝影機 獲得的所述第一球座標與基於所述光學雷達獲得的所述第二球座標，來產生所述目標的第三球座標；以及車體控制單元，包括車體控制器，根據所述第三球座標控制車體來跟隨所述目標。
  2. 如請求項1所述的自走車跟隨系統，還包括：光學雷達目標鎖定模組，接收來自所述光學雷達的所述二維資訊，用以鎖定預定座標的定界框為第二目標定界框，初始化特徵追蹤器並輸出所述特徵追蹤器。
  3. 如請求項1所述的自走車跟隨系統，其中所述目標追蹤模組執行影像目標追蹤程序與點雲目標追蹤程序，所述影像目標追蹤程序依據所述至少一個人員定界框的座標、所述至少一個框中影像、所述第一目標定界框、所述目標影像特徵，計算所述至少一個人員定界框與所述目標定界框的一覆蓋率，並將所述至少一個框中影像與所述目標影像特徵進行人員全身影像特徵匹配，並依據所述彩色影像的像素深度資訊輸出所述三維座標，所述點雲目標追蹤程序依據所述二維資訊與所述特徵追蹤器來追蹤所述目標並定位所述目標的所述二維座標。
  4. 如請求項1所述的自走車跟隨系統，其中所述座標融合模組捨棄所述三維座標中對應高度的座標值以將所述三維座標轉換為車體座標系的第一座標並將所述第一座標轉換為所述第一 球座標，並將所述二維座標轉換為所述車體座標系的第二座標並將所述第二座標轉換為所述第二球座標。
  5. 如請求項1所述的自走車跟隨系統，其中當所述第一球座標與所述第二球座標皆有值且所述第一球座標與所述第二球座標之角度相差大於一門檻值時，取所述第一球座標為所述第三球座標；以及當所述第一球座標與所述第二球座標皆有值且所述第一球座標與所述第二球座標之角度相差不大於所述門檻值時，根據所述第一球座標與所述第二球座標的角度的算術平均值及所述第一球座標與所述第二球座標的較小半徑值獲得所述第三球座標。
  6. 如請求項5所述的自走車跟隨系統，其中當所述第一球座標與所述第二球座標其中之一為空值時，取所述第一球座標與所述第二球座標的有值者為所述第三球座標。
  7. 如請求項6所述的自走車跟隨系統，其中當所述第一球座標與所述第二球座標皆為空值時，重新執行一目標追蹤程序。
  8. 如請求項1所述的自走車跟隨系統，其中所述二維資訊包括點雲圖。
  9. 一種自走車跟隨方法，包括：藉由彩色影像深度攝影機獲得彩色影像，並藉由光學雷達，獲得二維資訊；接收來自所述彩色影像深度攝影機的所述彩色影像後，將所述彩色影像經由深度學習物件偵測模型分析，輸出至少一個人員 定界框的座標和至少一個框中影像；接收所述至少一個人員定界框的座標和所述至少一個框中影像，用以鎖定一面積最大的至少一個定界框為第一目標定界框，並且從所述第一目標定界框提取影像特徵並儲存為目標影像特徵，輸出所述第一目標定界框和所述目標影像特徵；藉由所述第一目標定界框和所述目標影像特徵獲得所述彩色影像中的目標的三維座標，並藉由所述二維資訊獲得所述二維資訊中所述目標的二維座標；將所述三維座標轉換為球座標系的第一球座標，並將所述二維座標轉換為所述球座標系的第二球座標；根據基於所述彩色影像深度攝影機獲得的所述第一球座標與基於所述光學雷達獲得的所述第二球座標，來產生所述目標的第三球座標；以及藉由車體控制器根據所述第三球座標控制車體來跟隨所述目標。
  10. 如請求項9所述的自走車跟隨方法，還包括：接收來自所述光學雷達的所述二維資訊，用以鎖定預定座標的定界框為第二目標定界框，初始化特徵追蹤器並輸出所述特徵追蹤器。
  11. 如請求項9所述的自走車跟隨方法，還包括：執行影像目標追蹤程序與點雲目標追蹤程序，所述影像目標追蹤程序依據所述至少一個人員定界框的座標、所述至少一個框中影像、所述第一目標定界框、所述目標影像特 徵，計算所述至少一個人員定界框與所述目標定界框的一覆蓋率，並將所述至少一個框中影像與所述目標影像特徵進行人員全身影像特徵匹配，並依據所述彩色影像的像素深度資訊輸出所述三維座標，所述點雲目標追蹤程序依據所述二維資訊與所述特徵追蹤器來追蹤所述目標並定位所述目標的所述二維座標。
  12. 如請求項9所述的自走車跟隨方法，還包括：捨棄所述三維座標中對應高度的座標值以將所述三維座標轉換為車體座標系的第一座標並將所述第一座標轉換為所述第一球座標，並將所述二維座標轉換為所述車體座標系的第二座標並將所述第二座標轉換為所述第二球座標。
  13. 如請求項9所述的自走車跟隨方法，其中當所述第一球座標與所述第二球座標皆有值且所述第一球座標與所述第二球座標之角度相差大於一門檻值時，取所述第一球座標為所述第三球座標；以及當所述第一球座標與所述第二球座標皆有值且所述第一球座標與所述第二球座標之角度相差不大於所述門檻值時，根據所述第一球座標與所述第二球座標的角度的算術平均值及所述第一球座標與所述第二球座標的較小半徑值獲得所述第三球座標。
  14. 如請求項13所述的自走車跟隨方法，其中當所述第一球座標與所述第二球座標其中之一為空值時，取所述第一球座標與所述第二球座標的有值者為所述第三球座標。
  15. 如請求項14所述的自走車跟隨方法，其中當所述第一球座標與所述第二球座標皆為空值時，重新執行一目標追蹤程序。
  16. 如請求項9所述的自走車跟隨方法，其中所述二維資訊包括點雲圖。
  17. 一種自走車跟隨系統，包括：資料收集單元，包括：彩色影像深度攝影機，獲得彩色影像；以及光學雷達，獲得二維資訊；以及資料運算單元，包括：影像目標追蹤模組，獲得所述彩色影像中的目標的三維座標；光學雷達目標追蹤模組，獲得所述二維資訊中所述目標的二維座標；座標融合模組，將所述三維座標轉換為球座標系的第一球座標，並將所述二維座標轉換為所述球座標系的第二球座標，其中所述座標融合模組捨棄所述三維座標中對應高度的座標值以將所述三維座標轉換為車體座標系的第一座標，並將所述第一座標轉換為所述第一球座標，將所述二維座標轉換為所述車體座標系的第二座標，並將所述第二座標轉換為所述第二球座標；以及控制指令輸出模組，根據基於所述彩色影像深度攝影機獲得的所述第一球座標與基於所述光學雷達獲得的所述第二球座 標，來產生所述目標的第三球座標；以及車體控制單元，包括車體控制器，根據所述第三球座標控制車體來跟隨所述目標。
  18. 一種自走車跟隨系統，包括：資料收集單元，包括：彩色影像深度攝影機，獲得彩色影像；以及光學雷達，獲得二維資訊；以及資料運算單元，包括：影像目標追蹤模組，獲得所述彩色影像中的目標的三維座標；光學雷達目標追蹤模組，獲得所述二維資訊中所述目標的二維座標；座標融合模組，將所述三維座標轉換為球座標系的第一球座標，並將所述二維座標轉換為所述球座標系的第二球座標；以及控制指令輸出模組，根據基於所述彩色影像深度攝影機獲得的所述第一球座標與基於所述光學雷達獲得的所述第二球座標，來產生所述目標的第三球座標，其中當所述第一球座標與所述第二球座標皆有值且所述第一球座標與所述第二球座標之角度相差大於一門檻值時，取所述第一球座標為所述第三球座標，並且，當所述第一球座標與所述第二球座標皆有值且所述第一球座標與所述第二球座標之角度相差不大於所述門檻值時，根據所述 第一球座標與所述第二球座標的角度的算術平均值及所述第一球座標與所述第二球座標的較小半徑值獲得所述第三球座標；以及車體控制單元，包括車體控制器，根據所述第三球座標控制車體來跟隨所述目標。
  19. 一種自走車跟隨方法，包括：藉由彩色影像深度攝影機獲得彩色影像，並藉由光學雷達，獲得二維資訊；獲得所述彩色影像中的目標的三維座標，並獲得所述二維資訊中所述目標的二維座標；將所述三維座標轉換為球座標系的第一球座標，並將所述二維座標轉換為所述球座標系的第二球座標，其中捨棄所述三維座標中對應高度的座標值以將所述三維座標轉換為車體座標系的第一座標，並將所述第一座標轉換為所述第一球座標，以及將所述二維座標轉換為所述車體座標系的第二座標，並將所述第二座標轉換為所述第二球座標；根據基於所述彩色影像深度攝影機獲得的所述第一球座標與基於所述光學雷達獲得的所述第二球座標，來產生所述目標的第三球座標；以及藉由車體控制器根據所述第三球座標控制車體來跟隨所述目標。
  20. 一種自走車跟隨方法，包括：藉由彩色影像深度攝影機獲得彩色影像，並藉由光學雷達， 獲得二維資訊；獲得所述彩色影像中的目標的三維座標，並獲得所述二維資訊中所述目標的二維座標；將所述三維座標轉換為球座標系的第一球座標，並將所述二維座標轉換為所述球座標系的第二球座標；根據基於所述彩色影像深度攝影機獲得的所述第一球座標與基於所述光學雷達獲得的所述第二球座標，來產生所述目標的第三球座標，其中當所述第一球座標與所述第二球座標皆有值且所述第一球座標與所述第二球座標之角度相差大於一門檻值時，取所述第一球座標為所述第三球座標，以及當所述第一球座標與所述第二球座標皆有值且所述第一球座標與所述第二球座標之角度相差不大於所述門檻值時，根據所述第一球座標與所述第二球座標的角度的算術平均值及所述第一球座標與所述第二球座標的較小半徑值獲得所述第三球座標；以及藉由車體控制器根據所述第三球座標控制車體來跟隨所述目標。
TW109135087A 2020-10-12 2020-10-12 自走車跟隨系統及自走車跟隨方法 TWI751735B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109135087A TWI751735B (zh) 2020-10-12 2020-10-12 自走車跟隨系統及自走車跟隨方法
CN202011258643.8A CN114326695B (zh) 2020-10-12 2020-11-12 自走车跟随系统及自走车跟随方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109135087A TWI751735B (zh) 2020-10-12 2020-10-12 自走車跟隨系統及自走車跟隨方法

Publications (2)

Publication Number Publication Date
TWI751735B true TWI751735B (zh) 2022-01-01
TW202215184A TW202215184A (zh) 2022-04-16

Family

ID=80809114

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109135087A TWI751735B (zh) 2020-10-12 2020-10-12 自走車跟隨系統及自走車跟隨方法

Country Status (2)

Country Link
CN (1) CN114326695B (zh)
TW (1) TWI751735B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116661505B (zh) * 2023-05-31 2024-09-24 深圳市普渡科技有限公司 机器人、机器人跟随方法、装置和存储介质
TWI873060B (zh) * 2024-07-12 2025-02-11 中華學校財團法人中華科技大學 具深度學習演算法之智慧健康配送系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM361902U (en) * 2009-01-22 2009-08-01 Univ Lunghwa Sci & Technology Framework with human body posture identification function
CN104898652A (zh) * 2011-01-28 2015-09-09 英塔茨科技公司 与一个可移动的远程机器人相互交流
WO2016126297A2 (en) * 2014-12-24 2016-08-11 Irobot Corporation Mobile security robot

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933392A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 使用多视图融合的概率性人追踪
US20150294496A1 (en) * 2014-04-14 2015-10-15 GM Global Technology Operations LLC Probabilistic person-tracking using multi-view fusion
CN104751119A (zh) * 2015-02-11 2015-07-01 中国科学院大学 基于信息融合的行人快速检测跟踪方法
CN105975923B (zh) * 2016-05-03 2020-02-21 湖南拓视觉信息技术有限公司 用于跟踪人体对象的方法和系统
CN107194962B (zh) * 2017-04-01 2020-06-05 深圳市速腾聚创科技有限公司 点云与平面图像融合方法及装置
CN108932736B (zh) * 2018-05-30 2022-10-11 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
US11340610B2 (en) * 2018-07-24 2022-05-24 Huili Yu Autonomous target following method and device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM361902U (en) * 2009-01-22 2009-08-01 Univ Lunghwa Sci & Technology Framework with human body posture identification function
CN104898652A (zh) * 2011-01-28 2015-09-09 英塔茨科技公司 与一个可移动的远程机器人相互交流
WO2016126297A2 (en) * 2014-12-24 2016-08-11 Irobot Corporation Mobile security robot

Also Published As

Publication number Publication date
TW202215184A (zh) 2022-04-16
CN114326695B (zh) 2024-02-06
CN114326695A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
US9098766B2 (en) Controlled human pose estimation from depth image streams
JP6430064B2 (ja) データを位置合わせする方法及びシステム
US12477093B2 (en) Wide viewing angle stereo camera apparatus and depth image processing method using the same
Schwarz et al. Estimating human 3d pose from time-of-flight images based on geodesic distances and optical flow
US20100215271A1 (en) Body feature detection and human pose estimation using inner distance shape contexts
Nair et al. Moving obstacle detection from a navigating robot
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
Alcantarilla et al. Visual odometry priors for robust EKF-SLAM
Zhou et al. Online multiple targets detection and tracking from mobile robot in cluttered indoor environments with depth camera
Nguyen et al. Confidence-aware pedestrian tracking using a stereo camera
TWI751735B (zh) 自走車跟隨系統及自走車跟隨方法
Zhang et al. DP-VINS: Dynamics Adaptive Plane-Based Visual-Inertial SLAM for Autonomous Vehicles
Maier et al. Appearance-based traversability classification in monocular images using iterative ground plane estimation
Vincze et al. Edge-projected integration of image and model cues for robust model-based object tracking
Kitt et al. Detection and tracking of independently moving objects in urban environments
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
Butt et al. Monocular SLAM initialization using epipolar and homography model
Singh et al. Efficient deep learning-based semantic mapping approach using monocular vision for resource-limited mobile robots
Lin et al. Robust ground plane region detection using multiple visual cues for obstacle avoidance of a mobile robot
Takaoka et al. 3D map building for a humanoid robot by using visual odometry
KR102546156B1 (ko) 자율 주행 물류 운송 로봇
Bonin-Font et al. A monocular mobile robot reactive navigation approach based on the inverse perspective transformation
Kim et al. Semantic Loop Closure for Reducing False Matches in SLAM
Premaratne et al. Feature based stereo correspondence using moment invariant
Lim et al. Stereo vision-based visual tracking using 3D feature clustering for robust vehicle tracking