TWI413034B - The System of Mixed Reality Realization and Digital Learning - Google Patents

Description

混合擴增實境與數位學習之系統

本發明有關於一種混合擴增實境與數位學習之系統，將擴增實境搭配混合實境技術應用於互動式數位教學的自然科學實驗課程。

在自然科學實驗課程中，需要孩童親自動手操作以學習自然科學，但對於危險性高且不易取得的化學實驗或器材而言，孩童在操作上有其危險性或者無器材可操作。為了克服前述問題，便設計了虛擬實境來取代實際操作，例如孩童在螢幕上看到虛擬畫面，藉由如滑鼠在螢幕之虛擬畫面上操作，根據滑鼠的操作而在螢幕上顯現實驗的結果，進而達到學習的效果。但是根據在螢幕之虛擬畫面上操作，只給予如孩童之使用者視覺上的回饋，沒有實體物件的觸覺回饋，無法讓使用者在操作時的實際感受。

本發明提供一種混合擴增實境與數位學習之系統，其供孩童使用以取代傳統的自然科學實驗課程，並利用擴增實境(Augmented Reality)的技術，利用網路攝影機(Webcam)與本系統所設計之實體裝置，以操作為虛擬呈現之真實實驗，並以擴增實境的視覺回饋呈現出傳統的實驗結果，更能享受到觸覺得回饋而有更真實的感受。

本發明之一態樣提供一種混合擴增實境與數位學習之系統，其包含：一實體裝置，其包含：一加速度計，用以感測該實體裝置之加速度，以產生三個方向之加速度值；一觸摸感測器，用以感測該實體裝置是否被觸摸，以產生一觸摸信號；以及一第一處理器，用以接收該加速度計所產生之三個方向之加速度值及該觸摸感測器所產生之該觸摸信號，並將三個方向之加速度值與該觸摸信號組合成封包形式傳送；一網路攝影機，用以拍攝影像以產生具有該實體裝置之影像資料；以及一主控裝置，其包含：一電腦，用以接收該第一處理器以封包形式傳送之三個方向之加速度值與該觸摸信號、及接收該網路攝影機所產生之具有該實體裝置之影像資料，計算三個方向之加速度值以得知該實體裝置進行何種動作、及根據影像資料計算該實體裝置之位置，結合該實體裝置之位置與動作，並加入一虛擬物件之影像資料於具有該實體裝置之影像資料，使該虛擬物件之影像結合於該實體裝置之影像，且該虛擬物件進行與該實體裝置相同的動作；以及一螢幕，用以接收該電腦所傳送之影像資料，以顯示結 合有該虛擬物件與該實體裝置之影像。

根據本發明之態樣之系統，其中，該實體裝置更包含一第一射頻模組，該第一射頻模組無線發射該第一處理器以封包形式傳送之三個方向之加速度值與該觸摸信號；以及該主控裝置更包含一第二射頻模組，該第二射頻模組無線接收該第一射頻模組所無線發射之三個方向之加速度值與該觸摸信號。

根據本發明之態樣之系統，其中，該加速度計產生為類比之三個方向之加速度值；該觸摸感測器產生為類比之該觸摸信號；該第一處理器將為類比之三個方向之加速度值及該觸摸信號轉換為數位之三個方向之加速度值及該觸摸信號，並將為數位之三個方向之加速度值與該觸摸信號組合成封包形式傳送該主控裝置之該電腦；以及該電腦以接收該第一處理器以封包形式傳送之為數位之三個方向之加速度值與該觸摸信號。

根據本發明之態樣之系統，更包含一實體物件，該主控裝置包含一第三射頻模組，該電腦將為數位之一啟動信號及三個方向之加速度值以封包形式經由該第三射頻模組無線發射至該實體物件，以及該實體物件包含： 複數個伺服馬達，用以驅動該實體物件；一第四射頻裝置，用以無線接收該第三射頻模組所無線發射之為數位之該啟動信號及三個方向之加速度值；以及一處理器，用以接收該第四射頻裝置所傳送之為數位之該啟動信號及三個方向之加速度值，計算三個方向之加速度值以獲得為數位之移動方向值，其中，該處理器根據為數位之該啟動信號以啟動該等伺服馬達之運轉，且根據為數位之移動方向值以控制該等伺服馬達來驅動該實體物件，而使該實體物件具有方向性的移動。

參考以下附圖以說明本發明之較佳實施例。

圖1為本發明之一實施例之混合擴增實境與數位學習之系統的系統方塊圖，圖2為本發明之操作混合擴增實境與數位學習之系統的示意圖。

在圖1、2中，混合擴增實境與數位學習之系統10包含一實體裝置12、一網路攝影機14及一主控裝置16。實體裝置12包含一加速度計20、一觸摸感測器22、一處理器24及一射頻(Radio Frequency，RF)模組26。主控裝置16包含一電腦28、一射頻模組30及一螢幕32。

觸摸感測器22用以感測實體裝置12是否被觸摸，當操作者觸摸實體裝置12時，觸摸感測器22會產生為類比之 一觸摸信號。加速度計20用以感測實體裝置12之加速度，當操作者移動、拍打、翻轉或拋丟實體裝置12時，加速度計20依據實體裝置12的動作會產生為類比之三個方向(即三維空間)之加速度值。

處理器24接收加速度計20所產生之為類比之三個方向之加速度值及觸摸感測器22所產生之為類比之觸摸信號，並將為類比之三個方向之加速度值及觸摸信號轉換為數位之三個方向之加速度值及觸摸信號，而將為數位之三個方向之加速度值與觸摸信號組合成封包形式以傳送至射頻模組26。

射頻模組26以無線方式發射為數位之三個方向之加速度值與觸摸信號，而由主控裝置16之射頻模組30以無線方式接收為數位之三個方向之加速度值與觸摸信號，並將所接收之為數位之三個方向之加速度值與觸摸信號傳送至電腦28。

網路攝影機14用以拍攝影像，以產生具有實體裝置12之為數位或類比之影像資料，其中實體裝置12設有一式樣(pattern)42(見圖2)以供辨識之用。

電腦28用以接收射頻模處30以封包形式所傳送之為數位之三個方向之加速度值與觸摸信號、及接收網路攝影機14所產生之具有實體裝置12之影像資料。電腦28計算三個方向之加速度值以得知實體裝置12進行移動、拍打、翻 轉或拋丟之何種動作、以及根據影像資料中來辨識設有式樣之實體裝置12，並計算該實體裝置12在影像中之位置。

電腦28根據該等計算結果來結合實體裝置12在影像中之位置與動作以產生實體裝置42(見圖2)之影像資料，電腦28根據實體裝置12之式樣46找相對應之一虛擬物件(見圖2)之影像，並加入虛擬物件44之影像的影像資料於具有實體裝置42之影像的影像資料，使虛擬物件44之影像結合於實體裝置42之影像，且電腦28根據所計算之三個方向之加速度值使虛擬物件44進行與實體裝置42相同的動作。電腦28將結合實體裝置42與虛擬物件44之位置及動作的影像資料傳送至螢幕32。

螢幕32接收電腦28所傳送之結合有實體裝置42與虛擬物件44之位置及動作的影像資料，以顯示結合有實體裝置42與虛擬物件44之位置及動作的影像。

本實施例並不侷限於僅用一個實體裝置，而是可使用數個實體裝置，如圖3A為本發明之混合擴增實境與數位學習之系統具有兩個實體裝置的示意圖及圖3B為本發明之混合擴增實境與數位學習之系統具有兩個實體裝置的另一示意圖所示。

在圖3A中，左側係操作者操作兩個實體裝置50、52的情況，右側係在螢幕上顯示操作者操作化學實驗的影像。兩個實體裝置50、52分別設有不同的式樣54、56，再根據 上述混合擴增實境與數位學習之系統10的各組件之運作，電腦28在辨識實體裝置50之式樣54後，找出對應式樣54的虛擬物件之影像，在圖3A之所顯示之虛擬物件為燒杯55，電腦在辨識實體裝置52之式樣56後，找出對應式樣56的虛擬物件之影像，在圖3A之所顯示之虛擬物件為滴管58。電腦28將結合實體裝置50之影像與燒杯55之影像的影像資料傳送至螢幕32，並且將結合實體裝置52之影像與滴管57之影像的影像資料傳送至螢幕32，便可藉由操作者操作兩個實體裝置50、52(即經網路攝影機14拍攝實體裝置50、52之移動、搖晃等動作)而可在幕上顯示操作者操作滴管57與燒杯55之化學實驗的影像。

同樣地，在圖3B中，左側係操作者操作兩個實體裝置60、62的情況，右側係在螢幕上顯示操作者與寵物玩耍的影像。兩個實體裝置60、62分別設有不同的式樣64、66，再根據上述混合擴增實境與數位學習之系統10的各組件之運作，電腦28在辨識實體裝置60之式樣64後，找出對應式樣64的虛擬物件之影像，在圖3B之所顯示之虛擬物件為寵物65，電腦在辨識實體裝置62之式樣66後，找出對應式樣66的虛擬物件之影像，在圖3B之所顯示之虛擬物件為水果68。電腦28將結合實體裝置60之影像與寵物65之影像的影像資料傳送至螢幕32，並且將結合實體裝置62之影像與水果67之影像的影像資料傳送至螢幕32，便可藉 由操作者操作兩個實體裝置60、62(即經網路攝影機14拍攝實體裝置60、62之移動、撫摸、拋丟等動作)而可在幕上顯示操作者拿著水果67與寵物65玩耍的影像。

圖4為本發明之另一實施例之混合擴增實境與數位學習之系統的系統方塊圖。圖4中之組件相同於圖1中之組件係使用相同之元件符號，並省略其說明。

圖4之混合擴增實境與數位學習之系統70之實施例係說明操作者可藉由實體裝置12操作如自走車74之實體物件。

在圖4中，混合擴增實境與數位學習之系統70包含實體裝置12、網路攝影機14、主控裝置72及一自走車74。主控裝置72包含電腦28、射頻模組30及射頻模組76。自走車74包含射頻模組78、處理器80、伺服馬達82及伺服馬達84。

電腦28將為數位之一啟動信號(即ON/OFF信號)及三個方向之加速度值以封包形式傳送至射頻模組76，而由射頻模組76以無線方式發射至自走車74之射頻模組78。

射頻裝置78以無線方式接收射頻模組76所發射之為數位之啟動信號及三個方向之加速度值，而將為數位之啟動信號及三個方向之加速度值傳送至處理器80。

處理器80接收射頻裝置78所傳送之為數位之啟動信號及三個方向之加速度值，並計算三個方向之加速度值以獲得為數位之移動方向值。處理器80根據為數位之啟動信號 (ON/OFF信號)以啟動伺服馬達82、84之運轉，且根據為數位之移動方向值以控制伺服馬達82來驅動自走車74之右輪(未圖示)及控制伺服馬達84來驅動自走車74之左輪(未圖示)，藉由操作者操作實體裝置12之方向性移動，使自走車74亦隨之具有方向性的移動。

本發明之優點提供一種混合擴增實境與數位學習之系統，其供孩童使用以取代傳統的自然科學實驗課程，並利用擴增實境的技術，利用網路攝影機與本系統所設計之實體裝置，以操作為虛擬呈現之真實實驗，並以擴增實境的視覺回饋呈現出傳統的實驗結果，更能享受到觸覺得回饋而有更真實的感受。

雖然本發明已參照較佳具體例及舉例性附圖敘述如上，惟其應不被視為係限制性者。熟悉本技藝者對其形態及具體例之內容做各種修改、省略及變化，均不離開本發明之申請專利範圍之所主張範圍。

10‧‧‧混合擴增實境與數位學習之系統

12‧‧‧實體裝置

14‧‧‧網路攝影機

16‧‧‧主控裝置

20‧‧‧加速度計

22‧‧‧觸摸感測器

24‧‧‧處理器

26‧‧‧射頻模組

28‧‧‧電腦

30‧‧‧射頻模組

32‧‧‧螢幕

42‧‧‧實體裝置

44‧‧‧虛擬物件

46‧‧‧式樣

50‧‧‧實體裝置

52‧‧‧實體裝置

54‧‧‧式樣

55‧‧‧燒杯

56‧‧‧式樣

57‧‧‧滴管

60‧‧‧實體裝置

62‧‧‧實體裝置

64‧‧‧式樣

65‧‧‧寵物

66‧‧‧式樣

67‧‧‧水果

70‧‧‧混合擴增實境與數位學習之系統

72‧‧‧主控裝置

74‧‧‧自走車

76‧‧‧射頻模組

78‧‧‧射頻模組

80‧‧‧處理器

82‧‧‧伺服馬達

84‧‧‧伺服馬達

圖1為本發明之一實施例之混合擴增實境與數位學習之系統的系統方塊圖；圖2為本發明之操作混合擴增實境與數位學習之系統的示意圖；圖3A為本發明之混合擴增實境與數位學習之系統具有兩個實體裝置的示意圖； 圖3B為本發明之混合擴增實境與數位學習之系統具有兩個實體裝置的另一示意圖；以及圖4為本發明之另一實施例之混合擴增實境與數位學習之系統的系統方塊圖。

10‧‧‧混合擴增實境與數位學習之系統

12‧‧‧實體裝置

14‧‧‧網路攝影機

16‧‧‧主控裝置

20‧‧‧加速度計

22‧‧‧觸摸感測器

24‧‧‧處理器

26‧‧‧射頻模組

28‧‧‧電腦

30‧‧‧射頻模組

32‧‧‧螢幕

Claims (5)

1. 一種混合擴增實境與數位學習之系統，其包含：一實體裝置，其包含：一加速度計，用以感測該實體裝置之加速度，以產生三個方向之加速度值；一觸摸感測器，用以感測該實體裝置是否被觸摸，以產生一觸摸信號；以及一第一處理器，用以接收該加速度計所產生之三個方向之加速度值及該觸摸感測器所產生之該觸摸信號，並將三個方向之加速度值與該觸摸信號組合成封包形式傳送；一網路攝影機，用以拍攝影像以產生具有該實體裝置之影像資料；以及一主控裝置，其包含：一電腦，用以接收該第一處理器以封包形式傳送之三個方向之加速度值與該觸摸信號、及接收該網路攝影機所產生之具有該實體裝置之影像資料，計算三個方向之加速度值以得知該實體裝置進行何種動作、及根據影像資料計算該實體裝置之位置，結合該實體裝置之位置與動作，並加入一虛擬物件之影像資料於具有該實體裝置之影像資料，使該虛擬物件之影像結合於該實體裝置之影像，且該虛擬物件進行與該實體裝置相同的動作；以 及一螢幕，用以接收該電腦所傳送之影像資料，以顯示結合有該虛擬物件與該實體裝置之影像。
2. 如申請專利範圍第1項之系統，其中，該實體裝置更包含一第一射頻模組，該第一射頻模組無線發射該第一處理器以封包形式傳送之三個方向之加速度值與該觸摸信號；以及該主控裝置更包含一第二射頻模組，該第二射頻模組無線接收該第一射頻模組所無線發射之三個方向之加速度值與該觸摸信號。
3. 如申請專利範圍第1項之系統，其中，該加速度計產生為類比之三個方向之加速度值；該觸摸感測器產生為類比之該觸摸信號；該第一處理器將為類比之三個方向之加速度值及該觸摸信號轉換為數位之三個方向之加速度值及該觸摸信號，並將為數位之三個方向之加速度值與該觸摸信號組合成封包形式傳送該主控裝置之該電腦；以及該電腦以接收該第一處理器以封包形式傳送之為數位之三個方向之加速度值與該觸摸信號。
4. 如申請專利範圍第3項之系統，更包含一實體物件，該主控裝置包含一第三射頻模組，該電腦將為數位之一啟動信號及三個方向之加速度值以封包形式經由該第 三射頻模組無線發射至該實體物件，以及該實體物件包含：複數個伺服馬達，用以驅動該實體物件；一第四射頻裝置，用以無線接收該第三射頻模組所無線發射之為數位之該啟動信號及三個方向之加速度值；以及一處理器，用以接收該第四射頻裝置所傳送之為數位之該啟動信號及三個方向之加速度值，計算三個方向之加速度值以獲得為數位之移動方向值，其中，該處理器根據為數位之該啟動信號以啟動該等伺服馬達之運轉，且根據為數位之移動方向值以控制該等伺服馬達來驅動該實體物件，而使該實體物件具有方向性的移動。
5. 如申請專利範圍第1項之系統，更包含一實體物件，該主控裝置包含一第三射頻模組，該電腦將一啟動信號及三個方向之加速度值以封包形式經由該第三射頻模組無線發射至該實體物件，以及該實體物件包含：複數個伺服馬達，用以驅動該實體物件；一第四射頻裝置，用以無線接收該第三射頻模組所無線發射之該啟動信號及三個方向之加速度值；以及一處理器，用以接收該第四射頻裝置所傳送之該啟動 信號及三個方向之加速度值，計算三個方向之加速度值以獲得移動方向值，其中，該處理器根據該啟動信號以啟動該等伺服馬達之運轉，且根據移動方向值以控制該等伺服馬達來驅動該實體物件，而使該實體物件具有方向性的移動。