SE527960C2 - System och metod för att interagera med en virtuell kontrollpanel - Google Patents

Description

20 25 A30 35 527 960 att styra processen eller anordningarna och finna stödjande information och dokumentation.

Inom tillverkning innehåller en produktionslinje flera robotar som styrs av separata styrenheter och programme- ringslador (teach pendants). Operatören behöver interagera t ex för att kontrollera statusen, inspektera med robotarna, robotarna och göra nya program. En generell nackdel är att operatören maste ändra interaktionsanordningen för varje ny robot även om flera robotar kan utföra en uppgift till- SammâIlS .

Förstärkt verklighet (augmented reality, AR) är en metod att överlagra verkliga framställningar med datorgenererad gra- fik. I ett idealiskt fall, för förstärkt verklighet baserad pä seende, komer inte användaren att kunna se skillnad mellan den verkliga och den datorgenererade grafiken, och därmed far användaren en förbättrad uppfattning om den verk- liga miljön. I dag används förstärkt verklighetsteknik i ett antal tillämpningar. Exempel pà användningar är inom media, t ex väderrapportering, medicin, t ex visualisering av inre organ, samarbetsmiljöer, t ex virtuella mötesrum samt inom processindustrin för underhåll och service.

Handmanövrerade och bärbara kontrollpaneler med interak- tionsmöjligheter finns redan och intresset för sådana an- ordningar stiger. Användning av mobiltelefoner och person- liga digitala hjälpmedel (PDA) som gränssnittet mot systemen eller anordningarna är kända. Även datorplattor eller penn- datÖrér*1ÉabIët"PCšY, Söm'añVänds”t“eX"vid“Sjukhus;“tilI="*'>*>Wnf-' handahaller ett gränssnitt som användaren lätt bär omkring och interagerar med genom att peka pà skärmen. i Det nyaste omradet som berör uppfinningen är virtuella tan- gentbord. Ett virtuellt tangentbord projiceras, t ex pà ett bord, och är i typfallet inmatningsenheten för en PDA. An- vändaren pekar eller trycker pà tangenterna och systemet känner igen de specifika tangenter som berörts som ett stan- dardtangentbord. Virtuella tangentbord är komersiella pro- '10 15 20 25 ._30Hq 35 527 960 dukter som offereras av åtskilliga tillverkare, t ex Canesta, Senseboard Technologies och Samsung.

US 6 614 422 beskriver en digital användarinmatning till ett följeslagarsystem såsom en PDA, en mobiltelefon eller anord- ning, som använder en virtuell inmatningsenhet såsom en bild av ett tangentbord. En sensor infångar tredimensionell lägesinformation om läget för användarens fingrar i förhàll- ande till var tangenterna skulle befinna sig på ett verkligt tangentbord. Denna information behandlas med avseende pà lägena, hastigheterna och formen hos fingrarna för att be- stämma när en virtuell tangent har tryckts ned. Den behand- lade virtuella informationen utmatas till det åtföljande systemet.

US 6 618 425 beskriver en virtuell laseroperatör. En laser- kontroller sammankopplad med en elektrisk laddningslaser komunicerar med en fjärrdator som innefattar en bildskärm som i programmeringshänseende emulerar ett konventionellt tangentbord. Bildskärmen har ett flertal virtuella tangenter i bildform, vilka var och en i programmeringshänseende emu- lerar en fysisk tangent vid ett konventionellt tangentbord.

Ett tangentnedslag utförs typiskt genom att manuellt trycka läget för en motsvarande virtuell tangent på en pekkänslig skärm, eller alternativt genom att påverka ett konventionellt pekdon.

Fenomenet interaktion med virtuell grafik har exempelvis be- handlats i filmen ”Minority Report”. Där finns en scen där Töm Crüíše"äñvändëf*fiändëfñä för att interagera mëä“vïrtue1I"““"m“"' information som visualiseras på en ”vägg” av plexiglas.

Vidare använder han gester för interaktionen. ÄNDAMAL ocH REDoGöRELsE FÖR UPPFINNINGEN Ändamålet med föreliggande uppfinning är att tillhandahålla en portabel kontrollpanel som användaren kan bära med sig och som nästan inte väger någonting. lO 15 20 25 i3UUM"_ 35 527 960 Detta ändamal uppnàs med hjälp av det inledningsvis defini- erade systemet, kännetecknat av att systemet vidare inne- fattar: ett bärbart identifikationselement, en andra spär- ningsenhet anordnad att infànga data som representerar läget för identifikationselementet, en lagringsenhet som lagrar åtminstone ett fördefinierat grafiskt gränssnitt som repre- senterar en kontrollpanel hos en anordning, varvid nämnda grafiska gränssnitt innefattar ett gränssnitt för användar- interaktioner med anordningen, en grafikenhet som genererar en grafisk framställning av kontrollpanelen baserat pà nämnda lagrade grafiska gränssnitt, en registreringsenhet som registrerar nämnda grafiska framställning av kontroll- panelen i ett fast förhållande till nämnda bärbara identifi- kationselement,baserat pà nämnda data som representerar läget för identifikationselementet, för att àstadkomma en virtuell kontrollpanel, en bildskärmsenhet som visar använ- daren en vy innefattande den verkliga världen och den vir- tuella kontrollpanelen projicerad i ett fast förhållande till nämnda bärbara identifikationselement, ningsenhet som vidtar atgärder som svar pà användarens in- samt en tillämp- teraktioner med den virtuella kontrollpanelen och som be- stämmer vilka àtgärder som skall vidtas baserat pà läget för nämnda användarstyrda pekföremal i förhållande till identi- fikationselementet. Med en anordning menas antingen en en- staka anordning eller ett system innefattande flera anord- ningar. En virtuell kontrollpanel är en förstärkt verklig- hetsvy av en verklig kontrollpanel. Den virtuella kontroll- panelen behöver emellertid inte nödvändigtvis ha samma ut- seende som konventionella kontrollpaneler.

Användaren interagerar med den virtuella kontrollpanelen med användning av ett pekföremál. Pekföremàlet är t ex ett hand- manövrerat pekdon eller en del av användarens kropp, hand eller ett finger. t ex en Företrädesvis är nämnda bärbara identifikationselement an- passat att bäras av användaren. Användaren kan exempelvis bära identifikationselementet i sin hand eller fästat vid sin kropp, t ex fäst vid sin arm eller vid ett armbandsur. 10 15 20 25 30l" 35 527 960 Om användaren använder sitt finger som pekdon och bär iden- tifikationselementet fästat vid kroppen har användare bada sina händer fria att använda för andra ändamäl. Ett bärbart identifikationselement kan läggas ät sidan, t ex pà ett bord, medan användaren utför andra uppgifter.

Den virtuella kontrollpanelen genomförs som förstärkt verk- lighet (AR), vilket är datorgenererad grafik kombinerad med den verkliga världen. Fältoperatören ”bär” den virtuella kontrollpanelen med sig. Den virtuella kontrollpanelen är fästad vid identifikationselementet, vilket känns igen av den andra spàrningsenheten. Den virtuella kontrollpanelen existerar endast som dataprojektioner. Den virtuella kon- trollpanelen representerar användargränssnittet för inter- aktion med processanordningar och/eller -system. Den virtu- ella kontrollpanelen innefattar t ex interaktionsknappar, menyer och inmatningsenheter för ändring av inställda vär- den.

Den virtuella kontrollpanelens laga vikt, dvs identifika- tionselementets vikt, och det faktum att den kan fästas vid kroppen och är trådlös är tydliga fördelar med den virtuella kontrollpanelen enligt uppfinningen.

Enligt en utföringsform av uppfinningen är systemet anordnat att modifiera utseendet hos den virtuella kontrollpanelen som svar pá interaktioner mellan det användarstyrda pekföre- mälet och den virtuella kontrollpanelen. Denna utföringsform gör det möjligt för användaren att navigera i olika vyer hos den'virtüella"kontroIIpanelen-och”att~interagera~med~kon- trollpanelen, t ex att bläddra i en vy och titta i menyer.

Enligt en utföringsform av uppfinningen innefattar àtmin- stone ett av de lagrade grafiska gränssnitten mer än en gra- fisk vy som skall visas pä den virtuella kontrollpanelen, och vilken av vyerna som skall visas bestäms pà grundval av användarens atgärder. Dà den virtuella kontrollpanelen kanske inte har exakt samma utseende som en konventionell 10 15 20 25 35 527 960 kontrollpanel kan en anordning ha mer än en grafisk VY SOW hör till den.

Enligt en utföringsform av uppfinningen är nämnda grafiska gränssnitt anordnat att visa data fràn anordningen, och systemet är anordnat att generera en grafisk framställning av dessa data och att presentera dessa data pa den virtuella kontrollpanelen. Företrädesvis visas dessa data som svar pà interaktioner mellan det användarstyrda pekföremälet och den virtuella kontrollpanelen. Exempel pá data som visualiseras pà den virtuella kontrollpanelen är realtidsdata, status- övervakning, rapporter och andra textdokument, historiska data i form av trendkurvor samt 3D-simuleringar. En del av de grafiska vyerna hos den virtuella kontrollpanelen inne- häller online-data för anordningar i processen som medger tvàvägsinteraktion mellan den virtuella kontrollpanelen och den tillhörande anordningen. När sådana data uppdateras pà grund av ändringar i processen eller inom anordningen, t ex en temperatur- eller tryckändring, kommer detta automatiskt att uppdateras pà den virtuella kontrollpanelen. Å andra sidan kan användaren ändra t ex det inställda värdet för en specifik anordning fràn den virtuella kontrollpanelen, och denna anordning kommer dà automatiskt att ändra sitt in- ställda värde- Enligt en utföringsform av uppfinningen är lagringsenheten anordnad att lagra ett flertal grafiska gränssnitt, varvid vart och ett representerar en kontrollpanel hos en speciell anordning, är systemet anordnat att generera och visa ett ”"flërtaI“grafiska'framställningar'av kontrollpaneler>för-~~i- ~--~- olika anordningar baserat pà nämnda lagrade grafiska gräns- snitt hos anordningarna, och innehåller systemet medel för att identifiera vilken av de lagrade kontrollpanelerna som skall visas. Framställningarna av olika virtuella kontroll- paneler definieras i förväg och lagras i lagringsenheten, t ex en dator eller en server. Denna utföringsform förser användaren med en kontrollpanel som kan användas för inter- aktion med ett flertal olika anordningar eller system. Den virtuella kontrollpanelen anpassar sitt utseende, gränssnitt 10 15 20 25 _HšOm 35 527 960 och innehället till en specifik anordning, t ex till den an- ordning som användaren stàr framför, eller närmast. AR- systemet visualiserar den tillhörande virtuella kontroll- panelen, vilken kan tillhandahålla en mängd olika informa- tioner och informatíonspresentationer.

Enligt en utföringsform av uppfinningen innefattar nämnda medel för identifiering av vilken av de lagrade kontroll- panelerna som skall visas en igenkänningsenhet för igen- känning och identifiering av anordningar i användarens miljö, och systemet är anordnat att bestämma vilken av de lagrade kontrollpanelerna som skall visas baserat pa vilken av anordningarna som identifieras. Igenkänningsenheten är exempelvis anordnad att igenkänna och identifiera unika identifikationsmarkeringar pä anordningen. Igenkännings- enheten är exempelvis anordnad att upptäcka identiteten hos den närmaste anordningen. Den virtuella kontrollpanelen ändrar sitt utseende och funktionalitet beroende pà vilken anordning som igenkänns.

Enligt en utföringsform av uppfinningen är systemet anordnat sà att det ändrar den virtuella kontrollpanel som visas när en annan anordning igenkänns och identifieras. När använda- ren rör sig mot en annan anordning sä ändrar således den virtuella kontrollpanelen sitt utseende för att framställa funktionaliteten och kännetecknen hos den nya anordningen när användaren has bekräftat att han vill ha den virtuella kontrollpanelen hos den andra anordningen. Det kan finnas fall där anordningarna fysiskt är nära varandra och använda- *fenMkäñškè"iñte_äñdrarwdëñ"víffiüéllälkontrollpanelen"baräW““'_“i“'W för att han tar ett steg àt sidan, t ex för att fä en bättre vy över den specifika anordningen utan att ha för avsikt att ändra den virtuella kontrollpanelen till den virtuella kon- trollpanelen hos den angränsande anordningen.

Enligt en utföringsform av uppfinningen innefattar nämnda bildskärmsenhet en bärbar display som visar användaren nämnda vy. Fältoperatören bär exempelvis glasögon eller en display monterad pà huvudet, pà vilken den datorgenererade 10 15 20 25 3O_i 35 527 960 grafiken projiceras antingen som optical see-through eller som video see-through.

Ett vidare ändamål med uppfinningen är att tillhandahålla en metod som medger att en användare kan gå omkring och inter- agera med en virtuell kontrollpanel och använda ett använ- darstyrt pekföremål. Detta ändamål uppnås genom den metod av uppfinningen som definieras i patentkrav 12.

Enligt en aspekt av uppfinningen uppnås ändamålet genom ett datorprogram som kan laddas ned direkt i internminnet hos datorn eller en processor, innefattande programvarukoddelar för att utföra stegen i metoden enligt uppfinningen, när nämnda program körs på en dator. Datorprogramprodukten tillhandahålls antingen på ett datorläsbart medium eller genom ett nät såsom Internet.

Enligt en annan aspekt av uppfinningen uppnås ändamålet genom ett datorläsbart medium som har ett därpå inspelat program, där programmet skall förmå en dator att utföra stegen i metoden enligt uppfinningen, och nämnda program körs på datorn.

De fördelar som uppnås genom denna uppfinning är att fält- operatören alltid har kontrollpanelen med sig, att standar- diseringen av de olika användargränssnitten är enkel, att användaren endast behöver interagera med ett enstaka gräns- snitt som ändrar sin framställning, innehåll och funktionalitet, i beroende av den närmast och bekräftade t ex utseende, anördniñgën,“ööh att'defi"virtuelläwkontrolIpanelen“väger~a" nästan ingenting. Fältoperatören kan lägga den virtuella kontrollpanelen åt sidan medan har utför andra uppgifter, t ex lägga ned den på ett bord, på golvet etc. Den virtuella kontrollpanelen själv behöver inte vara certifierad som robust eller säker i sig själv (intrinsic safe certifi- cation). 10 15 20 25 "3Û 35 527 960 FIGURBESKRIVNING Uppfinningen skall nu förklaras närmare 9efl0m beskrivning av olika utföringsformer av uppfinningen och under hänvisning till bifogade ritningar.

Figur l visar ett system för att tillhandahålla en virtuell kontrollpanel enligt en utföringsform av uppfin- ningen.

Figur 2 visar ett blockdiagram över ett system enligt uppfinningen.

DETALJERAD BESKRIVNING Av FÖREDRAGNA UTFöRINGsFom/IER Av UPPFINNINGEN Uppfinningen anger ett system och en metod för att tillhan- dahàlla en virtuell kontrollpanel vilken anpassar sitt gränssnitt och sitt innehäll till en anordning och/eller ett system genom att använda förstärkt verklighet. Ett system för att alstra en förstärkt verklighetsframställning av datorgenererad grafisk information överlagrad pà den verk- liga världen kan konfigureras pà olika sätt. Det tva mest troliga sätten att visualisera förstärkt verklighet är genom Vïdeo see-through och Optical see-through. Vid video see- through behövs en kamera för att infànga en direkt video- ström av den miljö som motsvarar användarens vy av världen.

Systemet kombinerar datorgenererad grafik med den direkta videoströmmen och projicerar den kombinerade förstärkta verklighetsvideon'pà*bildenheten;~Användaren~ser~videon~med-~ överlagrad virtuell information som om han tittade pà den verkliga världen. För optical see-through registreras den datorgenererade grafiken direkt pà bildenheten och följer användarens vy av verkligheten. Den virtuella grafiken överlagras pà verkligheten utan att ta med en video av den.

Den förra lösningen är mindre krävande vad gäller antalet bilder per sekund. 10 15 20 25 35 527 960 10 Figur 1 visar en utföringsform av ett system enligt upp- finningen. Systemet innefattar ett handmanövrerat interage- rande och pekande don 1, ett handmanövrerat eller på annat sätt bärbart identifikationselement 3 som har en unik identifikation (ID), en spårningsenhet 5 för att bestäma -läget för pekdonet 1 och läget för identifikationselementet 3 i förhållande till ett världskoordinatsystem, en bärbar bildenhet 7 för att visualisera förstärkt verklighet över- lagrad pà vyn av den verkliga världen, identifikationsmarke- ringar 9a, 9b med unika identiteter för placering vid anord- ningarna lla, llb i miljön samt ett igenkänningssystem för att känna igen identifikationsmarkeringarna. Företrädesvis bestämmer också spårningsenheten orienteringen av pekdonet 1 och identifikationselementet 3.

En virtuell kontrollpanel är en förstärkt verklighetsvy av en verklig kontrollpanel. I denna utföringsform används video see-through för att generera och presentera den vir- tuella kontrollpanelen i förhållande till identifikations- elementet 3. Identifikationselementet 3 definierar läget och orienteringen för den virtuella kontrollpanelen. Identifika- tionselementet är exempelvis en bit papper eller plast för- sedd med en unik ID såsom en streckkod eller något annat identifikationsmedel.

Den virtuella kontrollpanelen visualiseras vid den bärbara bildenheten 7. Den bärbara bildenheten 7 är exempelvis glas- ögon, en huvudmonterad display eller huvuddisplay.

Systemet innefattar vidare-en"kamera 12 för att fånga en~~ ~~~~"W“ ström av bilder av miljön, dvs av verkligheten. Kameran 12 är monterad i ett fast läge i förhållande till bildenheten 7, t ex monterad på eller integrerad med bildenheten. Bild- enheten är placerad längs med kamerans synaxel och vid kame- rans bildplan. Kameran är sålunda placerad i förhållande till displayen på så sätt att den tillhandahåller samma vy som användaren skulle få genom att titta direkt på den verk- liga världen. Den direkta videoströmmen av bilder kombineras med datorgenererad grafik som framställer kontrollpanelen, 10 15 20 25 _.30_r_ 35 527 960 ll och kombinationen av verkligheten och grafiken presenteras i realtid pà bildenheten 7. Ytterligare funktionalitet inne- fattar kamerazoomning med ändring av kamerans verkliga brännvidd. Detta medger att systemet kan visa den datorgene- rerade grafiken korrekt under zoomning. Kameran 12 kan också användas för synbaserad spàrning genom spàrningsenheten 5.

I princip behövs tvà spàrningsenheter för det virtuella kontrollpanelssystemet förutom ett igenkänningssystem för igenkänning av identifikationsmarkeringarna som är fästa vid anordningarna i miljön. Den första spärningsenheten sparar och bestämmer läget, och möjligen även orienteringen, hos pekdonet 1, medan den andra spàrningsenheten sparar och be- stämmer läget och orientering hos identifikationselementet 3 som bärs av användaren. Dessa spàrningsenheter kan vara en enstaka spàrningsenhet använd för att spara bàda, som i den i figur 1 visade utföringsformen, eller tvà olika spárnings- enheter. Exempel pà andra möjliga spárningsmetoder och sys- tem är spàrningssystem med ultraljud, magnetiska spärnings- system, spàrningssystem baserade pà tröghetsnavigering (med användning av accelerometrar och gyron), mekaniska armar, optiska system och hybridsystem som kombinerar tidigare nämnda tekniker. För en del av spàrningssystemen kan pek- donet 3 och identifikationselementet 3 ha integrerade sen- sorer för att bestämma lägen och orienteringar. Sådana sen- sorer kan t ex vara gyron, tröghetssensorer och accelero- metrar.

I denna utföringsform använder användaren pekdonet l för att interägèràmméd den viffiuellä"köfitrollpafiëïefi och för"ätt““ ”""“""' peka i miljön. Kameran 12 används som synbaserad spárning av pekdonet 1. Pekdonet l kan ocksa användas för ytterligare uppgifter sàsom att dra den virtuella kontrollpanelen, eller annan virtuell information, fràn identifikationselementet 3 till en specifik anordning och att placera, välja, visa osv nya positioner i miljön.

Den i figur l visade utföringsformen använder sig av syn- baserad spàrning. Spàrningsenheten 5 utnyttjar kameran 12 10 15 20 25 3Ü__ 35 527 960 12 för den synbaserade spårningen. Spàrningsenheten 5 inne- fattar också en spårningsmodul 15 som innefattar programvara för att utföra spårningen. Läget och orienteringen för pek- donet 1 och identifikationselementet 3 bestäms med hjälp av bildigenkänning och spårningsmodulen 15 innefattar bildigen- känningsalgoritmer. Kameran 12 och spárningsmodulen 15 kan också användas för att specificera världskoordinatsystemet.

Vidare innefattar systemet en bärbar dator 17 som innehåller nödvändig programvara för att alstra en eller ett flertal kontrollpaneler baserade på utdata från spårningsmodulen 15 och videoströmmen från kameran 12. Den bärbara datorn 17 innehåller också nödvändig programvara för att utföra den önskade arbetsuppgiften eller processen, t ex tvåvägskomu- nikation med anordningar, hantering och visualisering av realtidsdata. Vidare kommer den bärbara datorn 17 att alstra grafiken, vilket tillhandahåller vyn över det förstärkta verklighetsgränssnittet. Slutligen komer den bärbara datorn 17 att innehålla en lagringsenhet för att spara och äter- ställa tidigare sparad information, t ex fördefinierade grafiska gränssnitt till anordningar. I en annan utförings- form skulle en stationär dator eller en server-klientlösning kunna användas i stället för den bärbara datorn.

Kommunikation av information mellan den bärbara datorn 17 och kameran 12, spårningsmodulen 15 och bildenheten 7 görs genom en trådansluten eller trådlös länk. Beroende på typen av spàrningsenhet kan posen hos interaktions- och pekdonet 1 komma fràn pekdonet självt eller från en yttre spàrningsen- ._- _ .__._-_. . .__ _ .. , _ .._,_. ,, ._ , _... _ _ . _. ___.. __... _ _ _ ___...... _ _ ._._.._ En användare 19 håller identifikationselementet 3 i sin hand eller bär det på sin kropp, t ex runt sin handled. Använda- ren håller pekdonet 1 i sin andra hand. Användaren bär också bildenheten 7 och den bärbara datorn 17. Användaren kan gå omkring i miljön och bära med sig den virtuella kontroll- panelen. Spårningsenheten 5 känner igen kända identifika- tionsmarkeringar 9a, 9b i miljön. I det fall spårningsenhe- ten är baserad på seende bär användaren en kamera 12 fästad 10 15 20 25 , 3§l_ 35 527 960 13 vid sitt huvud. Kameran upptar direktvideo av den verkliga världen.

Ett fast världskoordinatsystem behöver definieras. Origo i världskoordinatsystemet definieras sà att det motsvarar bildenheten 7. Da kameran 12 är monterad pà, eller integre' rad med, bildenheten är förhållandet mellan kameran och bildenheten känt. Systemet bestämer läget för pekdonet 1 och identifikationselementet 3 i förhållande till bilden- heten 7. Härmed är all poseinformation som tillhandahålls av sparningsenheten relaterad till detta världskoordinatsystem.

Systemet behöver ocksa känna igen och identifiera identifi- kationsmarkeringarna 9a, 9b pà anordningarna i miljön. Iden- tifikationsmarkeringarna är fästade i förväg vid de anord- ningar och system som användaren önskar interagera med.

Olika tekniker kan användas för igenkänning sàsom RF-tagg- ning, streckkoder, ultraljud och GPS. Alternativt kan ett synbaserat spàrningssystem såsom beskrivits ovan användas för att känna igen identifikationsmarkeringarna. Det är ocksa möjligt att känna igen anordningarna själva genom igenkänning av naturliga särdrag.

I relation till varje anordning behöver virtuella gränssnitt definieras i systemet. Dessutom mäste potentiell komunika- tion mellan de virtuella gränssnitten och anordningarna de- finieras och uppställas i förväg. Spàrningsenheten 5 bestäm- mer ID:n hos de specifika anordningarna baserat pà ID:n hos identifikationsmarkeringarna 9b, 9a. ID:na har motsvarande virfuelIa“gränššñittT vi1ka“presenteras“som"de-virtuella~ kontrollpanelerna.

När användaren börjar använda systemet gar han omkring i miljön tills han kommer till en anordning som han vill interagera med. Det kan finnas flera sätt för systemet och användaren att besluta vilken anordning som skall presente- ras pà den virtuella kontrollpanelen. Användaren flyttar identifikationselementet 3 närmast anordningen tills sys- temet har känt igen bade ID:n för den specifika anordningen 10 15 20 25 _.3Öhr 35 527 960 14 och identifikationselementets ID inom ett förutbestämt avstånd. Ett annat sätt är att välja den verkliga anord- ningen från en dynamisk lista av alla direktanslutna an- ordningar, dvs anordningar inom ett visst avstånd från an- vändaren så att det finns robust komunikation med anord- ningen. Det besläktade virtuella gränssnittet uppträder som en virtuell kontrollpanel fäst vid identifikationselementet.

Användaren använder interaktions- och pekdonet l för att interagera med den virtuella kontrollpanelen, vilken kan innehålla interaktionsknappar, menyer och andra typer av interaktionsmöjligheter. Den virtuella kontrollpanelen uppdaterar sitt utseende och innehåll för att motsvara användarens val.

Den virtuella kontrollpanelen ändrar sitt utseende och innehåll då användaren antingen rör sig mot en ny anordning, som har en identifikationsmarkering, eller då användaren interagerar med den virtuella kontrollpanelen. Exempel på virtuella gränssnitt är anordningsöversikter, statusinfor- mation, inställda värden, video- trendkurvor, dokumentation, klipp, t ex för underhåll och procedurer, samt datainmat- ningar. Den virtuella kontrollpanelen kan kombineras med andra interaktionsmodaliteter såsom röst- och taktil åter- koppling. Typiskt kan den virtuella kontrollpanelen ge en audiell och/eller visuell återkoppling när användaren trycker ned en interaktionsknapp.

Användaren kan flytta identifikationselementet fritt, både vad beträffar läge och orientering, och den virtuella kon- trölïpañeléñ"fölïer”identifikationselementet-som om“den~är~~-- fysiskt fästad vid elementet. Den besläktade spårningsen- heten uppfångar rörelserna hos identifikationselementet och överför dess läge och orientering till den bärbara datorn med hjälp av en komunikationslänk, t ex trådlös kommunika- tion. Användaren kan sålunda lägga undan den virtuella kon- trollpanelen, t ex i en ficka när han inte använder den, eller ställa den virtuella kontrollpanelen på ett bord e.d. när han utför andra uppgifter. 10 15 20 25 35 systemet och miljön. 527 960 15 Den bärbara datorn 17 komunicerar genom trådlös kommunika- tion med anordningarna, t ex för att återvinna och sända data. Avläsningar från anordningarna kan presenteras På den virtuella kontrollpanelen medan användaren t ex kan modifi- era referensvärdet hos en anordning.

Figur 2 visar ett blockdiagram över systemet. Spårnings- enheten 15 innefattar en första spårningsenhet l5a för att spåra läge och orientering för pekdonet 1, och en andra spårningsenhet l5b för att spåra läge och orientering för identifikationselementet 3. Spårningsenheterna l5a, l5b are anordnade att bestämma läge och orientering för pekdonet 1 och identifikationselementet 3 med hjälp av bildigenkänning, baserat på bilder från kameran 12. Utdata från spårnings- modulen 15 är läget och orienteringen hos pekdonet 1, och utdata från spårningsmodulen l5b är läget och orienteringen för identifikationselementet, vilka utdata överförs till en tillämpningsenhet 21.

Tillämpningsenheten 21 innehåller nödvändig programvara för att utföra den önskade processen eller uppgiften, t ex att integrera realtidsdata med den igenkända anordningen, och för att vidta åtgärder baserade på indata från pekdonet l.

Vilken åtgärd som skall vidtas beror på läget för pekdonet relativt identifikationselementet och på lagrad funktiona- litet hos kontrollpanelen. Vidare innehåller tillämpnings- enheten 21 information beträffande världskoordinatsystemet.

Tillämpningsenheten 21 är sålunda beroende av det specifika En grafikenhet 23 genererar en 3-dimensionell grafisk fram- ställning av den visuella informationen som skall presente- ras i relation till identifikationselementet 3. Det vill säga, denna enhet innehåller en specifikation av de tre- dimensionella grafiska grundelementen som skall visuali- seras. Grafikenheten 23 mottar information från tillämp- ningsenheten 21 beträffande den virtuella grafiska informa- tion som skall presenteras baserat på användarindata, lagrad information och information mottagen från den styrda anord- 10 15 20 25 _30fW 35 527 960 16 ningen. Alla grafiska grundelement specificeras i relation till världskoordinatsystemet. För en robotprogrammerings- applikation kan relevant visuell information vara användar- specificerade vägpunkter, den verkliga robotbanan, uppgifts- specifik information osv. De grafiska framställningarna som àstadkoms i grafikenheten 23 överförs till en registrerings- enhet 25.

Kameran 12 framställer direktbilder av verkligheten med hjälp av video, vilka inmatas till registreringsenheten 25.

Läget och orienteringen för kameran och bildskärmen bestäms enligt världskoordinatsystemet och används av registre- ringsenheten 25 för att överlagra den verkliga scenen med datorgenererad grafik fràn grafikenheten 23. Registrerings- enheten 25 kombinerar den virtuella grafiken fràn grafik- enheten 23 med videobilder frán kameran 12. Med rätt utförd registrering kommer den datorgenererade grafiken att vir- tuellt ”fästas” vid den verkliga scenen. Läget och oriente- ringen för identifikationselementet överförs fràn spàrnings- enheten l5b till registreringsenheten. Den datorgenererade grafiken representerar den virtuella kontrollpanelen och dess läge i relation till den verkliga världen bestäms base- rat pà läget och orienteringen för identifikationselementet.

De kombinerade bilderna visas på bildenheten 7.

En lagringsenhet 29 möjliggör besparing och lagring av tillämpningsrelaterad information, t ex tillämpningsrelate- rad information, grafiska gränssnitt för de olika anord- ningarna samt systemkonfigurationsparametrar, t ex en lokal koordinätsräm_ochfenmvärldskoördiñatsram;“Lagringsenheten~är@~M-~~s» också anordnad att lagra ett flertal fördefinierade grafiska gränssnitt som representerar kontrollpaneler av anordningar och/eller system, vilka grafiska gränssnitt innehåller gränssnitt för användarinteraktioner med anordningen.

I denna utföringsform används kameran 12 och ett synbaserat spàrningssystem för att detektera identifikationsmarkering- arna pà anordningarna. En igenkänningsenhet 31 känner igen och identifierar anordningar i användarens miljö, baserat pà 10 15 20 25 lšoflm 35 527 960 17 utdata fràn kameran 12. Igenkänningsenheten 31 kännêr igen identifikationsmarkeringarna pà anordningarna, läser ID:n pä markeringen och identifierar anordningen 9eflOm att jämföra den lästa ID:n med ID:n som lagrats i förväg.

När en anordning är identifierad informerar igenkännings- enheten 31 tillämpningsenheten 21 om vilken anordning som är identifierad och sen är det möjligt för tillämpningsenheten att bestäma vilken av de lagrade kontrollpanelerna som skall visas pà bildskärmen. När en ny anordning igenkänns och identifieras visas identiteten pà anordningen för använ- daren, som kan välja mellan att acceptera den nya anord- ningen eller förkasta den. Om användaren accepterar den nya anordningen àtervinner tillämpningsenheten automatiskt det grafiska gränssnittet för den nya identifierade anordningen fràn lagringsenheten 29 och överlämnar det nya grafiska gränssnittet till grafikenheten 23. Därmed ändras den visade virtuella kontrollpanelen när en ny anordning identifieras, och när användaren har bekräftat bytet av det grafiska gränssnittet.

Eftersom den virtuella kontrollpanelen kanske inte har exakt samma utseende som en konventionell kontrollpanel kan en an- ordning ha mer än en grafisk vy relaterad till sig. Det gra- fiska gränssnittet kan sålunda innehålla mer än en grafisk vy. Som ett exempel kan den första grafiska vyn pä den vir- tuella kontrollpanelen för en pump som möter användaren vara en översikt över prestandan visualiserad som ett analogt instrument som anger prestandan fràn O till 100 %. Den spe- cifikä preštändaiñförmatïonen"för"pumpen àtervinns-i realtid ---~~ - frán pumpanordningen via datorn och nagot kommunikations- medel, företrädesvis trådlöst, mellan datorn och anordning- en. eller via en server.

Den grafiska vyn kan vidare ha interaktionsknappar för "Pa/Av", ”Inställt värde” och "Huvudmeny". Dessa knappar kan presenteras som 3D-objekt pà den grafiska vyn. ”Pà/Av”- interaktionsknappen kan vara färgkodad sä att den t ex är grön när pumpen är pà och röd när pumpen har stoppats. 10 15 20 25 NSU. 35 527 960 18 Dessutom kan texten vid interaktionsknappen ändras mellan "Pa" och ”Av” för att ange statusen. När Pumpen är i gäng är statusen ”pä”, och interaktionsknappen kan se ut som om den tryckts in, färgad grön med texten "Pa". När PUNPGH St°PPaS kommer interaktionsknappen att ha ändrat sin färg till röd, med texten ”Av” och interaktionsknappen kan se ut som om den inte tryckts in.

Interaktionsknappen ”Inställt värde” kan frambringa en annan grafisk vy som representerar en vy för ändring av det in- ställda värdet. Det inställda värdet kan visualiseras som en siffra pä en bildskärm som kan väljas. Användaren kan välja mellan olika sätt att ändra det inställda värdet. Ett sätt är att välja den visade siffran och mata in en ny siffra för det nya inställda värdet. Ett annat sätt kan vara att ställa in det inställda värdet med användning av interaktionsknapp- ar för ”upp” och "ned". Det inställda värdet kommer att upp- dateras omedelbart i bildskärmen. Beträffande sättet att ändra inställt värde kan användaren bekräfta det nya in- ställda värdet innan anordningen uppdateras (i realtid).

Huvudmenyn kan exempelvis innehålla val för "Prestanda', ”Inställt värde", ”Dokumentation”, ”Underhàllshistorik”. interaktionsknappar, menyer eller tabbar.

"Trendkurvor” och Dessa val kan t ex presenteras såsom ”Dokumentation” kan innehålla dokumentation för olika användargrupper och bruk, t ex användarmanualer för anordningen, procedurer, tekniska manualer, rapporter osv. När användaren har valt typen av dokumentation kan den visas sida för sida där ”änväñdarën kan välja ”nästa” och"”föregående”,~t~ex~genom-- ~f~-»~» interaktionsknappar. Som en del av dokumentationen kan bilder, grafik och videor även ingà.

De grafiska vyerna är utformade och utvecklade i förväg och lagras i lagringsenheten. I relation till de grafiska vyerna lagras även läget och innehållet för interaktionsfält pä de grafiska vyerna, och pà liknande sätt lagras datafälten. När en grafisk vy laddas upp relaterad till den virtuella kon- trollpanelen fylls data automatiskt pà i datafältet. Använ- 10 15 20 '25 i3o.” 35 527 960 19 darinteraktion med den virtuella kontrollpanelen tas omhand av spårningssystemet, vilket spårar läget för pekföremålet.

Tillämpningsenheten märker när läget för pekföremålet över- ensstämmer med något av interaktionsfälten vid den specifika vyn hos den virtuella kontrollpanelen.

I ett användningsfall behöver en användare som arbetar inom en anläggning kontrollera och uppdatera ett befintligt robotprogram för att försäkra sig om att programmodulerna laddas ned och relateras till de rätta robotarna. Fyra robo- tar ingår i programmet. Han måste då logga in vid var och en av de fyra programeringslådorna, en i taget, bläddra ned i menyerna och återfinna det rätta programet och den rätta platsen i programmet. Genom att utnyttja den föreslagna upp- finningen skulle användaren bara behöva gå till närmaste lämpliga robot och sedan kontrollera programmet för var och en av de fyra robotarna. Kostnaderna för underhåll av pro- grameringslàdorna minskas sålunda. Dessutom undviks pro- blemet med ledningar mellan robotstyrenheten och program- meringslådan med den virtuella kontrollpanelen.

Vid processanläggningsmiljöer går användaren runt och utför övervakning-, inspektions- och underhàllsuppgifter relate- rade till en process eller anordning. Användaren har i typ- fallet tvåvägs radiokommunikation med användarna i kontroll- rummet för att överföra information till och fràn processen.

Den virtuella kontrollpanelen förser fältanvändaren med så- väl ett gränssnitt för att interagera on-line med de olika anordningarna och systemen på fältet som med ett verktyg för ätt"granškamdokümentätionï rapporter, underhålls=~och ser-- viceprocedurer osv. Användaren bär alltid den virtuella kontrollpanelen med sig. Han kan lägga den åt sidan, eller fästa den vid t ex sin arm, medan han utför andra uppgifter.

Fältanvändaren komer att kunna utföra sina arbetsuppgifter effektivare. Dessutom förhindrar användningen av den vir- tuella kontrollpanelen att fel uppstår på grund av komu- nikationsproblem mellan fältanvändaren och kontrollrumet (missförstånd, buller osv). Kontrollrumsanvändarna kan också 10 15 20 25 .mäø 35 527 960 20 fa tillfälle att se uppdaterade data och information fràn anläggningen.

Den virtuella kontrollpanelen kan också användas för andra tillämpningar sàsom registrering och räkning i affärer. Kom- binerat med streckkoder kan den virtuella kontrollpanelen visualisera information relaterad till den registrerade de- taljen. Användaren kan mata in data och information ävensom läsa status och dokumentation.

Ett annat tillämpningsexempel är ett kontor. Den virtuella kontrollpanelen kan förse användaren med namn pä männiSk0r som passerar genom dörrarna, eller människorna själva om de anställda är utrustade med ID-kort. Säkerhetspersonalen kan exempelvis ha virtuella kontrollpaneler för att kontrollera ID-kort, ändra lösenord, registrera statusinformation fràn sina kontrollrundor osv.

Föreliggande uppfinning är inte begränsad till de visade utföringsformerna utan kan varieras och modifieras inom ramen för efterföljande patentkrav. En anordning skulle exempelvis kunna identifieras genom att användaren matar in ett identifikationsnummer i systemet.

Alternativt kan användaren använda sin hand och sina fingrar för att interagera med den virtuella kontrollpanelen. Sys- temet behöver ända bestämma posen hos den interagerande kroppsdelen. En liknande spàrningsenhet som för interak- tions- och pekdonet kan användas för hand-/fingerspàrning.

*“Systèmet"béhövër*vidare'ett"igenkänningssystem*för-attWkänna~Vfl~»w~» igen den interagerande kroppsdelen och bestämma dess läge.

Förutom att använda sina fingrar eller ett pekdon kan fält- användaren interagera med den virtuella kontrollpanelen med användning av andra interaktionsmedel, sàsom röststyrda och fysiska interaktionsknappar.

Föreliggande uppfinning är exempelvis inte begränsad till system för förstärkt verklighet som utnyttjar en sammansatt 10 15 527 960 21 videobild utan kan även utnyttjas i transparenta system för förstärkt verklighet, där endast den datorgenererade grafi- ken presenteras för användaren som ser grafiken med verk- ligheten i bakgrunden.

I en annan utföringsform kan man, i stället för att ha en bildenhet, ha bildskärmen anordnad så att vyn projiceras direkt pá användarens ögon. Man skulle exempelvis kunna använda en virtuell retinal display, där information projiceras direkt in i näthinnan utan behov av en fysisk bildenhet.

Claims (1)

1. 0 15 20 25 H30 35 527 960 22 PATENTKRAV 1. System som medger att en användare kan interagera med en virtuell kontrollpanel med användning av ett användarstyrt pekföremàl (1), varvid systemet innefattar en första spär- ningsenhet (l5b) anordnad att infànga data som representerar läget hos pekföremàlet, kännatecknat av att systemet vidare innefattar: - ett bärbart identifikationselement (3), - en andra spàrningsenhet (l5a) anordnad att infànga data som representerar läget för identifikationsele- mentet, - en lagringsenhet (29) som lagrar åtminstone ett för- definierat grafiskt gränssnitt som representerar en kontrollpanel hos en anordning, varvid nämnda grafiska gränssnitt innefattar ett gränssnitt för användarinter- aktioner med anordningen, - en grafikenhet (23) som genererar en grafisk fram- ställning av kontrollpanelen baserat pä nämnda lagrade grafiska gränssnitt, - en registreringsenhet (25) som registrerar nämnda grafiska framställning av kontrollpanelen i ett fast förhållande till nämnda bärbara identifikationselement, baserat pà nämnda data som representerar läget för identifikationselementet för att åstadkomma en virtuell kontrollpanel, - en bildskärm (7) som visar användaren en vy som innefattar den verkliga världen och den virtuella kon- 'trölïpanëlënmproïïcerad"i'ett”fast"förhàllande~till nämnda bärbara identifikationselement, och - en tillämpningsenhet (21) som vidtar atgärder som svar pà användarens interaktioner med den virtuella kontrollpanelen och som bestämmer vilka atgärder som skall vidtas baserat pä läget för nämnda användarstyrda pekföremäl i relation till identifikationselementet_ 10 15 20 25 3Ü 35 527 960 23 2. System enligt patentkrav 1, kännetecknat av att systemet är anordnat att modifiera utseendet hos den virtuella kon- trollpanelen som svar pa interaktioner mellan det användar- styrda pekföremälet och den virtuella kontrollpanelen. 3. System enligt patentkrav l eller 2, kännetecknat av att nämnda grafiska gränssnitt är anordnat att visa data fràn anordningen och att systemet är anordnat att generera en grafisk framställning av nämnda data och att visa nämnda data pà den virtuella kontrollpanelen. 4. System enligt nagot av föregående patentkrav, känne- tecknat av att nämnda användarstyrda pekföremál är ett hand- manövrerat pekdon (l) eller en del av användarens kropp. 5. System enligt nagot av föregående patentkrav, känne- tecknat av att lagringsenheten (29) är anordnad att lagra ett flertal grafiska gränssnitt, vart och ett represente- rande en kontrollpanel hos en speciell anordning, att sys- temet är anordnat att generera och visa ett flertal grafiska framställningar av kontrollpaneler för olika anordningar baserat pà nämnda lagrade grafiska gränssnitt hos anord- ningarna, och att systemet innefattar medel (31) för att identifiera vilken av de lagrade kontrollpanelerna som skall visas. 6. System enligt patentkrav 5, kännetecknat av att nämnda medel för att identifiera vilken av de lagrade kontroll- panelerna som skall visas innefattar en igenkänningsenhet '"(*3'1“) " för att "känna" ig“ëff"cc1-:'identifiera' ancrdrrrngarnitanvärr-v darens miljö, och att systemet är anordnat att bestämma vil- ken av de lagrade kontrollpanelerna som skall visas baserat pà vilken av anordningarna som identifierats. 7. System enligt patentkrav 6, kännetecknat av att nämnda igenkänningsenhet (31) är anordnat att känna igen och iden- tifiera unika identifikationsmarkeringar (9a, 9b) pä anord- ningarna (lla, llb). 10 l5 20 25 30 35 527 960 24 8. System enligt nagot av patentkrav 5-7, kännetecknat *V att systemet är anordnat sa att det ändrar den virtuella kontrollpanelen som visas när en annan anordning känns igen och identifieras och när användaren har accepterat anord- ningen. 9. System enligt nagot av föregående patentkrav, känne- tecknat av att nämnda bärbara identifikationselement (3) är anordnat att bäras av användaren vid interaktion med den virtuella kontrollpanelen. V 10. System enligt nagot av föregående patentkrav, känne- tecknat av att nämnda bärbara identifikationselement (3) är fastsättbart vid användarens kropp. ll. System enligt nagot av föregående patentkrav, känne- tecknat av att nämnda bildskärm innefattar en bärbar bild- enhet (7) som visar användaren nämnda vy. 12. Metod som medger att en användare kan interagera med en virtuell kontrollpanel med användning av ett användarstyrt pekföremàl, varvid metoden innefattar: - att motta data som representerar läget för det använ- darstyrda pekföremälet (1), - att motta data som representerar läget för det bär- bara identifikationselementet (3), - att lagra åtminstone ett fördefinierat grafiskt gränssnitt som representerar en kontrollpanel hos en "anöranífi§;““ - att generera en grafisk framställning av kontroll- panelen hos anordningen baserat pà nämnda fördefinie- rade grafiska gränssnitt, - att registrera nämnda grafiska framställning av kontrollpanelen i ett fast förhållande till nämnda bärbara identifikationselement, baserat pà nämnda data som representerar läget för identifikationselementet, för att åstadkomma en virtuell kontrollpanel, 10 15 20 25 30 35 527 960 25 - att visa en vy som innefattar den verkliga världen och den virtuella kontrollpanelen pr0fiiCeïad i ett fast förhållande till nämnda bärbara identifikationselement, och - att vidta atgärder som svar pä användarens interak- tioner med den virtuella kontrollpanelen, varvid àt- gärderna som skall vidtas bestäms baserat på läget för nämnda användarstyrda pekföremàl i relation till läget för den virtuella kontrollpanelen. 13. Metod enligt patentkrav 12, innefattande att modifiera utseendet hos den virtuella kontrollpanelen Sem SVer På interaktioner mellan det användarstyrda pekföremálet Oeh den virtuella kontrollpanelen. 14. Metod enligt patentkrav 12 eller 13, varvid den inne- fattar att definiera en tvävägskomunikation mellan den vir- tuella kontrollpanelen och anordningen, att sända informati- on till anordníngen beträffande användarens atgärder gente- mot den virtuella kontrollpanelen, att motta data fràn an- ordningen, att generera en grafisk framställning av mottagna data och att visa dessa data pà den virtuella kontrollpane- len. 15. Metod enligt patentkrav 14, varvid nämnda data visas pà den virtuella kontrollpanelen som svar pä interaktioner mellan det användarstyrda pekföremälet och den virtuella kontrollpanelen. _1Gf Metod enligt nägötdav'patentkrav"12=l5ï-varvidametoden~ innefattar: - att lagra ett flertal fördefinierade grafiska gräns- snitt, vart och ett representerande en kontrollpanel hos en speciell anordning, - att bestämma vilken av de lagrade kontrollpanelerna som skall visas, och - att generera en grafisk framställning av den kon- trollpanel som skall visas baserat pa det fördefinie- 10 15 20 25 35 527 960 26 rade grafiska gränssnittet hos den kontrollpanel som skall visas. 17. Metod enligt nagot av patentkrav 12-16, varvid åtmin- stone ett av de lagrade grafiska gränssnitten innefattar mer än en grafisk vy som skall visas på den virtuella kontroll- panelen, och vilken av vyerna som skall visas bestäms uti- från användarens atgärder. 18. Metod enligt patentkrav 16, varvid den innefattar att känna igen och identifiera en anordning, att bestämma vilken av de lagrade kontrollpanelerna som skall visas baserat på den identifierade anordningen, att generera en grafisk framställning av kontrollpanelen hos den identifierade an- ordningen baserat på det lagrade grafiska gränssnittet hos den identifierade anordningen och att visa en vy som inne- fattar den verkliga världen och den virtuella kontrollpane- len hos den identifierade anordningen projicerad i en fast relation till nämnda bärbara identifikationselement. 19. Metod enligt patentkrav 18, kännetecknad av att varje anordning är försedd med en unik identifikationsmarkering och en anordning känns igen genom att identifiera dess unika identifikationsmarkering. 20. Metod enligt något av patentkrav 18-19, varvid den virtuella kontrollpanelen som visas ändras när en annan anordning känns igen och identifieras, och när användaren har accepterat anordningen. 21. Metod enligt något av patentkrav 12-20, varvid nämnda bärbara identifikationselement bärs av användaren vid interaktion med den virtuella kontrollpanelen. 22. Metod enligt nagot av patentkrav 12-21, varvid den vir- tuella kontrollpanelen innefattar virtuella interaktions- organ och en audiell och/eller visuell återkoppling genere- ras när användaren aktiverar något av de virtuella interak- tionsorganen. 527 960 27 23. Datorprogram innefattande programinstruktioner, som när de laddas ned i en dator förmår datorn att utföra processen enligt nagot av patentkrav 12-22. 24. Datorläsbart medium som har ett därpå inspelat program, där programmet skall förmå en dator att utföra stegen enligt nagot av patentkrav 12-22, när nämnda program körs pà da- torn.