WO2017153355A1

WO2017153355A1 - Verfahren und vorrichtung zum durchführen einer blickabbildung

Info

Publication number: WO2017153355A1
Application number: PCT/EP2017/055220
Authority: WO
Inventors: Eberhard Schmidt; Martin Haller; Denis Williams; Tobias LANGNER
Original assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Current assignee: SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Priority date: 2016-03-07
Filing date: 2017-03-06
Publication date: 2017-09-14
Anticipated expiration: 2018-09-07
Also published as: US11579686B2; US20190073025A1

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Durchführen einer Blickabbildung (M), bei welcher zumindest ein Blickpunkt (B) und/oder eine Blickrichtung zumindest einer Person (10) in Bezug auf zumindest eine Szenenaufnahme (S) von einer von der zumindest einen Person (10) betrachteten Szene (12) auf eine Referenz (R) abgebildet wird. Dabei wird zumindest ein Teil eines Algorithmus (A1, A2, A3) zur Durchführung der Blickabbildung (M) aus mehreren vorbestimmten Algorithmen (A1, A2, A3) in Abhängigkeit von mindestens einem Parameter (P) ausgewählt und die Blickabbildung (M) auf Basis des zumindest einen Teils des Algorithmus (A1, A2, A3) durchgeführt.

Description

Verfahren und Vorrichtung zum Durchführen einer Blickabbildung

BESCHREIBUNG:

Die Erfindung betrifft ein Verfahren zum Durchführen einer Blickabbildung, bei wel- eher zumindest ein Blickpunkt und/oder eine Blickrichtung zumindest einer Person in Bezug auf zumindest eine Szenenaufnahme von einer von der zumindest einen Person betrachteten Szene auf eine Referenz abgebildet wird. Des Weiteren gehört zur Erfindung auch eine Vorrichtung zum Durchführen einer Blickabbildung. Solche Blickabbildungen, die auch Blickrichtungsabbildung oder Blickpunktabbildung genannt werden, finden in vielen Bereichen Anwendung. Ein solcher Anwendungsbereich stellt beispielsweise die Verbraucherforschung oder auch die Durchführung von Studien dar. Zu diesem Zweck können Eyetracker, wie beispielsweise am Kopf getragene Eyetracker verwendet werden, die die Blickrichtungen einer Testperson er- mittein, während diese Testperson eine bestimmte Szene, zum Beispiel ihre reale Umgebung oder eine Anzeige auf einem Bildschirm, betrachtet. An einer solchen am Kopf getragenen Einrichtung kann weiterhin eine Szenenkamera angebracht sein, die währenddessen Aufnahmen von der Umgebung der Testperson macht, die zumindest einen Großteil des aktuellen Sichtfeldes einer solchen Testperson abdeckt. Hierdurch lassen sich für einen bestimmten Zeitpunkt die zu diesem Zeitpunkt durch den Eyetracker bestimmten Blickdaten in Bezug zu einer solchen zu diesem Zeitpunkt aufgenommenen Szenenaufnahme setzen, und daraus bestimmen, wohin die Testperson zu diesem Zeitpunkt in Bezug auf ihre Umgebung geblickt hat. Eine der- artige Vorgehensweise lässt sich dann für ein gesamtes Szenenvideo durchführen, sodass dann jede einzelne Szenenaufnahme dieses Szenenvideos einen korrespondierenden Blickpunkt oder auch eine Blickrichtung der Testperson enthält. Auf diese Weise lässt sich feststellen, wohin, wie lang oder wie oft eine Testperson während dieses Experiments oder dieser Studie auf bestimmte Objekte in ihrer Umgebung geblickt hat. Auf Basis solcher Testergebnisse kann zum Beispiel ermittelt werden, welche Produkte in einem Supermarktregal mehr Aufmerksamkeit erregen, und welche weniger, welche Werbung den Blick von Testpersonen stärker auf sich zieht und welche weniger, usw. Üblicherweise werden dabei solche Experimente nicht nur mit einer einzelnen Testperson durchgeführt, sondern mit vielzähligen verschiedenen Testpersonen, zum Beispiel unterschiedlicher Altersklassen, Geschlechter, usw., um aus den Ergebnissen statistisch aussagekräftige Resultate zu erhalten. Auch kann das gleiche Experiment mehrfach mit der gleichen Testperson durchgeführt werden, um eine zeitliche Veränderung, ein Lernverhalten oder einen Fortschritt zu erfassen.

Da eine manuelle Auswertung solcher vielzähligen Szenenvideos mit korrespondierenden Blickdaten jedoch sehr aufwendig ist, gibt es die Möglichkeit, eine solche Auswertung auch automatisch durchzuführen, oder zumindest zu vereinfachen. Hierbei kommen die Blickabbildungen zum Einsatz. Dadurch wird es ermöglicht, zum Beispiel alle in einem Szenenvideo enthaltenen Blickpunkte auf eine einzelne gemeinsame Referenz, etwa ein Referenzbild, abzubilden. Betrachtet beispielsweise eine Testperson während des Experiments ein bestimmtes Regal mit verschiedenen Produkten aus verschiedenen Perspektiven, so kann zum Beispiel als Referenz eine Aufnahme dieses Regals bereitgestellt werden. Alle in Bezug auf das Szenenvideo dieses Regals aufgenommenen Blickpunkte können dann auf diese einzelne Referenzaufnahme mit dem Regal abgebildet werden. Hierdurch lässt sich ein deutlich besserer Eindruck gewinnen, welche Objekte im Regal häufiger oder wenig häufig betrachtet wurden. Eine solche Blickabbildung kann dabei auch Testpersonübergreifend erfolgen, sodass die Blickergebnisse aller Testpersonen auf eine ge- meinsame Referenz abgebildet werden. Neben diesem Anwendungsbeispiel gibt es aber noch vielzählige weitere Anwendungsmöglichkeiten für Blickabbildungen, die Blickpunkte und/oder Blickrichtungen in Bezug auf eine Szenenaufnahme auf eine Referenz abbilden. Zur automatischen Durchführung solcher Blickabbildungen können bestimmte Algorithmen verwendet werden. Ein solcher Algorithmus referenziert beispielsweise die Szenenaufnahme mit der Referenzaufnahme und ermittelt daraus beispielsweise eine Transformation, welche die Szenenaufnahme, die zum Beispiel von einer Szene aus einer bestimmten oder sogar veränderlichen Perspektive aufgenommen wurde, auf die Referenz, die ebenfalls von dieser Szene, jedoch aus einem anderen Blickwinkel aufgenommen wurde, abbildet. Anschließend wird diese ermittelte Transformation auf die in Bezug auf die Szenenaufnahme bestimmten Blickpunkt angewendet, was den korrespondierenden abgebildeten Blickpunkt in Bezug auf die Referenz liefert. Solche Blickabbildungen können je nach Anwendung aber auch anders ausgeführt werden. Beispielsweise können auch Algorithmen zum Einsatz kommen, welche Bildanalysen und damit einhergehender Objektdetektion und/oder Objektklassifikationen durchführen. Zum Beispiel kann ein solcher Algorithmus ein Objekt, auf welchem sich ein Blickpunkt befindet, in einer Szenenaufnahme detektieren und/oder klassifizieren, und dem entsprechend identifizierten Objekt der Referenz zuordnen.

Aufgrund der verschiedenen Anwendungsgebiete sind jedoch auch die Voraussetzungen für solche Blickabbildungen stark unterschiedlich, sodass sich ein gemäß einem bestimmten Algorithmus arbeitendes Verfahren zur Durchführung einer solchen Blickabbildung in einer bestimmten Situation nicht automatisch auch zur Durchführung einer Blickabbildung in einer ganz anderen Situation eignet. So kommt es je nach Situation zu mehr oder weniger guten oder auch gar keinen Ergebnissen. Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zum Durchführen einer Blickabbildung bereitzustellen, durch welche sich verbesserte Ergebnisse auf möglichst komfortable Weise erzielen lassen.

Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrichtung zum Durchfüh- ren einer Blickabbildung mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Figuren. Gemäß dem erfindungsgemäßen Verfahren zum Durchführen einer Blickabbildung, bei welcher zumindest ein Blickpunkt und/oder eine Blickrichtung zumindest einer Person, zum Beispiel einer Testperson oder einem Benutzer, in Bezug auf zumindest eine Szenenaufnahme von einer von der zumindest einen Person betrachteten Sze- ne auf eine Referenz abgebildet wird, wird zumindest ein Teil eines Algorithmus zur Durchführung der Blickabbildung aus mehreren vorbestimmten Algorithmen in Abhängigkeit von mindestens einem Parameter ausgewählt und die Blickabbildung auf Basis des zumindest einen Teils des Algorithmus durchgeführt. Dies ermöglicht es vorteilhafterweise, einen Algorithmus oder auch nur einen Teil eines Algorithmus aus mehreren verschiedenen Algorithmen für die Durchführung einer Blickabbildung auszuwählen, wodurch sich vielzählige unterschiedliche Situationen und Voraussetzungen in vorteilhafter Weise berücksichtigen lassen. Insbesondere kann diese Berücksichtigung durch den mindestens einen Parameter erfolgen, der vorteilhafterweise dazu genutzt werden kann, um verschiedene Situationen, Voraussetzungen oder Gegebenheiten im Zusammenhang mit der Blickabbildung zu spezifizieren. Zudem kann vorteilhafterweise die Auswahl des zumindest einen Teils des Algorithmus aus mehreren verschiedenen Algorithmen automatisch erfolgen, sodass für einen Benutzer oder Anwender, der eine solche Blickabbildung durchfüh- ren möchte, ein besonders hoher Bedienungskomfort bereitgestellt ist. Insbesondere muss ein solcher Anwender keinerlei Fachkenntnisse in Bezug auf verschiedene Algorithmen und deren Vor- und Nachteile mit Bezug auf jeweilige Situationen haben. Die Algorithmenauswahl kann damit durch eine Vorrichtung durchgeführt werden, die damit durch die verbesserten Anpassungsmöglichkeiten an verschiedenste Situatio- nen auch letztendlich die Ergebnisse einer solchen Blickabbildung verbessert.

Unter einem Algorithmus, wie dem zumindest einen Teil des Algorithmus oder den vorbestimmten Algorithmen, ist dabei im Allgemeinen eine Handlungsvorschrift bzw. Durchführungsvorschrift zur Durchführung zumindest eines Teilschrittes der Blickab- bildung zu verstehen. Die Durchführungsvorschrift kann sich also auf einen oder mehrere Teilschritte der Blickabbildung beziehen. Zudem kann unter den mehreren verschiedenen vorbestimmten Algorithmen auch ein mit zumindest einem zweiten Parameter parametrierter Algorithmus verstanden werden, wobei die Festlegung des zumindest einen zweiten Parameters auf verschiedene Werte möglich ist, und ent- sprechend zu unterschiedlichen Durchführungsvorschriften führt. Solche Durchführungsvorschriften können sich dabei weiterhin zum einen in ihrer Art unterscheiden, das heißt unterschiedliche Teilschritte beschreiben, sowie auch in der zeitlichen Abfolge gleicher Teilschritte. Unter der Auswahl des zumindest einen Teils des Algo- rithmus kann dann entsprechend auch die Festlegung des zumindest einen zweiten Parameters auf einen bestimmten Wert verstanden werden. Zudem kann die Auswahl des zumindest einen Teils des Algorithmus in Abhängigkeit von dem (ersten) Parameter gemäß einer vorbestimmten Vorschrift, zum Beispiel einer Look-up- Tabelle oder einer vorbestimmten Zuordnung erfolgen, welche einem Parameterwert des zumindest einen Parameters einen der mehreren vorbestimmten Algorithmen zuordnet, insbesondere auch einen Parameterwert des zumindest einen zweiten Parameters eines parametrisierten Algorithmus festlegt, oder im Falle mehrerer (erster) Parameter, einer jeweiligen Parameterwertekombination der Parameter einen der vorbestimmten Algorithmen zuordnet, insbesondere auch einen Parameterwert des zumindest einen zweiten Parameters eines parametrisierten Algorithmus festlegt.

Wird also beispielsweise in einer ersten Situation in Abhängigkeit von dem Parameter ein bestimmter erster Algorithmus oder zumindest Teil eines Algorithmus aus den mehreren Algorithmen ausgewählt und in einer zweiten Situation ein bestimmter zweiter Algorithmus oder zumindest Teil eines Algorithmus, so unterscheiden sich die daraus resultierenden Blickabbildungen in zumindest einem Teilschritt und/oder in einer zeitlichen Abfolge von Teilschritten.

Die Szene, die von der Person betrachtet wird, kann eine reale Umgebung der Per- son darstellen, oder auch eine virtuelle Umgebung, die zum Beispiel mit einer VR(Virtual Reality)-Brille betrachtet wird, oder ein auf einer Anzeigeeinrichtung angezeigtes Bild oder auch eine Überlagerung der realen Umgebung mit virtuellen/digitalen Bildinhalten, wie zum Beispiel bei einer Betrachtung der Szenen mit einer AR(Augmented Reality)-Brille.

Die zumindest eine Szenenaufnahme kann sich entsprechend auf eine Aufnahme der oben beschriebenen Szenen beziehen, und zum Beispiel eine Kameraaufnahme der Umgebung der Person darstellen oder auch die eine Anzeige auf einem Bildschirm zu einem bestimmten Zeitpunkt, sozusagen als eine Art Screenshot, darstel- len. So kann die zumindest eine Szenenaufnahme eine Aufnahme einer Szene mittels einer oder mehrerer Bildsensoren, eines stereoskopischen Bildsensors mit ggf. Bildern zugeordneten Tiefendaten, einer Matrix von Bildsensoren, mindestens einer Kamera und weiteren Daten von einem oder mehreren Sensoren, einer 3D- Szenenerfassung, bei der eine 3D-Szene als Komposition von Objekten und ggf. Szenen-Hintergrundstruktur beschrieben wird, und/oder die Erfassung eines festen oder sich zeitlich ändernden Stimulus (etwa Aufnahme von Bildschirminhalten) darstellen. Daten einer Szenenaufnahme können auch zeitlich aufeinander bezogen werden.

Blickrichtungen und/oder Blick-Endpunkte bzw. Blickpunkte können als Teil der Eye- Tracking-Daten zeitlich und/oder örtlich bezogen auf die Szenenaufnahme vorliegen, bspw. als ein Blickpunkt (POR) auf einem Szenenbild und/oder ein Blick-Endpunkt oder einer Blickrichtung in einer 3D-Szene. Diese Blickdaten können dabei von einem mobilen, zum Beispiel am Kopf tragbaren Eyetracker erfasst und bereitgestellt werden oder auch durch einen Remote Eyetracker, welcher nicht kopfgetragen, sondern zum Beispiel an einer Anzeigeeinrichtung, wie einem Monitore, angebracht ist. Dies ist insbesondere dann vorteilhaft, wenn die Szenenaufnahme ein auf der Anzeigeeinrichtung dargestellte Anzeige darstellt, so dass durch den Remote Eyetracker besonders ein- fach der Blick des Benutzers in Bezug auf die Anzeige erfasst werden kann. Die Szenenaufnahme zeigt dann beispielsweise nicht mehr das direkte Sichtfeld des Nutzers (welches sich mit Kopfbewegungen ändert), sondern direkt den präsentierten Stimulus, welcher wiederum ein Bild, Video, stereoskopisches Video, gerenderte 3D Szene mit Objekten oder auch als Komposition im AR-Fall, darstellen kann.

Auch die Referenz kann in vielen verschiedenen Formen vorliegen. Beispielsweise kann die Referenz eine örtliche Repräsentation/Darstellung, wie etwa ein Bild oder eine statische 3D-Szene, sein, eine örtlich-zeitliche Repräsentation/Darstellung, wie etwa ein Video oder eine dynamische 3D-Szene, oder inhaltliche/semantische Re- präsentation/Darstellung sein, wie etwa als Datenstruktur erfasste Kategorien/Klassen von Objekten, oder wie etwa als bildliche oder als dreidimensionale Darstellung von bestimmen oder prototypische Objekten. Vorzugsweise weist die Referenz eine inhaltliche Übereinstimmung, zeitliche und/oder örtlich, mit zumindest einem Teil der Szene auf. Eine solche Referenz kann auch einer Szenenaufnahme oder einer der Szenenaufnahmen entnommen worden sein. Eine Referenz kann ferner ein örtlicher, zeitlicher oder örtlich-zeitlicher Ausschnitt einer Szenenaufnahme sein. Eine Referenz kann in ihrer jeweiligen Form (wie oben für Szenenaufnahmen aufgelistet) mit externen Mitteln, daher unabhängig von einem Eyetracker, gemacht worden sein.

Weiterhin kann die Blickabbildung je diskreten Zeitschritt einer Szenenaufnahme (etwa Bild für Bild einer Bildsequenz) oder für ein Zeitintervall bestimmt werden. Das Zeitintervall kann bspw. einem Blickereignis, wie zum Beispiel einer Fixation, entsprechen.

Da es wie beschrieben sehr viele verschiedene Möglichkeiten gibt, in welcher Form Szenenaufnahme, Blickdaten und Referenz vorliegen können, ist es besonders vor- teilhaft, den zumindest einen Teil des Algorithmus in Abhängigkeit von dem zumindest einen Parameter für die Blickabbildung auszuwählen, da sich hierdurch vorteilhafterweise all diese unterschiedlichen Situationen berücksichtigen lassen und damit optimale Ergebnisse erzielt werden können. Daher werden bei einer besonders vorteilhaften Ausgestaltung der Erfindung Eingangsdaten bereitgestellt, die Daten betreffend die zumindest eine Szenenaufnahme, Daten betreffend den bestimmten Blickpunkt und/oder die bestimmte Blickrichtung und Daten betreffend die Referenz umfassen, wobei der zumindest eine Teil des Algorithmus in Abhängigkeit von einer Analyse zumindest eines Teils der Ein- gangsdaten als der mindestens eine Parameter gewählt wird.

Diese vorteilhafte Ausführungsform der Erfindung basiert auf der Erkenntnis, dass gerade diese Eingangsdaten vielzählige Informationen enthalten, die geeignet sind, um bestimmte Voraussetzungen, Situationen oder Gegebenheiten zu charakterisie- ren, und entsprechend einen für diese Gegebenheiten optimierten Algorithmus zu wählen. Beispielsweise lassen sich auf Basis dieser Eingangsdaten Informationen über die oben ausgeführten Arten der Szenenaufnahme, der Referenz und der Blickdaten, beziehen, die so vorteilhafterweise zur Algorithmenauswahl herangezogen werden können. Während für die Blickabbildung alle der genannten Eingangsdaten verwendet werden, kann sich die Analyse aber auch nur auf einen Teil der Eingangsdaten beziehen, zum Beispiel nur auf die Bilddaten der Szenenaufnahmen o- der der Referenz oder nur auf manche der Szenenaufnahmen oder die Blickdaten in Form einer stichprobenartigen Analyse.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung werden Daten betreffend eine Mehrzahl an Szenenaufnahmen mit jeweils zumindest einem zugeordneten Blickpunkt und/oder einer zugeordneten Blickrichtung als Teil der Eingangsdaten bereitgestellt. Damit kann vorteilhafterweise die Analyse der Eingangsdaten sich nicht nur auf eine einzelne Szenenaufnahme sondern auch auf mehrere Szenenaufnahmen, zum Beispiel als Teil eines Szenenvideos, beziehen, was nicht nur durch die mehreren Szenenaufnahmen mehr Möglichkeiten bereitstellt, Informationen über bestimmte Gegebenheiten oder Situationen zu beziehen, um daraus eine geeignete Anpassung durch die Wahl eines geeigneten Algorithmus bereitzustellen, sondern die Szenenaufnahmen ermöglichen auch durch Vergleiche untereinander das Bereitstellen zusätzlicher Informationen, die vorteilhafterweise zur Auswahl eines geeigneten Algorithmus herangezogen werden können. Beispiele hierfür werden im Folgenden näher erläutert. Die den Szenenaufnahmen jeweils zugeordneten Blickpunkte und/oder Blickrichtungen müssen dabei nicht notwendigerweise die gleiche Person betreffen. Es können auch Szenenaufnahmen mit jeweils zugeordneten Blickpunkten und/oder Blickrichtungen von unterschiedlichen Personen bereitgestellt werden.

Dabei stellt es eine vorteilhafte Ausgestaltung der Erfindung dar, wenn bei der Analyse des zumindest einen Teils der Eingangsdaten diese auf zumindest einen der folgenden Aspekte hin analysiert werden:

ob die Szene eine statische Szene darstellt oder bewegte und/oder sich verändernde Objekte enthält;

falls die Szene bewegte und/oder sich verändernde Objekte enthält, welche Objekte der Szene die bewegten und/oder sich verändernden Objekte darstel- len;

- ob die Szene einen räumlich und/oder zeitlich sich nicht ändernden Hintergrund oder einen sich räumlich und/oder zeitlich ändernden Hintergrund aufweist;

- Höhe der Bildqualität der Szenenaufnahmen und/oder der Referenz - Ausmaß einer inhaltlichen Übereinstimmung zwischen der Referenz und der Szene;

- Art der Szenenaufnahmen und/oder der Referenz und/oder der Blickpunkte

und/oder Blickrichtungen und/oder Art von Objekten der Szene;

- Dimension der Szenenaufnahmen und/oder der Referenz und/oder der Blickpunkte und/oder der Blickrichtungen und/oder Art von Objekten der Szene; und ob die Szene ein oder mehrere Objekte umfasst, die gegenüber anderen Objekten der Szene als relevanter eingestuft werden oder nicht,

und zumindest ein Ergebnis der Analyse bereitgestellt wird, in Abhängigkeit von wel- ehern als der mindestens eine Parameter der zumindest eine Teil des Algorithmus ausgewählt wird.

Die Information darüber, ob eine Szene eine statische Szene darstellt oder eine bewegte Szene bzw. bewegte oder sich verändernde Objekte enthält, ist dahingehend relevant, als Algorithmen, die zum Beispiel nicht dazu ausgelegt sind, solche sich verändernden Objekte zu erkennen oder bei der Referenzierung von Szenenaufnahme und einer Referenzaufnahme zu berücksichtigen, in einem solchen Fall auch zu schlechten Ergebnissen in Bezug auf die Blickabbildung führen. Wird also beispielsweise bei der Analyse festgestellt, dass die Szene eine statische Szene dar- stellt und keine bewegten oder sich verändernden Objekte enthält, so kann zum Beispiel ein einfacher und schneller Algorithmus für die Blickabbildung gewählt werden, während für den anderen Fall ein Algorithmus gewählt werden kann, der auch bewegte Objekte bei der Blickabbildung berücksichtigt und entsprechend in einer solchen Situation zu besseren und zuverlässigeren Ergebnissen in Bezug auf die Blick- abbildung führt. Damit einhergehend ist es auch vorteilhaft, die Eingangsdaten darauf hin zu analysieren, falls die Szene bewegte und/oder sich verändernde Objekte enthält, welche Objekte der Szene die bewegten und/oder sich verändernden Objekte darstellen. Solche Informationen lassen sich sehr einfach aus den Daten betreffend die Szenenaufnahmen ermitteln. Insbesondere ist es dabei besonders vorteil- haft, wenn mehrere Szenenaufnahmen bereitgestellt werden, da sich diese Information über bewegte Objekte oder sich verändernde Objekte in der Szene auf einfache Weise durch einen Vergleich zwischen mehreren solchen Szenenaufnahmen gewinnen lässt. Ebenso vorteilhaft ist, die Eingangsdaten darauf hin zu analysieren, ob die Szene einen sich räumlich und/oder zeitlich ändernden Hintergrund oder einen sich räumlich und/oder zeitlich nicht ändernden Hintergrund aufweist. Weist eine Szene beispielsweise einen sich nicht ändernden, statischen Hintergrund auf, der insbesondere auch für das betreffende Experiment nicht relevant ist, so kann dieser Hintergrund bei der Blickabbildung, zum Beispiel bei der Referenzierung zwischen Sze- nenaufnahme und Referenz, vernachlässigt werden, was eine deutliche Zeitersparnis zur Folge hat, da die den Hintergrund betreffenden Bilddaten nicht analysiert und abgebildet oder untersucht werden müssen. Ist zudem bekannt, dass sich der Hintergrund nicht ändert, so kann dieser in jeweiligen Szenenaufnahmen auch deutlich einfacher als solcher identifiziert werden, zum Beispiel anhand seiner Farbe. Stellt der Hintergrund beispielsweise eine weiße Wand dar, so ist dieser besonders einfach in einer jeweiligen Szenenaufnahme zu identifizieren und kann bei der weiteren Verarbeitung der Szenenaufnahmen zur Durchführung der Blickabbildung vernachlässigt werden. Auch müssen dann Blickpunkte auf einem solchen nicht relevanten Hintergrund gar nicht berücksichtigt und auch nicht abgebildet werden, was insgesamt eine deutliche Effizienzsteigerung bei der Blickabbildung ermöglicht. In einem solchen Fall kann also beispielsweise wiederum ein sehr einfacher Algorithmus ausgewählt werden, der für den Fall, dass der Hintergrund sich weder räumlich noch zeitlich verändert, eine Identifikation dieses mit sehr einfachen Bildverarbeitungsmitteln möglich ist. Ändert sich dagegen der Hintergrund räumlich oder zeitlich, so können entspre- chend komplexere Algorithmen verwendet werden, die dazu ausgelegt sind, auch im Falle einer räumlichen oder zeitlichen Veränderung des Hintergrunds diesen als solchen zu identifizieren. Beispielsweise können die Szenenaufnahmen, die aus unterschiedlichen Perspektiven aufgenommen wurden, herangezogen werden, um zu bestimmen, welche Objekte sich in diesen Aufnahmen im Vordergrund und welche im Hintergrund befinden oder diesen darstellen. Hierzu kann zum Beispiel die Parallaxe von Objekten mit Bezug auf den Hintergrund genutzt werden. Somit stellt auch die Information darüber, ob sich der Hintergrund räumlich und/oder zeitlich ändert oder nicht, einen geeigneten Parameter zur Auswahl zumindest des Teils des Algorithmus dar, um letztendlich die Durchführung der Blickabbildung und deren Ergebnisse deut- lieh zu verbessern.

In gleicher Weise ist es auch vorteilhaft zu analysieren, ob die Szene ein oder mehrere Objekte umfasst, die gegenüber anderen Objekten der Szene als relevanter eingestuft werden oder nicht. Sind beispielsweise nur manche Objekte in einer Szene für das letztendliche Ergebnis der Blickabbildung bzw. deren Auswertung relevant, so können Algorithmen verwendet werden, die selektiv arbeiten, und zum Beispiel Blickpunkte auf nicht relevanten Objekten gar nicht erst abbilden. Auch hierdurch lässt sich ein großer Zeitvorteil bei der Blickpunktabbildung erzielen. Ob solche rele- vanten oder nicht relevanten Objekte in der Szene vorhanden sind kann beispielsweise durch Analyse der Blickpunktdaten bzw. Blickrichtungsdaten mit Bezug auf die Szenenaufnahmen ermittelt werden. Objekte in der Szene die besonders häufig betrachtet werden, können somit als besonders relevant eingestuft werden, während Objekte die gar nicht betrachtet werden, beispielsweise als irrelevant eingestuft wer- den können. Um Objekte hinsichtlich ihrer Relevanz, ihrer Bewegung oder auch hinsichtlich anderer Kriterien zu klassifizieren, können beispielsweise entsprechende Objektdetektion-und Objektklassifizierungsverfahren angewandt werden. Auch die Art von Objekten bzw. ihre Klassifikation kann damit vorteilhafterweise genutzt werden, um den zumindest einen Teil des Algorithmus auszuwählen und damit eine op- timale Situationsanpassung bereitzustellen, die das Ergebnis der letztendlichen Blickabbildung deutlich verbessert.

Ein weiterer Parameter zur Auswahl des zumindest einen Teils des Algorithmus kann beispielsweise auch die Höhe der Bildqualität der Szenenaufnahmen und/oder der Referenz darstellen. Sind beispielsweise Szenenaufnahmen verschwommen, zum Beispiel durch zu schnelle Bewegung der Szenenkamera, oder weisen Szenenaufnahmen aus anderen Gründen eine schlechte Bildqualität auf, so können entsprechend robustere Algorithmen verwendet werden, denen zum Beispiel komplexere Bildanalyseverfahren zu Grunde gelegt werden, um noch möglichst gute Ergebnisse in Bezug auf die Blickabbildung auch für solche schlechten Bildqualitäten bereitzustellen. Gleiches gilt auch für den Fall, wenn die Referenz eine Referenzaufnahme darstellt, die dann ebenso eine schlechte Bildqualität aufweisen kann. Weisen Szenenaufnahmen oder die Referenz beispielsweise eine sehr hohe und gute Bildqualität auf, so können entsprechend weniger robuste und dafür schneller arbeitende Al- gorithmen für die Blickabbildung gewählt werden.

Die Referenz kann jedoch nicht nur als Bildaufnahme vorliegen, sondern kann viele verschiedene Formen annehmen, wie bereits erwähnt. Eine Referenz bzw. ein Referenzbild kann auch ein sogenanntes Symbolbild darstellen. In einem solchen Sym- bolbild sind bestimmte Objekte symbolisch oder schematisch dargestellt. Zum Beispiel kann in einem solchen Symbolbild eine symbolische oder skizzenhafte oder schematische Flasche dargestellt sein, und es soll nun festgestellt werden, ob oder wie oft eine Person auf in der Szene vorhandene Flaschen blickt. Ein Blickpunkt in Bezug auf eine solche Szenenaufnahme, der auf einer Flasche liegt, kann entsprechend dem Symbolbild der Flasche als Referenz zugeordnet werden. Um eine derartige Blickabbildung zu bewerkstelligen, sind beispielsweise Registrierungsverfahren, die verschiedene Aufnahmen aus unterschiedlichen Perspektiven miteinander registrieren können, ungeeignet, da es sich nun bei der Referenz um ein Symbolbild han- delt. In einem solchen Fall können beispielsweise Algorithmen zum Einsatz kommen, die auf Objektdetektion und Objektklassifikation beruhen. Ein solcher Algorithmus kann beispielsweise die auf der Referenz dargestellte symbolische Flasche als Flasche klassifizieren und entsprechend in den Szenenaufnahmen nach Objekten, die ebenfalls als Flasche klassifiziert wurden, suchen. Entsprechend kann dann über- prüft werden, ob Blickpunkte oder auch Blickrichtungen auf solche als Flasche klassifizierten Objekten ruhen. Eine Referenz muss aber nicht notwendigerweise ein Bild sein, eine Referenz kann auch eine Objektliste darstellen, welche verschiedene Objektklassen umfasst. Entsprechen können wiederum Algorithmen verwendet werden, die Szenenaufnahmen dahingehend analysieren, ob sich in diesen Objekte befinden, die sich als die gemäß der Referenz vorgegebenen Objekte klassifizieren lassen, und entsprechend Blickpunkte auf solchen klassifizierten Objekten den entsprechenden Objektklassen der Referenz zuordnen. Auch gibt es wie beschrieben verschiedene Arten von Szenenaufnahmen. Eine solche Szenenaufnahmen kann ein mit einer Kamera aufgenommenes Bild darstellen, sie kann aber auch zum Beispiel die Anzeige auf einem Bildschirm darstellen, sozusagen als eine Art Screenshot, sie kann die Aufnahme einer virtuellen Darstellung, zum Beispiel durch eine Virtual Rea- lity Brille darstellen, die Aufnahme einer computergenerierten Szene aus einer bestimmten aktuellen Perspektive der Person, oder auch eine Überlagerung aus mittels einer Kamera aufgenommenen Bildaufnahme einer Umgebung des Benutzers mit digitalen Bildinhalten, wie zum Beispiel bei einer AR-Brille. Unter einer Aufnahme, insbesondere im Zusammenhang mit einer computergenerierten Szene oder digitalen Bildinhalten, zum Beispiel von einer computergenerierten, virtuellen Szene, ist dabei nicht notwendigerweise eine Aufnahme mittels einer Kamera oder das Erfassen oder Speichern von einem aktuell angezeigten 2D- oder 3D-Bild der Szene zu verstehen, sondern beispielsweise auch die Aufnahme der Szenendaten der gesamten computergenerierten Szene, zum Bespiel durch Speichern oder Bereitstellen der Szenendaten der computergenerierten Szene, zusammen mit der Festlegung eines virtuellen Standpunktes, der die Sicht bzw. Perspektive der Person auf die aktuell angezeigte virtuelle Szene definiert. Zur Bestimmung der aktuellen Perspektive kann zum Beispiel eine 3D-Pose der Person erfasst werden und/oder die Blickrichtung, je nachdem welcher dieser Parameter eine Veränderung der Perspektive auf die Szene bewirkt. Bei typischen VR-Anwendungen mit VR-Brillen zum Beispiel kann eine Person durch Bewegen des Kopfes sich in der virtuell dargestellten Szene umsehen und dadurch den Blick, und damit die Perspektive auf die Szene verändern. Solche Kopfbewegungen können entsprechend ebenfalls erfasst werden, insbesondere zusammen mit der korrespondieren Blickrichtung der Person zu diesem Zeitpunkt, so dass diese Daten die virtuelle Perspektive auf die virtuelle Szene definieren. Auch dies kann unter einer Szenenaufnahme verstanden werden.

Gleiches gilt auch wiederum für die Referenz, diese kann ebenfalls VR- oder AR- Bildinhalte umfassen, eine Szene einer computergenerierten Grafik darstellen, oder die Anzeige auf einen Bildschirm. Zudem kann die Referenz als einzelne Referenzaufnahme oder auch als Referenzvideo bereitgestellt sein. Für all diese unter- schiedlichen Arten von Szenenaufnahmen und Referenz können nun vorteilhafterweise auch entsprechend geeignete Algorithmen für die Durchführung der Blickabbildung gewählt werden. Auch ist es vorteilhaft den zumindest einen Teil des Algorithmus in Abhängigkeit davon zu wählen, ob bei der Blickabbildung ein Blickpunkt bzw. mehrere Blickpunkte auf die Referenz abgebildet werden sollen, oder ob Blick- richtungen abgebildet werden sollen. Ein weiteres vorteilhaftes Kriterium für die Auswahl des zumindest einen Algorithmenteils stellt auch die Dimension der Szenenaufnahmen und/oder der Referenz und/oder der Blickpunkte und/oder der Blickrichtungen dar. Insbesondere können Szenenaufnahmen, Referenz, Objekte in Szenenaufnahmen und/oder Referenz, Blickpunkte und/oder Blickrichtungen im Allgemeinen zweidimensional oder auch dreidimensional sein. Auch das Ausmaß einer inhaltlichen Übereinstimmung zwischen der Referenz und der Szene kann als Parameter zur Auswahl des zumindest einen Teils des Algorithmus herangezogen werden. Beispielsweise kann die Referenz eine Szenenaufnahme der mehreren Szenenaufnahmen darstellen. Wird an der Szene während die Szenenaufnahmen aufgenommen werden, nichts geändert, so stimmen zumindest die Teile der Szenenaufnahme, die die Referenzaufnahme umfassen inhaltlich vollständig überein. Es gibt jedoch auch Situationen, in welcher zunächst eine Referenz bereitgestellt wird, zum Beispiel in Form einer Schemazeichnung oder Skizze oder auch in Form einer rechnerunter- stützten Konstruktion, welche dann als reale Szenen nachgebaut oder nachgebildet werden soll. In einem solchen Fall kann es zu Abweichungen zwischen der realen Szene und der Referenz kommen, beispielsweise kann es dann vorkommen, dass Objekte in der realen Szene nicht die gleichen Abstände oder Positionen zueinander aufweisen, wie in der Referenz. Um bessere Ergebnisse bei der Blickabbildung zu erzielen, eignen sich im letzten Fall wiederum robustere Algorithmen, während wiederum bei guter Übereinstimmung zwischen Szene bzw. dann entsprechende Szenenaufnahmen und Referenz einfachere und schnellere Algorithmen verwendet werden können. Zum Bestimmen, ob und wie gut Szenenaufnahmen mit der Referenz übereinstimmen, können wiederum Bildanalyseverfahren verwendet werden. Solche können einzelne Szenenaufnahmen untereinander sowie mit der Referenz, der Referenzaufnahme, oder dem Referenzbild vergleichen.

Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird bei der Analyse der Eingangsdaten die Art der Daten betreffend die Szenenaufnahmen und/oder die Referenz und/oder betreffend die Blickpunkte und/oder Blickrichtungen ermittelt, insbesondere im Hinblick auf Datentyp, Datenstruktur, Datenformat und/oder Dateiformat, um daraus die Art und/oder Dimension der Szenenaufnahmen und/oder der Referenz und/oder der Blickpunkte und/oder Blickrichtungen zu bestimmen. Ob es sich also beispielsweise bei der Szenenaufnahme um die Aufnahme eines Kame- rabildes oder um eine computergenerierte Grafik oder Ähnliches handelt, ob die Szenenaufnahme zweidimensional oder dreidimensional ist, ob Blickpunkte als zweidimensionale Punkte oder 3-dimensionale Punkte vorliegen, ob Blickpunktdaten Blickpunkte oder Blickrichtungen wiedergeben, um welche Art oder Dimension der Referenz es sich handelt, usw. kann auf besonders einfache Weise durch die Art, in welcher der Daten dieser betreffenden Szenenaufnahmen, der Referenz und der Blickdaten vorliegen, ermittelt werden.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung werden bei der Analyse der Eingangsdaten eine oder mehrere der Szenenaufnahmen und/oder die Referenz im Hinblick auf ihre Bildqualität und/oder Bildinhalte analysiert. Durch eine Analyse der Szenenaufnahmen und/oder der Referenz, insbesondere deren Bilddaten können vielzählige der oben genannten vorteilhaften Informationen, die zur Algorithmenauswahl herangezogen werden können, automatisch gewonnen werden. Dies kann auf besonders einfache Weise durch Bildanalyseverfahren bewerkstelligt werden. Zur Analyse der Bildqualität können Bildaufnahmen oder im Allgemeinen Bilder hinsichtlich ihrer Helligkeitswerte, Farben, Disparität, Tiefenwerte, Kontraste, Kontrastverläufen, Kontrastgradienten, Helligkeitsverläufe, Helligkeitsgradienten, Farbverläufe, Farbgradienten, Textureigenschaften, Disparitätsverläufe, Disparitätsgradient, Tiefenverläufe, Tiefengradienten, Sättigung, Sättigungsverläufe, Rauschanteile, die durch Frequenzanalyse ermittelt werden können, usw. analysiert werden. Bei der Analyse von Bildinhalten können beispielsweise erkannte (d.h. nicht notwendigerweise auch klassifizierte) Objekte in ihren Positionen zueinander verglichen werden, auch beispielsweise über mehrere Aufnahmen hinweg, um zum Beispiel zu ermitteln, ob sich Objekte räumlich und/oder zeitlich verändern, bewegen, oder ähnliches. Entsprechen können durch solche Analysen auch Objekte klassifiziert werden.

Bei der Analyse der Eingangsdaten müssen nicht notwendigerweise alle Eingangsdaten analysiert werden, dies kann auch stichprobenartig erfolgen oder nur für eine bestimmte Auswahl der Eingangsdaten. Beispielsweise müssen nicht alle Szenenaufnahmen in Hinblick auf Bildqualität und/oder Bildinhalte analysiert werden, es kann auch eine Stichprobe aus diesen Szenenaufnahmen ausgewählt und anschließend analysiert werden, um die oben beschriebenen Informationen zu gewinnen. Hierdurch kann wiederum viel Zeit bei der Bildanalyse oder generell bei der Daten- analyse der Eingangsdaten eingespart werden. Beispielsweise kann es auch vorgesehen sein, dass mit der Analyse der Szenenaufnahmen in einer vorbestimmten und oder zufälligen Reihenfolge begonnen wird, und sofern die oben genannten Informationen hinreichend zuverlässig, zum Beispiel gemäß einem bestimmten Kriterium, ermittelt wurden, kann die Analyse der Eingangsdaten beendet werden. Zum Bei- spiel, wenn bereits aus der Analyse von zwei oder drei Szenenaufnahmen hervorgeht, dass die Szene bewegte Objekte enthält, kann von einer weiteren Analyse der weiteren Szenenaufnahmen unter diesem Aspekt abgesehen werden. Es können alternativ aber auch alle Eingangsdaten bzw. alle Szenenaufnahmen analysiert werden. Zudem ist es möglich für die auf Basis einer jeweiligen Szenenaufnahme durchzuführenden Blickabbildung auch einen jeweiligen Teil des Algorithmus separat auszuwählen. Hierzu können beispielsweise auch die Szenenaufnahmen im Hinblick auf die oben genannten Aspekte in Gruppen eingeteilt werden und entsprechend für diese Gruppen je ein geeigneter Algorithmus zur Durchführung der Blickabbildung verwendet werden. Beispielsweise kann es vorkommen, dass manche Szenenaufnahmen keine bewegten Objekte aufweisen, während dies andere tun. Auch kann es sein, dass manche der Szenenaufnahmen einen statischen und/oder homogenen Hintergrund aufweisen, während dies für andere Szenenaufnahmen nicht zutrifft. Auch kann die Bildqualität der Szenenaufnahmen von Szenenaufnahmen zu Szenenaufnahme anders sein. In gleicher Weise gilt dies auch für die Referenz. Dies ermöglicht vorteilhafterweise gezielt Algorithmen für eine jeweilige Szenenaufnahme bzw. Szenengruppe auszuwählen, wodurch sich wiederum eine deut- lieh bessere Situationsanpassung, bessere Ergebnisse und insgesamt eine große Zeitersparnis erzielen lassen. Eine solche Einteilung von Szenenaufnahmen in Gruppe kann jedoch nicht nur hinsichtlich der oben genannten Aspekte erfolgen, sondern alternativ oder zusätzlich auch im Hinblick auf zeitliche Kriterien. Daher ist es eine weitere vorteilhafte Ausgestaltung der Erfindung, wenn eine jeweilige Szenenaufnahme einer von mehreren Zeitintervallgruppen zugeordnet wird, wobei das Auswählen des zumindest einen Teils des Algorithmus zur Durchführung der Blickabbildung in Abhängigkeit von dem mindestens einen Parameter für eine jeweilige Zeitintervallgruppe separat durchgeführt wird. Dabei stellen insbesondere die Zeitintervallgruppen verschiedene Blickereigniszeitintervalle, insbesondere in Bezug auf Fixationen, dar, und/oder Analysezeitintervalle, und/oder Aufnahmezeitintervalle, und/oder Experimentzeitintervalle und/oder Studienzeitintervalle. Dabei umfasst eine Studie üblicherweise eines oder mehrere Experimente, ein Experiment kann eine oder mehrere Aufnahmen umfassen, eine Aufnahme kann eine oder mehrere Analy- sezeitintervalle umfassen und ein Analysezeitintervall kann wiederum eine oder mehrere Blickereignisse umfassen. Ein solches Blickereignis stellt beispielsweise eine Fixation dar. Bei einer Fixation verharrt das Auge auf einem bestimmten Punkt für eine längere, insbesondere charakteristische, Zeitdauer. Eine solche Fixation kann auch in Form einer bewegten Fixation vorliegen, bei welcher das Auge zum Beispiel einem sich bewegenden Objekt folgt. Die Bewegung des Auges während einer solchen bewegten Fixation erfolgt dabei üblicherweise kontinuierlich. Ein weiteres Blickereignis stellt beispielsweise eine sogenannte Sakkade dar. Während einer solchen Sakkade springt das Auge von einer Fixation zur nächsten. Das Auge ist in dieser Zeitspanne nicht aufnahmefähig bzw. die vom Auge aufgenommenen visuellen Informationen werden nicht weitergeleitet oder vom Gehirn weiterverarbeitet. Entsprechend sind auch Blickdaten, die eine solche Sakkade betreffen, nicht relevant, da eine Person während einer solchen Sakkade nicht aktiv auf ein Objekt in der Umgebung bzw. in Bezug auf die Szene blickt. Weiterhin folgt eine Sakkade üblicherweise einer ballistischen Bewegung. Anhand der Blickdaten, insbesondere in ihrem zeitlichen Verlauf, können derartige Blickereignisse anhand der genannten Charakteristiken, das heißt charakteristische Zeitdauern und Bewegungsverläufe, identifiziert werden, die mittels des Eyetrackers erfasst werden können. Diese Ausführungsform der Erfindung ermöglicht es beispielsweise, dass für die Blickabbildung von Blickpunkten bzw. Blickrichtungen, die einer einzelnen Fixation zugeordnet sind, separat den zumindest einen Teil des Algorithmus auszuwählen, und für weitere Blickereignisse, d.h. weitere Fixationen, wiederum den zumindest einen Teil des Algorithmus neu bzw. separat auszuwählen, usw. Auch dies ermög- licht eine besonders differenzierte Situationsanpassung. Eine weitere Zeitintervallgruppe kann aber auch ein Analysezeitintervall darstellen. Während einer Aufnahme, d.h. also während die Person die Szene begutachtet und dabei zum Beispiel ein Szenenvideo aufgenommen wird, kann es jedoch Zeitintervalle geben, in welchem die Person abgelenkt ist, und zum Beispiel gar nicht in Richtung der relevanten Inhal- te dieser Szene blickt. Auch erfolgt am Anfang oder Ende eines solchen Versuchs üblicherweise zunächst eine Einweisung von Personen oder eine nachfolgende Besprechung, während die Szenenkamera weiter Bilder aufnimmt, die jedoch für den eigentlichen Versuch nicht mehr relevant sind. Auch können mehrere Versuche durchgeführt werden, mit Zwischenbesprechungen oder ähnlichem. Hierdurch kann ein Szenenvideo beispielsweise in relevante und nicht relevante Zeitabschnitte, den Analysezeitintervallen, eingeteilt werden. Ein Analysezeitintervall stellt entsprechend ein Zeitintervall dar, in welchem das Szenenvideo zum Beispiel relevante Bildinhalte aufweist, die analysiert werden sollen. Entsprechend kann die Algorithmenauswahl auch separat für ein jeweiliges solches Analysezeitintervall durchgeführt werden. Beispielsweise kann sich auch die Szene von Analysezeitintervall zu Analysezeitintervall ändern, sodass eine separate Algorithmenauswahl in Bezug auf ein jeweiliges solches Zeitintervall wiederum besonders vorteilhaft ist und eine optimale Situationsanpassung mit optimalen Ergebnissen erlaubt.

Ein Aufnahmezeitintervall stellt dabei zum Beispiel ein Zeitintervall dar, welches sich auf die gesamte Videoaufnahme eines Szenenvideos bezieht. Ein Experiment kann mehrere solche Aufnahmen umfassen, die zum Beispiel für verschiedene Personen gemacht wurden, oder an verschiedenen Tagen durchgeführt wurden. Auch für eine jeweilige solche Aufnahme kann wiederum eine separate Algorithmenauswahl durchgeführt werden. Entsprechendes gilt wiederum für die einzelnen Experimente einer Studie, so wie für unterschiedliche Studien selbst.

Zudem kann die Festlegung solcher Zeitintervalle ebenfalls auf Basis einer Analyse der Eingangsdaten bestimmt werden. Durch Analyse der Blickdaten lassen sich beispielsweise die Blickereigniszeitintervalle ermitteln. Durch eine inhaltliche Analyse der Szenenaufnahmen können Analysezeitintervalle festgelegt werden. Anfang und Ende eines Szenenvideos bestimmen beispielsweise ein Aufnahmezeitintervall. Die übrigen Zeitintervalle können zum Beispiel aus Metadaten gewonnen werden, die zum Beispiel definieren, welche Szenenvideos zu einem Experiment gehören und welche Experimente zu einer Studie. Die Zeitintervalle können zusätzlich oder alternativ auch durch einen Benutzer manuell festgelegt werden.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung werden mit zumindest einem Teil der Eingangsdaten assoziierte Metadaten bereitgestellt, wobei der zumindest eine Teil des Algorithmus in Abhängigkeit von zumindest einem Teil der Metadaten als dem mindestens einen Parameter gewählt wird. Über solche Metadaten können zu den einzelnen Eingangsdaten entsprechende Zusatzinformationen bereitgestellt sein. Solche Metadaten können sich dabei auf die zumindest eine Szenen- aufnähme beziehen und/oder auf die Referenz und/oder auf die Blickpunkte und/oder Blickrichtungen und/oder auch auf die Szene selbst oder (bekannte) Objekte der Szene. Solche Informationen können zum Beispiel ein Zeitstempel sein, oder auch Datum, Uhrzeit, Ort der Aufnahme, technische Daten zur Szenenaufnahme oder Blickerfassung, wie Abtastfrequenz, Bildrate, oder ähnliches. Solche Metainformationen können auch Bemerkungen zu Szenenaufnahmen, zur Aufnahme insgesamt, zu einzelnen Blickpunktdaten oder ähnlichen, die beispielsweise von einem Benutzer manuell hinzugefügt worden sind, sein. Solche Metainformationen können entsprechend auch Informationen über relevante Objekte in den Szenenaufnahmen sein, Informati- onen zu Verdeckungen relevanter Objekte, Objekteigenschaften, wie Gewicht, Material, Wert/Preis, Seltenheit, Reflektanz, Opazität ,oder ähnliches. Metadaten können auch in Form einer Verschlagwortung vorliegen. Beispielsweise können Szenenaufnahmen einen Titel enthalten, zum Beispiel„Regalstudie" oder„Personenstudie", so dass in Abhängigkeit davon ein geeigneter Algorithmus oder zumindest Teil davon für die Blickabbildung gewählt werden kann. Zum Beispiel kann für Personenstudien ein Algorithmus für menschliche Interaktion gewählt werde, der besonders geeignet für Gesichtserkennung, Erkennung von Augen, Gesten oder ähnlichem ist. Auch solche durch Metadaten bereitgestellte weiterführenden Informationen, die über die reinen Bilddaten der Szenenaufnahmen und der Referenz und den reinen Blickdaten hinausgehen, können vorteilhafterweise genutzt werden, um die Algorithmenauswahl weiter zu optimieren. Auch können solche Metainformationen bzw. Metadaten zum Beispiel die oben beschriebenen Zeitintervalle festlegen.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird zumindest eine Benutzereingabe erfasst und der zumindest eine Teil des Algorithmus in Abhängigkeit von der erfassten Benutzereingabe als der mindestens eine Parameter gewählt. Dies hat den großen Vorteil, dass auch Zusatzinformationen durch den Benutzer selbst der Vorrichtung bereitgestellt werden können, um die Algorithmenauswahl noch weiter zu optimieren. Beispielsweise ist hier durch den Benutzer die Möglichkeit bereitgestellt, weitere Angaben zum Beispiel zum Experiment oder zur Studie, zur Szene, zu relevanten Objekten, oder ähnlichem zu machen. Auch kann zum Beispiel das Anwendungsfeld oder eine Aufgabe bzw. Fragestellung oder Zielsetzungen spezifiziert werden. Beispielsweise kann es für manche Versuche lediglich relevant sein, festzustellen, ob ein Benutzer auf ein bestimmtes Objekt blickt oder ob nicht, oder auf welches von mehreren Objekten ein Benutzer blickt, wobei es dabei unerheblich ist, wohin genau auf diesem Objekt der Benutzer blickt. Bei anderen Versuchen kann es jedoch relevant sein, auch genau festzustellen, auf welchen genauen Bereich eines Objekts eine Person gerade blickt. Im zweiten Fall können entsprechend präzisere und genauere Blickabbildungsalgorithmen eingesetzt werden, während im ers- ten Fall beispielsweise einfachere Algorithmen mit geringerer Genauigkeit oder auf Basis von Objekterkennung arbeitende Algorithmen ausgewählt werden können. Eine Benutzereingabe kann jedoch auch im Zuge einer geführten Algorithmenauswahl zum Einsatz kommen. Beispielsweise kann die Vorrichtung bereits durch Voranalyse oder durch Analyse der Eingangsdaten im Hinblick auf zumindest einen der oben genannten Aspekte bereits eine Vorauswahl in Bezug auf die bereitgestellten vorbestimmten Algorithmen treffen, und zum Beispiel anhand der durch die Vorrichtung selbsttätig gewonnenen Informationen bestimmte Algorithmen für die Verwendung der Blickpunktabbildung ausschließen und wiederum andere in Betracht ziehen. Die- se ausgewählten und in Betracht gezogenen Algorithmen können zum Beispiel einem Benutzer zur Auswahl bereitgestellt werden, sodass dieser nicht mehr aus allen möglichen Algorithmen auswählen muss, sondern lediglich aus einer geringen Anzahl. Auch können im Zuge des Auswahlverfahrens Aufforderungen an den Benutzer ausgegeben werden, um nähere Spezifikationen zur Situation, den Eingangsdaten, der Anwendung oder ähnlichem zu machen. Die Algorithmenauswahl kann damit automatisch oder stufenweise einen Nutzer mit Vorschlägen führen. Zudem ist es möglich, dass die Eingangsdaten zunächst auf die oben beschriebenen Aspekte hin analysiert werden, und sollte dabei zum Beispiel festgestellt werden, dass die Analyse im Hinblick auf manche dieser Aspekte zu keinem oder keinem hinreichend siche- ren Ergebnis geführt hat, so kann die Vorrichtung eine entsprechende Fragestellung an den Benutzer ausgeben, wie beispielsweise ob die Szene bewegte Objekte enthält oder ob die bewegten Objekte in der Szene relevante Objekte darstellen. Auch kann der Benutzer bestimmte Vorgaben machen oder Kriterien für die Blickabbildung festlegen, wie nachfolgend näher beschrieben wird.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird zumindest einer von mehreren zur Durchführung der Blickabbildung erforderlichen Schritte auf Basis zumindest eines ersten der vorbestimmten Algorithmen durchgeführt, und ein Ergebnis der Durchführung bereitgestellt, in Abhängigkeit von welchem der zumindest eine Teil des Algorithmus als der mindestens eine Parameter ausgewählt wird. Dies ermöglicht es vorteilhafterweise auch die Ergebnisse vorher durchgeführter Schritte der Blickabbildung oder bestimmte Zwischenergebnisse zu nutzen, um den zumindest einen Teil des Algorithmus auszuwählen. Auch können bestimmte Teilschritte der Blickabbildung durchgeführt werden, und das Ergebnis im Hinblick auf seine Qualität oder Güte analysiert werden. Sollten solche Teilschritte zu schlechten Ergebnissen führen, so kann ein neuer Teil des Algorithmus ausgewählt werden und dieser Verfahrensschritt mit dem neuausgewählten Algorithmus durchgeführt bzw. wiederholt werden. So können auch vorteilhafterweise Zwischenergebnisse und Teilergebnisse von vorher oder parallel ausgeführten Algorithmen herangezogen werden, um letztendlich den zumindest einen Teil des Algorithmus auszuwählen. Zudem können dabei auch Analyseschritte zur Analyse der Eingangsdaten, zum Beispiel im Hinblick auf zumindest eines der oben genannten Aspekte, bereits Teil der Blickabbildung selbst darstellen. Oder anders ausgedrückt, Ergebnisse der Analyse der Eingangs- daten, wie zum Beispiel der Analyse der Szenenaufnahmen, inhaltlich oder im Hinblick auf ihre Bildqualität, können dann entsprechend genutzt werden, um zum Beispiel den Teil des Algorithmus auszuwählen, welcher für die Abbildung des Blickpunkts aus einer Szenenaufnahme auf die Referenz zuständig ist, insbesondere anhand der bereits aus der Analyse gewonnenen Ergebnisse. Auch können bei der Analyse der Eingangsdaten gewonnene Ergebnisse ober erkannte und/oder klassifizierte Objekte in den Szenenaufnahmen oder der Referenz für die Blickabbildung genutzt werden, so dass für die Blickabbildung keine separate Bildanalyse mehr durchgeführt werden muss oder diese zumindest in reduzierte Weise durchgeführt werden kann.

Auch kann die Algorithmenauswahl in Form einer Art Regelschleife erfolgen. Beispielsweise kann die Blickabbildung für einige der Szenenaufnahmen gemäß einem zunächst ausgewählten Algorithmus durchgeführt werden, überprüft werden, ob das Ergebnis vorbestimmten Anforderungen entspricht, und falls nicht, kann eine neue Auswahl des Algorithmus erfolgen.

Dabei ist es besonders vorteilhaft, wenn ermittelt wird, ob oder in welchem Ausmaß das Ergebnis eine vorbestimmte oder durch einen Benutzer vorgebbare erste Bedingung erfüllt und in Abhängigkeit davon der zumindest eine Teil des Algorithmus als der mindestens eine Parameter ausgewählt wird. Solche Bedingungen können zum Beispiel Bedingungen an die Qualität oder Zuverlässigkeit des letztendlichen Ergebnisses oder auch an Zwischenergebnisse sein, Bedingungen an den Zeitaufwand, der für die Blickabbildungen letztendlich aufgewandt werden soll, oder ähnliches. Der Zeitaufwand kann dabei beispielsweise durch einfache Zeitmessung, zum Beispiel für einzelne Schritte, ermittelt und für den gesamten Blickabbildungsvorgang extrapoliert bzw. geschätzt werden oder auf Basis von Erfahrungswerten für den Zeitaufwand einzelner Algorithmen bereitgestellt werden. Auch die Qualität von Blickabbildung kann beispielsweise gemäß Qualitätsbewertungen anhand von einem oder mehreren Gütemaßen oder Güteklassen erfolgen, wie zum Beispiel der parallelen Anmeldung der gleichen Anmelderin mit dem Titel„Verfahren und Vorrichtung zum Bewerten von Blickabbildungen", eingereicht am gleichen Anmeldetag, erfolgen.

Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung ist von einem Be- nutzer zumindest eine Randbedingung betreffend einen Aufwand, insbesondere Zeitaufwand, und/oder eine Qualität eines Ergebnisses der Durchführung der Blickabbildung vorgebbar, und der zumindest eine Teil des Algorithmus zur Durchführung der Blickabbildung wird in Abhängigkeit von der Randbedingung als der zumindest eine Parameter gewählt. So können vorteilhafterweise auch Vorgaben des Benutzers hinsichtlich der zu erreichenden Qualität oder des Zeitaufwands bei der Wahl des zumindest einen Teil des Algorithmus berücksichtigt werden. Zum Beispiel kann der Benutzer hier durch entsprechende Prioritäten setzen und zum Beispiel vorgeben, dass unbeachtlich des Zeitaufwands die maximale Qualität erreicht werden soll. Umgekehrt kann durch den Benutzer auch vorgegeben werden, dass der Zeitaufwand für die Blickabbildung bzw. auch für die Algorithmenauswahl möglichst gering gehalten werden soll. Zum Beispiel kann der Benutzer aus zwei oder mehreren Stufen dieser Kriterien auswählen, wie zum Beispiel für den Zeitaufwand einen geringen, mittleren oder hohen Zeitaufwand vorgeben und/oder auch für die Qualität eine geringe, mittlere oder hohe Qualität fordern.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird nach Durchführung der Blickabbildung in Abhängigkeit von einem Ergebnis der Blickabbildung und in Abhängigkeit von einer Randbedingung bestimmt, ob eine Neuauswahl betreffend den zumindest einen Teil des Algorithmus zur wiederholten Durchführung der Blick- abbildung auf Basis des zumindest einen neuausgewählten Teils des Algorithmus durchgeführt wird. Dies ist insbesondere dann besonders vorteilhaft, wenn die Randbedingung eine Bedingung an die Qualität des Ergebnisses darstellt. Erreicht das Ergebnis der Blickabbildung nicht eine vorbestimmte Mindestqualität oder Mindestgüte oder eine vorbestimmte Zuverlässigkeit, so kann eine entsprechende Neuauswahl unter Berücksichtigung der bisherigen Auswahl und Ergebnisse durchgeführt werden, insbesondere bis die Randbedingung an das Ergebnis erfüllt ist. Dies ermöglicht es auch vorteilhafterweise, zunächst einfachere und schnellere Algorithmen zu wählen, und erst wenn das Ergebnis den gewünschten Anforderungen nicht entspricht, entsprechend aufwändigere oder genauere Algorithmen zur Durchführung der Blickabbildung auszuwählen und die Blickabbildung entsprechend erneut durchzuführen.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird zumindest ein Teil von zwischen und/oder Ergebnisdaten des Auswählens des zumindest einen Teils des Algorithmus und/oder des Durchführens der Blickabbildung auf Basis des ausgewählten Algorithmus gespeichert und als zumindest ein zweiter Parameter für ein nachfolgendes und wiederholtes Durchführen der Blickabbildung bereitgestellt, bei welcher zumindest ein Teil des Algorithmus zur Durchführung der Blickabbildung aus den mehreren vorbestimmten Analysealgorithmen zusätzlich in Abhängigkeit von dem mindestens einen zweiten Parameter ausgewählt wird.

Das Verfahren kann damit ein lernendes Verfahren darstellen, welches bereits gewonnene Ergebnisse aus vorher durchgeführten Blickabbildungen und entsprechenden Auswahlen von Algorithmen und deren Ergebnisse nutzen kann, um darauf ba- sierend Entscheidungen für erneute Durchführungen der Algorithmenauswahl zu treffen. Beispielsweise kann es sein, dass aufgrund bisheriger Ergebnisse von Blickabbildungen mit bestimmten Algorithmen festgestellt wurde, dass dieser oder jener Algorithmus zu besonders guten Ergebnissen für Szenenaufnahmen mit bestimmten Charakteristiken, wie zum Beispiel bewegten Objekten, Aufnahmen in einem Raum, Aufnahmen in der Natur, Aufnahmen mit Personen oder ähnlichem führt. Werden bei einer Neudurchführung des Verfahrens, zum Beispiel für ein anderes Experiment oder eine Studie, erkannt, zum Beispiel auf Basis der Analyse der Szenenaufnahmen oder Teilen davon, dass wiederum eine ähnliche Situation vorliegt, so kann auf die für diese Situation bereits als geeignet spezifizierten Algorithmen zurückgegriffen werden. So können bestimmende Entscheidungen oder Vorentscheidungen, insbesondere auch in Bezug auf Randbedingungen automatisch gelernt und/oder optimiert werden. Des Weiteren betrifft die Erfindung eine Vorrichtung zum Durchführen einer Blickabbildung, bei welcher zumindest ein Blickpunkt und/oder eine Blickrichtung zumindest einer Person in Bezug auf zumindest eine Szenenaufnahme von einer von der zumindest einen Person betrachteten Szene auf eine Referenz abgebildet wird, wobei die Vorrichtung eine Steuereinrichtung und einen Speicher aufweist. Weiterhin sind im Speicher mehrere vorbestimmte Algorithmen abgelegt und die Steuereinrichtung ist dazu ausgelegt, zumindest einen Teil eines Algorithmus zur Durchführung der Blickabbildung aus den mehreren vorbestimmten Algorithmen in Abhängigkeit von mindestens einem Parameter auszuwählen und die Blickabbildung auf Basis des zumindest einen Teils des Algorithmus durchzuführen.

Die für das erfindungsgemäße Verfahren und seinen Ausgestaltungen genannten Vorteile gelten auch für die erfindungsgemäße Vorrichtung. Darüber hinaus ermöglichen die im Zusammenhang mit dem erfindungsgemäßen Verfahren und seinen Ausgestaltungen genannten Verfahrensschritte die Weiterbildung der erfindungsgemäßen Vorrichtung durch weitere gegenständliche Merkmale.

Zu der Erfindung gehört auch die Steuervorrichtung für die Vorrichtung. Die Steuervorrichtung weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Aus- führungsform des erfindungsgemäßen Verfahrens oder eines seiner Ausführungsformen durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen MikroController aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsge- mäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzuse- hen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unab- hängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Es zeigen: eine schematische Darstellung einer Szene und einer die Szene betrachtenden Person; eine schematische Darstellung einer Szenenaufnahme mit einem auf die Szenenaufnahme bezogenen Blickpunkt und einer Referenz gemäß einem Ausführungsbeispiel der Erfindung; eine schematische Darstellung einer Szenenaufnahme mit einem auf die Szenenaufnahme bezogenen Blickpunkt und einer Referenz gemäß einem weiteren Ausführungsbeispiel der Erfindung; eine schematische Darstellung einer Vorrichtung zur Durchführung einer Blickabbildung gemäß einem Ausführungsbeispiel der Erfindung; und ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zur Durchführung einer Blickabbildung gemäß einem Ausführungsbeispiel der Erfindung.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer ande- ren als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.

Fig. 1 zeigt eine schematische Darstellung einer Person 10, die gerade eine Szene 12 betrachtet. Hierbei trägt die Person 10 eine Brille 14 mit einem integrierten Eyetracker, welcher während die Person 10 die Szene 12 betrachtet, fortwährend Blickdaten der Person 10 erfasst. Weiterhin weist die Brille 14 eine Szenenkamera 16 auf, welche ebenfalls währenddessen fortwährend Bilder der Szene 12 aufnimmt. Die Erfassung der Blickdaten ist dabei zeitlich auf die Erfassung der Szenenbilder abgestimmt bzw. in Bezug zu diesen gesetzt oder setzbar. Zum Beispiel kann die Erfassung jeweiliger Blickdaten bzw. daraus ermittelter Blickrichtungen bzw. Blickpunkte der Person 10 und die Aufnahme eines jeweiligen Bildes zu einem jeweiligen Zeitschritt synchron erfolgen, oder die Erfassung der Blickdaten sowie der Bildaufnahmen können mit einem Zeitstempel versehen werden, sodass ein jeweiliger Blickpunkt oder eine jeweilige Blickrichtung jeweils genau einer Szenenaufnahme zugeordnet werden kann. Eine derartige Szenenaufnahme S ist dabei exemplarisch in Fig. 2 und Fig. 3 dargestellt.

Fig. 2 zeigt dabei eine schematische Darstellung einer Szenenaufnahme S der Szene 12 aus Fig. 1 mit einem Blickpunkt B der Person 10, welcher auf Basis von zum Zeitpunkt der Szenenaufnahme S erfassten Blickdaten ermittelt wurde, sowie mit einer Re- ferenz R zur Veranschaulichung einer Blickabbildung gemäß einem Ausführungsbeispiel der Erfindung. Die Szenenaufnahme S stellt hierbei exemplarisch eine Aufnahme der Szene 12, die von der Szenenkamera 16 zu einem bestimmten Zeitpunkt gemacht wurde, dar. Weiterhin wurde ein dieser Szenenaufnahme S zugeordneter Blickpunkt B anhand der vom Eyetracker erfassten Blickdaten der Person 10 berechnet, der hier ebenfalls in der Szenenaufnahme S dargestellt ist. Die Referenz R stellt in diesem Beispiel ebenfalls eine Bildaufnahme der Szene 12 dar. Die Referenz R kann beispielsweise eine der Szenenaufnahmen S, einen Ausschnitt aus einer der Szenenaufnahmen S darstellen, oder auch ein separat aufgenommenes Bild der Szene 12, beispielsweise auch mit einer anderen Kamera als die von der Person 10 getragenen Szenenkamera 16. Gemäß der Blickabbildung W wird nun der Blickpunkt B in Bezug auf die Szenenaufnahme S auf einen korrespondierenden Blickpunkt B' in Bezug auf die Referenz R abgebildet. Durch eine solche Blickabbildung M lassen sich insbesondere vielzählige Blickpunkte B, die in Bezug auf vielzählige Szenenaufnahmen S vorliegen, auf eine gemeinsame Referenz R abbilden, wodurch beispielsweise die erfassten Blickpunktdaten deutlich besser vergleichbar gemacht werden. Um eine solche Blickabbildung M durchzuführen, können bestimmte Algorithmen verwendet werden. Ein solcher Algorithmus kann beispielsweise die Szenenaufnahme S mit der Referenzaufnahme R refe- renzieren und daraus beispielsweise eine Transformation ermitteln, welche die Sze- nenaufnahme S auf die Referenz R abbildet. Diese ermittelte Transformation kann anschließend auf den in Bezug auf die Szenenaufnahme S bestimmten Blickpunkt B angewandt werden, was entsprechend den korrespondierenden abgebildeten Blickpunkt B', auf der Referenz R liefert. Die Referenzierung zwischen Szenenaufnahme S und der Referenz R kann beispielsweise auf Basis einfacher Bildanalyseverfahren erfolgen. Alternativ oder zusätzlich können auch Verfahren zur Objektdetektion und/oder Objektklassifikationen zum Einsatz kommen.

Die Szenenaufnahme S kann im Allgemeinen in verschiedensten Formen vorliegen, beispielsweise als eine 2D-Aufnahme oder auch als 3D-Szenenaufnahme, die bei- spielsweise mittels Stereokameras aufgenommen wurde. Sie kann auch die Aufnahme einer rein virtuellen, zum Beispiel computergenerierten Szene, darstellen, oder auch die Aufnahme einer AR-Szene, usw. Auch die Blickpunktdaten können in verschiedensten Formen vorliegen, zum Beispiel als 2D-Blickpunkte oder als 3D-Blickpunkte oder auch als 3D-Blickrichtung in einer 3D-Szene, usw. Auch die Referenz R kann verschiedenste Formen annehmen, insbesondere auch solche wie in Bezug auf die Szenenaufnahmen beschrieben. Weitere Möglichkeiten für die Referenz R werden anhand von Fig. 3 näher erläutert.

Fig. 3 zeigt dabei wiederum eine schematische Darstellung der Szenenaufnahme S mit dem dieser Szenenaufnahme S zugeordneten Blickpunkt B sowie einer Referenz R, welche hier in Form von verschiedenen definierten Objektklassen 18 vorliegt, welche verschiedene Objekte klassifizieren. Eine erste Objektklasse 01 kann beispielsweise auf Flaschen bezogen sein, eine zweite Objektklasse O2 auf Schachteln, eine dritte Objektklasse 03 auf Konservendosen, usw.. Um auf Basis einer derartigen Referenz R eine Blickabbildung M durchzuführen, eignen sich vor allem Algorithmen, die auf Basis von Objektklassifikationen arbeiten. Hierzu kann also beispielsweise die Szenenaufnahme S nach Objekten dieser Objektklassen 18 untersucht werden und überprüft werden, ob ein jeweiliger in Bezug auf eine solche Szenenaufnahme S vorliegender Blickpunkt B auf einem Objekt, welches einer solchen Objektklasse 18 zugeordnet ist, liegt. Ist dieses wie hier in Fig. 3 dargestellt für den auf der Flasche 20 ruhenden Blickpunkt B der Fall, so kann dieser Blickpunkt B gemäß der Blickabbildung M entsprechend der ersten Objektklasse 01 für Flaschen zugeordnet werden. Hieraus wird ersichtlich, dass je nach Situation, zum Beispiel Art der Szenenaufnahme S, der Referenz R, der Dimension der Blickpunkte B oder Blickrichtungen, usw. unterschiedliche und durch entsprechende Algorithmen definierte Vorgehensweise bei der Blickabbildung M vorteilhaft sind. Um bestmögliche Ergebnisse zu erzielen können jedoch nicht nur die Art oder Dimension von Szenenaufnahme S, Referenz R und Blick- punkt B bzw. Blickrichtung berücksichtigt werden, sondern es eignen sich auch vielzäh- lige weitere Informationen, anhand welcher ein Algorithmus oder zumindest ein Teil eines Algorithmus zur Durchführung der Blickabbildung M geeignet gewählt werden kann. Solche weiteren nützlichen Informationen stellen beispielsweise Informationen darüber dar, ob die Szene 12 eine statische Szene darstellt oder bewegte oder sich verändernde Objekte enthält, die Art von Objekten, die in solcher Szene 12 vorhanden sind, ob der Hintergrund 22 der Szenenaufnahmen S beispielsweise einen sich räumlich oder zeitlich ändernden Hintergrund darstellt oder einen statischen Hintergrund 22, die Qualität der Szenenaufnahmen S, das Ausmaß einer inhaltlichen Korrespondenz zwischen Szenenaufnahme S und Referenz R, usw. All diese Parameter eignen sich vorteilhafterweise, um einen für eine jeweilige Situation und bestimmte Gegebenheiten optimierten Algorithmus zur Durchführung der Blickabbildung M auszuwählen, was anhand von Fig. 4 näher erläutert wird.

Fig. 4 zeigt eine schematische Darstellung einer Vorrichtung 24 zur Durchführung einer Blickabbildung M gemäß einem Ausführungsbeispiel der Erfindung. Die Vorrichtung 24 weist dabei eine Steuereinrichtung 26 und einen Speicher 28 auf. Im Speicher 28 sind mehrere vorbestimmte Algorithmen A1 , A2, A3, usw. zur Durchführung einer Blickabbildung M abgelegt. Weiterhin werden an der Vorrichtung 24, zum Beispiel über eine geeignete Schnittstelle, Eingangsdaten 30 bereitgestellt, welche Daten betreffend die Szenenaufnahmen S, welche hier als Szenendaten SD bezeichnet sind, Daten betreffend die Referenz R, welche hier als Referenzdaten RD bezeichnet sind, und Daten betreffend die Blickpunkte B bzw. Blickrichtungen, welche hier als Blickdaten BD bezeichnet sind, umfassen. Auf Basis der bereitgestellten Eingangsdaten 30 ermittelt die Steuereinrichtung 26 mindestens einen Parameter P, in Abhängigkeit von welchem zumindest ein Teil eines Algorithmus aus den bereitgestellten Algorithmen A1 , A2, A3 ausgewählt wird. Auf Basis dieses ausgewählten Teils des Algorithmus, in diesem Beispiel der mit A3 bezeichnete Algorithmus, wird anschließend die Blickabbildung M durch die Steuereinrichtung 26 durchgeführt. Unter den verschiedenen Algorithmen A1 , A2, A3 kann auch ein durch einen oder mehrere zweite Parameter parametrierter Algorithmus verstanden werden, für den verschiedene Parameterwerte des zweiten Parameters festgelegt wurden, so dass zum Beispiel der erste Algorithmus A1 den parame- trierten Algorithmus für einen ersten Parameterwert des zweiten Parameters darstellt, der zweite Algorithmus den parametrierten Algorithmus für einen zweiten Parameter- wert des zweiten Parameters, usw.. Die Algorithmenauswahl legt gemäß diesem Beispiel also einen Parameterwert des zumindest einen zweiten Parameters des parametrierten Algorithmus in Abhängigkeit vom Parameter P fest.

Bei der Analyse der Eingangsdaten 30 können die Szenendaten SD und/oder die Refe- renzdaten RD und oder die Blickdaten BD analysiert werden. Dabei können diese Eingangsdaten 30 insbesondere dahingehend analysiert werden, ob die Szene 12 eine statische Szene 12 darstellt oder bewegte und/oder sich verändernde Objekte enthält, welche der Objekte der Szene 12 bewegte und/oder sich verändernde Objekte darstellen, ob die Szene einen sich räumlich und/oder zeitlich ändernden Hintergrund 22 auf- weist oder nicht, sowie auch ein Ausmaß einer inhaltlichen Übereinstimmung zwischen der Referenz R und der Szene 12 bzw. der Szenenaufnahmen S. Auch kann auf Basis der Szenendaten SD und/oder der Referenzdaten RD die Höhe der jeweiligen Bildqualität ermittelt werden. Weiterhin kann auch die Art der Eingangsdaten 30 analysiert werden, um zum Beispiel festzustellen, ob die Bilddaten als 2D-Daten oder 3D-Daten vor- liegen, die Daten eine computergenerierte Szene betreffen oder von einer Kamera aufgenommen wurden, die Referenz R als Objektklassendefinition vorliegt oder ebenfalls in Form von Bilddaten, die Blickdaten BD einen 2D-Blickpunkt einen 3D-Blickpunkt und/oder eine Blickrichtung betreffen, usw. Zudem können auch zusammen mit den Eingangsdaten 30 Metadaten bereitgestellt sein, welche insbesondere sowohl zu den Szenendaten SD, den Referenzdaten RD sowie auch zu den Blickdaten BD in Bezug gesetzt sein können. All diese Informationen können nun vorteilhafterweise als Parameter P dienen, in Abhängigkeit von welchem die Algorithmenauswahl durchgeführt wird. Insgesamt kann so ein auf eine jeweilige Situationen, Voraussetzungen und Gegeben- heiten angepasste Algorithmus zur Durchführung der Blickabbildung M bereitgestellt werden.

Zudem kann die Vorrichtung 24 auch eine Benutzerschnittstelle 32 aufweisen, über welche Benutzereingaben 34 durch die Vorrichtung 24 empfangbar sind. Auch können über eine solche Schnittstelle 32 Informationen von der Vorrichtung 24 an einen Benutzer ausgegeben werden, zum Beispiel um diesen zu bestimmten Eingaben aufzufordern. Eine solche Benutzerschnittstelle 32 kann in Form eines Bildschirms, einer Tastatur, eines Touchscreens, einer Spracheingabeeinrichtung, oder Ähnliches bereitgestellt sein. Auch solche zusätzlich von der Vorrichtung 24 empfangenen Benutzereingaben 34 können vorteilhafterweise für die Algorithmenauswahl als entsprechender Parameter bereitgestellt werden. So kann ein Benutzer beispielsweise auch bestimmte Randbedingungen für die Algorithmenauswahl festlegen, wie beispielsweise eine zu erreichende Qualität des Ergebnisses oder auch eine Begrenzung des Zeitaufwands für die Durchführung der Blickabbildung. Auch können durch einen Benutzer zusätzliche Angaben in Bezug auf das Anwendungsgebiet, eine Zielsetzung des Versuchs, relevante Objekte oder Ähnliches gemacht werden. Hierdurch lässt sich das Verfahren noch deutlich situationsangepasster gestalten und dadurch noch bessere Ergebnisse erzielen.

Fig. 5 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens zum Durchführen einer Blickabbildung M gemäß einem Ausführungsbeispiel der Erfindung. Hierzu werden zunächst in Schritt S10 Eingangsdaten 30 bereitgestellt, welche in Schritt S12 analysiert werden. Optional kann in Schritt S14 auch eine Benutzereingabe 34 empfan- gen werden, um zum Beispiel bestimmte Randbedingungen festzulegen und/oder weiterführende Informationen, zum Beispiel in Bezug auf die Art der Anwendung, die Art der Szene 12, oder ähnliches bereitzustellen. In Abhängigkeit von dem in Schritt S12 bereitgestellten Ergebnis der Analyse kann anschließend in Schritt S16 eine Vorauswahl von Algorithmen aus mehreren bereitgestellten Algorithmen A1 , A2, A3, getroffen werden, die in der vorliegenden Situation, welche durch das Analyseergebnis in Schritt S12 spezifiziert wurde, geeignet sind. Weiterhin kann Schritt S18 überprüft werden, ob zum Beispiel eine weitere Benutzereingabe 34 empfangen wurde, welche weitere Zusatzinformationen liefert oder wiederum bestimmte Randbedingungen für die Algorith- menauswahl vorgibt. Ist dies der Fall, so wird in Schritt S20 unter Berücksichtigung dieser in Schritt S18 erfassten Benutzereingabe einer der in der Vorauswahl in Schritt S16 bereitgestellten Algorithmen ausgewählt und in Schritt S22 die Blickabbildung M auf Basis dieses ausgewählten Algorithmus durchgeführt. Wird dagegen in Schritt S18 keine weitere Benutzereingabe 34 empfangen, so wird ein Algorithmus aus der Voraus- wähl in Schritt S24 unabhängig von einer weiteren Benutzereingabe 34 ausgewählt und in Schritt S22 die Blickabbildung M auf Basis des so ausgewählten Algorithmus durchgeführt. Hierdurch wird es vor fehlerhafter Weise ermöglicht, dass die Algorithmenauswahl sowohl automatisch, zum Beispiel ohne jegliche Interaktion durch einen Benutzer, durchgeführt werden kann, oder andererseits auch stufenweise einen Nutzer mit Vor- Schlägen führen kann, und die vom Benutzer eingegebenen Eingaben bei der Auswahl zusätzlich berücksichtigt werden können.

In einem weiteren optionalen Schritt S26 kann zum Beispiel überprüft werden, ob das Ergebnis der Blickabbildung M ein vorbestimmtes Kriterium, zum Beispiel in Bezug auf Qualität oder Güte, erfüllt. Ist dies nicht der Fall, so kann in Schritt S28 eine neue Auswahl des Algorithmus, insbesondere durch Auswahl eines anderen der in Schritt S16 bereitgestellten Vorauswahl der Algorithmen, gewählt werden und die Blickabbildung M in Schritt S22 erneut durchgeführt werden. Erfüllt das Ergebnis der Blickabbildung M in Schritt S26 letztendlich das eine oder mehrere vorbestimmte Kriterien, so ist das Ver- fahren Schritt S30 beendet.

Hierdurch wird es beispielsweise möglich, dass für jede Szenenaufnahme vor der Analyse und der eigentlichen Bestimmung von Blickrichtungsabbildungen von Bildern der jeweiligen Szenenaufnahme zu einer Referenz eine auf beste Qualität und schnellste Verarbeitungszeit optimierter Algorithmus ausgewählt wird. Die Algorithmenauswahl kann dabei vorteilhafterweise in Abhängigkeit verschiedenster Faktoren durchgeführt werden, zum Beispiel in Abhängigkeit von einer Klassifikation nach Marktsegment, Anwendungsfeld, spezieller Anwendung, Aufgabe, Situation und/oder Fragestellung, in Abhängigkeit von aus Eyetracking-Daten und/oder aus Szenenaufnahmen und/oder aus Referenz und/oder aus mit diesen Daten assoziierten Metadaten extrahierten Merkmalen, in Abhängigkeit von Qualitätsbewertungen von Blickabbildungen anhand von einem oder mehreren Gütemaßen und/oder Güteklassen, sowie in Abhängigkeit von Zwischenergebnissen und oder Teilergebnissen von vorher oder parallel ausge- führten Algorithmen. Zusätzlich kann die Algorithmenauswahl dabei im Hinblick auf bestimmte vorgegebene Zielvorgaben optimiert werden wie beispielsweise Zielobjekte, Zielvolumen, Zielgebiete oder Oberflächen von Interesse, Zielpreis oder Ziel-Qualität oder Ziel-Zeit für die Verarbeitung. Auch können Vorentscheidungen als Randbedingungen für das System bzw. das Verfahren manuell bestimmt sein, zum Beispiel durch Expertenwissen und/oder automatisch gelernt werden. Auch kann die Algorithmenauswahl sehr flexibel auf verschiedenen, insbesondere zeitlichen, Ebenen erfolgen, zum Beispiel für eine jeweilige Studie, ein jeweiliges Experiment, eine jeweilige Aufnahme, ein jeweiliges Analysezeitintervall, oder ein jeweiliges Blickereigniszeitintervall, wie zum Beispiel eine Fixation oder Sakkade. Auch kann eine gemischte Algorithmenauswahl durchgeführt werden, in der sich beispielsweise einzelne Analysezeitintervall-Referenz- Paare unterscheiden.

Insgesamt werden so ein Verfahren und eine Vorrichtung zur Durchführung einer Blickabbildung bereitgestellt, welche in vielzähligen verschiedenen Situationen und für viel- zählige verschiedene Anwendungsbereiche, die durch einen Parameter spezifizierbar sind, die Auswahl eines für die jeweiligen Situationen optimierten Algorithmus zur Durchführung der Blickabbildung ermöglichen.

Bezugszeichenliste

10 Person

12 Szene

14 Brille

16 Szenenkamera

18 Objektklassen

20 Flasche

22 Hintergrund

24 Vorrichtung

26 Steuereinrichtung 28 Speicher

30 Eingangsdaten

32 Benutzerschnittstelle 34 Benutzereingabe

A1 , A2, Algorithmus

B Blickpunkt

B' abgebildeter Blickpunkt

BD Blickdaten

M Blickabbildung

01 erste Objektklasse

02 zweite Objektklasse

03 dritte Objektklasse

P Parameter

R Referenz

RD Referenzdaten

S Szenenaufnahme

SD Szenendaten

Claims

ANSPRUCHE:

1 . Verfahren zum Durchführen einer Blickabbildung (M), bei welcher zumindest ein Blickpunkt (B) und/oder eine Blickrichtung zumindest einer Person (10) in Bezug auf zumindest eine Szenenaufnahme (S) von einer von der zumindest einen Person (10) betrachteten Szene (12) auf eine Referenz (R) abgebildet wird,

dadurch gekennzeichnet, dass

zumindest ein Teil eines Algorithmus (A1 , A2, A3) zur Durchführung der Blickabbildung (M) aus mehreren vorbestimmten Algorithmen (A1 , A2, A3) in Abhängigkeit von mindestens einem Parameter (P) ausgewählt wird und die Blickabbildung (M) auf Basis des zumindest einen Teils des Algorithmus (A1 , A2, A3) durchgeführt wird.

2. Verfahren nach Anspruch 1 ,

dadurch gekennzeichnet, dass

Eingangsdaten (30) bereitgestellt werden, die Daten (SD) betreffend die zumindest eine Szenenaufnahme (S), Daten (BD) betreffend den bestimmten Blickpunkt (B) und/oder die bestimmte Blickrichtung und Daten (RD) betreffend die Referenz (R) umfassen, wobei der zumindest eine Teil des Algorithmus (A1 , A2, A3) in Abhängigkeit von einer Analyse zumindest eines Teils der Eingangsdaten (30) als der mindestens eine Parameter (P) gewählt wird.

Verfahren nach Anspruch 2,

dadurch gekennzeichnet, dass

Daten (SD) betreffend eine Mehrzahl an Szenenaufnahmen (S) mit jeweils zumindest einem zugeordneten Blickpunkt (B) und/oder einer zugeordneten Blickrichtung als Teil der Eingangsdaten (30) bereitgestellt werden.

Verfahren nach einem der Ansprüche 2 oder 3,

dadurch gekennzeichnet, dass

bei der Analyse des zumindest einen Teils der Eingangsdaten (30) diese auf zumindest einen der folgenden Aspekte hin analysiert werden:

- ob die Szene (12) eine statische Szene (12) darstellt oder bewegte

und/oder sich verändernde Objekte enthält;

- falls die Szene (12) bewegte und/oder sich verändernde Objekte enthält, welche Objekte der Szene (12) die bewegten und/oder sich verändernden Objekte darstellen;

- ob die Szene (12) einen räumlich und/oder zeitlich sich nicht ändernden Hintergrund (22) oder einen sich räumlich und/oder zeitlich ändernden Hintergrund (22) aufweist;

- Höhe der Bildqualität der Szenenaufnahmen (S) und/oder der Referenz

(R)

- Ausmaß einer inhaltlichen Übereinstimmung zwischen der Referenz (R) und der Szene (12);

- Art der Szenenaufnahmen (S) und/oder der Referenz (R) und/oder der Blickpunkte (B) und/oder Blickrichtungen und/oder von Objekten der Szene (12);

- Dimension der Szenenaufnahmen (S) und/oder der Referenz (R) und/oder der Blickpunkte (B) und/oder der Blickrichtungen und/oder von Objekten der Szene (12); und

- ob die Szene (12) ein oder mehrere Objekte umfasst, die gegenüber anderen Objekten der Szene (12) als relevanter eingestuft werden oder nicht, und zumindest ein Ergebnis der Analyse bereitgestellt wird, in Abhängigkeit von welchem als der mindestens eine Parameter (P) der zumindest eine Teil des Algorithmus (A1 , A2, A3) ausgewählt wird. 5. Verfahren nach einem der Ansprüche 2 bis 4,

dadurch gekennzeichnet, dass

bei der Analyse der Eingangsdaten (30) die Art der Daten betreffend die Szenenaufnahmen (S) und/oder die Referenz (R) und/oder betreffend die Blickpunkte (B) und/oder Blickrichtungen ermittelt wird, insbesondere im Hinblick auf Datentyp, Datenstruktur, Datenformat und/oder Dateiformat, um daraus die Art und/oder Dimension der Szenenaufnahmen (S) und/oder der Referenz (R) und/oder der Blickpunkte (B) und/oder Blickrichtungen zu bestimmen.

6. Verfahren nach einem der Ansprüche 2 bis 5,

dadurch gekennzeichnet, dass

bei der Analyse der Eingangsdaten eine oder mehrere der Szenenaufnahmen (S) und/oder die Referenz (R) im Hinblick auf ihre Bildqualität und/oder Bildinhalte analysiert wird. 7. Verfahren nach einem der Ansprüche 2 bis 6,

dadurch gekennzeichnet, dass

mit zumindest einem Teil der Eingangsdaten assoziierte Metadaten bereitgestellt werden, wobei der zumindest eine Teil des Algorithmus (A1 , A2, A3) in Abhängigkeit von den Metadaten als dem mindestens einen Parameter (P) gewählt wird.

8. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass

zumindest eine Benutzereingabe (34) erfasst wird und der zumindest eine Teil des Algorithmus (A1 , A2, A3) in Abhängigkeit von der erfassten Benutzereingabe (34) als der mindestens eine Parameter (P) gewählt wird.

9. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass zumindest einer von mehreren zur Durchführung der Blickabbildung (M) erforderlichen Schritte auf Basis zumindest eines oder mehreren ersten der vorbestimmten Algorithmen (A1 , A2, A3) durchgeführt wird, und ein Ergebnis der Durchführung bereitgestellt wird, in Abhängigkeit von welchem der zumindest eine Teil des Algorithmus (A1 , A2, A3) als der mindestens eine Parameter (P) ausgewählt wird.

10. Verfahren nach Anspruch 9,,

dadurch gekennzeichnet, dass

ermittelt wird, ob oder in welchem Ausmaß das Ergebnis eine vorbestimmte oder durch einen Benutzer vorgebbare ersten Bedingung erfüllt und in Abhängigkeit davon der zumindest eine Teil des Algorithmus (A1 , A2, A3) als der mindestens eine Parameter (P) ausgewählt wird. 1 1 . Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass

von einem Benutzer zumindest eine Randbedingung betreffend einen Aufwand, insbesondere Zeitaufwand, und/oder eine Qualität eines Ergebnisses der Durchführung der Blickabbildung (M) vorgebbar ist, und in Abhängigkeit von der Randbedingung als der zumindest eine Parameter (P) der zumindest eine Teil des Algorithmus (A1 , A2, A3) zur Durchführung der Blickabbildung (M) gewählt wird.

12. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass

nach Durchführung der Blickabbildung (M) in Abhängigkeit von einem Ergebnis der Blickabbildung (M) und in Abhängigkeit von einer Randbedingung bestimmt wird, ob eine Neuauswahl betreffend den zumindest einen Teil des Algorithmus (A1 , A2, A3) zur wiederholten Durchführung der Blickabbildung (M) auf Basis des zumindest einen neuausgewählten Teils des Algorithmus (A1 ,

A2, A3) durchgeführt wird.

13. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass eine jeweilige Szenenaufnahme (S) einer von mehreren Zeitintervallgruppen zugeordnet wird, wobei das Auswählen des zumindest einen Teils des Algorithmus (A1 , A2, A3) zur Durchführung der Blickabbildung (M) in Abhängigkeit von dem mindestens einen Parameter (P) für eine jeweilige Zeitintervallgruppe separat durchgeführt wird, insbesondere wobei die Zeitintervallgruppen verschiedene

- Blickereigniszeitintervalle, insbesondere in Bezug auf Fixationen; und/oder

- Analysezeitintervalle; und/oder

- Aufnahmezeitintervalle; und/oder

- Experimentzeitintervalle; und/oder

- Studienzeitintervalle; und/oder

darstellen.

14. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass

zumindest ein Teil von Zwischen- und/oder Ergebnisdaten des Auswählens des zumindest einen Teils des Algorithmus (A1 , A2, A3) und/oder des Durchführens der Blickabbildung (M) auf Basis des ausgewählten Algorithmus (A1 , A2, A3) gespeichert und als zumindest ein zweiter Parameter (P) für ein nachfolgendes und wiederholtes Durchführen der Blickabbildung (M) bereitgestellt wird, bei welcher zumindest ein Teil des Algorithmus (A1 , A2, A3) zur Durchführung der Blickabbildung (M) aus den mehreren vorbestimmten Algorithmen (A1 , A2, A3) zusätzlich in Abhängigkeit von dem mindestens einen zweiten Parameter (P) ausgewählt wird.

15. Vorrichtung zum Durchführen einer Blickabbildung (M), bei welcher zumindest ein Blickpunkt (B) und/oder eine Blickrichtung zumindest einer Person (10) in Bezug auf zumindest eine Szenenaufnahme (S) von einer von der zumindest einen Person (10) betrachteten Szene (12) auf eine Referenz (R) abgebildet wird, wobei die Vorrichtung eine Steuereinrichtung (26) und einen Speicher (28) aufweist,

dadurch gekennzeichnet, dass

im Speicher (28) mehrere vorbestimmte Algorithmen (A1 , A2, A3) abgelegt sind und die Steuereinrichtung (26) dazu ausgelegt ist, zumindest einen Teil eines Algorithmus (A1 , A2, A3) zur Durchführung der Blickabbildung (M) aus den mehreren vorbestimmten Algorithmen (A1 , A2, A3) in Abhängigkeit von mindestens einem Parameter (P) auszuwählen und die Blickabbildung (M) auf Basis des zumindest einen Teils des Algorithmus (A1 , A2, A3) durchzuführen.