WO2003053231A2

WO2003053231A2 - Erstellen eines interessenprofils einer person mit hilfe einer neurokognitiven einheit

Info

Publication number: WO2003053231A2
Application number: PCT/DE2002/004604
Authority: WO
Inventors: Gustavo Deco; Bernd SCHÜRMANN; Martin Stetter; Jan Storck
Original assignee: Siemens AG; Siemens Corp
Current assignee: Siemens AG; Siemens Corp
Priority date: 2001-12-20
Filing date: 2002-12-16
Publication date: 2003-07-03
Anticipated expiration: 2004-06-20
Also published as: WO2003053231A3; DE10163002A1

Abstract

Die Erfindung betrifft das Erstellen eines Interessensprofils einer Person mit Hilfe einer neurokognitiven Einheit (20).

Description

Beschreibung

Erstellen eines Interessenprofils einer Person mit Hilfe einer neurokognitiven Einheit

In vielen Situationen ist es von großer Bedeutung, das Interessenprofil einer Person zu kennen. Als Beispiel sei hier die klassische Marktanalyse genannt. Mit Hilfe des Internets lassen sich inzwischen die Interessen von Personen aus ihrem Kaufverhalten, aus Statistiken des Surfverhaltens oder auch aus der interaktiven Abfrage ihrer Akzeptanz gegenüber neuen Produkten oder deren Präsentation abfragen. Alle diese Verfahren erfordern jedoch die Durchführung von Aktionen bzw. Transaktionen der Person.

Darüber hinaus sind Anordnungen bekannt, bei denen die Blickrichtung der Person mit Hilfe eines Sakkaden-Trackers bestimmt wird. Der Blickrichtung der Person werden die jeweils in der detektierten Blickrichtung befindlichen Objekte zugeordnet, die beispielsweise Textpassagen oder

Bilder in einer Zeitschrift sind.

Davon ausgehend liegt der Erfindung die Aufgabe zugrunde, die Möglichkeiten des automatisierten Erstellens eines Interessensprofils einer Person zu erweitern. Dabei sollen insbesondere auch das Internet und E-Business-Aktivitäten berücksichtigt werden können.

Diese Aufgabe wird durch die in den unabhängigen Ansprüchen angegebenen Erfindungen gelöst. Vorteilhafte Ausgestaltungen finden sich in den Unteransprüchen.

Die Anordnung zum Erstellen eines Interessenprofils einer Person weist demnach Blickrichtungsdetektionsmittel zur Detektion der Blickrichtung der Person auf. Weiterhin verfügt sie über eine neurokognitive Einheit, die das in der detektierten Blickrichtung der Person befindliche Objekt anhand visueller Informationen über das Objekt analysiert.

Für die Analyse werden der neurokognitiven Einheit die visuellen Informationen zugeleitet. Verschiedene

Möglichkeiten des Ermitteins und Zuleitens der visuellen Informationen sind weiter unten beschrieben.

Das Analysieren beinhaltet beispielsweise das Erkennen, was das Objekt ist und wo es sich befindet. Das Erkennen, was das Objekt ist, entspricht einer Klasseneinteilung, bei der das Objekt unterschiedlichen Klassen, wie etwa Auto, Baum etc., zugeordnet wird.

Die Anordnung ist nicht mehr auf die vorherige Kenntnis der Bildinhalte angewiesen, die die Person betrachtet, sondern das betrachtete Objekt in Form eines Bildinhalts wird durch die neurokognitive Einheit analysiert und so der Auswertung zum Erstellen des Interessensprofils der Person zugänglich gemacht. Dadurch können die gegenwärtigen Interessen bzw.

Absichten der Person direkt aus seinem Betrachtungsverhalten von Internetseiten geschätzt werden. Das Interessenprofil wird so aus einem viel ursprünglicheren Datenpool als dem Surfverhalten gewonnen. Aus den Inhalten der betrachteten Internetseitenabschnitte werden durch ein iteratives Schätzverfahren die Vorlieben bzw. der gegenwärtige Interessensfokus der Person ermittelt und abgespeichert.

Die neurokognitive Einheit enthält vorzugsweise eine Objektrepräsentationsuntereinheit, in der das Objekt repräsentiert wird. Die Objektrepräsentationsuntereinheit ist so ausgestaltet, dass sie eine adaptive Multiskalen- Merkmalsrepräsentation für das Objekt verwendet. Diese erfolgt vorzugsweise durch eine Wavelet -Transformation, insbesondere eine Gabor-Wavelet-Transformation. Im Rahmen einer Bottom-Up-Analyse erlernt die

Objektrepräsentationsuntereinheit aus einer großen Anzahl von Objekten mit typischen Inhalten, zum Beispiel zufällig aus dem Internet extrahierten Bildern, die Multiskalen- Repräsentation der typischen Bildinhalte. Die Repräsentation kombiniert die Vorteile eines spärlichen, verteilten Codes mit denen eines kompakten Codes. Ein spärlich verteilter Code repräsentiert die wichtigen Merkmale seiner Längenskala mit Hilfe von spezialisierten Knoten in einem hochdimensionalen Raum und kann damit komplexe statistische Strukturen im

Bildmaterial einfangen. Dagegen strebt ein kompakter Code eine Repräsentation in möglichst wenigen Dimensionen an, also eine Datenkompression. Das- Training der Objektrepräsentationsuntereinheit der neurokognitiven Einheit erfolgt durch eine Lernregel, die die Spärlichkeit des Codes über die Objekte unter der Nebenbedingung einer optimalen Objektrekonstruktion maximiert . Soweit die Objektrepräsentationsuntereinheit Knoten aufweist, wird Kompaktheit durch Vernachlässigung der am wenigsten aktiven Knoten auf jeder Stufe erreicht. Die nächst globalere Repräsentation wird über dasselbe Prinzip aus der vorhergehenden Repräsentation gewonnen. Eine so erhaltene Objektrepräsentation, die an Prinzipien der neuronalen Kodierung im Sehsystem von Säugetieren angelehnt ist, kombiniert hohe Flexibilität mit optimaler

Diskriminierbarkeit von Objekten in Form von Bildinhalten auf mehreren Längenskalen.

Darüber hinaus weist die neurokognitive Einheit vorzugsweise eine Erkennungseinheit auf, die mit einer

Objekterkennungseinheit analysiert, was das Objekt ist. Die Objekterkennungseinheit ist vorzugsweise so ausgestaltet, dass sie prototypische Merkmalsvektoren für Klassen typischer Objekte verwendet. Die Erkennungsuntereinheit weist alternativ oder darüber hinaus auch noch eine Ortserkennungseinheit auf, die analysiert, wo das Objekt ist.

Die Erkennungsuntereinheit der neurokognitiven Einheit ist der rekurrenten, multiarealen visuellen Signalverarbeitung im Sehsystem von Säugetieren nachempfunden. Dementsprechend sind Objekterkennungseinheit und Ortserkennungseinheit der Erkennungsuntereinheit vorzugsweise getrennt ausgeführt und wechselwirken nur mit der Objektrepräsentationsuntereinheit. Während einer Trainingsphase werden neuronale, jetzt im Feed- Forward arbeitende Verbindungen von der

Objektrepräsentationsuntereinheit zur Objekterkennungseinheit und zur Ortserkennungseinheit trainiert. Sie speichern anschließend prototypische Merkmalsvektoren für Klassen typischer Objekte und typische Orte in einem rekurrenten Netz. Während der Arbeitsphase werden die trainierten Verbindungen als Feed-Back-Verbindungen, also in umgekehrter Richtung zur Trainingsphase, genutzt und können aus einer gegebenen Objektrepräsentation des Objekts in der

Objektrepräsentationsuntereinheit durch einen iterativen Rechenvorgang im rekurrenten Netz seinen wahrscheinlichsten Ort sowie die Konfidenz seiner Identität bestimmen.

Die visuellen Informationen über das Objekt lassen sich entweder durch Auswerten einer Anzeige gewinnen, auf der das Objekt angezeigt wird, oder durch eine Aufnahme in Blickrichtung der Person.

Nach der ersten Variante ist das Objekt auf einer Anzeige anzeigbar und die visuellen Informationen über das Objekt werden durch Auswerten der Anzeige ermittelt. Diese Vorgehensweise empfiehlt sich insbesondere, wenn ein Interessensprofil einer Person in Hinsicht auf betrachtete Internetseiten erstellt werden soll. Die Objekte sind dabei insbesondere auf den Internetseiten angezeigte Bilder oder Elemente der auf den Internetseiten angezeigten Bilder. Gemäß der zweiten Variante weist die Anordnung Aufnahmemittel, insbesondere in Form einer Kamera auf, mit denen die visuellen Informationen über das Objekt durch eine optische Aufnahme ermittelbar sind. Die Aufnahmemittel machen hierzu eine Aufnahme in Blickrichtung der Person. Diese Variante ist in ihrer Realisierung technisch anspruchsvoller, da die Aufnahmemittel in der Regel nicht unmittelbar am Auge der Person angeordnet werden können, so dass ein Paralaxenausgleich vorgenommen werden muss.

Durch die Analyse einer Mehrzahl von durch die Person betrachteten Objekten durch die neurokognitive Einheit lässt sich schließlich ein Interessensprofil der Person erstellen. Die Analyse ermittelt dabei vorzugsweise sowohl was das Objekt ist, als auch, wo es sich befindet.

Bei dem Verfahren zum automatischen Erstellen eines Interessensprofils einer Person, wird die Blickrichtung der Person detektiert und mit Hilfe einer neurokognitiven Einheit ein in der detektierten Blickrichtung der Person befindliches Objekt anhand visueller Informationen über das Objekt analysiert . Das Verfahren lässt sich gemäß den für die Anordnung angegebenen vorteilhaften Ausführungsformen ausgestalten.

Ein Programmprodukt für eine Datenverarbeitungsanlage, das Softwarecodeabschnitte enthält, mit denen eines der geschilderten Verfahren auf der Datenverarbeitungsanlage ausgeführt werden kann, lässt sich durch geeignete

Implementierung des Verfahrens in einer Programmiersprache und Übersetzung in von der Datenverarbeitungsanlage ausführbaren Code ausführen. Die Softwarecodeabschnitte werden dazu gespeichert. Dabei wird unter einem Programmprodukt das Programm als handelbares Produkt verstanden. Es kann in beliebiger Form vorliegen, so zum Beispiel auf Papier, einem computerlesbaren Datenträger oder über ein Netz verteilt.

Weitere wesentliche Merkmale und Vorteile der Erfindung ergeben sich aus der Beschreibung eines Ausführungsbeispiels anhand der Zeichnungen. Dabei zeigt:

Figur 1 eine Anordnung zum Erstellen eines Interessensprofils einer Person und

Figur 2 den Aufbau einer neurokognitiven Einheit

In Figur 1 erkennt man eine Anordnung zum Erstellen eines Interessensprofils einer Person. Diese Anordnung enthält eine Virtual-Reality-Brille 11. Die Virtual-Reality-Brille 11 weist eine Anzeige 12 auf, auf der beispielsweise InternetSeiten, Filme oder beliebige andere Inhalte 2- und/oder 3-dimensional darstellbar sind. Relativ zur Virtual- Reality-Brille ist das Kopf-Koordinatensystem der Person relativ gut fixiert und die Detektion der Blickrichtung kann durch Blickrichtungsdetektionsmittel 13 in Form von Pupillen- Trackern zusammen mit einer miniaturisierten CCD-Kamera erfolgen. Bei einer 2-dimensionalen Anzeige ist in der Regel die Verwendung von Blickrichtungsdetektionsmitteln 3 für nur eine Pupille ausreichend. Bei 3-dimensionalen Anzeigen oder beim Betrachten von realen Objekten im Raum kann durch die Verwendung von Blickrichtungsdetektionsmitteln für beide Pupillen und Vergleich der Blickrichtungen die Entfernung zum durch die Person betrachteten Objekt gemessen werden.

Wird auf die Anzeige 12 in der Brille 11 verzichtet, so ist vorzugsweise an der Brille 11 oder sonst am Kopf der Person ein Bewegungssensor, etwa in Form eines Gyro-Sensors, angeordnet, der die Bewegungen des Kopfes der Person misst und so zusammen mit den Pupillen-Trackern 13 die

Blickrichtung der Person detektiert. Das Anzeigen erfolgt dann extern auf einem Monitor oder die Person betrachtet reale Objekte im Raum.

Bei der Betrachtung von realen Objekten enthält die Anordnung vorzugsweise noch optische Aufnahmemittel in Form einer nicht dargestellten Kamera, mit denen visuelle Informationen über das Objekt durch eine optische Aufnahme ermittelbar sind. Die optischen Aufnahmemittel sind vorzugsweise in unmittelbarer Nähe der Pupillen der Person angeordnet, um die Aufnahmerichtung der optischen Aufnahmemittel direkt in Abhängigkeit der detektierten Blickrichtung der Person steuern zu können und Parallaxefehler zu vermeiden.

Im in Figur 1 dargestellten Ausführungsbeispiel verfügt die Anordnung über eine elektronische Anzeige 12, die direkt ausgewertet werden kann, um die visuellen Informationen über ein auf der Anzeige 12 angezeigtes und von der Person betrachtetes Objekt zu ermitteln.

Die Anzeige 12 wird ebenso wie die Detektion der

Blickrichtung von einer Datenverarbeitungsanlage 14 gesteuert . Die Datenverarbeitungsanlage 14 ist dazu über Kabel oder eine Funkstrecke mit der Virtual-Reality-Brille 1 verbunden. Der Datenverarbeitungsanlage 14 liegen somit die Blickrichtung der Person und die visuellen Informationen über das in der detektierten Blickrichtung der Person befindliche Objekt vor. Die Datenverarbeitungsanlage 14 weist eine neurokognitive Einheit auf, die das in der detektierten Blickrichtung der Person befindliche Objekt anhand visueller Informationen über das Objekt analysiert.

Der Aufbau der neurokognitiven Einheit wird nun im Detail mit Bezug auf Figur 2 beschrieben, die ein schematisches Diagramm der Einheit darstellt. Die neurokognitive Einheit 20 weist eine Objektrepräsentationsuntereinheit 21 auf, die konzeptionell die frühen visuellen Bereiche von Säugetieren nachbildet, wie beispielsweise VI und V2. Weiterhin weist die neurokognitive Einheit 20 eine Erkennungsuntereinheit auf, die ihrerseits eine Objekterkennungseinheit 22 und eine Ortserkennungseinheit 23 aufweist. Die Erkennungsuntereinheit 22 ist der rekurrenten multiarealen visuellen Signalverarbeitung im Sehsystem von Säugetieren nachempfunden. Die Objekterkennungseinheit 22 analysiert, was das Objekt ist, und bildet dazu in vereinfachter Form den ventralen Strom nach. Die Ortserkennungseinheit analysiert, wo das Objekt ist, und bildet dazu in vereinfachter Form den dorsalen Strom nach.

Die Objektrepräsentationseinheit 21 enthält orientierungsselektive, komplexe Zellen und Hyperspalten, wie sie auch im primären visuellen Kortex zu finden sind. Die Objekterkennungseinheit 22 enthält neuronale Pools, die spezifische Klassen von Objekten wiedergeben, wie das im inferotemporalen Kortex geschieht. Die Ortserkennungseinheit 23 enthält eine Karte, die die Positionen in retionotropischen Koordinaten wiedergibt.

Die Objektrepräsentationsuntereinheit 21 und die Objekterkennungseinheit 22 sind mit symmetrischen Verbindungen 24 verbunden, die durch Hebbsches Lernen ausgebildet werden. Die Objektrepräsentationsuntereinheit 21 und die Ortserkennungseinheit 23 sind mit symmetrischen, lokalisierten Verbindungen 25 verbunden, die durch Gaußsche Gewichte modelliert werden. Eine kompetitive Interaktion innerhalb jeder Einheit wird durch hemmende Pools vermittelt. Die Verbindungen zwischen den Einheiten sind erregend, wodurch eine Voreinstellung vorgenommen wird, um die kompetitive Dynamik in jedem Modul zu gestalten. Die Konzentration von neuronalen Aktivitäten in einem individuellen Pool in der Objekterkennungseinheit 22 korrespondiert mit der Erkennung eines Objekts. Die

Konzentration von neuronalen Aktivitäten in einer kleinen Anzahl benachbarter Pools in der Ortserkennungseinheit 23 korrespondiert mit einer Lokalisierung des Objekts. Die Objektrepräsentationsuntereinheit 21 stellt einen Puffer zur Verfügung, auf dem die Objekterkennungseinheit 22 und die Ortserkennungseinheit 23 interagieren.

Die Objektrepräsentationsuntereinheit 21 erhält visuelle Informationen über das Objekt, vergleichbar einer retinalen Eingabe, und führt eine Gabor-Wavelet-Transformation der eingegebenen visuellen Informationen durch. Jeder Pool von Neuronen kodiert eine spezifische räumliche Frequenz,

Orientierung und räumliche Lokalisierung. Die Antworten der Neuronen werden durch komplexe Zellantworten modelliert.

In jeder Einheit hemmen die erregenden neuronalen Pools einander mit kompetitiver Interaktion oder lateraler Hemmung. Die kompetitive Dynamik wird durch eine Anzahl von hemmenden neuronalen Pools in jeder Einheit vermittelt.

Die neurokognitive Objekterkennungseinheit 22 erhält eine Top-Down-Voreinstellung, die die Objektsklasse spezifiziert. Die neurokognitive Ortserkennungseinheit 23 erhält eine Top- Down-Voreinstellung, in die die räumliche Lokalisierung spezifiziert. Die Objektrepräsentationsuntereinheit 21 ist mit der Objekterkennungseinheit 22 und der Ortserkennungseinheit 23 über Feed-Forward- und Feed-Back-

Verbindungen gekoppelt. Die Feed-Forward-Verbindungen führen Bottom-Up-Eingaben in jede Einheit ein, während die Feed- Back-Verbindungen Top-Down-Voreinstellungen für jeden erregenden neuronalen Pool in der Objektrepräsentationsuntereinheit 21 zur Verfügung stellen.

Der Wettbewerb in der Objektrepräsentationsuntereinheit wird mit Neuronen durchgeführt, die sowohl Orts- als auch Objektinformationen kodieren. Die Ortserkennungseinheit 23 abstrahiert Ortsinformationen und vermittelt einen Wettbewerb auf der räumlichen Ebene. Die Objekterkennungseinheit 22 abstrahiert Informationen von Klassen von Objekten und vermittelt einen Wettbewerb auf der Ebene der Klassen von Objekten.

Die Aktivitäten der neuronalen Pools werden unter Verwendung der Mean-Field-Näherung modelliert. Viele Bereiche des Gehirns organisieren Gruppen von Neuronen mit ähnlichen Eigenschaften in Spalten oder Feldzusammenstellungen, wie beispielsweise Orientierungsspalten, im primären visuellen Kortex und im somatosensorischen Kortex. Diese Gruppen von Neuronen, die Pools genannt werden, sind aus einer großen und homogenen Population von Neuronen zusammengesetzt, die eine ähnliche externe Eingabe empfangen, gegenseitig verkoppelt sind und wahrscheinlich zusammen als eine Einheit fungieren. Diese Pools können eine robustere Verarbeitungs- und Kodierungseinheit bilden, weil ihre momentane

Populationsmittelwertantwort, im Gegensatz zum zeitlichen Mittel eines relativ stochastischen Neurons in einem großen Zeitfenster, besser an die Analyse von schnellen Wechseln in der realen Welt angepasst ist.

In der Mean-Field-Näherung wird jeder Pool durch ein Element modelliert. Die Aktivität eines jeden Pools i wird durch zwei Variablen charakterisiert: Seine Aktivierung oder sofortige mittlere Feuerrate XJ_ und einen Eingangsstrom I_j_, der für alle Zellen in dem Pool charakteristisch ist und wobei die folgende Eingabe-/Ausgabebeziehung erfüllt wird:

Xi(t) = FiUit)) =

T_r - rlog(l - X-) '

wobei T_r die absolute Erholdauer der Zelle ist, beispielsweise eine ms und T = 7 ms die Membranzeitkonstante.

Erregende Zellenpools in jeder Einheit stehen im Wettbewerb zueinander, was durch einen hemmenden Pool vermittelt wird, der die erregende Eingabe von allen erregenden Pools empfängt und einen gleichförmigen hemmenden Feed-Back an alle erregenden Pools leitet. Die zeitliche Entwicklung der Aktivität eines der erregenden Pools als Funktion der hemmenden und erregenden Eingaben für den Pool wird durch die folgende dynamische Gleichung gegeben:

= -h + μF(h(t)) - ηF(I^J(t)) + l (t) + I?(t) + I_D + v for - = 1, ...m ,

wobei m die Anzahl der Zellpools in jeder kortikalen Einheit ist. Der erste Term ist ein Zerfallsterm durch Gewöhnung. Der zweite Term erfasst die rekurrente Selbsterregung zum Erhalt der Aktivität des neuronalen Pools. Er vermittelt die kooperative erregende Interaktion in dem Pool . Der dritte Term ist die hemmende Eingabe vom hemmenden Pool. Ij_^E ist die spezifische erregende Bottom-Up-Eingabe für den Pool i von einer unteren kortikalen Einheit und I-j_^A ist die spezifische erregende Top-Down-Voreinstellungs-Eingabe für den Pool von einem höheren kortikalen Modul. IQ und v sind die diffuse spontane Hintergrundeingabe und ein additives Rauschen, das den Gaußschen Mittelwert Null hat.

Der hemmende Pool integriert Informationen von all den erregenden Pools in der Einheit und gibt eine unspezifische Hemmung gleichförmig an alle erregenden Pools zurück. Er vermittelt die Normalisierung der lateralen Hemmung oder kompetitiven Interaktion zwischen den erregenden Pools in dem Modul. Seine Dynamik ist gegeben durch:

Die Objektrepräsentationsuntereinheit 21 enthält ein 33 x 33 Gitter von Hyperspalten. Jede der Hyperspalten enthält 24 Elemente, die 24 komplexe Pools mit 8 verschiedenen Orientierungen und drei Skalen repräsentieren. Die komplexen Pools werden durch Gabor-Wavelet-Filter modelliert. Die Wellenlänge der Gabor-Filter der drei Skalen wird durch 8 Pixel, 16 Pixel und 32 Pixel gegeben. Die retinotopische Karte der Objektrepräsentationsuntereinheit 21 deckt einen visuellen Bereich von 256 x 256 Pixel ab.

Die Entwicklung des Aktivitätsniveaus eines erregenden Pools in der Objektrepräsentationsuntereinheit 21 ist gegeben durch :

jEM r-^W = -lΑt) + »^F(I%%,(t)) - ₇F(I™ i)) + I™f(t) dt

wobei m, 1, p, q Indizes der Pools für unterschiedliche

Skalen m, Orientierungsselektivität 1 und räumliche Position (x, y) = (p, q) sind. Der erste Term der Gleichung ist ein Zerfallsterm in Folge von Gewöhnung, der zweite Term ist die gegenseitige Selbsterregung zwischen den Mitgliedern desselben Pools, der dritte Term ist die kompetitive

Interaktion, die durch den hemmenden Pool vermittelt wird. Der vierte Term ist die Bottom-Up-Eingabe, der fünfte Term ist das Top-Down-Feed-Back von der Ortserkennungseinheit 23 und der sechste Term ist das Top-Down-Feed-Back von der Objekterkennungseinheit 22. Diese Feed-Back-Terme werden bei der Beschreibung der Objekterkennungseinheit 22 und der Ortserkennungseinheit 23 beschrieben. I₀ und v sind spontane Eingaben und rauschen mit dem Gaußschen Mittelwert Null . In der hier vorgestellten Implementierung gibt es, obwohl es einen erregenden Pool für jede räumliche Lokalisierung,

Orientierung und Skala gibt, nur drei hemmende Pools in der Objektrepräsentationsuntereinheit 21. Die dynamische Gleichung für das Aktivitätsniveau des Ausgangsstroms i^EMI von jedem dieser hemmenden Pools ist gegeben durch

wobei n der Skalenindex ist Der erste Term ist ein Zerfallstem-, der zweite Term vermittelt die Selbsterregung zwischen den Mitgliedern des Pools, der dritte Term ist eine Funktion der Summe der Aktivitäten von allen erregenden Pools bei einer gegebenen Skala in der gesamten Einheit . Der hemmende Pool erhält eine Eingabe von Neuronen von einer bestimmten Skala und hemmt Neuronen in der gleichen Skala. In einer Simulation benutzte Parameter sind: μ=0,95, γ=0,8, .-=0,1, λ=0,l, I_o=0,025 und die Standardabweichung ( σ_v ) des additiven Gaußschen Rauschens v= 0, 02. τ=τj= 7 ms.

Die Ortserkennungseinheit 23 gibt die räumliche Lokalisierung wieder und gewährleistet die räumliche

Aufmerksamkeitsselektion. Sie ist durch ein Gitter von 33 x 33 Pools implementiert, von denen jedes eine Eingabe von

Pools in einer Anzahl von Hyperspalten der

Objektrepräsentationsuntereinheit 21 erhält. Die Verbindung zwischen dem Pool Ij_j^DM in der Ortserkennungseinheit 23 und einem Pool Iπ-l q^^ iⁿ der Objektrepräsentationsuntereinheit 21 ist symmetrisch und wird durch Gaußsche Gewichte modelliert :

P<7U ~~ ^ - B

Zur Vereinfachung der Notierung wird hier der Ausgangsstrom Ij_j eines bestimmten Pools benutzt, um den Namen des Pools selbst anzuzeigen. Die Gleichung sagt einfach, dass der EM- Pool am Ort p,q sehr positiv mit dem DM-Pool verbunden ist, der mit dem gleichen Ort korrespondiert, das heißt, wenn i=p und j=q ist. Es gibt auch eine negative Verbindung B zur Umgebung, was zu einer erregenden Zentrums-/hemmenden Umgebungsverbindungsstruktur führt .

Die dynamische Gleichung, die die Ausgangsstromaktivität der erregenden Pools in der Ortserkennungseinheit 23 überschreibt, ist praktisch auf die gleiche Weise definiert wie die in der Objektrepräsentationsuntereinheit 21:

*

wobei ι^ DM,A ^__e externe Top-Down-

Aufmerksamkeitsvoreinstellung ist, die auf den Pool der Ortserkennungseinheit 23 ausgeübt wird. Die Feed-Forward- Eingabe i^ DM-EM _von ,-}_er Objektrepräsentationsuntereinheit 21 zu dem Pool der Ortserkennungseinheit 23 am Ort (i,j) ist gegeben durch:

Ig«-*»® = ∑ W_mlpqF{I™_q(t)). m,l,p,q

Der Feed-Back von der Ortserkennungseinheit 23 zur

Objektrepräsentationsuntereinheit 21 wird auch durch folgende Gaußsche Verbindung gegeben:

In dieser Einheit gibt es nur einen hemmenden Pool, der eine Eingabe von allen erregenden Pools erhält und Feed-Back, um jeden Pool gleichförmig zu hemmen, was einen lateralen Winner-Take-All-Hemmmechanismus implementiert .

Die dynamische Gleichung, die die Stromaktivität dieses hemmenden Pools bestimmt, ist gegeben durch:

^ β/Wφ ₌ _J„J _ _{χF{lDM {t)) + κ ∑ F{IVM{t))}

Die Objekterkennungseinheit 22 enthält in der vorliegenden Implementierung nur 5 Pools von Neuronen. Jeder Pool der Objekterkennungseinheit 22 ist vollständig mit jedem Pool in der Objektrepräsentationsuntereinheit 21 verbunden. Jeder dieser Pools gibt ein bestimmtes Objekt wieder. Die Erinnerung einer bestimmten Objektklasse c ist in dem Verbindungsgewicht w_cm]_p_g zwischen dem Pool I_c der Objekterkennungseinheit 22 und den Pools I_mlpq der

Objektrepräsentationsuntereinheit 21 wiedergegeben und wird durch beaufsichtigtes Hebbsches Lernen in der folgenden Art trainiert: Eine Top-Down-Objektaufmerksamkeitsvoreinstellung wird dem Pool c der Objekterkennungseinheit 22 auferlegt und eine Top-Down-Aufmerksamkeitsvoreinstellung wird dem Pool der Ortserkennungseinheit 23 auferlegt, der die retinotopische Lokalisierung anzeigt, an der das Objekt in der insgesamt auf der Anzeige 12 dargestellten Szene erscheint. Der aktive Pool der Ortserkennungseinheit 23 hebt die korrespondierenden Hyperspalten in der Objektrepräsentationsuntereinheit 21 hervor. Die Koaktivierung des korrespondierenden Teils der Objektrepräsentationsuntereinheit 21 und der Objekterkennungseinheit 22 verstärken die Assoziation des Pools c der Objekterkennungseinheit und das wiedergegebene Bildmuster, das in der Objektrepräsentationsuntereinheit 21 repräsentiert wird. Mit jeder Präsentation des Stimulus und des Top-Down-Voreinstellungssignals ist es dem System gestattet, einen stabilen Zustand einzunehmen. Nach der Konvergenz werden alle relevanten EM-VM-Verbindungen unter Verwendung der folgenden Hebbschen Lernregel aktualisiert:

wobei δw die Veränderung des Gewichts und η der Lernkoeffizient ist. Das Verfahren wird für alle Objekte, die gelernt werden sollen, an allen möglichen Orten wiederholt, bis die Gewichte konvergieren.

Die Objekterkennungseinheit 22 ist insofern den anderen Einheiten ähnlich, dass sie eine Anzahl von erregenden Pools und ein hemmendes Pool aufweist, das den Wettbewerb zwischen den erregenden Pools vermittelt. Die Dynamik eines Pools der Objekterkennungseinheit 22 ist gegeben durch:

_τ*™μ ₌ __/V_(<)+/lF(/V_(i))__7f(7VM,;₍₁₎₎ +aI™-^EM(t) + I_C ^V^^A + /„ + - / wobei I_C ^{IT A} die externe Top-Down-

Aufmerksamkeitsvoreinstellung ist, die auf den Pool in der Objekterkennungseinheit angewandt wird. Die Feed-Forward- Eingabe

Objektrepräsentationsuntereinheit 21 zum Pool c der Objekterkennungseinheit 22 ist gegeben durch:

Der Feed-Back von der Objekterkennungseinheit 22 zur Objektrepräsentationsuntereinheit 21 wird auch durch symmetrische, reziproke Verbindungen hergestellt:

Die Dynamik des hemmenden Pools ist gegeben durch:

_T[dⁱ^W ₌ __//r,₇ _ _χF{Iιτ _{it)) + K} F I₍ IT dt (*)).

Zur Erstellung des Interessensprofils der Person werden folgende Schritte ausgeführt :

In seiner Rohfassung besteht das Interessensprofil aus einer Liste von Objekten, die von der Person besonders oft betrachtet wurden, sortiert nach und versehen mit der Häufigkeit der Betrachtung. Werden Objekte in Form von Bildern oder Bildteilen betrachtet, so besteht das abgespeicherte Objekt in einem Merkmalsvektor der neurokognitiven Einheit mit dem Ziel, den visuellen Inhalt des betrachteten Bildteils zu charakterisieren, also zum Beispiel das betrachtete Bild zu identifizieren, das heißt zu erkennen.

Aus den Merkmalsvektoren werden durch einen Clusteranalyse Codebuchvektoren, also prototypische Vertreter einer Klasse ähnlicher betrachteter Inhalte, erstellt, und mit der Häufigkeit der Clustermitglieder versehen. Darüber hinaus wird auch für ganze Bilder die Häufigkeit der Betrachtung zusammen mit ihrer vollständigen Repräsentation, also ihrem Merkmalsvektor, abgelegt. Während der gesamten Dauer der Sitzung werden die Liste sowie die Codebuchvektoren aktualisiert. Ein Interessenswechsel bei der Person kann durch ein verstärktes Auftreten neuer Codebuchvektoren, zum Beispiel durch Betrachten wissenschaftlicher

Strichzeichnungen, anstatt von Landschaftsbildern, detektiert und gegebenenfalls zur Anlage eines neuen Interessensprofils genutzt werden.

Das Verhalten der Person kann direkt zur Abschätzung seines gegenwärtigen Interessensfokusses sowie zur Prognose seiner unmittelbaren Absichten herangezogen werden. Zusätzlich ermöglicht die Verwendung einer an Prinzipien biologischer Signalverarbeitung angelehnten neurokognitiven Einheit eine Generalisierung des Interessensprofils der Person auf Bildinhalte .

Das Interessensprofil schafft Potential für mehrere Anwendungen :

1. Aus der Häufigkeitsverteilung der betrachteten Inhalte können durch eine Stichwortsuche mit einer herkömmlichen Suchmaschine, aber auch durch inhaltsbasierte Bilderabfrage Internetseiten mit ähnlichen Inhalten gesucht, in einem Speicher für die Seiten abgelegt und der Person verfügbar gemacht werden. 2. Durch Präsentation geplanter Produkte in Bild und Text im Internet und die Auswertung von automatisch erstellten Interessensprofilen wird es Firmen ermöglicht, die Akzeptanz von verschiedenen Produktideen, aber auch verschiedener Produkte-Designs auf breiter Basis und ohne großen Aufwand sowohl für Anbieter als auch für Kunden zu ermitteln. Eine breit angelegte Marktanalyse kann auf diese Weise einfach durchgeführt werden.

3. Die Präsentation bestehender Produkte im E-Commerce- Bereich kann durch Auswertung des Interessensprofils optimiert werden. Dies kann wie folgt geschehen:

- Im Rahmen eines Diversifikations-Selektionsschema werden für eine wenig beachtete Produktpräsentation mehrere Alternativen angeboten und anhand der durch das Interessensprofil ermittelten Benutzerakzeptanz bewertet. Es wird eine unbedingte Optimierung durchgeführt.

- Durch einen Vergleich der Interessensstatistik mit der tatsächlichen Online-Bestell-Statistik können ineffiziente Präsentationen durch ein hohes Verhältnis von visueller Attraktion zu Bestellungen identifiziert und anschließend verbessert werden. Beispielsweise könnte ein Produkt auch aufgrund seines besonders abstoßenden Charakters besonders oft betrachtet werden. Hierbei wird eine bedingte Optimierung durchgeführt .

Claims

Patentansprüche

1. Anordnung zum Erstellen eines Interessensprofils einer Person mit Blickrichtungsdetektionsmitteln (13) zur Detektion der Blickrichtung der Person, dadurch gekennzeichnet, dass die Anordnung eine neurokognitive Einheit (20) aufweist, die das in der detektierten Blickrichtung der Person befindliche Objekt anhand visueller Informationen über das Objekt analysiert.

2. Anordnung nach zumindest Anspruch 1, dadurch gekennzeichnet, dass die neurokognitive Einheit (20) eine Objektrepräsentationsuntereinheit (21) enthält, in der das Objekt repräsentiert wird.

3. Anordnung nach zumindest Anspruch 2, dadurch gekennzeichnet, dass die Objektrepräsentationsuntereinheit (21) so ausgebildet ist, dass sie eine adaptive Multiskalen- Merkmalsrepräsentation verwendet .

4. Anordnung nach zumindest Anspruch 3 , dadurch gekennzeichnet , dass die Objektrepräsentationsuntereinheit (21) so ausgestaltet ist, dass sie eine Wavelet -Transformation verwendet .

5. Anordnung nach zumindest einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass die neurokognitive Einheit (20) eine Erkennungsuntereinheit (22, 23) aufweist.

6. Anordnung nach zumindest Anspruch 5, dadurch gekennzeichnet , dass die Erkennungsuntereinheit eine Objekterkennungseinheit (22) aufweist, die analysiert, was das Objekt ist.

7. Anordnung nach zumindest Anspruch 6, dadurch gekennzeichnet, dass die Objekterkennungseinheit (22) so ausgebildet ist, dass sie prototypische Merkmalsvektoren für klassentypische Objekte verwendet.

8. Anordnung nach zumindest Anspruch 7, dadurch gekennzeichnet, dass die prototypischen Merkmalsvektoren der Objekterkennungseinheit (22) in einer Trainingsphase trainierbar sind.

9. Anordnung nach zumindest Anspruch 5, dadurch gekennzeichnet, dass die Erkennungseinheit eine Ortserkennungseinheit (23! aufweist, die analysiert, wo das Objekt ist.

10. Anordnung nach zumindest einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt auf einer Anzeige (12) anzeigbar ist und dass die visuellen Informationen über das Objekt durch Auswerten der Anzeige (12) ermittelbar sind.

11. Anordnung nach zumindest Anspruch 10, dadurch gekennzeichnet, dass das Objekt ein Element einer auf der Anzeige (12) dargestellten Internetseite ist.

12. Anordnung nach zumindest einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anordnung optische Aufnahmemittel aufweist, mit denen die visuellen Informationen über das Objekt durch eine optische Aufnahme ermittelbar sind.

13. Anordnung nach zumindest einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch die Anordnung die durch die neurokognitive Einheit erstellte Analyse des Objekts und durch die neurokognitive Einheit erstellte Analysen von weiteren Objekten zu einem Interessensprofil der Person zusammenstellbar sind.

14. Verfahren zum Erstellen eines Interessensprofils einer Person, bei dem die Blickrichtung der Person detektiert wird, dadurch gekennzeichnet, dass mit Hilfe einer neurokognitiven Einheit (12) ein in der detektierten Blickrichtung der Person befindliches Objekt anhand visueller Informationen über das Objekt analysiert wird.

15. Programmprodukt für eine Datenverarbeitungsanlage, das Softwarecodeabschnitte enthält, mit denen ein Verfahren nach zumindest Anspruch 14 auf einer Datenverarbeitungsanlage (14) ausgeführt werden kann.