[go: up one dir, main page]

WO2001044887A2 - Procede de commercialisation de biens ou de services par des moyens electroniques sur des reseaux du type internet - Google Patents

Procede de commercialisation de biens ou de services par des moyens electroniques sur des reseaux du type internet Download PDF

Info

Publication number
WO2001044887A2
WO2001044887A2 PCT/FR2000/003563 FR0003563W WO0144887A2 WO 2001044887 A2 WO2001044887 A2 WO 2001044887A2 FR 0003563 W FR0003563 W FR 0003563W WO 0144887 A2 WO0144887 A2 WO 0144887A2
Authority
WO
WIPO (PCT)
Prior art keywords
objects
image
user
database
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2000/003563
Other languages
English (en)
Other versions
WO2001044887A3 (fr
Inventor
Chahab Nastar
Jacques Feldmar
Sébastien GILLES
Alexandre Winter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LTU Technologies SAS
Original Assignee
LTU Technologies SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LTU Technologies SAS filed Critical LTU Technologies SAS
Priority to AU25275/01A priority Critical patent/AU2527501A/en
Priority to EP00988940A priority patent/EP1238323A2/fr
Publication of WO2001044887A2 publication Critical patent/WO2001044887A2/fr
Publication of WO2001044887A3 publication Critical patent/WO2001044887A3/fr
Priority to US10/171,265 priority patent/US20020184203A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Definitions

  • the invention relates to the field of dissemination of information and data and the marketing of goods or services by electronic means over networks such as the Internet.
  • Browser software provides the Internet with graphical interfaces that facilitate access and use of this communication network.
  • a growing use of this network consists of its transformation into a commercial medium, thus opening the way to new forms of sale of goods or services.
  • Sales services are now concentrated in specialized sites, which can be strictly dedicated to transactions or which can offer free complementary services.
  • a large number of companies market their products on their websites. Search engines integrate commercial data and can make it possible to find a specific product.
  • the systems proposed assume that the user is taking an active step towards a purchase. Either it is on a specialized site, or it is looking for a specific product.
  • the interactivity offered by the IT resources used is not yet optimized to create purchasing impulses at any time.
  • the user views Internet pages of a non-commercial site containing a product which could interest him, nothing allows him to identify the brand or a distributor of this product and even less to make his purchase online.
  • the graphical presentation of the Internet multiplies the temptations and potential favorites because of its visual richness, but it is today unable to instantly transform an impulse into a possibility of purchase.
  • Patent US5758324 relates to a method of searching for images by analyzing textual information for annotating said images. This process does not allow the search for unprepared images, that is to say images that were not the subject of an initial referencing.
  • the invention aims to propose an improved method of fully automated image searches, which overcomes the drawbacks of the prior art methods.
  • the invention relates to a process for the presentation of commercial offers making it possible to propose a product similar to the object whose representation is visible in the page of the site which triggered the purchase decision.
  • It consists of a method for presenting information in a multimedia file, on the basis of a request made by a user on an open computer network comprising a plurality of computer terminals allowing the transmission of graphic data displayed in multimedia files, said method comprising a step of entering the request by the user consisting in the choice of an image comprising at least one object, a step of processing the request, a step of interrogating a database on the basis of this request, a step of building a file comprising all the responses associated with this request, characterized in that
  • the processing step includes the extraction of objects contained in the specific image
  • the step of interrogating the database includes the comparison of the objects contained in the specific image with those contained in said database.
  • the extraction step is an adaptive analysis step of the global image in order to isolate an area of interest containing a graphic element that is the subject of the request.
  • a specific zone is defined which is automatically determined specifically for each image analyzed. Unlike the solutions of the state of the art, this specific area is not constant and unchanging for all of the images.
  • the division does not require a defined model "a priori”, but is recalculated according to the specificities of each of the images analyzed.
  • a set of visual signatures is calculated for each object.
  • the interrogation of the database comprises a step of comparing the visual signatures of the extracted objects and of the images contained in the database in order to find similar objects stored in said database.
  • a set of keywords is associated with each object stored in the database.
  • the file containing the responses to the user's request contains the keywords associated with all of the objects similar to the objects extracted from the specific image.
  • the invention also relates to the interface comprising image delimitation means and image transmission means for implementing the method described above.
  • Figure 1 illustrates the journey of the user who wants to go from a content page to a commercial site.
  • the method according to the invention sends it directly to the site in relation to its center of interest.
  • the internet user may be interested in an object contained in an image (2). It then transmits this image, or part of this image, to extraction software of objects (4) which can be found on the user's terminal, or on a specific server.
  • This extractor (4) makes it possible to define all of the objects contained in the transmitted image (5). Analysis is performed in real time for the images designated by the cursor. Objects in the image are identified as entities and appear, for example, highlighted. In order to speed up the processing of the image, the Internet user can define a specific zone of the image in which the product which interests him is found.
  • This extractor (4) then transmits the objects found to the image search mechanism (8).
  • This mechanism preferentially uses search methods by visual similarities. Objects whose appearance is close to the chosen object are considered to be similar. The similarity can apply to an entire image, for example a bouquet of flowers, or to particular objects, for example, a flower in the bouquet.
  • the principle of the search for images by content consists in calculating for each image a set of visual descriptors, called visual signatures.
  • visual signatures constitute a representation of the information traversed by the human eye in the images, and are obtained by an analyzer sensitive to particular visual properties such as color, shape, texture ... They are represented in a compact manner and in a format that makes it very easy to measure the similarity between the content of two images.
  • the system calculates the signature of this object, compares the new signature with those present in the database (7) to present to the user the images of the base which are visually the most similar (9).
  • visual signatures There are two families of visual signatures: - Generic: they adapt to any type of image, requiring no prior knowledge of the content of the image.
  • a major advantage of the method according to the invention is to know how to divide the images into zones corresponding to the objects in the image.
  • the method according to the invention makes it possible, from any image, video or web-TV representing one or more objects, to directly access trade sites which sell similar objects or correspond to the same family. Any site thus becomes a commercial showcase.
  • a user will only be able to find, with the methods of global comparison, a few elements, but will not be certain of finding exactly the object he is looking for.
  • the object is extracted from the request image, as well as from all the images of the base which contain it.
  • the corresponding sub-image will be found in the database (7), because this time, the object is represented there.
  • a user looking for images of a personality will only have to click on their face in the second image. This ability to extract objects from the scene that contains them is unique.
  • the selection of the area of interest can also be carried out using a software application allowing an operator to specify a region of an image, containing the object of interest, by using a marker graphic ordered with a usual peripheral.
  • the zone thus selected constitutes the request for the analysis of the image base.
  • the propagation technology (6) of the keywords inside the database (7) addresses this problem.
  • the database there is an image containing the world cup object and that the keyword "world cup” has been manually attached to the corresponding sub-image.
  • the image is divided into areas corresponding to the objects.
  • the system searches for visually similar objects in the database (7). 3.
  • the system then attaches keywords to the objects of the new image by duplicating those attached to similar objects already present in the database. Thus, the keyword is automatically attached to the area of the new image.
  • This propagation technique makes it possible to complete the search after finding similar images by visual similarity (8).
  • Similar images are directly displayed in the response page (9), while the keywords (12) attached to the images found are transmitted to the text analysis module (13) which makes it possible to query the text search engines.
  • merchant sites (15).
  • the method according to the invention applies to any type of site, to portals but also to WebTV and in general to any digital image, whether it comes from a scanner, a camera or a camera. , and in particular from the coupling between a digital camera and a cell phone.
  • the method according to the invention can use different types of structures for managing relationships between the user and the request server.
  • documents residing on a server site are used giving access to multimedia data.
  • the search service for similar objects is then directly available. Recognized objects are highlighted. The user clicks on what interests him to access the site, as he can do in images using a predefined mapping.
  • the user chooses a product. It is sent directly to a commercial site where he can buy it.
  • the left and right parts of the transaction window play a very different role but complementary. Similar images are found on the left and objects corresponding to the product's theme on the right.
  • the above description relates to an embodiment in which the step of extracting graphic objects is carried out in real time when the page containing said graphic object is loaded. It relates to a process of selecting objects in an image, searching for similar objects, searching for keywords and querying search engines with these keywords. This information (similar images with links, similar keywords with links) was initially displayed in a "pop-up" window to the Internet user. This process is intended for the end user.
  • the invention can also be implemented in a different form, comprising a step of processing and extracting graphic objects "at the source”.
  • This "active" image will be coded in a multimedia document comprising coordinates of objects, as well as links to sites concerning similar objects (left part of the "original pop-up) or similar domains (the right part of the same pop)
  • This variant includes several important advantages:
  • the system performance is better because there is no need to search for similar images and subjects each time an image is activated. It is necessary to do this search only once - during the initial recording of the image - then to transform the image into an activatable or "activatable" image which will send directly to the associated sites or images.
  • this variant allows the owner of one image to select the links to which he wishes the image to point.
  • the method thus becomes a tool which transforms a "passive" image into an "active" image, on which the owner of the image can influence by activating or deactivating certain parts of the image and / or certain links.
  • the process described initially (creation of a page with similar images on one side, associated keywords on the other) becomes, in this extension, mainly intended for owners images.
  • the invention then provides the owner with a multimedia document, comprising the description of the objects (coordinates, click-through zones), and the corresponding links to similar objects and / or associated subjects.
  • the representation and use of the links of the "active" image provided is left to the owner of the source image.
  • the selection among the links by the owner of the image is a key part of this variant of the invention. Indeed, it allows the owner of the image to select "target" sites on various criteria, including in particular financial criteria (money brought back to the owner by the target sites).
  • This "sorting station” can be modeled by a matrix whose abscissae are the content sites, the ordinates the commerce sites. Each owner activates in his column the commerce sites to which he wishes to refer his Internet users. Each trading site can see which content sites are pointing to it. It is possible to apply the same principle of searching for similar images from sources other than Internet pages. Indeed, a camera digital, a PC camera, a digital GSM-camera can take pictures of everyday life, put them on the network (via a PC or not) and search for objects that resemble it. The user of this functionality will use the section intended for image owners to find links to similar images, similar domains (by keywords).
  • the invention can be implemented in the form of a technical platform carrying out the processing of pages with a view to extracting and processing graphic objects.
  • This platform provides a service to its users which makes it possible to associate with a picture a set of similar pictures accessible on the Internet.
  • This set of associations is managed using a database hosted on the technical platform and accessible via the Internet or hosted by the user, with an update by the technical platform, via the Internet.
  • a computer program makes it possible to carry out three basic actions:
  • client sites When client sites add or remove images from their site, they invoke the ADD and DELETE procedures.
  • the invocation of these procedures can be explicit or generated by a robot provided by the technical platform, memorizing the tree structure of the images of the site and automatically notifying (thanks to the ADD and DELETE procedure) the database The technical platform during a change.
  • the client site receives a Map image and structured information so that it can be easily used.
  • the image of the client site is then replaced on the site by the image map and the associated information. It is possible that this replacement will be automated.
  • the RETRIEVE procedure
  • a “graphic notification” allows him to realize that the image is activatable.
  • a RETRIEVE request is invoked, then the return (probably an XML file sent by the technical platform) is processed and formatted by the site. The user can then click on one of the links offered to him which will take him to a target site.
  • the technical platform will provide the possibility of filtering the URLs proposed or proposed by the technical platform, either at the database level or at the client site level. This filter allows to limit the number of URLs of similar images proposed to the user. Indeed, the URLs provided will allow you to go from the client site to the sites referenced by the URLs. It is therefore essential that the customer has control over these links and therefore decide the sites to which he agrees to send his customers.
  • the latter may negotiate with each of the other sites affiliated with the service the financial conditions for the passage.
  • the "click through” and “per sale” events When a customer goes from site A to site B, the software installed on the departure site generates a "click through” event.
  • an affiliate management mechanism allows site A to be notified by a “per sale” event.
  • Appendix D The management of the "click through” is mentioned in appendix D.
  • Appendix E describes possible treatments of the "per sale” event which is more technically delicate.
  • the trading platform The technical platform (traffic auctions).
  • the technical platform will eventually provide a mechanism on its site allowing the various client sites to negotiate income by click through or affiliate: The technical platform will then manage a table (a "referral") where the boxes A-> B will represent the financial conditions for the passage from site A to site B.
  • This passage will be possible if the "figures" put by B in box A-> B of the table managed by The technical platform are accepted by A.
  • This mechanism implements an auction mechanism for the "click trough” conditions and "per sale” between the two sites.
  • the technical platform will have its own site accessible directly to users (while the mechanism described in the previous section is aimed at other websites (called clients).
  • the main functionality of this site will be the possibility for the user to submit to the database
  • the technical platform a RETRIEVE type request from an image not previously submitted by an ADD procedure to The technical platform.
  • These images can be in the form of an image file on the disk.
  • a submission mechanism by “pulled, dropped” could be proposed.
  • a plug-in present in the background of the operating system will allow the user to click on any image of a site, even if the site visited is not a client. from the technical platform (in other words the image was not previously submitted by an ADD procedure) and this from the site without going through the site of "submission" user of the technical platform.
  • the plug-in will be downloadable from the technical platform site and from certain customer sites. In summary, such a request is broken down into:
  • Some users, collectors for example, are looking for images of a certain type (for example images of Egyptian statues).
  • the technical platform will provide its customers with the possibility of equipping their site with the SUBSCRIPTION functionality. This functionality will also be available directly on the “submission” site The technical platform.
  • the database of the technical platform becomes aware that a user of a client (the client can be the site of "submission" user The technical platform itself) wishes to be notified when new images similar to the image attached to the event are added to the technical platform database.
  • the system When an ADD event arrives at the database of the technical platform, the system The technical platform browses its SUBSCRIPTION database and checks if a similar image is present. In this case, the site is notified (if the site which submitted is compatible in term of “referral” with the customer site) by a NOTIFY_ABONNE event.
  • Another variant of the invention relates to the RELEVANCE_FEEDBACK procedure allowing user profiling.
  • the customer site will have the possibility of sending to the database if the user was satisfied with the content sent by the technical platform on the NOTIFY_ABONNE procedure.
  • the advantage is to be able to use relevance feedback technology and thus to offer the user more and more relevant images. This will be done using the RELEVANCE_FEEDBACK procedure. Concretely, when an auction site for works of art decides to acquire the invention, this procedure will allow it to offer its users to be notified if objects similar to the one the user has just purchased. 'to buy are put on sale on the site. This has the advantage of targeting the user.
  • the user may be offered a similar object. Yes the user judges that this object corresponds to what he is looking for, he will signify it on the auction site, which will signify it on the technical platform by the RELEVANCE-FEEDBACK procedure.
  • Another variant of implementation relates to the places of subscription for the development of customer levelers of the technical platform.
  • the auction site may put "subscription sites” on other sites, on content sites, that of Louvres for example.
  • the target site will be paid to host the “subscription site” of the auction site and the technical platform will receive part or not of this remuneration.
  • This mechanism is part of a more general mechanism which consists in providing electronic commerce sites with the means to equip content sites with technology, the technical platform, in order to generate traffic. Use of mobile phone.
  • a particular embodiment of the invention consists in automating the search for similar graphic objects.
  • This variant consists in offering users a subscription function consisting of saving the objects extracted from the image on a server. selected by a user, and periodically activating a search by comparing these objects with those contained in the database, and sending the user the positive results of this periodic search.
  • the user has a means for accepting or refusing objects from the base having a similar signature.
  • the result of this selection is used to optimize the similarity criteria, by building an evolutionary profile through successive iterations.
  • a variant consists in recording in a buffer memory (cache memory) the codes of the images already analyzed and the list of associated similar images, these similar images resulting from an analysis. earlier. Any new image presented will be compared with the images saved in the buffer memory using the aforementioned code. If the image has already been analyzed by the system, the results are returned without further calculation.
  • a buffer memory cache memory
  • the buffer can be that of the workstation. It can also be constituted by a remote server acting as a "proxy", and centralizing the codes and similar images associated for a plurality of users.
  • This operation is inserted between the aforementioned step of extracting objects (4, 5) and the step of searching by visual similarity (8). It consists in recognizing the category of belonging of the objects (5) resulting from the extraction step (4) of objects, or in proposing to an operator a list of categories of probable objects. The operator selects objects from said list to prepare a search query on the subset of images corresponding to the selected category.
  • This operation therefore consists in:
  • This operation makes it possible to reduce the search time by limiting the search to a subset of images, and to improve the quality of the result, due to this preselection step.
  • a particular application of the invention consists in automating the loading of a result page containing images similar to the image containing the object sought. To this end, the operator sends a request containing the initial image, and receives in return a result page without any other intermediate manual intervention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

La présente invention concerne un procédé de présentation d"informations dans un fichier multimédia, à partir d"une requête effectuée par un utilisateur sur un réseau informatique ouvert comportant une pluralité de terminaux informatiques permettant la transmission de données graphiques affichées dans des fichiers multimédia, ledit procédé comportant une étape de saisie de la requête par l"utilisateur consistant en le choix d"une image comportant au moins un objet, une étape de traitement de la requête, une étape d"interrogation d"une base de données sur la base de cette requête, une étape de construction d"un fichier comportant l"ensemble des réponses associées à cette requête, caractérisé en ce que: l"étape de traitement comporte l"extraction des objets contenus dans l"image spécifique; l"étape d"interrogation de la base de données comporte la comparaison des objets contenus dans l"image spécifique avec ceux qui sont contenus dans ladite base de données.

Description

PROCEDE DE COMMERCIALISATION DE BIENS OU DE
SERVICES PAR DES MOYENS ELECTRONIQUES SUR DES
RESEAUX DU TYPE INTERNET.
L ' invention concerne le domaine de la diffusion d'informations et de données et de la commercialisation de biens ou de services par des moyens électroniques sur des réseaux du type Internet.
Les logiciels navigateurs offrent au réseau Internet des interfaces graphiques facilitant l'accès et l'utilisation de ce réseau de communication. Une utilisation grandissante de ce réseau consiste en sa transformation en moyen commercial, ouvrant ainsi la voie à de nouvelles formes de vente de biens ou de services. Les services de ventes sont aujourd'hui concentrés dans des sites spécialisés, qui peuvent être strictement dédiés aux transactions ou qui peuvent offrir des services complémentaires gratuits. Un grand nombre de sociétés commercialisent leurs produits sur leurs sites Internet. Les moteurs de recherche intègrent la donnée commerciale et peuvent permettre de trouver un produit spécifique.
Dans tous les cas, les systèmes proposés supposent que l'utilisateur effectue une démarche active en vue d'un achat. Soit il se trouve sur un site spécialisé, soit il est à la recherche d'un produit spécifique. L'interactivité offerte par les moyens informatiques utilisés n'est pas encore optimisée pour créer des impulsions d'achat à tout moment. Lorsque l'utilisateur visualise des pages Internet d'un site non commercial comportant un produit qui pourrait l'intéresser, rien ne lui permet d'identifier la marque ou un distributeur de ce produit et encore moins de procéder à son achat en ligne. La présentation graphique de l'Internet multiplie les tentations et les coups de cœur potentiels du fait de sa richesse visuelle, mais il est aujourd'hui incapable de transformer instantanément une impulsion en possibilité d'achat.
Si l'internaute souhaite acquérir l'objet qui l'a séduit, il se lance dans une démarche longue et incertaine car les sites de contenu et les sites commerciaux ne sont pas liés.
On connaît dans l'état de la technique des procédés de recherche d'images. L'article "Région queries without segmentation for image retrieval by content" paru dans les actes de la "3nd international conférence on visual informations Systems VISUAL 99", Amsterdam, 2-4 juin 1999, pages 1-8 décrit un procédé de recherche d ' images par région d ' intérêt, mettant en œuvre une étape de découpage systématique de l'image, selon un format de découpage identique pour toute les images. La reconnaissance s'effectue par comparaison du contenu de chaque élément de ce découpage.
Une telle solution ne permet pas la reconnaissance d'un objet dans l'image, indépendamment de son position par rapport à cette image.
Le brevet US5758324 concerne un procédé de recherche d'images par l'analyse d'informations textuelles d'annotation desdites images. Ce procédé ne permet pas la recherche d'images non préparées, c'est-à-dire n'ayant pas fait l'objet d'un référencement initial.
L'article "Relevance feedbac and category search in image databases" paru dans Proccedings IEEE Multimedia Systems 99, Florence 7-11 juin 1999, Pages 512- 517 vol. 1 décrit un procédé de recherche d'images par affinage successif de requêtes afin de retrouver des images d'une catégorie déterminée.
Une telle solution nécessite une phase d'interaction avec un utilisateur afin de déterminer le degré de proximité des images en fonction des choix d'un opérateur humain. Elle ne permet pas une automatisation du processus de recherche, pour une nouvelle catégorie d ' images . L'invention vise à proposer un procédé amélioré de recherches d'images totalement automatisé, palliant aux inconvénients des procédés de l'état de la technique. L ' invention concerne un procédé de présentation d'offres commerciales permettant de proposer un produit similaire à l'objet dont la représentation est visible dans la page du site qui a déclenché la décision d ' achat . Elle consiste en un procédé de présentation d'informations dans un fichier multimédia, à partir d'une requête effectuée par un utilisateur sur un réseau informatique ouvert comportant une pluralité de terminaux informatiques permettant la transmission de données graphiques affichées dans des fichiers multimédias, ledit procédé comportant une étape de saisie de la requête par l'utilisateur consistant dans le choix d'une image comportant au moins un objet, une étape de traitement de la requête, une étape d'interrogation d'une base de données sur la base de cette requête, une étape de construction d'un fichier comportant l'ensemble des réponses associées à cette requête, caractérisé en ce que
- L'étape de traitement comporte l'extraction des objets contenus dans l'image spécifique ;
L'étape d'interrogation de la base de données comporte la comparaison des objets contenus dans 1 ' image spécifique avec ceux contenus dans ladite base de donnée . L'étape d'extraction est une étape d'analyse adaptative de l'image globale afin d'isoler une zone d'intérêt contenant un élément graphique objet de la requête .
Avantageusement, on définit une zone spécifique étant déterminée automatiquement de façon propre à chaque image analysée . Contrairement aux solutions de l'état de la technique, cette zone spécifique n'est pas constante et invariable pour l'ensemble des images. Le découpage ne nécessite pas un modèle défini "a priori", mais est recalculé en fonction des spécificités de chacune des images analysées . Dans une variante, l'on calcule pour chaque objet un ensemble de signatures visuelles.
Préférentiellement, l'interrogation de la base de données comporte une étape de comparaison des signatures visuelles des objets extraits et des images contenues dans la base de données afin de trouver les objets similaires mémorisés dans ladite base de données.
Avantageusement, on associe à chaque objet mémorisé dans la base de données un ensemble de mots clés .
Le fichier contenant les réponses à la requête de l'utilisateur comporte les mots clés associés à l'ensemble des objets similaires aux objets extraits de l'image spécifique.
À partir de là, l'on peut interroger des bases de données textuelles en utilisant les mots clés associés à l'ensemble des objets similaires aux objets extraits de l'image spécifique.
On peut également interroger des bases de données textuelles en utilisant des mots clés définis dans la requête émise par l'utilisateur. L'invention concerne également l'interface comportant des moyens de délimitation d'images et des moyens de transmission d'image pour la mise en œuvre du procédé décrit précédemment.
La figure 1 illustre le parcours de l'internaute qui souhaite passer d'une page de contenu à un site commercial. Le procédé selon l'invention l'envoie directement sur le site en relation avec son centre d' intérêt.
Lors de la consultation d'une page web (1) spécifique, l'internaute peut être intéressé par un objet contenu dans une image (2) . Il transmet alors cette image, ou une partie de cette image, à un logiciel d'extraction d'objets (4) qui peut se trouver sur le terminal de l'utilisateur, ou sur un serveur spécifique. Cet extracteur (4) permet de définir l'ensemble des objets contenus dans l'image transmise (5). L'analyse est effectuée en temps réel pour les images désignées par le curseur. Les objets de l'image sont identifiés comme des entités et apparaissent par exemple en surbrillance. Afin d'accélérer le traitement de l'image, l'internaute peut définir une zone spécifique de 1 ' image dans laquelle le produit qui l'intéresse se trouve.
Cet extracteur (4) transmet alors les objets trouvés au mécanisme de recherche d'images (8). Ce mécanisme utilise preferentiellement des méthodes de recherche par similarités visuelles. Les objets dont l'apparence est voisine de l'objet choisi sont considérés comme étant similaires. La similarité peut s'appliquer à une image entière par exemple un bouquet de fleurs ou à des objets particuliers, par exemple une fleur du bouquet.
Le principe de la recherche d'images par le contenu consiste à calculer pour chaque image un ensemble de descripteurs visuels, appelés signatures visuelles. Ces signatures constituent une représentation de l'information parcourue par l'oeil humain dans les images, et sont obtenues par un analyseur sensible à des propriétés visuelles particulières comme la couleur, la forme, la texture... Elles sont représentées de manière compacte et dans un format qui permet de mesurer très facilement la similarité entre le contenu de deux images.
Lorsque l'extracteur (4) présente un nouvel objet, le système calcule la signature de cet objet, compare la nouvelle signature à celles présentes dans la base de données (7) pour présenter à l'utilisateur les images de la base qui sont visuellement les plus similaires (9) . On distingue deux familles de signatures visuelles : - Génériques : elles s'adaptent à tout type d'image, ne nécessitant pas de connaissance à priori du contenu de 1 ' image .
Spécifiques : dédiées à l'analyse ou la reconnaissance d'images particulières, elles s'utilisent dans un contexte applicatif bien déterminé, qui est aujourd'hui la reconnaissance de visages.
Un avantage majeur du procédé selon 1 ' invention est de savoir diviser les images en zones correspondant aux objets dans l'image. Ainsi, en plus de stocker dans la base la signature attachée à l'image complète, on archive chaque objet présent dans l'image et sa signature associée.
Le procédé selon l'invention permet à partir de n'importe quelle image, vidéo ou web-TV représentant un ou plusieurs objets d'accéder directement à des sites de commerce qui vendent des objets similaires ou correspondent à la même famille. Tout site devient ainsi une vitrine commerciale. Dans une image complexe contenant plusieurs objets et/ou personnes, un utilisateur ne pourra retrouver, avec les méthodes de comparaison globale, que quelques éléments, mais ne sera pas certain de retrouver exactement l'objet qu'il recherche. Par contre, grâce à l'extraction des objets, l'objet est extrait de l'image requête, ainsi que de toutes les images de la base qui la contiennent. La sous- image correspondant sera retrouvée dans la base de donnée (7), car cette fois, l'objet y est représenté. Un utilisateur qui cherche des images d'une personnalité n'aura qu'à cliquer sur son visage dans la seconde image. Cette capacité à extraire les objets de la scène qui les contient est unique.
La sélection de la zone d'intérêt peut aussi être réalisée à l'aide d'un applicatif logiciel permettant à un opérateur de spécifier une région d'une image, contenant l'objet d'intérêt, par utilisation d'un marqueur graphique commandé avec un périphérique habituel . La zone ainsi sélectionnée constitue la requête pour l'analyse de la base d ' images .
Pour trouver une image d ' un objet, un utilisateur tape le nom de cet objet dans un moteur de recherche classique. Des milliers d'images existent sur le Web chaque jour sans qu'aucun mot-clé n'y soit attaché. L'utilisateur a donc des difficultés à retrouver des images de l'objet qu'il recherche. Il est par ailleurs inconcevable d'indexer manuellement toutes les images du Web.
La technologie de propagation (6) des mots- clefs à l'intérieur de la base de donnée (7) répond à ce problème. Supposons que dans la base de donnée, se trouve une image contenant l'objet coupe du monde et que le mot- clé "coupe du monde" ait été manuellement attaché à la sous-image correspondante.
Lors de l'ajout à la base de donnée d'une nouvelle image contenant un objet spécifique, le système procède de la manière suivante :
1. L'image est divisée en zones correspondant aux obj ets .
2. Pour chaque objet, le système recherche les objets visuellement similaires dans la base de donnée (7). 3. Le système attache ensuite des mots-clés aux objets de la nouvelle image en dupliquant ceux attachés aux objets similaires déjà présents dans la base. Ainsi, le mot-clé est automatiquement attaché à la zone de la nouvelle image. Cette technique de propagation permet de compléter la recherche après avoir trouvé les images similaires par similarité visuelle (8). Les images similaires sont directement affichées dans la page de réponse (9), alors que les mots-clés (12) attachés aux images trouvées sont transmis au module d'analyse du texte (13) qui permet d'interroger les moteurs de recherche textuelle (16), les sites marchands (15). Le procédé selon l'invention s'applique à tout type de site, aux portails mais aussi à la WebTV et de façon générale à toute image numérique, qu'elle provienne d'un scanner, d'une caméra ou d'un appareil photo, et notamment en provenance du couplage entre une caméra numérique et un téléphone cellulaire.
Le procédé selon l'invention peut utiliser différents type de structures de gestion des relations entre l'utilisateur et le serveur de requêtes. Dans une première variante où les liens sont précalables, on utilise des documents résidant sur un site serveur donnant accès à des données multimédias . Le service de recherche d'objets similaires est alors directement disponible. Les objets reconnus passent en surbrillance. L'internaute clique sur ce qui l'intéresse pour accéder au site, comme il peut le faire dans des images utilisant un mapping prédéfini.
Dans une deuxième variante où les liens sont calculés à « la volée », on utilise un plugin téléchargeable. Dans ce cas, la recherche par similarité peut s'appliquer à partir de sites sans relation particulière avec le site dans lequel est située la base de donnée comportant les images connues. C'est donc un outil de prédilection pour aborder les programmes d'affiliation car aucun accord n'est nécessaire pour indexer un site commercial.
Dans les deux cas, lorsque l'internaute clique sur le produit qui l'intéresse, le logiciel ouvre une fenêtre de transaction spécifique qui le met immédiatement en relation avec le site de reconnaissance qui propose :
- A gauche le produit.
A droite des produits et services en relation avec ce produit.
L'internaute choisit un produit. Il est envoyé directement sur un site commercial où il peut l'acheter.
Les parties gauche et droite de la fenêtre de transaction jouent un rôle très différent mais complémentaire. On trouve à gauche des images similaires et à droite les objets correspondant au thème du produit.
La description qui précède concerne un mode de réalisation dans lequel l'étape d'extraction des objets graphique est réalisée en temps réel lors du chargement de la page contenant ledit objet graphique. Il concerne un processus de sélection d'objets dans une image, de recherche d'objets similaires, de recherche de mots-clés et d'interrogation de moteurs de recherche par ces mots clés. Ces informations (images similaires avec liens, mots-clés similaires avec liens) étaient initialement représentés dans une fenêtre "pop-up" à l'internaute. Ce processus est destiné à l'utilisateur final.
L ' invention peut également être mise en œuvre sous une forme différente, comportant une étape de traitement et d'extraction des objets graphiques "à la source" .
Selon cette variante, plus spécifiquement destinée au propriétaire d'une image "de contenu", et destinée à faire d'une image normale une image "active", c'est-à-dire à générer des liens vers des sites de commerce sur des zones de l'image.
Cette image "active" sera codée dans un document multimédia comprenant des coordonnées d'objets, ainsi que des liens vers des sites concernant les objets similaires (partie gauche du "pop-up original) ou les domaines similaires (la partie droite du même pop-up) . Cette variante comprend plusieurs avantages importants :
- d'une part, les performances du système sont meilleures car il est inutile de rechercher des images et sujets similaires à chaque fois qu'une image est activée. Il est nécessaire de faire cette recherche une seule fois -lors de l'enregistrement initial de l'image - puis de transformer l'image en une image activable ou "activable" qui enverra directement sur les sites ou images associés. - d'autre part, cette variante permet au propriétaire de 1 ' image de sélectionner les liens vers lesquels il désire que l'image pointe.
Le procédé devient ainsi un outil qui transforme une image "passive" en image "active", sur lequel le propriétaire de 1 ' image peut influer en activant ou désactivant certaines parties de l'image et/ou certains liens.
Concernant le processus de visualisation des objets et liens similaires, le processus décrit initialement (création d'une page avec d'un côté les images similaires, d'un autre les mots-clés associés) devient, dans cette extension, destiné principalement aux propriétaires des images. L'invention fournit alors au propriétaire un document multimédia, comprenant la description des objets (coordonnées, zones de cliquabilité) , et les liens correspondants vers des objets similaires et/ou des sujets associés. La représentation et l'utilisation des liens de l'image "active", fournie est laissée à la charge du propriétaire de l'image source.
La sélection parmi les liens par le propriétaire de 1 ' image est une partie clé de cette variante de l'invention. En effet, elle permet au propriétaire de l'image de sélectionner des sites "cibles" sur des critères divers, dont en particulier des critères financiers (argent rapporté au propriétaire par les sites cibles) .
Cette "gare de tri" peut être modélisée par une matrice dont les abscisses sont les sites de contenu, les ordonnées les sites de commerce. Chaque propriétaire active dans sa colonne les sites de commerce vers lesquels il désire renvoyer ses internautes. Chaque site de commerce peut y voir quels sont les sites de contenu qui pointent vers lui . II est possible d'appliquer le même principe de recherche d'images similaires à partir de sources autres que des pages Internet. En effet, un appareil photo numérique, une caméra PC, un GSM-appareil photo numérique permettent de prendre des images de la vie courante, de les mettre sur le réseau (par l'intermédiaire ou non d'un PC) et de rechercher les objets qui lui ressemblent. L'utilisateur de cette fonctionnalité utilisera la partie destinée aux propriétaires d'images pour trouver des liens vers des images similaires, des domaines similaires (par les mots clés) .
L ' invention peut être mise en œuvre sous la forme d'une plate-forme technique réalisant le traitement des pages en vue de l'extraction et le traitement des objets graphiques.
Cette plate-forme fournit un service à ses utilisateurs qui permet d'associer à une image un ensemble d'images similaires accessibles sur Internet. Cet ensemble d'association est géré grâce à une base de données hébergée sur la plate-forme technique et accessible à travers Internet ou hébergée chez l'utilisateur, avec une mise à jour par la plate-forme technique, à travers Internet.
Un programme informatique permet de réaliser trois actions de base :
• ajout d'une image à la base de données (ADD) .
• suppression d'une image de la base de données (DELETE) .
• recherche d'un ensemble d'URL d'images similaires
(RETRIEVE) .
Les procédures ADD et DELETE : invocation explicite ou automatique. Prenons l'exemple d'une « galaxie » Internet où toutes les images des sites de cette communauté sont activement soumises suivant le mécanisme décrit plus haut.
Lorsque les sites clients ajoutent ou retirent des images de leur site, ils invoquent les procédures ADD et DELETE. L'invocation de ces procédures peut être explicite ou générée par un robot fourni par la plateforme technique, mémorisant l'arborescence des images du site et notifiant automatiquement (grâce au procédure ADD et DELETE) la base de données La plate-forme technique lors d'un changement.
A chaque procédure ADD, le site client reçoit une image Map et de l'information structurée pour pouvoir être facilement exploitée. L'image du site client est alors remplacée sur le site par 1 ' image Map et les informations associées. Il est envisageable que ce remplacement soit automatisé. La procédure RETRIEVE
Lorsqu'un utilisateur visite un site client A, une « notification graphique » lui permet de réaliser que l'image est activable. Lorsque l'utilisateur clique sur l'image en question, une requête RETRIEVE est invoquée, puis le retour (probablement un fichier XML envoyé par la plate-forme technique) est traité et mis en pages par le site. L'utilisateur peut alors cliquer un des liens qui lui sont proposés ce qui l'emmènera vers un site cible.
Gestion du passage d'un site client vers un autre : le filtre d'URLs.
La plate-forme technique fournira la possibilité de filtrer les URLs proposées ou proposables par la plate-forme technique, soit au niveau de la base de données, soit au niveau du site client. Ce filtre permet de limiter les nombres d'URLs d'images similaires proposées à l'utilisateur. En effet, les URLs fournies permettront de passer du site client vers les sites référencés par les URLs. Il est donc essentiel que le client ait du contrôle sur ces liens et donc décider des sites vers lesquels il accepte d'envoyer ses clients.
En fonction des transactions réalisées par les utilisateurs après qu'ils auront quitté le site client, ce dernier pourra négocier avec chacun des autres sites affiliés au service les conditions financières du passage. Les événements « click through » et « per sale ». Lorsqu'un client passe d'un site A vers un site B, le logiciel installé sur le site de départ génère un événement « click through ».
Dans le cas où l'utilisateur réalise des achats sur le site B, un mécanisme de gestion des affiliés permet au site A d'être notifié par un événement « per sale ».
La gestion du « click through » est évoquée dans l'annexe D. L'annexe E décrit des traitements possibles de l'événement « per sale » qui est plus délicat techniquement .
La plate-forme de négociation, La plate-forme technique (enchères sur le trafic) .
La plate-forme technique fournira à terme sur son site un mécanisme permettant aux différents sites clients de négocier les revenus par click through ou affiliate : La plate-forme technique gérera alors un tableau (un « aiguillage ») où les cases A->B représenteront les conditions financières du passage du site A vers le site B.
Ce passage sera possible si les « chiffres » mis par B dans la case A->B de la table gérée par La plate-forme technique sont acceptés par A. Ce mécanisme implémente un mécanisme d'enchères pour les conditions de « click trough » et « per sale » entre les deux sites.
Le site La plate-forme technique : soumission « utilisateur ».
La plate-forme technique aura son propre site accessible directement aux utilisateurs (alors que le mécanisme décrit dans la section précédente s'adresse à d'autres sites Internet (appelés clients).
La fonctionnalité principale de ce site sera la possibilité pour l'utilisateur de soumettre à la base La plate-forme technique une requête de type RETRIEVE à partir d'un image non précédemment soumise par une procédure ADD à La plate-forme technique. Ces images pourront être sous la forme d'un fichier image sur le disque. Un mécanisme de soumission par « tiré, lâché » pourra être proposé.
Cette fonctionnalité de retrieve est différente de celle décrite dans la section précédente. En effet, alors que dans le cas précédant le calcul de la signature visuel est réalisé au moment de la procédure ADD et que la procédure RETRIEVE ne fait que retrouver dans la base de données la signature calculée sur le ADD. Dans le cas présent, la signature doit être calculée au moment de la requête retrieve. Nous appelons cette procédure RETRIEVE_NEW.
Les scénarii d'utilisation précédents impliquent que les images du site que l'utilisateur est en train de visiter aient été « pré-traitées » par le serveur ou que l'utilisateur les soumette au site La plate-forme technique .
L'utilisation d'un plug-in présent en tâche de fond du système d'exploitation donnera la possibilité à l'utilisateur de cliquer sur n'importe quelle image d'un site et ceci même si le site visité n'est pas client de la plate-forme technique (autrement dit l'image n'a pas été soumise précédemment par une procédure ADD) et ceci à partir du site sans passer par le site de « soumission » utilisateur de la plate-forme technique. Le plug-in sera téléchargeable à partir du site de la plate-forme technique et de certains sites clients. En résumé une telle requête se décompose en :
• communication entre Internet explorer et le plug- in pour récupérer 1 ' image requête . • appelle de la procédure RETRIEVE_NEW.
• affichage par le plug-in des résultats renvoyés par le serveur La plate-forme technique.
Certains utilisateurs, des collectionneurs par exemple, sont à la recherche d'images d'un certain type (par exemple des images de statues égyptiennes) .
La plate-forme technique fournira à ses clients la possibilité d'équiper leur site avec la fonctionnalité ABONNEMENT. Cette fonctionnalité sera aussi disponible directement sur le site de « soumission » La plate-forme technique.
Sur un événement ABONNEMENT, la base de données de la plate-forme technique prend connaissance qu'un utilisateur d'un client (le client pouvant être le site de « soumission » utilisateur La plate-forme technique lui-même) désire être notifié lorsque de nouvelles images similaires à l'image attachée à l'événement sont ajoutées à la base de données de la plate-forme technique.
Lorsqu'un événement ADD arrive à la base de données de la plate-forme technique, le système La plateforme technique parcourt sa base d'ABONNEMENT et regarde si une image similaire est présente. Dans ce cas, le site est notifié (si le site qui a soumis est compatible en terme « d'aiguillage » avec le site client) par un événement NOTIFY_ABONNE .
Une autre variante de 1 ' invention concerne la procédure RELEVANCE_FEEDBACK permettant le profilage utilisateur.
Le site client aura la possibilité de faire parvenir à la base de données si l'utilisateur était satisfait par le contenu envoyé par la plate-forme technique sur la procédure NOTIFY_ABONNE . L'intérêt est de pouvoir utiliser la technologie de relevance feedback et ainsi de proposer à l'utilisateur des images de plus en plus pertinentes. Ceci sera réalisé grâce à la procédure RELEVANCE_FEEDBACK. Concrètement, lorsqu'un site d'enchères sur des œuvres d'art décide de s'équiper de l'invention, cette procédure lui permettra de proposer à ses utilisateurs d'être notifiés si des objets similaires à celui que l'utilisateur vient d'acheter sont mis en vente sur le site. Ceci à l'avantage de cibler l'utilisateur.
Plusieurs jours plus tard, l'utilisateur pourra se voir proposer un objet similaire. Si l'utilisateur juge que cet objet correspond à ce qu'il recherche il le signifiera au site d'enchères, qui le signifiera à la plate-forme technique par la procédure RELEVANCE-FEEDBACK. Une autre variante de mise en œuvre concerne les lieux d'abonnement pour le développement de clients évengéliseurs de la plate-forme technique.
De plus, le site d'enchère pourra mettre sur d'autres sites des « lieux d'abonnement », sur des sites de contenu, celui du Louvres par exemple. Bien sûr, le site du visé sera rémunéré pour héberger le « lieu d'abonnement » du site d'enchère et de la plate-forme technique touchera une partie ou non de cette rémunération. Ce mécanisme s'inscrit dans un mécanisme plus général qui consiste à fournir aux sites de commerces électroniques les moyens d'équiper des sites de contenu de la technologie, la plate-forme technique, afin de générer du trafic. Utilisation du téléphone mobile.
Les derniers développements des téléphones mobiles prévoient d'intégrer une mini caméra ou un appareil photo digital. En permettant aux utilisateurs d'appareils photo numériques d'envoyer directement leurs photos vers le site de « soumission » utilisateur de la plate-forme technique décrite plus haut, et rend possible l'achat d'impulsion, non plus seulement pour des images sur un navigateur, mais pour l'utilisateur face à des objets réels. Après avoir transformé les images du Web en vitrines de magasins, la plate-forme technique pourra alors transformer tout objet de notre entourage en une vitrine.
Un mode de mise en œuvre particulier de l'invention consiste à automatiser la recherche d'objets graphiques similaires. Cette variante consiste à offrir aux utilisateurs une fonction d'abonnement consistant à enregistrer sur un serveur les objets extraits de l'image sélectionnés par un utilisateur, et à activer périodiquement une recherche par comparaison de ces objets avec ceux contenus dans la base de données, et d'envoyer à l'utilisateur les résultats positifs de cette recherche périodique.
Selon une autre variante de l'invention, l'utilisateur dispose d'un moyen pour accepter ou refuser des objets de la base présentant une signature similaire. Le résultat de cette sélection est exploité pour optimiser les critères de similarité, par la construction d'un profil évolutif par itérations successives.
Afin de réduire le temps de calcul et à améliorer la qualité des résultats, une variante consiste à enregistrer dans une mémoire tampon (mémoire cache) les codes des images déjà analysées et la liste des images similaires associées, ces images similaires résultant d'une analyse antérieure. Toute nouvelle image présentée va être comparée avec les images enregistrées dans la mémoire tampon par le biais du code susvisé. Si l'image a déjà été analysée par le système, les résultats sont renvoyés sans calcul supplémentaire.
La mémoire tampon peut être celle du poste de travail. Elle peut aussi être constituée par un serveur distant agissant comme "proxy" , et centralisant les codes et les images similaires associées pour une pluralité d ' utilisateurs .
Dans le cas contraire, le traitement habituel est appliqué à l'image inconnue.
La description qui suit se rapporte à une variante de mise en œuvre dans laquelle le procédé comporte une opération intermédiaire de reconnaissance.
Cette opération s ' intercale entre 1 ' étape susvisée d'extraction d'objets (4, 5) et l'étape de recherche par similarité visuelle (8) . Elle consiste à reconnaître la catégorie d'appartenance des objets (5) issus de l'étape d'extraction (4) d'objets, ou à proposer à un opérateur une liste de catégories d'objets probables. L'opérateur procède à une sélection d'objets dans ladite liste, pour préparer une requête de recherche sur le sous-ensemble d'images correspondant à la catégorie sélectionnée. Cette opération consiste donc à :
- proposer à l'opérateur une liste d'objets graphiques regroupés en catégories résumées chacune par une vignette graphique représentative de la catégorie considérée - à permettre à l'opérateur de sélectionner l'une de ces catégories
- à procéder à une recherche de similarité visuelle parmi les images de la catégorie sélectionnée.
Cette opération permet de réduire le temps de recherche en limitant la recherche à un sous-ensemble d'images, et d'améliorer la qualité du résultat, en raison de cette étape de présélection.
Elle améliore également l'ergonomie de l'utilisation du procédé en raison de la structuration de la recherche.
Une application particulière de 1 ' invention consiste à automatiser le chargement d'une page de résultat contenant des images similaires à 1 ' image contenant l'objet recherché. A cet effet, l'opérateur envoie une requête contenant l'image initiale, et reçoit en retour une page de résultat sans aucune autre intervention manuelle intermédiaire.

Claims

REVENDICATIONS
1 - Procédé de présentation d'informations dans un fichier multimédia, à partir d'une requête effectuée par un utilisateur sur un réseau informatique ouvert comportant une pluralité de terminaux informatiques permettant la transmission de données graphiques affichées dans des fichiers multimédia, ledit procédé comportant une étape de choix d'au moins une image comportant un objet à rechercher, une étape de traitement de la requête, une étape d'interrogation d'une base de données sur la base de cette requête, une étape de construction d'un fichier comportant l'ensemble des réponses associées à cette requête, caractérisé en ce que :
- L'étape de traitement comporte l'extraction des objets contenus dans l'image spécifique ; l'étape d'interrogation de la base de données comporte la comparaison des objets contenus dans l'image spécifique avec ceux qui sont contenus dans ladite base de donnée .
2 - Procédé de présentation d'informations selon la revendication 1 caractérisé en ce que 1 ' étape de choix d'images contenant l'objet à rechercher est constituée par une saisie d'une requête par l'utilisateur, ladite requête comportant une zone désignée par 1 'utilisateur.
3 - Procédé de présentation d'informations selon la revendication 1 caractérisé en ce que l'étape de choix d'images contenant l'objet à rechercher est constituée par une analyse automatique d'une pluralité de documents multimédias [par exemple de pages WEB] .
4 - Procédé de présentation d'informations selon la revendication 1 caractérisé en ce que l'on définit une zone spécifique de l'image à partir de laquelle les objets seront extraits, cette zone spécifique étant déterminée automatiquement de façon propre à chaque image analysée.
5 - Procédé de présentation d'informations selon la revendication 1 ou 4 caractérisé en ce que 1 ' on calcule pour chaque objet un ensemble de signatures visuelles .
6 - Procédé de présentation d'informations selon la revendication 5 caractérisé en ce que
1 ' interrogation de la base de données comporte une étape de comparaison des signatures visuelles des objets extraits et des images contenues dans la base de données afin de trouver les objets similaires mémorisés dans ladite base de données .
7 - Procédé de présentation d'informations selon l'une quelconque des revendications précédentes caractérisé en ce que l'on associe à chaque objet mémorisé dans la base de données un ensemble de mots clés et en ce que le fichier contenant les réponses à la requête de l'utilisateur comporte les mots clés associés à l'ensemble des objets similaires aux objets extraits de l'image spécifique.
8 - Procédé de présentation d'informations selon la revendication 7 caractérisé en ce que l'on interroge des bases de données textuelles en utilisant les mots clés associés à l'ensemble des objets similaires aux objets extraits de l'image spécifique.
9 - Procédé de présentation d'informations selon l'une quelconque des revendications précédentes caractérisé en ce que l'on interroge des bases de données textuelles en utilisant des mots clés définis dans la requête émise par l'utilisateur. 10 - Procédé de présentation d'informations selon l'une quelconque des revendications précédentes caractérisé en ce que les étapes d'extraction des objets contenus dans l'image spécifique est réalisée à la source, antérieurement à la mise en ligne des pages contenant ladite image.
11 - Procédé de présentation d'informations selon l'une quelconque des revendications précédentes caractérisé en ce que les étapes d'extraction des objets contenus dans l'image spécifique est réalisée à l'arrivée, postérieurement au chargement d'une page contenant ladite image .
12 - Procédé de présentation d'informations selon l'une quelconque des revendications précédentes caractérisé en ce qu'il comporte une étape d'automatisation de la recherche d'objet graphiques similaires consistant à enregistrer sur un serveur les objets extraits de l'image sélectionnés par un utilisateur, et à activer périodiquement une recherche par comparaison de ces objets avec ceux contenus dans la base de données, et à envoyer à l'utilisateur les résultats positifs de cette recherche périodique.
13 - Procédé de présentation d'informations selon l'une quelconque des revendications précédentes caractérisé en ce qu'il comporte une étape de sélection permettant à l'utilisateur d'accepter ou de refuser des objets de la base présentant une signature similaire, le résultat de cette sélection étant exploité pour optimiser les critères de similarité, par la construction d'un profil évolutif par itérations successives.
14 - Procédé de présentation d'informations selon l'une quelconque des revendications précédentes caractérisé en ce qu'il comporte une étape d'acquisition d'image permettant aux utilisateurs d'appareils photo numériques d'envoyer directement leurs photos vers le site de « soumission ».
15 - Procédé de présentation d'informations selon l'une quelconque des revendications précédentes caractérisé en ce qu'il comporte une étape de reconnaissance par recherche d'appartenance des objets (5) issus de l'étape d'extraction (4) d'objets, ou à proposer à un opérateur une liste de catégories d'objets probables consistant à préparer une sélection d'objets dans ladite liste, pour préparer une requête de recherche sur le sous- ensemble d'images correspondant à la catégorie sélectionnée .
16 - Procédé de présentation d'informations selon la revendication 15 caractérisé en ce que l'étape de reconnaissance consiste à :
- proposer à l'opérateur une liste d'objets graphiques regroupés en catégories résumées chacune par une vignette graphique représentative de la catégorie considérée
- à permettre à 1 ' opérateur de sélectionner l'une de ces catégories - à procéder à une recherche de similarité visuelle parmi les images de la catégorie sélectionnée.
Cette opération permet de réduire le temps de recherche en limitant la recherche à un sous-ensemble d'images, et d'améliorer la qualité du résultat, en raison de cette étape de présélection.
17 - Interface comportant des moyens de délimitation d'images et des moyens de transmission d'image pour la mise en œuvre du procédé selon la revendication 1.
PCT/FR2000/003563 1999-12-16 2000-12-15 Procede de commercialisation de biens ou de services par des moyens electroniques sur des reseaux du type internet Ceased WO2001044887A2 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU25275/01A AU2527501A (en) 1999-12-16 2000-12-15 Method for marketing goods or services by electronic means on internet-type networks
EP00988940A EP1238323A2 (fr) 1999-12-16 2000-12-15 Procede de commercialisation de biens ou de services par des moyens electroniques sur des reseaux du type internet
US10/171,265 US20020184203A1 (en) 1999-12-16 2002-06-13 Process for electronically marketing goods or services on networks of the internet type

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR99/15903 1999-12-16
FR9915903A FR2802670B1 (fr) 1999-12-16 1999-12-16 Procede de communication de biens ou de services par des moyens electroniques sur des reseaux du type internet

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US10/171,265 Continuation US20020184203A1 (en) 1999-12-16 2002-06-13 Process for electronically marketing goods or services on networks of the internet type

Publications (2)

Publication Number Publication Date
WO2001044887A2 true WO2001044887A2 (fr) 2001-06-21
WO2001044887A3 WO2001044887A3 (fr) 2002-04-11

Family

ID=9553354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2000/003563 Ceased WO2001044887A2 (fr) 1999-12-16 2000-12-15 Procede de commercialisation de biens ou de services par des moyens electroniques sur des reseaux du type internet

Country Status (5)

Country Link
US (1) US20020184203A1 (fr)
EP (1) EP1238323A2 (fr)
AU (1) AU2527501A (fr)
FR (1) FR2802670B1 (fr)
WO (1) WO2001044887A2 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004038613A1 (fr) * 2002-10-23 2004-05-06 Softhouse Nordic Ab Evaluation de ressemblance de mobiles
WO2009118081A1 (fr) * 2008-03-28 2009-10-01 Neoperl Gmbh Procédé d'identification

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1346295A4 (fr) * 2000-11-15 2005-01-12 Mark Frigon Procede et dispositif permettant d'obtenir des informations sur la presence d'au moins un objet dans une image
GB2402511A (en) * 2003-06-07 2004-12-08 Univ Sheffield Hallam Checking Visual Consistency of Web Pages
US20050154640A1 (en) * 2003-11-17 2005-07-14 Venkateswarlu Kolluri Context- and behavior-based targeting system
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
WO2005114476A1 (fr) * 2004-05-13 2005-12-01 Nevengineering, Inc. Systeme de recuperation d'informations d'image mobiles
US8370323B2 (en) * 2004-08-31 2013-02-05 Intel Corporation Providing information services related to multimodal inputs
US20060230073A1 (en) * 2004-08-31 2006-10-12 Gopalakrishnan Kumar C Information Services for Real World Augmentation
US7873911B2 (en) * 2004-08-31 2011-01-18 Gopalakrishnan Kumar C Methods for providing information services related to visual imagery
US7853582B2 (en) * 2004-08-31 2010-12-14 Gopalakrishnan Kumar C Method and system for providing information services related to multimodal inputs
US7437368B1 (en) * 2005-07-05 2008-10-14 Chitika, Inc. Method and system for interactive product merchandizing
US20070130318A1 (en) * 2005-11-02 2007-06-07 Christopher Roast Graphical support tool for image based material
US7917286B2 (en) 2005-12-16 2011-03-29 Google Inc. Database assisted OCR for street scenes and other images
US20070250499A1 (en) * 2006-04-21 2007-10-25 Simon Widdowson Method and system for finding data objects within large data-object libraries
US8200025B2 (en) * 2007-12-07 2012-06-12 University Of Ottawa Image classification and search
US20090287655A1 (en) * 2008-05-13 2009-11-19 Bennett James D Image search engine employing user suitability feedback
US8983940B2 (en) 2011-09-02 2015-03-17 Adobe Systems Incorporated K-nearest neighbor re-ranking
US8805116B2 (en) 2011-09-17 2014-08-12 Adobe Systems Incorporated Methods and apparatus for visual search
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
CN109032810A (zh) * 2017-06-09 2018-12-18 阿里巴巴集团控股有限公司 业务过程的启动方法和装置
US10885536B2 (en) * 2018-02-01 2021-01-05 Ebay Inc. Garnering interest on potential listing in a photo or video

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5758324A (en) * 1995-12-15 1998-05-26 Hartman; Richard L. Resume storage and retrieval system
US5852823A (en) * 1996-10-16 1998-12-22 Microsoft Image classification and retrieval system using a query-by-example paradigm
US5973692A (en) * 1997-03-10 1999-10-26 Knowlton; Kenneth Charles System for the capture and indexing of graphical representations of files, information sources and the like
US6157435A (en) * 1998-05-29 2000-12-05 Eastman Kodak Company Image processing
US6286001B1 (en) * 1999-02-24 2001-09-04 Doodlebug Online, Inc. System and method for authorizing access to data on content servers in a distributed network
CA2363465A1 (fr) * 1999-02-26 2000-08-31 Authentidate Holding Corp. Systeme de gestion de fichiers numeriques et d'imagerie et procede comprenant le marquage de fichiers securises
US6397213B1 (en) * 1999-05-12 2002-05-28 Ricoh Company Ltd. Search and retrieval using document decomposition
US6418430B1 (en) * 1999-06-10 2002-07-09 Oracle International Corporation System for efficient content-based retrieval of images
US6751363B1 (en) * 1999-08-10 2004-06-15 Lucent Technologies Inc. Methods of imaging based on wavelet retrieval of scenes

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004038613A1 (fr) * 2002-10-23 2004-05-06 Softhouse Nordic Ab Evaluation de ressemblance de mobiles
WO2009118081A1 (fr) * 2008-03-28 2009-10-01 Neoperl Gmbh Procédé d'identification
US8509475B2 (en) 2008-03-28 2013-08-13 Neoperl Gmbh Identification method

Also Published As

Publication number Publication date
WO2001044887A3 (fr) 2002-04-11
FR2802670B1 (fr) 2002-02-15
AU2527501A (en) 2001-06-25
EP1238323A2 (fr) 2002-09-11
US20020184203A1 (en) 2002-12-05
FR2802670A1 (fr) 2001-06-22

Similar Documents

Publication Publication Date Title
EP1238323A2 (fr) Procede de commercialisation de biens ou de services par des moyens electroniques sur des reseaux du type internet
EP1193625B1 (fr) Moteur de recherche collaboratif
TWI585597B (zh) 提供進階檢索結果頁內容之系統與方法
FR2947358A1 (fr) Un assistant-conseiller utilisant l'analyse semantique des echanges communautaires
US20080281794A1 (en) "Web 2.0 information search and presentation" with "consumer == author" and "dynamic Information relevance" models delivered to "mobile and web consumers".
FR2840088A1 (fr) Moteur de recherche et base de donnees, et procedes pour leur mise en oeuvre
FR2698977A1 (fr) Système d'information multimédia.
WO2013140076A2 (fr) Procede et systeme de developpement d'applications de consultation de contenus et services sur un reseau de telecommunciation
CN101779180A (zh) 基于背景的内容推荐的方法和设备
CA2699397C (fr) Procede d'interrogation d'une base de donnees et dispositif d'interrogation
WO2001035269A2 (fr) Systeme de partage d'informations entre au moins deux utilisateurs sur un reseau informatique
EP1532552A2 (fr) Plateforme de type logicielle dediee au referencement de sites du reseau internet
US12455919B2 (en) System and method for automated integration of contextual information with a series of digital images displayed in a display space
EP1997040A1 (fr) Procédé, dispositif et système de gestion d'informations structurées au sein d'une scène graphique
EP4155967B1 (fr) Procédé d'échanges d'informations sur un objet d'intérêt entre une première et une deuxième entités, dispositif électronique d'échange d'informations et produit programme d'ordinateur associés
WO2005114469A1 (fr) Procede et dispositif de recherche avec conservation personnalisee des resultats
FR2960323A1 (fr) Dispositif et procede d'apprentissage automatique de profilage
KR20090013143A (ko) 인터넷을 통한 정보 제공방법 및 이를 기록한 기록매체
FR2812420A1 (fr) Procede automatique de mise en forme de pages dynamiques sur un site internet
FR3148100A1 (fr) Methode et systeme pour comparer des annonces internet multisites
WO2024194385A1 (fr) Dispositif et procédé de suivi d'un utilisateur accédant à un site web
FR3112220A1 (fr) Procede de recherche assistee dans une base de donnees et systeme de recherche associe
Pabarškaitė Enhancements of pre-processing, analysis and presentation techniques in web log mining
FR2835072A1 (fr) Procede de consultation de contenus numeriques et de bases de donnees agreges
WO2002103980A2 (fr) Procede et systeme de diffusion d'images numeriques

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
AK Designated states

Kind code of ref document: A3

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 10171265

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2000988940

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2000988940

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2000988940

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

NENP Non-entry into the national phase

Ref country code: JP