Suchmaschinenbetreiber bieten verschiedene Services wie die textbasierte Suche nach Keywords, die geografisch-orientierte Suche in Online-Kartendiensten oder die visuelle Suche nach Bildern, die auch als Visual Search bezeichnet wird. Allerdings kann sich die Bildersuche auf die Bildunterschrift beschränken und nur solche Bilder in der Ergebnisseite dargestellen, bei denen das Suchwort in der Bildunterschrift ist. Es gibt allerdings noch einen weiterführenden Ansatz bei dem statt der Suchwörter Bilder in die Suchmaschine eingegeben werden und die Suchmaschine Informationen zu den Fotos liefert, quasi wie bei einer erweiterten Realität ( AR).
Der Ansatz, bei dem Bilder in die Suchmaschine eingegeben werden, wird von Google als Visual Search bezeichnet. Dabei werden Fotos von Handy- oder Smartphone-Kameras erfasst und an den Server der Suchmaschine übermittelt. Dieser vergleicht und analysiert die aufgenommenen Objekte - Gebäude, Tiere oder Landschaften - mit Objekten in der Bilderdatenbank und stellt dem Benutzer die gewünschten Informationen über das Gebäude oder das Tier zur Verfügung.
Die Daten der aufgenommenen Objekte werden mit den Positionsdaten aus dem GPS-System verknüpft, so dass bei Bauwerken die in der Praxis erprobte Technik der Location Based Services ( LBS) teilweise eingesetzt werden kann. Weitere partielle Ansätze für die Visual-Search-Technik sind die Gesichtserkennung, Gangerkennung und das Scannen der 2D-Codes.