Beim Crawling, das ist das Indizieren von Webseiten durch Crawler von Suchmaschinen, gibt es gewisse Differenzierungen in Bezug auf die Indexierung.
Während beim Deepbot eine Tiefen-Indexierung stattfindet bei dem die Crawler und Robots eigenständig die Unterseiten einer Website erfassen, geht es beim Freshbot oder Fresh Crawl um die Erfassung von aktuellen, kurzfristig eingestellten oder geänderten Webseiten.
Mit dem Freshbot werden Webseiten mit aktuellem Content aufgesucht, um diese so zeitnah als möglich in den Ergebnisseiten zu publizieren. Dabei kann es sich durchaus auch um Webseiten mit niedrigem RankingIndex handeln, die obere Positionen in den Ergebnisseiten besetzen. Es ist eine kurzfristige Bewertung, die durch die spätere exakte Bewertung relativiert wird. Häufig wird beim Fresh Crawl das Erfassungsdatum mit angezeigt.