A webhelyek keresőmotor-szoftver (robotok) általi felderítése a tartalom indexelésének érdekében. A Google összetett algoritmusokat használ annak megállapítására, hogy milyen mértékben térképezze fel az egyes webhelyeket. Célja, hogy minden látogatás során a lehető legtöbb oldalt térképezze fel a webhelyen, mindezt úgy, hogy ne vegye túlzottan igénybe a sávszélességet.
