Bu veri Google Webmaster Console'da sizin için anlık olarak kontrol edilmektedir.
Robots.txt dosyası ile sitenizin arama motorlarında indexlenip, indexlenmeyeceğini seçebilmektesiniz. Bu yönlendirmelerinize göre arama motorları sizi veri tabanına kayıt edip etmeyeceğine karar verir. Fakat; bu karara uymak veya uymamak yine arama motorlarının kararına kalmıştur.