Robots.txt veya robot hariç tutma protokolü, arama motoru robotlarının her web sayfasını o sayfadaki şema işaretlemelerine kadar nasıl tarayacağını kontrol eden bir dizi web standardıdır. Bu, web tarayıcılarının web sitenizin tamamına veya bir kısmına erişmesini bile engelleyebilecek standart bir metin dosyasıdır.
------------------ User-agent: Googlebot Disallow: /admin/ User-agent: * Allow: / Sitemap: https://www.turksem.com/sitemap.xml
------------------
Örnek kullanımda /admin/ kısmı yasaklanmıştır. Eğer o şekilde bir yasaklama yapmak istemiyorsanız "Disallow: /admin/" bu kısmı silmelisiniz.
Bilgi : WordPress, robots.txt dosyasını otomatik oluşturmaktadır.