Bir yönetim alanını engellemek
User-agent: *, Disallow: /admin, /api
User-agent: * Disallow: /admin Disallow: /api
Robots.txt Oluşturucu
User-agent bazlı allow/disallow kuralları ve sitemap referansıyla bir robots.txt oluşturun.
robots.txt
User-agent: * Disallow: /admin Disallow: /api Sitemap: https://example.com/sitemap.xml
Bu araç işinize yaradı mı?
Bu araç hakkında
robots.txt, kurallara uyan bir crawler'ın bir sitede başka herhangi bir şeye dokunmadan önce kontrol ettiği ilk dosyadır — hangi yolları getirebileceğini veya getiremeyeceğini, user-agent bazında belirten düz metin bir kural kümesi. Bu bir kilit değil, bir taleptir: robots.txt'i görmezden gelen bir crawler (bazıları öyle yapar) bununla durdurulmaz, ama her büyük arama motoru buna saygı duyar.
Nasıl kullanılır
- Bir kural grubu için user-agent belirleyin — * her crawler'ı eşleştirir; Googlebot gibi belirli biri yalnızca o crawler'ı etkiler ve kendi grubuna ihtiyaç duyar.
- Yasaklanacak yolları satır başına bir tane olacak şekilde listeleyin, ve daha geniş bir yasağın altındaki istisnaları izin verilenler kısmına ekleyin.
- Farklı muamele gerektiren crawler'lar için ek kural grupları ekleyin ve altta sitemap URL'inizi ayarlayın.
- Sonucu, sitenizin kökünde literal olarak robots.txt adlı bir dosyaya kopyalayın — /robots.txt, herhangi bir alt klasöre değil.
Örnekler
Sık karşılaşılan sorunlar
- Bir yolu yasakladım ama hâlâ Google'ın arama sonuçlarında görünüyor.
- robots.txt yalnızca taramayı durdurur, indekslemeyi değil — Google'ın başka bir yerdeki bir bağlantıdan zaten bildiği bir URL yine de görünebilir (genellikle snippet'siz). Onu gerçekten arama sonuçlarının dışında tutmak için sayfanın kendisinde bir noindex meta etiketi kullanın.