Robots.txt Nedir?
Robots.txt, arama motoru botlarının bir web sitesinde hangi sayfalara veya dizinlere erişebileceğini belirlemek için kullanılan metin tabanlı bir dosyadır. Web sitesinin kök dizininde yer alır ve tarama (crawl) sürecini kontrol etmeyi amaçlar.
Bu dosya, arama motorlarına hangi içeriklerin taranabileceğini veya taranmaması gerektiğini bildirir. Robots.txt, bir sayfanın indekslenmesini değil, yalnızca taranmasını yönetir.
Robots.txt İçinde Kullanılan Temel Komutlar
Robots.txt dosyasında en sık kullanılan direktifler şunlardır:
- User-agent → Kuralın hangi bot için geçerli olduğunu belirtir
- Disallow → Botların erişmemesi gereken dizin veya URL’leri tanımlar
- Allow → Disallow edilmiş alanlar içinde izin verilen URL’leri belirtir
- Crawl-delay → Botların tarama sıklığını sınırlar (tüm arama motorları desteklemez)
- Sitemap → Site haritasının URL adresini belirtir
Örnek Robots.txt Dosyası
User-agent: *
Disallow: /admin/
Disallow: /login/
Allow: /
Sitemap: https://elevoo.io/sitemap.xml
Robots.txt SEO Açısından Neden Önemlidir?
- Gereksiz sayfaların taranmasını engeller
- Crawl budget’ın verimli kullanılmasını sağlar
- Hassas veya teknik dizinleri botlardan korur
Robots.txt ile Yapılamayanlar
- Sayfaların indekslenmesini doğrudan engellemez
- Şifreleme veya güvenlik çözümü değildir
- Arama sonuçlarından URL kaldırma işlemi yapmaz
Bu işlemler için noindex meta etiketi veya Search Console araçları kullanılır.