Robots.txt, sitenin kökünde duran ve arama motoru botlarına hangi yolları tarayıp hangilerini taramayacağını söyleyen küçük bir metin dosyasıdır. Küçüktür ama tehlikelidir: yeni bir site hazırlanırken geliştirici “arama motorları girmesin” diye tüm siteyi engelleyen bir kural koyar, site canlıya alınırken kural unutulur ve haftalarca kimse neden trafik gelmediğini anlamaz. Bu senaryo abartı değil; tanıdık bir hikâye.
Dosyanın temel mantığı
Robots.txt, alanadi.com/robots.txt adresinde durur. İçinde iki temel komut vardır: User-agent hangi botun kastedildiğini, Disallow ise hangi yolun taranmaması gerektiğini belirtir. Örneğin:
User-agent: *
Disallow: /admin/
Bu, “tüm botlar, admin klasörünü tarama” demektir. Bir de Allow komutu ve Sitemap satırı vardır. Dosya bir zorunluluk değil, nezaket kuralıdır; büyük arama motorları uyar, kötü niyetli botlar uymaz. Yani hassas bilgiyi robots.txt ile “saklamak” güvenlik önlemi sayılmaz.
Hata 1: Tüm siteyi kapatan tek satır
Disallow: / satırı, User-agent: * altındaysa tüm siteyi tarama dışı bırakır. Hazırlık ortamında doğru ve gerekli bir ayardır; canlıda felakettir. Yeni bir site yayına alınırken robots.txt’yi kontrol etmek, kontrol listesinin ilk maddelerinden biri olmalı. WordPress’te ayrıca “Arama motorlarının bu siteyi dizine eklemesini engelle” onay kutusu vardır ve bu kutu da sıkça işaretli kalır.
Hata 2: Robots.txt ile dizinden çıkarmaya çalışmak
Bir sayfayı arama sonuçlarından kaldırmak istiyorsan robots.txt doğru araç değildir. Robots.txt taramayı engeller, dizinden kaldırmaz. Google sayfayı taramazsa noindex etiketini de göremez; sayfa başka sitelerden link aldığı için içeriksiz de olsa sonuçlarda görünmeye devam edebilir. Sayfanın dizinden çıkmasını istiyorsan sayfada noindex etiketi olmalı ve sayfa taramaya açık kalmalı. Sayfa kaldırıldıktan sonra robots.txt ile engelleyebilirsin.
Hata 3: CSS ve JavaScript dosyalarını engellemek
Eski tavsiyelerle kalan bazı sitelerde /wp-content/ ya da /assets/ gibi klasörler engellenir. Ama Google sayfayı düzgün görebilmek için stil ve script dosyalarını da çekmek zorundadır. Bunlar engelliyse sayfa bozuk görünür ve mobil uyum ya da içerik değerlendirmesi hatalı yapılabilir. Görsel ve stil dosyalarını genellikle açık bırak.
Hata 4: Yazım ve yol hatası
Robots.txt büyük küçük harfe duyarlıdır ve yol kalıpları harfiyen okunur. Disallow: /Blog/ ile /blog/ aynı şey değildir. Fazladan bir boşluk, yanlış yerde bir eğik çizgi ya da eksik bir yıldız işareti, beklediğinin dışında bir bölümü kapatabilir. Disallow: /urun yazarsan /urun/, /urunler/, /urun-katalogu/ gibi ile başlayan her adres kapanır. Kapsamı daraltmak için sona eğik çizgi ekle ya da tam yol kullan.
Hata 5: Sitemap satırını unutmak ve eski adres bırakmak
Sitemap satırı zorunlu değildir ama botların dosyayı kolay bulmasını sağlar. Adresi yanlış ya da eski alan adını gösteriyorsa işe yaramaz. Site taşındığında robots.txt içindeki sitemap ve yol kurallarını güncelleme, en sık unutulan adımdır.
Güvenli bir örnek dosya
Çoğu kurumsal ya da hizmet sitesi için basit bir yapı yeterlidir:
User-agent: *
Disallow: /admin/
Disallow: /sepet/
Disallow: /arama/
Sitemap: https://alanadi.com/sitemap.xml
Kendi sitene göre uyarlarken her satırın neden orada olduğunu bil. “Herkes koyuyor” mantığıyla eklenen satırlar, farkında olmadan önemli bir bölümü engelleyebilir.
Yayından önce ve sonra test
- Tarayıcıya
alanadi.com/robots.txtyaz, dosya açılıyor mu, içeriği doğru mu? Disallow: /satırı var mı, varsa canlıda olmaması gerekir.- Search Console’da Ayarlar bölümünden robots.txt raporuna bak; Google dosyayı en son ne zaman çekmiş, hata var mı?
- URL Denetimi’nde önemli birkaç sayfayı test et; “robots.txt tarafından engellendi” uyarısı çıkıyor mu?
- Hazırlık ortamını (staging) parola koruması ile kapat; yalnızca robots.txt’ye güvenme. Parola korumalı ortam dizine girmez, robots.txt ile korunan ortam ise linkle sızabilir.
Yıldız ve dolar işareti: kalıp kullanımı
Robots.txt basit kalıp eşleştirmeyi destekler. Yıldız (*) herhangi bir karakter dizisi, dolar işareti ($) adresin sonu anlamına gelir. Disallow: /*?sirala= parametreli sıralama adreslerini kapatır. Disallow: /*.pdf$ PDF dosyalarını kapatır. Bunlar güçlüdür ama dikkat gerektirir; bir kalıbı yanlış yazmak beklenmedik bölümleri de kapsayabilir. Yeni bir kural eklemeden önce onun kaç adresi etkileyeceğini düşün ve önemli sayfaların etkilenmediğini test et. Google’ın robots.txt test araçları ya da bir tarama aracıyla deneme yapmak güvenli yoldur.
Örnek: hazırlık ortamından canlıya geçişte kaza
Bir restoran zincirinin yeni sitesi hazırlık adresinde geliştirildi. Geliştirici, Google’ın yarım kalmış siteyi dizine almaması için robots.txt’ye tüm siteyi kapatan kuralı koydu, ki bu doğru bir tercih. Site tamamlandı, dosyalar canlı sunucuya kopyalandı, robots.txt de dahil. Eski site sıralamadaki yerini haftalar içinde kaybetti çünkü Google yeni sitenin hiçbir sayfasına giremedi. Kimse fark etmedi, çünkü site tarayıcıda gayet normal açılıyordu. Bu hikâye uydurma bir müşteri vakası değil, yayın öncesi kontrol listesinin neden var olduğunu anlatan tipik bir senaryo. Çözüm iki dakikalık bir kontrol: canlıya çıkarken robots.txt adresini aç, noindex ayarlarını ve sitemap adresini doğrula.
Yayın sonrası ilk hafta Search Console’da tarama istatistiklerini izle. Tarama sayısı düşüyor ya da sıfıra iniyorsa ilk baktığın yer robots.txt olsun.
Değişiklik günlüğü tut
Robots.txt’yi kimin, ne zaman değiştirdiğini kaydet. Sorun çıktığında ilk soru “son değişiklik neydi” olur ve cevabı aramak saatler alır. Dosyayı sürüm kontrolüne koymak ya da en azından bir notta tarih ve değişiklik yazmak yeterli. Ajansla çalışıyorsan bu dosyaya kimin erişimi olduğunu da bil; çoğu zaman birden fazla kişi (geliştirici, ajans, eklenti) dosyayı değiştirebilir ve çelişkili kurallar üretebilir.
Bir de şu ayrıntı: robots.txt dosyası bulunamazsa (404) Google her şeyin taranabilir olduğunu varsayar; sunucu hatası (5xx) verirse taramayı bir süre durdurabilir. Yani dosyanın hiç olmaması sorun değil ama yanlış sunucu ayarıyla hata vermesi sorundur.
Yapay zekâ botları hakkında not
Son dönemde bazı yapay zekâ botlarının kendine özel User-agent adları var ve site sahipleri bu botları robots.txt ile engelleyebiliyor ya da izin verebiliyor. Bu bir strateji kararıdır: içeriğinin yapay zekâ yanıtlarında kullanılmasını istiyor musun, istemiyor musun? Karar vermeden toptan engelleme yapma; hangi botların hangi amaçla geldiğini öğrenip hedefine göre seç.
Robots.txt’yi, hatanın en pahalıya patladığı ama düzeltmesinin bir dakika sürdüğü dosya olarak düşün. Yeni site yayınında ya da taşımada bu dosyaya bakmak alışkanlık olmalı. Kendi dosyanı birlikte gözden geçirmek istersen SEO hizmetimizde yayın öncesi kontrol adımı olarak yapıyoruz. Adresi iletişim sayfasından gönder ya da 0540 022 64 22 numarasına WhatsApp’tan yaz; dosyaya beş dakikada bakalım.