robots.txt

Öncelikle, robots.txt dosyasından bahsetmeden önce, bu kavramı kısaca ve açıklayıcı bir şekilde anlatmanın önemli olduğunu düşünüyorum. Robots.txt, sitenizin hangi sayfalarının veya bölümlerinin taranmasına izin verildiğini veya engellendiğini anlatan basit bir komut dosyasıdır. Bu dosya, arama...

XML site haritasında olduğu gibi bir robots.txt dosyası oluşturarak arama motoru tarayıcılarına izlemeleri gereken talimatları bildirebilirsiniz. En üst düzey dizinde bu dosyaya yer vererek arama motoru tarayıcılarını kontrol edebilirsiniz. Bu dosyanın içerisinde birbirinden farklı tarayıcılara...