robots.txt oluşturma

XML site haritasında olduğu gibi bir robots.txt dosyası oluşturarak arama motoru tarayıcılarına izlemeleri gereken talimatları bildirebilirsiniz. En üst düzey dizinde bu dosyaya yer vererek arama motoru tarayıcılarını kontrol edebilirsiniz. Bu dosyanın içerisinde birbirinden farklı tarayıcılara...