Robots.txt Oluşturma

XML site haritasında olduğu gibi bir robots.txt dosyası oluşturarak arama motoru tarayıcılarına izlemeleri gereken talimatları bildirebilirsiniz. En üst düzey dizinde bu dosyaya yer vererek arama motoru tarayıcılarını kontrol edebilirsiniz. Bu dosyanın içerisinde birbirinden farklı tarayıcılara yönelik komutlara yer verebilir ve aynı zamanda farklı arama motorları için değişik protokoller oluşturabilirsiniz.