Hoşgeldin Misafir

Robots.txt ile Crawler Engelleme,Sitenizin Kopyalanmasını Önlemek

jrCoder

jrCoder

jrCoder

25 Eyl 2017
425 Mesaj

Aktiflik

Seviye

Deneyim

TIM / GÖREV:
-
Do+Not+Copy+F&M.png
-​
-Aşşağıdaki Robots.txt içeriğini olduğu gibi robots.txt içersine kopyalayın.-​
Dipnot : Sakın herhangi bir satırda değişiklik yapmayın! Çalışmayabilir!​



peki bunları entegre ettik diyelim robots.txt ye ne işimize yarayacak... hemen bahsedeyim​


-SiteSnagger,WebStripper,WebCopier,Offline Explorer,Teleport,TeleportPro,HTTrack,Microsoft.URL.Control,Download Ninja,wget,filegetcontent,WebReaper Gibi Yazılımlardan Servisleri Kullanan Kullanıcılar bildiğiniz gibi sitenizin kopyasını .html versiyonuyla veya sahte .php uzantısıyla sitenizin Client-Side Görünümünü Çekmeye çalışırlar ve fake'ini yapmaya çalışırlar veya aynı yazılımı taklit etmeye çalışırlar bunun önüne %85'e Varan önüne geçiyorsunuz. bu yazılımları kullanıp sitenizin görüntüsünü gölgesini çekmeye çalıştığında işe yaramayacaktır. hiç birşey çekemeyecektir.-


--PHP Kod:---
Kod: 
# Cryptr.Org Robots.txt Controller (Kodları Değiştirmeyiniz jrCoder)
# Crawlerlar Devre Dışı

User-agent: UbiCrawler
Disallow: /

User-agent: DOC
Disallow: /

User-agent: Zao
Disallow: /

# Website görüntüsünü kopyalayan user-agentler devre dışı

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

# agent isteklerde fast geçenler
User-agent: fast
Disallow: /

#website kopyalayıcılar indiriciler ssh modu devre dışı

User-agent: wget
Disallow: /

#
# The 'grub' distributed client has been *very* poorly behaved.
#
User-agent: grub-client
Disallow: /

#
# robots.txt yi takip engelle
#
User-agent: k2spider
Disallow: /

#
# hit ölçerler site değeri ölçerler devre dışı
# http://www.nameprotect.com/botinfo.html
User-agent: NPBot
Disallow: /

# public sayfaları indexof sayfaları çeken bot devre dışı
# http://www.webreaper.net/
User-agent: WebReaper
Disallow: /

User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Allow: /
sitemap: http://siteadresi.com/sitemap.xml 
 
Cevap yazmak için giriş yap yada kayıt ol.
Geri
Üst