Merhabalar bir ay önce bir arkadaşımın üzerinde işlediği bir projeye yardım ettim. Aslında şuan bu tool tekbaşına bir tool diyil. Üzerinde çalışılan büyük bir projenin sadece 1 mödülü (kütüphanesi).
Şuan çalışmalar devam etmektedir. Tool hakkında Resmi Dökumantasyonu burada paylaşıyorum ve bu paylaşım yazılımın resmi github sayfasında yer alacaktır.
Github : https://github.com/BAYQUS/httpeek
kullanmadan önce readme.md dosyasını okuyunuz
EKRAN GÖRÜNTÜSÜ
----------------------------------------------------------------------
----------------------------------------------------------------------
HTTPEEK NEDİR?
----------------------------------------------------------------------
httpeek; hızlı, pratik bir HTTP yoklayıcısıdır. Çoklu hedefleri eşzamanlı denetler ve şunları özetler:
- durum kodu (status)
- sayfa başlığı (title)
- içerik uzunluğu (content-length)
- yönlendirme zinciri (→ adım • son-host özeti)
- isteğe bağlı TLS sertifika bilgisi (--tls-info)
Önde Cloudflare olup olmadığına ilişkin güçlü bir ipucunu; DNS (NS/CNAME) ve HTTP başlıklarını kullanarak verir. Hedef, "süs değil; sinyal"dir.
----------------------------------------------------------------------
ÖZELLİKLER (ŞU AN için)
----------------------------------------------------------------------
- Eşzamanlı kontrol (threads)
- Otomatik yönlendirme takibi ve ihtiyaç halinde manuel özet (10 adıma kadar)
- Filtreler: durum kodu aralıkları, içerik uzunluğu aralıkları, title/body için regex
- IP çözümleme, içerik boyutu, son yönlendirilen host bilgisi
- İsteğe bağlı TLS sertifika özeti (--tls-info)
- Cloudflare sezgileri (DNS + başlık; kırılgan IP aralık listeleri kullanılmaz)
- JSON/CSV dışa aktarım
- Proxy ve rastgele User-Agent desteği
----------------------------------------------------------------------
KURULUM (KISA VE HIZLI) — scripts/install.sh
----------------------------------------------------------------------
Depodaki komutlar:
1) cd scripts
2) sudo bash install.sh
Ne yapar?
- Gerekli paketleri (venv, pip) apt/dnf/pacman ile doğrular/kurar
- Depoyu /usr/share/httpeek altına kopyalar
- İzole bir Python venv oluşturur ve bağımlılıkları kurar
- /usr/bin/httpeek kısayolunu yazar (venv içinden çalıştırır)
Hızlı test:
- httpeek --help
- httpeek -u https://example.com
Kaldırma (manuel):
- sudo rm -rf /usr/share/httpeek
- sudo rm -f /usr/bin/httpeek
Not (Debian/Kali / PEP 668):
- Sistem pip yerine venv veya pipx tercih edilir (kurulum betiği zaten venv kullanır)
Alternatif (isteğe bağlı):
- pipx install .
ardından: httpeek --help
- Geliştirme modu:
python3 -m venv .venv && source .venv/bin/activate
pip install -U pip setuptools wheel
pip install -r requirements.txt
pip install -e .
----------------------------------------------------------------------
HIZLI BAŞLANGIÇ
----------------------------------------------------------------------
Tek hedef:
- httpeek -u https://example.com
Liste + daha fazla thread:
- httpeek -l hosts.txt --threads 200
stdin’den oku, JSON üret:
- cat hosts.txt | httpeek --stdin --json
----------------------------------------------------------------------
SIK KULLANILAN BAYRAKLAR
----------------------------------------------------------------------
Girdi:
- -u, --url URL tek hedef
- -l, --list FILE hedef listesi (satır başına bir hedef)
- --stdin hedefleri stdin’den oku
Eşzamanlılık ve ağ:
- --threads N varsayılan: 50
- --timeout S saniye
- --retries N tekrar denemesi
- --method {GET,HEAD} istek yöntemi
- --no-redirect otomatik yönlendirmeyi kapat (manuel özet kullanılır)
- --random-agent rastgele User-Agent
- --proxy URL örn. http://127.0.0.1:8080
Filtreleme:
- -sc, --status-code ARALIK örn. 2xx,301-302
- -cl, --content-length ARALIK örn. 1024-4096, 1000-, -4096
- --title-match REGEX title’da regex eşleşmesi
- --body-match REGEX gövdede regex eşleşmesi
- --only-active yalnızca “canlı” sonuçları göster (genellikle 2xx)
Çıktı:
- --tls-info TLS sertifika özeti
- --json satır başına JSON nesnesi (JSON Lines)
- --csv csv: url,ip,status,length,"title"
- -V, --version sürüm yazdır
- -h, --help yardım
İpucu:
- Sürüm için -V kullan; ileride -v (verbose) eklemek istersen çakışmaz.
----------------------------------------------------------------------
ÖRNEK SENARYOLAR
----------------------------------------------------------------------
2xx veya 301–302 olanları filtrele, JSON’a yaz:
- httpeek -l hosts.txt -sc 2xx,301-302 --json > alive.jsonl
Başlıkta “admin” geçenleri CSV’ye yaz:
- httpeek --stdin --title-match "(?i)admin" --csv < hosts.txt > admin.csv
Muhtemel Cloudflare (Title’da [CF] görünür):
- httpeek -l hosts.txt --threads 150
TLS bilgisi iste:
- httpeek -u https://secure.example.org --tls-info
Proxy ile (Burp/mitmproxy):
- httpeek --proxy http://127.0.0.1:8080 -l scope.txt
----------------------------------------------------------------------
ÇIKTI BİÇİMLERİ
----------------------------------------------------------------------
Varsayılan tablo:
- Sütunlar: URL · IP · Status · Title (Cloudflare şüphesi varsa [CF]) · Redirect (→ adım • son-host)
JSON (satır başına nesne):
- {"url":"https://example.com","ip":"93.184.216.34","status":200,"length":6480,"title":"Example Domain","cf":false,"redirect":"0 hops • example.com"}
CSV:
- url,ip,status,length,"title"
- https://example.com,93.184.216.34,200,6480,"Example Domain"
----------------------------------------------------------------------
FİLTRELEME İPUÇLARI
----------------------------------------------------------------------
- Durum kodu: -sc 2xx,403,500-502
- İçerik uzunluğu: -cl 1000- (1000’den büyük), -cl -4096 (4096’dan küçük)
- Title/Body regex: --title-match "(?i)login" veya --body-match "<form[^>]*>"
- Yalnızca canlı: --only-active (genellikle 2xx)
- Regex motoru Python re’dir; büyük/küçük harf duyarsız eşleşme için (?i) kullanın
----------------------------------------------------------------------
CLOUDFLARE SEZGİLERİ
----------------------------------------------------------------------
- DNS: NS/CNAME örüntüleri Cloudflare izine işaret edebilir
- HTTP başlıkları: cf-ray, server: cloudflare vb.
- Görsel ipucu: Title sütununa [CF] etiketi eklenir
- Bilerek kullanılmayan: IP aralık listeleri (yanlış pozitif/negatifleri azaltmak için)
----------------------------------------------------------------------
PERFORMANS VE ETİK
----------------------------------------------------------------------
- Threads: 50–200 çoğu durum için yeterlidir; aşırı artırmayın
- Timeout/Retry: makul değerler seçin (örn. --timeout 10 --retries 1)
- Rate-limit: planlı; ayarlar gelene dek “iyi komşuluk” prensibiyle kullanın
- Hukuki sınırlar: yalnızca yetkili olduğunuz hedeflerde çalıştırın
----------------------------------------------------------------------
YOL HARİTASI (V1.1.1) (GELECEK SÜRÜM)
----------------------------------------------------------------------
- HTTP/2/ALPN ipuçları ve yanıt süresi sütunu
- İsteğe bağlı headless ekran görüntüsü alma
- SQLite dışa aktarım
- JS-ağırlıklı sayfalarda daha akıllı title/body çıkarımı
- Rate-limit ve backoff ayarları
----------------------------------------------------------------------
TAM CHEATSHEET VE KULLANIM KLAVUZU
----------------------------------------------------------------------
Saygı ve sevgilerle
Şuan çalışmalar devam etmektedir. Tool hakkında Resmi Dökumantasyonu burada paylaşıyorum ve bu paylaşım yazılımın resmi github sayfasında yer alacaktır.
kullanmadan önce readme.md dosyasını okuyunuz
httpeek - RESMÎ DOKÜMANTASYON
----------------------------------------------------------------------EKRAN GÖRÜNTÜSÜ
----------------------------------------------------------------------
----------------------------------------------------------------------
HTTPEEK NEDİR?
----------------------------------------------------------------------
httpeek; hızlı, pratik bir HTTP yoklayıcısıdır. Çoklu hedefleri eşzamanlı denetler ve şunları özetler:
- durum kodu (status)
- sayfa başlığı (title)
- içerik uzunluğu (content-length)
- yönlendirme zinciri (→ adım • son-host özeti)
- isteğe bağlı TLS sertifika bilgisi (--tls-info)
Önde Cloudflare olup olmadığına ilişkin güçlü bir ipucunu; DNS (NS/CNAME) ve HTTP başlıklarını kullanarak verir. Hedef, "süs değil; sinyal"dir.
----------------------------------------------------------------------
ÖZELLİKLER (ŞU AN için)
----------------------------------------------------------------------
- Eşzamanlı kontrol (threads)
- Otomatik yönlendirme takibi ve ihtiyaç halinde manuel özet (10 adıma kadar)
- Filtreler: durum kodu aralıkları, içerik uzunluğu aralıkları, title/body için regex
- IP çözümleme, içerik boyutu, son yönlendirilen host bilgisi
- İsteğe bağlı TLS sertifika özeti (--tls-info)
- Cloudflare sezgileri (DNS + başlık; kırılgan IP aralık listeleri kullanılmaz)
- JSON/CSV dışa aktarım
- Proxy ve rastgele User-Agent desteği
----------------------------------------------------------------------
KURULUM (KISA VE HIZLI) — scripts/install.sh
----------------------------------------------------------------------
Depodaki komutlar:
1) cd scripts
2) sudo bash install.sh
Ne yapar?
- Gerekli paketleri (venv, pip) apt/dnf/pacman ile doğrular/kurar
- Depoyu /usr/share/httpeek altına kopyalar
- İzole bir Python venv oluşturur ve bağımlılıkları kurar
- /usr/bin/httpeek kısayolunu yazar (venv içinden çalıştırır)
Hızlı test:
- httpeek --help
- httpeek -u https://example.com
Kaldırma (manuel):
- sudo rm -rf /usr/share/httpeek
- sudo rm -f /usr/bin/httpeek
Not (Debian/Kali / PEP 668):
- Sistem pip yerine venv veya pipx tercih edilir (kurulum betiği zaten venv kullanır)
Alternatif (isteğe bağlı):
- pipx install .
ardından: httpeek --help
- Geliştirme modu:
python3 -m venv .venv && source .venv/bin/activate
pip install -U pip setuptools wheel
pip install -r requirements.txt
pip install -e .
----------------------------------------------------------------------
HIZLI BAŞLANGIÇ
----------------------------------------------------------------------
Tek hedef:
- httpeek -u https://example.com
Liste + daha fazla thread:
- httpeek -l hosts.txt --threads 200
stdin’den oku, JSON üret:
- cat hosts.txt | httpeek --stdin --json
----------------------------------------------------------------------
SIK KULLANILAN BAYRAKLAR
----------------------------------------------------------------------
Girdi:
- -u, --url URL tek hedef
- -l, --list FILE hedef listesi (satır başına bir hedef)
- --stdin hedefleri stdin’den oku
Eşzamanlılık ve ağ:
- --threads N varsayılan: 50
- --timeout S saniye
- --retries N tekrar denemesi
- --method {GET,HEAD} istek yöntemi
- --no-redirect otomatik yönlendirmeyi kapat (manuel özet kullanılır)
- --random-agent rastgele User-Agent
- --proxy URL örn. http://127.0.0.1:8080
Filtreleme:
- -sc, --status-code ARALIK örn. 2xx,301-302
- -cl, --content-length ARALIK örn. 1024-4096, 1000-, -4096
- --title-match REGEX title’da regex eşleşmesi
- --body-match REGEX gövdede regex eşleşmesi
- --only-active yalnızca “canlı” sonuçları göster (genellikle 2xx)
Çıktı:
- --tls-info TLS sertifika özeti
- --json satır başına JSON nesnesi (JSON Lines)
- --csv csv: url,ip,status,length,"title"
- -V, --version sürüm yazdır
- -h, --help yardım
İpucu:
- Sürüm için -V kullan; ileride -v (verbose) eklemek istersen çakışmaz.
----------------------------------------------------------------------
ÖRNEK SENARYOLAR
----------------------------------------------------------------------
2xx veya 301–302 olanları filtrele, JSON’a yaz:
- httpeek -l hosts.txt -sc 2xx,301-302 --json > alive.jsonl
Başlıkta “admin” geçenleri CSV’ye yaz:
- httpeek --stdin --title-match "(?i)admin" --csv < hosts.txt > admin.csv
Muhtemel Cloudflare (Title’da [CF] görünür):
- httpeek -l hosts.txt --threads 150
TLS bilgisi iste:
- httpeek -u https://secure.example.org --tls-info
Proxy ile (Burp/mitmproxy):
- httpeek --proxy http://127.0.0.1:8080 -l scope.txt
----------------------------------------------------------------------
ÇIKTI BİÇİMLERİ
----------------------------------------------------------------------
Varsayılan tablo:
- Sütunlar: URL · IP · Status · Title (Cloudflare şüphesi varsa [CF]) · Redirect (→ adım • son-host)
JSON (satır başına nesne):
- {"url":"https://example.com","ip":"93.184.216.34","status":200,"length":6480,"title":"Example Domain","cf":false,"redirect":"0 hops • example.com"}
CSV:
- url,ip,status,length,"title"
- https://example.com,93.184.216.34,200,6480,"Example Domain"
----------------------------------------------------------------------
FİLTRELEME İPUÇLARI
----------------------------------------------------------------------
- Durum kodu: -sc 2xx,403,500-502
- İçerik uzunluğu: -cl 1000- (1000’den büyük), -cl -4096 (4096’dan küçük)
- Title/Body regex: --title-match "(?i)login" veya --body-match "<form[^>]*>"
- Yalnızca canlı: --only-active (genellikle 2xx)
- Regex motoru Python re’dir; büyük/küçük harf duyarsız eşleşme için (?i) kullanın
----------------------------------------------------------------------
CLOUDFLARE SEZGİLERİ
----------------------------------------------------------------------
- DNS: NS/CNAME örüntüleri Cloudflare izine işaret edebilir
- HTTP başlıkları: cf-ray, server: cloudflare vb.
- Görsel ipucu: Title sütununa [CF] etiketi eklenir
- Bilerek kullanılmayan: IP aralık listeleri (yanlış pozitif/negatifleri azaltmak için)
----------------------------------------------------------------------
PERFORMANS VE ETİK
----------------------------------------------------------------------
- Threads: 50–200 çoğu durum için yeterlidir; aşırı artırmayın
- Timeout/Retry: makul değerler seçin (örn. --timeout 10 --retries 1)
- Rate-limit: planlı; ayarlar gelene dek “iyi komşuluk” prensibiyle kullanın
- Hukuki sınırlar: yalnızca yetkili olduğunuz hedeflerde çalıştırın
----------------------------------------------------------------------
YOL HARİTASI (V1.1.1) (GELECEK SÜRÜM)
----------------------------------------------------------------------
- HTTP/2/ALPN ipuçları ve yanıt süresi sütunu
- İsteğe bağlı headless ekran görüntüsü alma
- SQLite dışa aktarım
- JS-ağırlıklı sayfalarda daha akıllı title/body çıkarımı
- Rate-limit ve backoff ayarları
----------------------------------------------------------------------
TAM CHEATSHEET VE KULLANIM KLAVUZU
----------------------------------------------------------------------
Saygı ve sevgilerle
Son düzenleme:
