İçeriği görüntülemek için Giriş yapın veya Kayıt olun.
|
Python ile Veri Çekme - BeautifulSoup - Selenium - Scrapy
- Konuyu Başlatan Or-Bey
- Başlangıç tarihi
Abdulloh2023
- 4 Tem 2023
- 285 Mesaj
Bakalım
teşekkürler
Sütçüİmam123
- 20 Nis 2025
- 55 Mesaj
teşekürler
Teşekkürler
tedisenios
- 26 May 2025
- 123 Mesaj
Elinize sağlık
Kısa çözüm önerisi:
- Özet: Python ile veri çekmede tercih üç araç var: BeautifulSoup (BS4) statik sayfalar için hızlı ve basit; Selenium dinamik içerik ve etkileşim için; Scrapy ise büyük tarama ve akış yönetimi için en uygunu.
- Ne zaman hangi aracı kullanırsın:
- Statik sayfalar ve basit veri: Requests + BeautifulSoup.
- İçerik JS ile yüklüyorsa veya form/detay sayfasına tıklama gerekiyorsa: Selenium (headless modla).
- Çok sayıda sayfayı tarayacak, veri akışını yönetip depolayacaksan: Scrapy.
- Akış önerisi:
1) Hedef siteyi analiz et: robots.txt, izinler, sayfaların statik mi yoksa JS ile mı yüklendiğini kontrol et.
2) Basit veri için: Requests ile sayfayı getir, BeautifulSoup ile gerekli elementleri çıkart.
3) JS gerekiyorsa: Selenium ile gerekli tıklama/etkileşimleri yap, çıkan HTML’i BS4 ile işle.
4) Çok sayıda sayfa/daha büyük proje için: Scrapy ile taramayı kur, parse ve pipeline ile temizle/kaydet (CSV, JSON, DB).
5) Veriyi temizle ve sakla: normalize (trim, unicode), alan adlarını belirle, hedef yapı (title, url, date vb.) olarak sakla.
6) Etik ve güvenlik: hedef siteye saygılı ol, robots.txt’e uy, istek hızını sınırlı tut, User-Agent kullan.
- Basit örnekler (özellikle hızlı başlangıç için):
- Requests + BeautifulSoup: url = 'https://ornek.com'; r = requests.get(url, headers={'User-Agent':'Mozilla/5.0'}); soup = BeautifulSoup(r.text, 'html.parser'); başlıklar = [t.get_text(strip=True) for t in soup.select('h2.title')]
- Selenium (headless): from selenium import webdriver; from selenium.webdriver.common.by import By; options = webdriver.ChromeOptions(); options.add_argument('--headless'); driver = webdriver.Chrome(options=options); driver.get(url); print(driver.find_element(By.CSS_SELECTOR, 'div.title').text); driver.quit()
- Scrapy basit spider: class MySpider(scrapy.Spider): name = 'myspider'; start_urls = ['https://ornek.com']; def parse(self, response): yield {'title': response.css('h2.title::text').get()} ; for next in response.css('a.next::attr(href)').getall(): yield response.follow(next, self.parse)
- Performans ve ipuçları:
- BS4 hızlı, ancak çok sayfalık taramada Scrapy daha verimli ve ölçeklenebilir.
- Selenium ağırdır; yalnızca JS gerektiren durumlarda kullan.
- Scrapy’de pipeline ile temizleme, saklama ve hatalı sayfaları kaydetme kolaydır.
- Robotlar, hız sınırları ve sunucu yükünü düşünerek nazik istekler gönder (delay, concurrent requests, user-agent varyasyonu).
Bu üç yaklaşımla çoğu veri çekme ihtiyacını kolayca karşılayabilir, ihtiyaca göre geçiş yapabilirsin.
- Özet: Python ile veri çekmede tercih üç araç var: BeautifulSoup (BS4) statik sayfalar için hızlı ve basit; Selenium dinamik içerik ve etkileşim için; Scrapy ise büyük tarama ve akış yönetimi için en uygunu.
- Ne zaman hangi aracı kullanırsın:
- Statik sayfalar ve basit veri: Requests + BeautifulSoup.
- İçerik JS ile yüklüyorsa veya form/detay sayfasına tıklama gerekiyorsa: Selenium (headless modla).
- Çok sayıda sayfayı tarayacak, veri akışını yönetip depolayacaksan: Scrapy.
- Akış önerisi:
1) Hedef siteyi analiz et: robots.txt, izinler, sayfaların statik mi yoksa JS ile mı yüklendiğini kontrol et.
2) Basit veri için: Requests ile sayfayı getir, BeautifulSoup ile gerekli elementleri çıkart.
3) JS gerekiyorsa: Selenium ile gerekli tıklama/etkileşimleri yap, çıkan HTML’i BS4 ile işle.
4) Çok sayıda sayfa/daha büyük proje için: Scrapy ile taramayı kur, parse ve pipeline ile temizle/kaydet (CSV, JSON, DB).
5) Veriyi temizle ve sakla: normalize (trim, unicode), alan adlarını belirle, hedef yapı (title, url, date vb.) olarak sakla.
6) Etik ve güvenlik: hedef siteye saygılı ol, robots.txt’e uy, istek hızını sınırlı tut, User-Agent kullan.
- Basit örnekler (özellikle hızlı başlangıç için):
- Requests + BeautifulSoup: url = 'https://ornek.com'; r = requests.get(url, headers={'User-Agent':'Mozilla/5.0'}); soup = BeautifulSoup(r.text, 'html.parser'); başlıklar = [t.get_text(strip=True) for t in soup.select('h2.title')]
- Selenium (headless): from selenium import webdriver; from selenium.webdriver.common.by import By; options = webdriver.ChromeOptions(); options.add_argument('--headless'); driver = webdriver.Chrome(options=options); driver.get(url); print(driver.find_element(By.CSS_SELECTOR, 'div.title').text); driver.quit()
- Scrapy basit spider: class MySpider(scrapy.Spider): name = 'myspider'; start_urls = ['https://ornek.com']; def parse(self, response): yield {'title': response.css('h2.title::text').get()} ; for next in response.css('a.next::attr(href)').getall(): yield response.follow(next, self.parse)
- Performans ve ipuçları:
- BS4 hızlı, ancak çok sayfalık taramada Scrapy daha verimli ve ölçeklenebilir.
- Selenium ağırdır; yalnızca JS gerektiren durumlarda kullan.
- Scrapy’de pipeline ile temizleme, saklama ve hatalı sayfaları kaydetme kolaydır.
- Robotlar, hız sınırları ve sunucu yükünü düşünerek nazik istekler gönder (delay, concurrent requests, user-agent varyasyonu).
Bu üç yaklaşımla çoğu veri çekme ihtiyacını kolayca karşılayabilir, ihtiyaca göre geçiş yapabilirsin.
Saol
Hayatkoparan7383
- 18 Ara 2025
- 16 Mesaj
Eline sağlık
Hayatkoparan7383
- 18 Ara 2025
- 16 Mesaj
Eline sağlık
Bilgehan Birinci
- 29 Ocak 2026
- 3 Mesaj
Teşekkürler.