Web kazıma nedir?
Kısa tanım
Web kazıma, web sitelerindeki bilgilerin yazılımla otomatik olarak okunup toplandığı ve tablo ya da veri tabanına aktarıldığı veri toplama yöntemidir; İngilizce adı web scraping'tir.
Son güncelleme:
Web kazıma nedir, veri neden bir siteden elle alınmaz?
Yüzlerce ürünün fiyatını bir rakip sitede tek tek okuyup tabloya yazmak mümkün ama verimsizdir. Web kazıma bu işi yazılıma verir: program sayfayı açar, istenen alanları okur ve sonucu tabloya yazar. Yöntem hızlıdır ama her sitede serbest değildir; site sahibi kurallar koyabilir. Bu kuralların bir kısmı robots.txt dosyasında yer alır. RFC 9309, bu dosyayı, hizmetin tarayıcılara hangi adreslere erişebileceklerini bildirdiği standart bir yol olarak tanımlar. Standart RFC Editor sayfasında (yeni sekmede açılır) yer alır.
Web kazıma nasıl yapılır?
Web kazıma teknik olarak dört adımda yapılır. Program sayfayı indirir, içinden istenen alanları seçer, veriyi temizler ve bir tabloya ya da veri tabanına yazar. Sayfa dinamikse, yani içerik sonradan yükleniyorsa, tarayıcıyı taklit eden araçlar gerekebilir.
- Sayfa adresleri belirlenir.
- Sayfa indirilir ve içindeki alanlar seçilir.
- Veri temizlenir: boşluklar, para birimi, biçim.
- Sonuç tabloya ya da veri tabanına yazılır.
Web kazıma robots.txt kurallarıyla nasıl ilişkilidir?
Web kazıma robots.txt dosyasındaki erişim kurallarına saygı göstermelidir. Dosya, hangi tarayıcının hangi adreslere erişebileceğini ve hangilerinin yasak olduğunu bildirir. Kuralı yok saymak sitenin sizi engellemesine yol açabilir ve etik sorun yaratır. Ayrıca kullanım şartları, telif hakkı ve kişisel veri kuralları ayrıca değerlendirilmelidir. Bu sayfa hukuki görüş vermez.
Kazımanın zayıf yönleri nelerdir?
Site tasarımı değiştiğinde program okuyamaz hale gelir ve sessizce yanlış veri toplayabilir. Sık istek atmak karşı sunucuyu yorar ve engellenmenize yol açar. Veri de sahibinin kontrolünde olmadığı için eski ya da hatalı olabilir. Bu yüzden toplanan veriyi kontrol eden ve hata anında uyaran bir mekanizma gerekir. İstek hızını sınırlayın ve karşı siteyi yormayın.
Toplanan veri nasıl saklanır?
Kazıma ile elde edilen veriyi ham hâliyle değil, temizlenmiş ve tarih damgalı saklayın. Hangi sitenin hangi tarihte kazındığını kaydetmek, fiyat gibi değişen verinin ne kadar güncel olduğunu gösterir. Kişisel veri içeren sayfaları kazımaktan kaçının ve topladığınız verinin amacını belirleyin. Bu sayfa hukuki görüş vermez.
Ekibe web kazıma nedir diye anlatırken, web kazıma nasıl yapılır adımlarının yanında web kazıma robots.txt kurallarını da bir sayfada toplayın. Hangi sitelerden hangi amaçla veri alındığını yazılı tutmak, sonradan çıkacak soruları yanıtlamayı kolaylaştırır.
Kazımaya alternatif var mı?
Veriyi sunan tarafın API'si ya da veri dosyası varsa onu kullanmak daha sağlam, hızlı ve izinli bir yoldur. Tedarikçiden ürün verisini alıyorsanız önce bir feed ya da API isteyin. Kazıma, ancak başka yol yoksa ve izin çerçevesi uygunsa düşünülmelidir. Veri akışlarını doğrudan ve düzenli kurmak için Entegrasyon ve Otomasyon Marketi sayfasına bakabilirsiniz.
Web kazıma nerede karşınıza çıkar?
- Rakip ürünlerin fiyatlarının düzenli takip edilmesi
- Tedarikçi sitesindeki ürün bilgisinin mağazaya alınması
- Pazaryerindeki ürün yorumlarının analiz için toplanması
- Bir sitedeki ürün listesinin tabloya dökülmesi
Veriyi güvenli yollarla taşıyın
API ya da dosya aktarımıyla veri akışı kuran hazır entegrasyon ve otomasyonlar.
Web kazıma hakkında sık sorulanlar
Web kazıma yasal mıdır?
robots.txt dosyası ne işe yarar?
Web kazıma yerine API kullanılabilir mi?
İlk adımı birlikte atalım
Operasyonunuzdaki elle yürüyen işleri inceleyip ayda kaç saatin sistemle yürüyebileceğini yazılı olarak veriyoruz; teknik bilgi ve taahhüt gerekmez.
- Kredi kartı yok
- 1 iş gününde dönüş
- KVKK uyumlu
- Veriler şifreli bağlantıyla iletilir