Çözüldü Webden Veri Kazıma

[burakgunes]

Ekteki Tabloda AKace İsimli siteden Kendi ürünlerime ait Fiyatları Çekiyorum Ve buna göre satış fiyatımı Belirliyorum Bir nevi rekabet analiz için bir program

Fakat şöyle bir sıkıntım var.
Çok fazla link eklediğim zaman Akace İp mi Banlıyor ve işim yarım kalıyor

Benim aklıma iki Çözüm geldi fakat internette yeterli kaynak bulamadım Vba belirli aralıklarla Proxy değiştirerek veya Makro her Next ten önce rastgele bir süre beklese belki engelleme yapmaz Teşekkürler

 

[aeGNoR]

Ekteki Tabloda AKace İsimli siteden Kendi ürünlerime ait Fiyatları Çekiyorum Ve buna göre satış fiyatımı Belirliyorum Bir nevi rekabet analiz için bir program

Fakat şöyle bir sıkıntım var.
Çok fazla link eklediğim zaman Akace İp mi Banlıyor ve işim yarım kalıyor

Benim aklıma iki Çözüm geldi fakat internette yeterli kaynak bulamadım Vba belirli aralıklarla Proxy değiştirerek veya Makro her Next ten önce rastgele bir süre beklese belki engelleme yapmaz Teşekkürler

Proxy kullanmak çok akıllıca olmaz gibi geldi bana. Get gönderirken aynı kanalı kullanıyor sonuçta.
For Next içinde en sona HTML:

İçeriği görebilmek için Giriş yap ya da üye ol.

şeklinde bir bekleme süresi eklenebilir. Fakat ban atmayacağı süreyi deneme yanılmayla öğrenmeniz gerekir.

 

[burakgunes]

Proxy kullanmak çok akıllıca olmaz gibi geldi bana. Get gönderirken aynı kanalı kullanıyor sonuçta.
For Next içinde en sona HTML:

İçeriği görebilmek için Giriş yap ya da üye ol.

şeklinde bir bekleme süresi eklenebilir. Fakat ban atmayacağı süreyi deneme yanılmayla öğrenmeniz gerekir.

eklenecek süreyi rastgele yapabilyormuyuz

 

[burakgunes]

Proxy kullanmak çok akıllıca olmaz gibi geldi bana. Get gönderirken aynı kanalı kullanıyor sonuçta.
For Next içinde en sona HTML:

İçeriği görebilmek için Giriş yap ya da üye ol.

şeklinde bir bekleme süresi eklenebilir. Fakat ban atmayacağı süreyi deneme yanılmayla öğrenmeniz gerekir.

Yahu birde farklı bir sorun ile karşılaştım Kendi bilgisayarımda çalışıyor bu dosya fakat başka bilgisayarda sadece isimi çekiyor fiyatları çekmiyor bu sorun neden kaynaklanıyor olabilir acaba

 

[aeGNoR]

eklenecek süreyi rastgele yapabilyormuyuz

Rastgele sayılar üretebiliriz fakat bu sayıları zaman değerlerine çevirmeyi hiç denemedim. Üzerinde biraz çalışmam gerekecek.

 

[burakgunes]

Rastgele sayılar üretebiliriz fakat bu sayıları zaman değerlerine çevirmeyi hiç denemedim. Üzerinde biraz çalışmam gerekecek.

Teşekkürler Sitenizden çok Faydalanıyorum Katkıda bulunmak için Bir yenilik düşünüyor musunuz?

 

[aeGNoR]

Yahu birde farklı bir sorun ile karşılaştım Kendi bilgisayarımda çalışıyor bu dosya fakat başka bilgisayarda sadece isimi çekiyor fiyatları çekmiyor bu sorun neden kaynaklanıyor olabilir acaba

HTML:

İçeriği görebilmek için Giriş yap ya da üye ol.

Üstteki dim ile tanımladığınız referansların dll dosyaları pc de mevcut olmayabilir, ya da requestheader ayarınızda mozilla vs. bişeyler yazıyor belki de o bilgisayarda mozilla yüklü olmayabilir. Ya da 5.0 versiyonu olmayabilir. Ya da ben tamamen sallıyor olabilirim. Web'den veri alma üzerine çok kafa yormadım şimdiye kadar çünkü.

 

[aeGNoR]

Teşekkürler Sitenizden çok Faydalanıyorum Katkıda bulunmak için Bir yenilik düşünüyor musunuz?

Site hepimizin. Benim, diğer üyelerin olduğu kadar sizin aynı zamanda. Fikirlerinizi paylaşırsanız yöneticilerimiz mutlaka değerlendirecektir.

Ayrıca;
HTML:

İçeriği görebilmek için Giriş yap ya da üye ol.

Şu kod 10 saniye ile 20 saniye arası rastgele sayılar üretiyor olması lazım.

 

[burakgunes]

HTML:

İçeriği görebilmek için Giriş yap ya da üye ol.

Üstteki dim ile tanımladığınız referansların dll dosyaları pc de mevcut olmayabilir, ya da requestheader ayarınızda mozilla vs. bişeyler yazıyor belki de o bilgisayarda mozilla yüklü olmayabilir. Ya da 5.0 versiyonu olmayabilir. Ya da ben tamamen sallıyor olabilirim. Web'den veri alma üzerine çok kafa yormadım şimdiye kadar çünkü.

Dim ile tanımladığım herşey diğer pclerde de var ama bir türlü Çalıştırmadaım işi garibi Ürün adını çekiyor fakat HTML:

İçeriği görebilmek için Giriş yap ya da üye ol.

getElementsByClassName olanları çekmiyor anlayamadım gitti

 

[aeGNoR]

Şuan işlerim çok yoğun, bir kaç saate kadar kontrol edeceğim. Test etme imkanım olmadı.

 

[burakgunes]

Teşekkür ederim Sizden haber bekliyorum aeGNoR

Rastgele bekletmede işe yaramıyor Maalesef

Proxy değiştirmekle ilgili bir çözümünüz varmı

bu linkte bahsedilmiş sanırım biraz

Bu bağlantı ziyaretçiler için gizlenmiştir. Görmek için lütfen giriş yapın veya üye olun.

Teşekkürler

 

[aeGNoR]

Teşekkür ederim Sizden haber bekliyorum aeGNoR

Rastgele bekletmede işe yaramıyor Maalesef

Proxy değiştirmekle ilgili bir çözümünüz varmı

bu linkte bahsedilmiş sanırım biraz

Bu bağlantı ziyaretçiler için gizlenmiştir. Görmek için lütfen giriş yapın veya üye olun.

Teşekkürler

Orada SERVERXML diye bir şey kullanılmış. sizinki MSXML kullanılmış. Sizin kullandığınızda setproxy çıkmıyor örnekte çıkıyor. sizin örneğinizde SERVERXML olarak değiştirdim setproxy çıktı. Oraya kadar problem yok.

Bundan sonrası için ProxyList diye bir sayfa açılır ve her linkin karşılığına denk gelen bir proxy adresi yazılır. Böylece her döngüde farklı bir proxy ile çalışmış olur. Örneği yüklüyorum fakat proxy listesi ya da proxy adresleri nerede yayınlanır herhangi bir bilgim olmadığı için adres eklemedim. Öyle bir liste hazırlayabilirseniz sanırım problem kalmaz.

 

[aeGNoR]

Bu da bir çözüm getirmezse listenizi parça parça çekecek bir kod yazarsınız ve günün belli aralıklarında çalıştırırsınız.

Örneğin kod çalışmadan önce bir inputbox açılır siz oraya 2-100 yazarsınız 2 ve 100'ü ayrıştırıp döngüyü öyle kurarsınız 2. ve 100. satırdakileri getirir 5-10dk sonra 101-200 yazarsınız 101. satır ve 200. satırdakileri getirirsiniz.

Aklıma başka çözüm gelmedi malesef.

 

[burakgunes]

Dim ile tanımladığım herşey diğer pclerde de var ama bir türlü Çalıştırmadaım işi garibi Ürün adını çekiyor fakat HTML:

İçeriği görebilmek için Giriş yap ya da üye ol.

getElementsByClassName olanları çekmiyor anlayamadım gitti

buna bakabildiniz mi ?

 

[aeGNoR]

buna bakabildiniz mi ?

Bende bütün değerleri çekiyor. herhangi bir hata ile karşılaşmadım.