IP模擬器
淺談動(dòng)態(tài)代理IP爬蟲前期的準(zhǔn)備工作！想要爬蟲獲得好的效果，僅僅寫一個(gè)好的爬蟲程序是不夠的，因?yàn)槟愕某绦蚝芸赡芤粏?dòng)就被網(wǎng)站的反爬蟲策略屏蔽掉。
所以，在爬行之前，我們需要做好以下準(zhǔn)備。
(一)反爬蟲策略分析:
(1)如果單個(gè)ip在沒有cookie的情況下被多次訪問，該ip很快就會(huì)被屏蔽。
(2)從第一次訪問開始返回cookie值，連續(xù)訪問使用同一個(gè)cookie值，幾分鐘后被阻塞；用不同的cookie值訪問，大約十分鐘后，IP被屏蔽。
(3)低速(10s以上)單ip訪問不會(huì)被阻塞。
(2)爬蟲策略分析:
簡單來說，有幾種方法可以防止回爬:
用隨機(jī)用戶代理:最簡單的，即使是新手也可以。
設(shè)置爬行間隔時(shí)間:簡單，但是大大降低了效率。
可用cookie:找到規(guī)則是難還是容易，需要帶一些經(jīng)過認(rèn)證或解密的值來計(jì)算。
代理的使用:簡單粗暴有效，但是維護(hù)代理是個(gè)問題。
由于單個(gè)ip無論如何都會(huì)被屏蔽，我已經(jīng)投入代理的懷抱，常見的有IP模擬器代理等。
爬蟲策略大致如下:
三個(gè)隨機(jī):隨機(jī)UA，隨機(jī)代理和隨機(jī)cookie
對于使用自由代理:
可以參考git上的一個(gè)開源項(xiàng)目:jhao104/proxy。用過幾款類似的，感覺這款最好。它主要是用flask做一個(gè)api實(shí)時(shí)刷新可用ip，不僅可以抓取各大免費(fèi)代理ip，還可以定期檢查ip的可用性。但是，這個(gè)項(xiàng)目還有一個(gè)問題。比如我把捕獲間隔設(shè)為10秒，任務(wù)的執(zhí)行時(shí)間可能會(huì)長于10秒，會(huì)報(bào)錯(cuò)導(dǎo)致整個(gè)程序暫停。
對于使用付費(fèi)代理:
如果想保證爬蟲的質(zhì)量，可以選擇優(yōu)質(zhì)的付費(fèi)代理IP。
以上準(zhǔn)備是爬蟲前的準(zhǔn)備，然后是爬蟲程序的準(zhǔn)備。
