IP模擬器
最近一位用戶報(bào)告說，當(dāng)使用我們的代理ip服務(wù)時(shí)，數(shù)據(jù)突然不返回，是IP模擬器代理有什么問題嗎？運(yùn)行爬蟲的高級(jí)策略是使用IP代理。
我問他具體的錯(cuò)誤信息是什么，他說數(shù)據(jù)無法返回。在我詢問他訪問的具體網(wǎng)站后，使用瀏覽器設(shè)置代理IP訪問測(cè)試是很正常的。我告訴他后，他說，可是我的程序不返回?cái)?shù)據(jù)。我告訴他，瀏覽器設(shè)置代理訪問網(wǎng)站是正常的，也就是說IP沒有問題，程序代碼不能返回?cái)?shù)據(jù)。可能是目標(biāo)網(wǎng)站的反爬蟲策略升級(jí)了，需要對(duì)爬蟲策略進(jìn)行調(diào)整，比如并發(fā)度、訪問頻率、安德瑪?shù)?。他說:"政策只能是代理IP."如果代理IP失敗，談?wù)撈渌呗允菬o用的。
這句話對(duì)不對(duì)。是真的嗎。我告訴他策略不僅僅是代理IP，還有其他因素，比如訪問量，訪問頻率，Under Armour，cookies等。（不限于此）。而不是使用代理IP，你可以高枕無憂，忽略目標(biāo)網(wǎng)站的反抓取策略，隨意抓取，為所欲為。實(shí)際編號(hào)代理IP只是一個(gè)輔助工具，它的主要功能是讓爬蟲能夠連續(xù)穩(wěn)定地工作。單個(gè)代理IP也必須遵守反爬蟲策略，并且不能頻繁訪問網(wǎng)站。如果反爬蟲策略被觸發(fā)，它將受到限制，并且不會(huì)返回任何數(shù)據(jù)或錯(cuò)誤數(shù)據(jù)。
有人會(huì)說，這樣的代理IP有什么用。誠(chéng)然，單個(gè)代理IP不是很有用，但大量的代理IP是非常有用的。例如，目標(biāo)網(wǎng)站限制一個(gè)IP在24小時(shí)內(nèi)訪問網(wǎng)站1000次以上，最快訪問頻率為10秒。然后，代理IP的使用也必須遵守目標(biāo)網(wǎng)站設(shè)置的規(guī)則。如果訪問頻率超過1000次或少于10秒，代理IP也將受到限制。
我該怎么辦。正確的做法是使用代理IP訪問目標(biāo)網(wǎng)站999次（理想情況下，次數(shù)越少越好），然后切換到下一個(gè)代理IP，這樣可以避免IP限制。或者同時(shí)使用多個(gè)代理IP，這樣一般來說，訪問頻率可以在10秒內(nèi)達(dá)到，不受IP限制，在遵循目標(biāo)網(wǎng)站規(guī)則的同時(shí)，也不會(huì)影響爬蟲的效率。
當(dāng)然，如果代理IP不好，談什么其他策略也沒用。這句話的后半句是正確的。如果一個(gè)工人想把他的工作做好，他必須首先磨尖他的工具。如果工具不好，就不可能是好的。所以當(dāng)出現(xiàn)問題時(shí)，必須先確定是代理IP問題還是策略問題，然后再解決問題。如果瀏覽器無法通過代理設(shè)置正常訪問網(wǎng)站，可能是代理IP有問題，需要聯(lián)系服務(wù)提供商尋求幫助。如果瀏覽器可以通過設(shè)置代理正常訪問網(wǎng)站，則代理IP不受限制，很可能是政策問題，政策需要調(diào)整。
