IP模擬器
如果我的代理IP被禁止，我該怎么辦？隨著互聯(lián)網(wǎng)時代的發(fā)展，爬蟲IP的使用越來越普遍，爬蟲IP的使用也越來越不暢通。我們也會遇到這樣的情況，就是爬蟲IP被阻塞了，那么如果爬蟲代理IP被封了怎么辦呢？
爬行動物和反爬行動物一直有一英尺高和一英尺高的姿勢。防爬行技術(shù)增加了爬行的難度。各種爬蟲的爬行過程，可以說是與各種站長斗智斗勇，各種解決方案層出不窮。不過，這里的“簡單”解決方案絕對是基于一些基本的方法，可以在幾分鐘內(nèi)使用。
用戶IP代理偽裝和旋轉(zhuǎn)。
不同版本的瀏覽器有不同的user_agent，這是關(guān)于瀏覽器類型的詳細信息，也是瀏覽器提交http請求的重要頭信息。我們可以為每個請求提供不同的user_agent，繞過網(wǎng)站的反爬蟲機制來檢測客戶端。例如，您可以將許多user_agents放在一個列表中，每次隨機選擇一個來提交訪問請求。使用代理IP和旋轉(zhuǎn)。
檢查IP的訪問狀態(tài)是網(wǎng)站防爬行機制中最受歡迎的方式.此時，您可以更改為不同的ip地址來抓取內(nèi)容。當然，您有許多具有公共IP地址的主機或VP，這是一個更好的選擇。如果沒有，您可以考慮使用代理服務器來幫助您獲取Web內(nèi)容，然后將其轉(zhuǎn)發(fā)到您的電腦。代理透明可分為透明代理、匿名代理和高度匿名代理：
透明度：目標網(wǎng)站知道你使用的是代理和你的源IP地址，這顯然不符合這里使用代理的初衷。
匿名代理:匿名程度比較低，也就是網(wǎng)站知道你在使用代理，但不知道你的源IP地址。
高匿代理：這是最安全的方法。目標網(wǎng)站不知道您使用的代理，也不知道您的源IP。
獲得代理的方法是購買，當然，你也可以免費爬。這里有一個網(wǎng)站（http://www.xicidaili.com/nn/)提供免費代理的。你可以爬下來使用它，但免費的代理通常不夠穩(wěn)定。
設置訪問間隔。
很多網(wǎng)站的防爬蟲機制都設置了訪問間隔時間。如果一個IP在短時間內(nèi)超過指定次數(shù)，就會進入“冷卻盤”，所以除了旋轉(zhuǎn)IP還有user_agent。
您可以將訪問間隔設置得更長，例如，在不抓取頁面的情況下，隨機睡眠一段時間:。時間，隨機的時間。睡眠（隨機的。隨機的（）* 3) 對于一個爬蟲來說，這是一個比較負責任的方法。
由上可知，爬蟲在訪問對方網(wǎng)站時可能會造成負載壓力，所以這種防范不僅可以在一定程度上防止被屏蔽，還可以降低對方的訪問壓力。
