IP模擬器
如何寫爬蟲可以暢通無阻？很多朋友問，能不能寫出一個可以一直暢通無阻工作的爬蟲？這很難，但是可以朝著這個目標去做。通過實施一些小策略，你可以讓你的網(wǎng)絡爬蟲活得更久。
一.用戶代理
用戶代理(User agent)又稱用戶代理(User-Agent)，是用戶訪問的工具，告訴服務器用戶正在使用哪些web瀏覽器訪問網(wǎng)站。如果沒有設置用戶代理，很多網(wǎng)站都不會讓你查看內(nèi)容。如果您正在使用rquests庫，您可以執(zhí)行以下操作:
如果你已經(jīng)有了一些用戶代理，你如何使用它們？那么，最好的方法是從文本文件、數(shù)據(jù)庫和Python列表中隨機選擇一個用戶代理來使用。
第二，推薦人
當瀏覽器訪問一個網(wǎng)頁時，默認會向服務器發(fā)送一個GET請求，其中會包含很多HTTP頭。的屬性之一是Http Referres用于標記訪問鏈接的來源。
如果想抓取各個產(chǎn)品頁面，可以在引用中設置相關類目的網(wǎng)址，也可以找到想要抓取的域名的反向鏈接。
第三，代理IP
代理IP的重要性不言而喻，高效穩(wěn)定的代理IP是保證爬蟲持續(xù)工作的前提。反爬蟲策略往往限制單個IP可以訪問網(wǎng)站的頻率和次數(shù)。必須使用多個代理IP，避免被限制，提高工作效率。這里推薦短期優(yōu)質代理IP和IP模擬器代理一手私人代理。
第四，睡眠延遲
在請求之間放一些延遲總是好的，睡眠時間要隨機無規(guī)律，以免被識別為爬蟲。您可以使用numpy.random.choice()來實現(xiàn)這一點，它將在您想要延遲的服務中傳遞一個隨機數(shù)列表:
也許沒有爬蟲可以一直暢通無阻的工作，但是你總是可以采取一些措施讓爬蟲盡可能長時間的工作。不同的網(wǎng)站有不同的策略，可能會不斷調(diào)整升級，所以爬蟲策略也需要不斷升級，才能持續(xù)穩(wěn)定的工作。
