如何抓取代理ip？當(dāng)我們使用網(wǎng)絡(luò)編寫腳本從指定的網(wǎng)站抓取數(shù)據(jù)時(shí)，網(wǎng)站總是不可避免的會(huì)屏蔽IP，所以這個(gè)時(shí)候我們需要一些代理IP。當(dāng)我們打開網(wǎng)頁的時(shí)候，很容易就能找到很多提供免費(fèi)代理IP做IP抓取的網(wǎng)站，這里介紹的是國(guó)內(nèi)匿名代理IP。

 

動(dòng)態(tài)IP模擬器

 

第一步:HTML頁面獲取

 

通過觀察，我們可以發(fā)現(xiàn)我們需要的信息的頁面的url有這樣一個(gè)規(guī)律:www.xxxxxx.com/nn/+頁碼。但是，如果您通過get方法直接訪問它，您將發(fā)現(xiàn)500個(gè)錯(cuò)誤。原因是在這個(gè)規(guī)則下，雖然URL通過get方法獲取數(shù)據(jù)，但是它們都有cookie認(rèn)證。那么問題來了——你怎么得到你需要的餅干？我們第一次通過瀏覽器訪問網(wǎng)站首頁，是可以打開的，網(wǎng)站的所有子模塊都可以打開。在一定時(shí)間內(nèi)，我們的瀏覽器得到了這個(gè)網(wǎng)站設(shè)置的cookie。清除瀏覽器cookie，重新打開網(wǎng)站主頁，通過開發(fā)者工具，我們可以發(fā)現(xiàn)打開主頁時(shí)，網(wǎng)站會(huì)發(fā)出cookie，而不是上傳cookie。然后打開上面我們找到的常規(guī)url頁面，對(duì)比一下，發(fā)現(xiàn)我們上傳的cookie就是首頁發(fā)布的cookie。這就是解決方案——編寫腳本時(shí)，首先訪問主頁獲取cookie，然后將cookie添加到后續(xù)請(qǐng)求中。

 

第二步:分析html結(jié)構(gòu)，用BS4提取信息。

 

上面簡(jiǎn)單介紹了如何抓取代理IP，具體代碼需要自己搜索。