為了防止郵件爬蟲(chóng)和其他惡意網(wǎng)絡(luò)，爬蟲(chóng)會(huì)將自己偽裝成瀏覽器或其他眾所周知的網(wǎng)絡(luò)爬蟲(chóng)。使用http請(qǐng)求的用戶代理字段向網(wǎng)絡(luò)服務(wù)器指示他們的身份。網(wǎng)絡(luò)管理員檢查網(wǎng)絡(luò)服務(wù)器的日志，并使用IP代理字段來(lái)識(shí)別哪個(gè)爬網(wǎng)程序已經(jīng)訪問(wèn)過(guò)以及訪問(wèn)的頻率，可能包含允許管理員獲取有關(guān)爬網(wǎng)程序的更多信息的URL。

 

動(dòng)態(tài)IP模擬器

 

一般來(lái)說(shuō)爬蟲(chóng)有足夠的ip，不容易被硬化。而一些中小網(wǎng)站想屏蔽你，寧愿花高成本，把你全部抓起來(lái)；因?yàn)榇蠖鄶?shù)網(wǎng)站沒(méi)有虛擬專用網(wǎng)，所以它們使用虛擬空間或PAAS云，如SAE、BAE。其實(shí)就算他們不考慮SEO (Search Engine Optimization)，用ajax渲染網(wǎng)頁(yè)數(shù)據(jù)，我也可以用webkit瀏覽器組件處理ajax后的數(shù)據(jù)。也可以尋找IP代理網(wǎng)站，抓取ip進(jìn)行動(dòng)態(tài)輪詢，或者使用他人制作的第三方ip代理平臺(tái)來(lái)解決上述問(wèn)題。

 

但是，也有一些網(wǎng)站不夠忙，他就是喜歡從日志里一行行分析你的ip，然后統(tǒng)計(jì)高頻的網(wǎng)站。這個(gè)時(shí)候該怎么辦？其實(shí)方法很簡(jiǎn)單，就是使用大量的主機(jī)，還要保證爬蟲(chóng)種子的數(shù)量，多個(gè)ip是沒(méi)有問(wèn)題的。通過(guò)一些比較傷腦細(xì)胞的策略，我們能不能把爬蟲(chóng)完全偽裝成網(wǎng)友的瀏覽行為，從而避開(kāi)大多數(shù)反爬蟲(chóng)的策略。