如今，數(shù)據(jù)生成非?？?。面對(duì)大量需要抓取的網(wǎng)頁，只有分布式架構(gòu)才能在短時(shí)間內(nèi)完成一輪抓取工作。即把一個(gè)問題分成若干獨(dú)立的任務(wù)，每個(gè)任務(wù)運(yùn)行