編輯“了解搜索引擎”（章節(jié)）

===頁面抓取需要快而全===
[[互聯(lián)網(wǎng)]]是個(gè)動(dòng)態(tài)的內(nèi)容網(wǎng)絡(luò)，每天有無數(shù)頁面被更新、被創(chuàng)建，無數(shù)用戶在網(wǎng)站上發(fā)布內(nèi)容、溝通聯(lián)系。要返回最有用的內(nèi)容，搜索引擎就要抓取最新的頁面。但是由于頁面數(shù)量巨大，搜索引擎蜘蛛更新一次數(shù)據(jù)庫中的頁面要花很長時(shí)間。搜索引擎剛誕生時(shí)，這個(gè)抓取周期往往以幾個(gè)月計(jì)算。這也就是為什么[[Google]]在2003年以前每個(gè)月有一次大更新。

現(xiàn)在主流搜索引擎都已經(jīng)能在幾天之內(nèi)更新重要頁面，權(quán)重高的網(wǎng)站上的新文件幾小時(shí)甚至幾分鐘之內(nèi)就會(huì)被收錄。不過，這種快速收錄和更新也只能局限于高權(quán)重網(wǎng)站。很多頁面幾個(gè)月不能被重新抓取和更新，也是非常常見的。

要返回最好的結(jié)果，搜索引擎也必須抓取盡量全面的頁面，這就需要解決很多技術(shù)問題。一些網(wǎng)站并不利于搜索引擎蜘蛛爬行和抓取，諸如網(wǎng)站鏈接結(jié)構(gòu)的缺陷，大量使用[[Flash]]，[[JavaScript]]腳本，或把內(nèi)容放在用戶必須登錄以后才能訪問的部分，這都提高了搜索引擎抓取內(nèi)容的難度