編輯“了解搜索引擎”（章節(jié)）

==搜索引擎工作原理簡介==
搜索引擎工作過程非常復(fù)雜，接下來我們簡單介紹搜索引擎是怎樣實現(xiàn)網(wǎng)頁排名的。搜索引擎的工作過程大體上可以分成三個階段：

1）爬行和抓取 – 搜索引擎蜘蛛通過跟蹤鏈接訪問網(wǎng)頁，獲得頁面[[HTML]]代碼存入數(shù)據(jù)庫。

2）預(yù)處理 -  索引程序?qū)ψト淼捻撁鏀?shù)據(jù)進(jìn)行文字提取、中文分詞、索引等處理，以備排名程序調(diào)用。

3）排名 - 用戶輸入關(guān)鍵詞后，排名程序調(diào)用索引庫數(shù)據(jù)，計算相關(guān)性，然后按一定格式生成搜索結(jié)果頁面。

===爬行和抓取===
爬行和抓取是搜索引擎工作的第一步，完成數(shù)據(jù)收集的任務(wù)。

為了抓取網(wǎng)上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬到下一個頁面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也就是搜索引擎蜘蛛這個名稱的由來。整個互聯(lián)網(wǎng)是由相互鏈接的網(wǎng)站及頁面組成的。從理論上說，蜘蛛從任何一個頁面出發(fā)，順著鏈接都可以爬行到網(wǎng)上的所有頁面。當(dāng)然，由于網(wǎng)站及頁面鏈接結(jié)構(gòu)異常復(fù)雜，蜘蛛需要采取一定的爬行策略才能遍歷網(wǎng)上所有頁面。

最簡單的爬行遍歷策略分為兩種，一是深度優(yōu)先，二是廣度優(yōu)先。

所謂深度優(yōu)先指的是蜘蛛沿著發(fā)現(xiàn)的鏈接一直向前爬行，直到前面再也沒有其他鏈接，然后返回到第一個頁面，沿著另一個鏈接再一直往前爬行。

廣度優(yōu)先是指蜘蛛在一個頁面上發(fā)現(xiàn)多個鏈接時，不是順著一個鏈接一直向前，而是把頁面上所有第一層鏈接都爬一遍，然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。

在實際工作中，蜘蛛的帶寬資源、時間都不是無限的，也不可能爬完所有頁面。實際上最大的搜索引擎也只是爬行和收錄了互聯(lián)網(wǎng)的一小部分。深度優(yōu)先和廣度優(yōu)先通常是混合使用的，這樣既可以照顧到盡量多的網(wǎng)站（廣度優(yōu)先），也能照顧到一部分網(wǎng)站的內(nèi)頁（深度優(yōu)先）。

===預(yù)處理===
在一些SEO材料中，預(yù)處理也被簡化稱為索引，因為索引是預(yù)處理最主要的步驟。

搜索引擎蜘蛛抓取的原始頁面，并不能直接用于查詢排名處理。搜索引擎數(shù)據(jù)庫中的頁面數(shù)都在數(shù)萬億級別以上，用戶輸入搜索詞后，靠排名程序?qū)崟r對這么多頁面分析相關(guān)性，計算量太大，不可能在一兩秒內(nèi)返回排名結(jié)果。因此抓取來的頁面必須經(jīng)過預(yù)處理，為最后的查詢排名做好準(zhǔn)備。

和爬行抓取一樣，預(yù)處理也是在后臺提前完成，用戶搜索時感覺不到這個過程。

===排名===
經(jīng)過搜索引擎蜘蛛抓取頁面，索引程序計算得到倒排索引后，搜索引擎就準(zhǔn)備好可以隨時處理用戶搜索了。用戶在搜索框填入關(guān)鍵詞后，排名程序調(diào)用索引庫數(shù)據(jù)，計算排名顯示給用戶，排名過程是與用戶直接互動的。