從事seo工作就必須要了解搜索引擎原理，而我們做為一個稱職的seo優(yōu)化人，搜索引擎的守護(hù)者，不得不對它的運行規(guī)律、工作原理、習(xí)性、優(yōu)缺點做了解，同時也不是了解理論就可以，還需要不斷地實踐，通過實踐得真理，通過實踐得到經(jīng)驗。那么搜索引擎到底是如何工作的呢？
第一、搜索引擎爬行抓取
1）爬行抓取是搜索引擎工作最重要的一部分，爬取網(wǎng)頁回來分析，我們也應(yīng)該知道我們在百度進(jìn)行搜索時，基本是以秒來獲得結(jié)果的，在如此訊速的時間里得到自己想要的結(jié)果，可見搜索引擎是事先做好這部分工作的，如果不然，那么想想每次搜索將要花多少時間與精力，其實按照我的理解來說，可以分為三小部分：
        1、批量抓取所有網(wǎng)頁，這種技術(shù)的缺點是浪費帶寬，時效性不高。
        2、增量收集，在前者的基礎(chǔ)上進(jìn)行技術(shù)改進(jìn)，爬取更新的網(wǎng)頁，并刪除掉重復(fù)的內(nèi)容以及無效的鏈接。
        3、主動提交地址到搜索引擎，當(dāng)然這種主動提交的方式被認(rèn)為是審核期加長，這在部分seo資深人員看來是這樣。
2）在鏈接爬取的過程中通常有兩種方式我們需要理解,現(xiàn)在我們來了解一下深度優(yōu)先以及廣度優(yōu)先
        1、深度優(yōu)先
          蜘蛛從頂級A開始抓取，比如先從A ——F——G，再從A——E——H——I，依次類推。

        2、廣度優(yōu)先

          主要指蜘蛛在一個頁發(fā)現(xiàn)多個鏈接，先爬取所有第一層，然后接著是第二層，第三層。。依次類推。 

          但總的來說，無論是哪種爬行，目的都是讓搜索引擎蜘蛛減少工作量，盡快完成抓取工作。

3）針對重復(fù)網(wǎng)頁，我們需要訪問列，同時也需要收集重要網(wǎng)頁的機制

       1、對于搜索引擎而言，如果重復(fù)爬取一些網(wǎng)頁，不公浪費帶寬，而且也不能增強時效性。所以搜索引擎需要一種技術(shù)來實現(xiàn)避免重復(fù)網(wǎng)頁的出現(xiàn)。目前，搜索引擎可以用已訪問列表以及未訪問表來記錄這個過程，這樣極大的減少了搜索引擎的工作量。

       2、重要的網(wǎng)頁需要重點收錄，因為互聯(lián)網(wǎng)就像大海，不可能搜索引擎什么都抓取，所以需要采用不同的策略來收集一些重要的網(wǎng)頁，主要可以通過幾方面來實現(xiàn)， 比如：目錄越小有利于用戶體驗，節(jié)省蜘蛛爬行時間；高質(zhì)量外鏈增加網(wǎng)頁權(quán)重；信息更新及時，提高搜索引擎的光顧率；網(wǎng)站內(nèi)容高質(zhì)量，高原創(chuàng)。

第二、預(yù)處理是搜索引擎原理的第二步

       1、把網(wǎng)頁爬取回來，就需要多個處理階段，其中之一就是關(guān)鍵詞提取，把代碼爬取下來，去掉比如CSS，DIV等標(biāo)簽，把這些對排名無意義的統(tǒng)統(tǒng)去除掉，剩下的是用于關(guān)鍵詞排名的文字。

       2、去除停用詞，有些專家也稱之為停止詞，比如我們常見的：的、地、得、啊、呀、哎等無意義詞。

       3、中文分詞技術(shù)，基于字符串匹配的分詞方法以及統(tǒng)計分詞方法。

       4、消除噪聲，把網(wǎng)站上的廣告圖片、登錄框之類的信息去隊掉。

       5、分析網(wǎng)頁，建立倒排文件方法

       6、相關(guān)鏈接關(guān)系算法

第三、用戶服務(wù)輸出

        經(jīng)過多重處理，我們就已經(jīng)得到了數(shù)據(jù)，并且能夠得到重要關(guān)鍵詞組合，當(dāng)用戶搜索時，就可以立即返回所需要的信息。并且隨著發(fā)展，搜索引擎的輸出展示也越來越重視用戶體驗。

        最終，我們通過了解搜索引擎的工作原理，也會對我們在進(jìn)行seo優(yōu)化工作時得到某些啟示，也希望廣大學(xué)習(xí)愛好者，能夠在這方面下多點功夫，為互聯(lián)網(wǎng)事業(yè)的發(fā)展做出自己的貢獻(xiàn)。