總而言之，搜索引擎遭遇下列考驗。

1、頁面爬行必須迅速且全方位

互聯(lián)網(wǎng)是一個信息的具體內容互聯(lián)網(wǎng)。每日，成千上萬的頁面被升級和建立，成千上萬的用戶公布具體內容并相互交流，要返還到有價值的具體內容，搜索引擎必須爬取一個新的頁面，可是因為頁面總數(shù)極大，搜索引擎搜索引擎蜘蛛必須很長時間才可以更新數(shù)據(jù)庫里的頁面一次。當搜索引擎問世時，捕捉和升級周期時間一般以月為企業(yè)開展測算，這就是為什么谷歌在2003年以前每一個月都是有一個大的升級。

目前主要的搜索引擎早已可以在兩天內升級關鍵的頁面，而且在幾個小時乃至數(shù)分鐘內將包含在高權重網(wǎng)址里的新文檔。但是，這些迅速的包括和升級只有限于高權重的網(wǎng)址，很多頁面在好多個月內沒被再次爬行和升級都是很普遍的。

為了能回到較為好的結果，搜索引擎還需要盡量全方位地爬取一個頁面，這必須處理很多技術性難題，有一些網(wǎng)址不益于搜索引擎搜索引擎蜘蛛爬行和爬行，如網(wǎng)頁鏈接構造的缺點、Flash、Java腳本制作的廣泛應用，或是用戶在瀏覽該一部分以前務必登陸的具體內容，都增強了搜索引擎爬行具體內容的難度系數(shù)。

2、海量信息儲存

一些商業(yè)網(wǎng)站在一個網(wǎng)站上面有上百萬、數(shù)千萬、乃至數(shù)千萬的頁面，你可以想象網(wǎng)絡上所有網(wǎng)頁的頁面加起來有多少數(shù)據(jù)信息，搜索引擎搜索引擎蜘蛛爬取頁面后，還需要合理地儲存這種數(shù)據(jù)信息，算法設計務必有效，具備很強的擴展性，對載入和響應速度的需求也非常高。

除開頁面數(shù)據(jù)信息，搜索引擎還要儲存頁面中間的超鏈接和很多的歷史記錄，這也是用戶無法想象的。據(jù)估計，百度搜索有著340多萬臺網(wǎng)絡服務器，Google有著數(shù)十個大數(shù)據(jù)中心和數(shù)百萬臺網(wǎng)絡服務器，這類大規(guī)模的數(shù)據(jù)儲存和瀏覽難以避免會遭遇很多技術性考驗。

我們經(jīng)常在搜索結論中見到排行左右起伏，并沒有顯著的因素，人們甚至是能夠更新頁面并查詢差異的排行，有時候，網(wǎng)站數(shù)據(jù)還會遺失，這也許與規(guī)模性數(shù)據(jù)儲存和同步的技術難點相關。

3、索引解決迅速、合理且可擴展

在搜索引擎對頁面數(shù)據(jù)信息開展爬行和儲存后，還要開展索引解決，包含連接關聯(lián)測算、正方向索引、反方向索引等。因為數(shù)據(jù)庫系統(tǒng)里的頁面總數(shù)巨大，實行pr等迭代更新測算既耗時又費勁，為了能給予有關立即的搜索結論，只需爬取是沒有用的，從而應該做許多的索引測算，由于在任何時候都是會加上一個新的數(shù)據(jù)信息和頁面，因此索引解決也應當具備優(yōu)良的可擴展性。

4、迅速精準的查詢處理是一般用戶能見到的搜索引擎流程

當用戶在搜索框中鍵入一個查看并點擊“搜索”按鍵時，他一般會在不上一秒鐘的期限內見到搜索結論。簡單表層處理事實上涉及到非常復雜的情況解決。在前的查看環(huán)節(jié)，較為主要的關鍵是怎樣在不上一秒鐘的期限內從數(shù)、數(shù)千萬乃至數(shù)千萬個包括搜索詞的頁面中迅速尋找較為有效、有關的頁面，并依據(jù)相關性和管理權限開展排序。

5、分辨用戶用意和人工智能技術

應該說，搜索引擎的前四個考驗早已可以更切實解決，可是對用戶用意的判定還處在初始階段。不一樣的用戶搜索同樣的查看詞，可能搜索不一樣的具體內容。比如，在搜索“蘋果公司”時，用戶是想要知道蘋果的果實，或是蘋果筆記本，或是想要知道影片“蘋果公司”的數(shù)據(jù)？或是他要聽“蘋果公司”？并沒有前后文，并沒有對用戶的本人搜索習慣性的了解，他就沒法分辨。

搜索引擎現(xiàn)階段已經(jīng)依據(jù)用戶的搜索習慣性、數(shù)據(jù)的累積和詞義搜索技術性來分辨搜索用意、了解文本文檔的真正意義和回到更有關的結論。