台灣最大裝潢接案平台
輕鬆接案網
清潔公司專精高難度抓漏工程,近30年經驗
快速找出問題所在,品質絕佳。

首頁  •  j2h 論壇 • 程式設計討論     • 

搜尋引擎技術核心揭密

房東:小優
發表時間:2007-05-20
[檢舉]


這是一篇精彩的編程教學文章,不但詳細地剖析了搜尋引擎的原理,也提供了筆者自己對使用PHP編製搜尋引擎的一些思路。整篇文章深入淺出,相信無論是高手還是菜鳥,都能從中得到不少的啟發。



  談到網頁搜尋引擎時,大多數人都會想到雅虎。的確,雅虎開創了一個網路絡的搜尋時代。然而,雅虎目前用於搜尋網頁的技術卻並非該公司原先自己開發的。2000年8月,雅虎採用了Google(www.google.com)這家由斯坦福大學學生增加的風險公司的技術。理由非常簡單,Google的搜尋引擎比雅虎先前使用的技術能更快、更準確搜尋到所需要的訊息。



  讓我們自己來設計、開發一個強勁、高效的搜尋引擎和資料庫恐怕短時間內在技術、資金等方面是不可能的,不過,既然雅虎都在使用別人的技術,那麼我們是不是也可以使用別人現成的搜尋引擎網站呢?



剖析編程思路



  我們可以這樣設想:模擬一個查詢,向某個搜尋引擎網站發出相應格式的搜尋命令,然後傳回搜尋結果,對結果的HTML程式碼進行分析,剝離多餘的字元和程式碼,最後按所需要的格式顯示在我們自己的網站網頁裡。



  這樣,問題的關鍵就在於,我們要選定一個搜尋訊息準確(這樣我們的搜尋才會更有意義啊)、速度快(因為我們分析搜尋結果並顯示需要額外的時間),搜尋結果簡潔(便於進行HTML源程式碼分析和剝離)的搜尋網站,由於新一代搜尋引擎Google的各種優良特性,這裡我們選擇它為例,來看看用PHP怎樣實現後台對Google(www.google.com)搜尋、前台個性化顯示這一過程。



  我們先來看看Google的查詢命令的構成。進入www.google.com網站,在查詢欄中輸入「abcd」,點擊查詢按鈕,我們可以發現瀏覽器的地址欄變成:\"http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=\",可見,Google是通過表單的get方式來傳遞查詢參數並遞交查詢命令的。我們可以使用PHP中的file()函數來模擬這個查詢過程。



瞭解File()函數



  語法: array file(string filename);



  返回值為陣列,將文件全部讀入陣列變數中。這裡的文件可以是本地的,也可以是遠端的,遠端文件必須指明所使用的協議。例如: result=file(「http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=」),該語句將模擬我們在Google上查詢單詞「abcd」的過程,並將搜尋結果以每行為元素,傳回到陣列變數 result中。因為這裡讀取的文件是遠端的,所以協議名「http://」不能缺少。



  如果要讓使用者輸入搜尋字元進行任意搜尋,我們可以做一個輸入文本框和提交按鈕,並將上文中的被搜尋字元「abcd」用變數替換:


echo \'
\'; //沒有參數的form,默認提交方式為get,提交到本身

echo \'\'; //構造一個文本輸入框

echo \'\'; //構造一個提交查詢按鈕

echo \'
\';



if (isset( keywords)) //提交後PHP會生成變數 kwywords,即要求下面的程式在提交後執行

{

urlencode( keywords); //對使用者輸入內容進行URL編碼

result=file(\"http://www.google.com/search?q=\". keywords.\"&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=\");

//對查詢語句進行變數替換,將查詢結果保存在陣列變數 result中

result_string=join(\" \", result); //將陣列$result合併成字串,各陣列元素之間用空格粘和

... //進一步處理

}

?>



  上面的這段程式已經能按使用者輸入內容進行查詢,並將返回的結果合成一個字串變數$result_string。請注意要使用urlencode()函數將使用者輸入內容進行URL編碼,才可以正常地對輸入的中文字、空格以及其他特殊字元進行查詢,這樣做也是盡可能逼真地模擬Google的查詢命令,保證搜尋結果的正確性。



對Google的分析



  為了便於理解,現在假設我們所真正需要的東西是:搜尋結果的標題。網址和簡介等,這是一個簡潔而典型的需求。這樣,我們所要做的便是:去除Google搜尋結果的台頭和腳注,包括一個Google的標誌、再次搜尋的輸入框和搜尋結果說明等,並且在剩餘的搜尋結果各項條目中剝離原來的HTML格式標記,替換成我們想要的格式。



  要做到這一點,我們必須仔細地分析Google搜尋結果的HTML源碼,找到其中的規律。不難發現,在Google的搜尋結果的正文總是包含在源碼的第一個

標記和倒數第二個

標記之間,並且倒數第二個

標記後緊跟table字元,而且這個組合「




  以下所有程式均依次接續在上文程式的「進一步處理」處。



  result_string = strstr( result_string, \"

\"); //取 result_string從第一個

開始後的字串,以去除Google台頭

position= strpos( result_string,\"

table符號的位置

result_string= substr( result_string,0, position);//截取第一個

table符號之前的字串,以去除腳注



應用與實現



  OK,現在我們已經得到有用的HTML源碼主幹了,剩下的問題是如何自主地顯示這些內容。我們再分析一下這些搜尋結果條目,發現每個條目之間也是很有規律的用

分隔,也就是各成一個段落,按這個特點我們用explode()函數把每個條目切開:



  語法:explode(string separator, string string);



  返回一個陣列,按separator切開後的各個小字串被保存在陣列中。



  於是:

result_array=explode(\"

\", result_string); //用字串\"

\"把結果切開



  我們就得到一個陣列 result_array,其中每個元素都是一個搜尋結果條目。我們所要做的僅僅是研究每個條目及其HTML顯示格式程式碼,然後按要求替換就行了。下面用循環來處理 result_array中的每個條目。

for( i=0; i {

... //處理每個條目

}



  對於每個條目,我們也很容易找到一些特點:每個條目都由標題、摘要、簡介、類別、網址等組成,每個部分都換行,即包含
標記,於是再次分割:(以下處理程式放在上文的循環中)

every_item=explode(\"
\", result_array[ i]);



  這樣我們得到一個陣列 every_item,其中 every_item[0]就是標題, every_item[1]和 every_item[2]兩行為摘要, every_item[3]和 every_item[4]等等的頭部如果包含「簡介:」、「< font size=-1 color=#6f6f6f>類別:< /font>」字元,則是簡介或類別(因為有的結果條目沒有該項),如果頭部包含「< font color=green>」則肯定就是網址啦,這種對比判斷我們常使用正規表達式(略),如果要替換也很方便,比如包含標題的$every_item[0],其本身是有連結的,我們希望修改這個連結屬性,讓它在新視窗打開連結:

echo eregi_replace(\' {

... //處理每個條目中除去第一項(第一項為標題,已經顯示)的每一項

... //更多格式修改

}



  這樣就修改了連結屬性,其餘很多顯示格式的修改、剝離、替換都能用正規替換eregi_replace()來完成。



  至此我們已經得到了每個搜尋條目的每一項,並能任意修改每項的格式,甚至可以給他套上漂亮的表格。然而一個好的程式應該能適應各種執行環境的,這裡也不例外,我們其實還只是討論了搜尋結果的HTML剝離的一種框架方法,真正要做得完美,還要考慮很多內容,比如要顯示一共搜尋出多少結果,分成多少頁等等,甚至還可以刨除與Google相關的那些「類別」、「簡介」等程式碼,讓客戶根本看不到原始網站。不過這些內容和要求我們都能通過分析HTML進行剝離得到。現在大家完全能自己動手,做個極富個性化的搜尋引擎啦。




  • 贊助網站       

    廣利不動產-新板特區指名度最高、值得您信賴的好房仲
    您的托付,廣利用心為您服務
    廣利不動產-板橋在地生根最實在--新板特區指名度最高、值得您信賴的好房仲
    完整房訊,房屋、店面熱門精選物件,廣利不動產 優質仲介,房屋租賃、買賣資訊透明,交易真安心!



  •  共 0 人回應

    姓名:
    佈告內容: