用Python標準庫修改搜索引擎獲取結果

作者：佚名 2010-03-10 09:28:41

Python標準庫使用的過程中有不少的問題影響著我們的使用。下面我們就向大家介紹下簡單的Python標準庫詳細使用方案。

Python標準庫在長時間的使用中需要不斷的學習。下面我們就看看如何才能更好的掌握相關的技術信息。希望對大家之后的使用和學習有所幫助。下面的就是想大家介紹下相關的使用方法。

我輸入的關鍵字作為地址參數傳遞給某個程序，這個程序就會返回一個頁面，上面包括頂部（logo和搜索UI）／結果部分／底部（版權信息部分），我們要得到的就是中間結果部分，這個可以用Python標準庫的urllib中的urlopen方法得到整個頁面的字符串，然后再解析這些字符串，完全有辦法把中間結果部分抽取出來，抽出著串字符串，加上自己的頭部和頂部和底部，那樣搜索小偷的雛形就大概完成了，下面先寫個測試代碼。

[code]   
# Search Thief   
# creator: Singo   
# date: 2007-8-24   
import urllib   
import re   
class SearchThief:   
" " "the google thief " " "   
global path,targetURL   
path = "pages\\ "   
# targetURL = "http://www.google.cn/search?complete=1&hl=zh-CN&q= "   
targetURL = "http://www.baidu.com/s?wd= "   
def __init__(self,key):   
self.key = key   
def getPage(self):   
webStr = urllib.urlopen(targetURL+self.key).read() # get the page string form the url   
self.setPageToFile(webStr)   
def setPageToFile(self,webStr):   
rereSetStr = re.compile( "\r ")   
self.key = reSetStr.sub( " ",self.key) # replace the string "\r "   
targetFile = file(path+self.key+ ".html ", "w ") # open the file for "w "rite   
targetFile.write(webStr)   
targetFile.close()   
print "done "   
inputKey = raw_input( "Enter you want to search --> ")   
obj = SearchThief(inputKey)   
obj.getPage()   
[/code]

這里只是要求用戶輸入一個關鍵字，然后向搜索引擎提交請求，把返回的頁面保存到一個目錄下，這只是一個測試的例子，如果要做真正的搜索小偷，完全可以不保存這個頁面，把抽取出來的字符串加入到我們預先設計好的模板里面，直接以web的形式顯示在客戶端，那樣就可以實現利用盜取某些搜索引擎的結果并構造新的頁面呈現。

看一下百度搜索結果頁的源碼，在搜索結構的那個table標簽前面有個 <DIV id=Div> </DIV> 的標簽，我們可以根據這個標簽得到下移兩行的結果集，于是增加一個方法。

getResultStr()   
[code]   
def getResultStr(self,webStr):   
webStrwebStrList = webStr.read().split( "\r\n ")   
line = webStrList.index( " <DIV id=Div> </DIV> ")+2 # get the line from " <DIV id=Div> </DIV> " move 2 line   
resultStr = webStrList[line]   
return resultStr   
[/code]

既然得到結果列表，那么我們要把這個結果列表放到自己定義的頁面里面，我們可以說這個頁面叫模板：

[code]   
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN " "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd ">   
<html xmlns= "http://www.w3.org/1999/xhtml ">   
<head>   
< http-equivhttp-equiv= "Content-Type " content= "text/html; charset=gb2312 " />   
<title> SuperSingo搜索-%title% </title>   
<link href= "default/css/global.css " type=text/css rel=stylesheet>   
</head>   
<body>   
<div id= "top ">   
<div id= "logo "> <img src= "default/images/logo.jpg " /> </div>   
<div id= "searchUI ">   
<input type= "text " style= "width:300px; " />   
<input type= "submit " value= "Search " />   
</div>   
<div class= "clear "/>   
</div>   
<div id= "result_info ">   
工找到：×××條記錄，耗時×××秒   
</div>   
<div id= "result "> %result% </div>   
<div id= "foot ">

這里搜索的結構全都是百度那里過來的哦！其中%title%和%result%是等待替換的字符，為了替換這些字符，我們再增加一個方法， #p#

[b]reCreatePage()：[/b]   
[code]   
def reCreatePage(self,resultStr):   
demoStr = urllib.urlopen(demoPage).read() # get the demo page string   
rereTitle = re.compile( "%title% ")   
demoStr = reTitle.sub(self.key,demoStr) # re set the page title   
rereResult = re.compile( "%result% ")   
demoStr = reResult.sub(resultStr,demoStr) # re set the page result   
return demoStr   
[/code]

這樣就可以把模板中的%title%和%result%替換成我們想要的標簽了。

[code]   
# the main programme   
# creator: Singo   
# date: 2007-8-24   
import urllib   
import re   
class SearchThief:   
" " "the google thief " " "   
global path,targetURL,demoPage   
path = "pages\\ "   
# targetURL = "http://www.google.cn/search?complete=1&hl=zh-CN&q= "   
targetURL = "http://www.baidu.com/s?wd= "   
demoPage = path+ "__demo__.html "   
def __init__(self,key):   
self.key = key   
def getPage(self):   
webStr = urllib.urlopen(targetURL+self.key) # get the page string form the url   
webStr = self.getResultStr(webStr) # get the result part   
webStr = self.reCreatePage(webStr) # re create a new page   
self.setPageToFile(webStr)   
def getResultStr(self,webStr):   
webStrwebStrList = webStr.read().split( "\r\n ")   
line = webStrList.index( " <DIV id=Div> </DIV> ")+2 # get the line from " <DIV id=Div> </DIV> " move 2 line   
resultStr = webStrList[line]   
return resultStr   
def reCreatePage(self,resultStr):   
demoStr = urllib.urlopen(demoPage).read() # get the demo page string   
rereTitle = re.compile( "%title% ")   
demoStr = reTitle.sub(self.key,demoStr) # re set the page title   
rereResult = re.compile( "%result% ")   
demoStr = reResult.sub(resultStr,demoStr) # re set the page result   
return demoStr   
def setPageToFile(self,webStr):   
rereSetStr = re.compile( "\r ")   
self.key = reSetStr.sub( " ",self.key) # replace the string "\r "   
targetFile = file(path+self.key+ ".html ", "w ") # open the file for "w "rite   
targetFile.write(webStr)   
targetFile.close()   
print "done "   
inputKey = raw_input( "Enter you want to search --> ")   
obj = SearchThief(inputKey)   
obj.getPage()   
[/code]

這樣我們就可以得到一個自己定義的風格而含有百度搜索出來的結果的頁面，這里只做了標題和結果及的替換，同樣道理，我們還可以把“百度快照”替換掉，我們還可以重新生成翻頁控件,這樣一個搜索小偷就基本完成啦。

用Python標準庫向Google請求時，Google會返回一個不是我們希望得到的頁面，上面的內容是提示無權訪問，Google很聰明，這步已經被他們想到了，但百度沒做這樣的限制哦，于是成功截取百度的數據。同樣道理，還可以嘗試其他搜索引擎，比如yisou和soso。

做個自己的頁面風格，盜取baidu的搜索結果，打造自己的品牌而利用別人的數據，甚至去掉baidu的廣告加上自己的廣告，這種做法實在是太不厚道了，哈哈哈。該程序只為學習python標準庫用，具體來說沒什么意義。

【編輯推薦】

Python列表與C#語言的相似度介紹
Python字符串的廣泛應用
Python抓取的具體應用解答
Python字符串類型的詳細介紹
Python列表內涵實際中的使用介紹

責任編輯：張浩來源：人民郵電出版社

Python標準庫