程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 網頁編程 >> ASP編程 >> 關於ASP編程 >> 用asp+xmlhttp編寫web采集程序

用asp+xmlhttp編寫web采集程序

編輯:關於ASP編程
web采集程序?網頁抓取程序?小倫程序?不管怎麼叫,這種程序應用倒是蠻廣的。本文不討論這種使用這種程序引起的版權或道德問題,只談這種程序在ASP+VBScript環境下的實現 :-)

預備知識:除了一般的ASP+VBScript的知識外,你還需要了解xmlhttp對象和正則表達式對象。xmlhttp對象是時下風頭正勁的Ajax的主角;而學好了正則表達式,你再也不用為處理復雜的字符串犯愁。

在編寫和調試正則表達式時,RegEx 這個小工具非常有用。 

目錄
抓取一個遠程網頁並保存到本地 
改進:處理亂碼 
同時下載遠程網頁的圖片(和其它文件) 
改進:探測真實URL 
改進:避免重復下載 
實戰舉例(以****為例) 
分析列表頁 
內容頁的技巧 
分析內容頁中的上一頁,下一頁 
高級主題:UTF-8和GB2312的轉換 
更多高級主題:登陸後抓取,客戶端偽造 
己有的采集程序 
原文鏈接:http://gwx.showus.net/blog/article.asp?id=229


1.抓取一個遠程網頁並保存到本地
'用於調試的過程,後面會多次調用檢查中間結果
Dim inDebug:inDebug=True 
Sub D(Str)
    If inDebug = False Then Exit Sub
    Response.Write("<div style='color:#003399; border: solid 1px #003399; background: #EEF7FF; margin: 1px; font-size: 12px; padding: 4px;'>")
    Response.Write(Str &"</div>")
    Response.Flush()
End Sub

'過程: Save2File
'功能: 把文本或字節流保存為文件
'參數: sContent    要保存的內容
'       sFile       保存到文件,形如"files/abc.htm"
'       bText       是否是文本
'       bOverWrite  是否覆蓋己存在文件
Sub Save2File(sContent,sFile,bText,bOverWrite)
    Call D("Save2File:"+sFile+" *是否文本:"&bText)
    Dim SaveOption,TypeOption
    If (bOverWrite = True) Then SaveOption=2 Else SaveOption=1
    If (bText = True) Then TypeOption=2 Else TypeOption=1
    Set Ads = Server.CreateObject("Adodb.Stream")
    With Ads
        .Type = TypeOption 
        .Open
        If (bText = True) Then .WriteText sContent Else .Write sContent
        .SaveToFile Server.MapPath(sFile),SaveOption
        .Cancel()
        .Close()
    End With
    Set Ads=nothing
End Sub

關鍵的函數
'函數: myHttpGet
'功能: 抓取一個遠程文件(網頁或圖片等)並保存到本地
'參數: sUrl    遠程文件的URL
'       bText   是否是文本(網頁),下載遠程圖片是bText=False
'返回: 抓取的內容
Function myHttpGet(sUrl,bText)
    Call D("<font color=red>myHttpGet:</font>"+sUrl+" *是否文本:"&bText)
    'Set oXml = Server.CreateObject("Microsoft.XMLHTTP")
    Set oXml = Server.CreateObject("MSXML2.ServerXMLHTTP")  '服務器版本的XMLHTTP組件
    '理解下面的內容,你可以參考一下MSDN中的MSXML2.ServerXMLHTTP
    With oXml
        .Open "GET",sUrl,False
        .Send
        While .readyState <> 4  '等待下載完畢
            .waitForResponse 1000 
        Wend 
        If bText = True Then
            myHttpGet = bytes2BSTR(.responseBody)
        Else
            myHttpGet = .responseBody
        End If
    End With
    Set oXml = Nothing
End Function

改進:處理亂碼
直接讀取服務器返回的中文內容會出現亂碼,myHttpGet函數中引用的bytes2BSTR的作用是正確讀取服務器返回的文件中的雙字節文本(比如說中文)
'myHttpGet helper 處理雙字節文本
Function bytes2BSTR(vIn)
    strReturn = ""
    For i = 1 To LenB(vIn)
        ThisCharCode = AscB(MidB(vIn,i,1))
        If ThisCharCode < &H80 Then
            strReturn = strReturn & Chr(ThisCharCode)
        Else
            NextCharCode = AscB(MidB(vIn,i+1,1))
            strReturn = strReturn & Chr(CLng(ThisCharCode) * &H100 + CInt(NextCharCode))
            i = i + 1
        End If
    Next
    bytes2BSTR = strReturn
End Function

bytes2BSTR函數的功能也可以利用Adodb.Stream組件通過下面的函數實現,雖然下面的函數可以指定字符集Charset,但它並不能轉換編碼,即傳遞"UTF-8"給參數sCset,來讀取一張GB2312編碼的網頁將顯示為亂碼。
'CharsetHelper可以正確的讀取以sCset(如"GB2312","UTF-8"等)編碼的文件
Function CharsetHelper(arrBytes,sCset)
    Call D("CharsetHelper: "+sCset)
    Dim oAdos
    Set oAdos = CreateObject("Adodb.Stream")
    With oAdos
        .Type = 1
        .Mode =3    'adModeReadWrite
        .Open
        .Write arrBytes
        .Position = 0
        .Type = 2
        .Charset = sCset
        CharsetHelper = .ReadText 
        .Close
    End With
    Set oAdos = Nothing
End Function 

2.同時下載遠程網頁的圖片(和其它文件)
'函數: ProcessRemoteUrl
'功能: 替換字符串中的遠程文件為本地文件並保存遠程文件
'參數: strContent  要替換的字符串,即遠程網頁文件的內容
'       sSavePath   不以/結尾的相對路徑,指示遠程文件的本地保存路徑
'       sPreceding  更改後的URL前綴,如http://somehost/upload/
'返回: 替換遠程路徑為本地路徑之後的新的網頁文本內容
Function ProcessRemoteUrl(sContent,sSavePath,sPreceding)
    Call D("ProcessRemoteUrl")

    Set re=new RegExp
    re.IgnoreCase =true
    re.Global=True
    '下面的正則中.SubMatches(4)=文件名全名.SubMatches(5)文件擴展名
    re.Pattern = "((http):(?:\/\/){1}(?:(?:\w)+[.])+(net|com|cn|org|cc|tv|[0-9]{1,4})(\S*\/)((?:\S)+[.]{1}(gif|jpg|jpeg|png|bmp)))"

    Set RemoteFile = re.Execute(sContent)

    Dim SaveFileName
    'RemoteFile     正則表達式Match對象的集合
    'RemoteFileUrl  正則表達式Match對象
    For Each RemoteFileUrl in RemoteFile
        SaveFileName = RemoteFileUrl.SubMatches(4)
        Call Save2File(myHttpGet(RemoteFileUrl,False),sSavePath&"/"&SaveFileName,False,True)
        sContent=Replace(sContent,RemoteFileUrl,sPreceding&SaveFileName)
    Next

    ProcessRemoteUrl=sContent
End Function 
改進:探測真實URL
上面的ProcessRemoteUrl函數不能正確處理形如<img src="upload/abc.jpg" />和<a href="/upload/abc.gif" ...的內容,要處理這些相對鏈接,我們可以先用下面的函數把網頁中的相對鏈接都轉換成絕對鏈接
'函數: DetectUrl
'功能: 替換字符串中的遠程文件相對路徑為以http://..開頭的絕對路徑
'參數: sContent    要處理的含相對路徑的網頁的文本內容
'       sUrl        所處理的遠程網頁自身的URL,用於分析相對路徑
'返回: 替換相對鏈接為絕對鏈接之後的新的網頁文本內容
Function DetectUrl(sContent,sUrl)
    Call D("DetectUrl:"&sUrl)

    '分析URL
    Dim re,sMatch
    Set re=new RegExp
    re.Multiline=True
    re.IgnoreCase =true
    re.Global=True

    re.Pattern = "(http://[-A-Z0-9.]+)/[-A-Z0-9+&@#%~_|!:,.;/]+/"
    Dim sHost,sPath
    'http://localhost/get/sample.asp
    Set sMatch=re.Execute(sUrl)
    'http://localhost
    sHost=sMatch(0).SubMatches(0)
    'http://localhost/get/
    sPath=sMatch(0)

    re.Pattern = "(src|href)=""?((?!http://)[-A-Z0-9+&@#%=~_|!:,.;/]+)""?"
    Set RemoteFile = re.Execute(sContent)

    'RemoteFile 正則表達式Match對象的集合
    'RemoteFileUrl 正則表達式Match對象,形如src="Upload/a.jpg"
    Dim sAbsoluteUrl
    For Each RemoteFileUrl in RemoteFile
        '<img src="a.jpg">,<img src="f/a.jpg">,<img src="/ff/a.jpg">
        If Left(RemoteFileUrl.SubMatches(1),1)="/" Then
            sAbsoluteUrl=sHost
        Else
            sAbsoluteUrl=sPath
        End If
        sAbsoluteUrl = RemoteFileUrl.SubMatches(0)&"="""&sAbsoluteUrl&RemoteFileUrl.SubMatches(1)&""""
        sContent=Replace(sContent,RemoteFileUrl,sAbsoluteUrl)
    Next

    DetectUrl=sContent
End Function 
改進:避免重復下載
網頁中的有些圖片,比如spacer.gif重復出現,會被重復下載,壁免這個問題的一個方法是設置一個arrUrls數組,把采集過的文件的URL放在裡面,在每次采集前先遍歷數組看是否已經采集,然後只參集沒有參集過的文件

3.實戰舉例(以****為例)
****是我最經常去的地方,而且網速不錯,就以她為例啦,沒有惡意哦:-)

分析列表頁
內容頁的技巧
分析內容頁中的上一頁,下一頁
想了一下,這部分內容還是晢時不寫,免得被BS了  :-),還省得打好多字。 無非是把遠程網頁采集下來,然後用正則表達式分析提取其中的特定內容,如標題,作者,內容之類的 我有兩個小小的經驗: 

一是網頁源碼前後的內容對分析有很大的干擾,你可以用下面的方法先把它支除
'抽取部分內容進行分析,你可以用用EditPlus數字數
'去除前7600和後5000的字符
sPageW=Left(sPageW,Len(sPageW)-5000)
sPageW=Mid(sPageW,7600)

二是你可能不想在對方的服務器上留下連續的浏覽記錄,下面的一個小函數會有所幫助
'過程: Sleep
'功能: 程序在此晢停幾秒
'參數: iSeconds    要暫停的秒數
Sub Sleep(iSeconds)
    D Timer()&" <font color=blue>Sleep For "&iSeconds&" Seconds</font>"
    Dim t:t=Timer()
    While(Timer()<t+iSeconds)
        'Do Nothing
    Wend
    D Timer()&" <font color=blue>Sleep For "&iSeconds&" Seconds OK</font>"
End Sub

'調用舉例,晢停,時長隨機,在3秒以內
Sleep(Fix(Rnd()*3)) 

三就是多用正則表達式測試工具提高編寫正則表達式的效率

4.高級主題:UTF-8和GB2312的轉換
這個問題比較復雜,由於我智力和精力方面的原因沒有完全搞定,網上己有的資料也大多不完全正確或者不全面,我推薦一個UTF-8和GB2312的轉換的C語言的實現供大家參考,它功能完整而且不依賴Windows API函數。
我在試著用ASP+VBScript實現它,有一些不太成熟的經驗:

計算機上的文件、操作系統內部的字符串表示都是Unicode的,所以,UTF-8和GB2312之間的轉換需要以Unicode為中介 
UTF-8就是Unicode的一個變體,它們之間的相互轉換比較簡單,參考下圖就可以了 
GB2312和Unicode的編碼好像是不相關的,不依賴操作系統內部函數進行轉換就需要一個編碼映射表,指出GB2312和Unicode的編碼一一對應的關系,這個編碼表大約包含7480×2個項目。 
在ASP文件中,要默認以某和編碼(如GB2312)讀取一個字符串,需要將ASP的CodePage設為相應代碼頁(對GB2312是CodePage=936) 
編碼轉換中還有一些又小又重要的問題我還不知道:-( 
5.更多高級主題:登陸後抓取,客戶端偽造等
xmlhttp對象可以以post或get的方法與http服務器交互,可以設置和讀取http頭,學習一下http協議,並且更深入的了解一些xmlhttp對象的方法和屬性,你就可以用它來模擬一個浏覽器,自動的做各種以前需要人來做的重復工作。


6.己有的采集程序
本文旨在討論采集程序在ASP+VBScript環境下的實現,如果你需要一個網頁采集程序,下面的鏈接可能對你有用。 

LocoySpider火車頭網頁內容采集器 
C#+.Net編寫的內容采集器,它的一個重要特點是不將采集來的內容保存到數據庫,而是使用自定的POST提交的別的網頁,如內容管理系統的新建內容頁。免費。 BeeCollector (小蜜蜂采集器) 
PHP+MySQL編寫的內容采集器。 風訊內容管理系統 
這個強大的內容管理系統內帶有一個ASP的網頁內容采集器+查看評論 (0)+發表評論+Trackback地址+Trackbacks (0)2006-8-9正則表達式在網絡編程中的運用
分類:Ajax時間:2006-8-9 14:07:47作者:janyin導讀: 
正則表達式在網絡編程中的運用

[前言:]在我們編寫WEB程序時,經常會判斷一個字符串的有效性,如;一個串是否是數字、是否是有效的Email地址等等。如果不使用正則表達式,那麼判斷的程序會很長,並且容易出錯,如果使用正則表達式,這些判斷就是一件很輕松的工作了。本文全面介紹正則表達式的慨念、格式。並以在PHP、ASP中的應用實例增加讀者的感性認識。正則表達式的應用很廣,需要大家在學習和實踐中不斷的總結。

正則表達式簡介 
簡單的說,正則表達式是一種可以用於模式匹配和替換的強有力的工具。在網絡編程中應用廣泛,如PHP腳本語言或是JavaScript、VBScript這樣的客戶端腳本語言都提供了對正則表達式的支持。由此可見,正則表達式已經超出了某種語言或某個系統的局限,成為人們廣為接受的概念和功能。 

正則表達式可以讓用戶通過使用一系列的特殊字符構建匹配模式,然後把匹配模式與數據文件、程序輸入以及WEB頁面的表單輸入等目標對象進行比較,根據比較對象中是否包含匹配模式,執行相應的程序。 

舉例來說,正則表達式的一個最為普遍的應用就是用於驗證用戶在線輸入的郵件地址的格式是否正確,如果通過正則表達式驗證用戶郵件地址的格式正確,用戶所填寫的表單信息將會被正常處理;反之,如果用戶輸入的郵件地址與正則表達的模式不匹配,將會彈出提示信息,要求用戶重新輸入正確的郵件地址。由此可見正則表達式在WEB應用的邏輯判斷中具有舉足輕重的作用。在後面我們會舉例詳細介紹。 

正則表達式形式一般如:/love/,其中位於"/"定界符之間的部分就是將要在目標對象中進行匹配的模式。用戶只要把希望查找匹配對象的模式內容放入"/"定界符之間即可。為了能夠使用戶更加靈活的定制模式內容,正則表達式提供了專門的"元字符"。所謂元字符就是指那些在正則表達式中具有特殊意義的專用字符,可以用來規定其前導字符(即位於元字符前面的字符)在目標對象中的出現模式。較為常用的元字符包括: "+,"*,?以及{}",或者"\s,\S,\d,\w和\W"等等。為了能夠方便用戶更加靈活的設定匹配模式,正則表達式允許使用者在匹配模式中利用[]界定匹配於某一個范圍的字符而不局限於具體的字符。 

除了我們以上的元字符之外,正則表達式中還具有另外一種較為獨特的專用字符,即定位符。定位符用於規定匹配模式在目標對象中的出現位置。較為常用的定位符包括: "^", "$", "\b" 以及 "\B"。 

如果我們希望在正則表達式中實現類似編程邏輯中的"或"運算,在多個不同的模式中任選一個進行匹配的話,可以使用管道符 "|"。例如: 正則表達式中還有一個較為常用的運算符,即否定符 "[^]"。與我們前文所提到的定位符 "^" 不同,否定符 "[^]"規定目標對象中不能存在模式中所規定的字符串。一般來說,當"^"出現在 "[]"內時就被視做否定運算符;而當"^"位於"[]"之外,或沒有"[]"時,則應當被視做定位符。 

最後,當用戶需要在正則表達式的模式中加入元字符,並查找其匹配對象時,可以使用轉義符"\"。例如:/Th\*/,該正則表達式將會與目標對象中的"Th*"而非"The"等相匹配。

正則表達式的語法規則和標記
現在我們正式進入則表達式的學習,我會根據實例結合講解正則表達式的用法,看完後你就會覺得寫UBB代碼如此簡單了,只要你一步一步的跟著我學 看完本文章後你就成為UBB高手了。激動人心的就是你能寫出自已的UBB標簽來了,再也不用到別人那裡去拷貝現成的代碼和模板了。 還好VBScritp5.0給我們提供了"正則表達式"對象,只要你的服務器安裝了IE5.x,就可以運行了.

字符描述:

^符號匹配字符串的開頭。例如:
^abc 與"abc xyz"匹配,而不與"xyz abc"匹配

$符號匹配字符串的結尾。例如:
abc$ 與"xyz abc"匹配,而不與"abc xyz"匹配。

注意:如果同時使用^符號和$符號,將進行精確匹配。例如:
^abc$ 只與"abc"匹配 

*符號匹配0個或多個前面的字符。例如:
ab* 可以匹配"ab"、"abb"、"abbb"等

+符號匹配至少一個前面的字符。例如:
ab+ 可以匹配"abb"、"abbb"等,但不匹配"ab"。 

?符號匹配0個或1個前面的字符。例如:
ab?c? 可以且只能匹配"abc"、"abbc"、"abcc"和"abbcc"

.符號匹配除換行符以外的任何字符。例如:
(.)+ 匹配除換行符以外的所有字符串

x|y匹配"x"或"y"。例如:
abc|xyz 可匹配 "abc"或 "xyz",而"ab(c|x)yz"匹配 "abcyz"和"abxyz"

{n}匹配恰好n次(n為非負整數)前面的字符。例如:
a{2} 可以匹配"aa",但不匹配"a"

{n,}匹配至少n次(n為非負整數)前面的字符。例如:
a{3,} 匹配"aaa"、"aaaa"等,但不匹配"a"和"aa"。

注意:a{1,}等價於a+
a{0,}等價於a*

{m,n}匹配至少m個,至多n個前面的字符。例如:
a{1,3} 只匹配"a"、"aa"和"aaa"。

注意:a{0,1}等價於a?

[xyz]表示一個字符集,匹配括號中字符的其中之一。例如:
[abc] 匹配"a"、"b"和"c"

[^xyz]表示一個否定的字符集。匹配不在此括號中的任何字符。例如:
[^abc] 可以匹配除"a"、"b"和"c"之外的任何字符

[a-z]表示某個范圍內的字符,匹配指定區間內的任何字符。例如:
[a-z] 匹配從"a"到"z"之間的任何一個小寫字母字符

[^m-n]表示某個范圍之外的字符,匹配不在指定范圍內的字符。例如:
[m-n] 匹配除從"m"到"n"之間的任何字符

\符號是轉義操作符。例如:
\n 換行符
\f 分頁符
\r 回車
\t 制表符
\v 垂直制表符 

\\ 匹配"\"
\/ 匹配"/"
\s 任何白字符,包括空格、制表符、分頁符等。等價於"[ \f\n\r\t\v]"
\S 任何非空白的字符。等價於"^\f\n\r\t\v]"
\w 任何單詞字符,包括字母和下劃線。等價於"[A-Za-z0-9_]"

\W 任何非單詞字符。等價於"[^A-Za-z0-9_]"

\b匹配單詞的結尾。例如:
ve\b 匹配單詞"love"等,但不匹配"very"、"even"等

\B匹配單詞的開頭。例如:
ve\B 匹配單詞"very"等,但不匹配"love"等

\d匹配一個數字字符,等價於[0-9]。例如:
abc\dxyz 匹配"abc2xyz"、"abc4xyz"等,
但不匹配"abcaxyz"、"abc-xyz"等

\D匹配一個非數字字符,等價於[^0-9]。例如:
abc\Dxyz 匹配"abcaxyz"、"abc-xyz"等,
但不匹配"abc2xyz"、"abc4xyz"等

\NUM匹配NUM個(其中NUM為一個正整數),引用回到記住的匹配。例如:
(.)\1 匹配兩個連續相同的字符。 

\oNUM匹配n(其中n為一個小於256的八進制換碼值)。例如:
\o011 匹配制表符

\xNUM匹配NUM(其中NUM為一個小於256的十六進制換碼值)。例如:
\x41 匹配字符"A"

應用實例 
在對正則表達式有了較為全面的了解之後,就可以在Perl,PHP,以及ASP等程式中使用正則表達式了。

下面以PHP語言為例,使用驗證用戶在線輸入的郵件地址以及網址的格式是否正確。PHP 提供了eregi()或ereg()資料處理函數實現字串比對剖析的模式匹配操作ereg()函數的使用格式如下: 

ereg (pattern, string) 

其中,pattern代表正則表達式的模式;而string則是執行查找替換操作的目標對象,如Email地址值。本函式以 pattern 的規則來剖析比對字串 string,找到則傳回值為 true。函式ereg()與eregi()的區別就是前者區分大小寫,後者與大小寫無關。使用PHP編寫的程序代碼如下: 

以下是引用片段:
<?php  
if (ereg("^([a-z0-9_-])+@([a-zZ0-9_-])+(\.[a-z0-9_-])+[a-z]{2,3}$",$email))  
{ echo "您的 E-Mail 通過初步檢查!";}  
else  
{ echo "不是合法的E-Mail 地址,請重新輸入!";}  
?>  



這個例子是可對使用者輸入的 E-Mail 作簡單的檢查,檢查使用者的 E-Mail 字串是否有 @ 字元,在 @ 字元前有小寫英文字母、數字或下"_",在 @ 之後有數節字串,最後的小數點後只能有二個或三個小寫英文字母。如[email protected][email protected]就可以通過檢查,而[email protected](出現大寫字母)和[email protected](最後的小數點後只能超過3個英文字母)就不能通過檢查。 

我們通過調用自定義正規則判別函式也可以進行檢查操作,如下面的網址檢驗函式: 

以下是引用片段:
function VerifyWebSiteAddr ($strWebSiteAddr){  
return (eregi ("^([_0-9a-z-]+.)+([0-9a-z-]+.)+[a-z]{2,3}$", $strWebSiteAddr));  
}  


我們知道,PHP程式的運行必須有服務器支持,如果您在自己的主頁上想實現以上功能, 嵌入式腳本語言Javascript或許是好的選擇。JavaScript中帶有一個功能強大的RegExp()對象,可以用來進行正則表達式的匹配操作。其中的test()方法可以檢驗目標對象中是否包含匹配模式,並相應的返回true或false。只須在HTML文檔的<head>區域添加一段Javascript代碼。 

以下是引用片段:
< language="Javascript1.2">  
function verifyAddress(obj){  
var email = obj.email.value;  
var pattern = /^([a-zA-Z0-9_-])+@([a-zA-Z0-9_-])+(\.[a-zA-Z0-9_-])+/;  
flag = pattern.test(email);  
if(flag){  
alert("您的 E-Mail 通過初步檢查!");  
return true;}  
else{  
alert("不是合法的E-Mail 地址,請重新輸入!");  
return false;}  
}  
</script> 


然後在網頁中輸入信息的表單域<form>標簽區域內中加入一行如下代碼: 

以下是引用片段:
<onSubmit="return verifyAddress(this);"> 


 當按下提交按鈕後,首先運行verifyAddress()函式,進行匹配識別,如果滿足條件則發送表單信息到目標頁面,否則返回錯誤信息。 

事實上,正則表達式的功能遠非本文提到的這一點,下次,給大家介紹一種使用正則表達式從任意指定網頁中析取任意種類文本信息(如網頁中所有的圖片文件名)的技巧。 

Html源文件中image標簽的析取 
上篇,我們介紹了正則表達式的概念及其在網絡編程中使用正則表達式驗證用戶在線輸入的郵件地址以及網址的格式是否正確的應用實例,今天介紹一種從指定網頁源文件中析取image標簽的的編程技巧,即從網頁源文件中,解析出所有的插圖文件名(包括圖片路徑),也就是標簽<img src=".../.../abc.jpg"> 中的文件名".../.../abc.jpg"(有的可能是gif格式)。編程環境:PHP+Apache for Win98。 

首先, 用文本編輯器新建一個PHP類型的文件:abstractSRCfrompage.php3。為了方便講解,我們打算是在浏覽器表單域中輸入需要析取image標簽的網頁的URL(或本機文檔),提交後執行析取操作,所以在該文件中,我們要建立一個用於輸入網址的表單,舉例如下: 

以下是引用片段:
<form action=" abstractSRCfrompage.php3" method="post"> 
輸入網址<input type=text name=filename><br> 
<input type=submit name=submit value="提交"> 
</form> 


輸入正確的網址,提交後表單信息被送到abstractSRCfrompage.php3頁面,由於表單本身就在該頁面,所以相當於被送到自身頁面,下面我們需要編寫析取處理的PHP代碼,緊接著表單代碼段後寫入如下代碼:

以下是引用片段:
<?php 
if ($filename!=""){ 
$fp = fopen($filename, "r"); file://若輸入不為空,開啟本地或者遠程檔案; 
while ($buffer = fgets($fp, 1024)) { 
$source .=$buffer; } 
fclose($fp); 
file://查找$source中是否有<img ...src=".../...gif | jpg"> 這樣的標記 
if(eregi("(<img)+[^<>]+(src=\")+[^\*\"<>|]+(\.)+((gif)|(jpg))+(\")",$source)) { 
echo "找到圖片標簽:)<br>";} 
else{ 
echo "未發現圖片標簽:(<br>";} 
file://拆分,第一次用標簽,<img ...src=拆分,得到了以圖形文件名開頭的數組, 
$splitres=split("((\">)|())+(<img)+[^<>]+(src=\")",$source); 
echo "找到: $imagenums-1個圖片<br>分別為:<br>"; 
for($i=1;$i<sizeof($splitres);$i++){ 
file://二次拆分,用"拆分。因為文件名能含有",得到的拆分數組的第一個元素就是路徑+文件名了; 
unset($imgname); // 再次使用前刪除imgname變量; 
$imgname=spliti("\"",$splitres[$i]);//將析取的圖片信息依次賦給imgname變量 
echo "$i=>".$imgname[0]."<br>"; file://輸出析取的圖片信息 


?> 


該段程序的設計思路是:PHP程式判斷是否輸入了檔案名稱(網址URL或本機檔案名),若不為空則以只讀方式打開該檔案;接著使用函式fgets(fp,length)取得檔案指標fp所指的行並傳回該行內長度為length-1 的字串,上例中就是1024-1=1023;然後利用字串比對剖析函式ereg()查找$source中是否含有<img ...src=".../...gif | jpg"> 

這樣的標記(關於該函式在上篇中有詳細的介紹);假如找到的話,則利用split()函式按一定的規則執行兩次拆分,去掉標記中的<img...src=字符和"字符,結果得到數組splitres,其中的每一個元素都是以圖形路徑+文件名開頭的數組;用for循環在屏幕上輸出每個數組的第一個元素值,即我們所需要的所有圖形路徑+文件名。

其中函式sizeof($splitres)返回個數;在for循環中,依次將數組splitres的每個元素(也是數組)賦給數組變量imgname,並輸出imgname的第一個元素值(為找到的一個圖形路徑+文件名),當執行下次循環時,刪除變量imgname,達到重復使用的目的。大家可以仔細研究其中的奧妙。

好了,寫好後,將abstractSRCfrompage.php3存到你的服務器指定目錄下,啟動Apache服務器,在浏覽器中打開它,隨便輸入一個存在的網頁名稱或是遠程URL,看看效果如何。

如果有興趣,你可以嘗試析取HTML文檔中的任意感興趣的信息,如果稍加改裝,做一個網站文本搜索引擎豈不更妙?

正則表達式在UBB論壇中的應用
一、UBB代碼的概念

什麼是UBB代碼?

UBB代碼是HTML的一個變種。一般情況下,UBB論壇不允許你使用HTML代碼,而只能用UBB代碼替代HTML代碼。

UBB代碼是一套由流行的UBB標簽組成了固定代碼,代碼有統一的格式。用戶只要遵循代碼規則就可以實現用戶想要的功能。如:想要顯示粗體的how are you 字樣,就應該輸入 how are you而不是輸入<b>how are you</b>

你也許會問:ASP是怎樣把 how are you轉換為<b>how are you</b>的呢?

回答這個問題就是:用正則表達式。

二、實例分析

1)在字符串中精確查找鏈接地址 

以下是引用片段:
((http|https|ftp):(\/\/|\\\\)((\w)+[.]){1,}(net|com|cn|org|cc|tv|[0-9]{1,3})(((\/[\~]*|\\[\~]*) 
(\w)+)|[.](\w)+)*(((([?](\w)+){1}[=]*))*((\w)+){1}([\&](\w)+[\=](\w)+)*)*) 


我們知道,鏈接地址一般以http或者https或者ftp等形式出現。初步總結一下就是,鏈接地址必須符合如下條件:

條件1

以http://或者https://或者ftp://等開頭(當然還有其它形式,這裡只列出主要的)

條件2

http://後面必須跟一個單詞字符,緊接著單詞字符後面的是"."(這樣的組合必須出現一次或多次)。緊跟著"."後面的是域名後綴(如net或者com或者cn等,如果是以IP地址的形式出現就可以是數字)

條件3

出現完整的鏈接地址後,還可以出現下一級或者更多級的目錄(還要注意個人主頁的地址有可能出現"~"符號)

條件4

鏈接地址末尾可以帶參數。如典型的頁數?PageNo=2&action=display等

現在我們用下面的代碼來逐個匹配上面的條件--

1、((http|https|ftp):(\/\/|\\\\) 滿足條件1

表示http:// http:\\ https:// https:\\ ftp:// ftp:\\都匹配(在這裡考慮了某些用戶可能把"//"輸成"\\"的易發性錯誤)

注意:"|"表示"或者","\"是轉義字符。"\/\/"表示"//","\\\\"表示"\\"

2、((\w)+[.]){1,}(net|com|cn|org|cc|tv|[0-9]{1,3}) 滿足條件2

"((\w)+[.]){1,}"表示一個單詞字符加一個點號可以出現1次或者多次(這裡考慮了某些用戶喜歡省略www而將http://www.w3c.com寫成http://w3c.com)

"(net|com|cn|org|cc|tv|[0-9]{1,3})"表示必須要以net或者com或者cn或者org或者cc或者tv或者三位以下的數字結束

[0-9]{1,3}表示三位以下的數字,因為ip地址的任何段不能超過255

3、(((\/[\~]*|\\[\~]*)(\w)+)|[.](\w)+)* 滿足條件3

"(\/[\~]*|\\[\~]*)"表示可以出現"/~"或者是"\~",(其中"[\~]*"表示 ~ 可以出現也可以不出現),因為不是每個鏈接地址都有下一級目錄

"(\w)+)|[.](\w)+)"表示必須出現一個單詞字符(即目錄或者是一個帶有擴展名的文件)

注意:最後還有一個"*"表示上面括號內的可以出現也可以不出現,否則就只能匹配有下一級目錄的鏈接地址了。

4、(((([?](\w)+){1}[=]*))*((\w)+){1}([\&](\w)+[\=](\w)+)*)*)滿足條件4

"((([?](\w)+){1}[=]*))*((\w)+){1}"表示形如"?PageNo=2"的字符串可以出現也可以不出現,如果出現則只能出現一次(因為不可能有兩個"?"號出現)。

"([\&](\w)+[\=](\w)+)*)"表示形如"&action=display"的字符串可以出現也可以不出現(因為並不是每個網頁都帶有兩個以上的參數。

整個"((([?](\w)+){1}[=]*))*((\w)+){1}([\&](\w)+[\=](\w)+)*)*"表示形如"?PageNo=2&action=display"的字符串可以出現也可以不出現(即鏈接地址可以有參數也可以沒有參數)

把上面的組合起來,我們就可以匹配一個比較全面的鏈接地址了。比用簡單的"(http:\/\/\S+)"來匹配一個鏈接地址要好,讀者可以自行行測試比較。當然,這段代碼還有很多不足之處,希望大家能夠繼續改進。

2)替代典型的UBB標簽:

我們的目的就是要把成對的替換成<b></b>下面來看我們實現它的模板

(\[b\])(.+)(\[\/b\])

這裡用了"(.+)"來配匹到之間的整個字符串,在替代的時候我們要寫成這樣

str=checkexp(re,str,"<b>$2</b>")

(注意:checkexp是我自定義的函數,將在後面給出。這個函數將把按照我們提供的模板進行替代。)

也許你會問這裡出現一個"$2"是什麼東東,呵注意了這個$2可是很重要的,它代表了"(.+)"所配匹的整個字符串。

為什麼是$2而不是$1、$3呢?因為$1代表(\[b\])所匹配的""字符串,$3代表(\[\/b\])所匹配的""字符串,顯然這裡我們需要的是$2而不

是$1$3。


三、UBB正則表達模板實例

下面是我寫的一個UBB函數,這個函數基本上能使你的論壇成為一個優秀的UBB代碼論壇了。當然,通過改進後,你可以得到一個更強大的U

BB論壇。

代碼片段:
Function ReThestr(face,str) 
dim re,str 
re="\>" 
str=checkexp(re,str,">") 
re="\<" 
str=checkexp(re,str,"<") 
re="\n\r\n/" 
str=checkexp(re,str,"<P>") 
re=chr(32) 
str=checkexp(re,str," ")  
re="\r" 
str=checkexp(re,str," ") 
re="\[img\]((http:(\/\/|\\\\)){1}((\w)+[.]){1,3}_ 
(net|com|cn|org|cc|tv)(((\/[\~]*|\\[\~]*) 
(\w)+)|[.](\w)+)*(\w)+[.]{1}(gif|jpg|png))\[\/img\]" ''查找圖片地址 
str=checkexp(re,str," <img src=''$1''> ") 
re="\[w\](http:(\/\/|\\\\)((\w)+[.]){1,}_ 
(net|com|cn|org|cc|tv)(((\/[\~]*|\\[\~]*)(\w)+)|[.](\w)+)* 
(((([?](\w)+){1}[=]*))*((\w)+){1}([\&](\w)+[\=](\w)+)*)*)\[\/w\]" ''查找幀地址 
str=checkexp(re,str,"<iframe width=''300'' height=''300'' src=''$1''></iframe>") 
re="([^(''>)])(<br>)*((http|https|ftp):_ 
(\/\/|\\\\)((\w)+[.]){1,}(net|com|cn|org|cc|tv|_ 
([0-9]{1,3}))(((\/[\~]*|\\[\~]*)(\w)+)|[.](\w)+)*_ 
(((([?](\w)+){1}[=]*))*((\w)+){1}([\&](\w)+[\=](\w)+)*)*)" ''查找鏈接地址 
str=checkexp(re,str,"$1$2 <a href=''$3'' target=_blank>$3</a> ") 
re="([^(http://|http:\\)])((www|cn)[.](\w)+[.]{1,}_ 
(net|com|cn|org|cc)(((\/[\~]*|\\[\~]*)(\w)+)|[.](\w)+)* 
(((([?](\w)+){1}[=]*))*((\w)+){1}([\&](\w)+[\=](\w)+)*)*) 
" ''查找不以http://開頭的地址 
str=checkexp(re,str,"$1 <a href=''http://$2'' target=_blank>$2</a> ") 
re="([^(=)])((\w)+[@]{1}((\w)+[.]){1,3}(\w)+)" ''查找郵件地址 
str=checkexp(re,str," <a href=''mailto:$2''>$2</a> ") 
re="\[color=(((\w)+)|][#][0-F]{6})\]((.)+)\[\/color\]" ''替換字體色彩 
str=checkexp(re,str,"<font color=''$1''>$4</font>") 
re="\[size=(][0-9]{1})\]((.)+)\[\/size\]" ''替換字體大小 
str=checkexp(re,str,"<font size=''$1''>$2</font>") 
re="\[font=((.)+){1,3}\]((.)+)\[\/font\]" ''替換字體 
str=checkexp(re,str,"<font face=''$1''>$3</font>") 
re="(\[b\])(.+)(\[\/b\])" ''加粗字體 
str=checkexp(re,str,"<b>$2</b>") 
re="(\[u\])(.+)(\[\/u\])" ''下畫線 
str=checkexp(re,str,"<u>$2</u>") 
re="(\[li\])(.+)(\[\/li\])" ''列表 
str=checkexp(re,str,"<li>$2</li>") 
re="(\[QUOTE\])(.+)(\[\/QUOTE\])" ''引用 
str=checkexp(re,str,"_ 
<BLOCKQUOTE>引用:<HR SIZE=1>$2<HR SIZE=1></BLOCKQUOTE>") 
re="\[@]{1}((\w)+[.]){1,3}(\w)+)\](.+)(\[\/email\])" ''郵件 
str=checkexp(re,str,"<a href=mailto:$1>$6</a>") 
re="(\[center\])(.+)(\[\/center\])" ''居中 
str=checkexp(re,str,"<center>$2</center>") 
re="fuck" 
str=checkexp(re,str,"***") 
re="操" 
str=checkexp(re,str,"***") 
re="sex" 
str=checkexp(re,str,"***")  
re="TMD" 
str=checkexp(re,str,"***") 
re="shit" 
str=checkexp(re,str,"***") 
ReThestr=str 
end function
  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved