前言
鏈接也就是超級鏈接,是從一個元素(文字、圖片、視頻等)鏈接到另一個元素(文字、圖片、視頻等)。網頁中的鏈接一般有三種,一種是絕對URL超鏈接,也就是一個頁面的完整路徑;另一種是相對URL超鏈接,一般都鏈接到同一網站的其他頁面;還有一種是頁面內的超鏈接,這種一般鏈接到同一頁面內的其他位置。
搞清楚了鏈接的種類,就知道要抓鏈接,主要還是絕對URL超鏈接和相對URL超鏈接。要寫出正確的正則表達式,就必須要了解我們查找的對象的模式。
先說絕對鏈接,也叫作URL(Uniform Resource Locator),標識了互聯網上的唯一資源。URL的結構包含三部分:協議、服務器名稱、路徑和文件名。
協議是告訴浏覽器如何處理將要打開文件的標識,最常見的就是 http 協議。本文也只考慮HTTP協議,至於其他的 https、ftp、mailto、telnet協議等,根據需要也可以添加。
服務器名稱是告訴浏覽器如何到達這個服務器的方式,通常是域名或者IP地址,有時還會包含端口號(默認為80)。FTP協議中,也可以包含用戶名和密碼,本文就不考慮了。
路徑和文件名,一般以 / 分割,指出到達這個文件的路徑和文件本身的名稱。如果沒有具體的文件名,則訪問這個文件夾下的默認文件(可以在服務器端設置)。
那麼現在清楚了,要抓取的絕對鏈接的典型形式可以概括為
http://www.xxx.com/xxx/yyy/zzz.html
每個部分可以使用的字符范圍有明確的規范,具體可以參考RFC1738。那麼正則表達式就可以寫出來了。
/(http|https):\/\/([\w\d\-_]+[\.\w\d\-_]+)[:\d+]?([\/]?[\w\/\.]+)/i
解釋如下:
(http|https)第一個括號內匹配的是協議部分。
([\w\d\-_]+[\.\w\d\-_]+)第二個括號內匹配的是域名部分。
([\/]?[\w\/\.]+)第三個括號內匹配的是相對路徑。
寫到這個時候,基本上大部分的網址都能匹配到了,但是對於URL中帶有參數的還不能抓取,這樣有可能造成再次訪問的時候頁面報錯。關於參數RFC1738規范中要求是用?來分割,後面帶上參數,但是現代的RIA應用有可能使用其他奇怪的形式進行分割。
稍微修改一下,這樣就可以將查詢參數部分搜索出來。這裡仍然沒有涵蓋全部的情況,例如URL中有中文、有空格及其他特殊字符的情況,但是基本上能夠滿足我的需求了,就沒有繼續深化。
/(http|ftp|https):\/\/([\w\d\-_]+[\.\w\d\-_]+)[:\d+]?([\/]?[\w\/\.\?=&;%@#\+,]+)/i
使用括號的好處是,在處理結果時,可以很容易的獲取到協議、域名、相對路徑這些內容,方便後續的處理。
例如使用 preg_match_all()
匹配時,結果數組索引0為全部結果、1為協議、2為域名、3為相對路徑。
以上就是使用PHP的正則抓取頁面中的網址的全部內容,希望對大家在PHP使用中有所幫助。