程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> 關於PHP編程 >> php snoopy采集類介紹

php snoopy采集類介紹

編輯：關於PHP編程

Snoopy是一個用來模擬浏覽器的一些簡單功能的php類，可以獲取網頁內容，發送表單等操作。Snoopy正確運行需要你的服務器的PHP版本在4以上，並且支持PCRE（Perl Compatible Regular Expressions），基本的LAMP服務都支持。由於它本身是php一個類，無需擴支持，因此在服務器不支持curl的時候是最好的選擇。

Snoopy的特點：

1、抓取網頁的內容 fetch

2、抓取網頁的文本內容 (去除HTML標簽) fetchtext

3、抓取網頁的鏈接，表單 fetchlinks fetchform

4、支持代理主機

5、支持基本的用戶名/密碼驗證

6、支持設置 user_agent, referer(來路), cookies 和 header content(頭文件)

7、支持浏覽器重定向，並能控制重定向深度

8、能把網頁中的鏈接擴展成高質量的url(默認)

9、提交數據並且獲取返回值

10、支持跟蹤HTML框架

11、支持重定向的時候傳遞cookies

Snoopy類的下載地址：http://sourceforge.net/projects/snoopy/

Snoopy類方法:

fetch($URI)

這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址。抓取的結果被存儲在 $this->results 中。如果你正在抓取的是一個框架，Snoopy將會將每個框架追蹤後存入數組中，然後存入 $this->results。

fetchtext($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回網頁中的文字內容。

fetchform($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回網頁中表單內容(form)。

fetchlinks($URI)

本方法類似於fetch()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回網頁中鏈接(link)。默認情況下，相對鏈接將自動補全，轉換成完整的URL。

submit($URI,$formvars)

本方法向$URL指定的鏈接地址發送確認表單。$formvars是一個存儲表單參數的數組。

submittext($URI,$formvars)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回登陸後網頁中的文字內容。

submitlinks($URI)

本方法類似於submit()，唯一不同的就是本方法會去除HTML標簽和其他的無關數據，只返回網頁中鏈接(link)。默認情況下，相對鏈接將自動補全，轉換成完整的URL。

Snoopy類屬性: (缺省值在括號裡)

$host 連接的主機
$port 連接的端口
$proxy_host 使用的代理主機，如果有的話
$proxy_port 使用的代理主機端口，如果有的話
$agent 用戶代理偽裝 (Snoopy v0.1)
$referer 來路信息，如果有的話
$cookies cookies，如果有的話
$rawheaders 其他的頭信息, 如果有的話
$maxredirs 最大重定向次數， 0=不允許 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否將鏈接都補全為完整地址 (true)
$user 認證用戶名, 如果有的話
$pass 認證用戶名, 如果有的話
$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪裡報錯, 如果有的話
$response_code 從服務器返回的響應代碼
$headers 從服務器返回的頭信息
$maxlength 最長返回數據長度
$read_timeout 讀取操作超時 (requires PHP 4 Beta 4+)
設置為0為沒有超時
$timed_out 如果一次讀取操作超時了，本屬性返回 true (requires PHP 4 Beta 4+)
$maxframes 允許追蹤的框架最大數量
$status 抓取的http的狀態
$temp_dir 網頁服務器能夠寫入的臨時文件目錄 (/tmp)
$curl_path cURL binary 的目錄, 如果沒有cURL binary就設置為 false

Snoopy使用示例：

（1）獲取指定url內容

$url='http://www.phpernote.com';
include('snoopy.php');
$snoopy=new Snoopy;
$snoopy->fetch($url);//獲取所有內容 
echo $snoopy->results;//顯示結果 
$snoopy->fetchtext //獲取文本內容（去掉html代碼） 
$snoopy->fetchlinks //獲取頁面所有鏈接 
$snoopy->fetchform //獲取頁面表單信息

（2）提交表單

include 'snoopy.php';
$snoopy=new Snoopy;
$formvars['username']='admin';
$formvars['pwd']='admin';
$action='http://www.phpernote.com';//表單提交地址 
$snoopy->submit($action,$formvars);//$formvars為提交的數組 
echo $snoopy->results;//獲取表單提交後的 返回的結果 
$snoopy->submittext;//提交後只返回去除html的文本 
$snoopy->submitlinks;//提交後只返回鏈接

（3）使用Snoopy來偽裝

$formvars['username']='admin';
$formvars['pwd']='admin';
$action='http://www.phpernote.com';
include 'snoopy.php';
$snoopy=new Snoopy;
$snoopy->cookies['PHPSESSID']='fc206b1918bd522cc863p36890e6notef7';//偽裝sessionid 
$snoopy->agent='(compatible;MSIE 4.01;MSN 2.5;AOL 4.0;Windows 98)';//偽裝浏覽器 
$snoopy->referer='http://www.phpernote.com';//偽裝來源頁地址 http_referer 
$snoopy->rawheaders['Pragma']='no-cache';//cache 的http頭信息 
$snoopy->rawheaders['X_FORWARDED_FOR']='127.0.0.1';//偽裝ip 
$snoopy->submit($action,$formvars);
echo $snoopy->results;