Snoopy 是一個非常強大的PHP類,可以利用該類模擬浏覽器來完成獲取網頁內容和發送表單的任務。下面是詳細介紹Snoopy.class.php 的特點和一些常見的用法。
官方網站:http://snoopy.sourceforge.net/ (不能打開國外網站的可使用天行浏覽器)
下載地址:http://sourceforge.net/projects/snoopy/
本站下載地址:PHP采集庫Snoopy.class.php下載
下面是Snoopy的一些特點:
1、抓取網頁的內容 fetch
2、抓取網頁的文本內容 (去除HTML標簽) fetchtext
3、抓取網頁的鏈接,表單 fetchlinks fetchform
4、支持代理主機
5、支持基本的用戶名/密碼驗證
6、支持設置 user_agent, referer(來路), cookies 和 header content(頭文件)
7、支持浏覽器重定向,並能控制重定向深度
8、能把網頁中的鏈接擴展成高質量的url(默認)
9、提交數據並且獲取返回值
10、支持跟蹤HTML框架 (v0.92增加)
11、支持重定向的時候傳遞cookies
備注:使用 Snoopy.class.php 要求php4以上就可以了,由於本身是php一個類,無需擴支持,服務器不支持curl時候的最好選擇。
下面是一些常用的類方法介紹:
fetch($URI)
這是為了抓取網頁的內容而使用的方法。$URI參數是被抓取網頁的URL地址,抓取的結果被存儲在 $this->results 中。如果你正在抓取的是一個框架,Snoopy將會將每個框架追蹤後存入數組中,然後存入 $this->results。
fetchtext($URI)
本方法類似於fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中的文字內容。
fetchform($URI)
本方法類似於fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中表單內容(form)。
fetchlinks($URI)
本方法類似於fetch(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中鏈接(link)。默認情況下,相對鏈接將自動補全,轉換成完整的URL。
submit($URI,$formvars)
本方法向$URL指定的鏈接地址發送確認表單。$formvars是一個存儲表單參數的數組。
submittext($URI,$formvars)
本方法類似於submit(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回登陸後網頁中的文字內容。
submitlinks($URI)
本方法類似於submit(),唯一不同的就是本方法會去除HTML標簽和其他的無關數據,只返回網頁中鏈接(link)。默認情況下,相對鏈接將自動補全,轉換成完整的URL。
類屬性: (缺省值在括號裡)
$host 連接的主機
$port 連接的端口
$proxy_host 使用的代理主機,如果有的話
$proxy_port 使用的代理主機端口,如果有的話
$agent 用戶代理偽裝 (Snoopy v0.1)
$referer 來路信息,如果有的話
$cookies cookies, 如果有的話
$rawheaders 其他的頭信息, 如果有的話
$maxredirs 最大重定向次數, 0=不允許 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否將鏈接都補全為完整地址 (true)
$user 認證用戶名, 如果有的話
$pass 認證用戶名, 如果有的話
$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪裡報錯, 如果有的話
$response_code 從服務器返回的響應代碼
$headers 從服務器返回的頭信息
$maxlength 最長返回數據長度
$read_timeout 讀取操作超時 (requires PHP 4 Beta 4+) 設置為0為沒有超時
$timed_out 如果一次讀取操作超時了,本屬性返回 true (requires PHP 4 Beta 4+)
$maxframes 允許追蹤的框架最大數量
$status 抓取的http的狀態
$temp_dir 網頁服務器能夠寫入的臨時文件目錄 (/tmp)
$curl_path cURL binary 的目錄, 如果沒有cURL binary就設置為 false
如下是幾個常見的使用示例:
(1)抓取php程序員的筆記網站上首頁頁面上的文字
<?php include 'Snoopy.class.php'; $snoopy=new Snoopy; $snoopy->fetchtext("http://www.phpernote.com"); echo $snoopy->results;
(2)抓取php程序員的筆記網站首頁的頁面的所有鏈接
<?php include 'Snoopy.class.php'; $snoopy=new Snoopy; $snoopy->fetchlinks("http://www.phpernote.com"); print_r($snoopy->results);
(3)獲取登陸人人網需要發送什麼字段,目標地址是什麼
<?php include 'Snoopy.class.php'; $snoopy=new Snoopy; $snoopy->fetchform("http://www.renren.com/PLogin.do"); print_r($snoopy->results);
(4)模擬登陸人人網
<?php set_time_limit(0); require "Snoopy.class.php"; $snoopy=new Snoopy(); $snoopy->referer='http://www.renren.com/'; $snoopy->agent="Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20100101 Firefox/22.0"; $submit_vars['email'] ='登陸賬號'; $submit_vars['password'] ='登陸密碼'; $url='http://www.renren.com/PLogin.do';//登陸數據提交的URL地址 $snoopy->submit($url,$submit_vars); $snoopy->fetch("http://www.renren.com/");//希望獲取的頁面數據 echo $snoopy->results;//www.phpernote.com