php curl模擬post請求提交數據

　　最近在做校園圖書館圖書信息的采集程序，既然是圖書館圖書的采集，肯定有提交搜索的頁面，無非是post提交，讓我想到了curl模擬提交，首先通過firebug進行抓包查詢下post提交後的格式如下：

txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm=%D2%F4%C0%D6&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=10&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7；搜索的關鍵字name=txtTm，隨後代碼如下：


<?php 
$keyword="音樂";$post="txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm={$keyword}&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=20&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7";
$url = "http://210.30.68.130/wxjs/tmjs.asp";
//查詢地址
$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_REFERER, "http://210.30.68.130/wxjs/tmjs_form.asp/ "); //模擬來源  
curl_setopt($ch, CURLOPT_URL, $url);//URL  
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_POST, 1);  //模擬POST  
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);//POST內容  
curl_exec($ch);  
$output = curl_close($ch); 
echo $output;
 ?>

但返回的頁面總是顯示沒有相關內容，如果把關鍵字改成英語或者數字就可以正常顯示了，於是想到這應該是編碼問題，然後在post上面可以看到txtTm=%D2%F4%C0%D6經過查詢得知這是url編碼，漢字會進行轉化，如果是英語則不會發生任何改變，於是就把頭信息也加了部分內容進去如下：

$header = array();
$header[] = 'User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:30.0) Gecko/20100101 Firefox/30.0';
$header[] = 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8';
$header[] = 'Connection: keep-alive';
$header[] = 'Content-Type:application/x-www-form-urlencoded';
curl_setopt ( $ch, CURLOPT_HTTPHEADER, $header ); 

其實主要是$header[] = 'Content-Type:application/x-www-form-urlencoded';再次加載頁面後如果是漢字顯示還是沒有相關的內容，隨後想到了一個很簡單的問題所在，php程序是utf8的，然而圖書館的網站是gb2312，好吧，再加上一句，$keyword =  iconv('UTF-8', 'GB2312', $keyword);再次加載成功，這個應該才是問題關鍵所在，然後我把頭信息刪除後添加一句$keyword = urlencode($keyword);再次加載也就是下面的代碼：

<?php 
$keyword="世界";
$keyword =  iconv('UTF-8', 'GB2312', $keyword);
$keyword = urlencode($keyword);
$post="txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm={$keyword}&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=20&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7";
$url = "http://210.30.68.130/wxjs/tmjs.asp";
//查詢地址
$ch = curl_init();
curl_setopt ($ch, CURLOPT_REFERER, "http://210.30.68.130/wxjs/tmjs_form.asp/ "); //模擬來源  
curl_setopt($ch, CURLOPT_URL, $url);//URL  
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_POST, 1);  //模擬POST  
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);//POST內容  
curl_exec($ch);  
$output = curl_close($ch); 
echo $output;
 ?>

不出所料，正常顯示了，隨後就是頁面內容的采集排版問題了。無非是正則了。（由於是校園網只能我們內網訪問）