程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> 關於PHP編程 >> PHP批量采集下載美女圖片的實現代碼

PHP批量采集下載美女圖片的實現代碼

編輯:關於PHP編程

設計思路

考慮到單純的采集一個網頁的圖片,太麻煩,所以直接采集他的列表頁,獲取列表的url然後在一一采集,但是用php匹配列表頁的url太麻煩,第一列表頁有很多無效url這對我這個正則小菜鳥實在是個問題,看了一下列表頁的結構,果斷采用jquery獲取url,jquery的萬能選擇器又再次強大起來了。

jquery獲取url,然後ajax傳遞url—>對應PHP文件,遍歷url參數—->單頁面采集保存圖片

jquery程序
復制代碼 代碼如下:
<script src="http://www.cztv.com/uibase/jquery.js"></script>
<script >
$(document).ready(function(){
var hrefs ='';
$('.f_folder>a').each(function(i){
var href = $('.f_folder:eq('+i+')>a:eq(0)').attr('href');
if(href!='undefined'){
hrefs +=href+',';
}
})
$.getJSON("http://www.****.com/365/getimg.php?hrefs="+hrefs+"&callback=?", function(data){
//alert(data.info);
});
});
</script>


這裡把url拼接成‘,'分割的字符串傳遞url,使用getjson是為了跨域需要,關於getjson常見的幾個問題可以參看<$.getjson遇到的幾個問題>

PHP采集程序
復制代碼 代碼如下:
<?php
// 抓起365圖片
error_reporting(E_ALL ^ E_NOTICE);
set_time_limit(0);//設置PHP超時時間
/**
* 得到當前時間
*/
function getMicrotime() {

list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
$stime = getMicrotime();

$callback = $_GET['callback'];
$hrefs = $_GET['hrefs'];
$urlarray = explode(',',$hrefs);

//獲取指定url的所有圖片
function getimgs($url){
$dirname = basename($url,".php");
if(!file_exists($dirname)){
mkdir('365/'.$dirname.'');
}
clearstatcache();
$data = file_get_contents($url);
preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $data, $matches);
//$matches[3] = array_unique($matches[3]);
unset($data);
$i=0;

if(count($matches[3])>0){
foreach($matches[3] as $k=>$v){
//簡單判斷是否是標准url,而不是相對路徑
if(substr($v,0,4)=='http'){

$ext = pathinfo($v,PATHINFO_EXTENSION);//圖片擴展

if(!file_exists('365/'.$dirname.'/'.$k.'.'.$ext)){
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
$i++;
}else{
unset($v);
}
clearstatcache();
}else{
unset($v);
}
}
unset($matches);
return $i;
}
}

foreach($urlarray as $k=>$v){
if($v!=''){
$j +=getimgs($v);
}
}
$etime = getMicrotime();
echo "合計采集了".$j."張圖片";
echo "用時".($etime-$stime)."秒";


考慮到性能問題:在getimgs方法中所用的變量都是使用後便注銷(unset)了,以便釋放內存。

設計到的幾個知識點

判斷是否是標准有效圖片url
if(substr($v,0,4)=='http')這個只是簡單的判斷一下匹配到的圖片url是否是標准的url,因為采集的圖片可能是相對路徑的,這裡我直接放棄這種圖片的采集,當然你也可以把這種圖片還原成標准圖片路徑,還有一個問題就是即使是標准url格式,這樣的圖片也未必可以采集,因為你不知道這個圖片是否還有,也許這個圖片url已經無效了,如果你想更嚴格的判斷這個圖片url是否真實有效可以推薦看我之前的《PHP判斷遠程url是否有效的幾種方法》有三種方法可以驗證是否是有效url。

獲取圖片格式

$ext = pathinfo($v,PATHINFO_EXTENSION);//圖片擴展

這裡使用了pathinfo的方法,總結有7種方法可以獲取到文件的格式,推薦文章:《PHP判斷圖片格式的七種方法》

下載保存到本地

file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
file_put_contents() 函數把一個字符串寫入文件中。
與依次調用 fopen(),fwrite() 以及 fclose() 功能一樣。
file_get_contents() 函數把整個文件讀入一個字符串中。

因為服務器支持file_get_contents,如果服務器把這個函數禁用了,可以使用curl,這個工具要比file_get_contents更加強大,推薦學習《CURL的學習和應用(附多線程)》,可以使用curl的多線程下載存儲,效果更牛逼

清除文件操作緩存

clearstatcache() 函數清除文件狀態緩存。clearstatcache() 函數會緩存某些函數的返回信息,以便提供更高的性能。但是有時候,比如在一個腳本中多次檢查同一個文件,而該文件在此腳本執行期間有被刪除或修改的危險時,你需要清除文件狀態緩存,以便獲得正確的結果。要做到這一點,就需要使用 clearstatcache() 函數。官方手冊:

程序執行時間計算

復制代碼 代碼如下:
/**

* 得到當前時間

*/

function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}


可以參考本博客文章;《獲取php頁面執行時間,數據庫讀寫次數,函數調用次數等【THINKPHP】》

最後看一下效果;



409秒采集了214張圖片,大概2秒下載保存了一張圖片,圖片總大小約62M,這樣看來:

一個小時60*60可以大約下載1800張美女圖片。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved