今天要用php代碼來處理一個580M的日志文件,總共有219萬多行記錄,因為是.log的文件,在windows下面很難將文件按照條數來分割,於是在linux下用split -l 10000 filename 前綴名 將整個文件按10000行一個分割成了200多個小文件,之後用php來循環處理這200多個文件,可是執行到後來就出現了題目上面的錯誤:
復制代碼 代碼如下:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 2611816 bytes)
去百度了一下,原來是php.ini中的內存分配的問題,默認php代碼能夠申請到的最大內存字節數就是134217728 bytes,如果代碼執行的時候再需要更多的內存,就會報錯了,於是就將php.ini文件中的配置改了一下:
復制代碼 代碼如下:
memory_limit = 128M;//將128M改成了256M
但是之後一想,一個php腳本一次請求的內存空間就要超過128M,那不管你以後將memory_limit設置成多大,以後肯定有出問題的時候。
究其原因,是我在在編碼時,僅僅對變量賦值,卻從來沒有 unset ($var) 過。導致了內存占用越來越多,所以以後一個變量不再使用之後,一定要記得unset掉它。
下面附上我今天處理這個日志文件的代碼:
復制代碼 代碼如下:
<?php
set_time_limit(1800) ;
/**
* 獲取日志中發送失敗的郵箱地址
* @param $directory log日志的目錄
* @param $name 失敗郵箱保存的文件名
*/
function getmail($directory,$name){
//遍歷目錄下的.log文件
$files=scandir("$directory");
foreach($files as $v){
if(preg_match_all("|mail\.log\D+|",$v,$log)){
$logs[]=$log[0][0];
}
}
//將所有.log文件中發送失敗郵箱提取出來
foreach($logs as $v){
$row=file("$v");
echo "讀取".$v."文件<br />";
foreach($row as $key => $value)
{
if(eregi("host name lookup failure|Connection timed out with|Connection refused by|cannot find your reverse hostname", $value)){
if(preg_match("|\w+([-+.]\w+)*@\w+([-.]\w+)*.\w+([-.]\w+)*|", $row[$key],$matches)){
$mail[] = trim($matches[0]);
echo "獲取發送失敗的郵箱地址".$matches[0]."<br />";
}else{
echo "無法獲取日志中發送失敗的郵箱,請檢查";
}
}
}
unset($row);
}
//將提取出來的發送失敗郵箱寫入到mail.txt文件中
$mailurl=fopen("$name","a");
foreach($mail as $line)
{
fwrite($mailurl,$line."\r\n");
}
echo "將所有發送失敗的郵箱地址寫入".$name."<br />";
fclose($mailurl);
}
getmail(".","mail.txt");
?>