最近在做一個游戲數據統計後台,最基礎的功能是通過分析注冊登錄日志來展示用戶數據。在公司內部測試,用戶量很少,所以就沒有發現什麼性能問題。但是這兩天一起放到真實的測試環境,用戶量噌噌地就湧進來了,從下午開始,在線人數的統計開始卡,幾秒鐘才返回數據;注冊人數的查詢速度還行。到了晚上,在線人數的統計基本上就加載超時打不開了。雖然不知他們游戲端那邊什麼BUG,玩家那邊登錄經常出問題,導致在線人數和注冊人數並不是很多。但是就這一點數據量我這邊查詢的速度也不行,這就很尴尬了。
現在他們那邊在查游戲的BUG,我這邊也在看統計後台的代碼到底性能出在哪裡。首先說明一下,我統計用的數據是從庫,他們游戲用的是主庫,再說我這邊管理員人數就幾個,不可能會影響到游戲服的性能問題。
今天項目組長把數據庫都導過來到公司內的服務器。我拷了一份到本機,看看統計平台的性能問題出在哪裡。然後卻發現,居然連注冊統計都非常卡,服務器上是兩秒左右返回,本機要二十幾秒,還經常超時(PHP的默認配置是30秒超時);在線統計的就不用說了肯定打不開。看了一下數據庫,當天的注冊記錄也就 3500 條左右(有假數據),每五分鐘統計一次,一天就是統計 288 次。當然這裡肯定不是循環查詢數據庫288次,那樣會被罵死的吧。
統計時間段內的注冊數,邏輯也非常簡單,就是每個時間段遍歷一次數據,比較時間大小,符合就+1。但是為什麼這麼簡單的邏輯,也就一百萬次循環,怎麼會跑出了足足半分鐘的時間那麼久呢?
關鍵問題就出在於 時間比較這裡了,我們都知道,時間戳是比較時間大小的一個比較科學的方法,而數據庫裡記錄的時間一般都是以 YYYY-mm-dd HH:ii:ss 的形式,PHP裡有strtotime的函數轉換成時間戳。然而在288個for * 3500個foreach 的加持之後,這裡的執行時間長達半分鐘。
$nowDayDT = strtotime( date('Y-m-d') ); $__startT = microtime(TRUE); for($i=0; $i<$allTime; $i += $gapTime){ $count = 0; //用於數據比較的 $startDT = $nowDayDT+$i; $endDT = $nowDayDT+$i+$gapTime; //用於顯示的 $xAxis1 = date('H:i', $nowDayDT+$i); $xAxis2 = date('H:i', $nowDayDT+$i+$gapTime); foreach($rawData as $line){ $time = strtotime($line['log_dt']); if( $startDT<=$time && $time<$endDT ){ $count ++; } } $resArr[] = [ 'date'=>$xAxis1.'~'.$xAxis2, 'number'=>$count ]; } echo microtime(TRUE)-$__startT;
那這樣的話,基本上是沒辦法再用這個strtotime的函數的了,那還有什麼辦法比較時間大小呢?答案很簡單粗暴,PHP裡面可以直接比較兩個日期時間字符串!所以改過後的代碼如下。然後現在的運行時間大概是 0.3秒
$__startT = microtime(TRUE); for($i=0; $i<$allTime; $i += $gapTime){ $count = 0; //用於數據比較的 $startDT = date('Y-m-d H:i:s', $nowDayDT+$i); $endDT = date('Y-m-d H:i:s', $nowDayDT+$i+$gapTime); //用於顯示的 $xAxis1 = date('H:i', $nowDayDT+$i); $xAxis2 = date('H:i', $nowDayDT+$i+$gapTime); foreach($rawData as $line){ $time = $line['log_dt']; if( $startDT<=$time && $time<$endDT ){ $count ++; } } $resArr[] = [ 'date'=>$xAxis1.'~'.$xAxis2, 'number'=>$count ]; } echo microtime(TRUE)-$__startT;
遍歷再優化
大家可能發現一個問題,for 裡面嵌套一個 foreach,這性能有點擔憂,其中裡面的 foreach 有必要完全遍歷嗎?其實是不必的。只要查SQL數據的時候,按時間排序排出來。優化後的時間比較算法如下:
for{ ... foreach($rawData as $line){ $time = $line['log_dt'];//strtotime($line['log_dt']); //優化算法計算 if($time<$startDT) continue; //小於開始時間則跳過 if($time>=$endDT) break; //大於結束時間則結束 $count ++; //否則為符合條件 //原始的算法 // if( $startDT<=$time && $time<$endDT ){ // $count ++; // } } ...}
這裡巧用了 continue 和 break 關鍵字,用於跳過一次循環和結束整個循環。這次的話,一天中剛開始的時間統計中,後面很大一部分數據的都可以直接跳過。最後總遍歷時間縮短為約0.12秒 。
總結,在大型的數據處理中,應該盡量避免在遍歷中進行數據的轉換,避免用一些原理復雜的函數。如strtotime