程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> Redis教程 >> 關於Redis >> redis的hGetAll函數的性能問題(記Redis那坑人的HGETALL)

redis的hGetAll函數的性能問題(記Redis那坑人的HGETALL)

編輯:關於Redis

在沒關注這個函數之前,一直用的Memcache的數據存儲方式,但是自從更換了redis之後,對於一個hash的數據存與取 對於Memcache方便甚多,但是問題來了,一個hash的列表如果量不大的情況,用hGetAll函數幾乎看不出問題,一旦這個列表超過50或者更多時,此時用hGetAll函數便能很直觀的看到性能問題,這裡就不作數據分析了。

Redis是單線程的!當它處理一個請求時其他的請求只能等著。通常請求都會很快處理完,但是當我們使用HGETALL的時候,必須遍歷每個字段來獲取數據,這期間消耗的CPU資源和字段數成正比,如果還用了PIPELINING,無疑更是雪上加霜。

復制代碼 代碼如下:
PERFORMANCE = CPUs / OPERATIONs

也就是說,此場景下為了提升性能,要麼增加運算過程中的CPU數量;要麼降低運算過程中的操作數量。在為了繼續使用hash結構的數據,又要解決此問題,比較方便的方法就是將hash以序列化字符串存儲,取的時候先取出反序列化的數據,再用hGet(key,array(hash..))。

例如:

復制代碼 代碼如下:
....
$arrKey = array('dbfba184bef630526a75f2cd073a6098','dbfba184bef630526a75f2cd0dswet98')
$strKey = 'test';
$obj->hGet($strKey,$arrKey);

把原本的hGetAll操作簡化為hGet,也就是說,不再需要遍歷hash中的每一個字段,因此即便不能讓多個CPU參與運算,但是卻大幅降低了操作數量,所以性能的提升仍然是顯著的;當然劣勢也很明顯,和所有的冗余方式一樣,此方案浪費了大量的內存。

有人會問,這樣雖然沒有了遍歷字段的過程,但是卻增加了反序列化的過程,而反序列化的成本往往也是很高的,難道這樣也能提升性能?問題的關鍵在於開始我們遍歷字段的操作是在一個cpu上完成的,後來反序列化的操作,不管是什麼語言,都可以通過多進程或多線程來保證是在多個cpu上完成的,所以性能總體上是提升的。

另外,很多人直覺是通過運行redis多實例來解決問題。確實,這樣可以增加運算過程中的CPU數量,有助於提升性能,但是需要注意的是,hGetAll和PIPELINING往往會讓運算過程中的操作數量呈幾何級爆炸式增長,相比之下,我們能增加的redis多實例數量簡直就是杯水車薪,所以本例中這種方法不能徹底解決問題。

記Redis那坑人的HGETALL

世上本沒有坑,摔的人多了,也便成了坑。

早就聽人說過Redis的HGETALL是個坑,可我偏偏不信邪:不管什麼坑,一定要自己踩上去跺兩腳才肯罷休。說好聽點這是不到黃河心不死,說難聽點就是不見棺材不落淚。

開始程序運行的非常穩定,穩定到我想送所有說HGETALL是個坑的人一個字:呸!此時的我就像溫水裡的青蛙一樣忘記了危險的存在,時間就這樣一天一天的過去,突然有一天需求變了,我不得不把HASH數據的內容從十幾個字段擴展到一百多個字段,同時使用了Pipelining一次性獲取上百個HGETALL的結果。於是我掉坑裡了:服務器宕機。

為什麼會這樣?Redis是單線程的!當它處理一個請求時其他的請求只能等著。通常請求都會很快處理完,但是當我們使用HGETALL的時候,必須遍歷每個字段來獲取數據,這期間消耗的CPU資源和字段數成正比,如果還用了PIPELINING,無疑更是雪上加霜。

如何解決這個問題?請容許我煞有其事的給出一個公式:

復制代碼 代碼如下:
PERFORMANCE = CPUs / OPERATIONs

也就是說,此場景下為了提升性能,要麼增加運算過程中的CPU數量;要麼降低運算過程中的操作數量。具體來說,我大致想到了以下幾種方法:

借助Memcached

Redis存儲方式不做任何改變,額外的,我們借助Memcached實現一套緩存,裡面存儲原本需要在Redis裡HGETALL的HASH,當然,由於Memcached裡存儲的都是字符串,所以當我們存儲HASH的時候,實際上存儲的是HASH序列化後的字符串,查詢的時候再反序列化即可,通常Memcached客戶端驅動可以透明實現序列化和反序列化的過程。此方案的優勢在於因為Memcached支持多線程,所以可以讓更多的CPU參與運算,同時由於不用再遍歷每一個字段,所以相應的操作會減少;當然劣勢也不少,因為引入了一個新的緩存層,所以浪費了內存,增加了復雜性,另外,有時候即便我們只需要獲取少數幾個字段的數據,也不得不先查詢完整的數據,然後再篩選,這無疑浪費了帶寬。當然這種情況下我們可以直接查詢Redis,但是無疑又提升了一些復雜性。

順便說一句,Memcached支持Multiget,可以實現類似Pipelining的效果,但你要格外小心這裡面有關Memcached的坑,也就是Mulitiget無底洞問題。

序列化字段冗余

Redis在存儲HASH的時候,多保存一個名為「all」的字段,其內容是原HASH數據的序列化,實際查詢的時候,只要HGET這個冗余字段後再反序列化即可。此方案的優勢在於通過序列化字段冗余,我們把原本的HGETALL操作簡化為HGET,也就是說,不再需要遍歷HASH中的每一個字段,因此即便不能讓多個CPU參與運算,但是卻大幅降低了操作數量,所以性能的提升仍然是顯著的;當然劣勢也很明顯,和所有的冗余方式一樣,此方案浪費了大量的內存。

有人會問,這樣雖然沒有了遍歷字段的過程,但是卻增加了反序列化的過程,而反序列化的成本往往也是很高的,難道這樣也能提升性能?問題的關鍵在於開始我們遍歷字段的操作是在一個CPU上完成的,後來反序列化的操作,不管是什麼語言,都可以通過多進程或多線程來保證是在多個CPU上完成的,所以性能總體上是提升的。

另外,很多人直覺是通過運行Redis多實例來解決問題。確實,這樣可以增加運算過程中的CPU數量,有助於提升性能,但是需要注意的是,HGETALL和PIPELINING往往會讓運算過程中的操作數量呈幾何級爆炸式增長,相比之下,我們能增加的Redis多實例數量簡直就是杯水車薪,所以本例中這種方法不能徹底解決問題。

坑,就是用來踩的。不用怕掉進去,當然前提是你能自己爬出來!

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved