1.安裝
redis-py是Redis key-value 數據庫的 Python 接口,安裝如下,後面我們會講hiredis這個庫
復制代碼 代碼如下:
$ sudo pip install redis
$ sudo pip install hiredis
2.入門
復制代碼 代碼如下:
>>> import redis
>>> pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
>>> r = redis.StrictRedis(connection_pool = pool)
>>> r.set('foo', 'bar')
True
>>> r.get('foo')
'bar'
3.API參考
Redis 官方文檔詳細解釋了每個命令(http://redis.io/commands)。redis-py 提供了兩個實現這些命令的客戶端類。StrictRedis 類試圖遵守官方的命令語法,但也有幾點例外:
·SELECT:沒有實現。參見下面“線程安全”部分的解釋。
·DEL:'del' 是 Python 語法的保留關鍵字。因此redis-py 使用 “delete” 代替。
·CONFIG GET|SET:分別用 config_get 和 config_set 實現。
·MULTI/EXEC:作為 Pipeline 類的一部分來實現。若在調用pipeline 方法時指定use_transaction=True,在執行 pipeline 時會用 MULTI 和 EXEC 封裝 pipeline 的操作。參見下面 Pipeline 部分。
·SUBSCRIBE/LISTEN: 和 pipeline 類似,由於需要下層的連接保持狀態, PubSub 也實現成單獨的類。調用 Redis 客戶端的 pubsub 方法返回一個 PubSub 的實例,通過這個實例可以訂閱頻道或偵聽消息。兩個類(StrictRedis 和 PubSub 類)都可以發布(PUBLISH)消息。
除了上面的改變,StrictRedis 的子類 Redis,提供了對舊版本 redis-py 的兼容:
·LREM:參數 ‘num' 和 ‘value' 的順序交換了一下,這樣‘num' 可以提供缺省值 0.
·ZADD:實現時 score 和 value 的順序不小心弄反了,後來有人用了,就這樣了
·SETEX: time 和 value 的順序反了
注:最好不要用 Redis,這個類只是做兼容用的
4.詳細說明
4.1 連接池
在後台,redis-py 采用了連接池(ConnectionPool)來管理對 Redis 服務器的連接。缺省情況下,每個Redis 實例都創建自己的連接池。也可以采用向 Redis 類的 connection_pool 參數傳遞已創建的連接池的方式。通過這種方式,可以實現客戶端分片或精確控制連接的管理:
復制代碼 代碼如下:
>>> pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
>>> r = redis.StrictRedis(connection_pool=pool)
4.2 連接
ConnectionPool 管理一組 Connection 實例。redis-py 提供兩種類型的 Connection。缺省情況下,Connection 是一個普通的 TCP 連接。 UnixDomainSocketConnection 允許和服務器運行在同一個設備上的客戶端通過 unix 套接字進行連接。要使用 UnixDomainSocketConnection 連接, 只需要通過unix_socket_path 參數傳遞一個 unix 套接字文件的字符串。另外,確保redis.conf 文件配置了unixsocket 參數(缺省情況下是注釋掉的):
復制代碼 代碼如下:
>>> r = redis.StrictRedis(unix_socket_path='/tmp/redis.sock')
也可以自己創建 Connection 子類。這個特性可以在使用異步框架時用於控制 socket 的行為。要使用自己的Connection 初始化客戶端類,需要創建一個連接池,通 connection_class 參數把自己的類傳遞進去。傳遞的其它關鍵字參數會在初始化時傳遞給自定義的類:
復制代碼 代碼如下:
>>> pool = redis.ConnectionPool(connection_class=YourConnectionClass, your_arg='...', ...)
4.3 分析器
分析類提供了控制如何對 Redis 服務器的響應進行分析的途徑。redis-py 提供了兩個分析類, PythonParser和 HiredisParser。缺省情況下,如果安裝了 hiredis 模塊, redis-py 會嘗試使用 HiredisParser,否則使用 PythonParser。
Hiredis 是由 Redis 核心團隊維護的 C 庫。 Pieter Noordhuis 創建了 Python 的實現。分析 Redis 服務器的響應時,Hiredis 可以提供 10 倍的速度提升。性能提升在獲取大量數據時優為明顯,比如 LRANGE 和SMEMBERS 操作。
和 redis-py 一樣,Hiredis 在 Pypi 中就有,可以通過 pip 或 easy_install 安裝:
復制代碼 代碼如下:
$ pip install hiredis
或:
復制代碼 代碼如下:
$ easy_install hiredis
4.4 響應回調函數
客戶端類使用一系列回調函數來把 Redis 響應轉換成合適的 Python 類型。有些回調函數在 Redis 客戶端類的字典 RESPONSE_CALLBACKS 中定義。
通過 set_response_callback 方法可以把自定義的回調函數添加到單個實例。這個方法接受兩個參數:一個命令名和一個回調函數。通過這種方法添加的回調函數只對添加到的對象有效。要想全局定義或重載一個回調函數,應該創建 Redis 客戶端的子類並把回調函數添加到類的 RESPONSE_CALLBACKS(原文誤為REDIS_CALLBACKS) 中。
響應回調函數至少有一個參數:Redis 服務器的響應。要進一步控制如何解釋響應,也可以使用關鍵字參數。這些關鍵字參數在對 execute_command 的命令調用時指定。通過 “withscores” 參數,ZRANGE 演示了回調函數如何使用關鍵字參數。
4.5 線程安全
Redis 客戶端實例可以安全地在線程間共享。從內部實現來說,只有在命令執行時才獲取連接實例,完成後直接返回連接池,命令永不修改客戶端實例的狀態。
但是,有一點需要注意:SELECT 命令。SELECT 命令允許切換當前連接使用的數據庫。新的數據庫保持被選中狀態,直到選中另一個數據庫或連接關閉。這會導致在返回連接池時,連接可能指定了別的數據庫。
因此,redis-py 沒有在客戶端實例中實現 SELECT 命令。如果要在同一個應用中使用多個 Redis 數據庫,應該給第一個數據庫創建獨立的客戶端實例(可能也需要獨立的連接池)。
在線程間傳遞 PubSub 和 Pipeline 對象是不安全的。
4.6 Pipeline
Pipeline 是 StrictRedis 類的子類,支持在一個請求裡發送緩沖的多個命令。通過減少客戶端和服務器之間往來的數據包,可以大大提高命令組的性能。
Pipeline 的使用非常簡單:
復制代碼 代碼如下:
>>> r = redis.Redis(...)
>>> r.set('bing', 'baz')
>>> # Use the pipeline() method to create a pipeline instance
>>> pipe = r.pipeline()
>>> # The following SET commands are buffered
>>> pipe.set('foo', 'bar')
>>> pipe.get('bing')
>>> # the EXECUTE call sends all bufferred commands to the server, returning
>>> # a list of responses, one for each command.
>>> pipe.execute()
[True, 'baz']
為了方便使用,所有緩沖到 pipeline 的命令返回 pipeline 對象本身。因此調用可以鏈起來:
復制代碼 代碼如下:
>>> pipe.set('foo', 'bar').sadd('faz', 'baz').incr('auto_number').execute()
[True, True, 6]
另外,pipeline 也可以保證緩沖的命令組做為一個原子操作。缺省就是這種模式。要使用命令緩沖,但禁止pipeline 的原子操作屬性,可以關掉 transaction:
>>> pipe = r.pipeline(transaction=False)
一個常見的問題是:在進行原子事務操作前需要從 Redis 中獲取事務中要用的數據。比如,假設 INCR 命令不存在,但我們需要用 Python 創建一個原子版本的 INCR。
一個不成熟的實現是獲取值(GET),在 Python 中增一, 設置(SET)新值。但是,這不是原子操作,因為多個客戶端可能在同一時間做這件事,每一個都通過 GET 獲取同一個值。
WATCH 命令提供了在開始事務前監視一個或多個鍵的能力。如果這些鍵中的任何一個在執行事務前發生改變,整個事務就會被取消並拋出 WatchError 異常。要實現我們的客戶 INCR 命令,可以按下面的方法操作:
復制代碼 代碼如下:
>>> with r.pipeline() as pipe:
... while 1:
... try:
... # 對序列號的鍵進行 WATCH
... pipe.watch('OUR-SEQUENCE-KEY')
... # WATCH 執行後,pipeline 被設置成立即執行模式直到我們通知它
... # 重新開始緩沖命令。
... # 這就允許我們獲取序列號的值
... current_value = pipe.get('OUR-SEQUENCE-KEY')
... next_value = unicode(int(current_value) + 1)
... # 現在我們可以用 MULTI 命令把 pipeline 設置成緩沖模式
... pipe.multi()
... pipe.set('OUR-SEQUENCE-KEY', next_value)
... # 最後,執行 pipeline (set 命令)
... pipe.execute()
... # 如果執行時沒有拋出 WatchError,我們剛才所做的確實“原子地”
... # 完成了
... break
... except WatchError:
... # 一定是其它客戶端在我們開始 WATCH 和執行 pipeline 之間修改了
... # 'OUR-SEQUENCE-KEY',我們最好的選擇是重試
... continue
注意,因為在整個 WATCH 過程中,Pipeline 必須綁定到一個連接,必須調用 reset() 方法確保連接返回連接池。如果 Pipeline 用作 Context Manager(如上面的例子所示), reset() 會自動調用。當然,也可以用手動的方式明確調用 reset():
復制代碼 代碼如下:
>>> pipe = r.pipeline()
>>> while 1:
... try:
... pipe.watch('OUR-SEQUENCE-KEY')
... current_value = pipe.get('OUR-SEQUENCE-KEY')
... next_value = unicode(int(current_value) + 1)
... pipe.multi()
... pipe.set('OUR-SEQUENCE-KEY', next_value)
... pipe.execute()
... break
... except WatchError:
... continue
... finally:
... pipe.reset()
重點(譯者注):
·WATCH 執行後,pipeline 被設置成立即執行模式
·用 MULTI 命令把 pipeline 設置成緩沖模式
·要麼使用 with,要麼顯式調用 reset()
有一個簡便的名為“transaction”的方法來處理這種處理和在 WatchError 重試的模式。它的參數是一個可執行對象和要 WATCH 任意個數的鍵,其中可執行對象接受一個 pipeline 對象做為參數。上面的客戶端 INCR 命令可以重寫如下(更可讀):
復制代碼 代碼如下:
>>> def client_side_incr(pipe):
... current_value = pipe.get('OUR-SEQUENCE-KEY')
... next_value = unicode(int(current_value) + 1)
... pipe.multi()
... pipe.set('OUR-SEQUENCE-KEY', next_value)
>>>
>>> r.transaction(client_side_incr, 'OUR-SEQUENCE-KEY')
4.7 版本計劃
redis-py 跟隨 Redis 發布版本。如 redis-py 2.0.0 應該支持 Redis 2.0.0 的所有命令。
4.8 作者
redis-py 由 Andy McCurdy ([email protected]) 開發並維護。項目地址在:http://github.com/andymccurdy/redis-py
特別鳴謝:
·Ludovico Magnocavallo, Python Redis 客戶端的原作者, 其中一些 socket 代碼現在還在使用。
·Alexander Solovyov 提供通用響應回調系統的思想。
·Paul Hubbard for initial packaging support.