InnoDB緩沖池是通過LRU算法來管理page的。頻繁使用的page放在LRU列表的前端,最少使用的page在LRU列表的尾端,緩沖池滿了的時候,優先淘汰尾端的page。
InnoDB中的LRU結構
InnoDB引擎中page的默認大小為16KB,InnoDB對傳統的LRU算法做了一些優化
LRU列表被分成兩部分,midpoint點之前的部分稱為new列表,之後的部分稱為old列表,new列表中的頁都是最為活跌的熱點數據。midpoint的位置通過參數innodb_old_blocks_pct來設置。
參數innodb_old_blocks_pct默認值為37,表示新讀取的page將被插入到LRU列表左側的37%(差不多3/8的位置)。
mysql> show variables like 'innodb_old_blocks%'; +------------------------+-------+ | Variable_name | Value | +------------------------+-------+ | innodb_old_blocks_pct | 37 | | innodb_old_blocks_time | 0 | +------------------------+-------+
為什麼不采用傳統的LRU算法?
若直接將讀取到的page放到LRU的首部,那麼某些SQL操作可能會使緩沖池中的page被刷出。常見的這類操作為索引或數據的掃描操作。這類操作訪問表中的許多頁,而這些頁通常只是在這次查詢中需要,並不是活躍數據。如果放入到LRU首部,那麼非常可能將真正的熱點數據從LRU列表中移除,在下 一次需要時,InnoDB需要重新訪問磁盤讀取,這樣性能會低下。
同時,InnoDB進一步引入了另一個參數來管理LRU列表,這個參數就是innodb_old_blocks_time,用於表示page放到midpoint位置後需要等待多久才會被加入到LRU列表的new端成為熱點數據。
LRU中page的變化
數據庫啟動時,LRU列表是空的,即沒有任何page,這時page都存放在Free列表中。當需要從緩沖池中分頁時,首先從Free列表中查找是 否有可用的空閒頁,若有則將page從Free中刪除,放入到LRU中。否則,根據LRU算法,淘汰LRU列表末尾的頁分配給新的頁。
當頁從old部分進入到new部分時,此時發生的操作為page made young。因為innodb_old_blocks_time參數導致page沒有從old移動到new部分稱為page not made young。可以通過命令show engine innodb status來觀察LRU列表及Free列表的狀態。
---------------------- BUFFER POOL AND MEMORY ---------------------- Total memory allocated 4395630592; in additional pool allocated 0 Dictionary memory allocated 28892957 Buffer pool size 262143 Free buffers 0 Database pages 258559 Old database pages 95424 Modified db pages 36012 Pending reads 0 Pending writes: LRU 0, flush list 0, single page 0 Pages made young 72342127, not young 0 8.82 youngs/s, 0.00 non-youngs/s Pages read 72300801, created 339791, written 13639066 8.56 reads/s, 0.35 creates/s, 3.79 writes/s Buffer pool hit rate 1000 / 1000, young-making rate 0 / 1000 not 0 / 1000 Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s LRU len: 258559, unzip_LRU len: 0 I/O sum[459]:cur[1], unzip sum[0]:cur[0]
Buffer pool size表示緩沖池共有262143個page,即262143 * 16K,約為4GB
Free buffers表示當前Free列表中page的數量
Database pages表示LRU列表中page的數量
Old database pages表示LRU列表中old部分的page數量
Modified db pages表示的是髒頁(dirty page)的數量
Pages made young表示LRU列表中page移動到new部分的次數
youngs/s, non-youngs/s表示每秒這兩種操作的次數
Buffer pool hit rate表示緩沖池的命中率,該值若小於95%,需要觀察是否全表掃描引起LRU污染
LRU len表示LRU中總page數量
可以看到Free buffers與Database pages的和不等於Buffer pool size,這是因為緩沖池中的頁還會被分配給自適應哈希索引,Lock信息,Insert Buffer等頁,這部分頁不需要LRU算法維護。
髒頁(dirty page)
LRU列表中的page被修改後,稱該頁為髒頁,即緩沖池中的頁和磁盤上的頁的數據產生了不一致。這時InnoDB通過Checkpoint機制將 髒頁刷新回磁盤。而Flush列表中的頁即為髒頁列表。髒頁既存在於LRU列表中,又存在於Flush列表中,二者互不影響。Modified db pages顯示的就是髒頁的數量。
重做日志緩沖
InnoDB引擎首先將重做日志信息先放到重做日志緩沖區(redo log buffer),然後按一定頻率刷新到重做日志文件。重做日志緩沖不需要設置很大,一般每一秒都會刷新redo log buffer,配置的大小只需要保證每秒產生的事務在這個緩沖區大小之內即可。通過參數innodb_log_buffer_size為設置:
mysql> show variables like 'innodb_log_buffer%'; +------------------------+----------+ | Variable_name | Value | +------------------------+----------+ | innodb_log_buffer_size | 16777216 | +------------------------+----------+
在下列情況下會將重做日志緩沖中的內容刷新到磁盤重做日志文件中:
Master Thread每一秒中刷新一次
每個事務提交時會刷新
當重做日志緩沖區空間小於1/2時
額外內存池
額外的內存池用來對一些數據結構本身的內存進行分配,例如緩沖控制對象(buffer control block)記錄的LRU,鎖,等待等信息。額外的內存池不夠時會從緩沖池中進行申請。因此,在申請了很大的InnoDB緩沖池時,額外的內存池也要適當 的調大。通過參數innodb_additional_mem_pool_size來設置大小。查看通過如下命令:
mysql> show variables like '%pool_size'; +---------------------------------+------------+ | Variable_name | Value | +---------------------------------+------------+ | innodb_additional_mem_pool_size | 67108864 | | innodb_buffer_pool_size | 4294967296 | +---------------------------------+------------+
原文來自:http://my.oschina.net/jockchou/blog/478082