程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> MySQL綜合教程 >> 【mysql】Innodb三大特性之insert buffer，innodbbuffer

【mysql】Innodb三大特性之insert buffer，innodbbuffer

編輯：MySQL綜合教程

【mysql】Innodb三大特性之insert buffer，innodbbuffer

一、什麼是insert buffer

insert buffer是一種特殊的數據結構（B+ tree）並不是緩存的一部分，而是物理頁，當受影響的索引頁不在buffer pool時緩存 secondary index pages的變化，當buffer page讀入buffer pool時，進行合並操作，這些操作可以是 INSERT, UPDATE, or DELETE operations (DML)

最開始的時候只能是insert操作，所以叫做insert buffer，現在已經改叫做change buffer了

insert buffer 只適用於 non-unique secondary indexes 也就是說只能用在非唯一的索引上，原因如下

1、primary key 是按照遞增的順序進行插入的，異常插入聚族索引一般也順序的，非隨機IO

2 寫唯一索引要檢查記錄是不是存在，所以在修改唯一索引之前,必須把修改的記錄相關的索引頁讀出來才知道是不是唯一、這樣Insert buffer就沒意義了，要讀出來(隨機IO)

所以只對非唯一索引有效

二、insert buffer的原理

對於為非唯一索引，輔助索引的修改操作並非實時更新索引的葉子頁，而是把若干對同一頁面的更新緩存起來做，合並為一次性更新操作，減少IO，轉隨機IO為順序IO,這樣可以避免隨機IO帶來性能損耗，提高數據庫的寫性能

具體流程

先判斷要更新的這一頁在不在緩沖池中

a、若在，則直接插入；

b、若不在，則將index page 存入Insert Buffer，按照Master Thread的調度規則來合並非唯一索引和索引頁中的葉子結點

Master Thread的調度規則

a、主動merger[innodb主線程定期完成，用戶線程無感知]

主動merge通過innodb主線程(svr_master_thread）判斷：若過去1s之內發生的I/O小於系統I/O能力的5%，則主動進行一次insert buffer的merge操作。merge的頁面數為系統I/O能力的5%，讀取采用async io模式。每10s,必定觸發一次insert buffer meger操作。meger的頁面數仍舊為系統 I/O能力的5%。

1）主線程發出async io請求，async讀取需要被merge的索引頁面
2）I/O handler 線程，在接受到完成的async I/O之後，進行merge

b 、被動merge[用戶線程完成，用戶能感受到meger操作帶來的性能影響]

1） insert操作，導致頁面空間不足，需要分裂(split)。由於insert buffer只針對單個頁面，不能buffer page split[頁已經在內存裡]，因此引起頁面的被動meger。同理，update操作導致頁面空間不足；purge導致頁面為空等。總之,若當前操作引起頁面split or merge，那麼就會導致被動merge；

2） insert操作，由於其它各種原因，insert buffer優化返回false，需要真正讀取page時，要進行被動merge。與一不同的是，頁在disk上，需要讀取到內存裡；

3）在進行insert buffer操作，發現insert buffer太大，需要壓縮insert buffer，這時需要強制被動merge，不允許 insert 操作進行。

三、insert buffer的內部實現

1、insert buffer的數據結構是一棵B+樹，在MySQL4.1之前的版本中每張表都有一棵insert buffer B+樹

MySQL4.1之後，全局只有一棵insert buffer B+樹，負責對所有的表的輔助索引進行 insert buffer。這棵B+樹存放在共享表空間中，默認也就是ibdata1中。因此，試圖通過獨立表空間ibd文件恢復表中數據時，往往會導致check table 失敗。這是因為表的輔助索引中的數據可能還在insert buffer中，也就是共享表空間中。所以通過idb文件進行恢復後，還需要進行repair table 操作來重建表上所有的輔助索引

2、insert buffer的非葉子節點存放的是查詢的search key（鍵值），

其構造包括三個字段：space （4 byte）+ marker（1byte） + offset（4byte） = search key （9 byte ）

space表示待插入記錄所在的表空間id，InnoDB中，每個表有一個唯一的space id，可以通過space id查詢得知是哪張表；

marker是用來兼容老版本的insert buffer；

offset表示頁所在的偏移量。

3、當一個輔助索引需要插入到頁（space， offset）時，如果這個頁不在緩沖池中，那麼InnoDB首先根據上述規則構造一個search key，接下來查詢insert buffer這棵B+樹，然後再將這條記錄插入到insert buffer B+樹的葉子節點中

4、對於插入到insert buffer B+樹葉子節點的記錄，需要根據如下規則進行構造：

space | marker | offset | metadata | secondary index record

啟用insert buffer索引後，輔助索引頁（space、page_no）中的記錄可能被插入到insert buffer B+樹中，所以為了保證每次merge insert buffer頁必須成功，還需要有一個特殊的頁來標記每個輔助索引頁（space、page_no）的可用空間，這個頁的類型為insert buffer bitmap。

四、insert buffer的缺點

1、可能導致數據庫宕機後實例恢復時間變長。如果應用程序執行大量的插入和更新操作，且涉及非唯一的聚集索引，一旦出現宕機，這時就有大量內存中的插入緩沖區數據沒有合並至索引頁中，導致實例恢復時間會很長

2、在寫密集的情況下，插入緩沖會占用過多的緩沖池內存（innodb_buffer_pool），默認情況下最大可以占用1/2，這在實際應用中會帶來一定的問題

3、insert buffer 無法進行控制，for different workloads and hardware configuration，特別是在SSD盛行的今天

五、查看insert buffer

mysql> show engine innodb status \G
-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 1, free list len 0, seg size 2,
41 inserts, 41 merged recs, 499 merges
Hash table size 3984403, node heap has 967 buffer(s)
14.66 hash searches/s, 64.65 non-hash searches/s
---
LOG
---
Log sequence number 27233311008
Log flushed up to   27233311008
Last checkpoint at  27233310593
0 pending log writes, 0 pending chkp writes
37848626 log i/o's done, 1.00 log i/o's/second

size: The number of pages used within the change buffer. Change buffer size is equal to seg size - (1 + free list len). The 1 + value represents the change buffer header page.
free list len: The number of pages free within the change buffer.代表了空閒頁的數量
seg size: The size of the change buffer, in pages. 插入緩沖的大小為2 *16KB
merges: The total number of change buffer merges.表示合並次數
merged operations - insert: The number of inserted records merged.merged插入的記錄數
merged operations - delete mark: The number of deleted records merged.merged刪除記錄數
merged operations - delete: The number of purge records merged.merged清除記錄數
discarded operations - insert: The number of insert merge operations discarded.
discarded operations - delete mark: The number of delete merge operations discarded.
discarded operations - delete: The number of purge merge operations discarded.