MySQL大數據量快速插入方法和語句優化是本文我們主要要介紹的內容,接下來我們就來一一介紹,希望能夠對您有所收獲!
INSERT語句的速度
插入一個記錄需要的時間由下列因素組成,其中的數字表示大約比例:
連接:(3)
發送查詢給服務器:(2)
分析查詢:(2)
插入記錄:1x記錄大小)
插入索引:1x索引)
關閉:(1)
這不考慮打開表的初始開銷,每個並發運行的查詢打開。
表的大小以logN (B樹)的速度減慢索引的插入。
加快插入的一些方法:
如果同時從同一個客戶端插入很多行,使用含多個VALUE的INSERT語句同時插入幾行。這比使用單行INSERT語句快(在某些情況下快幾倍)。如果你正向一個非空表添加數據,可以調節bulk_insert_buffer_size變量,使數據插入更快。參見5.3.3節,“服務器系統變量”。
如果你從不同的客戶端插入很多行,能通過INSERT DELAYED語句加快速度。參見13.2.4節,“INSERT語法”。
用MyISAM,如果在表中沒有刪除的行,能在SELECT語句正在運行的同時插入行。
當從一個文本文件裝載一個表時,使用LOAD DATA INFILE。這通常比使用很多INSERT語句快20倍。參見13.2.5節,“LOAD DATA INFILE語法”。
當表有很多索引時,有可能要多做些工作使得LOAD DATA INFILE更快些。使用下列過程:
有選擇地用CREATE TABLE創建表。
執行FLUSH TABLES語句或命令mysqladmin flush-tables。使用myisamchk --keys-used=0 -rq /path/to/db/tbl_name。這將從表中取消所有索引的使用。
用LOAD DATA INFILE把數據插入到表中,因為不更新任何索引,因此很快。 如果只想在以後讀取表,使用myisampack壓縮它。參見15.1.3.3節,“壓縮表特性”。
用myisamchk -r -q /path/to/db/tbl_name重新創建索引。這將在寫入磁盤前在內存中創建索引樹,並且它更快,因為避免了大量磁盤搜索。結果索引樹也被完美地平衡。 執行FLUSH TABLES語句或mysqladmin flush-tables命令。
請注意如果插入一個空MyISAM表,LOAD DATA INFILE也可以執行前面的優化;主要不同處是可以讓myisamchk為創建索引分配更多的臨時內存,比執行LOAD DATA INFILE語句時為服務器重新創建索引分配得要多。
也可以使用ALTER TABLE tbl_name DISABLE KEYS代替myisamchk --keys-used=0 -rq/path/to/db/tbl_name,使用ALTER TABLE tbl_name ENABLE KEYS代替myisamchk -r -q/path/to/db/tbl_name。使用這種方式,還可以跳過FLUSH TABLES。
鎖定表可以加速用多個語句執行的INSERT操作:
- LOCK TABLES a WRITE;
- INSERT INTO a VALUES (1,23),(2,34),(4,33);
- INSERT INTO a VALUES (8,26),(6,29);
- UNLOCK TABLES;
這樣性能會提高,因為索引緩存區僅在所有INSERT語句完成後刷新到磁盤上一次。一般有多少INSERT語句即有多少索引緩存區刷新。如果能用一個語句插入所有的行,就不需要鎖定。
對於事務表,應使用BEGIN和COMMIT代替LOCK TABLES來加快插入。
鎖定也將降低多連接測試的整體時間,盡管因為它們等候鎖定最大等待時間將上升。例如:
- Connection 1 does 1000 inserts
- Connections 2, 3, and 4 do 1 insert
- Connection 5 does 1000 inserts
如果不使用鎖定,2、3和4將在1和5前完成。如果使用鎖定,2、3和4將可能不在1或5前完成,但是整體時間應該快大約40%。
INSERT、UPDATE和DELETE操作在MySQL中是很快的,通過為在一行中多於大約5次連續不斷地插入或更新的操作加鎖,可以獲得更好的整體性能。如果在一行中進行多次插入,可以執行LOCK TABLES,隨後立即執行UNLOCK TABLES(大約每1000行)以允許其它的線程訪問表。這也會獲得好的性能。
INSERT裝載數據比LOAD DATA INFILE要慢得多,即使是使用上述的策略。
為了對LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通過增加key_buffer_size系統變量來擴大 鍵高速緩沖區。參見7.5.2節,“調節服務器參數”。
INSERT語法
- INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
- [INTO] tbl_name [(col_name,...)]
- VALUES ({expr | DEFAULT},...),(...),...
- [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
或:
- INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
- [INTO] tbl_name
- SET col_name={expr | DEFAULT}, ...
- [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
或:
- INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
- [INTO] tbl_name [(col_name,...)]
- SELECT ...
- [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]