程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> MySQL綜合教程 >> mysql高效導數據方法

mysql高效導數據方法

編輯:MySQL綜合教程

mysql高效導數據方法   模擬現網測試,需要搭建測試環境,導入上億級的數據到數據庫。對於到的問題做些簡單記錄。   數據:一個db,2000個表格,2000張表格數據,每條記錄30個column,平均每張表格4.3w條記錄,總共86388670條記錄。   機器:linux 64bit 8G內存 4核[email protected]    基本思路:

mysql -utest -pxxxx -s -e "source xxxx.sql"

 

  將load語句放在xxxx.sql中   load語法:  
load data  [low_priority] [local] infile 'file_name.txt' [replace | ignore]

 

  如果串行導入數據,會很慢,考慮並行,但可能有沖突,解決辦法:   load之前清空表  
truncate table xxxx 或 delete from table xxxx;

 

  或使用replace或ignore關鍵字。  

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved