mysql高效導數據方法 模擬現網測試,需要搭建測試環境,導入上億級的數據到數據庫。對於到的問題做些簡單記錄。 數據:一個db,2000個表格,2000張表格數據,每條記錄30個column,平均每張表格4.3w條記錄,總共86388670條記錄。 機器:linux 64bit 8G內存 4核[email protected] 基本思路:
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語句放在xxxx.sql中 load語法:
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導入數據,會很慢,考慮並行,但可能有沖突,解決辦法: load之前清空表
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關鍵字。