1.拼SQL語句,insert後面帶1000個value一次性提交;
2.使用連接池,保持長連接插入;
3.更換Mysql的存儲引擎為Inforbright,然後把數據做成文本,批量導入
4.使用隊列,保持最高插入速度
有沒人有其他更好的方法,最近有130G每天都文件要入庫分析,期待指引密經。
1
LOAD
DATA INFILE
'F:\a\data.txt'
IGNORE
INTO
TABLE
music.album
CHARACTER
SET
utf8 FIELDS TERMINATED
BY
','
lines terminated
by
'\r\n'
(album_id,album_name,singer_name,publish_time,song_count);