每天定時從FTP上下載一份上百萬數據量的壓縮文件到服務器,然後解壓,再然後讀取這批文件,一個文件可能就1KB,可能一個文件夾裡有上百萬個文件,怎樣快速的讀取這批文件的信息,然後插入數據庫呢,讀完一個文件要同時把這個文件備份到另一個目錄下,同時原目錄下這個文件也要刪除,請問各位大神,有什方法可以快速的寫入數據,有沒有demo參考一下,本人是菜鳥中菜鳥來的!
這個基本上選取一個你熟悉的腳本語言來做,就比較簡單
比如python
你用urllib庫下載文件,ZipFile解壓,open打開文件,讀取內容,通過mysql存儲數據庫,mysqldb類庫存入數據庫,shutil類庫刪除文件