程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 更多編程語言 >> 編程綜合問答 >> 大數據存儲-SOS上百萬的數據插入數據庫問題

大數據存儲-SOS上百萬的數據插入數據庫問題

編輯:編程綜合問答
SOS上百萬的數據插入數據庫問題

每天定時從FTP上下載一份上百萬數據量的壓縮文件到服務器,然後解壓,再然後讀取這批文件,一個文件可能就1KB,可能一個文件夾裡有上百萬個文件,怎樣快速的讀取這批文件的信息,然後插入數據庫呢,讀完一個文件要同時把這個文件備份到另一個目錄下,同時原目錄下這個文件也要刪除,請問各位大神,有什方法可以快速的寫入數據,有沒有demo參考一下,本人是菜鳥中菜鳥來的!

最佳回答:


這個基本上選取一個你熟悉的腳本語言來做,就比較簡單
比如python
你用urllib庫下載文件,ZipFile解壓,open打開文件,讀取內容,通過mysql存儲數據庫,mysqldb類庫存入數據庫,shutil類庫刪除文件

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved