GridFS簡介
GridFS是MongoDB中的一個內置功能,可以用於存放大量小文件。
GridFS使用
MongoDB提供了一個命令行工具mongofiles可以來處理GridFS,
列出所有文件:
復制代碼 代碼如下:
mongofiles list
上傳一個文件:
復制代碼 代碼如下:
mongofiles put xxx.txt
下載一個文件:
復制代碼 代碼如下:
mongofiles get xxx.txt
查找文件:
復制代碼 代碼如下:
//會查找所有文件名中包含“xxx”的文件
mongofiles search xxx
//會查找所有文件名以“xxx”為前綴的文件
mongofiles list xxx
參數說明:
–d 指定數據庫 ,默認是fs,Mongofiles list –d testGridfs
-u –p 指定用戶名,密碼
-h 指定主機
-port 指定主機端口
-c 指定集合名,默認是fs
-t 指定文件的MIME類型,默認會忽略
GridFS實現原理
GridFS在數據庫中,默認使用fs.chunks和fs.files來存儲文件。
其中fs.files集合存放文件的信息,fs.chunks存放文件數據。
一個fs.files集合中的一條記錄內容如下,即一個file的信息如下:
復制代碼 代碼如下:
{
"_id" : ObjectId("4f4608844f9b855c6c35e298"), //唯一id,可以是用戶自定義的類型
"filename" : "CPU.txt", //文件名
"length" : 778, //文件長度
"chunkSize" : 262144, //chunk的大小
"uploadDate" : ISODate("2012-02-23T09:36:04.593Z"), //上傳時間
"md5" : "e2c789b036cfb3b848ae39a24e795ca6", //文件的md5值
"contentType" : "text/plain" //文件的MIME類型
"meta" : null //文件的其它信息,默認是沒有”meta”這個key,用戶可以自己定義為任意BSON對象
}
對應的fs.chunks中的chunk如下:
復制代碼 代碼如下:
{
"_id" : ObjectId("4f4608844f9b855c6c35e299"), //chunk的id
"files_id" : ObjectId("4f4608844f9b855c6c35e298"), //文件的id,對應fs.files中的對象,相當於fs.files集合的外鍵
"n" : 0, //文件的第幾個chunk塊,如果文件大於chunksize的話,會被分割成多個chunk塊
"data" : BinData(0,"QGV...") //文件的二進制數據,這裡省略了具體內容
}
默認chunk的大小是256K。
所以在把文件存入到GridFS過程中,如果文件大於chunksize,則把文件分割成多個chunk,再把這些chunk保存到fs.chunks中,最後再把文件信息存入到fs.files中。
在讀取文件的時候,先據查詢的條件,在fs.files中找到一個合適的記錄,得到“_id”的值,再據這個值到fs.chunks中查找所有“files_id”為“_id”的chunk,並按“n”排序,最後依次讀取chunk中“data”對象的內容,還原成原來的文件。
注意事項
1.GridFS不自動處理md5相同的文件,對於md5相同的文件,如果想在GridFS中只有一個存儲,要用戶自已處理。Md5值的計算由客戶端完成。
2.因為GridFS在上傳文件過程中是先把文件數據保存到fs.chunks,最後再把文件信息保存到fs.files中,所以如果在上傳文件過程中失敗,有可能在fs.chunks中出現垃圾數據。這些垃圾數據可以定期清理掉。