Mongodb是針對大數據量環境下誕生的用於保存大數據量的非關系型數據庫,針對大量的數據,如何進行統計操作至關重要,那麼如何從Mongodb中統計一些數據呢?
在Mongodb中,給我們提供了三種用於數據聚合的方式:
(1)簡單的用戶聚合函數;
(2)使用aggregate進行統計;
(3)使用mapReduce進行統計;
今天我們首先來講講mapReduce是如何統計,在後續的文章中,將另起文章進行相關說明。
MapReduce是啥呢?以我的理解,其實就是對集合中的各個滿足條件的文檔進行預處理,整理出想要的數據然後進行統計得到最終的統計結果。其中map函數用於對集合中的各個滿足條件的文檔進行預處理,整理出想要的數據。Reduce函數用於對整理出的數據進行處理得到統計結果。Map函數和Reduce函數都是JavaScript函數。
首先,我們先構造一個測試數據集test,使用js腳本往集合中隨機插入一組數據,每條記錄是哪個人花了多少錢買了什麼東西。具體腳本test1.js如下:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">for( var i=0; i<100; i++){ var rID=Math.floor(Math.random()*10); var price = parseFloat((Math.random()*10).toFixed(2)); if(rID<3){ db.test.insert({"user":"majing","sku":rID,"price":price}); } else if(rID>=3 && rID<5){ db.test.insert({"user":"wufenglei","sku":rID,"price":price}); } else if(rID>=5 && rID<8){ db.test.insert({"user":"wufenglei","sku":rID,"price":price}); } else { db.test.insert({"user":"liyonghu","sku":rID,"price":price}); } }</span></span>
接下來我們通過在控制台執行腳本來向數據庫插入具體的數據,具體執行指令如下:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">mongo 127.0.0.1:27017/test J:/test1.js</span></span>
執行之後,通過MongoVUE來查看下具體的數據,如下所示,數據已經插入到集合中了:
接下來,我們可以做幾個簡單的統計操作了。
(1)統計不同用戶都買了多少個商品?編寫js腳本test2.js,將結果保存到statis1集合中。
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ emit(this.user,1); } reduce=function(key, values){ var count = 0; values.forEach(function(val){count += val}); return count; } db.test.mapReduce(map, reduce, {out:"statics1"});</span></span></span>
按照剛才執行腳本的方式執行test2.js,並查看數據:
從數據庫就可以直觀看到統計數據了,若想查看某個人如majing購買了多少個商品,直接使用
<span style="font-family:KaiTi_GB2312;"> <span style="font-size:18px;"> <span style="font-size:18px;"> <span style="font-family:KaiTi_GB2312;font-size:18px;">db.statics1.find({"_id":"majing"}); </span> </span> </span> </span>
(2)統計每個用戶購買的每個商品的數量情況
腳本test3.js如下所示:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ emit({user:this.user,sku:this.sku},1); } reduce=function(key, values){ var count = 0; values.forEach(function(val){count += val}); return count; } db.test.mapReduce(map, reduce, {out:"statics2"});</span></span></span>
按照剛才執行腳本的方式執行test3.js,並查看數據:
總共返回了10條記錄。此時如果我們想查找某個用戶購買商品的情況,可以使用下面的查詢方法:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics2.find({"_id.user":"majing"});</span></span></span>
如果我們想查找某個用戶購買某個商品的情況,可以使用下面的查詢方法:
(3)統計每個用戶購買商品的總量及花費的總金額
腳本test4.js如下所示:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ emit({user:this.user},{totalprice:this.price,count:1}); } reduce=function(key, values){ var res = {totalprice:0.00,count:1}; values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;}); return res; } db.test.mapReduce(map, reduce, {out:"statics3"});</span></span></span>
按照剛才執行腳本的方式執行test4.js,並查看數據:
(4)統計每個用戶購買商品的平均價錢
在這個情景下,我們需要用到說道mapReduce裡的另一個參數finalize,該參數是一個javascript腳本函數,用於對reduce後的集合進行一個後期處理操作。
執行腳本test5.js,具體如下所示:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ emit({user:this.user},{totalprice:this.price,count:1}); } reduce=function(key, values){ var res = {totalprice:0.00,count:1,average:0}; values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;}); return res; } finalizeFunc=function(key,reduceResult){ reduceResult.totalprice=(reduceResult.totalprice).toFixed(2); reduceResult.average=(reduceResult.totalprice/reduceResult.count).toFixed(2); return reduceResult; } db.test.mapReduce(map, reduce, {out:"statics4",finalize:finalizeFunc});</span></span></span>
執行之後查看得到的數據,具體如下所示,顯示了總價錢,商品數量和商品單價。
如果想查找某個人的,可以和上面的查詢方法一樣,使用find()方法進行查詢:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics4.find({"_id.user":"majing"});</span></span></span>
以上通過4個簡單的例子對Mongodb中的MapReduce進行了簡單的說明,當然MapReduce功能很強大,大家如果想知道其他高級的使用方法,可以到Mongodb的官網進行查閱和學習,網址為
https://docs.mongodb.com/manual/reference/method/db.collection.mapReduce/ 謝謝。
以上所述是小編給大家介紹的Mongodb中MapReduce實現數據聚合方法詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對網站的支持!