最近一直在用mongodb,有時候會需要用到統計,在網上查了一些資料,最適合用的就是用aggregate,以下介紹一下自己運用的心得。。
MongoDB 聚合
MongoDB中聚合(aggregate)主要用於處理數據(諸如統計平均值,求和等),並返回計算後的數據結果。有點類似sql語句中的 count(*)。
aggregate() 方法
MongoDB中聚合的方法使用aggregate()。
語法
aggregate() 方法的基本語法格式如下所示:
db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
實例
集合中的數據如下:
{ _id: ObjectId(7df78ad8902c) title: 'MongoDB Overview', description: 'MongoDB is no sql database', by_user: 'jb51.net', url: 'http://www.jb51.net', tags: ['mongodb', 'database', 'NoSQL'], likes: 100 }, { _id: ObjectId(7df78ad8902d) title: 'NoSQL Overview', description: 'No sql database is very fast', by_user: 'jb51.net', url: 'http://www.jb51.net', tags: ['mongodb', 'database', 'NoSQL'], likes: 10 }, { _id: ObjectId(7df78ad8902e) title: 'Neo4j Overview', description: 'Neo4j is no sql database', by_user: 'Neo4j', url: 'http://www.neo4j.com', tags: ['neo4j', 'database', 'NoSQL'], likes: 750 },
現在我們通過以上集合計算每個作者所寫的文章數,使用aggregate()計算結果如下:
> db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}]) { "result" : [ { "_id" : "w3cschool.cc", "num_tutorial" : 2 }, { "_id" : "Neo4j", "num_tutorial" : 1 } ], "ok" : 1 } >
以上實例類似sql語句: select by_user, count(*) from mycol group by by_user
在上面的例子中,我們通過字段by_user字段對數據進行分組,並計算by_user字段相同值的總和。
下表展示了一些聚合的表達式:
管道的概念
管道在Unix和Linux中一般用於將當前命令的輸出結果作為下一個命令的參數。
MongoDB的聚合管道將MongoDB文檔在一個管道處理完畢後將結果傳遞給下一個管道處理。管道操作是可以重復的。
表達式:處理輸入文檔並輸出。表達式是無狀態的,只能用於計算當前聚合管道的文檔,不能處理其它的文檔。
這裡我們介紹一下聚合框架中常用的幾個操作:
$project:修改輸入文檔的結構。可以用來重命名、增加或刪除域,也可以用於創建計算結果以及嵌套文檔。
$match:用於過濾數據,只輸出符合條件的文檔。$match使用MongoDB的標准查詢操作。
$limit:用來限制MongoDB聚合管道返回的文檔數。
$skip:在聚合管道中跳過指定數量的文檔,並返回余下的文檔。
$unwind:將文檔中的某一個數組類型字段拆分成多條,每條包含數組中的一個值。
$group:將集合中的文檔分組,可用於統計結果。
$sort:將輸入文檔排序後輸出。
$geoNear:輸出接近某一地理位置的有序文檔。
管道操作符實例
1、$project實例
db.article.aggregate( { $project : { title : 1 , author : 1 , }} );
這樣的話結果中就只還有_id,tilte和author三個字段了,默認情況下_id字段是被包含的,如果要想不包含_id話可以這樣:
db.article.aggregate( { $project : { _id : 0 , title : 1 , author : 1 }});
2.$match實例
db.articles.aggregate( [ { $match : { score : { $gt : 70, $lte : 90 } } }, { $group: { _id: null, count: { $sum: 1 } } } ] );
$match用於獲取分數大於70小於或等於90記錄,然後將符合條件的記錄送到下一階段$group管道操作符進行處理。
3.$skip實例
db.article.aggregate( { $skip : 5 });
經過$skip管道操作符處理後,前五個文檔被"過濾"掉。
別人寫過的我就不過多描述了,大家一搜能搜索到N多一樣的,我寫一下我的總結。
基礎知識
請大家自行查找更多,以下是關鍵文檔。
操作符介紹:
$project:包含、排除、重命名和顯示字段
$match:查詢,需要同find()一樣的參數
$limit:限制結果數量
$skip:忽略結果的數量
$sort:按照給定的字段排序結果
$group:按照給定表達式組合結果
$unwind:分割嵌入數組到自己頂層文件
文檔:MongoDB 官方aggregate說明。
相關使用:
db.collection.aggregate([array]);
array可是是任何一個或多個操作符。
group和match的用法,使用過sqlserver,group的用法很好理解,根據指定列進行分組統計,可以統計分組的數量,也能統計分組中的和或者平均值等。
group之前的match,是對源數據進行查詢,group之後的match是對group之後的數據進行篩選;
同理,sort,skip,limit也是同樣的原理;
{_id:1,name:"a",status:1,num:1} {_id:2,name:"a",status:0,num:2} {_id:3,name:"b",status:1,num:3} {_id:4,name:"c",status:1,num:4} {_id:5,name:"d",status:1,num:5}
以下是示例:
應用一:統計name的數量和總數;
db.collection.aggregate([ {$group:{_id:"$name",count:{$sum:1},total:{$sum:"$num"}} ]);
應用二:統計status=1的name的數量;
db.collection.aggregate([ {$match:{status:1}}, {$group:{_id:"$name",count:{$sum:1}}} ]);
應用三:統計name的數量,並且數量為小於2的;
db.collection.aggregate([ {$group:{_id:"$name",count:{$sum:1}}, {$match:{count:{$lt:2}}} ]);
應用四:統計stauts=1的name的數量,並且數量為1的;
db.collection.aggregate([ {$match:{status:1}}, {$group:{_id:"$name",count:{$sum:1}}}, {$match:{count:1}} ]);
多列group,根據name和status進行多列
db.collection.aggregate([ {$group:{_id:{name:"$name",st:"$status"},count:{$sum:1}}} ]);
$project該操作符很簡單,
db.collection.aggregate([ {$project:{name:1,status:1}} ]);
結果是,只有_id,name,status三個字段的表數據,相當於sql表達式 select _id,name,status from collection
$unwind
這個操作符可以將一個數組的文檔拆分為多條文檔,在特殊條件下有用,本人暫沒有進行過多的研究。
以上基本就可以實現大部分統計了,group前條件,group後條件,是重點。