【詳細教程】一文參透MongoDB聚合查詢
MongoDB聚合查詢
什麼是聚合查詢
聚合操作主要用於處理資料並返回計算結果。聚合操作將來自多個文件的值組合在一起，按條件分組後，再進行一系列操作（如求和、平均值、最大值、最小值）以返回單個結果。
MongoDB的聚合查詢
聚合是MongoDB的高階查詢語言，它允許我們通過轉化合並由多個文件的資料來生成新的在單個文件裡不存在的文件資訊。MongoDB中聚合(aggregate)主要用於處理資料（例如分組統計平均值、求和、最大值等），並返回計算後的資料結果，有點類似sql語句中的 count(*)、group by。
在MongoDB中，有兩種方式計算聚合：Pipeline 和 MapReduce。Pipeline查詢速度快於MapReduce，但是MapReduce的強大之處在於能夠在多臺Server上並行執行復雜的聚合邏輯。MongoDB不允許Pipeline的單個聚合操作佔用過多的系統記憶體。
聚合管道方法
MongoDB 的聚合框架就是將文件輸入處理管道，在管道內完成對文件的操作，最終將文件轉換為聚合結果，MongoDB的聚合管道將MongoDB文件在一個管道處理完畢後將結果傳遞給下一個管道處理，管道操作是可以重複的。
最基本的管道階段提供過濾器，其操作類似查詢和文件轉換，可以修改輸出文件的形式。其他管道操作提供了按特定欄位對文件進行分組和排序的工具，以及用於聚合陣列內容（包括文件陣列）的工具。
此外，在管道階段還可以使用運算子來執行諸如計算平均值或連線字串之類的任務。聚合管道可以在分片集合上執行。
聚合流程
db.collection.aggregate()是基於資料處理的聚合管道，每個文件通過一個由多個階段（stage）組成的管道，可以對每個階段的管道進行分組、過濾等功能，然後經過一系列的處理，輸出相應的結果。
聚合管道方法的流程參見下圖
上圖的聚合操作相當於 MySQL 中的以下語句：
select cust_id as _id, sum(amount) as total from orders where status like "%A%" group by cust_id;
詳細流程
db.collection.aggregate()可以用多個構件建立一個管道，對於一連串的文件進行處理。這些構件包括：篩選操作的match、對映操作的project、分組操作的group、排序操作的sort、限制操作的limit、和跳過操作的skip。db.collection.aggregate()使用了MongoDB內建的原生操作，聚合效率非常高,支援類似於SQL Group By操作的功能，而不再需要使用者編寫自定義的JavaScript例程。- 每個階段管道限制為100MB的記憶體。如果一個節點管道超過這個極限,MongoDB將產生一個錯誤。為了能夠在處理大型資料集,可以設定
allowDiskUse為true來在聚合管道節點把資料寫入臨時檔案。這樣就可以解決100MB的記憶體的限制。 db.collection.aggregate()可以作用在分片集合，但結果不能輸在分片集合，MapReduce可以 作用在分片集合，結果也可以輸在分片集合。db.collection.aggregate()方法可以返回一個指標（cursor），資料放在記憶體中，直接操作。跟Mongo shell 一樣指標操作。db.collection.aggregate()輸出的結果只能儲存在一個文件中，BSON Document大小限制為16M。可以通過返回指標解決，版本2.6中：DB.collect.aggregate()方法返回一個指標，可以返回任何結果集的大小。
聚合語法
db.collection.aggregate(pipeline, options)
引數說明
| 引數 | 型別 | 描述 |
|---|---|---|
| pipeline | array | 一系列資料聚合操作或階段。詳見聚合管道操作符 在版本2.6中更改：該方法仍然可以將流水線階段作為單獨的引數接受，而不是作為陣列中的元素;但是，如果不將管道指定為陣列，則不能指定options引數 |
| options | document | 可選。 aggregate()傳遞給聚合命令的其他選項。 2.6版中的新增功能：僅當將管道指定為陣列時才可用。 |
注意事項
使用db.collection.aggregate()直接查詢會提示錯誤，但是傳一個空陣列如db.collection.aggregate([])則不會報錯，且會和find一樣返回所有文件。
常用聚合管道
與mysql聚合類比
為了便於理解，先將常見的mongo的聚合操作和mysql的查詢做下類比
| SQL 操作/函式 | mongodb聚合操作 |
|---|---|
| where | $match |
| group by | $group |
| having | $match |
| select | $project |
| order by | $sort |
| limit | $limit |
| sum() | $sum |
| count() | $sum |
| join | $lookup |
$count
返回包含輸入到stage的文件的計數，理解為返回與表或檢視的find()查詢匹配的文件的計數。db.collection.count()方法不執行find()操作，而是計數並返回與查詢匹配的結果數。
語法
{ $count: <string> }
$count階段相當於下面$group+$project的序列：
db.collection.aggregate([
{
"$group": {
"_id": null,
"count": {// 這裡count自定義，相當於mysql的select count(*) as tables
"$sum": 1
}
}
},
{
"$project": {// 返回不顯示_id欄位
"_id": 0
}
}
])
示例
查詢人數是
100000以上的城市的數量
- $match：階段排除pop小於等於100000的文件，將大於100000的文件傳到下個階段
- $count：階段返回聚合管道中剩餘文件的計數，並將該值分配給名為
count的欄位。
db.zips.aggregate([
{
"$match": {
"pop": {
"$gt": 100000
}
}
},
{
"$count": "count"
}
])
$group
按指定的表示式對文件進行分組，並將每個不同分組的文件輸出到下一個階段。輸出文件包含一個_id欄位，該欄位按鍵包含不同的組。
輸出文件還可以包含計算欄位，該欄位儲存由$group的_id欄位分組的一些accumulator表示式的值。 $group不會輸出具體的文件而只是統計資訊。
語法
{ $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }
_id欄位是必填的;但是，可以指定_id值為null來為整個輸入文件計算累計值。- 剩餘的計算欄位是可選的，並使用
<accumulator>運算子進行計算。 _id和<accumulator>表示式可以接受任何有效的表示式。
accumulator操作符
| 名稱 | 描述 | 類比sql |
|---|---|---|
| $avg | 計算均值 | avg |
| $first | 返回每組第一個文件，如果有排序，按照排序，如果沒有按照預設的儲存的順序返回第一個文件。 | limit 0,1 |
| $last | 返回每組最後一個文件，如果有排序，按照排序，如果沒有按照預設的儲存的順序返回最後一個文件。 | - |
| $max | 根據分組，獲取集合中所有文件對應值的最大值。 | max |
| $min | 根據分組，獲取集合中所有文件對應值的最小值。 | min |
| $push | 將指定的表示式的值新增到一個數組中。 | - |
| $addToSet | 將表示式的值新增到一個集合中（無重複值，無序）。 | - |
| $sum | 計算總和 | sum |
| $stdDevPop | 返回輸入值的總體標準偏差（population standard deviation） | - |
| $stdDevSamp | 返回輸入值的樣本標準偏差（the sample standard deviation） | - |
$group階段的記憶體限制為100M，預設情況下，如果stage超過此限制，$group將產生錯誤，但是，要允許處理大型資料集，請將allowDiskUse選項設定為true以啟用$group操作以寫入臨時檔案。
注意：
- "$addToSet":expr，如果當前陣列中不包含expr，那就將它新增到陣列中。
- "$push":expr，不管expr是什麼值，都將它新增到陣列中，返回包含所有值的陣列。
示例
按照
state分組，並計算每一個state分組的總人數，平均人數以及每個分組的數量
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"totalPop": {
"$sum": "$pop"
},
"avglPop": {
"$avg": "$pop"
},
"count": {
"$sum": 1
}
}
}
])
查詢不重複的所有的
state的值
db.zips.aggregate([
{
"$group": {
"_id": "$state"
}
}
])
按照
city分組，並且分組內的state欄位列表加入到stateItem並顯示
db.zips.aggregate([
{
"$group": {
"_id": "$city",
"stateItem": {
"$push": "$state"
}
}
}
])
下面聚合操作使用系統變數$$ROOT按item對文件進行分組，生成的文件不得超過BSON文件大小限制
db.zips.aggregate([
{
"$group": {
"_id": "$city",
"item": {
"$push": "$$ROOT"
}
}
}
]).pretty();
$match
過濾文件，僅將符合指定條件的文件傳遞到下一個管道階段。
$match接受一個指定查詢條件的文件，查詢語法與讀操作查詢語法相同。
語法
{ $match: { <query> } }
管道優化
$match用於對文件進行篩選，之後可以在得到的文件子集上做聚合，$match可以使用除了地理空間之外的所有常規查詢操作符，在實際應用中儘可能將$match放在管道的前面位置。這樣有兩個好處：
- 一是可以快速將不需要的文件過濾掉，以減少管道的工作量；
- 二是如果再投射和分組之前執行$match，查詢可以使用索引。
使用限制
- 不能在
$match查詢中使用$作為聚合管道的一部分。 - 要在
$match階段使用$text，$match階段必須是管道的第一階段。 - 檢視不支援文字搜尋。
示例
使用 $match做簡單的匹配查詢，查詢縮寫是
NY的城市資料
db.zips.aggregate([
{
"$match": {
"state": "NY"
}
}
]).pretty();
使用$match管道選擇要處理的文件，然後將結果輸出到$group管道以計算文件的計數
db.zips.aggregate([
{
"$match": {
"state": "NY"
}
},
{
"$group": {
"_id": null,
"sum": {
"$sum": "$pop"
},
"avg": {
"$avg": "$pop"
},
"count": {
"$sum": 1
}
}
}
]).pretty();
$unwind
從輸入文件解構陣列欄位以輸出每個元素的文件，簡單說就是 可以將陣列拆分為單獨的文件。
語法
要指定欄位路徑，在欄位名稱前加上$符並用引號括起來。
{ $unwind: <field path> }
v3.2+支援如下語法
{
$unwind:
{
path: <field path>,
#可選,一個新欄位的名稱用於存放元素的陣列索引。該名稱不能以$開頭。
includeArrayIndex: <string>,
#可選，default :false，若為true,如果路徑為空，缺少或為空陣列，則$unwind輸出文件
preserveNullAndEmptyArrays: <boolean>
}
}
如果為輸入文件中不存在的欄位指定路徑，或者該欄位為空陣列，則$unwind預設會忽略輸入文件，並且不會輸出該輸入文件的文件。
版本3.2中的新功能：要輸出陣列欄位丟失的文件，null或空陣列，請使用選項preserveNullAndEmptyArrays。
示例
以下聚合使用$unwind為loc陣列中的每個元素輸出一個文件：
db.zips.aggregate([
{
"$match": {
"_id": "01002"
}
},
{
"$unwind": "$loc"
}
]).pretty();
$project
$project可以從文件中選擇想要的欄位，和不想要的欄位（指定的欄位可以是來自輸入文件或新計算欄位的現有欄位），也可以通過管道表示式進行一些複雜的操作，例如數學操作，日期操作，字串操作，邏輯操作。
語法
$project 管道符的作用是選擇欄位（指定欄位，新增欄位，不顯示欄位,_id：0，排除欄位等），重新命名欄位，派生欄位。
{ $project: { <specification(s)> } }
specifications有以下形式：
<field>: <1 or true> 是否包含該欄位，field:1/0，表示選擇/不選擇 field
_id: <0 or false> 是否指定_id欄位
<field>: <expression> 新增新欄位或重置現有欄位的值。 在版本3.6中更改：MongoDB 3.6新增變數REMOVE。如果表示式的計算結果為$$REMOVE，則該欄位將排除在輸出中。
<field>:<0 or false> v3.4新增功能，指定排除欄位
- 預設情況下，_id欄位包含在輸出文件中。要在輸出文件中包含輸入文件中的任何其他欄位，必須明確指定$project中的包含。 如果指定包含文件中不存在的欄位，$project將忽略該欄位包含，並且不會將該欄位新增到文件中。
- 預設情況下，_id欄位包含在輸出文件中。要從輸出文件中排除_id欄位，必須明確指定$project中的_id欄位為0。
- v3.4版新增功能-如果指定排除一個或多個欄位，則所有其他欄位將在輸出文件中返回。 如果指定排除_id以外的欄位，則不能使用任何其他$project規範表單：即，如果排除欄位，則不能指定包含欄位，重置現有欄位的值或新增新欄位。此限制不適用於使用REMOVE變數條件排除欄位。
- v3.6版本中的新功能- 從MongoDB 3.6開始，可以在聚合表示式中使用變數REMOVE來有條件地禁止一個欄位。
- 要新增新欄位或重置現有欄位的值，請指定欄位名稱並將其值設定為某個表示式。
- 要將欄位值直接設定為數字或布林文字，而不是將欄位設定為解析為文字的表示式，請使用$literal操作符。否則，$project會將數字或布林文字視為包含或排除該欄位的標誌。
- 通過指定新欄位並將其值設定為現有欄位的欄位路徑，可以有效地重新命名欄位。
- 從MongoDB 3.2開始，$project階段支援使用方括號[]直接建立新的陣列欄位。如果陣列規範包含文件中不存在的欄位，則該操作會將空值替換為該欄位的值。
- 在版本3.4中更改-如果$project 是一個空文件，MongoDB 3.4和更高版本會產生一個錯誤。
- 投影或新增/重置嵌入文件中的欄位時，可以使用點符號
示例
以下$project階段的輸出文件中只包含_id，city和state欄位
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1
}
}
]).pretty();
_id欄位預設包含在內。要從$ project階段的輸出文件中排除_id欄位，請在project文件中將_id欄位設定為0來指定排除_id欄位。
db.zips.aggregate([
{
"$project": {
"_id": 0,
"city": 1,
"state": 1
}
}
]).pretty();
以下$ project階段從輸出中排除loc欄位
db.zips.aggregate([
{
"$project": {
"loc": 0
}
}
]).pretty();
可以在聚合表示式中使用變數REMOVE來有條件地禁止一個欄位，
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": "$$REMOVE",
"else": "$loc"
}
}
}
}
]).pretty();
我們還可以改變資料，將人數大於1000的城市座標重置為0
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": [
0,
0
],
"else": "$loc"
}
}
}
}
]).pretty();
新增欄位列
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"desc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": "人數過多",
"else": "人數過少"
}
},
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": [
0,
0
],
"else": "$loc"
}
}
}
}
]).pretty();
$limit
限制傳遞到管道中下一階段的文件數
語法
{ $limit: <positive integer> }
示例，此操作僅返回管道傳遞給它的前5個文件。 $limit對其傳遞的文件內容沒有影響。
db.zips.aggregate({
"$limit": 5
});
注意
當$sort在管道中的$limit之前立即出現時，$sort操作只會在過程中維持前n個結果，其中n是指定的限制，而MongoDB只需要將n個項儲存在記憶體中。當allowDiskUse為true並且n個專案超過聚合記憶體限制時，此優化仍然適用。
$skip
跳過進入stage的指定數量的文件，並將其餘文件傳遞到管道中的下一個階段
語法
{ $skip: <positive integer> }
示例，此操作將跳過管道傳遞給它的前5個文件， $skip對沿著管道傳遞的文件的內容沒有影響。
db.zips.aggregate({
"$skip": 5
});
$sort
對所有輸入文件進行排序，並按排序順序將它們返回到管道。
語法
{ $sort: { <field1>: <sort order>, <field2>: <sort order> ... } }
$sort指定要排序的欄位和相應的排序順序的文件。
<sort order>可以具有以下值之一：
- 1指定升序。
- -1指定降序。
- {$meta：“textScore”}按照降序排列計算出的textScore元資料。
示例
要對欄位進行排序，請將排序順序設定為1或-1，以分別指定升序或降序排序，如下例所示：
db.zips.aggregate([
{
"$sort": {
"pop": -1,
"city": 1
}
}
])
$sortByCount
根據指定表示式的值對傳入文件分組，然後計算每個不同組中文件的數量。每個輸出文件都包含兩個欄位：包含不同分組值的_id欄位和包含屬於該分組或類別的文件數的計數字段，檔案按降序排列。
語法
{ $sortByCount: <expression> }
使用示例
下面舉了一些常用的mongo聚合例子和mysql對比，假設有一條如下的資料庫記錄（表名：zips）作為例子：
統計所有資料
SQL的語法格式如下
select count(1) from zips;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": null,
"count": {
"$sum": 1
}
}
}
])
對所有城市人數求合
SQL的語法格式如下
select sum(pop) AS tota from zips;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": null,
"total": {
"$sum": "$pop"
}
}
}
])
對城市縮寫相同的城市人數求合
SQL的語法格式如下
select state,sum(pop) AS tota from zips group by state;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": "$pop"
}
}
}
])
state重複的城市個數
SQL的語法格式如下
select state,count(1) AS total from zips group by state;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": 1
}
}
}
])
state重複個數大於100的城市
SQL的語法格式如下
select state,count(1) AS total from zips group by state having count(1)>100;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": 1
}
}
},
{
"$match": {
"total": {
"$gt": 100
}
}
}
])
本文由育博學谷狂野架構師釋出 如果本文對您有幫助，歡迎關注和點贊；如果您有任何建議也可留言評論或私信，您的支援是我堅持創作的動力 轉載請註明出處！
- ElasticSearch還能效能調優，漲見識、漲見識了！！！
- 【必須收藏】別再亂找TiDB 叢集部署教程了，這篇保姆級教程來幫你！！| 博學谷狂野架構師
- 【建議收藏】7000 字的TIDB保姆級簡介，你見過嗎
- Tomcat架構設計剖析 | 博學谷狂野架構師
- 你可能不那麼知道的Tomcat生命週期管理 | 博學谷狂野架構師
- 大哥，這是併發不是並行，Are You Ok？
- 為啥要重學Tomcat？| 博學谷狂野架構師
- 這是一篇純講SQL語句優化的文章！！！| 博學谷狂野架構師
- 捲起來！！！看了這篇文章我才知道MySQL事務&MVCC到底是啥？
- 為什麼99%的程式設計師都做不好SQL優化？
- 如何搞定MySQL鎖（全域性鎖、表級鎖、行級鎖）？這篇文章告訴你答案！太TMD詳細了！！！
- 【建議收藏】超詳細的Canal入門，看這篇就夠了！！！
- 從菜鳥程式設計師到高階架構師，竟然是因為這個字final
- 為什麼95%的Java程式設計師，都是用不好Synchronized？
- 99%的Java程式設計師者，都敗給這一個字！
- 8000 字，就說一個字Volatile
- 98%的程式設計師，都沒有研究過JVM重排序和順序一致性
- 來一波騷操作，Java記憶體模型
- 時隔多年，這次我終於把動態代理的原始碼翻了個地兒朝天
- 再有人問你分散式事務，把這篇文章砸過去給他