У меня проблемы с производительностью API, который я разрабатываю с помощью NodeJS+Express+MongoDB.
При запуске агрегата с $match для конкретного продукта производительность хорошая, но для открытого поиска это очень медленно.
Я хочу запустить группу по двум столбцам: страна и экспортер, а затем получить результат, ограниченный 3 результатами на группу по стране.
Требование: Общее количество уникальных экспортеров из каждой страны вместе с любыми 3 записями из каждой страны.
При запуске explain()
на моем aggregate function
я получаю следующие ключевые указатели, которые сигнализируют о том, что мои запросы медленные. Пожалуйста, поправьте меня, если я ошибаюсь.
"indexFilterSet": false
"winningPlan": {
"stage": "COLLSCAN",
"direction": "forward"
},
Выполнил запрос по 9,264,947
записям, и затраченное время составляет около 32 seconds
. Я пытался использовать составной индекс, а также индекс с одним полем, но это совсем не помогает, так как я чувствую, что индекс не используется с пустым $match
{}
Ниже приведен запрос, который я запускаю в mongoDB, используя драйвер mongoose.
Model.aggregate([
{"$match" : query},
{ $group : {_id: {country: "$Country", exporter: "$Exporter"}, id: {$first: "$_id"}, product: { $first: "$Description" }}},
{ $group : {_id: "$_id.country", data: {$push: { id: "$id", company: "$_id.exporter", product: "$product" }}, count:{$sum:1}}},
{ "$sort": { "count": -1 } },
{
$project: {
"data": { "$slice": [ "$data", 3 ] },
"_id": 1,
"count": 1
}
},
]).allowDiskUse(true).explain()
где запрос создается динамически и по умолчанию пуст {}
для поиска по всей коллекции. Индексированные поля
Составной индекс:
{Country: 1, Exporter: 1}
Индекс текста:
{Description: "text"}
Полный ответ объяснения():
{
"success": "Successfull",
"status": 200,
"data": {
"stages": [
{
"$cursor": {
"query": {},
"fields": {
"Country": 1,
"Description": 1,
"Exporter": 1,
"_id": 1
},
"queryPlanner": {
"plannerVersion": 1,
"namespace": "db.OpenExportData",
"indexFilterSet": false,
"parsedQuery": {},
"winningPlan": {
"stage": "COLLSCAN",
"direction": "forward"
},
"rejectedPlans": []
}
}
},
{
"$group": {
"_id": {
"country": "$Country",
"exporter": "$Exporter"
},
"id": {
"$first": "$_id"
},
"product": {
"$first": "$Description"
}
}
},
{
"$group": {
"_id": "$_id.country",
"data": {
"$push": {
"id": "$id",
"company": "$_id.exporter",
"product": "$product"
}
},
"count": {
"$sum": {
"$const": 1
}
}
}
},
{
"$sort": {
"sortKey": {
"count": -1
}
}
},
{
"$project": {
"_id": true,
"count": true,
"data": {
"$slice": [
"$data",
{
"$const": 3
}
]
}
}
}
],
"ok": 1
}
}
Размер коллекции: 9 264 947 записей и 10,2 ГБ
Время отклика: 32154 мс
Запрос становится медленнее по мере увеличения размера моей коллекции.