Kueri Lambat di MongoDB dengan kumpulan kueri agregat luas menggunakan grup

Saya mengalami masalah kinerja pada API yang saya kembangkan menggunakan NodeJS+Express+MongoDB.

Saat menjalankan agregat dengan $match pada produk tertentu, kinerjanya bagus tetapi untuk pencarian terbuka sangat lambat.

Saya ingin menjalankan grup dalam dua kolom: negara dan eksportir dan kemudian mengambil hasilnya terbatas pada 3 hasil per grup di negara.

Persyaratan: Jumlah Total eksportir unik dari setiap negara beserta 3 catatan dari setiap negara.

Saat menjalankan explain() di aggregate function saya, saya mendapatkan petunjuk penting berikut yang menandakan bahwa kueri saya lambat. Mohon koreksi saya jika saya salah.

1. "indexFilterSet": false
2. "winningPlan": { "stage": "COLLSCAN", "direction": "forward" },

Jalankan kueri pada 9,264,947 catatan dan waktu yang dibutuhkan sekitar 32 seconds. Saya telah mencoba menggunakan indeks gabungan serta indeks bidang tunggal tetapi tidak membantu sama sekali, karena saya merasa indeks tidak digunakan dengan $match kosong {}

Di bawah ini adalah kueri yang saya jalankan di mongoDB menggunakan driver mongoose

Model.aggregate([
  {"$match" : query},
  { $group : {_id: {country: "$Country", exporter: "$Exporter"}, id: {$first: "$_id"}, product: { $first: "$Description" }}},
  { $group : {_id: "$_id.country", data: {$push: { id: "$id", company: "$_id.exporter", product: "$product" }}, count:{$sum:1}}},
  { "$sort": { "count": -1 } },
  { 
    $project: { 
      "data": { "$slice": [ "$data", 3 ] },
      "_id": 1,
      "count": 1
    }
  },
]).allowDiskUse(true).explain()

di mana, kueri dibuat secara dinamis dan secara default kosong {} untuk penelusuran seluruh koleksi. Bidang yang diindeks adalah

1. Indeks Gabungan: {Country: 1, Exporter: 1}

2. Indeks Teks: {Description: "text"}

Penjelasan lengkap() tanggapan:

{
"success": "Successfull",
"status": 200,
"data": {
    "stages": [
        {
            "$cursor": {
                "query": {},
                "fields": {
                    "Country": 1,
                    "Description": 1,
                    "Exporter": 1,
                    "_id": 1
                },
                "queryPlanner": {
                    "plannerVersion": 1,
                    "namespace": "db.OpenExportData",
                    "indexFilterSet": false,
                    "parsedQuery": {},
                    "winningPlan": {
                        "stage": "COLLSCAN",
                        "direction": "forward"
                    },
                    "rejectedPlans": []
                }
            }
        },
        {
            "$group": {
                "_id": {
                    "country": "$Country",
                    "exporter": "$Exporter"
                },
                "id": {
                    "$first": "$_id"
                },
                "product": {
                    "$first": "$Description"
                }
            }
        },
        {
            "$group": {
                "_id": "$_id.country",
                "data": {
                    "$push": {
                        "id": "$id",
                        "company": "$_id.exporter",
                        "product": "$product"
                    }
                },
                "count": {
                    "$sum": {
                        "$const": 1
                    }
                }
            }
        },
        {
            "$sort": {
                "sortKey": {
                    "count": -1
                }
            }
        },
        {
            "$project": {
                "_id": true,
                "count": true,
                "data": {
                    "$slice": [
                        "$data",
                        {
                            "$const": 3
                        }
                    ]
                }
            }
        }
    ],
    "ok": 1
}
}

Ukuran Koleksi : 9.264.947 data & 10,2 GB

Waktu Respons : 32154 mdtk

Kueri menjadi lebih lambat seiring bertambahnya ukuran koleksi saya.