Saya menggunakan SolrEntityProcessor untuk mengimpor data dari solr lain. Itu berfungsi tetapi kecepatannya hanya 30 dokumen/dtk yang berbobot di bawah saya mengimpor dari SQL Sever (7000 dokumen/dtk).
Saya bertanya-tanya apakah saya melewatkan sesuatu dan apakah ada cara untuk meningkatkan kecepatan.
Sedikit informasi tentang solr cloud saya. Saya memiliki 3 pecahan di tiga server berbeda dan semuanya berada dalam domain yang sama.
Terima kasih sebelumnya.
Mengutip dari SolrEntityProcessor semakin lambat
SolrEntityProcessor baik untuk data dalam jumlah kecil tetapi tidak berguna untuk indeks sebesar itu. Masalahnya adalah deep paging pada hasil pencarian itu mahal. Ketika nilai "awal" untuk suatu kueri meningkat, biaya kueri juga meningkat. Anda lebih baik mengindeks ulang data saja.
Untuk mengatasi ini:
Cara umum untuk mengatasi masalah ini adalah dengan memfilter nilai yang akan mengembalikan hasil lebih sedikit setiap kueri, sebagai bidang tanggal_pembuatan, dan setiap kueri mengubah rentang bidang ini. Untuk kasus penggunaan impor data, Anda mungkin ingin membuat data-import.xml dengan entitas yang berbeda, masing-masing untuk rentang tanggal_pembuatan yang berbeda. Jadi tidak perlu paging yang dalam.
