Я использовал SolrEntityProcessor для импорта данных из другого solr. Это работало, но скорость составляет всего 30 документов/с, что ниже, чем я импортировал из SQL Sever (7000 документов/с).
Мне интересно, не упустил ли я что-то и есть ли способ улучшить скорость.
Немного информации о моем solr cloud. У меня есть 3 шарда на трех разных серверах, и все они находятся в одном домене.
Заранее спасибо.
Цитата из заголовка SolrEntityProcessor становится все медленнее и медленнее
SolrEntityProcessor подходит для небольших объемов данных, но бесполезен для такого большого индекса. Проблема в том, что глубокое пейджинг в результатах поиска стоит дорого. По мере увеличения «начального» значения запроса увеличивается и стоимость запроса. Вам гораздо лучше просто переиндексировать данные.
Чтобы решить эту проблему:
Обычный способ решить эту проблему — отфильтровать значение, которое будет возвращать меньше результатов при каждом запросе, например, поле create_date, и каждый запрос изменяет диапазон этого поля. Для вашего варианта использования импорта данных вы можете создать свой data-import.xml с разными объектами, каждый для другого диапазона create_date. Таким образом, нет необходимости в глубоком пейджинге.
