ความเร็วในการนำเข้าข้อมูลจากโซลอื่นช้ามาก

ฉันใช้ SolrEntityProcessor เพื่อนำเข้าข้อมูลจาก solr อื่น มันใช้งานได้แต่ความเร็วเพียง 30 เอกสาร/วินาที ซึ่งต่ำกว่าที่ฉันนำเข้าจาก SQL Sever (7000 เอกสาร/วินาที)

ฉันสงสัยว่าฉันพลาดอะไรไปหรือเปล่าและมีวิธีใดที่จะปรับปรุงความเร็วได้หรือไม่

ข้อมูลเล็กน้อยเกี่ยวกับ solr cloud ของฉัน ฉันมี 3 ชาร์ดบนเซิร์ฟเวอร์ 3 เซิร์ฟเวอร์ที่แตกต่างกันและทั้งหมดอยู่ในโดเมนเดียวกัน

ขอบคุณล่วงหน้า.


person user1227462    schedule 14.10.2013    source แหล่งที่มา


คำตอบ (1)


อ้างอิงจาก SolrEntityProcessor ช้าลงเรื่อยๆ

SolrEntityProcessor นั้นใช้ได้สำหรับข้อมูลจำนวนเล็กน้อย แต่ไม่มีประโยชน์สำหรับดัชนีขนาดใหญ่เช่นนี้ ปัญหาคือ Deep Paging ในผลการค้นหามีราคาแพง เนื่องจากค่า "เริ่มต้น" สำหรับการสืบค้นเพิ่มขึ้น ต้นทุนของการสืบค้นจึงเพิ่มขึ้นเช่นกัน คุณจะดีกว่ามากเพียงแค่จัดทำดัชนีข้อมูลใหม่

เพื่อแก้ไขปัญหานี้:

วิธีทั่วไปในการจัดการกับปัญหานี้คือการกรองค่าที่จะส่งคืนผลลัพธ์น้อยลงทุกๆ การค้นหา โดยเป็นช่อง Creation_date และทุกๆ แบบสอบถามจะเปลี่ยนช่วงฟิลด์นี้ สำหรับกรณีใช้งานการนำเข้าข้อมูล คุณอาจต้องการสร้าง data-import.xml ด้วยเอนทิตีที่แตกต่างกัน โดยแต่ละรายการสำหรับช่วง Creation_date อื่น ดังนั้นจึงไม่จำเป็นต้องมีการเพจแบบลึก

person Nikhil    schedule 18.11.2013