Logstash หยุดเขียนถึง elasticsearch หลังจากรีสตาร์ท elasticsearch หรือไม่

ฉันค่อนข้างใหม่กับ Logstash/Elasticsearch/Kibana และฉันมีปัญหาแปลก ๆ ในการกู้คืน logstash หลังจาก elasticsearch หยุดและรีสตาร์ท ฉันมีการติดตั้ง ELK ด้วย logstash-1.4.2 และ elasticsearch-1.3.4

นี่คือสถานการณ์ของฉัน:

1 - เริ่มการค้นหาแบบยืดหยุ่น 2 - เริ่ม logstash logforwarder บนโหนดระยะไกล 3 - ไฟล์บันทึก/เหตุการณ์ถูกเขียนไปยัง elasticsearch ได้สำเร็จ 4 - รีสตาร์ท elasticsearch 5 - Logstash เชื่อมต่อกับการค้นหาแบบยืดหยุ่นอีกครั้ง (ฉันเห็นข้อความต่อไปนี้) แต่ เหตุการณ์เป็น ไม่ถูกแทรกลงใน elasticsearch อีกต่อไป

บันทึกล็อกสแตช:

log4j, [2014-11-15T16:16:20.261]  INFO: org.elasticsearch.cluster.service: [logstash-grading-n1-76848-4038] removed {[logstash-rest-n1-168118-4018][o6Gxxd1SQC2XchlsySaz8Q][rest-n1][inet[/10.165.0.31:9300]]{client=true, data=false},[Dorma][DoIcmge9QdqxiRnmBjtVdg][build][inet[/10.165.1.140:9300]],[logstash-web-n1-221006-4016][vRY0Ib7oTyOuliOYekP_nA][web-n1][inet[/10.165.0.21:9300]]{client=true, data=false},[logstash-flume-n1-99849-4018][KNknQCs0TPi6-VgiC4f-8A][flume-n1][inet[/10.165.0.41:9300]]{client=true, data=false},}, reason: zen-disco-master_failed ([Dorma][DoIcmge9QdqxiRnmBjtVdg][build][inet[/10.165.1.140:9300]])
log4j, [2014-11-16T09:08:38.706]  INFO: org.elasticsearch.cluster.service: [logstash-grading-n1-76848-4038] detected_master [Masque][5mLN45_iTfq_YuFKV20OLg][build][inet[/10.165.1.140:9300]], added {[logstash-rest-n1-168118-4018][o6Gxxd1SQC2XchlsySaz8Q][rest-n1][inet[/10.165.0.31:9300]]{client=true, data=false},[logstash-web-n1-221006-4016][vRY0Ib7oTyOuliOYekP_nA][web-n1][inet[/10.165.0.21:9300]]{client=true, data=false},[Masque][5mLN45_iTfq_YuFKV20OLg][build][inet[/10.165.1.140:9300]],}, reason: zen-disco-receive(from master [[Masque][5mLN45_iTfq_YuFKV20OLg][build][inet[/10.165.1.140:9300]]])
log4j, [2014-11-16T09:08:38.719]  INFO: org.elasticsearch.cluster.service: [logstash-grading-n1-76848-4038] added {[logstash-flume-n1-99849-4018][KNknQCs0TPi6-VgiC4f-8A][flume-n1][inet[/10.165.0.41:9300]]{client=true, data=false},}, reason: zen-disco-receive(from master [[Masque][5mLN45_iTfq_YuFKV20OLg][build][inet[/10.165.1.140:9300]]])

บันทึกการค้นหาแบบยืดหยุ่น:

[2014-11-16 09:08:36,248][INFO ][gateway                  ] [Masque] recovered [8] indices into cluster_state
...
[2014-11-16 09:09:39,085][INFO ][cluster.service          ] [Masque] added {[logstash-grading-n1-76848-4038][8szJ9egnQsaAvet6S10Tmw][grading-n1][inet[/10.165.0.71:9300]]{client=true, data=false},}, reason: zen-disco-receive(join from node[[logstash-grading-n1-76848-4038][8szJ9egnQsaAvet6S10Tmw][grading-n1][inet[/10.165.0.71:9300]]{client=true, data=false}])

6 - รีสตาร์ท logstash - กิจกรรมเริ่มทำงานอีกครั้ง

ดังนั้นปัญหาคือ ฉันไม่ต้องการรีสตาร์ทอินสแตนซ์ logstash ทั้งหมด ในคลัสเตอร์เพียงเนื่องจากการรีสตาร์ทการค้นหาแบบยืดหยุ่น ไม่มีใครมีความคิดใด ๆ ที่เกิดขึ้น? ฉันขาดการกำหนดค่าบางอย่างหรือไม่?


person Siddharth Trikha    schedule 10.12.2014    source แหล่งที่มา


คำตอบ (1)


ดูเหมือนว่าเป็นปัญหา logstash ที่ทราบแล้ว:

"หยุดทำงานไม่สิ้นสุดเมื่อ Elasticsearch รีสตาร์ท"

https://github.com/elasticsearch/logstash/issues/1655

ไม่ทราบวิธีแก้ปัญหาอื่นใดนอกจากการรีสตาร์ท logstash ฉันจะแสดงความคิดเห็นเกี่ยวกับปัญหาของคุณในฉบับนี้ ยิ่งมีคนพูดถึงปัญหามากเท่าไร ปัญหาก็จะได้รับการแก้ไขเร็วขึ้นเท่านั้น

person John Petrone    schedule 10.12.2014