Oozie รันเวิร์กโฟลว์อีกครั้งจากโหนดซึ่งถูกปิดการทำงานครั้งล่าสุด

ฉันกำลังใช้การกระทำ MR ใน oozie และต้องการใช้ฟังก์ชันการระงับ/ดำเนินการต่อโดย oozie บน MR

ปัญหา - อย่างไรก็ตาม เมื่อเราเรียก 'ระงับ' บน Oozie ซึ่งไม่ได้หยุดงาน Hadoop แต่จะอัปเดตสถานะ oozie เท่านั้น ในขณะที่งาน Hadoop ยังคงทำงานต่อไปจนเสร็จสิ้น ฉันต้องการให้งาน Hadoop ถูกหยุดทันทีเมื่อเวิร์กโฟลว์ oozie ถูกระงับ คิดว่าคงเป็นไปไม่ได้ใช่ไหม?

ดังนั้นฉันจึงคิดว่าฉันสามารถฆ่าเวิร์กโฟลว์ oozie และเรียกใช้ใหม่ได้ แต่ตอนนี้ปัญหาคือ หากมี 3 โหนดการดำเนินการในเวิร์กโฟลว์ของฉัน ฉันไม่ต้องการเรียกใช้โหนดเหล่านั้นทั้งหมดอีกครั้ง

ฉันกำลังสูบบุหรี่ที่นี่หรือเป็นไปได้หรือไม่ที่จะเข้าถึงโหนด oozie ที่ประสบความสำเร็จครั้งล่าสุด (ซึ่งน่าจะจัดเก็บไว้ในฐานข้อมูล mysql)

มีแนวทางที่ดีกว่าสำหรับกรณีการใช้งานแบบ connived ของฉันหรือไม่

ขอขอบคุณความช่วยเหลือของคุณล่วงหน้า

ป.ล. ฉันไม่ได้โพสต์เวิร์กโฟลว์ของฉันเพราะมันเป็นเวิร์กโฟลว์ง่ายๆ ที่มีการดำเนินการลดแผนที่หลายอย่าง ไม่มีวิทยาศาสตร์จรวดที่นี่


person curiouscoder    schedule 27.12.2014    source แหล่งที่มา


คำตอบ (1)


อินเทอร์เฟซบรรทัดคำสั่ง oozie อนุญาตให้ใช้แฟล็ก "-rerun" ในบริบทต่อไปนี้:

oozie job -oozie http://localhost:11000/oozie -config job.properties -rerun 14-20090525161321-oozie-joe

มีปัญหาประการหนึ่งในการรันซ้ำโดยอัตโนมัติ และนี่คือคุณต้องระบุรายการโหนดการดำเนินการเพื่อข้ามภายในไฟล์ job.properties โดยใช้ตัวแปร oozie.wf.rerun.skip.nodes สิ่งต่อไปนี้นำมาจาก แหล่งที่มา

จำเป็นต้องมีการกำหนดค่าอย่างใดอย่างหนึ่งจากสองรายการต่อไปนี้เท่านั้น ไม่ควรกำหนดทั้งสองรายการพร้อมกัน oozie.wf.rerun.skip.nodes
oozie.wf.rerun.failnodes
โหนดข้ามเป็นรายการชื่อการดำเนินการที่คั่นด้วยเครื่องหมายจุลภาค พวกเขาสามารถเป็นโหนดการดำเนินการใดๆ รวมถึงโหนดการตัดสินใจ
ค่าที่ถูกต้องของ oozie.wf.rerun.failnodes เป็นจริงหรือเท็จ หากใช้เวอร์ชัน Hadoop ที่ปลอดภัย จะต้องระบุคุณสมบัติสองประการต่อไปนี้ด้วย mapreduce.jobtracker.kerberos.principal dfs.namenode.kerberos.principal

เพื่อให้ได้ระบบอัตโนมัติ คุณอาจลองต่อท้ายไฟล์คุณสมบัติเมื่อเสร็จสิ้นการดำเนินการโดยใช้เชลล์สคริปต์หรือนำไปใช้ในงาน MR ของคุณโดยตรง

person Ryan Bedard    schedule 02.01.2015