Oozie Jalankan kembali alur kerja dari node tempat node tersebut terakhir kali dimatikan

Saya menggunakan tindakan MR di oozie. Dan ingin menggunakan fungsi tangguhkan/lanjutkan yang disediakan oleh oozie di MR.

Masalahnya - Namun, ketika kita memanggil 'suspend' pada Oozie, hal itu tidak mematikan tugas hadoop, melainkan hanya memperbarui status oozie, sementara tugas hadoop terus berjalan hingga selesai. Saya ingin pekerjaan hadoop segera dihentikan ketika alur kerja oozie ditangguhkan. Sepertinya itu tidak mungkin kan?

Jadi, saya pikir saya dapat mematikan alur kerja oozie dan menjalankannya kembali. Tapi sekarang masalahnya, jika ada 3 node tindakan di alur kerja saya, saya tidak ingin menjalankan semuanya kembali.

Apakah saya merokok di sini atau mungkinkah mengakses node oozie terakhir yang berhasil (yang kemungkinan besar disimpan di database mysql)?

Apakah ada pendekatan yang lebih baik untuk kasus penggunaan saya yang licik?

Hargai bantuan Anda sebelumnya,

P.S. Saya tidak memposting alur kerja saya karena ini adalah alur kerja sederhana dengan beberapa tindakan pengurangan peta, tidak ada ilmu roket di sini.


person curiouscoder    schedule 27.12.2014    source sumber


Jawaban (1)


Antarmuka baris perintah oozie memungkinkan flag "-rerun" digunakan dalam konteks berikut:

oozie job -oozie http://localhost:11000/oozie -config job.properties -rerun 14-20090525161321-oozie-joe

Ada satu masalah dalam otomatisasi pemutaran ulang, dan ini adalah Anda harus menyediakan daftar node tindakan untuk dilewati dalam file job.properties menggunakan variabel oozie.wf.rerun.skip.nodes. Berikut ini diambil dari sumber

Hanya satu dari dua konfigurasi berikut yang wajib. Keduanya tidak boleh didefinisikan secara bersamaan oozie.wf.rerun.skip.nodes
oozie.wf.rerun.failnodes
Skip node adalah daftar nama tindakan yang dipisahkan koma. Mereka dapat berupa node tindakan apa pun termasuk node keputusan.
Nilai valid oozie.wf.rerun.failnodes adalah benar atau salah. Jika versi hadoop aman digunakan, dua properti berikut juga perlu ditentukan mapreduce.jobtracker.kerberos.principal dfs.namenode.kerberos.principal.

Untuk mendapatkan otomatisasi, mungkin ada baiknya Anda mencoba menambahkan file properti setelah menyelesaikan tindakan menggunakan skrip shell atau menerapkannya langsung ke pekerjaan MR Anda.

person Ryan Bedard    schedule 02.01.2015