Bagaimana mencegah hilangnya data karena penghentian instans spot

Saya menggunakan cluster di mana node nama adalah contoh spot. Saya memiliki data /user/oozie/share/lib/ pada namenode ini. Karena ini adalah contoh spot, maka akan dihentikan kapan saja karena kesalahan blok yang hilang terjadi dan merusak perpustakaan itu. Untuk memperbaikinya saya perlu membuat share lib lagi. Bagaimana mencegah masalah ini.


amazon-web-services hadoop2 oozie
person Pooja Soni    schedule 09.01.2018    source sumber
comment
Pernahkah Anda melihat penggunaan Termination Notice? Blog amazon ini dapat membantu Anda dengan detailnya: aws.amazon.com/blogs/aws/. Solusi Anda adalah: buat cadangan /user/oozie/share/lib/ di S3 sesering mungkin dan ketika Anda menerima pemberitahuan Penghentian, ambil cadangan terakhir dan hentikan semua operasi.   -  person krishna_mee2004    schedule 09.01.2018

Jawaban (1)


arrow_upward
1
arrow_downward

Saya pikir Anda bisa melakukan sesuatu seperti ini:

  • membuat volume EBS;
  • saat Anda meluncurkan instance spot baru (secara manual atau otomatis) - lampirkan EBS ini ke instance;
  • tulis skrip yang akan memasang volume EBS ini ke direktori /user/oozie/share/lib/ di dalam instance EC2;
  • letakkan skrip ini di "Data pengguna" saat Anda meluncurkan instance ini;
person zombi_man    schedule 09.01.2018