Apakah mungkin untuk menjalankan pengelola tugas Flink pada simpul Tugas AWS EMR? Jika ya, apa bedanya dengan menjalankan Task Manager pada node inti?
Flink pada Node Tugas AWS EMR
Jawaban (1)
Ya, Anda seharusnya dapat menjalankan TM pada node tugas. Satu-satunya perbedaan yang saya harapkan adalah EMR tidak akan menjadwalkan Flink Job Manager (JM) pada node tugas (Amazon EMR ... memungkinkan proses master aplikasi berjalan hanya pada node inti).
Jika alur kerja Anda memiliki sumber yang membaca dari HDFS dan/atau sink yang menulis ke HDFS, maka subtugas dari operator ini yang berjalan pada simpul tugas mungkin memerlukan waktu lebih lama, karena simpul tugas tidak menjalankan daemon Hadoop Data Node , dan dengan demikian semua pembacaan/penulisan dilakukan melalui jaringan.
person
kkrugler
schedule
01.11.2020
