Flink на узлах задач AWS EMR

Можно ли запускать диспетчеры задач Flink на узлах задач AWS EMR? Если да, то чем это отличается от запуска диспетчеров задач на основном узле?


amazon-emr apache-flink flink-streaming
person justlikethat    schedule 01.11.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Да, у вас должна быть возможность запускать TM на узлах задач. Единственное отличие, которое я ожидал, заключается в том, что EMR не будет планировать диспетчер заданий Flink (JM) на узле задачи (Amazon EMR ... позволяет основным процессам приложения запускаться только на основных узлах).

Если в вашем рабочем процессе есть источники, которые читают из HDFS и / или приемники, которые записывают в HDFS, то подзадачи этих операторов, выполняемых на узлах задач, могут занять больше времени, поскольку узлы задач не запускают демон узла данных Hadoop. , и, таким образом, все операции чтения / записи выполняются по сети.

person kkrugler    schedule 01.11.2020