Я хотел бы запустить несколько искровых заданий в моем кластере Mesos, и чтобы все искровые задания использовали одну и ту же искровую среду. Это возможно? Я попытался запустить MesosClusterDispatcher и подключить искровые задания к диспетчеру, но каждое искровое задание запускает свою собственную «Spark Framework» (я пробовал запускать как клиентский, так и кластерный режим). Это ожидаемое поведение? Можно ли использовать одну и ту же искровую структуру для нескольких искровых заданий?
запуск нескольких заданий Spark в кластере Mesos
Ответы (1)
Это нормальное и ожидаемое поведение.
В Mesos, насколько мне известно, SparkDispatcher отвечает за выделение ресурсов для вашего драйвера Spark, который будет действовать как каркас. После того, как драйвер Spark выделен, он отвечает за взаимодействие с Mesos и принятие предложений о выделении исполнителей, на которых будут выполняться задачи.
person
gasparms
schedule
05.10.2016
При работе в клиентском режиме SparkDispatcher отсутствует, и драйвер напрямую взаимодействует с Mesos. Так зачем нужен диспетчер в кластерном режиме?
- person Aliza; 05.10.2016
Предлагаем вам взглянуть на spark.apache.org/docs/latest/ running-on-mesos.html
- person Michael Hausenblas; 05.10.2016
@MichaelHausenblas Я знаком с документацией, но как это отвечает на мой вопрос ›Вы имеете в виду состояние восстановления, которое диспетчер записывает в Zookeeper?
- person Aliza; 05.10.2016
Вы спросили: зачем нужен диспетчер в кластерном режиме? и документы (которые, как вы говорите, знакомы) объясняют, что в разделе режима кластера нет?
- person Michael Hausenblas; 05.10.2016
