Я пытаюсь изменить переменную среды искры «spark.memory.storageFraction». Я пытался сделать это разными способами:
- В качестве параметра моей команды spark-submit
- Сохранено в файле конфигурации, который я прикрепил к моему spark-submit.
- В коде scala через .set("spark.memory.storageFraction","0.1")
Когда я проверяю пользовательский интерфейс приложения spark в разделе «Свойства Spark», он ясно показывает, что переменная установлена, но это не влияет на память хранилища, когда я смотрю на раздел «Исполнители» пользовательского интерфейса.
Даже если я добавлю бессмысленное значение, например:
.set("spark.memory.storageFraction", "Бла-бла-бла")
Программа, похоже, вообще не пострадала. Фактически, значение «бла-бла-бла» отображается в свойствах искры.
Я использую искру 1.5
