Я относительно новичок в СПАРКРЕ. Я скачал SPARK 1.4 и настроил RStudio для использования библиотеки SPARKR. Однако я хочу знать, как я могу применить функцию к каждому значению в столбце распределенного DataFrame, может кто-нибудь помочь?...

Я написал немного сложный скрипт sparkR и запустил его с помощью spark-submit. Сценарий в основном читает строку за строкой большой таблицы на основе паркета hive/impala и создает новый файл паркета с таким же количеством строк. Но кажется, что...

Я использую Rstudio, когда я запускаю свой код, я столкнулся со следующей проблемой: taskSetManager:66 — Этап 0 содержит задачу очень большого размера (1045 КБ). Максимальный рекомендуемый размер задачи — 100 КБ. Что кто-то знает о...