Saya menggunakan Rstudio, ketika saya menjalankan kode saya, saya menghadapi masalah berikut:
taskSetManager:66 - Tahap 0 berisi tugas berukuran sangat besar (1045 KB). Ukuran tugas maksimum yang disarankan adalah 100 KB.
Apa yang diketahui seseorang tentang masalahnya dan bagaimana cara memperbaikinya?
KODE:
library(readr)
library(dplyr)
library(SparkR, lib.loc=c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
df <-read_delim("winequality-white.csv", delim = ";") %>%
dplyr::mutate(taste = as.factor(ifelse(quality < 6, "bad", ifelse(quality > 6, "good", "average")))) %>%
dplyr::select(-quality)
df <- dplyr::mutate(df, id = as.integer(rownames(df)))
Sys.setenv(SPARK_HOME="/usr/local/spark")
sparkR.session(master="spark://master:7077")
ddf <- createDataFrame(df)
createDataFrame
. Memuat data secara langsung dengan pembacaan masing-masing (read.df(..., source = "csv", delim = ";", header = "true")
). Tetapi dengan contoh mainan seperti itu saya tidak akan khawatir dan dalam hal ini Anda tidak memiliki kendali lagi - person zero323   schedule 13.10.2018