ฉันใช้ Rstudio เมื่อฉันรันโค้ด ฉันประสบปัญหาต่อไปนี้:
TaskSetManager:66 - สเตจ 0 มีงานที่มีขนาดใหญ่มาก (1,045 KB) ขนาดงานสูงสุดที่แนะนำคือ 100 KB
มีใครรู้อะไรบ้างเกี่ยวกับปัญหา และฉันจะแก้ไขได้อย่างไร
รหัส:
library(readr)
library(dplyr)
library(SparkR, lib.loc=c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
df <-read_delim("winequality-white.csv", delim = ";") %>%
dplyr::mutate(taste = as.factor(ifelse(quality < 6, "bad", ifelse(quality > 6, "good", "average")))) %>%
dplyr::select(-quality)
df <- dplyr::mutate(df, id = as.integer(rownames(df)))
Sys.setenv(SPARK_HOME="/usr/local/spark")
sparkR.session(master="spark://master:7077")
ddf <- createDataFrame(df)
createDataFrame
โหลดข้อมูลโดยตรงด้วย reade ที่เกี่ยวข้อง (read.df(..., source = "csv", delim = ";", header = "true")
) แต่ด้วยตัวอย่างของเล่นดังกล่าว ฉันไม่ต้องกังวล และในกรณีนี้ คุณไม่สามารถควบคุมได้อีกต่อไป - person zero323   schedule 13.10.2018