ฉันค่อนข้างใหม่กับ SPARKR ฉันดาวน์โหลด SPARK 1.4 และตั้งค่า RStudio เพื่อใช้ไลบรารี SPARKR อย่างไรก็ตาม ฉันต้องการทราบว่าฉันจะใช้ฟังก์ชันกับแต่ละค่าในคอลัมน์ของ DataFrame แบบกระจายได้อย่างไร ใครสามารถช่วยได้บ้าง ตัวอย่างเช่น,...

ฉันได้เขียนสคริปต์ sparkR ที่ซับซ้อนเล็กน้อยแล้วรันโดยใช้ spark-submit โดยทั่วไปสคริปต์ทำอะไรคืออ่านตารางไม้ปาร์เก้ไฮฟ์/อิมพาลาขนาดใหญ่ทีละแถวและสร้างไฟล์ไม้ปาร์เก้ใหม่ที่มีจำนวนแถวเท่ากัน แต่ดูเหมือนว่างานจะหยุดหลังจากผ่านไปประมาณ 100 นาที...

ฉันใช้ Rstudio เมื่อฉันรันโค้ด ฉันประสบปัญหาต่อไปนี้: TaskSetManager:66 - สเตจ 0 มีงานที่มีขนาดใหญ่มาก (1,045 KB) ขนาดงานสูงสุดที่แนะนำคือ 100 KB มีใครรู้อะไรบ้างเกี่ยวกับปัญหา และฉันจะแก้ไขได้อย่างไร รหัส: library(readr)...