ฉันกำลังพยายามเปลี่ยนตัวแปรสภาพแวดล้อม spark "spark.memory.storageFraction" ฉันได้ลองทำสิ่งนี้ด้วยวิธีต่างๆ:
- เป็นพารามิเตอร์ของคำสั่ง spark-submit ของฉัน
- บันทึกในไฟล์กำหนดค่าที่ฉันแนบไปกับ spark-submit
- ในโค้ดสกาล่าผ่าน .set("spark.memory.storageFraction","0.1")
เมื่อฉันตรวจสอบ UI แอปพลิเคชัน Spark ภายใต้ "คุณสมบัติ Spark" มันแสดงให้เห็นอย่างชัดเจนว่ามีการตั้งค่าตัวแปร แต่ไม่มีผลกระทบต่อหน่วยความจำที่เก็บข้อมูลเมื่อฉันดูที่ส่วน "ผู้บริหาร" ของ UI
แม้ว่าฉันจะเพิ่มคุณค่าไร้สาระเช่นนี้:
.set("spark.memory.storageFraction","บลา บลา บลา")
ดูเหมือนว่าโปรแกรมจะไม่ได้รับผลกระทบเลย อันที่จริงแล้ว ค่า "blah blah blah" จะแสดงใต้คุณสมบัติประกายไฟ
ฉันใช้ Spark 1.5
