Menyetel Spark StorageFraction tidak berpengaruh. Bahkan tidak crash dengan nilai yang tidak masuk akal

Saya mencoba mengubah variabel lingkungan percikan "spark.memory.storageFraction". Saya telah mencoba melakukan ini dengan berbagai cara:

  • Sebagai parameter perintah pengiriman percikan saya
  • Disimpan dalam file konfigurasi yang saya lampirkan pada pengiriman percikan saya
  • Dalam kode scala melalui .set("spark.memory.storageFraction","0.1")

Ketika saya memeriksa UI aplikasi percikan di bawah "Properti Spark", itu dengan jelas menunjukkan bahwa variabel telah disetel, tetapi tidak berpengaruh pada memori penyimpanan ketika saya melihat bagian "Pelaksana" di UI.

Bahkan jika saya menambahkan nilai yang tidak masuk akal seperti ini:

.set("spark.memory.storageFraction","Blah bla bla")

Program ini tampaknya tidak terpengaruh sama sekali. Faktanya, nilai "bla bla bla" ditampilkan di bawah properti percikan.

Saya menggunakan percikan 1.5


configuration caching storage apache-spark memory
person luring    schedule 29.02.2016    source sumber

Jawaban (1)


arrow_upward
0
arrow_downward

Coba spark.storage.memoryFraction sebagai gantinya.

person Dmitry Dzhus    schedule 15.03.2016
comment
Sayangnya, hal itu tidak mempengaruhi properti sama sekali =/ - person luring; 13.04.2016