Saya baru dalam percikan. Saya ingin melakukan pengaturan streaming percikan untuk mengambil pasangan nilai kunci dari file berformat di bawah ini: berkas: info1 Catatan: Setiap file info akan memiliki sekitar 1000 catatan ini. Dan...

Saya memanggil spark-submit dengan meneruskan maxRate, saya memiliki satu penerima kinesis, dan kumpulan 1 detik spark-submit --conf spark.streaming.receiver.maxRate=10 .... namun satu batch bisa jauh melebihi maxRate yang ditetapkan. yaitu:...

Ada kolom bernama RDD blok di Spark UI di tab pelaksana. Salah satu pengamatan yang dilakukan adalah jumlah RDD blok terus meningkat untuk tugas streaming tertentu yang mana pesan dialirkan dari Kafka. Pelaksana tertentu dihapus secara...