ฉันเป็นคนใหม่ในจุดประกาย ฉันต้องการตั้งค่าการสตรีมแบบ Spark เพื่อดึงคู่ค่าคีย์ของไฟล์รูปแบบด้านล่าง: ไฟล์: info1 หมายเหตุ: แต่ละไฟล์ข้อมูลจะมีบันทึกเหล่านี้ประมาณ 1,000 รายการ และระบบของเรากำลังสร้างไฟล์ข้อมูลเหล่านี้อย่างต่อเนื่อง...

ฉันกำลังเรียก spark-submit ผ่าน maxRate ฉันมีตัวรับ kinesis ตัวเดียวและแบตช์ 1 วินาที spark-submit --conf spark.streaming.receiver.maxRate=10 .... อย่างไรก็ตาม ชุดเดียวสามารถเกินอัตราสูงสุดที่กำหนดไว้ได้อย่างมาก เช่น: ฉันได้รับ 300 บันทึก...

มีคอลัมน์ชื่อ RDD บล็อกใน Spark UI ในแท็บผู้ดำเนินการ ข้อสังเกตประการหนึ่งคือจำนวน RDD บล็อกเพิ่มขึ้นเรื่อยๆ สำหรับงานสตรีมมิ่งเฉพาะที่มีการสตรีมข้อความจาก Kafka...