ฉันกำลังเรียก spark-submit ผ่าน maxRate ฉันมีตัวรับ kinesis ตัวเดียวและแบตช์ 1 วินาที spark-submit --conf spark.streaming.receiver.maxRate=10 .... อย่างไรก็ตาม ชุดเดียวสามารถเกินอัตราสูงสุดที่กำหนดไว้ได้อย่างมาก เช่น: ฉันได้รับ 300 บันทึก...

ฉันใช้ aws-sdk (เวอร์ชัน 2.1.8) เพื่อดึงบันทึกออกจาก Kinesis สิ่งนี้อยู่ภายในฟังก์ชันโหนด Lambda กำลังพยายามใช้ ShardIteratorType: AT_TIMESTAMP ฉันระบุการประทับเวลาในวัตถุ params const AWS = require("aws-sdk"); const kinesis = new AWS.Kinesis({...