Я новичок в искре. Я хотел выполнить настройку потоковой передачи искры, чтобы получить пары значений ключа из файлов формата ниже: файл: информация1 Примечание. Каждый информационный файл будет содержать около 1000 таких записей. И...

Я вызываю spark-submit, передавая maxRate, у меня есть один приемник kinesis и пакеты из 1 с. spark-submit --conf spark.streaming.receiver.maxRate=10 .... однако одна партия может значительно превышать установленную максимальную скорость. то...

В пользовательском интерфейсе Spark на вкладке исполнителей есть столбец с названием RDD блоки. Было сделано одно наблюдение: количество блоков RDD продолжает увеличиваться для конкретного задания потоковой передачи, когда сообщения передаются из...