Я пытался подключиться к потоку kafka (0.9.0) через pyspark для одного из моих приложений. Столкнулся со следующей проблемой: Предпринятые шаги Запустил кафку, используя следующие команды bin/zookeeper-server-start.sh...

История такая. У меня есть брокер kafka и конкретный объект (который я jsonify для отправки через мои темы), у которого есть идентификатор, который я хочу использовать в качестве ключа. В настоящее время я использую конфигурацию...

Согласно этой теме: Интеграция Kafka Spring: заголовки не идет для потребителя kafka - это не поддержка заголовков для Kafka Но документация говорит: spring.cloud.stream.kafka.binder.headers Список настраиваемых заголовков, которые...

Я регистрирую посещения страниц и поисковые запросы (какой-то анализ потока кликов) в kafka. Я намерен периодически обрабатывать их в пакетном режиме, скажем, в час или в день, а затем записывать агрегированные результаты в elasticsearch. Если он...

Я впервые использую Spring Kafka, и я не могу использовать метод Acknowledgement.acknowledge () для ручной фиксации в моем пользовательском коде. пожалуйста, дайте мне знать, если что-то отсутствует в моей конфигурации потребителя или коде слушателя....

У нас есть топология потоков, которая будет работать на нескольких машинах. Мы сохраняем результаты агрегирования с временным окном в хранилище состояний. Поскольку хранилища состояний хранят локальные данные, я думаю, что агрегирование должно...

У меня следующая проблема: Я настроил как можно более простую конфлюентную платформу на aws, используя только 1 рабочий и брокерский узел. Когда я пытаюсь создать сообщения в моей теме kafka извне моего vpc, я получаю следующее сообщение об...

Версия kafka — kafka_2.12-2.2.0, zookeeper — 3.5.4-beta. 1.стартовый брокер 0 ./bin/kafka-server-start.sh -daemon config/server.properties 2.создайте тему под названием test ./bin/kafka-topics.sh --zookeeper 192.168.18.128:2181/kafka...

Предположим, у нас есть тема с именем Topic и группа потребителей CG с тремя потребителями. Смещение группы равно 0. Потребители начинают читать сообщения. Последовательность чтения: Потребитель 1 читает сообщение 1. Потребитель 2...

Я пытаюсь создать приложение для весенней загрузки (java), которое должно иметь возможность удалять сообщение из темы kafka, указав его номер смещения и раздел. Я исследовал классы загрузочного пакета java или spring, которые могут это сделать, но я...

Я использую springboot и пытаюсь написать KafkaProducer для отправки сообщений в очередь Kafka. Я создал эти методы в классе @Configuration. @Bean public KafkaTemplate<String, String> kafkaTemplate(){ return new...

Я хочу пакетный процесс. В моем случае отправки сообщения производителя kafka отправляются одно за другим. Я хочу прочитать их как список в потребительском приложении. Я могу сделать это в библиотеке Spring Kafka. пакетный прослушиватель Spring...