Pertanyaan tentang topik tersebut 'apache-kafka'

Masalah PySpark mengalir dari Kafka
Saya mencoba menyambung ke aliran kafka(0.9.0) melalui pyspark untuk salah satu aplikasi saya. Menghadapi masalah berikut: Langkah-langkah yang diambil Memulai kafka menggunakan perintah berikut bin/zookeeper-server-start.sh...
465 dilihat

Spring Cloud Streams tidak menyetel kunci kafka di pesan?
Ceritanya seperti ini. Saya memiliki broker kafka dan objek tertentu (yang saya jsonify untuk dikirim melalui topik saya) yang memiliki ID yang ingin saya gunakan sebagai kunci. Saat ini saya menggunakan konfigurasi 'partitionKeyExtractorClass'...
2222 dilihat

Apakah Spring Cloud Stream Kafka mendukung header yang disematkan?
Menurut topik ini: Integrasi Kafka Spring: Header tidak hadir untuk konsumen kafka - ini bukan dukungan header untuk Kafka Namun dokumentasi mengatakan: spring.cloud.stream.kafka.binder.headers Daftar header khusus yang akan...
3949 dilihat

Apakah biasanya topik kafka per jam atau per hari?
Saya mencatat kunjungan halaman dan permintaan pencarian (semacam analisis aliran klik) ke kafka. Saya bermaksud untuk memprosesnya secara batch secara berkala, katakanlah per jam atau per hari, dan kemudian menulis hasil agregat ke elasticsearch....
1163 dilihat
schedule 06.11.2023

Bagaimana cara mengetahui offset saat ini di spring kafka untuk penerapan manual
Saya menggunakan Spring Kafka pertama kali dan saya tidak dapat menggunakan metode Acknowledgement.acknowledge() untuk penerapan manual dalam kode konsumen saya. tolong beri tahu saya jika ada yang hilang dalam konfigurasi konsumen atau kode...
36531 dilihat
schedule 19.12.2023

Topologi Aliran Kafka pada banyak contoh
Kami memiliki topologi aliran yang akan bekerja pada banyak mesin. Kami menyimpan hasil agregasi jangka waktu ke penyimpanan negara. Karena penyimpanan negara bagian menyimpan data lokal, menurut saya agregasi harus dilakukan pada topik lain untuk...
673 dilihat

Tidak dapat menghasilkan pesan kafka dari luar klaster AWS Kafka
Saya mengalami masalah berikut: Saya menyiapkan platform konfluen sesederhana mungkin di aws hanya dengan menggunakan 1 node pekerja dan broker. Ketika saya mencoba membuat pesan terhadap topik kafka saya dari luar vpc saya, saya mendapatkan...
157 dilihat

Tidak dapat menetapkan ulang partisi topik kafka
Versi kafka adalah kafka_2.12-2.2.0, zookeeper adalah 3.5.4-beta. 1.mulai broker 0 ./bin/kafka-server-start.sh -daemon config/server.properties 2.buat topik bernama tes ./bin/kafka-topics.sh --zookeeper 192.168.18.128:2181/kafka...
1133 dilihat
schedule 13.11.2023

Kafka, apa yang akan terjadi dengan pesan jika anggota kelompok konsumen turun?
Misalkan kita mempunyai topik bernama Topic dan grup konsumen CG dengan tiga konsumen. Offset grup sama dengan 0. Konsumen mulai membaca pesan. Urutan baca: Konsumen 1 membaca pesan 1. Konsumen 2 membaca pesan 2. Konsumen 3 membaca...
551 dilihat
schedule 28.10.2023

Java Spring boot kafka menghapus pesan dari topik dengan offset
Saya mencoba membuat aplikasi booting pegas (java) yang harus dapat menghapus pesan dari topik kafka dengan memberikan nomor offset dan partisinya. Saya telah meneliti kelas paket boot java atau spring yang dapat melakukan ini, tetapi saya hanya...
901 dilihat
schedule 24.11.2023

SpringBoot Kafka: Metode kacang 'kafkaTemplate' di 'KafkaAutoConfiguration' tidak dimuat
Saya menggunakan springboot dan mencoba menulis KafkaProducer untuk memasukkan pesan dalam antrian Kafka. Saya telah membuat metode ini di kelas @Configuration. @Bean public KafkaTemplate<String, String> kafkaTemplate(){ return new...
1398 dilihat

Quarkus Kafka - Konsumen pesan batch/massal
Saya ingin melakukan proses batch. Dalam kasus penggunaan saya, pesan produser kafka dikirim satu per satu. Saya ingin membacanya sebagai daftar di aplikasi konsumen. Saya bisa melakukannya di perpustakaan Spring Kafka. Pendengar batch Kafka...
452 dilihat