Pertanyaan tentang topik tersebut 'apache-kafka'
Masalah PySpark mengalir dari Kafka
Saya mencoba menyambung ke aliran kafka(0.9.0) melalui pyspark untuk salah satu aplikasi saya. Menghadapi masalah berikut:
Langkah-langkah yang diambil
Memulai kafka menggunakan perintah berikut
bin/zookeeper-server-start.sh...
465 dilihat
schedule
04.11.2023
Spring Cloud Streams tidak menyetel kunci kafka di pesan?
Ceritanya seperti ini. Saya memiliki broker kafka dan objek tertentu (yang saya jsonify untuk dikirim melalui topik saya) yang memiliki ID yang ingin saya gunakan sebagai kunci.
Saat ini saya menggunakan konfigurasi 'partitionKeyExtractorClass'...
2222 dilihat
schedule
22.12.2023
Apakah Spring Cloud Stream Kafka mendukung header yang disematkan?
Menurut topik ini: Integrasi Kafka Spring: Header tidak hadir untuk konsumen kafka - ini bukan dukungan header untuk Kafka
Namun dokumentasi mengatakan:
spring.cloud.stream.kafka.binder.headers Daftar header khusus yang akan...
3949 dilihat
schedule
20.11.2023
Apakah biasanya topik kafka per jam atau per hari?
Saya mencatat kunjungan halaman dan permintaan pencarian (semacam analisis aliran klik) ke kafka. Saya bermaksud untuk memprosesnya secara batch secara berkala, katakanlah per jam atau per hari, dan kemudian menulis hasil agregat ke elasticsearch....
1163 dilihat
schedule
06.11.2023
Bagaimana cara mengetahui offset saat ini di spring kafka untuk penerapan manual
Saya menggunakan Spring Kafka pertama kali dan saya tidak dapat menggunakan metode Acknowledgement.acknowledge() untuk penerapan manual dalam kode konsumen saya. tolong beri tahu saya jika ada yang hilang dalam konfigurasi konsumen atau kode...
36531 dilihat
schedule
19.12.2023
Topologi Aliran Kafka pada banyak contoh
Kami memiliki topologi aliran yang akan bekerja pada banyak mesin. Kami menyimpan hasil agregasi jangka waktu ke penyimpanan negara. Karena penyimpanan negara bagian menyimpan data lokal, menurut saya agregasi harus dilakukan pada topik lain untuk...
673 dilihat
schedule
06.12.2023
Tidak dapat menghasilkan pesan kafka dari luar klaster AWS Kafka
Saya mengalami masalah berikut:
Saya menyiapkan platform konfluen sesederhana mungkin di aws hanya dengan menggunakan 1 node pekerja dan broker.
Ketika saya mencoba membuat pesan terhadap topik kafka saya dari luar vpc saya, saya mendapatkan...
157 dilihat
schedule
15.12.2023
Tidak dapat menetapkan ulang partisi topik kafka
Versi kafka adalah kafka_2.12-2.2.0, zookeeper adalah 3.5.4-beta.
1.mulai broker 0
./bin/kafka-server-start.sh -daemon config/server.properties
2.buat topik bernama tes
./bin/kafka-topics.sh --zookeeper 192.168.18.128:2181/kafka...
1133 dilihat
schedule
13.11.2023
Kafka, apa yang akan terjadi dengan pesan jika anggota kelompok konsumen turun?
Misalkan kita mempunyai topik bernama Topic dan grup konsumen CG dengan tiga konsumen. Offset grup sama dengan 0.
Konsumen mulai membaca pesan.
Urutan baca:
Konsumen 1 membaca pesan 1.
Konsumen 2 membaca pesan 2.
Konsumen 3 membaca...
551 dilihat
schedule
28.10.2023
Java Spring boot kafka menghapus pesan dari topik dengan offset
Saya mencoba membuat aplikasi booting pegas (java) yang harus dapat menghapus pesan dari topik kafka dengan memberikan nomor offset dan partisinya. Saya telah meneliti kelas paket boot java atau spring yang dapat melakukan ini, tetapi saya hanya...
901 dilihat
schedule
24.11.2023
SpringBoot Kafka: Metode kacang 'kafkaTemplate' di 'KafkaAutoConfiguration' tidak dimuat
Saya menggunakan springboot dan mencoba menulis KafkaProducer untuk memasukkan pesan dalam antrian Kafka. Saya telah membuat metode ini di kelas @Configuration.
@Bean
public KafkaTemplate<String, String> kafkaTemplate(){
return new...
1398 dilihat
schedule
07.01.2024
Quarkus Kafka - Konsumen pesan batch/massal
Saya ingin melakukan proses batch. Dalam kasus penggunaan saya, pesan produser kafka dikirim satu per satu. Saya ingin membacanya sebagai daftar di aplikasi konsumen. Saya bisa melakukannya di perpustakaan Spring Kafka. Pendengar batch Kafka...
452 dilihat
schedule
04.12.2023