Saya sedang memproses aliran pesan PubSub berjendela dan saya ingin mengarsipkannya ke GCS. Saya ingin file yang diarsipkan memiliki awalan yang berasal dari stempel waktu jendela (seperti gs://bucket/messages/2015/01/messages-2015-01-01.json)....

Saya memiliki saluran aliran data yang mengumpulkan data pengguna seperti navigasi, pembelian, tindakan kasar, dll. Saya memiliki persyaratan ini untuk dapat mengidentifikasi pola secara real-time dan kemudian mengirimkan peristiwa pubsub yang dapat...

Menggunakan SCIO dari spotify untuk menulis pekerjaan untuk Dataflow , berikut 2 contoh mis.1 dan e .g2 untuk menulis aliran PubSub ke GCS , tetapi dapatkan kesalahan berikut untuk kode di bawah ini Kesalahan Exception in...

Saya menerima pesan melalui pub-sub dan ingin mengunggah ke kueri besar menggunakan data pesan untuk menentukan tabel tempat data akan diunggah. Saya mencoba melakukan hal berikut: Pipa saluran = Pipeline.create(opsi); String bigQueryTable;...

Saya telah membuat aliran data yang mengambil masukan dari penyimpanan data dan melakukan transformasi untuk mengubahnya menjadi BigQuery TableRow. Saya melampirkan stempel waktu dengan setiap elemen dalam transformasi. Kemudian jendela satu hari...

Saya menyiapkan template di Google dataflow dan berfungsi dengan baik. Setelah beberapa modifikasi dengan menambahkan pemrosesan paralel pada partisi, ukuran template menjadi jauh lebih besar. Saya mencoba menjalankannya dan gagal. Saya mendapat...

Aliran data saya menggunakan file .sql . File ini berisi kueri dan berada di direktori bernama queries . Saya perlu mengunggah file ini dengan aliran data saya. Apa yang saya temukan adalah penggunaan file manifest.in tetapi sejauh yang saya...