คำถามในหัวข้อ 'apache-beam'

เกิดข้อผิดพลาดในการเขียนสตรีม PubSub ไปยัง Cloud Storage โดยใช้ Dataflow
การใช้ SCIO จาก spotify เพื่อเขียนงานสำหรับ Dataflow ตามตัวอย่าง 2 รายการ เช่นg1 และ e .g2 เพื่อเขียนสตรีม PubSub ไปที่ GCS แต่ได้รับข้อผิดพลาดต่อไปนี้สำหรับโค้ดด้านล่าง ข้อผิดพลาด Exception in thread "main"...
883 มุมมอง

ขนาดเทมเพลต Google Dataflow สูงสุดที่ 10Mb
ฉันตั้งค่าเทมเพลตบน Google dataflow และทำงานได้ดี หลังจากการปรับเปลี่ยนการเพิ่มการประมวลผลแบบขนานบนพาร์ติชัน ขนาดเทมเพลตก็ใหญ่ขึ้นมาก ฉันพยายามเรียกใช้แต่ล้มเหลว ฉันได้รับข้อผิดพลาดบางอย่างดังต่อไปนี้ Template file...
486 มุมมอง

รวมไฟล์อื่นๆ เข้ากับ dataflow
กระแสข้อมูลของฉันใช้ไฟล์ .sql ไฟล์นี้ประกอบด้วยคำค้นหาและอยู่ในไดเรกทอรีชื่อ queries ฉันจำเป็นต้องอัปโหลดไฟล์นี้ด้วยโฟลว์ข้อมูลของฉัน สิ่งที่ฉันพบคือการใช้ไฟล์ manifest.in แต่ไม่ได้ทำอะไรเท่าที่ฉันเห็น ฉันได้สร้างไฟล์นี้ชื่อ MANIFEST.in...
962 มุมมอง