ฉันกำลังประมวลผลสตรีมข้อความ PubSub แบบหน้าต่าง และต้องการเก็บถาวรไว้ที่ GCS ฉันต้องการให้ไฟล์ที่เก็บถาวรมีคำนำหน้าที่ได้มาจากการประทับเวลาของหน้าต่าง (เช่น gs://bucket/messages/2015/01/messages-2015-01-01.json) เป็นไปได้ด้วย TextIO.Write...

ฉันมีไปป์ไลน์กระแสข้อมูลที่รวบรวมข้อมูลผู้ใช้ เช่น การนำทาง การซื้อ การดำเนินการที่หยาบคาย ฯลฯ ฉันมีข้อกำหนดนี้เพื่อให้สามารถระบุรูปแบบแบบเรียลไทม์ จากนั้นจัดส่งเหตุการณ์ pubsub ที่บริการอื่นสามารถฟังเพื่อให้คำแนะนำแก่ผู้ใช้แบบเรียลไทม์...

การใช้ SCIO จาก spotify เพื่อเขียนงานสำหรับ Dataflow ตามตัวอย่าง 2 รายการ เช่นg1 และ e .g2 เพื่อเขียนสตรีม PubSub ไปที่ GCS แต่ได้รับข้อผิดพลาดต่อไปนี้สำหรับโค้ดด้านล่าง ข้อผิดพลาด Exception in thread "main"...

ฉันได้รับข้อความผ่าน pub-sub และต้องการอัปโหลดไปยัง big-query โดยใช้ข้อมูลข้อความเพื่อกำหนดตารางที่จะอัปโหลดข้อมูลไป ฉันลองทำสิ่งต่อไปนี้: ไปป์ไลน์ ไปป์ไลน์ = Pipeline.create(ตัวเลือก); สตริง bigQueryTable; PCollection<String> input =...

ฉันได้สร้างกระแสข้อมูลซึ่งรับอินพุตจากที่เก็บข้อมูลและดำเนินการแปลงเพื่อแปลงเป็น BigQuery TableRow ฉันกำลังแนบการประทับเวลากับแต่ละองค์ประกอบในการแปลง จากนั้นหน้าต่างของหนึ่งวันจะถูกนำไปใช้กับ PCollection...

ฉันตั้งค่าเทมเพลตบน Google dataflow และทำงานได้ดี หลังจากการปรับเปลี่ยนการเพิ่มการประมวลผลแบบขนานบนพาร์ติชัน ขนาดเทมเพลตก็ใหญ่ขึ้นมาก ฉันพยายามเรียกใช้แต่ล้มเหลว ฉันได้รับข้อผิดพลาดบางอย่างดังต่อไปนี้ Template file...

กระแสข้อมูลของฉันใช้ไฟล์ .sql ไฟล์นี้ประกอบด้วยคำค้นหาและอยู่ในไดเรกทอรีชื่อ queries ฉันจำเป็นต้องอัปโหลดไฟล์นี้ด้วยโฟลว์ข้อมูลของฉัน สิ่งที่ฉันพบคือการใช้ไฟล์ manifest.in แต่ไม่ได้ทำอะไรเท่าที่ฉันเห็น ฉันได้สร้างไฟล์นี้ชื่อ MANIFEST.in...