ฉันมีไปป์ไลน์กระแสข้อมูลที่รวบรวมข้อมูลผู้ใช้ เช่น การนำทาง การซื้อ การดำเนินการที่หยาบคาย ฯลฯ ฉันมีข้อกำหนดนี้เพื่อให้สามารถระบุรูปแบบแบบเรียลไทม์ จากนั้นจัดส่งเหตุการณ์ pubsub ที่บริการอื่นสามารถฟังเพื่อให้คำแนะนำแก่ผู้ใช้แบบเรียลไทม์ ข้อเสนอหรือโปรโมชั่น
ฉันกำลังคิดที่จะเริ่มจัดกลุ่มเหตุการณ์ตามรหัสผู้ใช้ จากนั้นหากตรงกับรูปแบบเพื่อสร้าง PCollection ที่มีชื่อเหตุการณ์ที่ต้องถูกทริกเกอร์ผ่าน pubsub
นี่เป็นแนวทางที่ถูกต้องหรือไม่? มีวิธีที่ดีกว่า?
สิ่งนี้ สามารถใช้งานได้อย่างแน่นอน สำหรับการใช้งานบางกรณี
หากคุณกำลังใช้ การกำหนดหน้าต่างตามเซสชัน ร่วมกับ การเริ่มทำงานล่วงหน้า (ทริกเกอร์เมื่อมาถึงองค์ประกอบแต่ละรายการ) คุณสามารถมีข้อมูลทั้งหมดที่จำเป็นในการระบุรูปแบบในแต่ละครั้งที่องค์ประกอบใหม่มาถึง
อย่างไรก็ตาม ขึ้นอยู่กับอัตราการส่งข้อมูลผู้ใช้ที่ถูกพุชและขนาดของเซสชัน อาจส่งผลให้มีข้อมูลจำนวนมากใน PCollection และการทำซ้ำรูปแบบนี้ที่ตรงกันจำนวนมาก (ในข้อมูลเดียวกัน) เนื่องจากคุณต้องนำข้อมูลทั้งหมดในเซสชันกลับมาใช้ใหม่ นอกจากนี้ คุณไม่สามารถใช้องค์ประกอบที่มาถึงก่อนเซสชันนี้
บางครั้ง คุณอาจดีกว่าด้วยการรักษาสถานะสำหรับผู้ใช้แต่ละคน (โดยไม่ต้องทำซ้ำรูปแบบที่ตรงกันกับข้อมูลทั้งหมดของผู้ใช้สำหรับเซสชันนี้) การใช้สถานะจะช่วยขจัดความจำเป็นในการทำงานกับหน้าต่างได้ กระบวนการใหม่ตอนนี้จะมีลักษณะดังนี้:
สำหรับแต่ละองค์ประกอบที่มาถึง:
ดึงข้อมูลสถานะปัจจุบัน
คำนวณสถานะใหม่ (ขึ้นอยู่กับสถานะเก่าและองค์ประกอบใหม่)
หากจำเป็น ให้ส่งข้อความไปที่ PubSub
หากต้องการรักษาสถานะของคุณ คุณสามารถใช้ BigTable หรือ Datastore
