เป็นเรื่องปกติที่จะมีหัวข้อคาฟคาต่อชั่วโมงหรือต่อวัน?

Kafka ได้รับการพัฒนาโดย LinkedIn และบทบาทใน LinkedIn คือศูนย์รวมบันทึก คาฟคาจึงเหมาะมากที่จะจัดการกับปัญหาประเภทนี้

ฉันคิดว่าทุกเหตุการณ์ (เหตุการณ์เป็นเหมือนการเข้าชมหน้าหรือการสืบค้น) ควรติดแท็กด้วยการประทับเวลาในเว็บเซิร์ฟเวอร์ของคุณที่ไม่ได้อยู่ในเมื่อบันทึกถูกส่งไปยัง Kafka โดยเฉพาะอย่างยิ่ง เมื่อเหตุการณ์การเข้าชมเพจเกิดขึ้น มันจะส่งคำขอไปยังเว็บเซิร์ฟเวอร์ของคุณ จากนั้นเว็บเซิร์ฟเวอร์ของคุณจะจัดการกับคำขอนี้และส่งคืนการตอบกลับ ในขณะเดียวกัน เว็บเซิร์ฟเวอร์ของคุณควรบันทึกเหตุการณ์นี้ด้วยการประทับเวลา และการประทับเวลานี้เป็นเพียงจุดเวลาที่เหมาะสมสำหรับกิจกรรมเท่านั้น เกี่ยวกับวิธีการบันทึกเหตุการณ์? คุณสามารถสร้าง log_producer เพื่อส่งข้อความบันทึกไปยังหัวข้อเฉพาะไปยัง Kafka ของคุณ ไม่ใช่แค่บันทึกสิ่งนี้ในไฟล์ในเครื่อง

และเกี่ยวกับการประมวลผลชุดงานบันทึกต่อชั่วโมง คุณสามารถสร้าง 24 พาร์ติชันและสร้างบันทึก "HOUR" เป็นคีย์พาร์ติชัน จากนั้นหากคุณทำกระบวนการแบบแบตช์ คุณเพียงแค่ต้องดึงบันทึกของพาร์ติชัน H หากชั่วโมงที่คุณต้องการประมวลผลคือ ชม . เนื่องจากคุณเพียงแค่ต้องประมวลผลบันทึกของ H hour ล่าสุด H'log เก่าจึงได้รับการประมวลผลและบันทึกโดยงานกระบวนการเก่า