เป็นไปได้ไหมที่จะรันตัวจัดการงาน Flink บนโหนดงานของ AWS EMR ถ้าใช่ มันแตกต่างจากการรันตัวจัดการงานบนโหนดหลักอย่างไร
กะพริบบนโหนดงาน AWS EMR
คำตอบ (1)
ใช่ คุณควรจะสามารถรัน TM บนโหนดงานได้ ข้อแตกต่างเดียวที่ฉันคาดหวังคือ EMR จะไม่กำหนดเวลา Flink Job Manager (JM) บนโหนดงาน (Amazon EMR ... อนุญาตให้กระบวนการหลักของแอปพลิเคชันทำงานบนโหนดหลักเท่านั้น)
หากเวิร์กโฟลว์ของคุณมีแหล่งที่มาที่อ่านจาก HDFS และ/หรือซิงก์ที่เขียนไปยัง HDFS งานย่อยของผู้ดำเนินการเหล่านี้ที่ทำงานบนโหนดงานอาจใช้เวลานานกว่านั้น เนื่องจากโหนดงานไม่รัน Hadoop Data Node daemon ดังนั้นการอ่าน/เขียนทั้งหมดจึงอยู่บนเครือข่าย
person
kkrugler
schedule
01.11.2020
