ฉันต้องการเรียกใช้งาน Spark หลายรายการบนคลัสเตอร์ Mesos ของฉัน และให้งาน Spark ทั้งหมดใช้เฟรมเวิร์ก Spark เดียวกัน เป็นไปได้ไหม? ฉันได้ลองใช้ MesosClusterDispatcher แล้วและให้งาน Spark เชื่อมต่อกับโปรแกรมเลือกจ่ายงาน แต่งาน Spark แต่ละงานจะเปิดตัว "Spark Framework" ของตัวเอง (ฉันได้ลองใช้ทั้งโหมดไคลเอนต์และโหมดคลัสเตอร์แล้ว) นี่เป็นพฤติกรรมที่คาดหวังหรือไม่ เป็นไปได้ไหมที่จะแชร์ spark-framework เดียวกันในงาน spark หลายงาน?
รันงาน Spark หลายงานบนคลัสเตอร์ Mesos
คำตอบ (1)
เป็นเรื่องปกติและเป็นพฤติกรรมที่คาดหวัง
เท่าที่ฉันรู้ใน Mesos SparkDispatcher มีหน้าที่จัดสรรทรัพยากรสำหรับ Spark Driver ของคุณซึ่งจะทำหน้าที่เป็นเฟรมเวิร์ก เมื่อจัดสรรไดรเวอร์ Spark แล้ว จะมีหน้าที่พูดคุยกับ Mesos และยอมรับข้อเสนอเพื่อจัดสรรผู้ดำเนินการที่งานต่างๆ จะถูกดำเนินการ
person
gasparms
schedule
05.10.2016
เมื่อทำงานในโหมดไคลเอนต์ จะไม่มี SparkDispatcher และไดรเวอร์โต้ตอบกับ Mesos โดยตรง เหตุใดผู้มอบหมายงานจึงจำเป็นต้องมีในโหมดคลัสเตอร์
- person Aliza; 05.10.2016
ขอแนะนำให้คุณดูที่ spark.apache.org/docs/latest/ running-on-mesos.html
- person Michael Hausenblas; 05.10.2016
@MichaelHausenblas ฉันคุ้นเคยกับเอกสาร แต่สิ่งนี้ตอบคำถามของฉันได้อย่างไร> คุณหมายถึงสถานะการกู้คืนที่ผู้มอบหมายงานเขียนลงใน Zookeeper หรือไม่?
- person Aliza; 05.10.2016
คุณถาม: เหตุใดผู้มอบหมายงานจึงจำเป็นในโหมดคลัสเตอร์ และเอกสาร (ที่คุณบอกว่าคุณคุ้นเคย) อธิบายว่าในส่วนโหมดคลัสเตอร์ใช่ไหม
- person Michael Hausenblas; 05.10.2016
