ฉันมีคลัสเตอร์ Hadoop ที่มีโหนดหลักเป็นโหนดหลักและอีก 7 โหนดที่กำหนดค่าเป็นทาสโดยแต่ละโหนดมี 8 คอร์และหน่วยความจำ 8 GB ฉันกำลังเล่นกับพารามิเตอร์ "mapred.tasktracker.map.tasks.maximum" และจำนวนทาสในไฟล์การกำหนดค่าทาส ตอนนี้ หากโปรแกรมของฉันต้องรันงานประมาณ 40 งาน ฉันจะดูได้ไหมว่ามีงานกี่งานบนโหนดทาสแต่ละโหนดในไฟล์บันทึกบางไฟล์หรือที่ไหนสักแห่ง โดยพื้นฐานแล้ว ฉันกำลังมองหาการกระจายงานแผนที่ระหว่างโหนดต่างๆ
ใน Hadoop จะตรวจสอบจำนวนงานแผนที่ที่ทำงานบนแต่ละโหนดทาสได้อย่างไร
คำตอบ (2)
วิธีที่ง่ายที่สุดที่คุณสามารถทำได้คือจากเว็บอินเทอร์เฟซที่มาพร้อมกับระบบ Hadoop
ในเว็บเบราว์เซอร์ของคุณ ให้พิมพ์: jobtrack-machine-hostname:50030 ตัวอย่างเช่น: localhost:50030
และคุณจะได้สิ่งที่คุณต้องการ
person
Shumin Guo
schedule
29.04.2012
คุณสามารถติดตั้ง Ganglia เพื่อตรวจสอบสถิติจาก jobtracker ฉันทำสิ่งนี้กับคลัสเตอร์ของฉันและติดตั้งง่ายมาก นอกจากนี้ยังช่วยให้คุณตรวจสอบโหลด การสลับ ดิสก์ การใช้หน่วยความจำ ฯลฯ ในแต่ละโหนด
ดูคำแนะนำที่นี่: http://wiki.apache.org/hadoop/GangliaMetrics
คำเตือน GOTCHA: หากคุณกำลังติดตั้ง Ganglia คุณอาจจะได้เวอร์ชัน 3.1 ตรวจสอบให้แน่ใจว่าคุณใช้ org.apache.hadoop.metrics.ganglia.GangliaContext31 แทนสิ่งที่พวกเขามีในหน้านั้น
person
Jeff Wu
schedule
29.04.2012
