คำถามในหัวข้อ 'mapreduce'

ใน Hadoop จะตรวจสอบจำนวนงานแผนที่ที่ทำงานบนแต่ละโหนดทาสได้อย่างไร
ฉันมีคลัสเตอร์ Hadoop ที่มีโหนดหลักเป็นโหนดหลักและอีก 7 โหนดที่กำหนดค่าเป็นทาสโดยแต่ละโหนดมี 8 คอร์และหน่วยความจำ 8 GB ฉันกำลังเล่นกับพารามิเตอร์ "mapred.tasktracker.map.tasks.maximum" และจำนวนทาสในไฟล์การกำหนดค่าทาส ตอนนี้...
1410 มุมมอง
schedule 18.01.2024

แบบสอบถามการนับขั้นสูงของ MongoDB ขึ้นอยู่กับเนื้อหาของเอกสาร
ฉันมีปัญหากับแบบสอบถามการนับขั้นสูงกับ MongoDB ฉันกำลังพยายามนับวัตถุ ภายใน ฟิลด์เอกสาร แต่เฉพาะเมื่อมีองค์ประกอบก่อนหน้านี้ที่ตรงกับข้อความค้นหาที่มีอยู่และ เก่ากว่า ในอาร์เรย์ ให้ฉันอธิบาย.... ฉันมี เอกสารคอนเทนเนอร์ ดูเหมือนว่า:...
898 มุมมอง
schedule 24.11.2023

ฟังก์ชัน Cascading ดำเนินการในเธรดเดี่ยวเป็นฟังก์ชันผู้ทำแผนที่ Hadoop หรือไม่
ฉันกำลังอ่านเอกสารประกอบบทที่ 5.2 ฟังก์ชั่น และฉันสงสัยว่าจะเกิดอะไรขึ้นกับโค้ดต่อไปนี้ มันควรจะทำงานได้ดีในสภาพแวดล้อมแบบมัลติเธรดหรือไม่? คำถามทั่วไปคือ Function สามารถเป็นแบบมัลติเธรดได้หรือไม่...
332 มุมมอง
schedule 28.11.2023

เหตุใดจำนวนตัวลดจึงมากกว่าที่ฉันระบุไว้ใน Hadoop
นี่คือผลลัพธ์บนคอนโซลของงาน MR ของฉัน งานสำเร็จลุล่วงไปด้วยดี แต่ฉันมีสองข้อกังวล 1) ฉันระบุ -D mapred.reduce.slowstart.completed.maps=0.75 อย่างไรก็ตามตัวลดไม่เริ่มทำงานเมื่อแผนที่เสร็จสิ้น 75% ดังที่แสดงด้านล่าง 2) ฉันระบุ -D...
187 มุมมอง
schedule 10.12.2023

ข้อผิดพลาดแปลก ๆ ในคลาส mapreduce
ข้อผิดพลาดนี้ดูเหมือนเล็กน้อย แต่จะไม่หายไป ฉันได้กำหนดคลาสต่อไปนี้: import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import...
5277 มุมมอง
schedule 13.11.2023

การสร้างฟังก์ชันแผนที่/การปล่อยของ MongoDB ใน javascript/node.js (โดยไม่มี MongoDB)
ฉันชอบฟังก์ชันที่ MongoDB มีให้สำหรับการทำงาน map/reduce โดยเฉพาะ emit() ในฟังก์ชัน mapper ฉันจะสร้างพฤติกรรมแผนที่ที่แสดงด้านล่างใน javascript/node.js โดยไม่มี MongoDB ได้อย่างไร ตัวอย่าง ( จาก MongoDB Map-Reduce Docs ): [{ cust_id: "A123",...
786 มุมมอง
schedule 05.11.2023

MongoDB MapReduce ส่งคืนเมื่อนับเท่านั้น > 1
ฉันมีข้อมูลใน MongoDB โครงสร้างของวัตถุหนึ่งเป็นดังนี้: { "_id" : ObjectId("5395177980a6b1ccf916312c"), "institutionId" : "831", "currentObject" : { "systemIdentifiers" : [ { "value" : "24387",...
533 มุมมอง