คำถามในหัวข้อ 'mapreduce'
ใน Hadoop จะตรวจสอบจำนวนงานแผนที่ที่ทำงานบนแต่ละโหนดทาสได้อย่างไร
ฉันมีคลัสเตอร์ Hadoop ที่มีโหนดหลักเป็นโหนดหลักและอีก 7 โหนดที่กำหนดค่าเป็นทาสโดยแต่ละโหนดมี 8 คอร์และหน่วยความจำ 8 GB ฉันกำลังเล่นกับพารามิเตอร์ "mapred.tasktracker.map.tasks.maximum" และจำนวนทาสในไฟล์การกำหนดค่าทาส ตอนนี้...
1410 มุมมอง
schedule
18.01.2024
แบบสอบถามการนับขั้นสูงของ MongoDB ขึ้นอยู่กับเนื้อหาของเอกสาร
ฉันมีปัญหากับแบบสอบถามการนับขั้นสูงกับ MongoDB
ฉันกำลังพยายามนับวัตถุ ภายใน ฟิลด์เอกสาร แต่เฉพาะเมื่อมีองค์ประกอบก่อนหน้านี้ที่ตรงกับข้อความค้นหาที่มีอยู่และ เก่ากว่า ในอาร์เรย์
ให้ฉันอธิบาย....
ฉันมี เอกสารคอนเทนเนอร์ ดูเหมือนว่า:...
898 มุมมอง
schedule
24.11.2023
ฟังก์ชัน Cascading ดำเนินการในเธรดเดี่ยวเป็นฟังก์ชันผู้ทำแผนที่ Hadoop หรือไม่
ฉันกำลังอ่านเอกสารประกอบบทที่ 5.2 ฟังก์ชั่น และฉันสงสัยว่าจะเกิดอะไรขึ้นกับโค้ดต่อไปนี้ มันควรจะทำงานได้ดีในสภาพแวดล้อมแบบมัลติเธรดหรือไม่? คำถามทั่วไปคือ Function สามารถเป็นแบบมัลติเธรดได้หรือไม่...
332 มุมมอง
schedule
28.11.2023
เหตุใดจำนวนตัวลดจึงมากกว่าที่ฉันระบุไว้ใน Hadoop
นี่คือผลลัพธ์บนคอนโซลของงาน MR ของฉัน งานสำเร็จลุล่วงไปด้วยดี แต่ฉันมีสองข้อกังวล
1) ฉันระบุ -D mapred.reduce.slowstart.completed.maps=0.75 อย่างไรก็ตามตัวลดไม่เริ่มทำงานเมื่อแผนที่เสร็จสิ้น 75% ดังที่แสดงด้านล่าง
2) ฉันระบุ -D...
187 มุมมอง
schedule
10.12.2023
ข้อผิดพลาดแปลก ๆ ในคลาส mapreduce
ข้อผิดพลาดนี้ดูเหมือนเล็กน้อย แต่จะไม่หายไป ฉันได้กำหนดคลาสต่อไปนี้:
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import...
5277 มุมมอง
schedule
13.11.2023
การสร้างฟังก์ชันแผนที่/การปล่อยของ MongoDB ใน javascript/node.js (โดยไม่มี MongoDB)
ฉันชอบฟังก์ชันที่ MongoDB มีให้สำหรับการทำงาน map/reduce โดยเฉพาะ emit() ในฟังก์ชัน mapper ฉันจะสร้างพฤติกรรมแผนที่ที่แสดงด้านล่างใน javascript/node.js โดยไม่มี MongoDB ได้อย่างไร
ตัวอย่าง ( จาก MongoDB Map-Reduce Docs ):
[{ cust_id: "A123",...
786 มุมมอง
schedule
05.11.2023
MongoDB MapReduce ส่งคืนเมื่อนับเท่านั้น > 1
ฉันมีข้อมูลใน MongoDB โครงสร้างของวัตถุหนึ่งเป็นดังนี้:
{
"_id" : ObjectId("5395177980a6b1ccf916312c"),
"institutionId" : "831",
"currentObject" : {
"systemIdentifiers" : [
{
"value" : "24387",...
533 มุมมอง
schedule
05.01.2024