คำถามในหัวข้อ 'hadoop'
ใน Hadoop จะตรวจสอบจำนวนงานแผนที่ที่ทำงานบนแต่ละโหนดทาสได้อย่างไร
ฉันมีคลัสเตอร์ Hadoop ที่มีโหนดหลักเป็นโหนดหลักและอีก 7 โหนดที่กำหนดค่าเป็นทาสโดยแต่ละโหนดมี 8 คอร์และหน่วยความจำ 8 GB ฉันกำลังเล่นกับพารามิเตอร์ "mapred.tasktracker.map.tasks.maximum" และจำนวนทาสในไฟล์การกำหนดค่าทาส ตอนนี้...
1410 มุมมอง
schedule
18.01.2024
สิ่งพื้นฐานเกี่ยวกับ Hadoop และ Hive
ฉันเพิ่งเริ่มทำงานกับ Hadoop เมื่อเร็วๆ นี้ มีตารางชื่อ Checkout ที่ฉันเข้าถึงผ่าน Hive และด้านล่างนี้คือเส้นทางที่ข้อมูลไปยัง HDFS และข้อมูลอื่นๆ แล้วฉันจะได้ข้อมูลอะไรหากต้องอ่านสามบรรทัดด้านล่าง?
Path...
766 มุมมอง
schedule
19.11.2023
รองรับ SAX Parser ใน Apache Pig
ฉันกำลังทำงานกับ UDF เพื่อประมวลผลไฟล์ XML บนคลัสเตอร์ Hadoop ฉันใช้ PIG เพื่อโหลดไฟล์ XML จากนั้นฉันใช้ UDF เพื่อทำให้โครงสร้างของข้อมูล XML เรียบลง
การใช้งานปัจจุบันของฉันคือการใช้ตัวแยกวิเคราะห์ DOM และฉันไม่จำเป็นต้องรวมขวดตัวแยกวิเคราะห์ DOM...
247 มุมมอง
schedule
14.11.2023
ฟังก์ชัน Cascading ดำเนินการในเธรดเดี่ยวเป็นฟังก์ชันผู้ทำแผนที่ Hadoop หรือไม่
ฉันกำลังอ่านเอกสารประกอบบทที่ 5.2 ฟังก์ชั่น และฉันสงสัยว่าจะเกิดอะไรขึ้นกับโค้ดต่อไปนี้ มันควรจะทำงานได้ดีในสภาพแวดล้อมแบบมัลติเธรดหรือไม่? คำถามทั่วไปคือ Function สามารถเป็นแบบมัลติเธรดได้หรือไม่...
332 มุมมอง
schedule
28.11.2023
จัดกลุ่มตามในไฮฟ์บนตารางที่แบ่งพาร์ติชันให้แถวผลลัพธ์ที่ซ้ำกัน
ใช้รีลีส 0.11.0 ฉันได้รับผลลัพธ์ที่ไม่ถูกต้องเมื่อพยายามดำเนินการค้นหานี้
select t1.symbol, max(t1.maxts - t1.orderts) as diff from
(select catid, symbol, max(cast(timestamp as double)*1000) as maxts, min(cast(timestamp as double)*1000) as...
2401 มุมมอง
schedule
19.12.2023
ไม่สามารถสร้างตารางภายนอกในกลุ่มเพื่อชี้ hbase หนึ่งได้
ฉันเป็นนักเรียนที่พยายามทำความเข้าใจว่า Hadoop ทั้งหมดทำงานอย่างไร ฉันใช้ cloudera บนเครื่อง 15 เครื่อง การกำหนดค่าดี บริการทั้งหมดเป็นสีเขียว ฉันนำเข้าบรรทัด mysql 12k ภายใต้ hbase และทุกอย่างก็ใช้ได้ดีเช่นกัน ฉันต้องการสอบถามข้อมูลเหล่านี้...
1450 มุมมอง
schedule
12.01.2024
การประมวลผล XML ที่ซับซ้อนใน Hadoop เพื่อดึงข้อมูล
ฉันต้องการประมวลผล XML ที่จัดรูปแบบแล้วใน Hadoop ซึ่งค่อนข้างซับซ้อนและใหญ่มาก และยังมีลูปด้วย
ฉันลองตัวเลือกต่อไปนี้:
โหลด XML ลงใน Hive เป็นคอลัมน์เดียวและใช้คำสั่ง XPATH
สร้างตาราง Hive โดยใช้ SerDe
โหลด XML โดยใช้ PIG โดยใช้ XMLLoader...
795 มุมมอง
schedule
01.01.2024
Hive - ตรวจสอบว่าอาร์เรย์ในแต่ละแถวของตารางมีข้อมูลที่ตรงกันในคอลัมน์ของตารางอื่นหรือไม่
ฉันมีสองตารางที่มีคอลัมน์ดังที่แสดงด้านล่าง
Posts:
user STRING,
tag_list ARRAY<STRING>
Tags:
tag STRING
นี่คือข้อมูลตัวอย่างบางส่วนในตารางเหล่านั้น
Posts:
user1 help, pig
user2 bigdata, hadoop, query, hiveql
user1 hive,...
6309 มุมมอง
schedule
15.11.2023
1 Tasktracker สามารถรัน JVM หลายตัวได้หรือไม่
1 Tasktracker สามารถเรียกใช้ JVM หลายเครื่องได้หรือไม่
นี่คือสถานการณ์:
สมมติว่ามี 2 ไฟล์ (A & B) และ 2 โหนดข้อมูล (D1 & D2)
เมื่อคุณโหลด A สมมติว่ามันถูกแบ่งออกเป็น A1 & A2 บน D1 & D2 และเมื่อคุณโหลด B สมมติว่ามันถูกแบ่งออกเป็น B1 & B2 บน D1...
210 มุมมอง
schedule
16.12.2023
Apache Accumulo มี CAP-Type อะไรบ้าง
ในระหว่างการประเมินระบบแบบกระจายหลายระบบ ฉันได้พบกับทฤษฎีบท CAP ขออภัย ฉันไม่พบการจัดหมวดหมู่สำหรับ Apache Accumulo
นี่คือคำถามที่แท้จริง: Apache Accumulo เป็นประเภทหมวกประเภทใด และเพราะเหตุใด
451 มุมมอง
schedule
09.11.2023
เพิ่มประสิทธิภาพการสืบค้น Hive ด้วย JOIN ซึ่งมีบันทึกนับล้านรายการ
ฉันมี 2 โต๊ะ-
bpm_agent_data - 40 Million records , 5 Columns
bpm_loan_data - 20 Million records, 5 Columns
ตอนนี้ฉันเรียกใช้แบบสอบถามใน Hive-
select count(bpm_agent_data.AgentID), count(bpm_loan_data.LoanNumber) from bpm_agent_data...
277 มุมมอง
schedule
17.01.2024
การเลือกคอลัมน์ในกลุ่ม
ฉันมีตารางลูกค้าที่มี 200 คอลัมน์ ฉันต้องการสร้างตารางอื่นจากตารางลูกค้าซึ่งควรมีเพียง 190 คอลัมน์ ฉันจะข้ามสองสามคอลัมน์ในกลุ่มจากตารางฐานได้อย่างไร
62 มุมมอง
schedule
30.11.2023
apache storm สร้างการใช้งาน bolt อย่างไร
หลังจากใช้โทโพโลยี apache storm ที่เรียบง่ายใน java ฉันพบ NPE ซึ่งทำให้เกิดความสับสน
นี่เป็นวิธีการหลักของฉัน:
TologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new CustomSpout(true), 4);
final CustomBolt bolt = new...
280 มุมมอง
schedule
05.01.2024
เหตุใดจำนวนตัวลดจึงมากกว่าที่ฉันระบุไว้ใน Hadoop
นี่คือผลลัพธ์บนคอนโซลของงาน MR ของฉัน งานสำเร็จลุล่วงไปด้วยดี แต่ฉันมีสองข้อกังวล
1) ฉันระบุ -D mapred.reduce.slowstart.completed.maps=0.75 อย่างไรก็ตามตัวลดไม่เริ่มทำงานเมื่อแผนที่เสร็จสิ้น 75% ดังที่แสดงด้านล่าง
2) ฉันระบุ -D...
187 มุมมอง
schedule
10.12.2023
ข้อผิดพลาดแปลก ๆ ในคลาส mapreduce
ข้อผิดพลาดนี้ดูเหมือนเล็กน้อย แต่จะไม่หายไป ฉันได้กำหนดคลาสต่อไปนี้:
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import...
5277 มุมมอง
schedule
13.11.2023
ข้อผิดพลาดในการเข้าถึง Hbase
เมื่อฉันพยายามให้สิทธิ์การเข้าถึงแก่ผู้ใช้ใน hbase ฉันได้รับข้อผิดพลาดต่อไปนี้:
grant 'root', 'RWXCA'
ERROR: org.apache.hadoop.hbase.coprocessor.CoprocessorException: java.net.ConnectException: Connection refused
at...
794 มุมมอง
schedule
12.01.2024
ตัวทำแผนที่ Hadoop และข้อผิดพลาดประเภทค่าตัวลดไม่ตรงกัน
ฉันยังใหม่กับ Hadoop และพบปัญหานี้ ฉันกำลังพยายามเปลี่ยนค่า Text, Integer เริ่มต้นสำหรับตัวลดเป็น Text, Text ฉันต้องการแมป Text, IntWritable จากนั้นในตัวลดฉันต้องการมี 2 ตัวนับ ขึ้นอยู่กับว่าค่าคืออะไร จากนั้นเขียนตัวนับ 2 ตัวนั้นใน Text...
1481 มุมมอง
schedule
16.11.2023
Oozie รันเวิร์กโฟลว์อีกครั้งจากโหนดซึ่งถูกปิดการทำงานครั้งล่าสุด
ฉันกำลังใช้การกระทำ MR ใน oozie และต้องการใช้ฟังก์ชันการระงับ/ดำเนินการต่อโดย oozie บน MR
ปัญหา - อย่างไรก็ตาม เมื่อเราเรียก 'ระงับ' บน Oozie ซึ่งไม่ได้หยุดงาน Hadoop แต่จะอัปเดตสถานะ oozie เท่านั้น ในขณะที่งาน Hadoop ยังคงทำงานต่อไปจนเสร็จสิ้น...
3486 มุมมอง
schedule
16.12.2023
การตั้งเวลา oozie สำหรับแอปพลิเคชัน c #
ฉันใช้ oozie-4.1.0 ใน windows ฉันต้องการกำหนดเวลาแอปพลิเคชัน c# ผ่าน oozie เท่าที่ฉันรู้ oozie รองรับเฉพาะ java,pig,hive เท่านั้น ใครสามารถบอกฉันได้ว่ามีการสนับสนุนในการกำหนดเวลาแอปพลิเคชัน c # หรือไม่
132 มุมมอง
schedule
29.10.2023
Namenode และ Datanode ไม่ได้เริ่มทำงานใน Hadoop
ฉันติดตั้ง Hadoop 2.6.0 ในแล็ปท็อปที่ใช้ Ubuntu 14.04LTS ฉันสตาร์ท hadoop daemons ด้วยการรัน start-all.sh แต่เมื่อฉันพิมพ์ jps มีเพียง 4 เท่านั้นที่ทำงานอยู่
10545 SecondaryNameNode
10703 ResourceManager
11568 Jps
10831 NodeManager...
14536 มุมมอง
schedule
15.12.2023
