ในการค้นคว้าแพลตฟอร์มการบริหารระบบต่างๆ ฉันต้องการทราบความแตกต่างระหว่างเมื่อใดที่ควร/ไม่ใช้ Foreman และ Hue สำหรับ Hadoop/HDFS ขอบคุณ

ข้อมูล hdfs ของฉันเสียหาย ในการทำ fsck ฉันได้ผลลัพธ์ดังต่อไปนี้ /siva: บล็อกเสียหาย blk_-1910702044505537827 /siva: บล็อกเสียหาย blk_6483992593913191763 /siva: หายไป 2 บล็อกของขนาดทั้งหมด 82009995 B.Status: CORRUPT ขนาดรวม: 82009995 B dirs...

ฉันได้ติดตั้ง CDH 5.9 โดยใช้ Cloudera Manager Installer โดยฉันได้ระบุไดเร็กทอรีสำหรับข้อมูลเมตา HDFS (/dfs/nn) และข้อมูลจริง (/dfs/dn) หลังจากการติดตั้ง HDFS ทำงานได้อย่างถูกต้องและจัดเก็บข้อมูลเมตาและข้อมูลที่กำหนดไว้ในตำแหน่งของ Claudera Manager...

ฉันมีตาราง "ลูกค้า" ของ mysql และลองนำเข้าข้อมูลจาก mysql ไปยังตำแหน่ง hdfs โดยใช้การนำเข้า sqoop ด้านล่างนี้เป็นเวอร์ชันที่ฉันติดตั้งบนเครื่องของฉัน: เวอร์ชัน sqoop: 1.4.6 เวอร์ชัน hive: 2.3.0 เวอร์ชัน Hadoop: 2.8.1 คำสั่งนำเข้า Sqoop: sqoop...

ฉันต้องการใช้งาน SSIS ที่สามารถดาวน์โหลดไฟล์ CSV ขนาดใหญ่ที่อยู่บนคลัสเตอร์ Hadoop ระยะไกลได้ แน่นอนว่าการมีเซิร์ฟเวอร์ FTP ปกติบนระบบ Hadoop จะไม่เปิดเผยไฟล์ HDFS เนื่องจากใช้ระบบไฟล์ในเครื่อง ฉันต้องการทราบว่ามีการใช้งานเซิร์ฟเวอร์ FTP...

ฉันกำลังคัดลอกไฟล์ประมวลผล pig ในระบบโลคัลไปยังเส้นทาง HDFS (ซึ่งเชื่อมโยงกับตาราง HIVE) โดยให้คำสั่งด้านล่าง แต่ไม่ได้คัดลอก ขั้นตอนที่ 1: ข้อมูลอยู่ในเส้นทางในเครื่องของฉัน [root@quickstart plantoutput]# ll total 4 -rw-r--r-- 1 root root...

ฉันมีงานการสตรีมแบบมีโครงสร้าง Spark ซึ่งเสียชีวิตอย่างเงียบๆ โดยไม่มีข้อความแสดงข้อผิดพลาดที่ชัดเจนในบันทึกของแอปพลิเคชัน มันทำงานได้ดีประมาณ 10 ชั่วโมง และจากนั้นก็เริ่มมีข้อความแสดงข้อผิดพลาดที่ไม่ร้ายแรง มันยังคงให้ผลอยู่ประมาณหนึ่งวัน...

ฉันต้องสร้าง Data Lake บน AWS แต่ฉันไม่รู้ว่า S3 แตกต่างจาก HDFS อย่างไร ฉันพบคำตอบบางอย่างในอินเทอร์เน็ต แต่ฉันยังไม่เข้าใจถึงความแตกต่างที่แท้จริง ฉันยังต้องรู้ด้วยว่ามีใครมีสถาปัตยกรรม Data Lake ของ HDFS และ S3 ใน AWS หรือไม่

ขออภัยหากนี่เป็นคำถามที่ค่อนข้างง่าย แต่ฉันไม่พบสิ่งใดทางออนไลน์เลยและต้องการคำตอบอย่างรวดเร็ว ฉันกำลังพยายามคัดลอกไฟล์จากไดเร็กทอรี HDFS หนึ่งไปยังไดเร็กทอรีใหม่เพื่อทำการสำรองข้อมูล ฉันได้รับสิ่งนี้: hadoop fs -mkdir one/two/three/dir1_bkp...