จะดาวน์โหลดไฟล์ Hadoop (บน HDFS) ผ่าน FTP ได้อย่างไร

ฉันต้องการใช้งาน SSIS ที่สามารถดาวน์โหลดไฟล์ CSV ขนาดใหญ่ที่อยู่บนคลัสเตอร์ Hadoop ระยะไกลได้ แน่นอนว่าการมีเซิร์ฟเวอร์ FTP ปกติบนระบบ Hadoop จะไม่เปิดเผยไฟล์ HDFS เนื่องจากใช้ระบบไฟล์ในเครื่อง

ฉันต้องการทราบว่ามีการใช้งานเซิร์ฟเวอร์ FTP ที่อยู่เหนือ HDFS หรือไม่ ฉันชอบวิธีนี้มากกว่าที่จะต้องคัดลอกไฟล์จาก HDFS ไปยัง FS ในเครื่อง แล้วให้เซิร์ฟเวอร์ FTP ทำหน้าที่นี้เพราะฉันจะต้องจัดสรรพื้นที่จัดเก็บข้อมูลเพิ่มเติม


person James    schedule 14.12.2017    source แหล่งที่มา
comment
ทางเลือกหนึ่งคือการติดตั้งฟิวส์ การดำเนินการนี้จะเมานต์ HDFS ไปยังไดเร็กทอรีในเครื่อง จากนั้นคุณเพียงแค่ต้องทำการถ่ายโอนไฟล์ FS ในเครื่องเป็น FTP   -  person Amal G Jose    schedule 15.12.2017


คำตอบ (1)


ฉันแยกจากโครงการโอเพ่นซอร์สที่ทำงานตามที่คาดไว้: https://github.com/jamesattard/maroodi

person James    schedule 15.12.2017