Bagaimana cara mengunduh file Hadoop (di HDFS) melalui FTP?

Saya ingin menerapkan pekerjaan SSIS yang mampu mengunduh file CSV besar yang terletak di cluster Hadoop jarak jauh. Tentu saja, hanya dengan memiliki server FTP biasa di sistem Hadoop tidak mengekspos file HDFS karena menggunakan sistem file lokal.

Saya ingin tahu apakah ada implementasi server FTP yang berada di atas HDFS. Saya lebih memilih pendekatan ini daripada harus menyalin file dari HDFS ke FS lokal dan kemudian server FTP melayani ini karena saya perlu mengalokasikan lebih banyak ruang penyimpanan.


person James    schedule 14.12.2017    source sumber
comment
Salah satu opsinya adalah memasang sekring. Ini akan memasang HDFS ke direktori lokal dan kemudian Anda hanya perlu melakukan transfer file FS ke FTP lokal.   -  person Amal G Jose    schedule 15.12.2017


Jawaban (1)


Saya melakukan fork dari proyek sumber terbuka yang berfungsi seperti yang diharapkan: https://github.com/jamesattard/maroodi

person James    schedule 15.12.2017