Как загрузить файлы Hadoop (на HDFS) через FTP?

Я хотел бы реализовать задание SSIS, которое может загружать большие файлы CSV, расположенные в удаленном кластере Hadoop. Конечно, наличие обычного FTP-сервера в системе Hadoop не раскрывает файлы HDFS, поскольку он использует локальную файловую систему.

Я хотел бы знать, существует ли реализация FTP-сервера поверх HDFS. Я бы предпочел этот подход, а не копировать файлы из HDFS в локальную ФС, а затем иметь FTP-сервер, обслуживающий это, потому что мне нужно будет выделить больше места для хранения.


person James    schedule 14.12.2017    source источник
comment
Один из вариантов - установить предохранитель. Это смонтирует HDFS в локальный каталог, а затем вам просто нужно выполнить локальную передачу файлов FS на FTP.   -  person Amal G Jose    schedule 15.12.2017


Ответы (1)


Я создал ответвление из проекта с открытым исходным кодом, который работает должным образом: https://github.com/jamesattard/maroodi

person James    schedule 15.12.2017