Команда копирования Hadoop fs?

Извините, если это довольно простой вопрос, но я ничего не нашел в Интернете, и мне просто нужен был быстрый ответ.

Я пытаюсь скопировать файлы из одного каталога HDFS в новый каталог, чтобы сделать резервную копию. Мне дали что-то вроде этого:

hadoop fs -mkdir one/two/three/dir1_bkp
hadoop fs -cp one/two/three/dir1/* one/two/three/dir1_bkp

Это должно только скопировать все файлы из dir1 в dir1_bkp и ни на что не повлиять в dir1, правильно?


person formicaman    schedule 18.01.2021    source источник


Ответы (1)


Копирование не влияет на исходное местоположение, нет.

В зависимости от размера данных distcp может быть лучшим вариантом

person OneCricketeer    schedule 18.01.2021
comment
Спасибо. Мне сказали использовать cp, но с оригиналом, похоже, происходили какие-то другие странные вещи, но я хотел убедиться, что это не моя команда. - person formicaman; 18.01.2021