Файлы каталогов не копируются в HDFS с помощью команды «hadoop fs -put ‹мой локальный путь› ‹путь hdfs›

Я копирую обработанный файл свиньи в локальной системе в путь HDFS (который связан с таблицей HIVE), указав команду ниже, но это не копирование.

Шаг 1: данные находятся на моем локальном пути

[root@quickstart plantoutput]# ll
total 4

-rw-r--r-- 1 root root 1469 Dec  3 02:37 part-m-00000

-rw-r--r-- 1 root root    0 Dec  3 02:37 _SUCCESS

[root@quickstart plantoutput]# pwd

/home/cloudera/Desktop/dealer/plantoutput

Шаг 2: после применения команды это выглядит так

[root@quickstart plantoutput]# hadoop fs -put '/home/cloudera/Desktop/dealer/plantoutput' /tabplant

[root@quickstart plantoutput]# hadoop fs -ls /tabplant

Найдено 1 шт.

drwxr-xr-x - корневая супергруппа 0 2018-12-04 21:52 /tabplant/plantoutput

На самом деле в моей цели hdfs путь не содержит part-m-00000 и _SUCCESS

Может ли кто-нибудь сказать мне, что я делаю неправильно? Это цитаты?


hadoop hdfs hive
person Sekhar    schedule 05.12.2018    source источник
comment
Вы проверили этот путь hadoop fs -ls /tabplant/plantoutput/?   -  person Sathiyan S    schedule 05.12.2018
comment
Уважаемый Sathiyan, Да, я проверил и part-m-00000 и _SUCCESS есть. но мое требование состоит в том, чтобы скопировать part-m-00000 и _SUCCESS в /tabplant, а не в /tabplant/plantoutput, потому что моя таблица HIVE сопоставлена ​​с расположением /tabplant в DHFS. поправьте меня, если я сделал какую-либо ошибку.   -  person Sekhar    schedule 05.12.2018

Ответы (1)


arrow_upward
1
arrow_downward

@Секхар,

Чтобы скопировать только файлы, присутствующие в /home/cloudera/Desktop/dealer/plantoutput

вы должны указать абсолютный путь к файлу, который вы можете использовать, как показано ниже,

hadoop fs -put /home/cloudera/Desktop/dealer/plantoutput/* /tabplant

Когда вы просто упомянете каталог, он будет скопирован как каталог от имени своего родителя.

person Sathiyan S    schedule 05.12.2018
comment
Дорогая Сатья, я использовал *, но не повезло. Теперь я получаю '/home/cloudera/Desktop/dealer/plantoutput/*': Нет такого файла или каталога - person Sekhar; 05.12.2018
comment
Дорогая Сатья, Да, это работает. Спасибо большое за вашу поддержку. - person Sekhar; 05.12.2018
comment
добро пожаловать :) вы все еще можете проголосовать и принять;) - person Sathiyan S; 05.12.2018
comment
если это решает вашу проблему. - person Sathiyan S; 05.12.2018