Как получить HFile из sqoop после массового импорта hbase?

Я использую sqoop для массового импорта hbase. Я использую эту опцию из sqoop: --hbase-bulkload. Sqoop сгенерирует HFiles и импортирует hfiles в мою hbase. Я могу проверить наличие данных и из журнала sqoop, он пытается загрузить hfile из

INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs://sandbox.hortonworks.com:8020/tmp/sqoop/data/u/2ce542f59b56466d988e49f7a7e512b7 first=\x00\x00\x00\x00\x00\x01\xDE1\xF8 last=\x00\x00\x00\x00\x00\x01\xEB:L

Однако, после того, как работа сделана. Пытаюсь посмотреть файлы, а его уже нет. Я использую эту команду hadoop для просмотра файлов:

hadoop fs -ls /tmp/sqoop/data

HFile хранится где-то еще? Или есть возможность сохранить его после задания импорта?

Спасибо


hadoop sqoop hbase
person Sean Nguyen    schedule 28.04.2015    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я выполнил импорт данных в hbase из оракула, используя сам sqoop. После завершения процесса импорта файл сохраняется в файловой системе hdfs.

/home/USERNAME/FILENAME(TABLENAME)

Я думаю, что ваш Hfile также будет храниться с той же концепцией, поэтому лучше один раз проверить его там.

person Sai Tarun Pallati    schedule 29.04.2015
comment
Я проверил, а его нет. - person Sean Nguyen; 29.04.2015
comment
Итак, вы проверили всю файловую систему hdfs? Для этого вы можете использовать приведенную ниже ссылку localhost:50070. - person Sai Tarun Pallati; 30.04.2015