Bagaimana cara mendapatkan HFile dari sqoop setelah impor hbase massal?

Saya menggunakan sqoop untuk melakukan impor hbase massal. Saya menggunakan opsi ini dari sqoop: --hbase-bulkload. Sqoop akan menghasilkan HFiles dan mengimpor hfiles ke hbase saya. Saya dapat memverifikasi datanya ada di sana dan dari log sqoop, ia mencoba memuat hfile dari

INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs://sandbox.hortonworks.com:8020/tmp/sqoop/data/u/2ce542f59b56466d988e49f7a7e512b7 first=\x00\x00\x00\x00\x00\x01\xDE1\xF8 last=\x00\x00\x00\x00\x00\x01\xEB:L

Namun, setelah pekerjaan selesai. Saya mencoba melihat file-nya dan tidak ada lagi. Saya menggunakan perintah hadoop ini untuk melihat file:

hadoop fs -ls /tmp/sqoop/data

Apakah HFile disimpan di tempat lain? Atau ada opsi untuk menyimpannya setelah pekerjaan impor?

Terima kasih


hadoop sqoop hbase
person Sean Nguyen    schedule 28.04.2015    source sumber

Jawaban (1)


arrow_upward
0
arrow_downward

Saya telah selesai mengimpor data ke hbase dari Oracle menggunakan sqoop itu sendiri. Setelah proses impor selesai, file disimpan dalam sistem file hdfs

/home/USERNAME/FILENAME(TABLENAME)

Saya pikir Hfile Anda juga disimpan dengan konsep yang sama jadi lebih baik periksa dulu di sana

person Sai Tarun Pallati    schedule 29.04.2015
comment
Saya memeriksanya dan tidak ada. - person Sean Nguyen; 29.04.2015
comment
Oke, lalu sudahkah Anda memeriksa seluruh sistem file hdfs? Untuk melakukannya, Anda dapat menggunakan tautan di bawah ini localhost:50070 - person Sai Tarun Pallati; 30.04.2015