Cara mengakses tabel dari kluster Hive yang terletak di HDInsight dari Server Spark Lokal yang dibangun di Intellij

Saya tidak dapat mengakses dan membaca data dari tabel Hive yang terletak di HDInsight dari Mesin Virtual lokal saya tempat aplikasi dibangun di Intellij dan Maven.

Bolehkah seseorang membantu saya apa saja Prasyarat untuk skenario ketika kita perlu menulis data dari Spark ke Hive, tetapi Hive terletak di HDInsight dan Spark berada pada instance asli lokal.

Catatan: Saya tidak memiliki kluster Spark di HDInsight, saya hanya memiliki kluster sarang di HDInsight.

Silakan bagikan komentar Anda


azure apache-spark hive azure-hdinsight
person Rohini Mathur    schedule 28.10.2019    source sumber

Jawaban (1)


arrow_upward
0
arrow_downward

Silakan tambahkan hive-site.xml cluster di folder sumber daya Anda. Selain itu, pastikan Anda membuka port jaringan untuk jaringan lokal. Silakan lihat tautan di bawah ini.

https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

person dassum    schedule 28.10.2019
comment
Terima kasih, apakah saya juga perlu mengkonfigurasi dalam file POM? - person Rohini Mathur; 28.10.2019
comment
Anda harus memiliki ketergantungan spark-hive_2.11 jika tidak ditambahkan. - person dassum; 28.10.2019
comment
Tolong bantu: di mana saya bisa mendapatkan Hive-site.xml di HDInsight? - person Rohini Mathur; 28.10.2019
comment
Anda dapat mengunduh konfigurasi dari Ambari UI di HDInsight. - person dassum; 29.10.2019