Как получить доступ к таблице из кластера Hive, расположенного в HDInsight, с локального сервера Spark, построенного на Intellij

Я не могу получить доступ и прочитать данные из таблицы Hive, расположенной в HDInsight, из моего локального экземпляра, где приложение построено на Intellij и Maven.

Может кто-нибудь помочь мне, каковы предварительные условия для сценария, когда нам нужно записать данные из Spark в Hive, но Hive находится в HDInsight, а Spark — в локальном собственном экземпляре.

Примечание. У меня нет кластера Spark в HDInsight, у меня есть только кластер Hive в HDInsight.

Пожалуйста, поделитесь своим комментарием


person Rohini Mathur    schedule 28.10.2019    source источник


Ответы (1)


Добавьте файл hive-site.xml кластера в папку ресурсов. Также убедитесь, что у вас открыт сетевой порт для локальной сети. Пожалуйста, перейдите по ссылке ниже.

https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

person dassum    schedule 28.10.2019
comment
Спасибо, мне также нужно настроить в файле POM? - person Rohini Mathur; 28.10.2019
comment
вам нужно иметь зависимость spark-hive_2.11, если она не добавлена. - person dassum; 28.10.2019
comment
Пожалуйста, помогите: где я могу получить Hive-site.xml в HDInsight? - person Rohini Mathur; 28.10.2019
comment
вы можете загрузить конфигурацию из пользовательского интерфейса Ambari в HDInsight. - person dassum; 29.10.2019