интерпретатор pyspark не найден в apache zeppelin

У меня возникла проблема с использованием pyspark в записной книжке Apache-Zeppelin (версия 0.6.0). Выполнение следующего простого кода дает мне pyspark interpreter not found ошибку

%pyspark
a = 1+3

Запуск sc.version дал мне res2: String = 1.6.0, которая является версией Spark, установленной на моем компьютере. И бегом z return res0: org.apache.zeppelin.spark.ZeppelinContext = {}

  1. Pyspark работает из CLI (с использованием Spark 1.6.0 и Python 2.6.6)

  2. Python по умолчанию на машине 2.6.6, в то время как anaconda-python 3.5 также установлен, но не установлен как python по умолчанию.

  3. На основе этого сообщения Я обновил файл zeppelin-env.sh, расположенный по адресу /usr/hdp/current/zeppelin-server/lib/conf, и добавил путь к Anaconda python 3

export PYSPARK_PYTHON=/opt/anaconda3/bin/python
export PYTHONPATH=/opt/anaconda3/bin/python

После этого я много раз останавливал и перезапускал цеппелин, используя

/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh

Но я не могу заставить интерпретатор pyspark работать в цеппелине.


person Khurram Majeed    schedule 05.07.2016    source источник
comment
попробуйте% spark.pyspark   -  person Rockie Yang    schedule 05.07.2016
comment
Теперь я получаю сообщение об ошибке spark.pyspark interpreter not found   -  person Khurram Majeed    schedule 06.07.2016
comment
Я только что скачал 0.6, и он у меня работает. sc. версия 1.6.1. там должно быть какое-то указание в zeppelin / logs / zeppelin-interpter-spark - *. log   -  person Rockie Yang    schedule 06.07.2016
comment
Экспорт помог мне с этой настройкой, github.com/dylanmei/docker-zeppelin/blob/master/examples/   -  person ElMesa    schedule 08.05.2017


Ответы (1)


Людям, обнаружившим, что pyspark не отвечает, попробуйте перезапустить интерпретатор искры в Zeppelin, это может решить проблему отсутствия ответа pyspark.

person HE xinhao    schedule 19.03.2018