У меня возникла проблема с использованием pyspark в записной книжке Apache-Zeppelin (версия 0.6.0). Выполнение следующего простого кода дает мне pyspark interpreter not found
ошибку
%pyspark
a = 1+3
Запуск sc.version
дал мне res2: String = 1.6.0
, которая является версией Spark, установленной на моем компьютере. И бегом z
return res0: org.apache.zeppelin.spark.ZeppelinContext = {}
Pyspark работает из CLI (с использованием Spark 1.6.0 и Python 2.6.6)
Python по умолчанию на машине 2.6.6, в то время как anaconda-python 3.5 также установлен, но не установлен как python по умолчанию.
На основе этого сообщения Я обновил файл zeppelin-env.sh, расположенный по адресу
/usr/hdp/current/zeppelin-server/lib/conf
, и добавил путь к Anaconda python 3
export PYSPARK_PYTHON=/opt/anaconda3/bin/python export PYTHONPATH=/opt/anaconda3/bin/python
После этого я много раз останавливал и перезапускал цеппелин, используя
/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh
Но я не могу заставить интерпретатор pyspark работать в цеппелине.
spark.pyspark interpreter not found
- person Khurram Majeed   schedule 06.07.2016