juru bahasa pyspark tidak ditemukan di Apache zeppelin

Saya mengalami masalah saat menggunakan pyspark di notebook Apache-Zeppelin (versi 0.6.0). Menjalankan kode sederhana berikut memberi saya kesalahan pyspark interpreter not found

%pyspark
a = 1+3

Menjalankan sc.version memberi saya res2: String = 1.6.0 yang merupakan versi percikan yang diinstal pada mesin saya. Dan menjalankan z kembali res0: org.apache.zeppelin.spark.ZeppelinContext = {}

  1. Pyspark bekerja dari CLI (menggunakan spark 1.6.0 dan python 2.6.6)

  2. Python default pada mesin 2.6.6, sedangkan anaconda-python 3.5 juga diinstal tetapi tidak ditetapkan sebagai python default.

  3. Berdasarkan postingan Saya memperbarui file zeppelin-env.sh yang terletak di /usr/hdp/current/zeppelin-server/lib/conf dan menambahkan jalur Anaconda python 3

export PYSPARK_PYTHON=/opt/anaconda3/bin/python
export PYTHONPATH=/opt/anaconda3/bin/python

Setelah itu saya berhenti dan me-restart zeppelin berkali-kali menggunakan

/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh

Tapi saya tidak bisa membuat juru bahasa pyspark bekerja di zeppelin.


person Khurram Majeed    schedule 05.07.2016    source sumber
comment
coba %spark.pyspark   -  person Rockie Yang    schedule 05.07.2016
comment
Sekarang saya mendapat pesan kesalahan spark.pyspark interpreter not found   -  person Khurram Majeed    schedule 06.07.2016
comment
Saya baru saja mengunduh 0.6 sekarang dan itu berfungsi untuk saya. sc.versinya adalah 1.6.1. seharusnya ada indikasi di zeppelin/logs/zeppelin-interpreter-spark-*.log   -  person Rockie Yang    schedule 06.07.2016
comment
Ekspor membantu saya dengan pengaturan ini, github.com/dylanmei/docker-zeppelin/blob/master/examples/   -  person ElMesa    schedule 08.05.2017


Jawaban (1)


Bagi orang-orang yang mengetahui pyspark tidak merespons, silakan coba mulai ulang penerjemah percikan Anda di Zeppelin, ini mungkin mengatasi kesalahan pyspark tidak merespons.

person HE xinhao    schedule 19.03.2018