Saya mengalami masalah saat menggunakan pyspark di notebook Apache-Zeppelin (versi 0.6.0). Menjalankan kode sederhana berikut memberi saya kesalahan pyspark interpreter not found
%pyspark
a = 1+3
Menjalankan sc.version
memberi saya res2: String = 1.6.0
yang merupakan versi percikan yang diinstal pada mesin saya. Dan menjalankan z
kembali res0: org.apache.zeppelin.spark.ZeppelinContext = {}
Pyspark bekerja dari CLI (menggunakan spark 1.6.0 dan python 2.6.6)
Python default pada mesin 2.6.6, sedangkan anaconda-python 3.5 juga diinstal tetapi tidak ditetapkan sebagai python default.
Berdasarkan postingan Saya memperbarui file zeppelin-env.sh yang terletak di
/usr/hdp/current/zeppelin-server/lib/conf
dan menambahkan jalur Anaconda python 3
export PYSPARK_PYTHON=/opt/anaconda3/bin/python export PYTHONPATH=/opt/anaconda3/bin/python
Setelah itu saya berhenti dan me-restart zeppelin berkali-kali menggunakan
/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh
Tapi saya tidak bisa membuat juru bahasa pyspark bekerja di zeppelin.
spark.pyspark interpreter not found
- person Khurram Majeed   schedule 06.07.2016