ไม่พบล่าม pyspark ใน apache zeppelin

ฉันมีปัญหากับการใช้ pyspark ในโน้ตบุ๊ก Apache-Zeppelin (เวอร์ชัน 0.6.0) การรันโค้ดง่ายๆ ต่อไปนี้ทำให้ฉันมีข้อผิดพลาด pyspark interpreter not found

%pyspark
a = 1+3

การรัน sc.version ทำให้ฉัน res2: String = 1.6.0 ซึ่งเป็นเวอร์ชันของ spark ที่ติดตั้งบนเครื่องของฉัน และวิ่ง z กลับ res0: org.apache.zeppelin.spark.ZeppelinContext = {}

  1. Pyspark ทำงานจาก CLI (ใช้ spark 1.6.0 และ python 2.6.6)

  2. python เริ่มต้นบนเครื่อง 2.6.6 ในขณะที่ anaconda-python 3.5 ได้รับการติดตั้งด้วย แต่ไม่ได้ตั้งค่าเป็น python เริ่มต้น

  3. อ้างอิงจากโพสต์ ฉันอัปเดตไฟล์ zeppelin-env.sh ซึ่งอยู่ที่ /usr/hdp/current/zeppelin-server/lib/conf และเพิ่มเส้นทาง Anaconda python 3

export PYSPARK_PYTHON=/opt/anaconda3/bin/python
export PYTHONPATH=/opt/anaconda3/bin/python

หลังจากนั้นฉันก็หยุดและรีสตาร์ท Zeppelin หลายครั้งโดยใช้

/usr/hdp/current/zeppelin-server/lib/bin/zeppelin-daemon.sh

แต่ฉันไม่สามารถให้ล่าม pyspark ทำงานใน zeppelin ได้


python apache-spark pyspark apache-zeppelin hortonworks-data-platform
person Khurram Majeed    schedule 05.07.2016    source แหล่งที่มา
comment
ลอง %spark.pyspark   -  person Rockie Yang    schedule 05.07.2016
comment
ตอนนี้ฉันได้รับข้อความแสดงข้อผิดพลาด spark.pyspark interpreter not found   -  person Khurram Majeed    schedule 06.07.2016
comment
ฉันเพิ่งดาวน์โหลด 0.6 ตอนนี้และมันใช้งานได้สำหรับฉัน sc.version คือ 1.6.1 ควรมีข้อบ่งชี้บางอย่างใน zeppelin/logs/zeppelin-reaper-spark-*.log   -  person Rockie Yang    schedule 06.07.2016
comment
การส่งออกช่วยฉันได้ด้วยการตั้งค่านี้ github.com/dylanmei/docker-zeppelin/blob/master/examples/   -  person ElMesa    schedule 08.05.2017

คำตอบ (1)


arrow_upward
1
arrow_downward

สำหรับผู้ที่พบว่า pyspark ไม่ตอบสนอง โปรดลองรีสตาร์ทตัวแปล spark ของคุณใน Zeppelin ซึ่งอาจช่วยแก้ปัญหาข้อผิดพลาด pyspark ไม่ตอบสนองได้

person HE xinhao    schedule 19.03.2018