ฉันอยู่ในสมุดบันทึกของ jupyter
ฉันต้องการใช้ dsl แบบสอบถามเพื่อเตรียม Dataframe เริ่มต้น
ฉันใช้ conf.set("es.query", dsl_query) เพื่อสิ่งนั้น (https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html#_querying)
แต่ฉันต้องการใช้แบบสอบถามอื่นเพื่อเตรียม Dataframe อื่น และฉันไม่สามารถหาวิธีใช้ dsl_query ใหม่โดยไม่ต้องสร้าง SparkContext ใหม่
แต่ฉันไม่พบวิธีสร้าง SparkContext ภายในสภาพแวดล้อม jupyter ขึ้นมาใหม่เช่นกัน
ฉันต้องการเรียกใช้การวิเคราะห์โดยใช้ QueryDSL-1 เป็นข้อมูลพื้นฐาน จากนั้นจึงเรียกใช้การวิเคราะห์อื่นโดยใช้ QueryDSL-2 เป็นข้อมูลพื้นฐานอื่น
มีวิธีการทำเช่นนี้โดยไม่ต้องสร้างสมุดบันทึกสองเล่มหรือไม่?
spark.read.option("es.query", dsl_query).option("...", "...")... - person eliasah schedule 13.02.2019