Elasticsearch Spark, bagaimana cara melakukan kueri beberapa kali?

Saya menggunakan buku catatan jupyter.

Saya ingin menggunakan kueri dsl untuk menyiapkan Dataframe awal.

Saya menggunakan conf.set("es.query", dsl_query) untuk itu. (https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html#_querying)

Tapi kemudian, saya ingin menerapkan kueri berbeda untuk menyiapkan Dataframe lain, dan saya tidak dapat menemukan cara untuk menerapkan dsl_query baru tanpa membuat SparkContext baru

Tapi saya juga tidak menemukan cara untuk membuat ulang SparkContext di dalam lingkungan jupyter.

Saya ingin menjalankan analisis menggunakan QueryDSL-1 sebagai dasar kemudian menjalankan analisis lain menggunakan QueryDSL-2 sebagai dasar lainnya

Apakah ada cara untuk melakukan ini tanpa membuat dua buku catatan?


apache-spark pyspark elasticsearch elasticsearch-hadoop
person eugene    schedule 13.02.2019    source sumber
comment
Anda tidak perlu mendefinisikan kueri di konfigurasi percikan Anda...   -  person eliasah    schedule 13.02.2019
comment
Anda dapat menentukan es.query sebagai opsi untuk DataFrameReader Anda yaitu spark.read.option("es.query", dsl_query).option("...", "...") ...   -  person eliasah    schedule 13.02.2019
comment
ya berhasil, dapatkah Anda menjadikannya sebagai jawaban, sehingga saya dapat menerimanya   -  person eugene    schedule 25.11.2019

Jawaban (1)


arrow_upward
0
arrow_downward

Anda hanya perlu menentukan es.query sebagai opsi untuk DataFrameReader Anda yaitu:

spark.read.option("es.query", dsl_query).option("...", "...")
person eliasah    schedule 25.11.2019