Pertanyaan tentang topik tersebut 'pyspark-sql'

Bagaimana saya bisa terhubung ke Hive menggunakan pyspark?
Saya mencoba membuat tabel di HIVE. Tapi itu membuat folder seperti testdb.db di dalam folder spark-warehouse. Bagaimana saya bisa langsung menyimpan di HIVE seperti yang kami simpan ke database MySQL/MongoDB. conf =...
1699 dilihat
schedule 22.11.2023

Memfilter file parket yang sedang dibaca dengan PySpark
Saya memiliki kumpulan data besar file parket yang dipartisi yang disimpan di AWS s3 dan saya hanya ingin membaca sampel dari data setiap bulan menggunakan AWS EMR. Saya harus memfilter data setiap bulan berdasarkan nilai "user_id" dengan memilih,...
930 dilihat