Saya membaca pesan Avro dari aliran dan menuliskannya ke dalam file Parket menggunakan parquet.hadoop.ParquetWriter. Saya mencoba agar ukuran file keluaran di atas batas ambang batas. masalahnya adalah ParquetWriter menyimpan semuanya di memori dan...

Saat ini saya mencoba menyimpan dan membaca informasi dari dask ke file parket. Tetapi ketika mencoba menyimpan kerangka data dengan dask "to_parquet" dan memuatnya lagi dengan "read_parquet" sepertinya informasi pembagiannya hilang....

Saya memiliki variabel myDataset bertipe Dataset<Row> . Ketika saya mencoba menyimpan ini ke file parket menggunakan myDataset.write().format("parquet").save(output_dir_path) , di mana output_dir_path adalah String dengan jalur...