Я читаю сообщения Avro из потока и записываю их в файл Parquet с помощью parquet.hadoop.ParquetWriter. Я пытаюсь увеличить размер выходных файлов выше порогового значения. проблема в том, что ParquetWriter хранит все в памяти и записывает это на...

В настоящее время я пытаюсь сохранить и прочитать информацию из файлов dask в файлы parquet. Но при попытке сохранить фрейм данных с помощью dask "to_parquet" и последующей его повторной загрузки с помощью "read_parquet" кажется, что информация о...

У меня есть переменная myDataset типа Dataset<Row> . Когда я пытаюсь сохранить это в файл паркета, используя myDataset.write().format("parquet").save(output_dir_path) , где output_dir_path - это строка с путем для...