Сохранение файла паркета в java

У меня есть переменная myDataset типа Dataset<Row>.

Когда я пытаюсь сохранить это в файл паркета, используя myDataset.write().format("parquet").save(output_dir_path), где output_dir_path - это строка с путем для сгенерированного файла, создается что-то вроде этого

part-00000-ba364392-3bbe-46fd-aa34-ddca56001ceb-c000.snappy.parquet

Может ли кто-нибудь объяснить, как java называет этот файл, и могу ли я каким-то образом создать файл с определенным именем с помощью метода write()?


person lorem_bacon    schedule 04.01.2021    source источник
comment
stackoverflow.com/questions/23898098/   -  person koiralo    schedule 04.01.2021
comment
так Spark называет файлы. вы не можете изменить это поведение искры, но впоследствии вы можете переименовать файлы.   -  person mck    schedule 04.01.2021