บันทึกไฟล์ไม้ปาร์เก้ใน java

ฉันมีตัวแปร myDataset ประเภท Dataset<Row>

เมื่อฉันพยายามบันทึกสิ่งนี้ลงในไฟล์ปาร์เก้โดยใช้ myDataset.write().format("parquet").save(output_dir_path) โดยที่ output_dir_path เป็นสตริงที่มีเส้นทางสำหรับไฟล์ที่สร้างขึ้น สิ่งนี้จะถูกสร้างขึ้น

part-00000-ba364392-3bbe-46fd-aa34-ddca56001ceb-c000.snappy.parquet

ใครช่วยอธิบายหน่อยว่า java ตั้งชื่อไฟล์นี้ได้อย่างไร และฉันจะสร้างไฟล์ที่มีชื่อเฉพาะด้วยวิธี write() ได้ไหม


person lorem_bacon    schedule 04.01.2021    source แหล่งที่มา
comment
stackoverflow.com/questions/23898098/   -  person koiralo    schedule 04.01.2021
comment
นั่นคือวิธีที่ Spark ตั้งชื่อไฟล์ คุณไม่สามารถเปลี่ยนพฤติกรรมของ spark ได้ แต่คุณสามารถเปลี่ยนไฟล์ได้ในภายหลัง   -  person mck    schedule 04.01.2021