คำถามในหัวข้อ 'spark-dataframe'
Spark Scala Split DataFrame ตามช่วงค่าบางช่วง
สมมติว่าฉันมี dataframe ที่มีคอลัมน์ชื่อ x โดยมีช่วงค่าเป็น [0, 1] ฉันหวังว่าจะแบ่งตามค่าของคอลัมน์ x โดยมีช่วงเช่น [0, 0.1) , [0.1, 0.2) ... [0.9, 1] มีวิธีที่ดีและรวดเร็วในการทำเช่นนั้นหรือไม่? ฉันใช้ Spark 2 ใน Scala
อัปเดต:...
1993 มุมมอง
schedule
20.01.2024
Spark อ่าน json พร้อมสคีมาบางส่วน
ฉันต้องประมวลผลไฟล์ json ที่ค่อนข้างใหญ่โดยใช้ spark ฉันไม่ต้องการฟิลด์ทั้งหมดใน json และจริงๆ แล้วต้องการอ่านเพียงบางส่วนเท่านั้น (ไม่ใช่อ่านทุกฟิลด์และโปรเจ็กต์) ฉันสงสัยว่าฉันสามารถใช้ตัวเชื่อมต่อ json...
1015 มุมมอง
schedule
04.12.2023
การรวมภายนอกด้านซ้ายสำหรับบันทึก unequla จากสองเฟรมข้อมูลในสกาล่าสปาร์ค
ฉันมีสอง data frame กรอบข้อมูลหนึ่ง...
78 มุมมอง
schedule
27.10.2023