Spark อ่าน json พร้อมสคีมาบางส่วน

ขึ้นอยู่กับว่า json ของคุณเป็นแบบหลายบรรทัดหรือไม่ ปัจจุบัน spark รองรับเฉพาะ json ในบรรทัดเดียวเป็น data frame Spark 2.3 รุ่นถัดไปจะรองรับ Multiline JSON

แต่สำหรับคำถามของคุณ ฉันไม่คิดว่าคุณสามารถใช้สคีมาบางส่วนเพื่ออ่านใน json ได้ ขั้นแรกคุณสามารถจัดเตรียมสคีมาทั้งหมดเพื่ออ่านในรูปแบบดาต้าเฟรม จากนั้นเลือกคอลัมน์เฉพาะที่คุณต้องการเพื่อสร้างสคีมาบางส่วนเป็นดาต้าเฟรมแยกกัน เนื่องจาก spark ใช้การประเมินแบบสันหลังยาวและเอ็นจิ้น sql สามารถกดตัวกรองลงได้ ประสิทธิภาพจึงไม่แย่