วิธีเข้าถึงตารางจากคลัสเตอร์ Hive ที่อยู่ใน HDInsight จาก Local Spark Server ที่สร้างบน Intellij

ฉันไม่สามารถเข้าถึงและอ่านข้อมูลจากตาราง Hive ที่อยู่ใน HDInsight จากอินสแตนซ์ในเครื่องของฉันที่แอปพลิเคชันสร้างบน Intellij และ Maven

ใครก็ได้โปรดช่วยฉันด้วยว่าข้อกำหนดเบื้องต้นสำหรับสถานการณ์สมมติเมื่อเราต้องการเขียนข้อมูลจาก Spark ไปยัง Hive คืออะไร แต่ Hive นั้นอยู่บน HDInsight และ Spark อยู่ในอินสแตนซ์ท้องถิ่น

หมายเหตุ: ฉันไม่มีคลัสเตอร์ Spark บน HDInsight ฉันมีคลัสเตอร์ไฮฟ์บน HDInsight เท่านั้น

กรุณาแบ่งปันความคิดเห็นของคุณ


person Rohini Mathur    schedule 28.10.2019    source แหล่งที่มา


คำตอบ (1)


โปรดเพิ่ม hive-site.xml ของคลัสเตอร์ในโฟลเดอร์ทรัพยากรของคุณ นอกจากนี้ ตรวจสอบให้แน่ใจว่าคุณได้เปิดพอร์ตเครือข่ายสำหรับเครือข่ายท้องถิ่นแล้ว โปรดดูลิงค์ด้านล่าง

https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

person dassum    schedule 28.10.2019
comment
ขอบคุณ ฉันจำเป็นต้องกำหนดค่าในไฟล์ POM ด้วยหรือไม่ - person Rohini Mathur; 28.10.2019
comment
คุณต้องมีการพึ่งพา spark-hive_2.11 หากไม่ได้เพิ่ม - person dassum; 28.10.2019
comment
โปรดช่วย: ฉันจะหา Hive-site.xml ใน HDInsight ได้ที่ไหน - person Rohini Mathur; 28.10.2019
comment
คุณสามารถดาวน์โหลดการกำหนดค่าได้จาก Ambari UI ใน HDInsight - person dassum; 29.10.2019