ฉันกำลังพยายามสร้างตารางใน HIVE แต่กำลังสร้างโฟลเดอร์เช่น testdb.db ภายในโฟลเดอร์ spark-warehouse ฉันจะจัดเก็บโดยตรงใน HIVE ได้อย่างไรในขณะที่เราจัดเก็บไว้ในฐานข้อมูล MySQL/MongoDB
conf = SparkConf().setAppName("data_import")
sc = SparkContext(conf = conf)
sqlContext = HiveContext(sc)
sqlContext.setConf("spark.sql.shuffle.partitions", "2")
sqlContext.sql("CREATE DATABASE testdb")
sqlContext.sql("use testdb")
sqlContext.sql("create table daily_revenue(order_date string, daily_revenue float)")
เมื่อคุณสร้างตารางใน HIVE สิ่งที่เกิดขึ้นเบื้องหลังคือ จะจัดเก็บข้อมูลเมตาในฐานข้อมูลเชิงสัมพันธ์บางส่วน ขึ้นอยู่กับการกำหนดค่าสำหรับสภาพแวดล้อมของคุณ และข้อมูลจริงจะถูกจัดเก็บไว้ในไดเร็กทอรีคลังสินค้า HDFS หากตารางนั้นได้รับการจัดการ
ในทำนองเดียวกันเมื่อคุณพยายามสร้างตารางจาก Spark ใน HIVE สิ่งที่จะทำคือ ขั้นแรกมันจะสร้างโฟลเดอร์ .db และภายในโฟลเดอร์นี้ มันจะสร้างโฟลเดอร์อื่นที่มีชื่อตาราง ซึ่งจะจัดเก็บข้อมูลบน HDFS
ดังนั้นในกรณีของคุณ คุณควรมีโฟลเดอร์ <warehouse_dir>/testdb.db/table และถ้าคุณโหลดข้อมูลใดๆ ลงในตารางนี้ ข้อมูลนั้นจะปรากฏในโฟลเดอร์ตาราง
หวังว่ามันจะช่วยได้
ความนับถือ,
นีราช
sqlContext เป็น Hive CLI เมื่อใด คุณลองคำตอบใน Pyspark เชลล์แล้วหรือยัง?
- person Bala; 24.01.2018
use testdbให้ลองนำหน้าcreateของคุณเป็นtestdb.daily_revenue- person Bala schedule 22.01.2018