ข้อความค้นหาจาก Spark hivecontext จะล็อคตารางไฮฟ์หรือไม่

ฉันรู้ว่าถ้าฉันส่งแบบสอบถามจาก Hive จะได้รับล็อคที่ใช้ร่วมกัน จากนั้นตารางไฮฟ์จะถูกล็อคโดยแบบสอบถาม: https://cwiki.apache.org/confluence/display/Hive/Locking

ดังนั้นฉันแค่สงสัยว่าแบบสอบถามนั้นดำเนินการโดย Spark Hivecontext หรือไม่ จำเป็นต้องล็อคหรือไม่ และตารางจะถูกล็อคด้วยหรือไม่ นอกจากนี้ หากฉันแทรกข้อมูลลงในตารางผ่าน Spark Hivecontext จะต้องมีการล็อคแบบเอกสิทธิ์เฉพาะบุคคลหรือไม่

ขอบคุณ


apache-spark hivecontext
person JerryLi    schedule 09.03.2017    source แหล่งที่มา
comment
คำถามที่ดี. Hive Metastore API เปิดเผยวิธีการเช่น MetaStoreClient.lock(LockRequest) ส่งคืน LockResponse (cf. hive.apache.org/javadocs/r2.1.1/api/index.html?org/apache/) แต่เมื่อมองแวบแรก ฐานโค้ด Spark จะทำ ไม่ใช้ LockRequest หรือ LockResponse ดังนั้นฉันเดาว่า Spark สามารถถูกล็อคได้โดยแบบสอบถาม Hive (เปรียบเทียบ stackoverflow.com/questions/42421883/) แต่ Spark จะไม่ทำการล็อคด้วยตัวเอง .. .   -  person Samson Scharfrichter    schedule 10.03.2017
comment
...เว้นแต่คุณจะขอล็อคด้วยตัวเองด้วยคำสั่ง LOCK TABLE ที่ชัดเจน (cf. stackoverflow.com/questions/36474638/)   -  person Samson Scharfrichter    schedule 10.03.2017
comment
BTW คุณสามารถตรวจสอบได้ด้วยตัวเอง: เปิดเซสชัน Hive เริ่มงาน Spark ในคอนโซลอื่น และในขณะที่ Spark กำลังโหลดข้อมูล ให้รันคำสั่ง SHOW LOCKS ใน Hive บางที Spark อาจจัดการล็อคโดยการกด ZooKepper โดยตรงโดยไม่ต้องใช้ MetaStore API แต่ฉันสงสัย   -  person Samson Scharfrichter    schedule 10.03.2017

คำตอบ (1)


arrow_upward
1
arrow_downward

รองรับ Spark SQL v.1.6 และไม่รองรับในเวอร์ชัน 2.x และ 3.x

https://github.com/apache/spark/blob/branch-2.2/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser/SqlBase.g4< /ก>

unsupportedHiveNativeCommands
...
    | kw1=LOCK kw2=TABLE
    | kw1=LOCK kw2=DATABASE
    | kw1=UNLOCK kw2=TABLE
    | kw1=UNLOCK kw2=DATABASE
person Fuad Efendi    schedule 24.11.2020