คำถามในหัวข้อ 'hive'
สิ่งพื้นฐานเกี่ยวกับ Hadoop และ Hive
ฉันเพิ่งเริ่มทำงานกับ Hadoop เมื่อเร็วๆ นี้ มีตารางชื่อ Checkout ที่ฉันเข้าถึงผ่าน Hive และด้านล่างนี้คือเส้นทางที่ข้อมูลไปยัง HDFS และข้อมูลอื่นๆ แล้วฉันจะได้ข้อมูลอะไรหากต้องอ่านสามบรรทัดด้านล่าง?
Path...
766 มุมมอง
schedule
19.11.2023
จัดกลุ่มตามในไฮฟ์บนตารางที่แบ่งพาร์ติชันให้แถวผลลัพธ์ที่ซ้ำกัน
ใช้รีลีส 0.11.0 ฉันได้รับผลลัพธ์ที่ไม่ถูกต้องเมื่อพยายามดำเนินการค้นหานี้
select t1.symbol, max(t1.maxts - t1.orderts) as diff from
(select catid, symbol, max(cast(timestamp as double)*1000) as maxts, min(cast(timestamp as double)*1000) as...
2401 มุมมอง
schedule
19.12.2023
ไม่สามารถสร้างตารางภายนอกในกลุ่มเพื่อชี้ hbase หนึ่งได้
ฉันเป็นนักเรียนที่พยายามทำความเข้าใจว่า Hadoop ทั้งหมดทำงานอย่างไร ฉันใช้ cloudera บนเครื่อง 15 เครื่อง การกำหนดค่าดี บริการทั้งหมดเป็นสีเขียว ฉันนำเข้าบรรทัด mysql 12k ภายใต้ hbase และทุกอย่างก็ใช้ได้ดีเช่นกัน ฉันต้องการสอบถามข้อมูลเหล่านี้...
1450 มุมมอง
schedule
12.01.2024
การประมวลผล XML ที่ซับซ้อนใน Hadoop เพื่อดึงข้อมูล
ฉันต้องการประมวลผล XML ที่จัดรูปแบบแล้วใน Hadoop ซึ่งค่อนข้างซับซ้อนและใหญ่มาก และยังมีลูปด้วย
ฉันลองตัวเลือกต่อไปนี้:
โหลด XML ลงใน Hive เป็นคอลัมน์เดียวและใช้คำสั่ง XPATH
สร้างตาราง Hive โดยใช้ SerDe
โหลด XML โดยใช้ PIG โดยใช้ XMLLoader...
795 มุมมอง
schedule
01.01.2024
Hive - ตรวจสอบว่าอาร์เรย์ในแต่ละแถวของตารางมีข้อมูลที่ตรงกันในคอลัมน์ของตารางอื่นหรือไม่
ฉันมีสองตารางที่มีคอลัมน์ดังที่แสดงด้านล่าง
Posts:
user STRING,
tag_list ARRAY<STRING>
Tags:
tag STRING
นี่คือข้อมูลตัวอย่างบางส่วนในตารางเหล่านั้น
Posts:
user1 help, pig
user2 bigdata, hadoop, query, hiveql
user1 hive,...
6309 มุมมอง
schedule
15.11.2023
เพิ่มประสิทธิภาพการสืบค้น Hive ด้วย JOIN ซึ่งมีบันทึกนับล้านรายการ
ฉันมี 2 โต๊ะ-
bpm_agent_data - 40 Million records , 5 Columns
bpm_loan_data - 20 Million records, 5 Columns
ตอนนี้ฉันเรียกใช้แบบสอบถามใน Hive-
select count(bpm_agent_data.AgentID), count(bpm_loan_data.LoanNumber) from bpm_agent_data...
277 มุมมอง
schedule
17.01.2024
การเลือกคอลัมน์ในกลุ่ม
ฉันมีตารางลูกค้าที่มี 200 คอลัมน์ ฉันต้องการสร้างตารางอื่นจากตารางลูกค้าซึ่งควรมีเพียง 190 คอลัมน์ ฉันจะข้ามสองสามคอลัมน์ในกลุ่มจากตารางฐานได้อย่างไร
62 มุมมอง
schedule
30.11.2023
ประทับวันที่ & เวลาไฮฟ์จาก unix_timestamp()
ฉันต้องการแทรกสองคอลัมน์ด้วยวันที่ปัจจุบัน (sysdate) และการประทับเวลา ฉันได้สร้างตารางและแทรกข้อมูลโดยใช้ unix_timestamp ฉันไม่สามารถแปลงเป็นรูปแบบการประทับวันที่และเวลาของกลุ่มได้
############ Hive create table #############
create table...
5067 มุมมอง
schedule
13.11.2023
Hive และ Hadoop ทำงานเฉพาะในพื้นที่เท่านั้น
ฉันได้กำหนดค่าคลัสเตอร์ Hadoop แบบ 3 โหนดแล้ว ฉันพยายามใช้ Hive ที่ด้านบนของมัน ดูเหมือนว่า Hive จะทำงานเฉพาะในโหมดโลคัลเท่านั้น ฉันได้ยินมาว่า Hive รับค่าจาก Hadoop เกี่ยวกับคลัสเตอร์ ดังนั้นฉันจึงทำงานใน Hadoop และดูเหมือนว่าจะทำงานในโหมด Local...
1314 มุมมอง
schedule
03.01.2024
avroserde ในกลุ่มอนุญาตให้อัปเดตหรือลบบันทึกหรือไม่
ฉันมีตารางในกลุ่มซึ่งสร้างโดยใช้ ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
กำลังพยายามอัปเดตบันทึก แต่ฉันได้รับข้อความแสดงข้อผิดพลาดต่อไปนี้:
FAILED: SemanticException [Error 10294]: Attempt to do update or delete using...
553 มุมมอง
schedule
28.10.2023
วิธี Sqoop CDC ตารางระบบจากเซิร์ฟเวอร์ sql
ฉันสามารถดึงตารางจากเซิร์ฟเวอร์ sql โดยใช้คำสั่ง sqoop:
ฐานข้อมูล Sql: ตาราง MyDB sql: dbo.TestTable
sqoop import
-connect 'jdbc:sqlserver://xx.xxx.xxx.xxx;database=MyDB'
--username Cread -P
--table TestTable...
627 มุมมอง
schedule
18.01.2024
Hive: ฟังก์ชันการรวมในคอลัมน์อาร์เรย์
ฉันสงสัยว่าเป็นไปได้หรือไม่ที่จะเรียกใช้ฟังก์ชันรวมบนคอลัมน์ที่มีประเภทข้อมูลอาร์เรย์
ตารางถูกสร้างขึ้นดังต่อไปนี้:
CREATE EXTERNAL TABLE tmp_table (
start_date array<string>,
customer_id string
) ROW FORMAT DELIMITED FIELDS...
1040 มุมมอง
schedule
16.12.2023
การนำเข้า sqoop ไม่ได้ระบุตาราง mysql ที่แสดงข้อผิดพลาด ClassNotFountException
ฉันมีตาราง "ลูกค้า" ของ mysql และลองนำเข้าข้อมูลจาก mysql ไปยังตำแหน่ง hdfs โดยใช้การนำเข้า sqoop ด้านล่างนี้เป็นเวอร์ชันที่ฉันติดตั้งบนเครื่องของฉัน: เวอร์ชัน sqoop: 1.4.6 เวอร์ชัน hive: 2.3.0 เวอร์ชัน Hadoop: 2.8.1
คำสั่งนำเข้า Sqoop:
sqoop...
411 มุมมอง
schedule
06.12.2023
วิธีรวมไฟล์ ORC หลายไฟล์ (เป็นของแต่ละพาร์ติชัน) ในตาราง Partitioned Hive ORC ให้เป็นไฟล์ ORC ขนาดใหญ่ไฟล์เดียว
ฉันมีตาราง ORC ที่แบ่งพาร์ติชันใน Hive หลังจากโหลดตารางด้วยพาร์ติชันที่เป็นไปได้ทั้งหมด ฉันจะได้รับ HDFS - ไฟล์ ORC หลายไฟล์ เช่น แต่ละไดเร็กทอรีพาร์ติชันบน HDFS มีไฟล์ ORC อยู่ในนั้น ฉันจำเป็นต้องรวมไฟล์ ORC...
1331 มุมมอง
schedule
11.12.2023
ฉันจะเชื่อมต่อกับไฮฟ์โดยใช้ pyspark ได้อย่างไร
ฉันกำลังพยายามสร้างตารางใน HIVE แต่กำลังสร้างโฟลเดอร์เช่น testdb.db ภายในโฟลเดอร์ spark-warehouse ฉันจะจัดเก็บโดยตรงใน HIVE ได้อย่างไรในขณะที่เราจัดเก็บไว้ในฐานข้อมูล MySQL/MongoDB
conf = SparkConf().setAppName("data_import")
sc =...
1699 มุมมอง
schedule
22.11.2023
การเปิดเผยข้อมูลเมตาของ Hive ใน Hive นั้นเอง
ฉันคาดหวังว่าสิ่งนี้จะเกิดขึ้น แต่ก็ดูเหมือนจะไม่เป็นเช่นนั้น Hive จะไม่เปิดเผยข้อมูลเมตาของตัวเองภายในสภาพแวดล้อม ตัวอย่างเช่น เช่นเดียวกับ Oracle อนุญาตให้คุณใช้ "user_tables" สำหรับตารางที่คุณสร้างขึ้น...
93 มุมมอง
schedule
23.12.2023
กลุ่มเปอร์เซ็นไทล์ไฮฟ์ด้วยตัวแปรสองตัว
ฉันมีตารางไฮฟ์ที่ฉันต้องการค้นหาเปอร์เซ็นไทล์ที่ 10 ค่ามัธยฐาน และเปอร์เซ็นไทล์ที่ 90 ของค่าตามสถานที่/วันทำงาน แบบจำลองของตารางอยู่ด้านล่าง ฉันจะเขียนแบบสอบถามเพื่อให้คอลัมน์ตารางผลลัพธ์เป็นตำแหน่ง วันทำงาน เปอร์เซ็นไทล์ที่ 10 ค่ามัธยฐาน...
1762 มุมมอง
schedule
18.11.2023
ไฟล์ไดเร็กทอรีไม่ได้คัดลอกไปยัง HDFS ด้วยคำสั่ง 'hadoop fs -put ‹my local path› ‹hdfs path›
ฉันกำลังคัดลอกไฟล์ประมวลผล pig ในระบบโลคัลไปยังเส้นทาง HDFS (ซึ่งเชื่อมโยงกับตาราง HIVE) โดยให้คำสั่งด้านล่าง แต่ไม่ได้คัดลอก
ขั้นตอนที่ 1: ข้อมูลอยู่ในเส้นทางในเครื่องของฉัน
[root@quickstart plantoutput]# ll
total 4
-rw-r--r-- 1 root root...
346 มุมมอง
schedule
27.12.2023
วิธีเข้าถึงตารางจากคลัสเตอร์ Hive ที่อยู่ใน HDInsight จาก Local Spark Server ที่สร้างบน Intellij
ฉันไม่สามารถเข้าถึงและอ่านข้อมูลจากตาราง Hive ที่อยู่ใน HDInsight จากอินสแตนซ์ในเครื่องของฉันที่แอปพลิเคชันสร้างบน Intellij และ Maven
ใครก็ได้โปรดช่วยฉันด้วยว่าข้อกำหนดเบื้องต้นสำหรับสถานการณ์สมมติเมื่อเราต้องการเขียนข้อมูลจาก Spark ไปยัง Hive...
68 มุมมอง
schedule
13.11.2023
TSocket อ่าน 0 ไบต์ (รหัส THRIFTTRANSPORT): TTransportException ('TSocket อ่าน 0 ไบต์',)
[ป้อนคำอธิบายรูปภาพที่นี่][1]เมื่อฉันรวม HIVE เข้ากับ HUE ของฉัน ฉันรายงานข้อผิดพลาด
ฉันพยายามมาหลายวันแต่ก็ไม่สามารถแก้ไขได้ ใครสามารถช่วยฉันได้บ้าง?
ฉันค้นหาใน Google แต่ก็ไม่ประสบความสำเร็จ
TSocket read 0 bytes
×
TSocket read 0 bytes...
3292 มุมมอง
schedule
08.11.2023
