ฉันมีโฟลเดอร์ไฟล์ที่สร้างขึ้นทุกวันซึ่งทั้งหมดจะจัดเก็บข้อมูลประเภทเดียวกัน ฉันต้องการสร้างสคริปต์ที่โหลด 10 ตัวใหม่ล่าสุด UNION พวกมัน แล้วรันโค้ดอื่น ๆ กับพวกมัน เนื่องจาก pig มีวิธี ls อยู่แล้ว ฉันจึงสงสัยว่ามีวิธีง่ายๆ...

ฉันพยายามรันงานง่ายๆ ด้วย Pig บน Amazon EMR เมื่อฉันรันคำสั่งในเชลล์เชิงโต้ตอบ ทุกอย่างทำงานได้ดี แต่เมื่อฉันดำเนินการแบบเดียวกับงานแบทช์ ฉันก็ได้ [หลัก] ข้อผิดพลาด org.apache.pig.tools.grunt.Grunt - ข้อผิดพลาด 2017:...

ฉันกำลังทำงานกับ UDF เพื่อประมวลผลไฟล์ XML บนคลัสเตอร์ Hadoop ฉันใช้ PIG เพื่อโหลดไฟล์ XML จากนั้นฉันใช้ UDF เพื่อทำให้โครงสร้างของข้อมูล XML เรียบลง การใช้งานปัจจุบันของฉันคือการใช้ตัวแยกวิเคราะห์ DOM และฉันไม่จำเป็นต้องรวมขวดตัวแยกวิเคราะห์ DOM...

ฉันต้องการเขียนฟังก์ชัน Python UDF Load สำหรับ Apache Pig เพื่อให้สามารถใช้งานได้ในลักษณะต่อไปนี้ในสคริปต์ Pig: register 'myudfs.py' using jython as myfuncs; A = load 'data' using myfuncs.myLoader() as line; เอกสารประกอบของ Pig...

ฉันกำลังพยายามเขียน Pig UDF ใน Scala (โดยใช้ Eclipse) ฉันได้เพิ่ม pig.jar เป็นไลบรารีในเส้นทางการสร้าง java ซึ่งดูเหมือนว่าจะแก้ไขการนำเข้า 2 รายการด้านล่าง: นำเข้า org.apache.pig.EvalFunc นำเข้า org.apache.pig.data.Tuple อย่างไรก็ตาม...

ฉันมีสคริปต์ที่ใช้วัตถุ json ที่ซับซ้อน (หนึ่งรายการต่อบรรทัด) ในอินพุตและเอาต์พุตในรูปแบบ hadoc ฉันต้องการใช้ pig เพื่อสตรีมข้อมูลบางอย่างผ่านสคริปต์นี้โดยใช้ STREAM ฉันจะบังคับให้ Pig ส่งข้อมูลไปยังสตรีมมิ่งในรูปแบบ json ได้อย่างไร...

ฉันต้องการประมวลผล XML ที่จัดรูปแบบแล้วใน Hadoop ซึ่งค่อนข้างซับซ้อนและใหญ่มาก และยังมีลูปด้วย ฉันลองตัวเลือกต่อไปนี้: โหลด XML ลงใน Hive เป็นคอลัมน์เดียวและใช้คำสั่ง XPATH สร้างตาราง Hive โดยใช้ SerDe โหลด XML โดยใช้ PIG โดยใช้ XMLLoader...

ฉันมีข้อมูลในรูปแบบที่น่าสนใจ มันเป็นเช่นนี้: ID Name Info 1 Joe quality=82,activity=23,age:rank:foo,21:0/1:30 2 Bob activity=32,age:foo,22:31,quality=43 3 Mary foo:age:rank,24:23:1/1,quality=62,activity=14...

ฉันมีปัญหาในการเข้าถึง pig ด้วย UDF ของฉัน ฉันได้ทำการจัดกลุ่ม "จัดกลุ่มตาม" ที่ได้รับผลลัพธ์ซึ่งก็คือ (Andi, 19495) และอธิบายโดย pig เป็น C: {group: chararray, long} ตอนนี้ฉันต้องการจัดรูปแบบเอาต์พุตเป็น (Andi 19495) เป็นสตริง แต่ UDF...

ฉันกำลังพยายามอ่านไฟล์ข้อความใน Apache Pig Latin ที่มี ASCII แบบไม่คั่นซึ่งประกอบด้วยแต่ละแถว กล่าวคือ แต่ละคอลัมน์ในแถวนั้นเริ่มต้นและสิ้นสุดที่ตำแหน่งเฉพาะในแถว คำจำกัดความตัวอย่าง: +--------+----------------+--------------+ | Column | Start...