ฉันพยายามรันงานง่ายๆ ด้วย Pig บน Amazon EMR เมื่อฉันรันคำสั่งในเชลล์เชิงโต้ตอบ ทุกอย่างทำงานได้ดี แต่เมื่อฉันดำเนินการแบบเดียวกับงานแบทช์ ฉันก็ได้
[หลัก] ข้อผิดพลาด org.apache.pig.tools.grunt.Grunt - ข้อผิดพลาด 2017: ข้อผิดพลาดภายในในการสร้างการกำหนดค่างาน
และการรันสคริปต์ล้มเหลว นี่คือสคริปต์ 7 บรรทัดของฉัน มันเป็นเพียงการคำนวณค่าเฉลี่ยเหนือสิ่งอันดับบิ๊กแกรมของ Google mc คือจำนวนการแข่งขัน และ vc คือจำนวนปริมาณ
bigrams = LOAD 's3n://<<bucket-name>>/gbbigrams/*' AS (bigram:chararray, year:int, mc:int, vc:int);
grouped_bigrams = group bigrams by bigram;
answer1 = foreach grouped_bigrams generate group, ((DOUBLE) SUM(bigrams.mc))/COUNT(bigrams) AS avg_mc;
sort_answer1 = ORDER answer1 BY avg_mc desc;
answer2 = LIMIT sort_answer1 5;
STORE answer1 INTO 's3n://<bucket-name>/output/bigram/20130409/answer1';
STORE answer2 INTO 's3n://<bucket-name>/output/bigram/20130409/answer2';
ฉันเดาว่าข้อผิดพลาดเกี่ยวข้องกับบางอย่างกับเส้นทาง STORE และ s3 ดังนั้นฉันจึงลองใช้ชุดค่าผสมต่างๆ เช่น การใช้ $OUTPUT, แบ็กสแลช ฯลฯ แต่ยังคงได้รับข้อผิดพลาดเดิม ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชมอย่างมาก