Tidak dapat menyelesaikan ERROR 2017: Kesalahan internal membuat konfigurasi pekerjaan di EMR saat menjalankan PIG

Saya telah mencoba menjalankan tugas yang sangat sederhana dengan Pig di Amazon EMR. Ketika saya menjalankan perintah di shell interaktif, semuanya berfungsi dengan baik. Tetapi ketika saya menjalankan hal yang sama dengan pekerjaan batch, saya mengerti

[utama] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2017: Kesalahan internal saat membuat konfigurasi pekerjaan.

dan menjalankan skrip gagal. Ini skrip 7 baris saya. Itu hanya menghitung rata-rata atas tupel bigram Google. mc adalah jumlah kecocokan dan vc adalah jumlah volume.

bigrams = LOAD 's3n://<<bucket-name>>/gb­bigrams/*' AS (bigram:chararray, year:int, mc:int, vc:int);
grouped_bigrams = group bigrams by bigram;
answer1 = foreach grouped_bigrams generate group, ((DOUBLE) SUM(bigrams.mc))/COUNT(bigrams) AS avg_mc;
sort_answer1 = ORDER answer1 BY avg_mc desc;
answer2 = LIMIT sort_answer1 5;
STORE answer1 INTO 's3n://<bucket-name>/output/bigram/20130409/answer1';
STORE answer2 INTO 's3n://<bucket-name>/output/bigram/20130409/answer2';

Saya menduga kesalahan itu ada hubungannya dengan STORE dan jalur s3. Jadi saya telah mencoba berbagai kombinasi seperti menggunakan $OUTPUT, garis miring terbalik, dll. Namun tetap mendapatkan kesalahan yang sama. Bantuan apa pun akan sangat dihargai.


amazon-s3 amazon-emr apache-pig emr
person Rahul    schedule 11.04.2013    source sumber
comment
Jalankan skrip baris demi baris (dengan DUMP di akhir setiap bagian) dan identifikasi di baris mana Anda gagal. Bisa jadi LOAD Anda (skema salah), STORE (izin salah), Casting, jumlah tanda kurung salah..   -  person Guy    schedule 14.04.2013
comment
Hai @Guy, Terima kasih atas tanggapan Anda. Masalah saya sebenarnya sudah teratasi. Nama ember saya di skrip memiliki tanda hubung dan saya telah menyalin nama tersebut dari pdf. Entah bagaimana hex tanda hubung setelah ditempel menjadi iklan, bukan 2d, yang mengacaukannya.   -  person Rahul    schedule 15.04.2013

Jawaban (1)


arrow_upward
1
arrow_downward

Sudahkah Anda mencoba menggunakan Sistem File Blok S3 alih-alih sistem file asli?

e.g.

s3://<<bucket-name>>/gb­bigrams/*
s3://<bucket-name>/output/bigram/20130409/answer1
person seedhead    schedule 13.04.2013
comment
Ya, saya sudah mencobanya. Tapi masalahnya ada pada hexcode nama ember saya. Itu berisi tanda hubung tetapi saat menyalin-menempelkan nama, ia mendapat nama yang berbeda dari yang default. - person Rahul; 15.04.2013