Pertanyaan tentang topik tersebut 'hadoop'
Di hadoop, bagaimana cara memverifikasi jumlah tugas peta yang berjalan pada setiap node budak satu per satu?
Saya memiliki cluster Hadoop dengan node kepala sebagai master dan 7 node lainnya dikonfigurasi sebagai budak, masing-masing memiliki 8 core dan memori 8 GB. Saya bermain-main dengan memvariasikan parameter "mapred.tasktracker.map.tasks.maximum" dan...
1410 dilihat
schedule
18.01.2024
Hal dasar tentang Hadoop dan Hive
Saya sudah mulai bekerja dengan Hadoop baru-baru ini. Ada tabel bernama Checkout yang saya akses melalui Hive. Dan di bawah ini adalah jalur masuknya data ke HDFS dan info lainnya. Lalu informasi apa yang bisa saya peroleh jika saya harus membaca...
766 dilihat
schedule
19.11.2023
Dukungan SAX Parser di Apache Pig
Saya sedang mengerjakan UDF untuk memproses file XML di cluster Hadoop. Saya menggunakan PIG untuk memuat file XML dan kemudian saya menggunakan UDF untuk meratakan struktur data XML.
Implementasi saya saat ini adalah dengan parser DOM dan saya...
247 dilihat
schedule
14.11.2023
apakah fungsi Cascading dijalankan dalam utas tunggal sebagai fungsi pemetaan hadoop?
Saya sedang membaca dokumentasi cascading bab 5.2 Fungsi dan saya ingin tahu apa yang akan terjadi dengan kode berikut. Haruskah ini berfungsi dengan baik di lingkungan multithread? Pertanyaan yang lebih umum adalah apakah Fungsinya bisa...
332 dilihat
schedule
28.11.2023
Group By di Hive pada tabel yang dipartisi memberikan baris hasil duplikat
Menggunakan rilis 0.11.0. Saya mendapatkan hasil yang salah ketika mencoba menjalankan kueri ini
select t1.symbol, max(t1.maxts - t1.orderts) as diff from
(select catid, symbol, max(cast(timestamp as double)*1000) as maxts,...
2401 dilihat
schedule
19.12.2023
Tidak dapat membuat tabel eksternal di sarang untuk menunjukkan tabel hbase
Saya seorang siswa yang mencoba memahami cara kerja semua hal hadoop. Jadi, saya menjalankan cloudera di 15 mesin. Konfigurasinya baik-baik saja, semua layanan berwarna hijau. Saya mengimpor baris mysql 12k di bawah hbase dan semuanya berjalan...
1450 dilihat
schedule
12.01.2024
Memproses XML kompleks di Hadoop untuk mengekstrak data
Saya ingin memproses XML yang diformat di Hadoop, yang cukup rumit dan besar serta mengandung loop.
Saya mencoba opsi berikut:
Memuat XML ke Hive sebagai satu kolom dan menggunakan kueri XPATH.
Buat tabel Hive menggunakan SerDe.
Muat XML...
795 dilihat
schedule
01.01.2024
Hive - Memeriksa apakah array di setiap baris tabel berisi data yang cocok di kolom di tabel lain
Saya memiliki dua tabel dengan kolom seperti yang ditunjukkan di bawah ini.
Posts:
user STRING,
tag_list ARRAY<STRING>
Tags:
tag STRING
Berikut beberapa contoh data pada tabel tersebut.
Posts:
user1 help, pig
user2 bigdata,...
6309 dilihat
schedule
15.11.2023
Bisakah 1 Tasktracker menjalankan beberapa JVM
Bisakah 1 Tasktracker menjalankan beberapa JVM?
Inilah skenarionya:
Asumsikan ada 2 file (A & B) dan 2 node Data (D1 & D2).
Saat Anda memuat A, anggaplah itu dipecah menjadi A1 & A2 di D1 & D2 dan ketika Anda memuat B, asumsikan itu dipecah...
210 dilihat
schedule
16.12.2023
Tipe CAP apa yang dimiliki Apache Accumulo?
Selama evaluasi beberapa sistem terdistribusi saya menemukan Teorema CAP. Sayangnya saya tidak dapat menemukan klasifikasi untuk Apache Accumulo.
Inilah pertanyaan sebenarnya: Jenis topi apa itu Apache Accumulo dan mengapa?
451 dilihat
schedule
09.11.2023
Kueri Hive yang dioptimalkan dengan JOIN , memiliki jutaan catatan
Saya punya 2 meja-
bpm_agent_data - 40 Million records , 5 Columns
bpm_loan_data - 20 Million records, 5 Columns
Sekarang saya menjalankan kueri di Hive-
select count(bpm_agent_data.AgentID), count(bpm_loan_data.LoanNumber) from...
277 dilihat
schedule
17.01.2024
Pemilihan kolom di sarang
Saya memiliki tabel Pelanggan dengan 200 kolom. Saya ingin membuat tabel lain dari tabel Pelanggan yang seharusnya hanya memiliki 190 kolom. Bagaimana saya bisa melewati beberapa kolom di sarang dari tabel dasar?
62 dilihat
schedule
30.11.2023
Bagaimana Apache Storm membuat implementasi bautnya
Setelah menerapkan topologi apache storm yang sangat sederhana di java saya menemukan NPE yang menyebabkan kebingungan.
Ini pada dasarnya adalah metode utama saya:
TologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new...
280 dilihat
schedule
05.01.2024
mengapa jumlah reduksi lebih besar dari yang saya tentukan di Hadoop?
Ini adalah output di konsol pekerjaan MR saya. Pekerjaan berhasil diselesaikan. Tapi saya punya dua kekhawatiran.
1) Saya menentukan -D mapred.reduce.slowstart.completed.maps=0.75 . namun peredam tidak dimulai ketika peta sudah 75% selesai...
187 dilihat
schedule
10.12.2023
Kesalahan aneh di kelas mapreduce
kesalahan ini tampaknya sepele, tetapi tidak akan hilang. Saya telah mendefinisikan kelas berikut:
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.fs.Path;
import...
5277 dilihat
schedule
13.11.2023
Kesalahan akses Hbase
Ketika saya mencoba memberikan akses ke pengguna di hbase saya mendapatkan kesalahan berikut:
grant 'root', 'RWXCA'
ERROR: org.apache.hadoop.hbase.coprocessor.CoprocessorException: java.net.ConnectException: Connection refused...
794 dilihat
schedule
12.01.2024
Kesalahan ketidakcocokan jenis nilai peredam dan mapper Hadoop
Saya baru menggunakan hadoop dan mengalami masalah ini. Saya mencoba mengubah nilai Teks, Bilangan Bulat default untuk peredam menjadi Teks, Teks. Saya ingin memetakan Text,IntWritable lalu di peredam saya ingin memiliki 2 penghitung tergantung...
1481 dilihat
schedule
16.11.2023
Oozie Jalankan kembali alur kerja dari node tempat node tersebut terakhir kali dimatikan
Saya menggunakan tindakan MR di oozie. Dan ingin menggunakan fungsi tangguhkan/lanjutkan yang disediakan oleh oozie di MR.
Masalahnya - Namun, ketika kita memanggil 'suspend' pada Oozie, hal itu tidak mematikan tugas hadoop, melainkan hanya...
3486 dilihat
schedule
16.12.2023
penjadwalan oozie untuk aplikasi c#
Saya menggunakan oozie-4.1.0 di windows. Saya ingin menjadwalkan aplikasi c# melalui oozie. Sejauh yang saya tahu oozie hanya mendukung Java,pig,hive. adakah yang bisa memberi tahu saya apakah ada dukungan untuk menjadwalkan aplikasi c#
132 dilihat
schedule
29.10.2023
Namenode dan Datanode tidak dimulai di hadoop
Saya menginstal hadoop 2.6.0 di laptop saya yang menjalankan Ubuntu 14.04LTS. Saya memulai daemon hadoop dengan menjalankan start-all.sh. Tapi saat saya mengetik jps hanya 4 yang berjalan
10545 SecondaryNameNode
10703 ResourceManager
11568 Jps...
14536 dilihat
schedule
15.12.2023
