Bisakah 1 Tasktracker menjalankan beberapa JVM

Bisakah 1 Tasktracker menjalankan beberapa JVM?

Inilah skenarionya:

Asumsikan ada 2 file (A & B) dan 2 node Data (D1 & D2).

Saat Anda memuat A, anggaplah itu dipecah menjadi A1 & A2 di D1 & D2 dan ketika Anda memuat B, asumsikan itu dipecah menjadi B1 & B2 di D1 & D2.

Untuk beberapa alasan mari kita asumsikan D1 sibuk dengan beberapa tugas lain dan D2 tersedia dan ada beberapa pekerjaan yang diserahkan, satu menggunakan file A dan yang lainnya menggunakan File B.

Jadi sekarang D2 sudah tersedia dan memiliki blok A2 & B2. Akankah JobTracker mengirimkan kode ke TaskTracker di D2 dan menjalankan tugas untuk A2 dan B2 sekaligus atau akan menjalankan A2 terlebih dahulu dan setelah selesai akan menjalankan B2?

Jika demikian, apakah mungkin untuk menjalankan kedua tugas secara paralel yang berarti 1 TaskTracker dan 2 jvms, atau akankah itu membuat/menelurkan 2 TaskTracker di D2?


person user2345694    schedule 27.02.2014    source sumber


Jawaban (2)


Pelacak tugas (TT) dapat meluncurkan beberapa peta atau mengurangi tugas secara paralel pada satu mesin. Secara default TT meluncurkan 2 tugas peta (mapreduce.tasktracker.map.tasks.maximum) dan 2 tugas pengurangan (mapreduce.tasktracker.reduce.tasks.maximum). Properti harus dikonfigurasi di mapred-default.xml.

person Praveen Sripati    schedule 28.02.2014

Secara default, Task Tracker memunculkan satu JVM untuk setiap tugas. Anda dapat menggunakan kembali jvms dengan mengatur parameter konfigurasi ini: mapred.job.reuse.jvm.num.tasks

person Jasper    schedule 27.02.2014