Mengonfigurasi layanan lintas untuk beberapa cluster melalui cloudera manager

Kami sedang menguji CDH 5.6 di perusahaan kami dengan harapan dapat menerapkannya dalam produksi dalam waktu dekat, namun kami terjebak dengan masalah yang belum ada jawabannya.

Saat ini kami sedang bekerja dengan dua cluster yang dikelola oleh Cloudera Manager: Central dan Ingestion. Tujuan kami adalah untuk memisahkan layanan seperti HDFS, Hive, Spark, Hue di cluster Central dan Flume, Sqoop, Kafka di cluster Ingestion.

Masalah muncul ketika kami mencoba menghubungkan satu cluster dengan cluster lainnya, kami ingin dapat mengkonfigurasi layanan Sqoop2-2 atau Flume-2 (Ingestion cluster) untuk berbicara langsung dengan layanan HDFS (terletak di cluster Pusat). Namun, sejauh yang kami tahu, kami tidak dapat melakukan hal tersebut di Cloudera Manager, karena satu-satunya layanan yang ditampilkan dalam konfigurasi terletak di cluster Pusat. Misalnya, jika kami mencoba mengonfigurasi layanan Hue (klaster Pusat) dengan layanan Sqoop2-2 (Penyerapan), kami tidak dapat memilih layanan Sqoop2-2 di Konfigurasi Layanan Hue:

Konfigurasi layanan Hue untuk Central Cluster, hanya menampilkan layanan Sqoop2, bukan Sqoop2-2

Kami ingin menghubungkan yang ini:

Layanan Sqoop2-2 di kluster Penyerapan

Apakah ada cara untuk mengonfigurasi layanan lintas di beberapa cluster melalui Cloudera Manager atau kita perlu memodifikasi hdfs-site.xml secara manual untuk menghubungkan layanan Sqoop2-2 (Ingestion) dengan layanan HDFS (Pusat)?

Terima kasih sebelumnya atas jawaban Anda.

Salam.


person Kerbatia    schedule 24.04.2016    source sumber


Jawaban (1)


Saya tidak yakin ada cara untuk melakukan ini di dalam manajer cloudera. Anda berpotensi menyelesaikannya dengan menggunakan sebagian besar data dari /etc/hadoop/conf/hdfs-site.xml dari cluster penyimpanan ke cluster penyerapan.

Apa alasan untuk memisahkan hal-hal ini? Biasanya Anda ingin daemon Anda ditempatkan sedekat mungkin dengan penyimpanan untuk kinerja terbaik.

person JasonS    schedule 10.05.2016