Иногда перед слиянием полезно изменить регистр имен столбцов для согласованности. При работе с data.frame это довольно просто (как описано здесь ); хотя то же самое решение работает с ``data.table`, оно выдает предупреждение. Например, ran...

Например, у нас есть матрица (например, мы хотим сохранить массив numpy), и мы сохраняем ее в файле HDF5, но затем мы хотим расширить матрицу, добавив несколько строк в конец исходной матрицы (учтите, что исходная матрица может быть очень большие...

У меня есть две таблицы со столбцами, как показано ниже. Posts: user STRING, tag_list ARRAY<STRING> Tags: tag STRING Вот некоторые примеры данных в этих таблицах. Posts: user1 help, pig user2 bigdata, hadoop, query, hiveql...

При исследовании различных платформ администрирования я хотел бы знать разницу между тем, когда использовать Foreman и Hue для Hadoop/HDFS? Спасибо.

Я написал немного сложный скрипт sparkR и запустил его с помощью spark-submit. Сценарий в основном читает строку за строкой большой таблицы на основе паркета hive/impala и создает новый файл паркета с таким же количеством строк. Но кажется, что...

Я использую CDH 4.7 и пытаюсь загрузить потоковые данные Twitter в Hadoop с помощью Flume. Я выполняю следующую команду. Но он показывает некоторую проблему с отказом в разрешении в пути /user/flume. Как решить эту проблему?...

Я пытаюсь прочитать текстовый файл на Apache Pig Latin, в котором каждая строка содержит ascii без разделителей. То есть каждый столбец в этой строке начинается и заканчивается в определенной позиции в строке. Образец определения:...

Итак, давайте посмотрим, смогу ли я кратко объяснить мою проблему. Представьте, что у нас есть таблица HBase, содержащая информацию о каждом посещении дискотеки: каждая дискотека регистрирует свое имя , имя посетителя и день он посетил его. (...

У меня очень большой набор данных, который не может быть загружен в память. Я хочу использовать этот набор данных в качестве обучающего набора классификатора scikit-learn - например, LogisticRegression . Есть ли возможность выполнить...

Я хотел бы реализовать задание SSIS, которое может загружать большие файлы CSV, расположенные в удаленном кластере Hadoop. Конечно, наличие обычного FTP-сервера в системе Hadoop не раскрывает файлы HDFS, поскольку он использует локальную файловую...

Я новичок в работе на основе rdd. Я пытаюсь понять максимальное значение ключа. У меня есть такой rdd: RDD = sc.parallelize([("A", 2, 1), ("C", 8, 5), ("B", 3, 4), ("A", 7, 5), ("C", 5, 8), ("C", 6, 10), ("B", 10, 6)]) Мне нужно найти...