Я пытаюсь создать таблицу в HIVE. Но он создает папку, например testdb.db, внутри папки spark-warehouse. Как я могу напрямую хранить в HIVE, как мы храним в базах данных MySQL/MongoDB. conf = SparkConf().setAppName("data_import") sc =...

У меня есть огромный набор данных секционированных файлов паркета, хранящихся в AWS s3, и я хочу читать только выборку данных за каждый месяц с помощью AWS EMR. Я должен фильтровать данные за каждый месяц по значению «user_id», выбирая, например,...