Вопросы по теме 'pyspark-dataframes'

Создание пустых разреженных векторов в PySpark
У меня есть фрейм данных DF1, который выглядит так: +-------+------+ |user_id|meta | +-------+------+ | 1| null| | 11| null| | 15| null| +-------+------+ Схема: root |-- user_id: string (nullable = true) |-- meta:...
150 просмотров

Как прочитать сжатый gzip файл строк json в кадр данных PySpark?
У меня есть файл JSON-lines, который я хочу прочитать во фрейме данных PySpark. файл сжат gzip. Имя файла выглядит следующим образом: file.jl.gz Я знаю, как прочитать этот файл в кадре данных pandas: df= pd.read_json('file.jl.gz',...
702 просмотров