Вопросы по теме 'pyspark-dataframes'
Создание пустых разреженных векторов в PySpark
У меня есть фрейм данных DF1, который выглядит так:
+-------+------+
|user_id|meta |
+-------+------+
| 1| null|
| 11| null|
| 15| null|
+-------+------+
Схема:
root
|-- user_id: string (nullable = true)
|-- meta:...
150 просмотров
schedule
11.12.2023
Как прочитать сжатый gzip файл строк json в кадр данных PySpark?
У меня есть файл JSON-lines, который я хочу прочитать во фрейме данных PySpark. файл сжат gzip.
Имя файла выглядит следующим образом: file.jl.gz
Я знаю, как прочитать этот файл в кадре данных pandas:
df= pd.read_json('file.jl.gz',...
702 просмотров
schedule
24.10.2023