Как добавить все содержимое списка в строку Pyspark Dataframe?

Я создаю новый кадр данных pyspark из списка строк. Как должен выглядеть мой код?

Это мой список: ['там', 'есть', 'один', 'это', 'команды'] и это то, что я хочу в идеале:

слова (заголовок)

1-й ряд: ['там', 'есть', 'один', 'тот', 'команды'] 2-й ряд: ['испытать', 'попробовать'

Я пробовал следующие коды, но ни один из них не дал мне именно то, что я хотел.

test_list=['hi','bye','thanks']
test_list=sc.parallelize(test_list)

schema = StructType([StructField("name", StringType(), True)])
df3 = sqlContext.createDataFrame(test_list, schema)

А ТАКЖЕ

test_list=['hi','bye','thanks']
test_list=sc.parallelize(test_list)
df3 = sqlContext.createDataFrame(row(test_list), schema)

Я не могу заставить кадры данных отображаться с помощью df.show().


python pyspark dataframe
person Matthew Loh    schedule 18.02.2019    source источник

Ответы (1)


arrow_upward
-1
arrow_downward

Вам просто нужно импортировать Row объект, в остальном все было в порядке.

from pyspark.sql.types import Row, StructType, StructField, StringType
test_list=['hi','bye','thanks']
test_list=sc.parallelize(test_list)

rdd= test_list.map(lambda t: Row(name=t))
schema = StructType([StructField("name", StringType(), True)])
df = sqlContext.createDataFrame(rdd, schema)
df.show()
+------+
|  name|
+------+
|    hi|
|   bye|
|thanks|
+------+
person cph_sto    schedule 18.02.2019
comment
Большое спасибо за то, что поделились. Это то же самое, что и... ИМЯ ['привет',''пока',спасибо'] ИЛИ ИМЯ 'привет' 'пока' 'спасибо' - person Matthew Loh; 18.02.2019
comment
Ну, я думал, что у вас проблемы с созданием DataFrame. Извините, тогда ваш вопрос мне не ясен. Если можно уточнить, то я мог бы внести соответствующие изменения. Хо не понимаю, что вы подразумеваете под этим - ИМЯ ['привет',''пока',спасибо'] ИЛИ ИМЯ 'привет' 'пока' 'спасибо' - person cph_sto; 18.02.2019
comment
Привет cph, мне нужно: ИМЯ ['привет',''пока',спасибо']. спасибо! - person Matthew Loh; 20.02.2019
comment
Итак, вам нужна одна колонка с записью ИМЯ «привет», «пока», «спасибо»? Не могли бы вы вставить изображение вашего набора данных в свой вопрос? - person cph_sto; 20.02.2019
comment
Привет, мне удалось решить мою проблему. Спасибо большое! - person Matthew Loh; 21.02.2019
comment
Это здорово. Всего наилучшего. - person cph_sto; 21.02.2019