Bagaimana cara menambahkan seluruh konten daftar ke dalam baris Pyspark Dataframe?

Saya membuat kerangka data pyspark baru dari daftar string. Bagaimana seharusnya tampilan kode saya?

Ini daftar saya: ['there', 'is', 'one', 'that', 'commands'] dan idealnya inilah yang saya inginkan:

kata-kata (tajuk)

Baris 1: ['di sana', 'adalah', 'satu', 'itu', 'perintah'] Baris 2: ['tes', 'coba'

Saya telah mencoba kode berikut tetapi tidak satupun yang memberikan apa yang saya inginkan.

test_list=['hi','bye','thanks']
test_list=sc.parallelize(test_list)

schema = StructType([StructField("name", StringType(), True)])
df3 = sqlContext.createDataFrame(test_list, schema)

DAN

test_list=['hi','bye','thanks']
test_list=sc.parallelize(test_list)
df3 = sqlContext.createDataFrame(row(test_list), schema)

Saya tidak bisa menampilkan kerangka data menggunakan df.show().


python pyspark dataframe
person Matthew Loh    schedule 18.02.2019    source sumber

Jawaban (1)


arrow_upward
-1
arrow_downward

Anda hanya perlu mengimpor Baris objek, istirahat semuanya baik-baik saja.

from pyspark.sql.types import Row, StructType, StructField, StringType
test_list=['hi','bye','thanks']
test_list=sc.parallelize(test_list)

rdd= test_list.map(lambda t: Row(name=t))
schema = StructType([StructField("name", StringType(), True)])
df = sqlContext.createDataFrame(rdd, schema)
df.show()
+------+
|  name|
+------+
|    hi|
|   bye|
|thanks|
+------+
person cph_sto    schedule 18.02.2019
comment
Terima kasih banyak telah berbagi. Apakah ini sama dengan... NAMA ['hai',''sampai jumpa',terima kasih'] ATAU NAMA 'hai' 'sampai jumpa' 'terima kasih' - person Matthew Loh; 18.02.2019
comment
Saya pikir Anda mengalami masalah dalam membuat DataFrame. Maaf, Q Anda tidak jelas bagi saya. Jika Anda dapat menjelaskannya, maka saya dapat membuat perubahan yang sesuai. Ho tidak mengerti apa yang Anda maksud dengan ini - NAMA ['hai',''sampai jumpa',terima kasih'] ATAU NAMA 'hai' 'sampai jumpa' 'terima kasih' - person cph_sto; 18.02.2019
comment
Hai cph, saya ingin : NAMA ['hai',''sampai jumpa',terima kasih']. Terima kasih! - person Matthew Loh; 20.02.2019
comment
Jadi Anda ingin satu kolom dengan entri NAMA 'hai' 'selamat tinggal' 'terima kasih'? Bisakah Anda menempelkan gambar kumpulan data Anda di Pertanyaan Anda? - person cph_sto; 20.02.2019
comment
Halo, saya berhasil memecahkan masalah saya. Terima kasih banyak! - person Matthew Loh; 21.02.2019
comment
Itu bagus. Semua yang terbaik. - person cph_sto; 21.02.2019