ฉันเริ่ม Spark 1.6.1 เช่นนี้:
./pyspark --master local[4] --packages com.databricks:spark-csv_2.10:1.0.3
ฉันสามารถโหลดไฟล์ CSV ได้โดยไม่มีข้อผิดพลาดเช่นนี้:
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('/home/SparkTest.csv')
แต่เมื่อฉันพยายามดูข้อมูลเช่นนี้:
df.head()
ฉันได้รับข้อผิดพลาดเช่นนี้:
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 5,2012-01-01,53,Lucky Charms. java.lang.ClassCastException
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 6,2012-02-01,14,Cap'n Crunch. java.lang.ClassCastException
SparkTest.csv
คืออะไร? - person Milad Khajavi   schedule 07.04.2016