Spark อ่านไฟล์ CSV ClassCastException

ฉันเริ่ม Spark 1.6.1 เช่นนี้:

./pyspark --master local[4] --packages com.databricks:spark-csv_2.10:1.0.3

ฉันสามารถโหลดไฟล์ CSV ได้โดยไม่มีข้อผิดพลาดเช่นนี้:

df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('/home/SparkTest.csv')

แต่เมื่อฉันพยายามดูข้อมูลเช่นนี้:

df.head()

ฉันได้รับข้อผิดพลาดเช่นนี้:

16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 5,2012-01-01,53,Lucky Charms. java.lang.ClassCastException
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 6,2012-02-01,14,Cap'n Crunch. java.lang.ClassCastException

person skunkwerk    schedule 07.04.2016    source แหล่งที่มา
comment
คุณลองลบการอนุมานสคีมาได้ไหม   -  person eliasah    schedule 07.04.2016
comment
เนื้อหาของไฟล์ SparkTest.csv คืออะไร?   -  person Milad Khajavi    schedule 07.04.2016
comment
ฉันได้ลบตัวเลือกการอนุมานสคีมาแล้ว แต่ข้อผิดพลาดยังคงเหมือนเดิม บรรทัดไฟล์ CSV ซึ่งมีลักษณะดังนี้: DFLR200,2009-11-02,1000,R100 (เช่น สตริง วันที่ ตัวเลข สตริง)   -  person skunkwerk    schedule 02.05.2016


คำตอบ (1)


ฉันใช้ไลบรารี CSV เวอร์ชันเก่า ข้อผิดพลาดหายไปเมื่อฉันเปลี่ยนเป็นข้อโต้แย้งนี้เมื่อฉันเริ่มจุดประกาย:

--packages com.databricks:spark-csv_2.11:1.4.0
person skunkwerk    schedule 02.05.2016