การส่งออก Scrapy FTP ไม่ทำงาน

ฉันกำลังพยายามอัปโหลด CSV ที่มีข้อมูลที่คัดลอกทั้งหมดของฉันบน FTP โดยใช้

scrapy crawl spidername --set FEED_URI=ftp://user:[email protected]/path/to/export.csv

Terminal ไม่มีข้อผิดพลาดใดๆ และเริ่มทำการขูด แต่เมื่อทำงานเสร็จแล้ว ฉันไม่เห็นไฟล์ใดๆ บนเซิร์ฟเวอร์ของฉัน

ข้อมูลเพิ่มเติม:

  • Scrapy เวอร์ชัน 1.0.3
  • ระบบปฏิบัติการ Mac OS X El Capitan
  • รายการ

สไปเดอร์ทำงานได้อย่างสมบูรณ์แบบหากฉันเขียนลงในไฟล์ในเครื่อง (CSV หรือ Json)

ช่วย?

อัปเดต ฉันไม่ได้สร้างอะไรใหม่หรือเปลี่ยนแปลงอะไรในโค้ดของฉัน แต่หลังจากพยายามหลายครั้ง มันก็ได้ผล ไฟล์อยู่บนเซิร์ฟเวอร์ น่าเสียดายที่ฉันไม่สามารถพูดได้ว่าอะไรทำให้ใช้งานได้ในครั้งนี้


export ftp scrapy
person Valentina Rachiele    schedule 12.10.2015    source แหล่งที่มา
comment
โปรดย้ายคำถามของคุณไปที่ Super User นอกประเด็นที่นี่   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl ฉันไม่เข้าใจว่าทำไม มีคำถามอื่นๆ ที่เกี่ยวข้องกับ Scrapy มากมายที่นี่...   -  person Valentina Rachiele    schedule 12.10.2015
comment
คำถามเกี่ยวกับการเขียนสคริปต์ใน Scrapy อยู่ในหัวข้อที่นี่ แต่คำถามเกี่ยวกับการใช้เครื่องมือ scrapy บรรทัดคำสั่งนั้นอยู่นอกหัวข้อ ตามความเป็นจริงแล้ว คำถามของคุณไม่เกี่ยวกับการเขียนโปรแกรมเลย มันไม่เกี่ยวอะไรกับ python (ความจริงที่ว่า Scrapy เขียนด้วย python ไม่เกี่ยวข้องกับการใช้เครื่องมือจาก บรรทัดคำสั่ง).   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl สำหรับฉันดูเหมือนว่านี่เป็นปัญหากับตัวเลือกบรรทัดคำสั่งด้วย scrapy นั่นทำให้น้อยลง off-topic เหรอ?   -  person Frank Martin    schedule 12.10.2015
comment
@ FrankMartin ฉันไม่คิดอย่างนั้น ไม่ใช่ปัญหาการเขียนโปรแกรมเฉพาะหรืออัลกอริทึมของซอฟต์แวร์ หรือเครื่องมือซอฟต์แวร์ที่โปรแกรมเมอร์ใช้กันทั่วไป ดูฉันสามารถถามเกี่ยวกับหัวข้อใดได้บ้าง   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl คือปัญหาการเขียนโปรแกรมเฉพาะ เกี่ยวข้องกับหนึ่งในขั้นตอนสุดท้ายที่คุณสามารถทำได้ด้วย Scrapy และเป็นส่วนหนึ่งของ Scrapy ฉันยอมรับว่ามันเกิดขึ้นบน Terminal แต่ฉันกลัวว่าหากฉันย้ายคำถามของฉันไปที่ Super User คำถามนั้นจะถูกเพิกเฉย   -  person Valentina Rachiele    schedule 12.10.2015

คำตอบ (1)


arrow_upward
0
arrow_downward

คุณกำลังตั้งค่า global option จาก scrapy ผิด Help บอกว่าควรเป็นรูปแบบใดรูปแบบหนึ่งต่อไปนี้:

--set=NAME=VALUE, -s NAME=VALUE

ดังนั้นให้ใช้ -s แทน --set

person Frank Martin    schedule 12.10.2015
comment
สวัสดี @Frank Martin และขอบคุณสำหรับคำตอบของคุณ ฉันลอง scrapy crawl spidername -s FEED_URI=ftp://user:[email protected]/path/to/export.csv ตามที่คุณเขียนแล้ว แต่โฟลเดอร์ในเซิร์ฟเวอร์ของฉันยังว่างเปล่า ฉันแน่ใจว่าผู้ใช้ รหัสผ่าน โฮสต์ และเส้นทางถูกต้อง ฉันตั้งค่าการอนุญาตโฟลเดอร์เป็น 777 ฉันไม่รู้ว่าต้องทำอย่างไรตอนนี้... - person Valentina Rachiele; 12.10.2015
comment
บางทีคุณอาจต้องเพิ่มตัวเลือก -t csv เพื่อบอก scrapy ว่าคุณต้องการส่งออกในรูปแบบนั้น!? แค่เดาเพราะฉันไม่เคยส่งออกไปยัง ftp โดยตรง - person Frank Martin; 12.10.2015
comment
ตกลง เพิ่ม -t csv แล้ว ใช้งานไม่ได้ ขอขอบคุณสำหรับความช่วยเหลือของคุณ. ฉันจะค้นหาวิธีแก้ปัญหาต่อไป และหากพบสิ่งที่ใช้ได้ผล ฉันจะโพสต์ไว้ที่นี่ - person Valentina Rachiele; 12.10.2015
comment
โปรดแก้ไขคำถามของคุณและเพิ่มข้อมูลเพิ่มเติม: เวอร์ชันที่คัดลอกมา, ระบบปฏิบัติการ, ผลลัพธ์ของคำสั่งของคุณ สไปเดอร์ของคุณใช้งานได้หรือไม่หากคุณเขียนลงในไฟล์ในเครื่อง? - person Frank Martin; 12.10.2015
comment
เสร็จแล้ว ขอบคุณ @Frank Martin ผลลัพธ์ไม่ได้กล่าวถึงข้อผิดพลาดใดๆ มันใช้งานได้เหมือนกับว่าฉันกำลังทำงานกับไฟล์ในเครื่อง มันใช้งานได้แต่ไม่ได้เขียนไปยังเซิร์ฟเวอร์ - person Valentina Rachiele; 13.10.2015
comment
คุณมีบรรทัดในเอาต์พุตเทอร์มินัลที่อ่านว่า [scrapy] INFO: Stored jsonlines feed (30 items) in: ftp://anonymous:[email protected]/incoming/export.csv หรือไม่ - person Frank Martin; 13.10.2015
comment
ไม่ ฉันค้นหาแล้ว Terminal ไม่แสดงข้อมูลนั้นออกมา - person Valentina Rachiele; 13.10.2015
comment
ให้ดำเนินการต่อในการแชท เข้าร่วมกับฉันที่ scrapy chat - person Frank Martin; 13.10.2015
comment
ขออภัย ฉันไม่ทราบถึงขีดจำกัดชื่อเสียง! เมื่อฉันใช้ -s FEED_URI=... ฉันได้รับข้อความข้อผิดพลาดหรือข้อความ INFO ที่กล่าวถึง ฉันไม่มีความคิดเลย - บางทีคุณอาจโพสต์ปัญหาของคุณไปที่รายชื่อผู้รับจดหมาย scrapy-users ได้ (ดูเว็บไซต์ scrapy เพื่อเป็นข้อมูลอ้างอิง)!? - person Frank Martin; 13.10.2015
comment
สวัสดีอีกครั้งและขอขอบคุณสำหรับความอดทนของคุณ! ฉันเปิดใช้งานการรวบรวมข้อมูลอีกครั้ง และในตอนท้ายบรรทัด INFO: Stored jsonlines feed (1574 items) in: ftp://etc... ปรากฏขึ้น นั่นหมายความว่าอย่างไร? - person Valentina Rachiele; 13.10.2015
comment
การตีความของฉันคือ scrapy สร้างไฟล์ - มิฉะนั้นจะมีข้อผิดพลาด (ลองใช้พารามิเตอร์ที่ไม่ถูกต้องเพื่อทดสอบ) คุณสามารถดูบันทึก FTP-Server ได้หรือไม่ - person Frank Martin; 13.10.2015
comment
ฉันอัปเดตคำถาม: มันใช้งานได้ ฉันไม่สามารถพูดได้อย่างตรงไปตรงมาว่าอะไรทำให้มันได้ผล เมื่อพิจารณาว่าฉันไม่ได้ทำอะไรใหม่ ฉันเพิ่งเปิดตัวโปรแกรมรวบรวมข้อมูลอีกครั้งเช่นเคย - person Valentina Rachiele; 13.10.2015
comment
เยี่ยมมาก :-) ฉันดีใจที่ได้ยินว่าในที่สุดมันก็ใช้งานได้ อย่าลังเลที่จะยอมรับคำตอบของฉัน (หากเป็นประโยชน์สำหรับคุณ) คำทักทายจากไฮเดลเบิร์ก - person Frank Martin; 13.10.2015