Ekspor FTP yang tergores tidak berfungsi

Saya mencoba mengunggah CSV yang berisi semua data saya yang tergores di FTP, menggunakan

scrapy crawl spidername --set FEED_URI=ftp://user:[email protected]/path/to/export.csv

Terminal tidak memberikan kesalahan apa pun dan mulai melakukan scraping, tetapi ketika selesai bekerja, saya tidak dapat melihat file apa pun di server saya.

Informasi tambahan:

  • Versi tergores 1.0.3
  • Sistem Operasi Mac OS X El Capitan
  • Daftar barang

Laba-laba berfungsi dengan baik jika saya menulis ke file lokal (CSV atau Json).

Membantu?

UPDATE Saya tidak membuat sesuatu yang baru, atau mengubah apa pun dalam kode saya, namun setelah berkali-kali mencoba, semuanya berhasil. Filenya ada di server. Sayangnya saya tidak bisa mengatakan apa yang membuatnya berhasil kali ini.


export ftp scrapy
person Valentina Rachiele    schedule 12.10.2015    source sumber
comment
Harap pindahkan pertanyaan Anda ke Pengguna Super. Di sini di luar topik.   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl Saya tidak mengerti alasannya. Ada banyak pertanyaan terkait Scrapy lainnya di sini...   -  person Valentina Rachiele    schedule 12.10.2015
comment
Pertanyaan tentang menulis skrip di Scrapy ada dalam topik di sini. Namun pertanyaan tentang penggunaan alat scrapy baris perintah di luar topik. Faktanya, pertanyaan Anda tidak ada hubungannya dengan pemrograman. Itu juga tidak ada hubungannya dengan python (fakta bahwa Scrapy ditulis dengan python tidak ada hubungannya dengan penggunaan alat dari garis komando).   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl Menurut saya ini adalah masalah dengan opsi baris perintah dengan scrapy. Apakah itu membuatnya kurang off-topic?   -  person Frank Martin    schedule 12.10.2015
comment
@FrankMartin Saya rasa tidak. Ini bukan masalah pemrograman tertentu atau algoritma perangkat lunak, atau alat perangkat lunak yang biasa digunakan oleh pemrogram. Lihat Topik apa yang dapat saya tanyakan di sini?.   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl adalah masalah pemrograman tertentu. Ini terkait dengan salah satu langkah terakhir yang dapat Anda lakukan dengan Scrapy dan itu bagian dari Scrapy. Saya setuju hal itu terjadi di Terminal, tapi saya khawatir jika saya memindahkan pertanyaan saya ke Pengguna Super, pertanyaan itu akan diabaikan.   -  person Valentina Rachiele    schedule 12.10.2015

Jawaban (1)


arrow_upward
0
arrow_downward

Anda salah menyetel global option dari scrapy. Bantuan mengatakan itu harus dalam salah satu format berikut:

--set=NAMA=NILAI, -s NAMA=NILAI

Jadi gunakan -s bukannya --set.

person Frank Martin    schedule 12.10.2015
comment
Halo @Frank Martin dan terima kasih atas jawaban Anda. Saya mencoba scrapy crawl spidername -s FEED_URI=ftp://user:[email protected]/path/to/export.csv seperti yang Anda tulis, tetapi folder di server saya masih kosong. Saya yakin pengguna, kata sandi, host dan jalur sudah benar. Saya mengatur izin folder ke 777. Saya tidak tahu harus berbuat apa sekarang... - person Valentina Rachiele; 12.10.2015
comment
Mungkin Anda juga perlu menambahkan opsi -t csv untuk memberi tahu scrapy bahwa Anda ingin mengekspor dalam format itu!? Hanya menebak-nebak karena saya tidak pernah mengekspor langsung ke ftp. - person Frank Martin; 12.10.2015
comment
Oke, tambah -t csv. Tidak berhasil. Terima kasih untuk bantuannya. Saya akan terus mencari solusinya dan jika saya menemukan sesuatu yang berfungsi, saya akan mempostingnya di sini. - person Valentina Rachiele; 12.10.2015
comment
Silakan edit pertanyaan Anda dan tambahkan info lebih lanjut: versi scrapy, Sistem Operasi, Output dari perintah Anda. Apakah laba-laba Anda berfungsi jika Anda menulis ke file lokal? - person Frank Martin; 12.10.2015
comment
Selesai, terima kasih @Frank Martin. Outputnya tidak menyebutkan kesalahan apa pun. Ini hanya berfungsi seolah-olah saya sedang mengerjakan file lokal. Ia berfungsi tetapi tidak menulis ke server. - person Valentina Rachiele; 13.10.2015
comment
Apakah Anda juga memiliki baris di keluaran terminal yang berbunyi seperti [scrapy] INFO: Stored jsonlines feed (30 items) in: ftp://anonymous:[email protected]/incoming/export.csv ? - person Frank Martin; 13.10.2015
comment
Tidak, saya mencarinya dan Terminal tidak menampilkannya. - person Valentina Rachiele; 13.10.2015
comment
Mari lanjutkan ini dalam obrolan. Bergabunglah dengan saya di obrolan kasar - person Frank Martin; 13.10.2015
comment
Maaf - saya tidak menyadari batasan reputasi! Ketika saya menggunakan -s FEED_URI=... saya mendapatkan pesan ERROR atau pesan INFO yang disebutkan. Saya kehabisan ide - mungkin Anda dapat memposting masalah Anda ke milis scrapy-users (lihat situs web scrapy untuk referensi)!? - person Frank Martin; 13.10.2015
comment
Halo lagi dan terima kasih atas kesabaran Anda! Saya meluncurkan kembali perayapan dan pada akhirnya baris INFO: Stored jsonlines feed (1574 items) in: ftp://etc... muncul. Maksudnya itu apa? - person Valentina Rachiele; 13.10.2015
comment
Interpretasi saya adalah scrapy membuat file - jika tidak maka akan ada KESALAHAN (coba parameter yang salah untuk mengujinya). Bisakah Anda melihat log Server FTP? - person Frank Martin; 13.10.2015
comment
Saya memperbarui pertanyaan: berhasil. Sejujurnya saya tidak bisa mengatakan apa yang membuatnya berhasil, mengingat saya tidak membuat sesuatu yang baru. Saya baru saja meluncurkan kembali crawler seperti biasa. - person Valentina Rachiele; 13.10.2015
comment
Hebat :-) Saya senang mendengarnya akhirnya berhasil. Jangan ragu untuk menerima jawaban saya (jika bermanfaat bagi Anda). Salam dari Heidelberg - person Frank Martin; 13.10.2015