Экспорт Scrapy FTP не работает

Я пытаюсь загрузить CSV, содержащий все мои очищенные данные, на FTP, используя

scrapy crawl spidername --set FEED_URI=ftp://user:[email protected]/path/to/export.csv

Терминал не выдает никаких ошибок и начинает парсинг, но когда он заканчивает свою работу, я не вижу ни одного файла на своем сервере.

Дополнительная информация:

  • Скрапи версия 1.0.3
  • Операционная система Mac OS X El Capitan
  • Пункт списка

Паук отлично работает, если я пишу в локальный файл (CSV или Json).

Помощь?

ОБНОВЛЕНИЕ Я не сделал ничего нового и ничего не изменил в своем коде, но после многих попыток это сработало. Файл находится на сервере. К сожалению, я не могу сказать, что заставило его работать на этот раз.


export ftp scrapy
person Valentina Rachiele    schedule 12.10.2015    source источник
comment
Пожалуйста, передайте свой вопрос привилегированному пользователю. Здесь это не по теме.   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl Я не понимаю, почему. Здесь есть много других вопросов, связанных со Scrapy...   -  person Valentina Rachiele    schedule 12.10.2015
comment
Вопросы по написанию скрипта в Scrapy актуальны здесь. Но вопросы по использованию инструмента scrapy из командной строки не по теме. На самом деле, ваш вопрос не имеет ничего общего с программированием. Это также не имеет ничего общего с python (то, что Scrapy написан на python, не имеет ничего общего с использованием инструмента из командная строка).   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl Мне кажется, что это проблема с параметрами командной строки с scrapy. Это делает его менее off-topic?   -  person Frank Martin    schedule 12.10.2015
comment
@FrankMartin Я так не думаю. Это не конкретная проблема программирования или программный алгоритм или программные инструменты, обычно используемые программистами. См. О каких темах я могу здесь спросить?.   -  person Martin Prikryl    schedule 12.10.2015
comment
@MartinPrikryl, это это конкретная проблема программирования. Это связано с одним из последних шагов, которые вы можете выполнить с помощью Scrapy, и является частью Scrapy. Я согласен, что это происходит в Терминале, но я боюсь, что если я передам свой вопрос Суперпользователю, он будет проигнорирован.   -  person Valentina Rachiele    schedule 12.10.2015

Ответы (1)


arrow_upward
0
arrow_downward

Вы неправильно устанавливаете global option из scrapy. Справка говорит, что это должен быть один из следующих форматов:

--set=ИМЯ=ЗНАЧЕНИЕ, -s ИМЯ=ЗНАЧЕНИЕ

Так что используйте -s вместо --set.

person Frank Martin    schedule 12.10.2015
comment
Здравствуйте @Frank Martin и спасибо за ваш ответ. Пробовал scrapy crawl spidername -s FEED_URI=ftp://user:[email protected]/path/to/export.csv как вы написали, но папка у меня на сервере по прежнему пуста. Я уверен, что пользователь, пароль, хост и путь верны. Я установил права доступа к папке 777. Я не знаю, что теперь делать... - person Valentina Rachiele; 12.10.2015
comment
Может быть, вам также нужно добавить опцию -t csv, чтобы сообщить scrapy, что вы хотите экспортировать в этом формате!? Просто догадываюсь, поскольку я никогда не экспортировал напрямую на ftp. - person Frank Martin; 12.10.2015
comment
Хорошо, добавил -t csv. Не работает. Спасибо за помощь. Я буду продолжать искать решение, и если я найду что-то работающее, я опубликую это здесь. - person Valentina Rachiele; 12.10.2015
comment
Пожалуйста, отредактируйте свой вопрос и добавьте дополнительную информацию: версия scrapy, операционная система, вывод вашей команды. Ваш паук работает, если вы пишете в локальный файл? - person Frank Martin; 12.10.2015
comment
Готово, спасибо @Frank Martin. В выводе не упоминается ни одной ошибки. Это просто работает, как будто я работаю с локальным файлом. Он работает, но не пишет на сервер. - person Valentina Rachiele; 13.10.2015
comment
У вас также есть строка в выводе терминала, которая читается как [scrapy] INFO: Stored jsonlines feed (30 items) in: ftp://anonymous:[email protected]/incoming/export.csv ? - person Frank Martin; 13.10.2015
comment
Нет, я искал его, и Терминал этого не выводит. - person Valentina Rachiele; 13.10.2015
comment
Давайте продолжим это в чате. Присоединяйтесь ко мне в scrapy-чате - person Frank Martin; 13.10.2015
comment
Извините - я не понял лимит репутации! Когда я использую -s FEED_URI=..., я получаю либо сообщение об ОШИБКЕ, либо упомянутое сообщение INFO. У меня почему-то закончились идеи - может быть, вы можете опубликовать свою проблему в списке рассылки scrapy-users (см. сайт scrapy для справки)!? - person Frank Martin; 13.10.2015
comment
Еще раз здравствуйте и спасибо за терпение! Я заново запустил сканирование и в конце появилась строка INFO: Stored jsonlines feed (1574 items) in: ftp://etc.... Что это значит? - person Valentina Rachiele; 13.10.2015
comment
Моя интерпретация такова, что scrapy создал файл - иначе была бы ОШИБКА (попробуйте неправильные параметры, чтобы проверить это). Можете ли вы взглянуть на журнал FTP-сервера? - person Frank Martin; 13.10.2015
comment
Я обновил вопрос: это сработало. Честно говоря, я не могу сказать, что заставило его работать, учитывая, что я не сделал ничего нового. Я просто перезапустил сканер, как всегда. - person Valentina Rachiele; 13.10.2015
comment
Отлично :-) Я рад слышать, что это наконец работает. Не стесняйтесь принять мой ответ (если он был полезен для вас). Привет из Гейдельберга - person Frank Martin; 13.10.2015