Вопросы по теме 'scrapy'

Scrapy печатает поля, но не заполняет файл XML
У меня проблема, когда он правильно печатает файлы XML, но не заполняет файл XML каким-либо содержимым. Вывод в терминале такой: [u'Tove'] [u'Jani'] [u'Reminder'] [u"Don't forget me this weekend!"] Однако вывод site_products.xml приводит к...
237 просмотров
schedule 08.01.2024

Избегайте бана на сайтах, использующих scrapy
Пытаюсь скачать данные с gsmarena. Пример кода для загрузки спецификации HTC one me взят со следующего сайта " http://www.gsmarena.com/htc_one_me-7275.php ", как указано ниже: Данные на веб-сайте классифицируются в виде таблиц и строк таблиц....
5201 просмотров
schedule 25.10.2023

Экспорт Scrapy FTP не работает
Я пытаюсь загрузить CSV, содержащий все мои очищенные данные, на FTP, используя scrapy crawl spidername --set FEED_URI=ftp://user:[email protected]/path/to/export.csv Терминал не выдает никаких ошибок и начинает парсинг, но когда он...
419 просмотров
schedule 30.10.2023

Scrapy - только последний результат
Я почти отключил эту программу scrapy, за исключением этой последней проблемы. Я пытаюсь перебирать список по каждой из нескольких записей на странице извлеките часть данных на этой первой странице списка для каждой записи ['RStation']...
1061 просмотров
schedule 13.01.2024

Извлечение из динамического ответа JSON с помощью Scrapy
Я хочу извлечь значение «доступно» из вывода JSON, которое выглядит следующим образом. { "result": { "code": 100, "message": "Command Successful" }, "domains": { "yolotaxpayers.com": { "avail":...
472 просмотров
schedule 20.12.2023

Вывод канала Scrapy содержит ожидаемый результат несколько раз, а не один раз
Я написал паука, единственной целью которого является извлечение одного числа из http://www.funda.nl/koop/amsterdam/ , а именно максимальное количество страниц из пейджера внизу (например, число 255 в примере ниже). Мне удалось сделать это...
26 просмотров
schedule 22.11.2023

Scrapy передает ответ, отсутствует один позиционный аргумент
Новичок в python, исходящий из php. Я хотел бы очистить некоторые сайты с помощью Scrapy и хорошо изучил учебные пособия и простые сценарии. Теперь при написании реальной сделки возникает эта ошибка: Traceback (последний последний вызов):...
1814 просмотров
schedule 24.11.2023

Разница между селекторами Scrapy a::text и ::text
Я создал парсер, чтобы получить некоторые названия продуктов с веб-страницы. Он работает гладко. Я использовал селекторы CSS для выполнения этой работы. Однако единственное, что я не могу понять, это разница между селекторами a::text и a ::text...
763 просмотров

Как удалить лишний символ или символ из стартового URL-адреса Scrapy?
У меня есть паук Scrapy, и когда я запускаю код, я получаю эту ошибку Игнорирование ответа ‹302 https://www.macys.com/ >: код состояния HTTP не обрабатывается или не допускается Вот мой паук import scrapy import urllib.parse import...
94 просмотров
schedule 26.11.2023

Вопрос о безопасности потоков для коллекций Python в конвейерах элементов Scrapy (с использованием Twisted для параллелизма)
В Scrapy есть понятие конвейеров элементов , которые одновременно обрабатывать (через Twisted) элементы, возвращенные из Scrapy Паук . Следующий пример кода предназначен для фильтрации повторяющихся элементов (код скопирован ниже). Как...
68 просмотров
schedule 15.12.2023