Вопросы по теме 'scrapy'
Scrapy печатает поля, но не заполняет файл XML
У меня проблема, когда он правильно печатает файлы XML, но не заполняет файл XML каким-либо содержимым.
Вывод в терминале такой:
[u'Tove'] [u'Jani'] [u'Reminder'] [u"Don't forget me this weekend!"]
Однако вывод site_products.xml приводит к...
237 просмотров
schedule
08.01.2024
Избегайте бана на сайтах, использующих scrapy
Пытаюсь скачать данные с gsmarena. Пример кода для загрузки спецификации HTC one me взят со следующего сайта " http://www.gsmarena.com/htc_one_me-7275.php ", как указано ниже:
Данные на веб-сайте классифицируются в виде таблиц и строк таблиц....
5201 просмотров
schedule
25.10.2023
Экспорт Scrapy FTP не работает
Я пытаюсь загрузить CSV, содержащий все мои очищенные данные, на FTP, используя
scrapy crawl spidername --set FEED_URI=ftp://user:[email protected]/path/to/export.csv
Терминал не выдает никаких ошибок и начинает парсинг, но когда он...
419 просмотров
schedule
30.10.2023
Scrapy - только последний результат
Я почти отключил эту программу scrapy, за исключением этой последней проблемы. Я пытаюсь
перебирать список по каждой из нескольких записей на странице
извлеките часть данных на этой первой странице списка для каждой записи ['RStation']...
1061 просмотров
schedule
13.01.2024
Извлечение из динамического ответа JSON с помощью Scrapy
Я хочу извлечь значение «доступно» из вывода JSON, которое выглядит следующим образом.
{
"result": {
"code": 100,
"message": "Command Successful"
},
"domains": {
"yolotaxpayers.com": {
"avail":...
472 просмотров
schedule
20.12.2023
Вывод канала Scrapy содержит ожидаемый результат несколько раз, а не один раз
Я написал паука, единственной целью которого является извлечение одного числа из http://www.funda.nl/koop/amsterdam/ , а именно максимальное количество страниц из пейджера внизу (например, число 255 в примере ниже).
Мне удалось сделать это...
26 просмотров
schedule
22.11.2023
Scrapy передает ответ, отсутствует один позиционный аргумент
Новичок в python, исходящий из php. Я хотел бы очистить некоторые сайты с помощью Scrapy и хорошо изучил учебные пособия и простые сценарии. Теперь при написании реальной сделки возникает эта ошибка:
Traceback (последний последний вызов):...
1814 просмотров
schedule
24.11.2023
Разница между селекторами Scrapy a::text и ::text
Я создал парсер, чтобы получить некоторые названия продуктов с веб-страницы. Он работает гладко. Я использовал селекторы CSS для выполнения этой работы. Однако единственное, что я не могу понять, это разница между селекторами a::text и a ::text...
763 просмотров
schedule
02.01.2024
Как удалить лишний символ или символ из стартового URL-адреса Scrapy?
У меня есть паук Scrapy, и когда я запускаю код, я получаю эту ошибку
Игнорирование ответа ‹302 https://www.macys.com/ >: код состояния HTTP не обрабатывается или не допускается
Вот мой паук
import scrapy
import urllib.parse
import...
94 просмотров
schedule
26.11.2023
Вопрос о безопасности потоков для коллекций Python в конвейерах элементов Scrapy (с использованием Twisted для параллелизма)
В Scrapy есть понятие конвейеров элементов , которые одновременно обрабатывать (через Twisted) элементы, возвращенные из Scrapy Паук . Следующий пример кода предназначен для фильтрации повторяющихся элементов (код скопирован ниже). Как...
68 просмотров
schedule
15.12.2023