Pertanyaan tentang topik tersebut 'scrapy'

Bidang cetakan tergores tetapi tidak mengisi file XML
Saya mempunyai masalah saat mencetak file XML dengan benar tetapi tidak mengisi file XML dengan konten apa pun. Output di terminal adalah ini: [u'Tove'] [u'Jani'] [u'Reminder'] [u"Don't forget me this weekend!"] Namun keluaran...
237 dilihat
schedule 08.01.2024

Hindari pemblokiran situs yang menggunakan scrapy
Saya mencoba mengunduh data dari gsmarena. Contoh kode untuk mengunduh spesifikasi HTC one me adalah dari situs berikut " http://www.gsmarena.com/htc_one_me-7275.php " seperti yang disebutkan di bawah ini: Data pada website diklasifikasikan dalam...
5201 dilihat
schedule 25.10.2023

Ekspor FTP yang tergores tidak berfungsi
Saya mencoba mengunggah CSV yang berisi semua data saya yang tergores di FTP, menggunakan scrapy crawl spidername --set FEED_URI=ftp://user:[email protected]/path/to/export.csv Terminal tidak memberikan kesalahan apa pun dan mulai...
419 dilihat
schedule 30.10.2023

Scrapy - hasil terakhir saja
Saya hampir menyelesaikan program yang sulit ini, kecuali untuk masalah terakhir ini. Saya sedang mencoba ulangi daftar pada masing-masing beberapa entri pada satu halaman ekstrak sepotong data pada halaman daftar pertama ini untuk setiap...
1061 dilihat
schedule 13.01.2024

Ekstrak dari respons JSON dinamis dengan Scrapy
Saya ingin mengekstrak nilai 'avail' dari output JSON yang terlihat seperti ini. { "result": { "code": 100, "message": "Command Successful" }, "domains": { "yolotaxpayers.com": { "avail": false,...
472 dilihat
schedule 20.12.2023

Keluaran umpan tergores berisi keluaran yang diharapkan beberapa kali, bukan hanya sekali
Saya telah menulis seekor laba-laba yang tujuan utamanya adalah mengekstrak satu nomor dari http://www.funda.nl/koop/amsterdam/ , yaitu jumlah halaman maksimum dari pager di bagian bawah (misalnya, angka 255 pada contoh di bawah). Saya...
26 dilihat
schedule 22.11.2023

Respons passing yang buruk, kehilangan satu argumen posisi
Baru mengenal python, berasal dari php. Saya ingin mengikis beberapa situs menggunakan Scrapy dan telah melalui tutorial dan skrip sederhana dengan baik. Sekarang menulis real deal muncul kesalahan ini: Traceback (panggilan terakhir...
1814 dilihat
schedule 24.11.2023

Perbedaan antara penyeleksi Scrapy a::text dan ::text
Saya telah membuat scraper untuk mengambil beberapa nama produk dari halaman web. Ini bekerja dengan lancar. Saya telah menggunakan pemilih CSS untuk melakukan pekerjaan itu. Namun, satu-satunya hal yang saya tidak mengerti adalah perbedaan antara...
763 dilihat

Bagaimana cara menghapus karakter atau simbol tambahan dari URL awal Scrapy?
Saya mendapat laba-laba Scrapy dan ketika saya menjalankan kode saya mendapatkan kesalahan ini Mengabaikan respons ‹302 https://www.macys.com/ >: Kode status HTTP tidak ditangani atau tidak diperbolehkan Ini Laba-labaku import...
94 dilihat
schedule 26.11.2023

Pertanyaan keamanan thread untuk koleksi Python di Scrapy Item Pipelines (menggunakan Twisted untuk konkurensi)
Scrapy memiliki gagasan tentang Item Pipelines yang secara bersamaan memproses (melalui Twisted) item yang dikembalikan dari Laba-laba . Contoh kode berikut disediakan untuk memfilter item duplikat (kode disalin di bawah). Bagaimana caranya...
68 dilihat
schedule 15.12.2023