คำถามในหัวข้อ 'web-crawler'

ฉันจะสร้างโปรแกรมรวบรวมข้อมูลเว็บใน ASP.NET ได้อย่างไร
ฉันสงสัยว่ามีวิธีสร้างเว็บบอท/ซอฟต์แวร์รวบรวมข้อมูลสำหรับเว็บไซต์ใน ASP.NET หรือไม่ ฉันต้องดึงข้อมูลจากผู้ให้บริการชำระเงินรายใดรายหนึ่งของเรา แต่พวกเขาไม่มี API...
5032 มุมมอง
schedule 05.11.2023

ฉันจะทำให้โปรแกรมรวบรวมข้อมูลเว็บ Perl ของฉันทำงานเร็วขึ้นได้อย่างไร
เมื่อสองวันที่ผ่านมาฉันได้ทำโปรเจ็กต์สัตว์เลี้ยงเล็กๆ น้อยๆ ซึ่งประกอบด้วยการสร้างโปรแกรมรวบรวมข้อมูลในภาษา Perl ฉันไม่มีประสบการณ์จริงในภาษา Perl (เฉพาะสิ่งที่ฉันได้เรียนรู้ในช่วงสองวันที่ผ่านมา) สคริปต์ของฉันเป็นดังนี้: ACTC.pm:...
1751 มุมมอง
schedule 07.11.2023

ฉันจะคลิกปุ่มบนไซต์อื่นโดยทางโปรแกรมได้อย่างไร
ฉันต้องการเข้าสู่ไซต์อื่นด้วยโปรแกรมของฉัน (asp.net/C#) ฉันจะรวบรวมข้อมูลไซต์และค้นหากล่องข้อความชื่อผู้ใช้และรหัสผ่านและกรอกข้อมูลที่จำเป็นได้อย่างไร แล้วฉันจะกด/ยิงปุ่มเข้าสู่ระบบได้อย่างไร? หมายเหตุ: ฉันรวบรวมข้อมูลไซต์ด้วย...
4215 มุมมอง
schedule 13.11.2023

แยกข้อมูลเดียวกันจากเอกสาร HTML ต่างๆ
สมมติว่าฉันมีหน้า HTML หลายหน้าจากเว็บไซต์ที่ไม่เกี่ยวข้อง แต่มีข้อมูลโดยรวมเหมือนกัน ฉันต้องการดึงข้อมูลนั้นในลักษณะที่ยืดหยุ่น เช่น ฉันต้องการเขียนตัวแยกข้อมูลจำนวนเล็กน้อยสำหรับทุกหน้า (ในอุดมคติแล้วคือตัวเดียว) สมมติว่าช่องต่างๆ คือ...
63 มุมมอง
schedule 20.12.2023

วิธีแก้ไขปัญหาการรวบรวมข้อมูล
ฉันพบข้อผิดพลาดภายนอก 408 เมื่อฉันทดสอบไซต์ของฉันบนเครื่องมือรวบรวมข้อมูลเว็บไซต์และเครื่องมือสร้างแผนผังไซต์ XML ที่ลิงก์ด้านล่าง : http://tools.seochat.com/tools/online-crawl-google-sitemap-generator/ ชื่อเว็บไซต์ของฉันเช่น: www.MyWebsite.com...
152 มุมมอง
schedule 19.11.2023

แยกจากการตอบสนอง JSON แบบไดนามิกด้วย Scrapy
ฉันต้องการแยกค่า 'avail' ออกจากเอาต์พุต JSON ที่มีลักษณะเช่นนี้ { "result": { "code": 100, "message": "Command Successful" }, "domains": { "yolotaxpayers.com": { "avail": false, "tld":...
472 มุมมอง
schedule 20.12.2023

การตอบกลับแบบ Scrapy ขาดอาร์กิวเมนต์ตำแหน่งหนึ่งรายการ
ใหม่ถึง python มาจาก php.ini ฉันต้องการขูดบางไซต์โดยใช้ Scrapy และได้ผ่านบทช่วยสอนและสคริปต์ง่ายๆ เป็นอย่างดี ตอนนี้การเขียนเรื่องจริงเกิดข้อผิดพลาดนี้: Traceback (การโทรล่าสุดครั้งล่าสุด): ไฟล์...
1814 มุมมอง
schedule 24.11.2023

จะทำให้โปรแกรมรวบรวมข้อมูลต้องเรียกใช้จาวาสคริปต์ในหน้าต่างๆ ได้อย่างไร
ฉันต้องการใช้กลไกต่อต้านการรวบรวมข้อมูลเพื่อปกป้องข้อมูลในเว็บไซต์ของฉัน หลังจากอ่านหัวข้อที่เกี่ยวข้องมากมายใน SO แล้ว ฉันจะเน้นที่ "บังคับใช้จาวาสคริปต์ที่ทำงานอยู่" แผนของฉันคือ: ใช้ฟังก์ชันพิเศษ F (เช่น MD5SUM) ในไฟล์จาวาสคริปต์ C...
70 มุมมอง
schedule 23.10.2023