คำถามในหัวข้อ 'web-crawler'
ฉันจะสร้างโปรแกรมรวบรวมข้อมูลเว็บใน ASP.NET ได้อย่างไร
ฉันสงสัยว่ามีวิธีสร้างเว็บบอท/ซอฟต์แวร์รวบรวมข้อมูลสำหรับเว็บไซต์ใน ASP.NET หรือไม่
ฉันต้องดึงข้อมูลจากผู้ให้บริการชำระเงินรายใดรายหนึ่งของเรา แต่พวกเขาไม่มี API...
5032 มุมมอง
schedule
05.11.2023
ฉันจะทำให้โปรแกรมรวบรวมข้อมูลเว็บ Perl ของฉันทำงานเร็วขึ้นได้อย่างไร
เมื่อสองวันที่ผ่านมาฉันได้ทำโปรเจ็กต์สัตว์เลี้ยงเล็กๆ น้อยๆ ซึ่งประกอบด้วยการสร้างโปรแกรมรวบรวมข้อมูลในภาษา Perl
ฉันไม่มีประสบการณ์จริงในภาษา Perl (เฉพาะสิ่งที่ฉันได้เรียนรู้ในช่วงสองวันที่ผ่านมา) สคริปต์ของฉันเป็นดังนี้:
ACTC.pm:...
1751 มุมมอง
schedule
07.11.2023
ฉันจะคลิกปุ่มบนไซต์อื่นโดยทางโปรแกรมได้อย่างไร
ฉันต้องการเข้าสู่ไซต์อื่นด้วยโปรแกรมของฉัน (asp.net/C#)
ฉันจะรวบรวมข้อมูลไซต์และค้นหากล่องข้อความชื่อผู้ใช้และรหัสผ่านและกรอกข้อมูลที่จำเป็นได้อย่างไร
แล้วฉันจะกด/ยิงปุ่มเข้าสู่ระบบได้อย่างไร?
หมายเหตุ: ฉันรวบรวมข้อมูลไซต์ด้วย...
4215 มุมมอง
schedule
13.11.2023
แยกข้อมูลเดียวกันจากเอกสาร HTML ต่างๆ
สมมติว่าฉันมีหน้า HTML หลายหน้าจากเว็บไซต์ที่ไม่เกี่ยวข้อง แต่มีข้อมูลโดยรวมเหมือนกัน ฉันต้องการดึงข้อมูลนั้นในลักษณะที่ยืดหยุ่น เช่น ฉันต้องการเขียนตัวแยกข้อมูลจำนวนเล็กน้อยสำหรับทุกหน้า (ในอุดมคติแล้วคือตัวเดียว) สมมติว่าช่องต่างๆ คือ...
63 มุมมอง
schedule
20.12.2023
วิธีแก้ไขปัญหาการรวบรวมข้อมูล
ฉันพบข้อผิดพลาดภายนอก 408 เมื่อฉันทดสอบไซต์ของฉันบนเครื่องมือรวบรวมข้อมูลเว็บไซต์และเครื่องมือสร้างแผนผังไซต์ XML ที่ลิงก์ด้านล่าง : http://tools.seochat.com/tools/online-crawl-google-sitemap-generator/ ชื่อเว็บไซต์ของฉันเช่น: www.MyWebsite.com...
152 มุมมอง
schedule
19.11.2023
แยกจากการตอบสนอง JSON แบบไดนามิกด้วย Scrapy
ฉันต้องการแยกค่า 'avail' ออกจากเอาต์พุต JSON ที่มีลักษณะเช่นนี้
{
"result": {
"code": 100,
"message": "Command Successful"
},
"domains": {
"yolotaxpayers.com": {
"avail": false,
"tld":...
472 มุมมอง
schedule
20.12.2023
การตอบกลับแบบ Scrapy ขาดอาร์กิวเมนต์ตำแหน่งหนึ่งรายการ
ใหม่ถึง python มาจาก php.ini ฉันต้องการขูดบางไซต์โดยใช้ Scrapy และได้ผ่านบทช่วยสอนและสคริปต์ง่ายๆ เป็นอย่างดี ตอนนี้การเขียนเรื่องจริงเกิดข้อผิดพลาดนี้:
Traceback (การโทรล่าสุดครั้งล่าสุด):
ไฟล์...
1814 มุมมอง
schedule
24.11.2023
จะทำให้โปรแกรมรวบรวมข้อมูลต้องเรียกใช้จาวาสคริปต์ในหน้าต่างๆ ได้อย่างไร
ฉันต้องการใช้กลไกต่อต้านการรวบรวมข้อมูลเพื่อปกป้องข้อมูลในเว็บไซต์ของฉัน หลังจากอ่านหัวข้อที่เกี่ยวข้องมากมายใน SO แล้ว ฉันจะเน้นที่ "บังคับใช้จาวาสคริปต์ที่ทำงานอยู่"
แผนของฉันคือ:
ใช้ฟังก์ชันพิเศษ F (เช่น MD5SUM) ในไฟล์จาวาสคริปต์ C...
70 มุมมอง
schedule
23.10.2023