ในบทความนี้ ฉันจะแสดงให้คุณเห็นว่าคุณสามารถทำการขูดเว็บโดยใช้ Puppeteer และ Nodejs ได้อย่างไร ในการเริ่มต้น เราต้องทำความเข้าใจก่อนว่าการขูดเว็บคืออะไร และ Puppeteer สามารถช่วยให้เราทำเช่นนั้นได้อย่างไร การขูดเว็บ การขูดเว็บเป็นกระบวนการดึงข้อมูลจากหน้าเว็บ มันเกี่ยวข้องกับการดึงข้อมูลหน้าเว็บแล้วดึงข้อมูลออกมา หลังจากแยกข้อมูลแล้ว คุณสามารถทำอะไรก็ได้ที่คุณต้องการด้วยข้อมูลนั้น คุณสามารถใช้สิ่งนั้นสำหรับ API หรือเก็บไว้ในไฟล์ CSV นักเชิดหุ่น Puppeteer เป็นไลบรารี Nodejs..

Puppeteer เป็นเครื่องมือสำคัญในการทำงานบนเว็บแบบอัตโนมัติและทดสอบการทำงานของเว็บ เป็นไลบรารี Node.js ที่ให้ API ตำแหน่งสูงสำหรับควบคุมนักท่องโลกไซเบอร์ Chrome ที่ไม่มีหัว ช่วยให้คุณดำเนินการคล้ายกับการคลิกลิงก์ กรอกแบบฟอร์ม และถ่ายภาพหน้าจอ ในบล็อกโพสต์นี้ เราจะสำรวจวิธีการขั้นสูงของ Puppeteer ในการทำงานที่ซับซ้อนมากขึ้น ซึ่งคล้ายกับการกรอกแบบฟอร์มและการโต้ตอบกับการดำเนินงานบนเว็บ วิธีการเหล่านี้จะช่วยให้คุณนำ Puppeteer Chops ของคุณไปยังตำแหน่งที่กำลังจะมาถึง..

ในขณะที่คัดลอกหรือทดสอบเว็บไซต์ บางครั้งการเปิดลิงก์ (เช่น ผ่านทาง "ควบคุมแล้วคลิก") บนหน้าเว็บลงในแท็บเบราว์เซอร์ใหม่ ดำเนินการบางอย่างในแท็บใหม่แล้วปิดจะสะดวกกว่า เพื่อหลีกเลี่ยงความยุ่งยากในการใช้ breadcrumbs หรือปุ่มย้อนกลับ วิธีการนี้ยังส่งผลให้แบ็คเอนด์ของเว็บไซต์ทำงานน้อยลง เนื่องจากปกติการปิดแท็บจะไม่ขอข้อมูลระยะไกล ต่อไปนี้คือวิธีการ "ควบคุมการคลิก" ลิงก์ใน Chromium โดยอัตโนมัติ เพื่อให้เนื้อหาของลิงก์ปรากฏในแท็บใหม่ ตัวอย่างนี้ใช้ CodeceptJS และ Puppeteer..