เป็นไปได้ไหมที่จะ:
User-agent: *
Disallow: /apps/abc*/
ในไฟล์ robots.txt เพื่อไม่อนุญาต abc123, abc-xyz ฯลฯ
วิธีใช้ Wildcard ใน robots.txt
คำตอบ (1)
การอ้างอิงถึง Wikipedia:
Robot Exclusion Standard ไม่ได้กล่าวถึงสิ่งใดเกี่ยวกับอักขระ "*" ในคำสั่ง Disallow: โปรแกรมรวบรวมข้อมูลบางตัวเช่น Googlebot และ Slurp รู้จักสตริงที่มี "*" ในขณะที่ MSNbot และ Teoma ตีความด้วยวิธีที่ต่างกัน
การวิจัยเพิ่มเติมสามารถพบได้ในแหล่งที่อ้างถึง
person
afflux
schedule
07.02.2013
