Apakah mungkin untuk:
User-agent: *
Disallow: /apps/abc*/
Dalam file robots.txt untuk melarang abc123, abc-xyz, dll.?
Cara Menggunakan Wildcard di robots.txt
Jawaban (1)
Mengutip Wikipedia:
Standar Pengecualian Robot tidak menyebutkan apa pun tentang karakter "*" dalam pernyataan Disallow:. Beberapa crawler seperti Googlebot dan Slurp mengenali string yang berisi "*", sementara MSNbot dan Teoma menafsirkannya dengan cara yang berbeda.
Penelitian tambahan dapat ditemukan di sumber yang dikutip.
person
afflux
schedule
07.02.2013
