Это возможно:
User-agent: *
Disallow: /apps/abc*/
В файле robots.txt запретить abc123, abc-xyz и т. д.?
Как использовать подстановочный знак в robots.txt
Ответы (1)
Цитата из Википедии:
Стандарт исключения роботов ничего не говорит о символе «*» в операторе Disallow:. Некоторые сканеры, такие как Googlebot и Slurp, распознают строки, содержащие «*», в то время как MSNbot и Teoma интерпретируют их по-разному.
Дополнительные исследования можно найти в цитируемом источнике.
person
afflux
schedule
07.02.2013
