Вопросы по теме 'robots.txt'
Как использовать подстановочный знак в robots.txt
Это возможно:
User-agent: *
Disallow: /apps/abc*/
В файле robots.txt запретить abc123, abc-xyz и т. д.?
270 просмотров
schedule
31.10.2023
Где разместить файл robots.txt на сервере причала?
Недавно я начал проверять уязвимости безопасности нашего веб-приложения с помощью инструмента под названием Zap. После его запуска я обнаружил, что мне нужно включить robots.txt в наше веб-приложение. Инструмент ищет файл в корневом каталоге...
437 просмотров
schedule
07.11.2023