Pertanyaan tentang topik tersebut 'robots.txt'

Cara Menggunakan Wildcard di robots.txt
Apakah mungkin untuk: User-agent: * Disallow: /apps/abc*/ Dalam file robots.txt untuk melarang abc123, abc-xyz, dll.?
270 dilihat
schedule 31.10.2023

Di mana menempatkan file robots.txt di server jetty?
Saya baru-baru ini mulai memeriksa kerentanan keamanan aplikasi web kita melalui alat yang disebut Zap. Setelah menjalankannya saya menemukan bahwa saya harus memasukkan robots.txt juga di aplikasi web kami. Alat ini mencari file di direktori root...
437 dilihat
schedule 07.11.2023