Análise local — sem fetch ao vivo.
WebToolMage
Testador robots.txt
Valide robots.txt colado localmente.
Sem status de crawl sem fetch (não nestes pilotos).
Método
inspectUrl usa URL. robots verifica User-agent/Disallow/Allow/Sitemap.
Premissas
- Parsing URL API.
- Regras robots.
- Sem API de rede paga.
Perguntas
Busca meu site?
Não nestes pilotos. Cole o conteúdo.
Aconselhamento jurídico?
Não. Só validação sintática.