Analyse locale — pas de fetch live.
WebToolMage
Testeur robots.txt
Valider un robots.txt collé localement.
Pas de statut crawl sans fetch (hors de ces pilotes).
Méthode
inspectUrl utilise URL. robots vérifie User-agent/Disallow/Allow/Sitemap.
Hypothèses
- Parsing URL API.
- Règles robots.
- Pas d’API réseau payante.
Questions
Récupère-t-il mon site ?
Non dans ces pilotes. Collez le contenu.
Avis juridique ?
Non. Validation syntaxique seulement.