Analyse locale — pas de fetch live.

WebToolMage

Inspecteur d’URL

Découper une URL en schéma, hôte, chemin, requête et hash.

Pas de statut crawl sans fetch (hors de ces pilotes).

Résultat

{
  "href": "https://example.com/path?q=1#frag",
  "protocol": "https:",
  "host": "example.com",
  "pathname": "/path",
  "search": "?q=1",
  "hash": "#frag"
}

Méthode

inspectUrl utilise URL. robots vérifie User-agent/Disallow/Allow/Sitemap.

Hypothèses

  • Parsing URL API.
  • Règles robots.
  • Pas d’API réseau payante.

Questions

Récupère-t-il mon site ?

Non dans ces pilotes. Collez le contenu.

Avis juridique ?

Non. Validation syntaxique seulement.

Testeur robots.txt·Version anglaise (USA)

Inspecteur d’URL · WebToolMage