Lokales Parsen — kein Live-Fetch behauptet.
WebToolMage
Robots.txt-Tester
Eingefügtes robots.txt lokal prüfen.
Kein Crawl-Status ohne Live-Fetch (nicht in diesen Piloten).
Methode
inspectUrl nutzt URL. Robots prüft User-agent/Disallow/Allow/Sitemap.
Annahmen
- URL-API-Parsing.
- Robots-Zeilenregeln.
- Keine bezahlte Netz-API.
Fragen
Holt es meine Site?
Nicht in diesen Piloten. Inhalt einfügen.
Rechtsberatung?
Nein. Nur Syntaxprüfung.