Robots.txt-Bereitstellung

Yercekimsiz kann eine benutzerdefinierte robots.txt pro Domäne am Edge bereitstellen, um die Origin-Last zu reduzieren und domänenspezifische Crawler-Richtlinien zu ermöglichen.

Wie es funktioniert

Anstatt dass der Origin robots.txt bereitstellt, antwortet die WAF auf /robots.txt-Anfragen mit domänenspezifischem Inhalt, der in der Konfiguration gespeichert ist. Anfragen werden für Analysen und Crawler-Diagnosen protokolliert.

Hauptmerkmale

• Inhalt von robots.txt pro Domäne
• Edge-Bereitstellung zur Reduzierung der Origin-Last
• Anforderungsprotokollierung und Crawler-Metriken
• API und Dashboard zum Bearbeiten von Richtlinien in Echtzeit

Beispiel robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Anmerkungen

Die Robots-Bereitstellung ist aus Sicht des Origins rein schreibgeschützt - die WAF beantwortet Robots-Anfragen, um den Origin-Verkehr zu reduzieren und eine zentralisierte Protokollierung bereitzustellen.