Robots.txt-Bereitstellung

Yercekimsiz kann eine benutzerdefinierte robots.txt pro Domäne im Edge bereitstellen, die den ursprünglichen Load reduziert und Pro-Domänen-Crawler-Richtlinien ermöglicht.

Robots.txt Configuration
Click to Zoom

So funktioniert es

Statt dass der Origin robots.txt bereitstellt, antwortet die WAF auf /robots.txt-Anfragen mit domänengesteuerten Inhalten, die in der Config gespeichert sind. Anfragen werden für Analysen und Crawler-Diagnosen protokolliert.

Wichtige Funktionen

  • Pro-Domäne robots.txt-Inhalte
  • Edge-Bereitstellung zur Reduzierung des ursprünglichen Loads
  • Anfrage-Protokollierung und Crawler-Metriken
  • API & Dashboard zum Bearbeiten von Richtlinien in Echtzeit

Beispiel robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Hinweise

Robots-Serving ist rein schreibgeschützt aus der Perspektive des Origins - die WAF beantwortet Roboter-Anfragen, um den ursprünglichen Traffic zu reduzieren und zentralisierte Protokollierung bereitzustellen.