Service Robots.txt

Yercekimsiz peut servir un robots.txt personnalisé par domaine à la périphérie, réduisant la charge d'origine et activant les politiques de crawlers par domaine.

Robots.txt Configuration
Click to Zoom

Comment cela fonctionne

Au lieu que l'origine serve robots.txt, le WAF répond aux requêtes /robots.txt en utilisant le contenu limité au domaine stocké dans la configuration. Les requêtes sont enregistrées à des fins d'analytique et de diagnostic de crawler.

Caractéristiques clés

  • Contenu robots.txt par domaine
  • Service à la périphérie pour réduire la charge d'origine
  • Journalisation des requêtes et métriques de crawler
  • API et tableau de bord pour modifier les politiques en temps réel

Exemple robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Remarques

Le service robots est purement en lecture seule du point de vue de l'origine - le WAF répond aux requêtes robots pour réduire le trafic d'origine et fournir une journalisation centralisée.