Service Robots.txt

Yercekimsiz peut servir un fichier robots.txt personnalisé par domaine à la périphérie, réduisant la charge de l'origine et permettant des politiques de robot d'exploration par domaine.

Comment ça marche

Au lieu que l'origine serve robots.txt, le WAF répond aux requêtes /robots.txt en utilisant un contenu spécifique au domaine stocké dans la configuration. Les requêtes sont journalisées pour l'analyse et le diagnostic des robots d'exploration.

Caractéristiques principales

• Contenu robots.txt par domaine
• Service en périphérie pour réduire la charge de l'origine
• Journalisation des requêtes et métriques des robots d'exploration
• API et tableau de bord pour modifier les politiques en temps réel

Exemple de robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Remarques

Le service de robots est purement en lecture seule du point de vue de l'origine - le WAF répond aux requêtes de robots pour réduire le trafic de l'origine et fournir une journalisation centralisée.