Servizio Robots.txt

Yercekimsiz può servire un robots.txt personalizzato per dominio all'edge, riducendo il carico di origine e abilitando politiche per crawler specifiche per dominio.

Robots.txt Configuration
Click to Zoom

Come Funziona

Invece che l'origine serva il file robots.txt, il WAF risponde alle richieste /robots.txt utilizzando il contenuto specifico del dominio memorizzato nella configurazione. Le richieste vengono loggate per analytics e diagnostica dei crawler.

Caratteristiche Chiave

  • Contenuto robots.txt per dominio
  • Servizio all'edge per ridurre il carico di origine
  • Logging delle richieste e metriche dei crawler
  • API e Dashboard per gestire le policy in tempo reale

Esempio Robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Note

Il servizio robots è puramente in sola lettura dal punto di vista dell'origine: il WAF risponde alle richieste per ridurre il traffico e centralizzare il logging.