Servizio Robots.txt

Yercekimsiz può servire un robots.txt personalizzato per dominio all'edge, riducendo il carico sull'origine e abilitando policy per crawler per dominio.

Come funziona

Invece di far servire robots.txt dall'origine, il WAF risponde alle richieste /robots.txt usando contenuto con scope di dominio memorizzato nella config. Le richieste vengono loggiate per analytics e diagnostica dei crawler.

Caratteristiche Chiave

• Contenuto robots.txt per dominio
• Servizio edge per ridurre il carico sull'origine
• Logging delle richieste e metriche dei crawler
• API & dashboard per modificare le policy in realtime

Esempio robots.txt

User-agent: *\nDisallow: /api/\nDisallow: /_next/

Note

Il servizio robots è puramente read-only dal punto di vista dell'origine — il WAF risponde alle richieste robots per ridurre il traffico sull'origine e fornire logging centralizzato.