Robots.txt servering

Yercekimsiz kan een aangepaste robots.txt per domein aan de rand serveren, waardoor de originele belasting afneemt en domeinspecifieke crawler-beleid mogelijk wordt.

Robots.txt Configuration
Click to Zoom

Hoe werkt het

In plaats van dat het origineel robots.txt serveert, reageert de WAF op /robots.txt-aanvragen met behulp van domeingebaseerde inhoud opgeslagen in de configuratie. Verzoeken worden voor analytics en crawler-diagnose gelogd.

Sleutelfuncties

  • Robots.txt-inhoud per domein
  • Edge-servering om originele belasting te verminderen
  • Verzoeklogboekregistratie en crawler-statistieken
  • API en dashboard voor beleid in real-time bewerken

Voorbeeld robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Opmerkingen

Robots servering is puur read-only vanuit het perspectief van het origineel - de WAF beantwoordt robotverzoeken om origineel verkeer te verminderen en gecentraliseerde logboekregistratie te bieden.