Robots.txt-bediening

Yercekimsiz kan een aangepaste robots.txt per domein aan de rand bedienen, waardoor de belasting van de oorsprong wordt verminderd en per domein crawlerbeleid mogelijk wordt.

Hoe het werkt

In plaats van dat de oorsprong robots.txt bedient, reageert de WAF op /robots.txt-verzoeken met op het domein afgestemde inhoud die is opgeslagen in de configuratie. Verzoeken worden gelogd voor analyse en crawlerdiagnostiek.

Belangrijkste kenmerken

• robots.txt-inhoud per domein
• Edge-bediening om de belasting van de oorsprong te verminderen
• Verzoekregistratie en crawlermetrieken
• API en dashboard om beleid in realtime te bewerken

Voorbeeld robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Opmerkingen

Het bedienen van robots is puur alleen-lezen vanuit het perspectief van de oorsprong - de WAF beantwoordt robots-verzoeken om het verkeer van de oorsprong te verminderen en gecentraliseerde logging te bieden.