Robots.txt en el edge

Yercekimsiz puede servir robots.txt personalizados por dominio en el edge, reduciendo carga del origin.

Cómo funciona

En lugar de servir robots.txt desde el origin, el WAF responde /robots.txt con contenido por dominio guardado en la configuración. Las solicitudes se registran para analítica.

Características clave

• Contenido robots.txt por dominio
• Servicio en edge para reducir carga
• Logs y métricas de crawlers
• API y panel para editar políticas en tiempo real

Ejemplo de robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Notas

El servicio robots es de solo lectura desde el origin: el WAF responde para reducir tráfico y centralizar logging.