Robots.txt Sunma

Yercekimsiz, kenarda alan başına özel bir robots.txt sunabilir, bu da kaynak yükünü azaltır ve alan başına tarayıcı politikaları etkinleştirir.

Robots.txt Configuration
Click to Zoom

Nasıl Çalışır

Kaynağın robots.txt sunması yerine, WAF, yapılandırmada saklanan alan kapsamlı içeriği kullanarak /robots.txt isteklerine yanıt verir. İstekler, analitik ve tarayıcı tanısı için günlüğe kaydedilir.

Temel Özellikler

  • Alan başına robots.txt içeriği
  • Kaynak yükünü azaltmak için kenar sunumu
  • İstek günlüğü ve tarayıcı metrikleri
  • Politikaları gerçek zamanlı olarak düzenlemek için API ve pano

Örnek robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Notlar

Robots sunumu, kaynağın bakış açısından tamamen salt okunurdur - WAF, kaynak trafiğini azaltmak ve merkezi günlük kaydı sağlamak için robot isteklerine yanıt verir.