Robots.txt Sunma

Yercekimsiz, kenarda alan başına özel bir robots.txt sunabilir, bu da kaynak yükünü azaltır ve alan başına tarayıcı politikalarını etkinleştirir.

Nasıl çalışır

Kaynağın robots.txt sunması yerine, WAF, yapılandırmada saklanan alan kapsamlı içeriği kullanarak /robots.txt isteklerine yanıt verir. İstekler, analitik ve tarayıcı teşhisi için günlüğe kaydedilir.

Temel Özellikler

• Alan başına robots.txt içeriği
• Kaynak yükünü azaltmak için kenar sunumu
• İstek günlüğü ve tarayıcı metrikleri
• Politikaları gerçek zamanlı olarak düzenlemek için API ve pano

Örnek robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Notlar

Robots sunumu, kaynağın bakış açısından tamamen salt okunurdur - WAF, kaynak trafiğini azaltmak ve merkezi günlük kaydı sağlamak için robot isteklerine yanıt verir.