Robots.txt xidmət etmə

Yercekimsiz edge-də domen üzrə xüsusi robots.txt təqdim edə bilər, bu da origin yükünü azaldır və domen üzrə crawler siyasətlərini aktivləşdirir.

Necə işləyir

Origin-in robots.txt təqdim etməsi əvəzinə, WAF konfiqurasiyada saxlanan domen məzmunundan istifadə edərək /robots.txt sorğularına cavab verir. Sorğular analitika və crawler diaqnostikası üçün loglanır.

Əsas xüsusiyyətlər

• Domen üzrə robots.txt məzmunu
• Origin yükünü azaltmaq üçün edge xidmət
• Sorğu logları və crawler metrikləri
• Politikaları real vaxtda redaktə etmək üçün API və panel

Nümunə robots.txt

User-agent: *
Disallow: /api/
Disallow: /_next/

Qeydlər

Robots xidmət etmə origin baxımından tam oxunaqlıdır - WAF robot sorğularına cavab verərək origin trafiki azaldır və mərkəzi loglama təmin edir.