TenbieBot

Ne yapar?

Herkese açık haber kanallarını bulur ve okur: RSS ve Atom beslemeleri, site haritaları, haber odası ve duyuru sayfaları. Bulduğu kanallarda yeni içerik olup olmadığına belirli aralıklarla bakar.

Nasıl tanınır?

İsteklerde şu User-Agent başlığıyla gelir:

TenbieBot/1.0 (+https://tenbie.com/bot)

robots.txt dosyasında TenbieBot grubuna uyar. Tenbie grubu da onu bağlar. Bu iki grup yoksa * grubuna uyar.

robots.txt

• Bir siteye ilk isteği robots.txt içindir. Yasaklı yollara istek göndermez.
• Dosyayı 7 günde bir yeniden okur. Yaptığınız değişikliğin etkisi bu süreyi bulabilir.
• Dosya 5xx hatası verirse ya da ulaşılamazsa site yasak sayılır ve sonra yeniden denenir.

Nezaket sınırı

• Aynı alan adına iki istek arasında en az 1 saniye bekler. Crawl-delay yazılıysa uzun olanı uygular; okuduğu en yüksek değer 60 saniyedir.
• Koşullu istek gönderir: değişmeyen besleme yeniden indirilmez.
• Tek yanıtta en çok 2 MB okur, 10 saniyede yanıt gelmezse isteği bırakır.
• 401, 403, 429 yanıtlarını ve güvenlik sınama sayfalarını engel sayar, dolanmaya çalışmaz. O kaynağı durdurur ve haftada bir tek istekle yeniden dener.
• Content-Signal içinde search=no, ai-input=no ya da use=referencegörürse kanalı otomatik akışa almaz.

Nasıl engellenir?

Sitenizin tamamını kapatmak için robots.txt dosyanıza şunu ekleyin:

User-agent: TenbieBot
Disallow: /

Yalnız bir bölümü kapatmak için Disallow satırına o yolu yazın:

User-agent: TenbieBot
Disallow: /arsiv/

İletişim

Soru ya da sorun için hello@tenbie.com adresine yazın. Alan adınızı ve gördüğünüz istek adreslerini eklerseniz bakmamız kolaylaşır.