WebguiderBot
WebguiderBot liest die öffentlichen Seiten von Websites, die Webguider einsetzen. Daraus beantwortet Webguider die Fragen ihrer Besucherinnen und Besucher.
Wie er liest
- Etwa einmal am Tag, eine Seite nach der anderen, höchstens eine pro Sekunde.
- Er hält sich an die robots.txt, auch an Crawl-delay.
- Er ruft Seiten nur ab (GET), führt kein JavaScript aus und meldet sich nirgends an.
- Warenkorb, Kasse, Kundenkonto, Suche und Filter lässt er aus.
Sperren
In der robots.txt:
User-agent: WebguiderBot
Disallow: /Eine Regel für seinen früheren Namen ShopButlerBot gilt weiterhin.