Informationen zum Webcrawler
AntiCloneBot
AntiCloneBot findet Kopien von Online-Shops (Fake-Shops, die Produkte, Texte und Bilder eines echten Shops kopieren) für die Inhaber der kopierten Shops.
- Hält sich an robots.txt
- Signierte Anfragen (Web Bot Auth)
- Kein Login, keine Formulare, keine Bestellungen
- Daten in der EU
Abmelden
Trag diese zwei Zeilen in deine robots.txt ein. AntiCloneBot besucht deine Website dann nicht mehr automatisch.
User-agent: AntiCloneBot Disallow: /
Die Sperre gilt für den Bot. Öffentliche Seiten bleiben für Menschen sichtbar: Meldet uns ein Händler eine Seite als mögliche Kopie seines Shops, sehen wir sie uns persönlich in einem normalen Browser an, wie jeder andere Besucher auch.
Was er liest
- Er sieht sich eine Website in der Regel nur einmal an und liest dabei wenige öffentliche Seiten: robots.txt, die Startseite und bei Online-Shops die öffentliche Produktliste oder die Sitemap, dazu einige Produktbilder für einen Bildabgleich.
- Seiten, die wahrscheinlich einen Shop kopieren, prüft er genauer und sieht später nach, ob sie noch online sind.
Was er nie tut
- Kein Login, keine Formulare, keine Bestellungen
- Keine Zahlungsdaten
- Keine Tests auf Sicherheitslücken
Er hält sich an robots.txt einschließlich Crawl-delay und wird langsamer, wenn eine Website mit 429 oder 430 antwortet.
Woran man ihn erkennt
- User-Agent
AntiCloneBot- Signatur
- Anfragen sind mit Web Bot Auth signiert.
- Öffentliche Schlüssel
- https://anticlone.de/.well-known/http-message-signatures-directory
Daten
- Gespeichert
- Domain, Shopsystem, Seitentitel, öffentliche Shop-Kennungen, Dateinamen von Bildern sowie Fingerabdrücke von Texten und Produktbildern
- Produkttitel und Kontakte von Shops
- nur als Hashwert mit geheimem Schlüssel
- Besucher
- nichts über Besucher
- Wo und wie lange
- in der Europäischen Union, ohne feste Frist; die Einträge deiner Website löschen wir auf Verlangen