Controlling Web Robots — Steuerung automatischer Web-Scanner

Über Web-Scanner und Bots

Automatisierte Web-Scanner, auch bekannt als Web-Crawler oder Bots, sind unverzichtbare Werkzeuge für viele legitime Online-Aktivitäten wie die Indexierung von Suchmaschinen und Online-Preisvergleiche. Diese Scanner können jedoch auch für böswillige Zwecke verwendet werden, z. B. zum Auslesen sensibler Daten, für DDoS-Angriffe oder sogar zur Verbreitung von Malware. Daher ist es wichtig, automatische Web-Scanner zu blockieren, um sowohl persönliche als auch organisatorische Informationen und Systeme zu schützen.

Neben dem Auslesen sensibler Daten werden automatisierte Web-Scanner auch für DDoS-Angriffe eingesetzt. Mit diesen Scannern kann eine Website mit einer großen Anzahl von Anfragen überflutet werden, wodurch der Server überlastet wird und die Website offline geht. Dies kann den Geschäftsbetrieb stören und den Ruf eines Unternehmens schädigen.

Auch automatisierte Web-Scanner können zur Verbreitung von Malware eingesetzt werden. Diese Scanner können so programmiert werden, dass sie nach Schwachstellen in Websites und Systemen suchen und diese dann ausnutzen, um Malware zu installieren oder einen Angriff zu starten. Dies kann sowohl persönlichen als auch organisatorischen Informationen und Systemen erheblichen Schaden zufügen.

security can be complex — Steuerung automatisierter Bots

Was ist BitFire Bot Control?

Die Bot Control Seite im BitFire Dashboard erlaubt es Ihnen, genau zu kontrollieren, wie jeder Roboter behandelt werden soll. Es gibt viele Tausende von automatisierten Crawlern, Tools, Scannern, Bots und vielen anderen automatisierten Systemen, die auf Websites im Internet zugreifen. Viele dieser Bots sind gutartig und hilfreich, manche nicht.

Die Remote-API von BitFire verwaltet eine Liste mit mehreren tausend Bots. Jeder dieser Bots verfügt über Netzwerk-Authentifizierungsinformationen, die zur sicheren Identifizierung jedes Bots verwendet werden. Durch die sichere Netzwerkidentifizierung wird das Quellnetzwerk für die Anfrage identifiziert. Dadurch wird sichergestellt, dass Bots, die sich als "GoogleBot" ausgeben, nur von Google-IP-Adressen zugelassen werden und nicht von Rumänien oder Kolumbien usw.

Wie funktioniert es?

Standardmäßig lässt BitFire alle bekannten gutartigen Bots zu, die über eine sichere Netzwerkauthentifizierung verfügen. Jedes Mal, wenn ein neuer Bot auf die Website zugreift, authentifiziert BitFire den Bot, und wenn die Prüfung der sicheren Authentifizierung erfolgreich ist, wird der Bot zugelassen.

Während der Lernphase in den ersten 5 Tagen des Betriebs wird jeder Bot, den BitFire sieht, zur Erlaubnisliste aus demselben Ursprungsnetzwerk hinzugefügt. Diese Funktion stellt sicher, dass unbekannte Webtools oder Dienste von Drittanbietern auch dann noch zugelassen werden, wenn sich die Firewall im vollständigen Sperrmodus befindet.

Verstehen der Bot-Kontrollseite

Die Bot-Kontrollseite enthält eine Vielzahl von Informationen über jeden Bot, der auf Ihre Website zugreift. Sie können zwischen bekannten Bots und unbekannten Bots umschalten, indem Sie die Option "Show Known Bots" Kippschalter. Alle Bots werden in der Reihenfolge sortiert, in der sie zuletzt gesehen wurden.

1: Das Bot-Symbol, wenn der Bot identifiziert wird. Ihr erster Hinweis darauf, dass der Bot nicht bösartig ist
2: Der Name des identifizierten Bots. Wenn Sie auf den Namen klicken, werden Sie zu einer Webseite mit zusätzlichen Informationen weitergeleitet.
3: Der Name des Bot-Anbieters.
4: Vollständiger vom Bot gesendeter User Agent.
5: Das erste Mal, dass der Bot gesehen wurde, und das letzte Mal, dass er gesehen wurde.
6: Anzahl der ungültigen Seitenanfragen. Eine hohe Zahl deutet auf eine bösartige Seite hin.
7: Anzahl der Anfragen, bei denen die Netzwerkauthentifizierung fehlgeschlagen ist.
8: Anzahl der Anfragen, die die Netzwerkauthentifizierung bestanden haben.
9: Grün - Netzwerkauthentifizierung validieren. Schwarz - gesperrt. Rot - Erlaubt von überall her.
10: Die ersten 30 IP-Adressen, die den User-Agent dieses Bots verwenden
11: Die für die sichere Authentifizierung gültigen Domänennetzwerke
12: Liste der Herkunftsländer Bot wurde gesehen von
13: Interne Klassifizierung, falls bekannt
14: Schaltfläche Bot-Steuerung. Klicken Sie darauf, um die Bot-Behandlung zu ändern.

Effektiver Einsatz der Bot-Kontrolle

Um die von BitFire zur Verfügung gestellte Bot-Kontrolle effektiv zu nutzen, sollten Sie nach dem Erlernen der Firewall die Seiten mit den bekannten und unbekannten Bots durchsehen. Nehmen Sie sich einen Moment Zeit, um die Liste durchzugehen. Vergewissern Sie sich, dass alle Tools oder Dienste von Drittanbietern, die Sie verwenden, entweder auf "Authentifiziert" oder "ANY IP" eingestellt sind. Die meisten Bots und Dienste können auf authentifizierte IPS und Netzwerke beschränkt werden, aber einige Dienste haben möglicherweise kein statisches Netzwerk und müssen auf "ANY IP" eingestellt werden.

Seien Sie vorsichtig, wenn Sie einen Bot so konfigurieren, dass er "JEDE IP" zulässt, da dies jedem Menschen überall auf der Welt erlaubt, diesen User-Agent zu verwenden, um Ihre Bot-Filterung zu umgehen. Je bekannter der Bot ist (denken Sie an GoogleBot, Bing, etc.) desto wahrscheinlicher ist es, dass die Einstellung "Beliebige IP" zu Missbrauch führen könnte. Es ist sehr unwahrscheinlich, dass ein Angreifer seinen User-Agent auf "Bob's Unkown Third Party Tool" einstellt, in der Hoffnung, die Firewall-Filterung zu umgehen. Der wahrscheinlichste Fall für Missbrauch sind beliebte Suchmaschinen.

Erlaubte Bots sind immer noch mit einer Firewall versehen

Es ist wichtig zu beachten, dass selbst wenn ein Bot in der Bot-Kontrolle zugelassen ist, die BitFire-Firewall-Funktionen weiterhin ausgeführt werden. Dazu gehören XSS, SQLi, CSRF, SSRF, XXE und andere Firewall-Funktionen. Die Bot-Kontrolle soll Scanner, die nach unbekanntem oder schwer zu erkennendem Missbrauch suchen, daran hindern, ihre Scans abzuschließen.

BitFire Bot-Kontrolle konfigurieren

Version 3.5.1+

Cory Marsh