Proxies für Web-Scraping, Bezahlung pro GB
Web-Scraping-Proxies verteilen Anfragen auf viele IPs, sodass eine Site viele normale Besucher sieht statt eines beschäftigten Servers. Mit Pay-as-you-go-Traffic zahlen Sie nur für die Seiten, die Sie tatsächlich laden.
Warum Scraper Proxies brauchen
Die meisten Websites begrenzen Anfragen pro IP. Ein Scraper von einem Server erreicht das Limit in Minuten und erhält Fehler, Captchas oder leere Seiten. Rotierende Proxies geben jeder Anfrage eine neue Adresse, sodass die Rate pro IP niedrig bleibt und der Job läuft.
Standort ist auch wichtig. Preise, Lager, Suchergebnisse und sogar Seitenlayouts variieren nach Land. Ein Proxy im richtigen Land liefert die Seite, die ein lokaler Besucher sieht.
Welcher Proxytyp zu verwenden ist
Beginnen Sie mit Datacenter-Traffic für offene Sites und APIs: am günstigsten pro GB und am schnellsten. Wechseln Sie zu Residential-Traffic, wenn Cloud-IPs blockiert werden oder Captchas kommen. Nutzen Sie Premium Residential für Jobs mit Stadt, Postleitzahl oder ASN.
- Datacenter: offene Seiten, APIs, eigene Sites
- Residential: E-Commerce, Marktplätze, Reisen, Kleinanzeigen
- Premium Residential: lokale Ergebnisse und Lieferzonen
Wie Sie Traffic-Kosten niedrig halten
Traffic wird pro GB in beide Richtungen abgerechnet, daher entscheidet das Seitengewicht über die Kosten. Blockieren Sie Bilder, Schriften und Videos, nutzen Sie JSON-Endpunkte, aktivieren Sie Kompression und überspringen Sie bereits vorhandene Seiten. Ein schlanker Scraper verbraucht oft fünf- bis zehnmal weniger Traffic als ein voller Browser.
In vier Schritten einrichten
- Guthaben aufladen und GB des benötigten Produkts kaufen
- Gateway-Host, Port, Benutzername und Passwort aus der Konsole kopieren
- Proxy im Scraper einstellen und ggf. Länderkennung hinzufügen
- Starten, Antwortcodes prüfen und Rotation oder Sessions anpassen
Fragen zu Web Scraping
Wie viele GB brauche ich zum Scrapen?
Teilen Sie Ihre monatliche Seitenanzahl durch die Seiten pro GB. Leichte HTML-Seiten mit 100 KB ergeben etwa 10.000 Seiten pro GB; schwere Seiten mit Bildern deutlich weniger.
Rotierend oder sticky beim Scrapen?
Rotierend für unabhängige Seiten. Sticky, wenn eine Aufgabe mehrere Anfragen von derselben IP benötigt, z.B. Paginierung mit Session-Cookie.