為什麼爬蟲需要 proxies
大多數網站限制單一 IP 的請求數量。從單一伺服器運行的爬蟲在幾分鐘內就會達到該限制，並開始收到錯誤、驗證碼或空白頁面。輪換 proxies 為每個請求提供不同的位址，因此每個 IP 的速率保持低位，任務得以持續運行。
位置也很重要。價格、庫存、搜尋結果甚至頁面佈局因國家而異。位於正確國家的 proxy 會返回當地訪客看到的頁面。
使用哪種 proxy 類型
對於開放網站和 API，先使用資料中心流量：每 GB 最便宜且速度最快。當目標網站封鎖雲端 IP 或返回驗證碼時，轉用住宅流量。對於需要城市、郵遞區號或 ASN 的工作，使用高級住宅流量。
- 資料中心：開放頁面、API、您自己的網站
- 住宅：電子商務、市場、旅遊、分類廣告
- 高級住宅：本地結果和配送區域
如何降低流量成本
流量按雙向 GB 計費，因此頁面大小決定您的成本。封鎖圖片、字體和影片，當網站提供 JSON 端點時請求它們，啟用壓縮並跳過您已擁有的頁面。精簡的爬蟲通常使用的流量比完整瀏覽器少五到十倍。
四個步驟完成設定
- 充值並購買所需產品的 GB
- 從控制台複製閘道主機、端口、用戶名和密碼
- 在爬蟲中設定 proxy，並在需要時添加國家代碼
- 運行，觀察回應代碼並調整輪換或會話