為何爬取需要 proxy
大多數網站限制單一 IP 的請求數量。從單一伺服器運行的爬取器在幾分鐘內就會達到該限制，並開始收到錯誤、驗證碼或空白頁面。輪換 proxy 為每個請求提供不同的地址，使每個 IP 的請求率保持低位，工作持續運行。
位置也很重要。價格、庫存、搜索結果甚至頁面佈局因國家而異。正確國家的 proxy 返回當地訪客看到的頁面。
使用哪種 proxy 類型
對於開放網站和 API，先使用數據中心流量：每 GB 最便宜且最快。當目標網站封鎖雲端 IP 或返回驗證碼時，轉用住宅流量。需要城市、郵政編碼或 ASN 的工作則使用高級住宅流量。
- 數據中心：開放頁面、API、您自己的網站
- 住宅：電子商務、市場、旅遊、分類廣告
- 高級住宅：本地結果和送貨區域
如何降低流量成本
流量按雙向 GB 計費，因此頁面大小決定您的成本。封鎖圖片、字體和視頻，當網站提供時請求 JSON 端點，啟用壓縮並跳過已擁有的頁面。精簡的爬取器通常使用的流量比完整瀏覽器少五到十倍。
四步設置
- 充值並購買所需產品的 GB
- 從控制台複製 gateway 主機、端口、用戶名和密碼
- 在爬取器中設置 proxy，並在需要時添加國家代碼
- 運行，觀察響應代碼並調整輪換或會話