為什麼 AI 資料管道使用 proxies
訓練和評估集需要廣度：許多網站、許多國家、許多語言。從少數伺服器進行如此大規模的爬蟲會迅速觸發速率限制。輪換 proxy 池分散負載，國家定位功能讓您收集當地語言內容。
大規模爬蟲的批量定價
大規模爬蟲最能受益於批量步驟：任何單次購買 1 TB 或以上均按較低的每 GB 費率計費，未使用的流量永不失效。購買一大塊流量並在項目生命週期內逐步使用。
- 資料中心用於開放來源和公共資料集
- 住宅用於過濾雲端流量的網站
- 國家定位用於本地語言收集
負責任地收集
僅收集公開資料，尊重每個網站的條款和機器人規則，保持合理的請求速率，絕不收集您無權處理的個人資料。我們的合理使用規則適用於每個帳戶。
四個步驟完成設定
- 從樣本爬取中估算 GB 量
- 以批量價格購買一個區塊
- 按國家代碼拆分任務
- 在控制台追蹤使用情況並在需要時充值