為何 AI 數據管道使用 proxy
訓練和評估集需要廣度：許多網站、許多國家、許多語言。從少數伺服器進行如此大規模的爬取會迅速觸發速率限制。輪換 proxy 池分散負載，國家定位讓您從發布區域收集當地語言內容。
大規模爬取的批量定價
大規模爬取最能受益於批量階梯定價：任何單次購買 1 TB 或以上均按較低的每 GB 費率計費，未使用的流量永不過期。購買一大塊流量並在項目生命週期內逐步使用。
- 數據中心適用於開放源同公開數據集
- 住宅IP適用於封鎖雲端流量嘅網站
- 國家定位適用於本地語言內容收集
負責任地收集
只收集公開數據，尊重每個網站嘅條款同robots規則，保持合理請求頻率，切勿收集未獲授權處理嘅個人資料。我哋嘅可接受使用規則適用於所有賬戶。
四步設置
- 從樣本爬取估算所需GB量
- 按量購買一個流量包
- 用國家代碼分區任務
- 在控制台追蹤用量並按需充值