为什么 AI 数据管道使用 proxy
训练和评估集需要广度：许多网站、许多国家、许多语言。从少数服务器进行大规模爬虫会迅速触发速率限制。轮换 proxy 池分散负载，国家定位让您从发布地区收集本地语言内容。
大规模爬虫的批量定价
大规模爬虫最能受益于批量阶梯定价：任何单次购买 1 TB 或更多均按较低的每 GB 费率计费，未使用的流量永不过期。购买一大块流量并在项目生命周期内逐步使用。
- 数据中心代理适用于开源和公共数据集
- 住宅代理适用于过滤云流量的网站
- 国家定位适用于本地语言采集
负责任地采集
仅采集公开数据，尊重每个网站的条款和robots规则，保持合理的请求频率，绝不采集您无权处理的个人数据。我们的可接受使用规则适用于每个账户。
四步设置
- 通过样本爬取估算GB量
- 按批量价格购买一个区块
- 使用国家代码按国家拆分任务
- 在控制台中跟踪使用情况并在需要时充值