AI 데이터 파이프라인이 프록시를 사용하는 이유
학습 및 평가 데이터셋은 폭넓어야 해요: 다양한 사이트, 다양한 국가, 다양한 언어가 필요하죠. 몇 대의 서버에서 그런 규모로 크롤링하면 빠르게 속도 제한에 걸리게 돼요. 회전 프록시 풀을 사용하면 부하를 분산할 수 있고, 국가 타겟팅을 통해 해당 지역에서 게시된 현지 언어 콘텐츠를 수집할 수 있어요.
대규모 크롤링을 위한 볼륨 할인
대규모 크롤링에는 볼륨 스텝이 가장 유리해요: 1TB 이상을 한 번에 구매하면 GB당 더 낮은 요금이 적용되며, 사용하지 않은 트래픽도 만료되지 않아요. 프로젝트 기간 동안 한 번에 대량 구매하고 필요할 때마다 사용하세요.
- 오픈 소스 및 공개 데이터셋을 위한 데이터센터
- 클라우드 트래픽을 필터링하는 사이트를 위한 레지던셜
- 현지 언어 수집을 위한 국가 타겟팅
책임감 있게 수집하세요
공개 데이터만 수집해요, 각 사이트의 이용 약관과 robots 규칙을 준수해요, 요청 속도를 합리적으로 유지하고 처리할 수 없는 개인 데이터는 절대 수집하지 않아요. 저희의 허용 가능한 사용 규칙은 모든 계정에 적용돼요.
4단계로 설정하기
- 샘플 크롤링으로 GB 단위의 볼륨을 추정하세요
- 볼륨 가격으로 한 블록을 구매하세요
- 국가 코드로 작업을 나누세요
- 콘솔에서 사용량을 추적하고 필요할 때 충전하세요