스크래퍼가 프록시가 필요한 이유
대부분의 웹사이트는 하나의 IP가 보낼 수 있는 요청 수를 제한해요. 단일 서버에서 실행되는 스크레이퍼는 몇 분 안에 이 제한에 도달하고 오류, 캡차 또는 빈 페이지를 받기 시작해요. 로테이팅 프록시는 각 요청에 다른 주소를 부여해서 IP당 요청 속도를 낮게 유지하고 작업이 계속 실행되도록 해요.
위치도 중요해요. 가격, 재고, 검색 결과, 심지어 페이지 레이아웃도 국가별로 달라져요. 올바른 국가의 프록시를 사용하면 현지 방문자가 보는 페이지를 그대로 확인할 수 있어요.
어떤 프록시 유형을 사용할까요?
데이터센터 트래픽으로 시작해요. 오픈 사이트와 API에 가장 저렴하고 빠르죠. 클라우드 IP를 차단하거나 캡차로 응답하는 타겟은 residential 트래픽으로 옮기세요. 도시, ZIP 코드 또는 ASN이 필요한 작업에는 premium residential을 사용하세요.
- 데이터센터: 오픈 페이지, API, 자사 사이트
- 개인 IP: e-커머스, 마켓플레이스, 여행, 중고거래
- 프리미엄 개인 IP: 지역별 결과 및 배송 존
트래픽 비용 절감 방법
트래픽은 양방향으로 GB당 과금되니까 페이지 크기가 비용을 결정해요. 이미지, 폰트, 비디오는 차단하고 사이트에서 제공하는 JSON 엔드포인트를 요청하세요. 압축을 활성화하고 이미 있는 페이지는 건너뛰면 돼요. 가벼운 스크래퍼는 보통 전체 브라우저보다 5~10배 적은 트래픽을 사용해요.
4단계로 설정하기
- 크레딧 충전 후 필요한 제품의 GB 구매
- 콘솔에서 게이트웨이 호스트, 포트, 사용자명, 비밀번호 복사
- 스크래퍼에 프록시 설정 및 필요한 경우 국가 코드 추가
- 실행 후 응답 코드 확인하며 로테이션 또는 세션 조정