スクレイパーがプロキシを必要とする理由
ほとんどのウェブサイトは、1つのIPが送信できるリクエスト数を制限しています。単一サーバーから実行されるスクレイパーは、数分以内にその制限に達し、エラー、キャプチャ、または空のページを受け取り始めます。ローテーションプロキシは、各リクエストに異なるアドレスを与えるため、IPごとのレートが低く保たれ、ジョブが継続して実行されます。
ロケーションも重要です。価格、在庫、検索結果、さらにはページレイアウトも国によって変わります。適切な国のプロキシは、地元の訪問者が見るページを返します。
使用するプロキシタイプ
オープンサイトやAPIにはデータセンタートラフィックから始めましょう: GBあたり最も安く、最も高速です。クラウドIPをブロックしたりキャプチャを返したりするターゲットには、レジデンシャルトラフィックに移行します。都市、ZIPコード、ASNが必要なジョブにはプレミアムレジデンシャルを使用します。
- データセンター: オープンページ、API、自社サイト
- レジデンシャル: eコマース、マーケットプレイス、旅行、分類広告
- プレミアムレジデンシャル: ローカル結果と配達ゾーン
トラフィックコストを抑える方法
トラフィックは双方向でGB単位で課金されるため、ページの重さがコストを決定します。画像、フォント、ビデオをブロックし、サイトが提供するJSONエンドポイントをリクエストし、圧縮を有効にして既に持っているページをスキップします。リーンなスクレイパーは、フルブラウザの5分の1から10分の1のトラフィックを使用することがよくあります。
4つのステップで設定
- クレジットを追加し、必要な製品のGBを購入
- コンソールからゲートウェイホスト、ポート、ユーザー名、パスワードをコピー
- スクレイパーにプロキシを設定し、必要に応じて国コードを追加
- 実行し、応答コードを監視し、ローテーションまたはセッションを調整
ウェブスクレイピングに関する質問
スクレイピングに必要なGB数は？
月間ページ数を1GBあたりのページ数で割ります。100KBの軽いHTMLページは1GBあたり約10,000ページ、画像を含む重いページはそれより少なくなります。
スクレイピングにはローテーションまたはスティッキー？
独立したページにはローテーション。1つのタスクが同じIPからの複数のリクエストを必要とする場合、例えばセッションクッキーを使用したページネーションにはスティッキー。