この記事の内容は以下のとおりです。
プロキシとは何か
プロキシサーバーは、Webページを要求するクライアントとその情報を提供するサーバーとの間の仲介役として機能します。プロキシが備える匿名性によって、多くのWebサイトがスクレイピングを防ぐために設けている制限を乗り越えることができます。
プロキシが必要な理由
多くの企業が、広告効果の検証、価格モニタリング、ソーシャルメディアモニタリング、評判管理、データスクレイピングなどを実現するためには、大量のWebデータの収集が必要だと考えています。
しかしながら多くのWebサイトは、サイトから収集できるデータの種類に制限を設けています。ほとんどすべてのWebサイトにはrobots.txtファイルがあり、そこには、Webサイトの所有者がWebクローラーに要求するルールが記述されています。
多くのサイトで、Webクローラーには強制的に制限が課されます。たとえば、特定の地域の訪問者にのみサイトが表示される地理的な制限や、「5分間でリクエストは100件まで」のような量的な制限です。制限を超えるアクティビティが検出された場合、WebサイトはCAPTCHAなどのブロック技術を作動させたり、単純にページの読み込みを拒否したりできます。
プロキシによって、正当なWeb訪問者のように見えるIPアドレスにトラフィックをルーティングすれば、これらの制限を回避しやすくなります。
静的プロキシとは
静的プロキシのIPアドレスは時間が経っても変化しません。静的プロキシは、データセンターやISPが販売またはリースするIPアドレスのグループです。
静的プロキシには多くの利点があります。リクエスタとターゲットWebサイトの間に「ホップ」が1つしかないため、実行速度が速くなります。最大の利点の1つは、IPを「期間中ずっと」保持できるオプションです。つまり、必要とする限り専用のアドレスとして使用できます。
静的プロキシにはいくつかの欠点もあります。要件にもよりますが、提供される静的IPアドレスのグループでは、データスクレイピングの地理的ニーズすべてをカバーできない可能性があります。Amazonなど、送信するリクエストが多すぎる静的IPアドレスをブロックするショッピングサイトもあります。
ローテーションプロキシとは
ローテーションプロキシでは、使用中のIPが利用できなくなった場合、またはプロキシマネージャーで自動IPローテーションを設定している場合に新しいIPアドレスを提供します。IPアドレスが、事前に定義された時間（秒/分）に基づき、一定回数のリクエストの後、または使用中のIPが利用できなくなったタイミングでローテーションされます。プロキシ管理システムが、新しいIPアドレスをいつどのように割り当てるかを制御します。ローテーションプロキシは、 住宅用またはモバイル用のIPアドレスのプールから次のアドレスを取得します。ユーザーは、無料または広告なしのアプリを使用して、デバイスをネットワークに接続します。
ローテーションプロキシには、静的プロキシよりも優れた多くの利点があります。まず、ローテーションプロキシでは何百万もの住宅およびモバイルデバイスのIPアドレスを使用できます。これにより、都市/州レベルまで地理的ターゲティングを細分化できます。次に、IPローテーションと住宅/モバイルデバイスの合法的なIPとの組み合わせで、IPのローテーションが非常に検出されにくくなります。
ローテーションプロキシの主な欠点は次の3つです。ローテーションプロキシは静的プロキシほど高速ではありません。ゲートウェイプロキシサーバーが新しいIPアドレスを割り当てる処理に伴って、プロセスに余分の「ホップ」が発生するからです。IPアドレスのプール（住宅/モバイルデバイス用）は通常、データセンターやISPのプロキシよりも帯域幅が狭くなります。最後に、何百万ものIPアドレスを調達して維持する必要があるため、ローテーションプロキシは料金が高くなるのが普通です。
静的プロキシとローテーションプロキシの比較
| 静的プロキシ | ローテーションプロキシ | |
| IPアドレス | 固定。IPアドレスはデータセンターやISPから購入するか、リースで取得します | 可変。設定に基づいて、新しいIPアドレスが割り当てられます。 |
| 推奨分野 | それほど複雑でないWebサイトをターゲットとしているので、静的IPプールの高速性を活かせる企業。ユースケースの例: アカウント管理や広告効果の検証。 | 高度なWebサイトをターゲットとしているので、IPローテーションの利点を活かせる企業。 |
| ブロックリスク | 検出可能 | 検出が難しい |
静的プロキシとローテーションプロキシのユースケース
静的プロキシとローテーションプロキシのユースケースは大きく異なります。よくあるユースケースは次のとおりです。
静的プロキシのユースケース
- 広告効果の検証。特定の国/州/都市からユーザーとして広告を閲覧できるので、マーケティング担当者は、適切なメッセージや画像が適切な受け手に配信され、適切なランディングページに誘導されることを確認できます。
- ネットワーク侵入攻撃テスト。ISO 27001認証にはネットワーク侵入テストが必要です。静的プロキシでは、優れた侵入テストに必要な容量、スピード、匿名性を容易に実現できます。
- ソーシャルメディアのアカウント管理。Facebook、Instagram、その他のソーシャルメディアの多数のアカウントをさまざまな地理的位置から管理できます。優れたアンチディテクトブラウザーと統合できます。
- 評判管理。静的プロキシは、Web上の自社のイメージに関するデータを収集するのに適しています。これには、ポジティブなカスタマーレビューやネガティブなカスタマーレビュー、プレスによる言及、ソーシャルメディアでの評判などが含まれます。
ローテーションプロキシのユースケース
- eコマースの競争市場分析。競合他社の価格情報と製品在庫データを収集します。
- ビジネスインテリジェンス。LinkedIn情報のような機密性の高い公開データをスクレイピングするには、住宅プロキシのローテーションで実現できる匿名性と規模が必要です。
まとめ
静的プロキシと動的プロキシのいずれにも、長所と短所があります。どちらを利用すべきかを判断するには、次の質問に答える必要があります: スクレイピングしたいWebサイトはどのくらい複雑か。同じIPが長期的に必要になるか。高速なアクセスが必要か（ローテーションプロキシにはKYCプロセスがあるため）。
必要なプロキシタイプが決まったら、以下のフォームに記入して7日間の無料試用版を入手し、プロキシがどのように機能するかご自身でお確かめください。
