Scrapy proxy integation

Scrapyプロキシの統合

Scrapyとは

ScrapyはWebクローリングとスクレイピングのためのPythonフレームワークで、これを使用するとウェブサイトから構造化データを抽出できます。オープンソースかつ高速で拡張可能です。Scrapyはデータマイニング、モニタリング、自動テストなど、さまざまな目的に使用できます。

ScrapyとBright Dataプロキシの統合

任意のIDEでScrapyプロジェクトを新規作成し、コマンドラインに次のように入力します:

      scrapy startproject 
    

これにより、プロジェクト名の付いたフォルダーが新規作成されます。そのフォルダーでPythonファイルを開きます。

  • Bright Dataのコントロールパネルに移動し、[プロキシとスクレイピングインフラ]アイコンをクリックします
  • [追加] をクリック、ネットワークタイプを選択、プロキシを設定、[保存]をクリックしてプロキシゾーンを新規作成します
  • プロキシゾーンの[アクセスパラメータ]タブの下に、[ユーザー名]と[パスワード]の値が表示されます。
  • Scrapyのスパイダーコードファイルの、リクエストのメタパラメータで、以前の[USERNAME]と[PASSWORD]の値を使用して、[proxy]値を「http://USERNAME:[email protected]:22225」に設定します
  • 例:
      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
   name = "BrightDataScrapyExample"

  def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://USERNAME:[email protected]:22225"
       yield request

   def parse(self, response):
       print(response.body)
    

次に、コマンドラインで次のコマンドを実行します:

      scrapy runspider 
    

ScrapyでBright Dataプロキシマネージャーを使用する方法

  • 上記の直接統合と同様にプロキシゾーンを作成
  • Proxy Managerをインストール
  • [新しいポートを追加]をクリックし、あなたのユースケースに合わせて設定します
  • Scrapyのスパイダーコードファイルの、リクエストのメタパラメーターで[proxy]値を「http://IP:PORTNUMBER」に設定します。
  • ローカルホストIPは127.0.0.1です。これは、プロキシマネージャーをマシンにインストールしている場合に使用する値です。プロキシマネージャーが外部サーバーにインストールされている場合、そのサーバーのIPアドレスを入力します
  • プロキシマネージャーで作成されるポートは24XXXです。たとえば、24000です。これはデフォルトの最初のポート番号です
  • 例:
      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
   name = "BrightDataScrapyExample"

   def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://127.0.0.1:24000"
       yield request

   def parse(self, response):
       print(response.body)
    

Scrapyのプロキシを取得

proxy badges

受賞歴のあるプロキシネットワークを搭載

72百万以上の住宅用IPアドレス、クラス最高のテクノロジー とターゲットにする能力 国、都市、運送業者、ASN プレミアムプロキシサービスを開発者にとって最高の選択肢にします

あらゆるニーズに対応するプロキシタイプ

レジデンシャルプロキシ

  • 7,200万を超えるIP
  • 195カ国で利用可能
  • ローテーションに対応する最大級のリアルピアIPネットワーク
  • 洗練されたウェブサイトすべてにアクセスしてクローリング

データセンタープロキシ

  • 1,600万を超えるIP
  • 98カ国で利用可能
  • 共有および専用のIPプールを利用可能
  • 複雑でないウェブサイトへ迅速にアクセス

ISPプロキシ

  • 60万を超えるIP
  • 35カ国で利用可能
  • IPローテーションのない本物のスタティックレジデンシャルIP
  • 複数アカウントへのログインに最適

モバイルプロキシ

  • 700万を超えるIP
  • 195カ国で利用可能
  • 世界最大のリアルピア3G/4G IPネットワーク
  • モバイル広告の検証とモバイルサイトのクローリング

業界No.1のカスタマーエクスペリエンス

どんなニーズにも対応

毎日新機能をリリース

年中無休グローバルサポート

必要な時にサポートします

完全な透明性

リアルタイムのネットワークパフォーマンス ダッシュボード

専任のアカウント
マネージャー

パフォーマンスを最適化する

ニーズに合わせたご提案

お客様のデータ収集目標を満たします

プロキシとデータ収集の分野における業界トップ

Category leader in proxies

毎日650TBの公共データが収集されている

Number of ISP proxies

毎日新機能をリリース

Serving 7/10 universities

世界有数の大学10校のうち7校にサービスを提供

Trust pilot ratings

4.6/5トラストパイロット評価

Scrapyプロキシを取得する準備はできていますか?