Scrapy proxy integation

Scrapyプロキシの統合

Scrapyとは

ScrapyはWebクローリングとスクレイピングのためのPythonフレームワークで、これを使用するとウェブサイトから構造化データを抽出できます。オープンソースかつ高速で拡張可能です。Scrapyはデータマイニング、モニタリング、自動テストなど、さまざまな目的に使用できます。

ScrapyとBright Dataプロキシの統合

任意のIDEでScrapyプロジェクトを新規作成し、コマンドラインに次のように入力します:
      scrapy startproject 
    
これにより、プロジェクト名の付いたフォルダーが新規作成されます。そのフォルダーでPythonファイルを開きます。
  • Bright Dataのコントロールパネルに移動し、[プロキシとスクレイピングインフラ]アイコンをクリックします
  • [追加] をクリック、ネットワークタイプを選択、プロキシを設定、[保存]をクリックしてプロキシゾーンを新規作成します
  • プロキシゾーンの[アクセスパラメータ]タブの下に、[ユーザー名]と[パスワード]の値が表示されます。
  • Scrapyのスパイダーコードファイルの、リクエストのメタパラメータで、以前の[USERNAME]と[PASSWORD]の値を使用して、[proxy]値を「http://USERNAME:[email protected]:22225」に設定します
  • 例:
      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
   name = "BrightDataScrapyExample"

  def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://USERNAME:[email protected]:22225"
       yield request

   def parse(self, response):
       print(response.body)
    
次に、コマンドラインで次のコマンドを実行します:
      scrapy runspider 
    

ScrapyでBright Dataプロキシマネージャーを使用する方法

  • 上記の直接統合と同様にプロキシゾーンを作成
  • Proxy Managerをインストール
  • [新しいポートを追加]をクリックし、あなたのユースケースに合わせて設定します
  • Scrapyのスパイダーコードファイルの、リクエストのメタパラメーターで[proxy]値を「http://IP:PORTNUMBER」に設定します。
  • ローカルホストIPは127.0.0.1です。これは、プロキシマネージャーをマシンにインストールしている場合に使用する値です。プロキシマネージャーが外部サーバーにインストールされている場合、そのサーバーのIPアドレスを入力します
  • プロキシマネージャーで作成されるポートは24XXXです。たとえば、24000です。これはデフォルトの最初のポート番号です
  • 例:
      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
   name = "BrightDataScrapyExample"

   def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://127.0.0.1:24000"
       yield request

   def parse(self, response):
       print(response.body)
    

Scrapyのプロキシを取得

Proxy badges

受賞歴のあるプロキシネットワークを搭載

72百万以上の住宅用IPアドレス、クラス最高のテクノロジー とターゲットにする能力 国、都市、運送業者、ASN プレミアムプロキシサービスを開発者にとって最高の選択肢にします

あらゆるニーズに対応するプロキシタイプ

レジデンシャルプロキシ

  • 7,200万を超えるIP
  • 195カ国で利用可能
  • ローテーションに対応する最大級のリアルピアIPネットワーク
  • 洗練されたウェブサイトすべてにアクセスしてクローリング

データセンタープロキシ

  • 1,600万を超えるIP
  • 98カ国で利用可能
  • 共有および専用のIPプールを利用可能
  • 複雑でないウェブサイトへ迅速にアクセス

ISPプロキシ

  • 60万を超えるIP
  • 35カ国で利用可能
  • IPローテーションのない本物のスタティックレジデンシャルIP
  • 複数アカウントへのログインに最適

モバイルプロキシ

  • 700万を超えるIP
  • 195カ国で利用可能
  • 世界最大のリアルピア3G/4G IPネットワーク
  • モバイル広告の検証とモバイルサイトのクローリング

業界No.1のカスタマーエクスペリエンス

お客様のニーズに合わせてカスタマイズ

毎日新しい機能がリリースされています

時間年中無休のグローバルサポート

何時でもお気軽にご連絡ください

完全な透明性

リアルタイムのネットワークパフォーマンス ダッシュボード

専任のアカウント マネージャー

パフォーマンスの最適化を支援します

カスタマイズされたソリューション

データ収集の目標を達成するには

プロキシとデータ収集のカテゴリーリーダー

Category leader in proxies

毎日収集される650TBの公開データ

Number of ISP proxies

700,000+の実際のモバイルIP、実際のピアによって共有

Serving 7/10 universities

世界をリードする大学10校中7校にサービス提供

Trust pilot ratings

業界で4.5/5最高のトラストパイロット評価

Scrapyプロキシを取得する準備はできていますか?