Scrapyプロキシの統合

Scrapyとは

ScrapyはWebクローリングとスクレイピングのためのPythonフレームワークで、これを使用するとウェブサイトから構造化データを抽出できます。オープンソースかつ高速で拡張可能です。Scrapyはデータマイニング、モニタリング、自動テストなど、さまざまな目的に使用できます。

Scrapyのプロキシを取得

ScrapyとBright Dataプロキシの統合

任意のIDEでScrapyプロジェクトを新規作成し、コマンドラインに次のように入力します:

      scrapy startproject

これにより、プロジェクト名の付いたフォルダーが新規作成されます。そのフォルダーでPythonファイルを開きます。

Bright Dataのコントロールパネルに移動し、[プロキシとスクレイピングインフラ]アイコンをクリックします
[追加] をクリック、ネットワークタイプを選択、プロキシを設定、[保存]をクリックしてプロキシゾーンを新規作成します
プロキシゾーンの[アクセスパラメータ]タブの下に、[ユーザー名]と[パスワード]の値が表示されます。
Scrapyのスパイダーコードファイルの、リクエストのメタパラメータで、以前の[USERNAME]と[PASSWORD]の値を使用して、[proxy]値を「http://USERNAME:[email protected]:33335」に設定します
例:

      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
   name = "BrightDataScrapyExample"

  def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://USERNAME:[email protected]:33335"
       yield request

   def parse(self, response):
       print(response.body)

次に、コマンドラインで次のコマンドを実行します:

      scrapy runspider

ScrapyでBright Dataプロキシマネージャーを使用する方法

上記の直接統合と同様にプロキシゾーンを作成
Proxy Managerをインストール
[新しいポートを追加]をクリックし、あなたのユースケースに合わせて設定します
Scrapyのスパイダーコードファイルの、リクエストのメタパラメーターで[proxy]値を「http://IP:PORTNUMBER」に設定します。
ローカルホストIPは127.0.0.1です。これは、プロキシマネージャーをマシンにインストールしている場合に使用する値です。プロキシマネージャーが外部サーバーにインストールされている場合、そのサーバーのIPアドレスを入力します
プロキシマネージャーで作成されるポートは24XXXです。たとえば、24000です。これはデフォルトの最初のポート番号です
例:

      import scrapy

class BrightdatascrapyexampleSpider(scrapy.Spider):
   name = "BrightDataScrapyExample"

   def start_requests(self):
       request = scrapy.Request(url="http://example.com",callback=self.parse)
       request.meta['proxy'] = "http://127.0.0.1:24000"
       yield request

   def parse(self, response):
       print(response.body)