Scrapy プロキシ統合

このガイドは古くなっている可能性があります。最新のガイドについてはこちらのドキュメントをご覧ください。

Scrapy とは？

Scrapy は、ウェブクローリングおよびウェブスクレイピング用の Python フレームワークで、ウェブサイトから構造化データを抽出することができます。オープンソースで高速かつ拡張性があります。Scrapy は、データマイニング、監視、自動テストなど、さまざまな目的に使用できます。

Scrapy 用プロキシを取得する

Scrapy と Bright Data プロキシの統合

お好みの IDE を開いて新しい Scrapy プロジェクトを開始し、コマンドラインに以下を入力してください：

      scrapy startproject <project_name>

プロジェクト名の新しいフォルダが作成されます。そのフォルダ内で Python ファイルを開いてください。

Bright Data コントロールパネルにアクセスし、「Proxies & Scraping Infra」アイコンをクリックします
「Add」をクリックして新しいプロキシゾーンを作成し、ネットワークタイプを選択してプロキシを設定し、保存をクリックします
プロキシゾーンの「Access parameters」タブで、「USERNAME」と「PASSWORD」の値を確認できます。
Scrapy スパイダーのコードファイル内で、リクエストの meta パラメーターに「proxy」の値を設定します。先ほどの「USERNAME」と「PASSWORD」を使用して：「http://USERNAME:[email protected]:33335」
例：

      import scrapy



class BrightdatascrapyexampleSpider(scrapy.Spider):

   name = "BrightDataScrapyExample"



  def start_requests(self):

       request = scrapy.Request(url="http://example.com",callback=self.parse)

       request.meta['proxy'] = "http://USERNAME:[email protected]:33335"

       yield request



   def parse(self, response):

       print(response.body)

次に、コマンドラインで以下のコマンドを実行してください：

      scrapy runspider <Pythonfilename.py>

Scrapy で Bright Data プロキシマネージャーを使用する方法

上記の直接統合と同様にプロキシゾーンを作成します
プロキシマネージャーをインストールします
「add new port」をクリックして、ユースケースに合わせて設定します
Scrapy スパイダーのコードファイル内で、リクエストの meta パラメーターに「proxy」の値を次のように設定します：「http://IP:PORTNUMBER」
ローカルホスト IP は 127.0.0.1 です。プロキシマネージャーがご自身のマシンにインストールされている場合はこの値を使用してください。外部サーバーにインストールされている場合は、そのサーバーの IP アドレスを入力します
プロキシマネージャーで作成されたポートは 24XXX です（例：24000 はデフォルトの最初のポート番号）
例：

      import scrapy



class BrightdatascrapyexampleSpider(scrapy.Spider):

   name = "BrightDataScrapyExample"



   def start_requests(self):

       request = scrapy.Request(url="http://example.com",callback=self.parse)

       request.meta['proxy'] = "http://127.0.0.1:24000"

       yield request



   def parse(self, response):

       print(response.body)

⚠️重要なお知らせ： Bright Data のレジデンシャルプロキシ、Web Unlocker、または SERP API を使用している場合、対象ウェブサイトへのエンドツーエンドの安全な接続を有効にするために SSL 証明書をインストールする必要があります。簡単な手順については https://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificate をご覧ください。