Scrapyとは?
ScrapyはウェブクロールとスクレイピングのためのPythonフレームワークで、ウェブサイトから構造化データを抽出できます。オープンソースで高速、かつ拡張性があります。Scrapyはデータマイニング、モニタリング、自動テストなど様々な用途に使用できます。
Bright DataプロキシとのScrapy統合
お好みのIDEを開き、新しいscrapyプロジェクトを開始し、コマンドラインに次のように入力します：
scrapy startproject <project_name>
これによりプロジェクト名のフォルダが新規作成されます。フォルダ内でpythonファイルを開いてください。
- Bright Dataコントロールパネルに移動し、「Proxies & Scraping Infra」アイコンをクリックします
- 「Add」をクリックし、ネットワークタイプを選択、プロキシを設定して保存をクリックすることで新しいプロキシゾーンを作成します
- プロキシゾーンの「Access parameters」タブで、「USERNAME」と「PASSWORD」の値を確認できます。
- scrapyスパイダーのコードファイルで、リクエストのmetaパラメータ内で「proxy」の値を以下のように設定します。先ほどの「USERNAME」と「PASSWORD」の値を使用します：「http://USERNAME:[email protected]:33335」
- 例：
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://USERNAME:[email protected]:33335"
yield request
def parse(self, response):
print(response.body)
次にコマンドラインで以下のコマンドを実行します：
scrapy runspider <Pythonfilename.py>
Scrapyと共にBright Dataプロキシマネージャーを使う方法
- 上記の直接統合と同様にプロキシゾーンを作成します
- プロキシマネージャーをインストールします
- 「add new port」をクリックし、ユースケースに合わせて設定します
- Scrapyスパイダーのコードファイルで、リクエストのmetaパラメータ内で「proxy」の値を次のように設定します：「http://IP:PORTNUMBER」
- ローカルホストIPは127.0.0.1です。これはプロキシマネージャーがご自身のマシンにインストールされている場合に使用する値です。プロキシマネージャーが外部サーバーにインストールされている場合は、そのサーバーのIPアドレスを入力してください
- プロキシマネージャーで作成されるポートは24XXX、例えば24000がデフォルトの最初のポート番号です
- 例：
import scrapy
class BrightdatascrapyexampleSpider(scrapy.Spider):
name = "BrightDataScrapyExample"
def start_requests(self):
request = scrapy.Request(url="http://example.com",callback=self.parse)
request.meta['proxy'] = "http://127.0.0.1:24000"
yield request
def parse(self, response):
print(response.body)
⚠️重要な注意: Bright Dataのレジデンシャルプロキシ、Web Unlocker、SERP APIをご利用の場合、ターゲットウェブサイトへのエンドツーエンドの安全な接続を可能にするためにSSL証明書をインストールする必要があります。これは簡単な手順です。手順についてはhttps://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificateをご覧ください。
Scrapy用のプロキシを取得
受賞歴のあるプロキシネットワークを搭載
72百万以上の住宅用IPアドレス、クラス最高のテクノロジー とターゲットにする能力 国、都市、運送業者、ASN プレミアムプロキシサービスを開発者にとって最高の選択肢にします
あらゆる開発パスに対応するプロキシ
ネットワーク、ピアIP、IPを自由に組み合わせて、ウェブデータの継続的なフローを最適化しましょう。
AWSを使用していますか？AWSマーケットプレイスを通じて支払いできるようになりました 業界No.1のカスタマーエクスペリエンス
どんなニーズにも対応
毎日新機能をリリース
年中無休グローバルサポート
必要な時にサポートします
完全な透明性
リアルタイムのネットワークパフォーマンス ダッシュボード
専任のアカウント
マネージャー
マネージャー
パフォーマンス最適化のサポート
ニーズに合わせたご提案
お客様のデータ収集目標を満たします
プロキシとデータ収集の分野における業界トップ
毎日650TBの公共データが収集されている
毎日新機能をリリース
世界有数の大学10校のうち7校にサービスを提供
4.6/5トラストパイロット評価