PlaywrightプロキシとBright Dataの統合
PlaywrightはChromium・Firefox・WebKitを単一APIで自動化するNode.jsライブラリです。Playwrightを確実にBright Dataと統合するために必要なすべての手順が用意されます。
新製品 Bright Data: スクレイピングブラウザー
Playwright 互換
API呼び出しを容易に行い、CDPプロトコルを介してPuppeteer(Python)またはPlaywright(Node.js)を使用して任意の数のブラウザーセッションをフェッチし、それらと対話することができます。ページ上をホバーしたり、ボタンをクリックしたり、スクロールしたり、テキストを追加したりするなど、ウェブサイトとの対話を必要とするデータの取得に最適なスクレイピングプロジェクトに最適です。
Bright DataのスーパープロキシとPlaywrightの統合
- まずBright Dataのダッシュボードにアクセスし、「ゾーンの作成」をクリックします。
- 「ネットワークタイプ」を選択し、保存をクリックします。
- Playwrightの「サーバー」値の「プロキシIP:ポート」に値を入力します。たとえば
http://zproxy.lum-superproxy.io:22225
. - 「ユーザー名」にお客様のBright DataアカウントIDとプロキシゾーン名を入力します。たとえば:
lum-customer-CUSTOMER-zone-YOURZONE
「パスワード」ではゾーン設定にあるゾーンのパスワードを入力します。 - たとえば:
const playwright = require('playwright');
(async () => {
for (const browserType of ['chromium', 'firefox', 'webkit']) {
const browser = await playwright[browserType].launch({
headless: false,
proxy: {
server: 'http://zproxy.lum-superproxy.io:22225',
username: 'lum-customer-USERNAME-zone-YOURZONE',
password: 'PASSWORD'
},
});
const context = await browser.newContext();
const page = await context.newPage();
await page.goto('http://lumtest.com/myip.json');
await page.screenshot({ path: 'example.png' });
await browser.close();
}
})();
プロキシマネージャとPlaywrightの統合
- ネットワーク、IPタイプ、使用するIPの数でZone を作成します。 プロキシマネージャをインストールします。 「新しいプロキシの追加」をクリックして必要なZone と設定を選択し、「保存」をクリックします。 Playwrightの「プサーバー」にお客様のローカルIPとプロキシマネージャポートを入力します(たとえば、127.0.0.1:24000) ローカルホストIPは127.0.0.1です プロキシマネージャ内で作成されるポートは、24XXXです(たとえば、24000) ユーザー名とパスワード値は空白のままにします。Bright Dataプロキシマネージャではスーパープロキシですでに認証されています。 たとえば:
- プロキシマネージャをインストールします。
- 「新しいプロキシの追加」をクリックして必要なZone と設定を選択し、「保存」をクリックします。
- Playwrightの「プサーバー」にお客様のローカルIPとプロキシマネージャポートを入力します(たとえば、127.0.0.1:24000)
- ローカルホストIPは127.0.0.1です
- プロキシマネージャ内で作成されるポートは、24XXXです(たとえば、24000)
- ユーザー名とパスワード値は空白のままにします。Bright Dataプロキシマネージャではスーパープロキシですでに認証されています。
- たとえば:
const playwright = require('playwright');
(async () => {
for (const browserType of ['chromium', 'firefox', 'webkit']) {
const browser = await playwright[browserType].launch({
headless: false,
proxy: {
server: '127.0.0.1:24000',
username: '',
password: ''
},
});
const context = await browser.newContext();
const page = await context.newPage();
await page.goto('http://lumtest.com/myip.json');
await page.screenshot({ path: 'example.png' });
await browser.close();
}
})();
Bright Dataプロキシについて:
レジデンシャルプロキシ:195ヶ国からの7200万以上の実際のIPを持つBright Dataのレジデンシャルプロキシにより、場所に関係なく任意のウェブサイトコンテンツにアクセスでき、IP禁止とCAPTCHAを回避できます。
ISPプロキシ:700,000以上のISP IPを利用して、世界中の任意の都市からの実際の静的IPを使用できます。これらはISPからBright Dataにリースされ、必要な期間だけ専用で使用できます。
データセンタープロキシ:770,000以上のデータセンターIPを持つBright Dataのデータセンタープロキシネットワークは、世界中の複数のIPタイプで構成され、共有IPプールまたは個別購入のためのものです。
モバイルプロキシ:700万以上のモバイルIPを持つBright Dataの進歩したモバイルIPネットワークは、世界で最も高速で大きな実際のピア3G/4G/5G IPネットワークを提供します。
Bright Dataのトッププロキシ位置