Puppeteerプロキシ統合

新しいBright Dataの製品: スクレイピングブラウザ

Puppeteer 対応
簡単にAPI呼び出しを行い、Puppeteer（Python）、Playwright（Node.js）、またはSeleniumを使用してCDPプロトコルを介して任意の数のブラウザセッションと対話します。データを取得するためにウェブサイトとの対話が必要なスクレイピングプロジェクトに最適です。ページ上でホバリング、ボタンのクリック、スクロール、テキストの追加などが含まれます。

すくれいぴんぐぶらうざについてもっとまなびたい

無料トライアル

Bright DataのスーパープロキシとPuppeteerの統合

まず、Bright Dataのダッシュボード Bright Dataのダッシュボードにアクセスし、「Zone の作成」をクリックします。
「ネットワークタイプ」を選択し、保存をクリックします。
Puppeteer内で、’proxy-server’の値に ‘Proxy IP:Port’ を入力してください。例：zproxy.lum-superproxy.io:22225。
page.authenticate’の下で、’username’の値にBright DataのアカウントIDとプロキシゾーン名を入力してください。例：lum-customer-CUSTOMER-zone-YOURZONE。また、ゾーンの設定で見つかるゾーンのパスワードも入力してください。
例:

      const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    headless: false,
    args: ['--proxy-server=zproxy.lum-superproxy.io:22225']
  });
  const page = await browser.newPage();
    await page.authenticate({
        username: 'lum-customer-USERNAME-zone-YOURZONE',
        password: 'PASSWORD'
    });
    await page.goto('http://lumtest.com/myip.json');
    await page.screenshot({path: 'example.png'});
    await browser.close();
})();

プロキシマネージャとPuppeteerの統合

ネットワーク、IPタイプ、使用するIPの数でZone を作成します。
プロキシマネージャをインストールします。
「新しいプロキシの追加」をクリックして必要なZone と設定を選択し、「保存」をクリックします。
Puppeteerで「プロキシサーバー」にお客様のローカルIPとプロキシマネージャポートを入力します（たとえば、127.0.0.1:24000）
ローカルホストIPは127.0.0.1です
プロキシマネージャ内で作成されるポートは、24XXXです（たとえば、24000）
ユーザー名とパスワード値は空白のままにします。Bright Dataプロキシマネージャではスーパープロキシですでに認証されています。
例

      const puppeteer = require('puppeteer');

(async () => {
    const browser = await puppeteer.launch({
        headless: false,
        args: ['--proxy-server=127.0.0.1:24000']
    });
    const page = await browser.newPage();
    await page.authenticate();
    await page.goto('http://lumtest.com/myip.json');
    await page.screenshot({path: 'example.png'});
    await browser.close();
})();