Apify プロキシ統合

Bright DataプロキシをApifyと併用することで、安全かつ匿名のデータ抽出を保証し、IPブロックや検知リスクを低減するため、ウェブスクレイピングの効率が向上します。

このガイドは古くなっている可能性があります。最新のガイドについては、当社のドキュメントをご覧ください。

無料トライアル Google で始める

クレジットカードは必要ありません

150M+ レジデンシャルIP
固定セッションとローテーションセッション
99.95%の成功率
地域ターゲティング- 無料

Apifyとは何ですか？

Apifyは強力なウェブスクレイピング、データ抽出、Web RPAプラットフォームです。ウェブブラウザで手動可能な操作を自動化し、大規模に実行できます。Apifyストアには設定変更のみで利用可能なスクレイピングツールが数百種類揃っています。

プロキシはウェブスクレイピングに不可欠な要素です。ウェブスクレイピング時には常に身元を保護すべきであり、対象ウェブサイトが導入している反スクレイピング対策やその他の制限に対処する必要も生じます。

そこでBright Dataの出番です 💪

BrightDataのプロキシは、スクレイピングや自動化タスクの成功を支援します。Bright DataプロキシはApifyとシームレスに連携するため、ブロックされることなく作業を実行できます。

Apify用のプロキシを取得する

Bright Dataプロキシを使用したApify
の設定方法：

Bright Data へアクセスしてください：

Bright Dataアカウントにログインし、ダッシュボードに移動してください
「プロキシ＆インフラ」をクリックし、ゾーンを作成
データセンター、レジデンシャルIP、ISP、モバイルIPから選択可能
プロジェクト要件に基づきゾーンを設定・作成
ゾーン名の横にある設定アイコンをクリックします。
ユーザー名と パスワードを取得します。

Apify へアクセスしてください：

apify.com にアクセスし、アカウントにログインしてください。

Apifyコンソールにアクセスしたら、左メニューの「アクター」をクリックしてください。

Apify user dashboard with various navigation options and cards.

ストアタブの下にWebスクレイパーがあります。これを例として使用します。クリックしてください。

Web Scraper tool interface in Apify platform.

入力タブに移動してください。
スクレイピング開始URLとしてlumtestを入力：https://lumtest.com/myip.json

ページ関数にこのコードを貼り付けます：

      async function pageFunction(context) {
    // jQueryはDOM要素の検索やデータ抽出に便利です。
    // 使用するには「Inject jQuery」オプションを有効にしてください。
    const $ = context.jQuery;

    // 'body > pre' CSSセレクタで要素を選択し、テキストコンテンツを抽出します。
    const data = $('body > pre').text();

    // 抽出されたデータを格納したオブジェクトを返します。結果のデータセットに保存されます。
    return {
        data: data
    };
}

次に、プロキシとブラウザの設定を見つけるために下にスクロールしてください。

自身のプロキシをクリックし、以下の形式でプロキシ認証情報を入力してください。

http://username:[email protected]:33335およびパスワードは、先ほど作成したゾーン設定から取得できます。
Bright Dataプロキシのホスト名は:brd.superproxy.io、ポートは 33335です。
最終的なBright DataプロキシURLは次のようになります：http://lum-customer-c_375eb5c4-ゾーン-ゾーン5:[email protected]:33335
その後、「開始」をクリックするだけです。

データをHTML、JSON、CSV、Excel、XML、RSSフィード形式でプレビュー・ダウンロードするか、出力タブで表示できます
Apifyがプロキシを使用したことを確認するには、Bright Dataダッシュボードにアクセスし、プロキシに移動してイベントログを確認してください。

Screenshot of a data table showing JSON data output.

⚠️重要事項：Bright Dataのレジデンシャルプロキシ、Web Unlocker、またはSERP APIをご利用の場合、対象ウェブサイトへのエンドツーエンドの安全な接続を有効化するにはSSL証明書のインストールが必要です。手順は簡単です。詳細はhttps://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificateをご参照ください。