Apifyプロキシ設定をセットアップし、Bright DataのプロキシIPと統合する方法を学びます
Apify は、強力なウェブスクレイピング、データ抽出、およびウェブRPAプラットフォームです。ウェブブラウザーで手動で実行できることはなんでも自動化し、大規模に実行できます。Apify Storeには、いくつかの設定を変更するだけですぐに使えるスクレイピングツールが何百も用意されています。
プロキシは、多くの場合、ウェブスクレイピングに不可欠な要素です。ウェブスクレイピングを行う際には、常に自分のIDを保護する必要があります。また、ターゲットのウェブサイトが導入しているスクレイピング対策やその他の制限に対処する必要があるかもしれません。
そこでブライトデータの出番です💪
Bright Dataのプロキシソリューションは、スクレイピングと自動化タスクが正常に完了するよう支援します。Bright DataのプロキシはApifyとシームレスに統合されているため、ブロックされることなくジョブを遂行できます。
それでは、セットアップしてみましょう！
Apify ProxyとBright DataのプロキシIPを統合する方法
Bright Dataで
- Bright Dataアカウントにログインし、ダッシュボードに移動します
- 「プロキシ」をクリックしてZoneを作成します
- データセンター、レジデンシャル、モバイルIPの中から選択できます
- プロジェクトの要件に従ってZoneを構成および作成します
- Zone名の横にある「設定」アイコンをクリックします。
- アクセス用のユーザー名とパスワードを取得します。
Apifyで
- apify.comにアクセスし、アカウントにログインします。
- Apify Consoleが表示されたら、左側のメニューから「アクターズ」をクリックします。
- 「ストア」タブの下にGoogle Maps Scraperがあります。これを例として使用します。これをクリックします。
- 「入力」タブに移動します。
- キーワードまたはスクレイピングするGoogle MapsのURLを入力します。
- 次に、下にスクロールしてプロキシ設定を見つけます。
- カスタムプロキシをクリックし、次の形式でプロキシ認証情報を入力します。
- http://username:password@hostname:port ユーザー名とパスワードは、先ほど作成したZone設定から取得できます。
- Bright Dataプロキシのホスト名は
zproxy.lum-superproxy.io、ポートは22225です。 - 最終的なBright DataのプロキシURLは次のようになります。
http://lum-customer-c_375eb5c4-zone-zone5:[email protected]:22225 - 次に「実行」をクリックします。
その後、データをプレビューし、HTML、JSON、CSV、Excel、XML、RSSフィードとしてダウンロードできます。
Apifyがプロキシを使用したことを確認するには、Bright Dataダッシュボードからプロキシに移動し、イベントログを確認します。
ご不明な点は、Bright Dataサポートまでお問い合わせください。
Bright Dataのプロキシについて：
レジデンシャルプロキシ：195カ国、7,200万以上の実際のIPを有するBright Dataのレジデンシャルプロキシは、IP禁止や CAPTCHAを回避しつつ、地理的位置に関係なくあらゆるウェブサイトのコンテンツにアクセスできます。
ISPプロキシ：700,000を超えるISP IPを使用して、ISPにより割り当てられ、Bright Dataにリースされる世界中の都市の本物の静的IPを、必要な期間、お客様専用としてご利用いただけます。
データセンタープロキシ：770,000を超えるデータセンターIPを有するBright Dataのデータセンタープロキシネットワークは、共有IPプールまたは個別に購入した、世界各地の複数のIPタイプで構築されています。
モバイルプロキシ：700万を超えるモバイルIPを有するBright Dataの先進的なモバイルIPネットワークは、世界最速かつ最大のリアルピア3G/4G/5G IPネットワークを提供します。
