Apifyとは？
Apifyは強力なウェブスクレイピング、データ抽出、ウェブRPAプラットフォームです。ウェブブラウザで手動で行えることなら何でも自動化し、大規模に実行できます。Apify Storeには、設定を少し変更するだけで使える数百のスクレイピングツールが用意されています。
プロキシはウェブスクレイピングにおいて不可欠な要素であることが多いです。ウェブスクレイピングを行う際は常に身元を保護する必要があり、また対象ウェブサイトが導入しているアンチスクレイピング対策やその他の制限にも対処する必要があるかもしれません。
そこでBright Dataの出番です💪
Bright Dataのプロキシは、スクレイピングや自動化タスクを成功裏に完了させるのに役立ちます。Bright DataのプロキシはApifyとシームレスに統合されるため、ブロックされることなく作業を行うことができます。
Bright Dataプロキシを使った
Apifyの設定方法：
Bright Dataにアクセス：
- Bright Dataアカウントにログインし、ダッシュボードに移動します
- Proxies & Infraをクリックし、ゾーンを作成します
- データセンター、レジデンシャル、ISP、モバイルIPから選択できます
- プロジェクトの要件に応じてゾーンを設定して作成します
- ゾーン名の横にある設定アイコンをクリックします。
- ユーザー名とパスワードを取得します。
Apifyにアクセス：
- apify.comにアクセスし、アカウントにログインします。
- Apify Consoleに入ったら、左側メニューのActorsをクリックします。
- Storeタブの下にWeb scraperがあります。これを例として使用します。クリックしてください。
- Inputタブに移動します。
- スクレイピング対象の開始URLとしてlumtestを入力します：https://lumtest.com/myip.json
- Page functionに以下のコードを貼り付けます：
async function pageFunction(context) {
// jQuery is handy for finding DOM elements and extracting data from them.
// To use it, make sure to enable the "Inject jQuery" option.
const $ = context.jQuery;
// Select the element using the 'body > pre' CSS selector and extract its text content.
const data = $('body > pre').text();
// Return an object with the extracted data. It will be stored in the resulting dataset.
return {
data: data
};
}
- 下にスクロールしてproxy and browser configurationを見つけます。
- own proxyをクリックし、次の形式でプロキシの認証情報を入力します。
- http://username:[email protected]:33335のusernameとpasswordは、先ほど作成したゾーン設定から取得できます。
- Bright Dataプロキシのホスト名はbrd.superproxy.ioで、ポートは33335です。
- 最終的なBright DataプロキシURLは以下のようになります：http://lum-customer-c_375eb5c4-zone-zone5:[email protected]:33335
- その後、Startをクリックするだけです。
- データをHTML、JSON、CSV、Excel、XML、RSSフィードとしてプレビュー・ダウンロードしたり、出力タブで表示したりできます
- Apifyがプロキシを使用したことを確認するには、Bright Dataダッシュボードに移動し、プロキシに進んでイベントログを確認してください。
⚠️重要な注意： Bright DataのレジデンシャルプロキシやWeb Unlocker、SERP APIを使用している場合、対象ウェブサイトへのエンドツーエンドの安全な接続を可能にするために、SSL証明書をインストールする必要があります。これは簡単な手順です。手順についてはhttps://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificateをご覧ください。
Apify用プロキシを取得
受賞歴のあるプロキシネットワークを搭載
72百万以上の住宅用IPアドレス、クラス最高のテクノロジー とターゲットにする能力 国、都市、運送業者、ASN プレミアムプロキシサービスを開発者にとって最高の選択肢にします
あらゆる開発パスに対応するプロキシ
ネットワーク、ピアIP、IPを自由に組み合わせて、ウェブデータの継続的なフローを最適化しましょう。
AWSを使用していますか？AWSマーケットプレイスを通じて支払いできるようになりました プロキシとデータ収集の分野における業界トップ
毎日650TBの公共データが収集されている
毎日新機能をリリース
世界有数の大学10校のうち7校にサービスを提供
4.6/5トラストパイロット評価
業界No.1のカスタマーエクスペリエンス
毎日新機能をリリース
必要な時にサポートします
リアルタイムのネットワークパフォーマンス ダッシュボード
マネージャー
パフォーマンス最適化のサポート
お客様のデータ収集目標を満たします