WebHarvyとは？
WebHarvyは、ウェブサイトからテキスト、HTML、画像、URL、メールアドレスを簡単に抽出し、様々な形式で保存できるウェブスクレイピングツールです。大規模なスクレイピング作業を行っている場合、Bright Dataが提供するプロキシサービスの一つを使用することで、成功率を高め、同一ターゲットへより多くの同時リクエストを送信できます。
Bright Dataプロキシと
WebHarvyの設定方法：
- WebHarvy Web Scraperをダウンロード・インストールします
- Webharvy → Homeタブ → Settings → Proxy Settingsに移動します
- Bright Dataのプロキシネットワークに登録します
- Bright Dataのダッシュボードに移動します
- Integrate with Bright Data Proxy Networkセクションで、With a crawler or a botオプションを選択します
- API Examplesページに、以下の詳細が表示されます：
- プロキシアドレス、ポート番号、ユーザー名、パスワード
- WebHarvyのProxy settingsに戻り、Bright Dataからの詳細をWebHarvyのProxy settingsに貼り付けます
- +ボタンをクリックします
- Applyをクリックします
ご注意ください：Webharvyはマイニング時のみプロキシサーバーを使用します。Webharvyの設定ブラウザはこのプロキシサーバーを使用しないため、設定ブラウザ内でIPアドレスを確認しても、お使いのコンピューターの元のIPのままです。設定ブラウザにプロキシサーバーを使用させるには、Windowsで直接プロキシアドレスを設定する必要があります。
プロキシサーバーを無効にするには、Webharvy → Home Menu → Settings → Proxy Settings TabにてEnable Network connection via Proxy serverのチェックボックスのチェックを外すだけです。
または、より迅速かつ簡単な処理のために、弊社独自のデータ収集ツールをご利用いただくこともできます。
⚠️重要な注意事項：Bright Dataのレジデンシャルプロキシ、Web Unlocker、またはSERP APIをご利用の場合、対象ウェブサイトへのエンドツーエンドの安全な接続を実現するために、SSL証明書のインストールが必要です。これは簡単な作業です。手順についてはhttps://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificateをご覧ください。
今すぐ始める準備はできましたか？
受賞歴のあるプロキシネットワークを搭載
72百万以上の住宅用IPアドレス、クラス最高のテクノロジー とターゲットにする能力 国、都市、運送業者、ASN プレミアムプロキシサービスを開発者にとって最高の選択肢にします
あらゆる開発パスに対応するプロキシ
ネットワーク、ピアIP、IPを自由に組み合わせて、ウェブデータの継続的なフローを最適化しましょう。
AWSを使用していますか？AWSマーケットプレイスを通じて支払いできるようになりました 業界No.1のカスタマーエクスペリエンス
毎日新機能をリリース
必要な時にサポートします
リアルタイムのネットワークパフォーマンス ダッシュボード
マネージャー
パフォーマンス最適化のサポート
お客様のデータ収集目標を満たします
プロキシとデータ収集の分野における業界トップ
毎日650TBの公共データが収集されている
毎日新機能をリリース
世界有数の大学10校のうち7校にサービスを提供
4.6/5トラストパイロット評価