WebHarvy プロキシ 統合
WebHarvyは何ですか?
WebHarvy は、Web サイトからテキスト、HTML、画像、URL、電子メールを簡単に抽出し、抽出したコンテンツをさまざまな形式で保存できるウェブスクレイピングツールです。大規模なスクレイピングを実行している場合、Bright Dataが提供するプロキシサービスのいずれかを使用することで、成功率を高め、同じターゲットにより多くの同時リクエストを送ることができます。
Bright Dataプロキシを使用したWebHarvyのセットアップ方法
- WebHarvy Web Scraperをダウンロードしてインストールします
- 「Webharvy」 → 「ホーム」タブ → 「設定」 → 「プロキシ設定」の順に進みます
- Bright Dataのプロキシネットワークにサインアップします
- Bright Dataダッシュボードに移動します
- Bright Dataプロキシネットワークとの統合セクションで、クローラーまたはボットの使用オプションを選択します
- 「API例」ページでは、以下の詳細が表示されます:
- プロキシアドレス、ポート番号、ユーザー名、パスワード
- WebHarvyプロキシの設定に戻り、Bright Dataの詳細を WebHarvyプロキシの設定に貼り付けます。
- +ボタンをクリックします
- 適用をクリックします
注: Webharvyはマイニング時にのみプロキシサーバーを使用します。
Webharvyの構成ブラウザはこのプロキシサーバーを使用しないため、構成ブラウザ内でIPアドレスを確認しても、コンピュータの元のIPのままです。
構成ブラウザでプロキシサーバーを使用するには、Windowsでプロキシアドレスを直接設定する必要があります。
プロキシサーバーを無効にするには、Webharvy → 「ホーム」メニュー → 「設定」 → 「プロキシ設定」タブで、プロキシサーバー経由のネットワーク接続を有効にするチェックボックスをオフにするだけです。
あるいは、独自のデータ収集ツールを使用して、プロセスをより迅速かつ簡単にすることもできます。
始める準備はできましたか?
あらゆるニーズに対応するプロキシタイプ
レジデンシャルプロキシ
- 7,200万を超えるIP
- 195カ国で利用可能
- ローテーションに対応する最大級のリアルピアIPネットワーク
- 洗練されたウェブサイトすべてにアクセスしてクローリング
業界No.1のカスタマーエクスペリエンス
どんなニーズにも対応
毎日新機能をリリース
年中無休グローバルサポート
必要な時にサポートします
完全な透明性
リアルタイムのネットワークパフォーマンス ダッシュボード
専任のアカウント
マネージャー
マネージャー
パフォーマンスを最適化する
ニーズに合わせたご提案
お客様のデータ収集目標を満たします
プロキシとデータ収集の分野における業界トップ
毎日650TBの公共データが収集されている
毎日新機能をリリース
世界有数の大学10校のうち7校にサービスを提供
4.6/5トラストパイロット評価