データファイアホースとウェブアーカイブの料金

データファイアホースは、収集されたライブウェブデータのリアルタイムの継続ストリーム（1日約10億レコードを取り込み）を提供し、アクティブな監視、価格追跡、継続的なAIトレーニングパイプラインに最適です。ウェブアーカイブは、6,240億以上のキャッシュウェブページ（90PB以上）の大規模な履歴リポジトリへのアクセスを提供し、深い調査、バックテスト、縦断的分析に最適です。多くのエンタープライズチームは両方を使用しています：最新シグナルにはファイアホース、履歴コンテキストにはアーカイブを活用します。

データファイアホースを通じてすぐにデータへのアクセスを開始できます。APIを使用して、データスナップショットをシームレスかつ効率的に検索、取得、フィルタリングできます。

• 過去1日以内のデータ：数分から数時間以内に配信されます（スナップショットのサイズによって異なります）
• 1日以上前のデータ：処理と配信に数時間から最大3日かかります（スナップショットのサイズによって異なります）

アーカイブは、既存のワークフローへのシームレスな統合を確保するために2つの配信オプションを提供しています：

• Amazon S3バケット：データスナップショットをS3バケットに直接配信します。
• Webhook：システムへのリアルタイム統合のためにWebhook経由で取得します。

もちろんです！データファイアホースとアーカイブAPIの両方で、データ取得前にカテゴリ、ドメイン、日付、言語、国でフィルタリングでき、必要なデータのみを取得できます。

いいえ、標準の配信方法はコストに含まれています。データファイアホースとウェブアーカイブの両方で、Amazon S3バケットへの直接配信またはWebhook経由での取得を選択でき、既存システムへのシームレスな統合が可能です。データファイアホースは即時の継続ストリーミングもサポートしています。

いいえ、カスタムフィルタリングは有料アドオンではなく、コア機能です。カテゴリ、ドメイン、日付、言語、国による厳密なフィルタリングを推奨しています。ストリームやアーカイブ取得の範囲を徹底的に絞り込むことで、送信される不要なレコードの総量を削減し、全体的なデータコストを最適化できます。

大規模なウェブデータを扱う際、鮮度、関連性、アクセシビリティが重要です。Common Crawlがウェブの幅広い歴史的スナップショットを提供する一方、Bright DataのアーカイブAPIは高度なフィルタリングと配信オプションを備えたリアルタイムの継続更新データを提供します。比較は以下の通りです：