Data Firehose & Web Archive Pricing

Data Firehoseは、収集されたリアルタイムのウェブデータの継続的なストリームを配信します（1日約10億件のレコードを取り込み）。これはアクティブな監視、価格追跡、継続的なAIトレーニングパイプラインに最適です。Web Archiveは、6,240億以上のキャッシュされたウェブページ（90PB以上）の大規模な過去のリポジトリへのアクセスを提供し、詳細な調査、バックテスト、縦断的分析に最適です。多くのエンタープライズチームは両方を活用しています：Firehoseで最新シグナルを、Archiveで過去のコンテキストを取得します。

Data Firehoseを通じて、すぐにデータにアクセスできます。APIを使用すると、データスナップショットをシームレスかつ効率的に検索、取得、フィルタリングできます。

• 過去1日以内のデータ：数分から数時間以内に配信されます（スナップショットのサイズによって異なります）
• 1日以上前のデータ：数時間から最大3日かかります（スナップショットのサイズによって異なります）

Archiveは、既存のワークフローへのシームレスな統合を実現するための2つの配信オプションを提供します：

• Amazon S3バケット：データスナップショットをS3バケットに直接配信します。
• Webhook：システムへのリアルタイム統合のためにWebhook経由で取得します。

もちろんです！Data FirehoseとArchive APIの両方で、データ取得前にカテゴリ、ドメイン、日付、言語、国でフィルタリングでき、必要なデータのみを取得できます。

いいえ、標準的な配信方法はコストに含まれています。Data FirehoseとWeb Archiveの両方で、データをAmazon S3バケットに直接配信するか、Webhook経由で取得して既存のシステムにシームレスに統合するかを選択できます。Data Firehoseはリアルタイムの継続的なストリーミングもサポートしています。

いいえ、カスタムフィルタリングは有料オプションではなく、コア機能です。カテゴリ、ドメイン、日付、言語、国による厳格なフィルタリングをお勧めします。ストリームやアーカイブの取得範囲を十分に絞り込むことで、不要なレコードの総量を削減でき、全体的なデータコストを最適化できます。

大規模なウェブデータを扱う際、鮮度、関連性、アクセシビリティが重要です。Common Crawlがウェブの広範な過去のスナップショットを提供するのに対し、Bright DataのArchive APIはリアルタイムで継続的に更新されるデータと高度なフィルタリング・配信オプションを提供します。以下に比較をご覧ください：