Data Firehose

レコードは収集と同時に配信されます。バッチ処理やスケジュール配信ではありません。ストリームは継続的にパブリックウェブを反映し、毎日約10億件のレコードが取り込まれます。

必ずしもそうではありません。それは意図的な仕様です。同じURLが時間の経過とともに複数回クロールされ、その都度異なる価格、在庫数、またはコンテンツを取得する場合があります。重複レコードが有用かどうかはユースケース次第です。価格監視のお客様は毎回の再クロールが必要です。カタログのお客様は不要かもしれません。それに応じてストリームを設定します。

配信されるすべてのレコードは、収集時にページが正常に読み込まれたことを示すHTTPレスポンスの確認済みです。エラーコード、リダイレクト、または失敗したレスポンスのレコードは配信前にフィルタリングされます。

ストリームにはHTMLページ、メディア、メタデータが含まれ、お客様が定義したドメイン、垂直市場、言語、地域にわたるパブリックウェブコンテンツをカバーします。

はい。それぞれ異なるニーズに対応します。Data Firehoseは収集と同時にレコードを配信します（継続的、新鮮）。Web Archiveでは50PB以上の過去のキャッシュデータにアクセスできます。多くのチームが両方を活用しています：継続的な監視とトレーニングにはFirehose、過去の分析とエンリッチメントにはArchiveを使用。