Web Archive API

あなたのトレーニングを始めよう

既にクロール済みのウェブで。

検索可能な公開ウェブのコピー:320Mドメインから770B件超のページ、1日あたり約15億ページずつ増加中。言語、国、カテゴリ、形式、日付でフィルタし、選択したデータセットをクラウドに配信します。

対応用途

世界中の50,000社以上の顧客から信頼されています

CDN Club Med Deloitte eToro McDonald's Moody's NBC Universal Nokia Oxford Pfizer Shopee Taboola United Nations
100+言語
50B+1日あたりの発見URL数
~300TB1日あたりの収集量
100/日無料アーカイブ検索
50TB対象チーム向けトライアル
GPU向けに準備されたウェブデータ

最初のトレーニング実行や検索インデックスは、GPU向けに準備されたウェブデータから始めるべきです。

本当に必要なコーパスを検索

市場、言語、カテゴリ、形式、日付、ドメインのフィルタを使って、広大なアーカイブを限定されたデータセットに変換します。

エクスポート前に規模を把握

1件でもオブジェクトを移動する前に、ページ数、推定バイト数、価格、取得計画を取得できます。

あなたのスタックへ配信

Parquet、NDJSON、またはCSVをS3、GCS、Azureへ、完全性レポート付きでステージングします。

データセットを検証する準備はできましたか? カバレッジ、取得タイミング、トライアル範囲を営業チームと確認しましょう。

サンプルを取得
統一されたコーパス定義

トレーニング、インデックス作成、ソブリンAIのいずれにも一度の定義で対応。

成果から始めて、同じクエリを洗練させていきます。プレビューはリクエストのペイロード、データセットの規模、ストレージ容量、想定される取得クラスをリアルタイムで更新します。

成果プリセット推奨デフォルト値を設定
市場 / 言語

グローバルカバレッジ探索ツール

地球儀上で国を選択するか、メニューを使用してください
ドラッグして回転させます。国をクリックするとデータセットが更新されます。
アーカイブカバレッジ選択可能選択中
スナップショット期間
配信形式
クラウド配信先
コンテンツ複数選択可
カテゴリ複数選択可
-計画中のページ数
-推定データセットサイズ
-ダンプの目安コスト
-取得クラス

アーカイブ検索ペイロード


            

これはプランニング用プレビューです。実際の検索を実行して、Archiveインデックスに対するページ数、サイズ、価格、取得タイミングを検証してください。

サンプルを取得
技術的な流れ

フィルタ式からあなたのクラウド内のモデル対応オブジェクトへ。

Archiveはクロール作業をクリティカルパスから排除する一方、データエンジニアは制御を維持できます。

01フィルタ
データセット定義

言語、国、カテゴリ、モダリティ、日付、ドメインの制約。

02解決
アーカイブインデックス

770B件超のアーカイブ済みページから一致するHTTP-200スナップショットを解決。

03計画
取得マニフェスト

ページ数を数え、ストレージ階層を分類し、バイト数・コスト・順序を見積もります。

04ステージング
分割エクスポート

約1GB単位のバッチで取得・パッケージ化し、完全性レポートを付与。

05配信
あなたのオブジェクトストア

Parquet、NDJSON、またはCSVをS3、GCS、またはAzureへ。

エンジニアリングをモデルに集中

Bright Dataがスケジューラ、プロキシのローテーション、リトライ、ブラウザレンダリングを処理します。

転送前に支出の範囲を把握

アーカイブを検索し、コーパスを定義し、エクスポート前にサンプルをテストできます。

ブートストラップ後も鮮度を維持

過去のアーカイブから日次更新へ、同じデータレイヤーを通じて移行できます。

Archiveをあなたのスタックにマッピング。 形式、パーティション、クラウド配信、更新アーキテクチャを確認しましょう。

アーキテクチャを確認する
運用管理が伴うカバレッジ

カバレッジ、コンプライアンス、運用サポートは同じデータレイヤーに属するべきです。

トレーニングデータセットがGPUを満たす前に、技術評価、調達、法務審査を通過する必要があります。

ウェブ規模のカバレッジ

320Mドメイン、100以上の言語にわたる110PB超、JSレンダリング済みHTML、PDF、画像、過去の検索データ。約15億ページが毎日追加されます。

コンプライアンス対応のソーシング

KYC確認によるアクセス制限、法廷で実証済みの収集フレームワーク、EU AI法のトレーニングコンテンツ透明性要件に沿った文書。

次の実行に向けて構築

アーカイブをブートストラップに使用し、その後最新のスライスまたはData Firehoseに移行して、継続的なトレーニングとインデックスの鮮度を維持します。

要件Archiveの機能エンジニアリング上の成果
動的ページJSレンダリング済みHTTP-200スナップショットブラウザインフラの削減と空ドキュメントの減少
ドキュメントの深さHTML、PDF、画像、過去のSERPデータトレーニングモダリティ全体を網羅する単一のコーパス層
市場カバレッジ100以上の言語と国別フィルタ同一APIからの現地言語およびソブリンデータセット
配信Parquet、NDJSON、CSVをあなたのクラウドへ既存のSpark、Ray、オブジェクトストアのパイプラインに適合
ガバナンスKYC、コンプライアンス管理、ソーシング文書ダンプ前に法務・調達を関与させる
更新1日あたり約15億件の新規ページとフィルタ済みFirehose一度のブートストラップ後、継続的に鮮度を維持

データレビューに法務チームを関与させましょう。 ソーシング、セキュリティ、コンプライアンスに関する文書をご請求ください。

コンプライアンスパックをリクエスト
5つの拠点にソリューションチーム

あなたのタイムゾーンでサポートと連携しましょう。

対象プログラムは、モデルやインデックスを構築する担当者の近くにいるアカウント・ソリューションチームと連携します。データセット定義、クラウドの対象先、開始日をお伝えください。チームが取得計画を準備します。

サンフランシスコ--:--
ニューヨーク--:--
欧州連合--:--
中国--:--
イスラエル--:--

あなたの地域を担当するチームと会いましょう。 ご要望を該当するアカウント・ソリューションチームへお繋ぎします。

地域サポートへのお問い合わせ
CSA STAR
GDPR
ISO 27701
SOC2
SOC3

最もコンプライアンスに準拠した倫理的なウェブデータプラットフォーム

業界最高水準の倫理的かつコンプライアンス準拠の技術の上に、あなたのウェブデータ運用を構築しましょう:

  • 検証済みのユースケースを徹底し、悪用を防止
  • 透明性のあるオプトインパートナーシップを通じてIPを調達
  • 倫理的な利用を保証する強固なKYCプロセス
  • 業界最高水準の認証に裏付けられた信頼性
最初のデータセットレビュー

データセットを検証し、50TBのトライアルを開始しましょう。

ライブアーカイブに対してカバレッジを検証し、取得クラスを特定し、開始日に合わせて配信を順序付け、エンジニアリングチームとともにトライアルの範囲を決定します。

対象となるAIラボ、検索企業、ソブリンAIプログラム向け。