この記事では、以下の内容を学びます：
- 合成データが本当にAIおよびMLトレーニングの未来であるかどうか。
- リアルワールドのウェブデータとは何か、その主要な種類、および大規模な収集方法。
- 合成データとは何か、その分類方法、および成功裏に生成する方法。
- コスト、プライバシー、堅牢性、および分布品質の観点から見た合成データとリアルデータの影響。
- データの選択がAIトレーニングパイプラインとモデルパフォーマンスに与える影響。
- 両方のデータタイプを組み合わせたハイブリッドアプローチが最も効果的な戦略である理由。
- 各アプローチのメリットとデメリット。
それでは始めましょう。
合成データはAI/MLの未来か、それともウェブデータはまだ重要か？
AIスケーリング則によると、より多くのパラメータ、より多くの計算量、そして重要なことに、より多くのデータでモデルをトレーニングするほど、パフォーマンスが向上する傾向があります。つまり、大規模なモデルはパフォーマンスの向上を維持するために指数関数的に大規模なデータセットを必要とします。
歴史的に、リアルウェブデータは現代のAIトレーニングの基盤として機能してきましたが、高品質なウェブデータは有限です。イーロン・マスクは、AI企業はトレーニングデータを使い果たし、モデルトレーニングに利用可能な人類の知識の総和を「消耗した」と述べています。
さらに、ウェブデータはますます重複が増え、収集・クリーニング・法的審査にコストがかかります。これは、AIに最適化され、定期的に更新され、プライバシーに準拠したデータセットを提供するウェブデータセットプロバイダーの選択の重要性も浮き彫りにしています。
こうした圧力が代替データソース、特に合成データへの関心を加速させています。Gartnerによると、2030年までに合成データはAIモデルトレーニングにおいてリアルワールドデータを凌駕すると予測されています。この変化は、より厳格なプライバシー要件、リアルワールドデータの不足、および法的・コンプライアンスリスクを軽減するコスト効率の高い代替手段を求める組織によるものとされています。
同時に、この予測は必然性としてではなく、推定として捉えるべきです。インターネットは引き続き膨大なコンテンツを生成し続けており、毎日約4,020億テラバイトのウェブデータが生成されています！
比較のために言えば、GPT-3はフィルタリング前に約45テラバイトの生テキストでトレーニングされました。この比較は、ウェブスケールの人間生成データがAIトレーニングにとって依然として膨大かつ非常に重要であることを示しています。
その結果、AIトレーニングの未来が合成データのみに依存する可能性は低いでしょう。代わりに、多くの機械学習専門家はハイブリッドアプローチを期待しており、これについては本記事の後半で詳しく検討します。
合成データとリアルウェブデータ：2つのデータパラダイムの比較
以下の章では、合成データとリアルウェブデータとは何か、それぞれが何を提供するか、そしてAIモデルトレーニングの複数の側面においてどのように比較されるかを学びます。より直感的に理解しやすいリアルウェブデータから始め、次に合成データに移ります。
すぐに高レベルの比較を確認するには、以下の合成データとリアルウェブデータの比較表をご覧ください：
| リアルウェブデータ | 合成データ | |
|---|---|---|
| 定義 | 実際のウェブソースから収集されたデータ | モデルやルールを使用してリアルワールドの分布を模倣する人工的に生成されたデータ |
| 例 | ウェブページ、フォーラム、ニュース記事、商品ページ、PDFなど | LLM生成テキスト、GAN画像、シミュレーションロボティクス環境、ルールベースデータセットなど |
| 主な目的 | リアルワールドの複雑さと自然な動作を捉える | スケール、カバレッジ、制御可能性を向上させる |
| データタイプ | 非構造化（テキスト、画像）、半構造化（JSON、XML） | 構造化、半構造化、非構造化（テキスト、画像、音声、動画） |
| 取得方法 | 主にウェブスクレイピング | LLM生成、GAN、VAE、ルールベースシステム、シミュレーションエンジン |
| プライバシーリスク | 高い（PII、コンプライアンス要件あり） | 低い（適切に生成された場合、実際のユーザーデータなし） |
| データ品質 | ノイズが多く、一貫性がないが、本物 | クリーンで構造化されているが、アーティファクトや幻覚を含む場合あり |
| 分布 | 自然なリアルワールド分布 | 制御されているが、合成バイアスやシフトをもたらす場合あり |
| 堅牢性 | リアルワールド入力への強い汎化 | 特定シナリオに強く、汎化は弱い |
| ロングテールカバレッジ | 自然に存在するが希少 | 明示的に生成・オーバーサンプリング可能 |
| バイアスリスク | リアルワールドのバイアスを反映 | 新たなバイアスを増幅または導入する可能性あり |
| 典型的なパイプライン上の役割 | 事前トレーニング、ファインチューニング、評価 | 事前トレーニング、拡張、エッジケース生成 |
| リスク | データ不足、コンプライアンス制約、ノイズ | 合成-リアル間のギャップ、モデル崩壊、幻覚パターン |
さあ、現代のAIトレーニングを形成する2つのコアデータパラダイムに深く踏み込みましょう！
リアルウェブデータの世界を探る
ここでは、AIモデルトレーニングのためのリアルウェブデータについて知る必要があるすべてをカバーします。
ウェブデータとは何か？
ウェブデータとは、主にウェブスクレイピングを通じてウェブページやその他の公開ウェブソースから収集された情報です。テキスト、画像、コード、メタデータ、ドキュメント（PDFなど）などの非構造化コンテンツ、およびJSONやXMLなどの半構造化データが含まれます。
ウェブデータの種類
ウェブデータにはさまざまなカテゴリがあります。ただし、特にAIの文脈では、高レベルで2つの主要なタイプを区別することが有用です：
- 過去のウェブデータ：通常、ウェブスクレイピングパイプラインを通じて収集され、クリーニング、エンリッチメント、重複排除、集約を経てCSV、JSON、Parquetなどの形式の構造化データセットに変換されます。これらのデータセットはモデルの事前トレーニングとファインチューニングに使用されます。
- ライブウェブデータ：スクレイピングまたはAPIを通じてウェブページからリアルタイムで取得されます。インターネット上で利用可能な最新情報を反映します。これにより、AIの応答のグラウンディングや、鮮度と事実の正確さが重要なRAGシステムに特に有用です。
これら2つのウェブデータの形式は、現代のAIシステムにおいて補完的な役割を果たします。
ウェブデータの取得方法
AI/MLトレーニング用のウェブデータを調達するには、スケーラブルなウェブスクレイピングパイプラインが必要です。それを社内で構築するには、かなりのエンジニアリング専門知識が必要です。
IPブロッキング、CAPTCHAの解決、レートリミッターなど、さまざまなアンチスクレイピングの課題への対処が必要です。さらに、クリーニング、重複排除、正規化のための強力なデータエンジニアリング能力も必要です。その結果、企業はBright Dataなどの専用ウェブデータプラットフォームに依存することを好みます。
Bright Dataは、ウェブデータの収集と配信のためのエンドツーエンドのエコシステムを提供します。際立っているのは、195か国にわたる4億以上のレジデンシャルプロキシネットワークであり、高度にスケーラブルで並行したウェブデータ収集をサポートします。このエンタープライズグレードのインフラは、GDPRおよびCCPAに準拠しており、その他のプライバシーおよびセキュリティ基準にも対応しています。
Bright Dataのウェブデータ向けサービスには以下が含まれます：
- ウェブデータマーケットプレイス：250以上のドメイン（Reddit、Amazon、LinkedIn、Yahoo Financeなど）をカバーする350以上のすぐに使えるデータセットのコレクション。これらのデータセットは17ペタバイト以上のウェブデータにわたり、MLトレーニングとAIアプリケーション向けに最適化されています。JSON、CSV、Parquetなどの複数の形式で、クラウド配信やその他の配布方法で提供されます。
- ウェブスクレイピング製品：ライブウェブデータ抽出のためのAPIベースのソリューション一式：
– Web Unlocker API：ブロックとCAPTCHAをバイパスして、あらゆるウェブページへのデータアクセスを確保します。
– SERP API：Google、Bing、Yandexなどからリアルタイムの構造化された検索エンジン結果を提供します。
– Crawl API：スケーラブルなウェブサイトクロールと構造化データ抽出を実行します。
– スクレイパーAPI：人気のあるドメインから直接構造化データを抽出するために120以上のウェブサイトをカバーします。
Bright Dataはまた、ターンキーデータ取得のためのマネージドサービスも提供しています。これにより、組織はデータエンジニアリングではなくモデル開発に集中できます。
合成データの領域へ
この章では、AI/MLモデルトレーニングにおける合成データの使用について探ります。
合成データとは何か？
合成データとは、リアルワールドデータの統計的パターンと特性を複製する人工的に生成された情報です。実際のイベントから収集されるのではなく、人工的に生成されます。
合成データの種類
合成データは以下のように分類できます：
- 構成とプライバシーレベルによる分類：
– 完全合成：リアルデータでトレーニングされた機械学習モデルを使用してゼロから生成されます。元のデータポイントが含まれないため、最高レベルのプライバシー保護を提供します。
– 部分合成：既存のリアルデータセットを取り、名前、住所、社会保障番号などの機密属性のみを人工的な値に置き換えます。特定のデータトレンドを保持しながらPIIを匿名化します。
– ハイブリッド：リアルな匿名化されたレコードと人工的に生成されたレコードを混合します。これは、稀なイベントを人工的に作成することでデータセットを「アップサンプリング」またはエンリッチするために一般的に使用されます（例：銀行データセットへの合成詐欺レコードの追加）。
- データ構造による分類：
– 構造化データ：表形式で提示される高度に整理された定量的データ。
– 非構造化データ：定性的またはメディアが多いデータ形式。合成テキスト、人工的に生成された画像、動画、音声が含まれます。
合成データの生成方法
高レベルでは、合成データは3つの主要なアプローチを使用して生成できます：
- 完全AI生成：GAN（敵対的生成ネットワーク）、VAE（変分オートエンコーダー）、またはLLMなどのモデルを使用して作成されます。これらのシステムはリアルデータセットの基礎となる分布を学習し、元のデータを直接コピーすることなく類似した全く新しいサンプルを生成します。
- ルールベース生成：事前定義された人間が記述したルール、制約、またはビジネスロジックを使用してデータを生成します。これにより厳格な一貫性、構造的な正確さ、および制御された動作が確保され、予測可能な出力を必要とするシステムに有用です。
- シミュレーションまたはモックデータ：物理的または行動的シミュレーションを通じて生成されます。これは、デジタルツインや物理エンジンがリアルな「もし〜だったら」シナリオを作成する自動運転やロボティクスなどの環境で一般的に使用されます。
AI/MLモデルトレーニングにおける合成データとリアルウェブデータの影響
AIトレーニングに合成データとリアルウェブデータを使用した場合の結果を理解するために、いくつかの側面を比較してみましょう。
データ分布とリアリズム
ウェブデータは自然なデータ分布に近似しています。リアルワールドに現れる人間の言語と行動の固有の複雑さを捉えます。これにより、特徴間の自然な相関、本物のエッジケース、多様な言語スタイル、および人間のミス、曖昧さ、矛盾などのリアルなノイズなど、重要な利点がもたらされます。
しかし、リアルワールドのウェブデータは本質的に乱雑でもあります。しばしばアンバランスで、重複があり、大規模なキュレーションが困難で、広範なフィルタリングを必要とする低品質またはスパムコンテンツを含む場合があります。
対照的に、合成データは制御された分布を表します。意図的に設計・生成されるため、実践者はデータセットのプロパティを正確に形成できます。これにより、バランスの取れたクラス分布、特定シナリオの対象カバレッジ、稀なイベント生成、および構造化されたカリキュラム学習が可能になります。
同時に、合成データは分布シフト、非現実的なアーティファクト、モード崩壊、生成器が過度に制約された場合の過度な正則化など、重要なリスクをもたらします。
重要：この点に関する中心的な機械学習の概念は、ロボティクスにおけるシム-リアル問題と類似した合成-リアル間のギャップです。合成データで大量にトレーニングされたモデルは、生成された分布が現実と完全に一致しないため、リアルな入力でパフォーマンスが低下する可能性があります。
ロングテールカバレッジ
リアルウェブデータは自然に幅広い知識を含んでいます。これには、人間の活動から有機的に生まれる曖昧な事実、稀なイベント、および予期しないエッジケースが含まれます。しかし、これらのロングテールの例は本質的に希少です。定義上、稀なイベントは頻繁に現れないため、トレーニング中にモデルがそれらから堅牢なパターンを学ぶことが難しくなります。
一方、合成データを使用して稀または過小表現されたシナリオを明示的に生成できます。これにより、データセットの特定のギャップをターゲットにし、リアルデータが不十分な場合のカバレッジを向上させることができます。例としては、稀なコーディングバグや低リソース言語があります。
ロングテールカバレッジに合成データを使用する主な利点は、稀なイベントをオーバーサンプリングする能力です。これにより、クラスの不均衡を軽減し、頻度は低いが重要なケースでのモデルパフォーマンスを向上させることができます。ただし、稀なシナリオが人工的に過剰表現されると、モデルが学習した事前分布が歪む可能性があります。
例えば、合成データでサイバーセキュリティのエクスプロイトケースが大量にオーバーサンプリングされた場合、モデルはリアルワールドの設定でその可能性を過剰予測し始める可能性があります。その結果、合成ロングテール生成が非現実的な分布を導入することなくカバレッジを向上させるためには、慎重なキャリブレーションが不可欠です。
コストとプライバシーの考慮事項
前述のように、企業が自社のウェブスクレイピングおよびデータセットインフラを構築することはほとんどありません。代わりに、クロール、アンブロッキング、クリーニング、配信を抽象化するBright Dataなどのサードパーティデータプロバイダーに依存します。これにより、データ取得のコスト構造とプライバシーのトレードオフが根本的に変わります。
以下は、ウェブデータ収集におけるBright Dataの価格モデルの簡略化された概要です：
| 価格 | エンタープライズ向けカスタムプラン | GDPR準拠 | CCPA準拠 | SEC規制準拠 | |
|---|---|---|---|---|---|
| データセット | レコードあたり$0.001〜$0.0025 | ✔️ | ✔️ | ✔️ | ✔️ |
| ウェブスクレイピングAPI | 1K結果あたり$1〜$1.5 | ✔️ | ✔️ | ✔️ | ✔️ |
Bright Dataはまた、データアノテーションサービスを提供しており、組織が社内データエンジニアリングへの依存を減らすのに役立ちます。重要なことに、そのデータはプライバシーフレームワークに準拠しており、法的・規制上のリスクを軽減するのに役立ちます。
このようなウェブデータプロバイダーがなければ、インフラ開発、継続的なメンテナンス、PII、著作権のある素材、および機密行動データの複雑なガバナンスを社内で処理しなければなりません。
合成データの場合、主なコストは推論コンピューティングと教師モデルまたはAPIへのアクセスから発生します。プライバシーの観点から、人工的に生成されたデータには固有の利点があります。実際の個人から収集されるのではなく生成されるため、合成データは自然に個人識別情報への露出を排除します。
最終的に、合成データとリアルウェブデータの適切な選択は、品質要件、スケール、プライバシー制約、および対象ユースケースによって異なります。これらの要因によって、どちらのアプローチが他方よりもコスト効率が高いか、またはより費用がかかるかが変わります。
データ品質要因
ウェブデータは一般的に弱い監督を提供します。モデルは次のトークン予測、メタデータ、人間が生成したコンテンツなど、自然に発生するシグナルから学習します。問題は、リアルデータはノイズが多く、誤情報、矛盾、スパム、偏った意見、一貫性のないフォーマットを含む可能性があることです。
反対に、合成データは品質と監督に対するより大きな制御を提供します。完璧にフォーマットされたラベル、構造化された出力、ステップバイステップの推論、および自動検証された例を提供できます。例えば、合成データセットには数学的に検証された答えやユニットテストで検証されたコードスニペットを含めることができます。これにより一貫性が向上し、ターゲットトレーニングが容易になります。
合成データの主なリスクは、その品質が根本的に生成モデル、アルゴリズム、または基礎となるアプローチの品質によって制限されることです。生成された幻覚や事実の誤りが最終データセットに伝播し、モデルが自信を持って誤ったパターンを学習する可能性があります。同様に、生成システムに存在する隠れたバイアスも下流のモデルに継承される可能性があります。明るい面として、合成データはより強力なアライメントと安全チューニングをサポートします。
汎化と堅牢性
機械学習において最も重要な問題の一つは、モデルが未見の入力にどれほどうまく汎化するかです。言い換えれば、リアルワールドのウェブデータと合成データのどちらのデータソースが分布シフトに対してより良い堅牢性をもたらすかということです。
ウェブデータは自然に発生する人間の行動、言語、ノイズを反映するため、強い堅牢性を達成する傾向があります。これにより、分布外入力でのパフォーマンスが向上し、特にモデルが予測不可能な環境でデプロイされる場合のドメイン転送が強化されます。
代わりに、合成データはターゲットを絞った最適化に適しています。特定のスキル、エッジケース、または稀なシナリオのためのトレーニング例を正確に考案することができます。
合成データまたはリアルウェブデータでAIをトレーニングする際の主要な考慮事項
合成データとウェブデータの違いがわかったところで、AIモデルトレーニングにおいて各アプローチを使用した場合の実際的な影響を見ていきましょう。
データトレーニングパイプライン
ウェブデータを使用する場合、パイプラインは通常以下のステップに従います：
- クロール：大規模なスクレイピングシステムまたは複数のドメインにわたるカスタムウェブスクレイピングボットを使用してウェブサイトから生データを収集します。
- 重複排除：冗長性を減らし、データセットの多様性と効率を向上させるために、重複または近似重複のコンテンツを削除します。
- 言語検出：各サンプルの言語を識別し、対象言語要件に基づいてデータセットをフィルタリングまたはセグメント化します。
- 品質スコアリング：ヒューリスティックスまたはモデルを使用してコンテンツを評価・ランク付けし、低品質または無関係な情報をフィルタリングします。
- 毒性フィルタリング：トレーニングの安全性とコンプライアンスを確保するために、有害、安全でない、または不適切なコンテンツを検出して削除します。
- PIIの削除と汚染除去：個人識別情報を削除し、機密または不要なソースからの汚染を排除します。
合成データパイプラインについては、ステップはより生成に焦点を当てています：
- プロンプト生成：合成データ作成のための構造、タスク、またはシナリオを定義するプロンプトまたはテンプレートを設計します。
- モデルサンプリング：LLM、GAN、またはその他のシステムなどの生成モデルを使用して候補出力を生成します。
- 検証：自動チェック、ルール、または外部ツールを使用して出力を検証し、正確性と一貫性を確保します。
- フィルタリング：事前定義された基準を満たさない低品質、一貫性のない、または幻覚されたサンプルを削除します。
- 報酬スコアリング：最良の合成例をランク付けして選択するために品質または優先スコアを割り当てます。
- 反復的な改善：生成、フィルタリング、再サンプリングの繰り返しサイクルを通じてデータ品質を向上させ、堅牢性を高めます。
おわかりのように、リアルウェブデータパイプラインはノイズの多いリアルワールドの入力のクリーニングに焦点を当てています。代わりに、合成パイプラインは生成された出力の制御と検証に関するものです。最終的に、トレーニングデータセットが作成されたら、AIモデルのトレーニングに進むことができます。
パフォーマンス比較
最後の問いは、合成データがリアルワールドのウェブデータを上回ることができるかどうかです。
最近の要件エンジニアリングのためのAI（AI4RE）に関する論文によると、リアルデータが乏しいか、アクセスが困難な場合、LLM生成データセットは強力な代替手段となり得ることが示唆されています。実証的な結果は、合成データのみでトレーニングされたモデルが、人間が作成したデータセットのみでトレーニングされたモデルを上回ることができることを示しています。具体的には、リアルデータのみのベースラインと比較して、精度で最大+37%、再現率で+30%の改善が観察されました。
ただし、これは二項対立的または絶対的な結論ではありません。証拠は合成データがリアルデータを完全に置き換えるべきだということを示唆するのではなく、最良のパフォーマンスはしばしばハイブリッドアプローチを通じて達成されることを示しています。詳しくはこちらをご覧ください！
合成データ＋リアルワールドウェブデータ：ハイブリッドアプローチが最も効果的な理由
合成データとリアルワールドウェブデータの議論は、もはやどちらかを選ぶことではなく、どのように組み合わせるかについてです。
最近の証拠によると、合成データとリアルデータを組み合わせたハイブリッド構成は、リアルワールドウェブデータのみを使用する場合と比較して、精度で最大+85%の向上と再現率の倍増を達成します。
同時に、複数の研究や業界レポートは、合成サンプルとリアルサンプルを単純に混合すると、分布の不一致、冗長性、またはバイアスの増幅によって実際にパフォーマンスが低下する可能性があることを強調しています。これは、パフォーマンスの向上が単純なデータの蓄積ではなく、慎重なデータセット設計に依存することを明確にしています。
重要な未解決の問いは、合成データとリアルデータの最適な比率です。普遍的な答えはありません。一部の実践者はタスクの複雑さ、ドメインリスク、データの可用性に応じて、パレート式80/20の分割（主にリアルデータと合成拡張）を採用し、他の人は60/40などのよりバランスの取れた混合を好みます。
同様に、パイプラインにおける合成データの配置も重要です。業界の実践では段階的な戦略が推奨されています：カバレッジのための合成中心の事前トレーニング、その後にグラウンディングと評価のためのリアルデータのファインチューニングです。
最終的に、ハイブリッドパイプラインは補完的な強みを組み合わせるため、最も効果的に機能します。合成データはスケールとエッジケースカバレッジを提供し、リアルウェブデータは本番環境での忠実性、リアリズム、および信頼性の高い評価を確保します。
リアルウェブデータと合成データ：メリットとデメリット
まとめとして、2つのデータパラダイムの利点と欠点をご覧ください。
リアルウェブデータ
👍 メリット：
- 本物のリアルワールドパターンとノイズを捉える
- 評価と検証のための強力なベンチマーク
- 合成バイアスやアーティファクトのリスクを軽減
👎 デメリット：
- 収集とラベリングに費用と時間がかかる
- プライバシーと規制上の制約によって制限される場合がある
- アンバランスまたは不完全な場合がある
合成データ
👍 メリット：
- 高度にスケーラブルで生成が速い
- 稀なイベントとエッジケースをシミュレートできる
- プライバシーを保護するトレーニングパイプラインをサポート
👎 デメリット：
- リアルワールドデータとのドメインギャップのリスク
- 慎重な検証と品質管理が必要
- リアルデータと比較して多様性が不足し、合成アーティファクトへの過学習につながる場合がある
リアルウェブデータ＋合成データ
👍 メリット：
- スケール（合成）とリアリズム（リアルデータ）を組み合わせる
- 実際に最良のパフォーマンスを達成することが多い
- エッジケースと通常ケース全体でより強い堅牢性
👎 デメリット：
- 比率の慎重なバランスとチューニングが必要
- 混合が不適切な場合、パフォーマンスが低下するリスク
- より複雑なパイプライン設計とメンテナンス
まとめ
この合成データとリアルウェブデータのブログ記事では、AI/MLモデルトレーニングにリアルワールドまたは人工的に生成されたデータを使用した場合の影響について学びました。このような状況では常にそうであるように、単一の勝者はありません。適切なアプローチは、特定の予算、技術スキル、およびパフォーマンス目標によって異なります。
どのような設定であっても、ウェブデータは事前トレーニングや最終的なファインチューニングのいずれにおいても、AIモデルトレーニングにおいて中心的な役割を果たし続けています。その幅広いカバレッジとリアルワールドのグラウンディングが不可欠です。しかし、一部の企業はより合成データ重視のアプローチを選択することを好みます。主な理由は、社内でのウェブデータ取得パイプラインの構築と維持の複雑さです。
ここでBright Dataが役立ちます。エンタープライズグレードで高度にスケーラブルかつ準拠したインフラにより、以下を提供します：
- ウェブデータセット：数十億のレコードを持つ350以上の既製データセットで、すでに収集・キュレート・AIトレーニングユースケース向けに最適化されています。
- ウェブスクレイピング製品：多くのサイトから大規模に新鮮なウェブデータにアクセスするためのAPIベースのソリューション。
さらに、Bright Dataはデータアノテーションサービスを提供しています。NLP、コンピュータービジョン、音声認識のユースケースに対して、スケーラブルで正確かつカスタマイズ可能なラベリングソリューションを提供します。
AIのためのBright Dataのすべてのソリューションをご覧ください！
Bright Dataの無料アカウントを作成して、ウェブデータソリューションをお試しください！
