転移学習

TLDR: 転移学習は、あるタスクで訓練されたモデルを別のタスクに適応させる手法です。効果的なAIシステムの訓練に必要なデータと計算量を大幅に削減します。

転移学習は機械学習における技術です。大規模なソースタスクで訓練されたモデルを、異なるターゲットタスクの出発点として再利用します。モデルは最初のタスクから得た知識を転移します。これは、ターゲットタスクのラベル付きデータが少ない場合に特に有効です。ゼロからモデルを訓練するには膨大なデータと計算量が必要です。転移学習ははるかに少ない事例で優れた結果を達成します。

転移学習の仕組み

1. 事前訓練：大規模な汎用データセットで大きなモデルを訓練します。ビジョンではImageNet、言語では大規模テキストコーパスが使われます。
2. 転移：事前訓練済みモデルの重みを新しいモデルにコピーします。
3. ファインチューニング：新しいモデルを小規模なタスク固有データセットでさらに訓練します。初期層は凍結され、後の層が更新されます。

主なアプローチ

1. 特徴抽出：事前訓練済みモデルを固定特徴抽出器として使用します。新しい分類ヘッドのみを訓練します。
2. ファインチューニング：事前訓練済みモデルの全部または一部を低学習率で新しいデータセットで再訓練します。
3. ドメイン適応：ラベル付きターゲットデータを最小限に抑えながら、あるドメイン（例：写真）から別のドメイン（例：医療スキャン）へモデルを適応させます。

応用分野

1. コンピュータビジョン：ImageNetで事前訓練されたCNNを医療画像、欠陥検出、衛星画像向けにファインチューニングします。参照：コンピュータビジョン。
2. NLP：BERTやGPTなどのモデルはウェブテキストで事前訓練され、感情分析、固有表現認識、質問応答向けにファインチューニングされます。
3. ロボティクス：シミュレーションで学習した操作スキルが実際のロボットに転移します。これにより、コストのかかる実世界の訓練データ収集を削減します。
4. 自動運転：大規模データセットで事前訓練された知覚モデルが、限られた新しいデータで新しい車両タイプや環境に適応します。

転移学習とデータ効率

転移学習は現代AIにおける最も実用的な技術の一つです。ラベル付きデータの要件を数百万件から数千件に削減します。ソースドメインデータの品質は依然として重要です。クリーンで多様なデータで事前訓練されたモデルほど転移性能が向上します。Bright Dataのデータセットは、チームがドメインをまたいだ高品質な事前訓練コーパスとファインチューニングデータセットを構築するのに役立ちます。