--- title: "ウェブ上の公開動画データに隠されたロボット学習の瞬間を発見する" slug: robot-training-data-in-public-web-video date: 2026-08-25T09:09:37+00:00 modified: 2026-08-25T09:09:43+00:00 permalink: https://brightdata.jp/blog/ai/robot-training-data-in-public-web-video type: blog --- [ ブログ ](https://brightdata.jp/blog "ブログ") / [AI](https://brightdata.jp/blog/ai) [AI](https://brightdata.jp/blog/ai) # ウェブ上の公開動画データに隠されたロボット学習の瞬間を発見する 調査：Bright DataのVideo Search APIは、タイトル・説明・タグに頼るのではなく動画の映像内容を検索することで、物理的なアクションの瞬間を10倍以上発見しました。 4 分読 [ ![](https://media.brightdata.jp/2025/12/1763645725709-50x50.png) ](https://brightdata.com/blog/authors/raz-kaplan) [Raz Kaplan AI GTM Lead ](https://brightdata.com/blog/authors/raz-kaplan) ![Finding the web’s hidden robot training moments in public web video data](https://media.brightdata.jp/2026/08/Finding-the-webs-hidden-robot-training-moments-in-public-web-video-data.png) 動画データは、ヒューマノイドを含むロボットが物理的なタスクを理解・実行するための学習に役立ちます。これには、視覚的な観察と言語指示をアクションに結びつけるVLAモデルと、環境が時間とともにどのように変化するかを学習するワールドモデルが含まれます。公開ウェブには、人々がそうした作業を行う動画が何百万本も存在しますが、特定のアクションを見つけることは困難です。タイトルは動画の大まかなトピックを説明するだけで、映像内のアクションは名前が付けられていないからです。説明文やタグも通常は同様です。 この調査では、Bright DataのVideo Search API（[Video Search API](https://brightdata.com/ai/video-data/vla)）を使用しました。Video Search APIは、ウェブ動画内の瞬間を視覚的に検索できるツールです。 アクションの自然言語による説明を入力すると、動画に付けられたテキストではなく公開動画の視覚的なコンテンツを検索し、アクションが現れる可能性のある候補動画とタイムスタンプを返します。従来のキーワード検索はその逆で、入力した言葉を動画のタイトル・説明・タグと照合するため、両者のアプローチは全く異なる映像に行き着きます。 **141の物理的なアクション**を送信したところ、**7,549本の動画**から**10,828の瞬間**が返されました。保持された各瞬間について、アクション名のいずれかの単語が動画のタイトル・説明・タグに含まれているかを確認しました。**90.8%**のケースで、いずれにも含まれていませんでした。 キーワードで学習映像を収集する場合、この90.8%が見逃すデータであり、APIの収集量はテキスト検索が到達できる量の10倍以上になります。これらの余分な瞬間は、求めていたのと同じアクションを示しており、タイトルには別のことが書かれた動画の中に存在し、これらのフィールドに対してどれだけ多くのクエリを実行してもテキストパイプラインからは見えません。 タイトル・説明・タグに対してリテラル部分文字列を照合し、APIが返したコーパス内でカウントしたため、この比率はこれら2つの条件下で成立します。セマンティック検索・多言語検索・字幕検索・YouTubeのランキングは、今回のテスト対象外です。 --- ### 3つの数字で見る結果 **10.9×**リテラルマッチより多い瞬間コンテンツ検索は10,828件を返したが、メタデータにアクション名の単語を含むのは992件のみ**90.8%**どこにも名前なし10,828件中9,836件の瞬間は、タイトル・説明・タグのいずれにもアクションへの言及がない**56.1%**タイトルに手がかりなし検索より緩い基準。google/gemini-2.5-flashにタイトルとアクションの関連性を判定させたところ（検索には使えないほど曖昧な手がかりも含む）、10,828件中6,071件で無関係と判定されたこの3つの数字の算出根拠最初の2つは同じ割り算です。10,828件中9,836件の瞬間はいずれのフィールドにもアクションの単語を含まず、含む992件がリテラルマッチャーの到達範囲であり、10,828 ÷ 992 = 10.9となります。4つのバケット（タイトル・説明・タグ・なし）は互いに排他的で、確認済み合計に加算されます。どちらも一致行ごとにカウントされ、8,849の異なる動画秒に集約すると比率は8.9×になります。 3つ目はモデルが無関係と評価したタイトルの数です。7,549の異なる動画にまたがる10,828件中6,071件で、1行が1つの瞬間に対応します。 タイムスタンプには2つ目の効果もあります。各瞬間を最大10秒のアクションとすると、これらのマッチが存在する**5,066.5時間**のソース動画が**24.58時間**のクリップになり、移動・保存・レビューに必要な量が206.1分の1に削減されます。 **検索が実際に返したもの。**検索の確信度が高いことは、検索が正確であることと同じではないため、ほぼすべてのマッチから実際のフレームを取得し、ビジョンモデルですべてを評価しました。セクション3.5にその比率を示します。この監査は発見とキュレーションのための候補映像を明らかにするものであり、いかなるポリシー・ワールドモデル・ロボットもこれで学習していません。 ### YouTubeの6本の動画とそのタイトルのサンプル タイトルなしで画像を見せたビジョンモデルの判定と、動画自体のタイトル（ソース言語が明記されている場合は英語に翻訳）を比較したものです。AIが各タイトルにアクションのヒントがないか読み取り、これら6件を無関係と評価しました。日付のみのタイトル、クルアーンの節、経済ニュースの速報などです。各フレームを目視で確認し、すべての動画は公開中です。フレームをクリックすると、その秒から動画が再生されます。 瞬間フレームに映っているもの動画のタイトル[![Person shoveling cement in mixing tub](https://media.brightdata.com/2026/08/Q6T5qNlN8k0_43.jpg)](https://www.youtube.com/watch?v=Q6T5qNlN8k0&t=41s) `mix_cement`混合桶でセメントをすくう人物タウバ章26節「しかし（それでも）あなたはどこへ行くのか？」*（trより）*[![Hand inserting fuel nozzle into car filler](https://media.brightdata.com/2026/08/Uk0HDyKdMM8_151.jpg)](https://www.youtube.com/watch?v=Uk0HDyKdMM8&t=149s) `refuel`給油口に燃料ノズルを差し込む手バングラデシュの経済改革の課題とIMFのメッセージ | バングラデシュ経済 | IMF *（bnより）*[![Two hands folding green paper in half](https://media.brightdata.com/2026/08/MVabAXq-o40_376.jpg)](https://www.youtube.com/watch?v=MVabAXq-o40&t=374s) `fold`緑の紙を半分に折る両手2023年12月24日 *（zhより）*[![Hand slicing avocado on chopping board](https://media.brightdata.com/2026/08/O_4ODEXyEs0_306.jpg)](https://www.youtube.com/watch?v=O_4ODEXyEs0&t=304s) `cut_knife`まな板でアボカドを切る手月の土壌で育てた食物…科学者たちは恐れた？ *（hiより）*[![Hand striking red mushroom emergency stop button](https://media.brightdata.com/2026/08/1Na9zoYj2C4_16.jpg)](https://www.youtube.com/watch?v=1Na9zoYj2C4&t=14s) `emergency_stop`赤いきのこ型非常停止ボタンを押す手（清州市/幹線）ウジン産田アポロ1100電気超低床型PEV標準2024年6月版2027東一交通712 *（koより）*[![Hand guiding chisel into wood carving](https://media.brightdata.com/2026/08/KKiSvsIFetg_13275.jpg)](https://www.youtube.com/watch?v=KKiSvsIFetg&t=13273s) `chisel_carve`木彫りにノミを当てる手adapt and overcome 🌱--- ### 取得された瞬間の90.8%はメタデータのどこにも記述されていない この割合は、このコーパスにおいてコンテンツ検索が到達した範囲と、リテラルなメタデータマッチングが到達できた範囲のギャップを示しています。 明らかな反論は言語の問題です。英語のアクション語を英語以外のタイトルと照合しているからです。モデルが確認した英語タイトルのみに絞っても、数値は85.8%に留まります。セクション3.3にすべての分類を示します。 #### 取得された全10,828件の瞬間におけるアクションの記述箇所 ![Waffle chart: 100 squares, one per percentage point of the 10,828 matched moments; 91 are named nowhere](https://media.brightdata.com/2026/08/waffle.svg)表形式バケット瞬間数割合テキストパイプラインへの意味タイトルに記述あり3863.6%リテラルマッチャーが発見できる説明文のみ5314.9%説明文を読む場合のみタグのみ750.7%タグを読む場合のみ**どこにも記述なし****9,836****90.8%**リテラルマッチャーが発見できない各バケットから1件の実例を示します。「531件の瞬間は説明文にのみ記述されている」という主張に対し、マッチした単語が強調された実際のタイトルが証拠となります。 バケットアクション動画タイトル（マッチした秒で開く）マッチタイトルに記述あり`pour`[Teaching a beginner how to pour latte art patterns (Expert Barista Guide)](https://www.youtube.com/watch?v=2P4d7Vq4GSc&t=404s)「pour」でマッチ説明文のみ`take`[GENTLE SOY SAUCE SOUP RAMEN (SHOYU RAMEN) | A Real Japanese Dad Cooks | Japanese cooking](https://www.youtube.com/watch?v=c8Kf9xlqVc0&t=216s)「take」でマッチタグのみ`fold`[ورقة واحدة .. طيّات قليلة .. بدون لاصق.. وعالمٌ هرميٌ كامل!](https://www.youtube.com/watch?v=hljmkQn7uD8&t=89s)「fold」でマッチどこにも記述なし`take`[\# viral video in social media # viral koriyaan # sad story of koriyan romance](https://www.youtube.com/watch?v=v3JvHty7O_w&t=40s)「take」の単語はメタデータのどこにも存在しない#### ドメイン別の不可視割合 ![Every domain's moments split into named nowhere (pink) vs named in title, description or tags (blue)](https://media.brightdata.com/2026/08/domains.svg)表形式の数値ドメインどこにも記述なし確認済み瞬間数テーブルトップ（DROID）98.1%1,836屋外95.9%217全身動作95.4%866家庭92.0%402建設91.1%987産業89.6%4,612自動車83.8%1,908すべてのドメインのすべてのマッチ動画にはスクレイピングされたメタデータが付いているため、各nはそのドメインの取得済みセット全体です。「ボウルにブロックを入れる」というタイトルを付ける人はいません。修理動画は修理対象を告知するため、自動車がリテラルマッチャーがある程度到達できる唯一のドメインとなっています。 --- ### 1 タイムスタンプがパイプラインから省くもの 例えば、はんだ付けの10秒の映像が欲しいとします。通常の方法は5つのステップを踏み、そのすべてが動画ファイル全体を対象に実行されます。タイトルで動画を探し、全体を抽出し、自分のコピーの中で瞬間を検索し、その瞬間を切り出し、何が映っているかをラベル付けします。 ステップ1はこれらの瞬間の90.8%を見逃します。映像を検索すると、動画とその内部の秒が返され、5つのステップのうちの1つがなくなります。すでに瞬間の場所がわかっているため、抽出した動画内を検索する必要がありません。[Media Data API](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json)は動画全体・音声・字幕・ストーリーボードを提供し、タイムスタンプは受け付けませんが、場所を探すのではなく既知のオフセットに対してカットします。5つのステップが4つになります。 オフラインの収集パイプラインは通常、この作業を複数のシステムに分割します。動画をクラウドストレージに移動し、手動または半自動でフレームごとにアノテーションを付け、ROSやMCAPなどのロボティクス形式と汎用動画形式の間で変換します。各受け渡しはスループットが失われる場所であり、カメラストリームとモーターコマンド間のタイミング整合がずれる可能性があります。ここではそのいずれも測定していませんが、返されたタイムスタンプの価値を理解するための文脈として重要です。 **従来の方法**（5ステップ、動画全体に対して課金）： 1. **動画を探す**・タイトルに対するキーワード検索 2. **抽出する**・5,066.5時間のソース動画 *（高コストなステップ、マッチした全動画のスクレイピング済み再生時間から計算）* 3. **検索を実行する**・自分のコピーに対して別のツールで 4. **カットする**・各クリップを瞬間に合わせてトリミング 5. **ラベル付けする**・カットした内容をアノテーション **瞬間検索を使う場合**（4ステップ、秒単位で課金）： 1. **シーンを探す**・コンテンツ検索が秒を返す 2. **取得する**・返されたオフセット周辺の約24.58時間 *（推定：各瞬間を最大10秒のアクションと仮定）* 3. **カットする**・既知のオフセットに対してローカルでトリミング 4. **ラベル付けする**・瞬間ごとに1フレーム ![Footage moved, to scale: two bars on one axis](https://media.brightdata.com/2026/08/volume.svg)--- ### 2 方法 141のアクションそれぞれについて1文の説明を書き、[Video Search API](/ai/video-data/vla)に送信しました。はんだ付けの説明文は次のとおりです： > **送信した141文の一例** > > ベンチランプの照明の下、片手でハンダごてを基板のジョイントに当て、もう一方の手でハンダ線を送り込む手のクローズアップ その後、返ってきたすべての動画のタイトル・説明・タグをスクレイピングしました。Bright Dataはインデックスがタイトル・説明・タグではなくサンプリングされたフレームでマッチングすると説明しているため、評価したフィールドが映像を発見したものではないはずです。これは独立して検証していません。 22のアクション名は[DROID](https://huggingface.co/datasets/lerobot/droid_1.0.1)のタスク文字列から動詞の頻度を読み取って抽出し、残りの119はDROIDのカバレッジを超えた監査の拡張のために手作業で追加しました。 --- ### 3 結果 #### 3.1 各ルートのコスト ここに示すすべての値はこのコーパス上の時間数であり、再生時間はスクレイパーから合計したものです。ソースの数値は推定ではなく実測値です。動画は抽出していないため、バイト数は主張しません。 **206.1×**の背後には2つのカウントがあります。5,066.5時間は7,549本の動画に対する実際の合計です。クリップの数値は8,849の異なる秒にわたる各（動画、秒）を一度カウントし、10秒の窓を掛けたものです。 この比率はクリップの長さとロングテールをカウントするかどうかという2つの選択に依存しており、ロングテールがより大きなレバーです。3時間以上の動画483本はセットの約6%を占め、時間数の約60%を担います。完全な感度テーブル： ![Reduction factor under every video-length cap](https://media.brightdata.com/2026/08/sensitivity.svg)表形式の数値除外する動画の長さ動画数コーパス時間数異なる秒数クリップ時間数（10秒）削減率1時間超6,5541,113.57,60521.1252.7×2時間超6,8731,563.88,01722.2770.2×3時間超7,0662,031.38,24722.9188.7×6時間超7,3643,272.88,60923.91136.9×12時間超7,5465,012.38,84624.57204.0×全て保持（公開済み）7,5495,066.58,84924.58206.1×どちらの方法でも同じコーパス：8,849の異なる動画秒に対して10,828のマッチ行。異なる秒ではなくすべてのマッチをカウントすると30.08クリップ時間と168.4×の削減になります。同じ比率がレビュー時間にも適用されるのは、代替手段がすべてのソース動画を全体的にレビューし、レビュー時間が再生時間と線形にスケールし、8,849の個別クリップのステップ処理にクリップごとのオーバーヘッドがない場合のみです。 #### 3.2 マッチングルールと厳格化の効果 保持された各候補瞬間について、この監査で利用可能なメインのメタデータフィールドである動画のタイトル・説明・タグを確認しました。 アクション名の2文字より長い単語が大文字小文字を区別しない部分文字列として現れる場合、その瞬間は「記述あり」とカウントされます。つまり「change」だけで`change_tire_wrench`がマークされ、「car」は「carpet」の中に見つかります。これは最も許容度の高いルールであり、見出しの数値をフロアとしています。厳格にするほど上昇します： ![Moments a text matcher reaches under four increasingly strict rules: 992, 868, 597, 206 of 10,828](https://media.brightdata.com/2026/08/matcher.svg)公開ルールより厳しいルールはすべて数値を上昇させます。これが90.8%がベストケースではなくフロアである理由です。公開ルールで「記述あり」とカウントされる992件の瞬間のうち395件は、より長い単語内の断片によるものです。すべての値は実測値であり、コーパスに対して4回の実際のパスを行いました（`supply_gap.py _variants()`）。 #### 3.3 多くが他の言語でタイトル付けされている 10,828のマッチした瞬間すべてのタイトル言語を読み取ったため、これはサンプルではなくコーパス全体です。そのうち**4,863件（約45%）**は**77の非英語言語**のいずれかでタイトル付けされた動画に含まれており、さらにモデルが判定できなかったタイトルが1件あります。同じ英語のアクション説明が、ヒンディー語タイトルの動画から423件、ポルトガル語タイトルの動画から509件の瞬間を返しました。地理的フィールドは収集していないため、これは動画の制作場所については何も示しません。 ![Title language of every matched moment, proportional strip](https://media.brightdata.com/2026/08/langs.svg)*見つかった全79言語にわたる、すべてのマッチした瞬間のタイトル言語。* この混在により、見出しの数値を信頼する前にコーパスを英語に絞りました。英語と判明しているタイトルに限定すると数値は数ポイント変化し、大部分は維持されます。つまりギャップの一部は言語の不一致であり、残りは不一致を除去した後も残る説明の失敗です： ![Named-nowhere share when the corpus is sliced toward English: 90.8% all, 87.6% ASCII, 85.8% English titles, 95.0% English audio](https://media.brightdata.com/2026/08/slices.svg)同じ数値を表形式でスライスどこにも記述なしn全瞬間**90.8%**10,828プレーンASCIIタイトル87.6%5,560モデルが確認した英語タイトル85.8%5,965確認済み英語音声95.0%317（少なすぎて参考にならない）#### 3.4 アクション別 利用可能なメタデータにリテラルなアクション語が含まれない割合でソートしています。17のアクションには、メタデータにターゲットアクションが記述されている保持済み瞬間がありません。確認済み瞬間数が8件以上の141のアクション全体で、割合は50.0%から100.0%の範囲で、中央値は94.1%です。最も隠れていない12件： ![The 12 least hidden actions: each bar is moments found, split into named in its own text (blue) vs named nowhere (pink)](https://media.brightdata.com/2026/08/supply.svg)表形式の数値アクションドメイン発見数テキストに記述ありどこにも記述なし`wash_car`自動車723650.0%`wash_car_panel`自動車783653.8%`car_door_open`自動車923858.7%`car_door_close`自動車913660.4%`car_door`自動車933661.3%`pack_box`産業732861.6%`grinder_use`産業692366.7%`hand_saw_cut`産業772567.5%`jack_up_car`自動車782469.2%`tape_box`産業752369.3%`sit_stand`全身動作28871.4%`impact_driver`産業701972.9%**全141アクション**・発見数/記述あり/どこにも記述なし、およびアクションごとのインデックス全体の外挿アクションドメイン発見数記述ありどこにも記述なしインデックス全体の推定瞬間数利用可能率率の根拠`climb_ladder`全身動作930100.0%188,79026.1%アクション`crane_hook`産業840100.0%170,4369.5%アクション`flip`テーブルトップ（DROID）870100.0%176,52326.7%アクション`lift`テーブルトップ（DROID）890100.0%180,58124.7%アクション`load_cart`産業820100.0%166,4609.8%アクション`pick_up`テーブルトップ（DROID）720100.0%146,08847.9%アクション`push`テーブルトップ（DROID）910100.0%184,63923.3%アクション`push_heavy_cart`全身動作700100.0%142,10024.3%アクション`push_trolley`産業650100.0%131,95020.0%アクション`refuel`自動車910100.0%184,63926.4%アクション`refuel_nozzle`自動車880100.0%178,55227.6%アクション`seatbelt_buckle`自動車870100.0%176,52329.9%アクション`slide`テーブルトップ（DROID）820100.0%166,37832.1%アクション`sort_parcel`産業820100.0%166,46037.8%アクション`stack`テーブルトップ（DROID）650100.0%136,95821.9%アクション`unfold`テーブルトップ（DROID）790100.0%160,29157.0%アクション`ziptie_bundle`産業820100.0%166,46048.8%アクション`carry_upstairs`全身動作87198.9%176,61025.6%アクション`hang`テーブルトップ（DROID）92198.9%181,59612.1%アクション`pull`テーブルトップ（DROID）87198.9%176,52318.4%アクション`pull_trolley`全身動作92198.9%186,76022.8%アクション`close`テーブルトップ（DROID）83198.8%168,40741.5%アクション`emergency_stop`産業85198.8%172,46522.6%アクション`handbrake_pull`自動車82198.8%166,37831.7%アクション`place`テーブルトップ（DROID）84198.8%170,43639.3%アクション`remove`テーブルトップ（DROID）86198.8%174,49448.8%アクション`turn_on`テーブルトップ（DROID）85198.8%172,46529.4%アクション`count_stock`産業76198.7%154,28032.4%アクション`reach_overhead`全身動作79198.7%160,37046.8%アクション`wipe`テーブルトップ（DROID）77198.7%180,58128.0%アクション`crouch_down`全身動作65198.5%131,95034.9%アクション`seat_chip`産業65198.5%131,95046.9%アクション`plaster_wall`建設88297.7%178,55225.3%アクション`plug_in`家庭87297.7%176,52336.5%アクション`turn`テーブルトップ（DROID）86297.7%174,49427.9%アクション`unplug_cable`産業88297.7%178,64042.5%アクション`label_parcel`産業85297.6%172,55045.9%アクション`move`テーブルトップ（DROID）82297.6%166,37834.2%アクション`press`テーブルトップ（DROID）83297.6%168,40742.2%アクション`spirit_level`産業83297.6%168,40712.5%アクション`conveyor_pick`産業79297.5%160,29135.4%アクション`grout_joint`建設81297.5%164,34928.4%アクション`open_hood`自動車80297.5%162,32053.8%アクション`trowel_mortar`建設79297.5%160,29128.2%アクション`balance_load`全身動作77297.4%156,31021.1%アクション`shovel_load`屋外74297.3%150,22031.5%アクション`scan_barcode`産業71297.2%144,05927.1%アクション`desolder_remove`産業63296.8%127,89051.6%アクション`pull_wire`建設61296.7%123,76930.0%アクション`take`テーブルトップ（DROID）90396.7%182,61037.8%アクション`forklift_controls`産業59296.6%119,71127.1%アクション`open_gate`全身動作88396.6%178,64021.6%アクション`pour`テーブルトップ（DROID）89396.6%183,62456.2%アクション`plug_in_socket`産業85396.5%172,55036.5%アクション`shrink_wrap`産業81396.3%164,43022.5%アクション`wipe_windshield`自動車82396.3%166,37834.6%アクション`control_dial`産業72395.8%146,08831.9%アクション`steering`自動車72395.8%146,08859.7%アクション`open_carton`産業69395.7%140,07031.9%アクション`put`テーブルトップ（DROID）91495.6%184,63941.8%アクション`plant_seed`屋外67395.5%136,01028.8%アクション`steering_turn`自動車43295.3%87,24760.5%アクション`pipe_fitting`産業83495.2%168,40744.6%アクション`open`テーブルトップ（DROID）79494.9%173,98744.2%アクション`dig_soil`屋外76494.7%154,28044.6%アクション`sweep`家庭75494.7%152,17529.3%アクション`route_cable`産業74494.6%150,22043.8%アクション`gear_shift`自動車73494.5%148,11737.0%アクション`stack_pallet`産業70494.3%142,10012.9%アクション`thermal_paste`産業69494.2%140,07019.1%アクション`ev_charge_plug`自動車85594.1%172,46526.2%アクション`carry_box`家庭84594.0%170,43625.0%アクション`open_trunk`自動車84594.0%170,43628.6%アクション`socket_ratchet`産業82593.9%166,37831.7%アクション`top_up_fluid`自動車82593.9%166,37837.0%アクション`press_machine_button`産業79593.7%160,29131.6%アクション`valve_turn`産業79593.7%160,29119.0%アクション`insert_usb`産業78593.6%158,34046.0%アクション`caulk_gun`産業86693.0%174,49434.1%アクション`adjust_mirror`自動車85692.9%172,46520.0%アクション`sand_surface`産業85692.9%172,46555.3%アクション`cut_pipe`建設68592.6%137,97241.8%アクション`machine_unload`産業68592.6%137,97230.9%アクション`unload_truck`産業68592.6%138,04035.3%アクション`machine_lever`産業80692.5%162,32021.2%アクション`assemble_snap_fit`産業77692.2%156,31051.3%アクション`measure_tape`産業76692.1%154,20442.1%アクション`chisel_carve`産業49491.8%99,42142.9%アクション`wrench_bolt`産業85791.8%172,46534.1%アクション`hammer_nail`産業84791.7%170,43620.2%アクション`solder_pipe`建設70691.4%142,03037.1%アクション`step_over`全身動作70691.4%142,10028.6%アクション`gauge_read`産業78791.0%158,26235.9%アクション`fold`テーブルトップ（DROID）77790.9%158,76957.1%アクション`tile_place`建設83890.4%168,40730.1%アクション`solder`産業55689.1%111,59545.5%アクション`screwdriver`産業72888.9%146,08843.1%アクション`bend_lift`全身動作62788.7%125,86032.3%アクション`power_drill_hole`産業70888.6%142,03040.9%アクション`solder_joint`産業61788.5%123,83055.7%アクション`mix_cement`建設68888.2%137,97243.3%アクション`nail_gun`建設68888.2%137,97229.8%アクション`drywall_screw`建設72987.5%146,08828.2%アクション`lay_brick`建設801087.5%162,32027.5%アクション`clamp_workpiece`産業62887.1%125,79835.5%アクション`machine_load`産業62887.1%125,79819.4%アクション`cut_vegetable`家庭831186.7%168,40742.2%アクション`torque_wrench`産業831186.7%168,40731.3%アクション`cut_knife`家庭731086.3%148,11734.2%アクション`tire_pressure`自動車731086.3%148,11747.9%アクション`weld_seam`産業871286.2%176,52331.4%アクション`pliers_grip`産業721086.1%146,08850.7%アクション`paint_brush`建設901385.6%182,61022.2%アクション`wire_cut`産業761185.5%154,20434.2%アクション`paint_roller`建設791383.5%160,29115.2%アクション`breadboard_wire`産業651183.1%131,95044.6%アクション`change_tire`自動車691282.6%140,00150.0%アクション`kneel_work`全身動作551081.8%111,65045.5%アクション`change_tire_wrench`自動車711381.7%144,05946.4%アクション`assemble_part`産業701381.4%142,03064.3%アクション`check_oil_dipstick`自動車801581.2%162,32043.8%アクション`screw_panel`産業811680.2%164,43037.5%アクション`lathe_operate`産業511178.4%103,47931.4%アクション`engine_bay`自動車771777.9%156,23356.6%アクション`probe_test`産業631477.8%127,89054.8%アクション`machine_control`産業781876.9%158,26236.4%アクション`screwdriver_drive`産業782074.4%158,26239.5%アクション`weld`産業862274.4%174,49431.4%アクション`power_drill`産業701874.3%142,03048.6%アクション`impact_driver`産業701972.9%142,03035.3%アクション`sit_stand`全身動作28871.4%56,84035.7%アクション`tape_box`産業752369.3%152,25026.4%アクション`jack_up_car`自動車782469.2%158,26227.3%アクション`hand_saw_cut`産業772567.5%156,23332.9%アクション`grinder_use`産業692366.7%140,00142.6%アクション`pack_box`産業732861.6%148,11750.0%アクション`car_door`自動車933661.3%188,69720.4%アクション`car_door_close`自動車913660.4%184,63926.4%アクション`car_door_open`自動車923858.7%186,66822.8%アクション`wash_car_panel`自動車783653.8%158,26241.6%アクション`wash_car`自動車723650.0%146,08845.1%アクションアクションごとの発見可能性。「記述あり」は、公開済みの部分文字列ルールに基づき、アクション名のいずれかの単語が自身のタイトル・説明・タグに含まれる瞬間をカウントします。外挿列は各アクションの測定済みシャードあたりの収量にインデックスのシャード数を掛け、測定済みのアクション間重複で割ったものです。「率の根拠」は、利用可能率がそのアクション自身のフレームで測定されたか、ドメインから継承されたか、コーパス全体の率から継承されたかを示します。 #### 3.5 フレームの取得 検索が正確かどうかを確認するため、マッチした各動画から実際のフレームを取得して確認しました。動画を抽出せずにYouTubeが公開しているのはストーリーボード（サムネイルのスプライトシート）であり、そのサンプリング間隔は再生時間に応じて広がります。109秒以下の動画では1秒、175秒から275秒では2秒、454秒から892秒では5秒、1,366秒以上では10秒と測定しました。これらのバンド間の境界は、調査した12本の動画では解明されませんでした。判定した画像はマッチした秒以前の最も近いサンプルであるため、最大1インターバル早い可能性があります。最悪の場合10秒、フレームの半数強で5秒または10秒早くなります。`storyboard_probe.py`で測定し、動画ごとの仕様は`data/storyboard_spec.json`にあります。 ビジョンモデルが取得した10,828件中10,750件のフレームすべてを判定したため、ここに示すすべての比率はサンプルではなくコーパスの99.3%で測定されています。**93.8%**はアニメーション・ゲーム・画面録画ではなく実際の映像です。**25.7%**はアクションが視覚的に進行中であることが確認され、57.4%は進行中または準備中のものでした。**34.5%**は0から5の利用可能性スケールで3以上のスコアを獲得しました。この最後の数値はモデルが観察できない下流の学習プロセスについての判断であり、そのように振る舞います。60フレームのサンプルで同一設定を4回実行すると3.4ポイントの幅があり、ルーブリックの言い換えで20ポイント変化しました。アクション可視割合は同じルーブリック変更で1.7ポイント変化したため、複数回の実行間で比較すべき数値はこちらです。 フレーム取得： ![Frame extraction outcomes over all attempted moments](https://media.brightdata.com/2026/08/acquisition.svg)表形式の数値結果瞬間数割合フレーム取得済み10,750 / 10,82899%解析可能なストーリーボードなし750.7%スプライト取得失敗30.03%フレーム取得。ストーリーボードを直接取得し、10,828件中863件でレート制限に遭遇しましたが、856件は後のパスで回復したため、失われた78件の瞬間はいずれも429で終わっていません。[Media Data API](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json)がこのステップのサポートされたルートであり、ストーリーボードを直接返します。この監査ではそれを呼び出しませんでした。これらの瞬間は7,549本の動画にあり、1本の動画につき1回のウォッチページ取得と少なくとも1枚のスプライトシートが必要で、動画ごとにキャッシュされます。 --- ### 4 再生可能な瞬間 マッチした秒以前の最も近いストーリーボードフレームに対してマッチを表示しています。ランキングはキュレーションされていません。10,828件中10,750件の瞬間に独自のフレームがあり、ギャラリー全体には10,761行あります。これは11件がさらに同じ秒にマッチした別のアクションと画像を共有しているためです。これらの行は8,792の異なる画像に基づいており、ファイル名が動画とアクションではなく動画と秒を示しているためです。 以下は、アクションごとに1件ずつ、ランキングそのままの上位マッチした瞬間です。**任意のフレームをクリックすると、マッチした秒からソース動画が再生されます。** [![Hand using tape measure on wooden board](https://media.brightdata.com/2026/08/dsOefN6Mny8_168.jpg)](https://www.youtube.com/watch?v=dsOefN6Mny8&t=166s)[![Hands holding copper pipe cutter tool](https://media.brightdata.com/2026/08/cKl6h0O2n80_701.jpg)](https://www.youtube.com/watch?v=cKl6h0O2n80&t=699s)[![Pink gloved hands arranging white metal small parts](https://media.brightdata.com/2026/08/3FQl-uhcrYI_138.jpg)](https://www.youtube.com/watch?v=3FQl-uhcrYI&t=136s)`measure_tape` · 0.391 · 有用度 4/5 木の板にメジャーを当てる手 *Shootout review and a work story!*`cut_pipe` · 0.388 · 有用度 2/5 銅パイプカッターを持つ両手 *How Raw Copper Turns into a Masterpiece with Artistic Hammer Strikes⚒️🔥🇮🇷*`machine_load` · 0.386 · 有用度 2/5 ピンクの手袋をした手が白い金属小部品を整列させている *THK rail | Installation guide | THK rail | Rail removal and installation | 0363.*[![Hands on forklift controls and steering wheel](https://media.brightdata.com/2026/08/bqZxQKw5WEU_342.jpg)](https://www.youtube.com/watch?v=bqZxQKw5WEU&t=340s)[![Hands near circuit board, unclear soldering setup](https://media.brightdata.com/2026/08/dNi7ayBp2nk_577.jpg)](https://www.youtube.com/watch?v=dNi7ayBp2nk&t=575s)[![Both hands gripping steering wheel, turning](https://media.brightdata.com/2026/08/RtV-k39-4_496.jpg)](https://www.youtube.com/watch?v=_RtV-k39--4&t=494s)`forklift_controls` · 0.383 · 有用度 5/5 フォークリフトのコントロールとステアリングホイールを握る両手 *JUST DRIVE : Forklift #38*`solder` · 0.382 · 有用度 3/5 基板の近くにある手、不明瞭なはんだ付けの設定 *⚡ Simple DIY Repair Old Bike Battery And Install Separate USB Charging Port For* `steering_turn` · 0.378 · 有用度 5/5 ステアリングホイールを両手でしっかり握り、回している *1995 Volvo 850 T5-R Wagon – POV Driving Impressions*[![Hand near tape rolls and packing supplies](https://media.brightdata.com/2026/08/Acq-JaCaZ4s_236.jpg)](https://www.youtube.com/watch?v=Acq-JaCaZ4s&t=234s)[![Hands manipulating white fabric on surface](https://media.brightdata.com/2026/08/NIUlXM8eO-c_441.jpg)](https://www.youtube.com/watch?v=NIUlXM8eO-c&t=439s)[![Gloved hands near industrial machine setup](https://media.brightdata.com/2026/08/aDD3H8-GLw8_887.jpg)](https://www.youtube.com/watch?v=aDD3H8-GLw8&t=885s)`tape_box` · 0.376 · 有用度 1/5 テープロールと梱包資材の近くにある手 *Cell 32140 high discharge line – battery pack accessories 0824457979*`wipe` · 0.374 · 有用度 3/5 表面の白い布を操作する両手 *Washed Notebook ASMR 📘✨ Radiator‑Dried Pages With Intense Crinkles*`machine_unload` · 0.373 · 有用度 1/5 産業用機械の近くにある手袋をした手 *Transmission Assembly – 1929 Ford Model A*[![Hands positioning nail gun on timber frame](https://media.brightdata.com/2026/08/qugpJY_vgYQ_731.jpg)](https://www.youtube.com/watch?v=qugpJY_vgYQ&t=729s)[![Person rising from chair using armrests](https://media.brightdata.com/2026/08/Wlw81mG4t74_863.jpg)](https://www.youtube.com/watch?v=Wlw81mG4t74&t=861s)[![Hand writing in notebook near clipboard](https://media.brightdata.com/2026/08/GKP-rqZoDuo_21084.jpg)](https://www.youtube.com/watch?v=GKP-rqZoDuo&t=21082s)`nail_gun` · 0.371 · 有用度 4/5 木材フレームにネイルガンを位置合わせする両手 *Building a deck for garden raised bed – Part 1*`sit_stand` · 0.371 · 有用度 5/5 肘掛けを使って椅子から立ち上がる人物 *Flexibility and Mobility Senior Chair Exercise*`count_stock` · 0.371 · 有用度 2/5 クリップボードの近くでノートに書き込む手 *\[26.4.16.Thu.\] Study with me | Studying together | Thursday meet-up! | Firefight*[![Two hands holding multimeter probes on circuit](https://media.brightdata.com/2026/08/BsuRceDcme4_1360.jpg)](https://www.youtube.com/watch?v=BsuRceDcme4&t=1358s)[![Hands holding bottles near box opening, no cutting](https://media.brightdata.com/2026/08/2aPPTbhPz3w_11813.jpg)](https://www.youtube.com/watch?v=2aPPTbhPz3w&t=11811s)[![Person prone on floor in work position](https://media.brightdata.com/2026/08/oATd18wPPe8_67.jpg)](https://www.youtube.com/watch?v=oATd18wPPe8&t=65s)`probe_test` · 0.371 · 有用度 5/5 回路にマルチメーターのプローブを当てる両手 *How to Measure Electronic Components with a Multimeter (Complete Guide)*`open_carton` · 0.369 · 有用度 2/5 箱の開口部近くでボトルを持つ両手、切断なし *Oddly Satisfying Video-How to Cutting New Wooden Fruits and Vegetables ASMR – Cu*`kneel_work` · 0.369 · 有用度 3/5 床にうつ伏せで作業姿勢の人物 *Lupimorphie, animal-performance by Régis Moulu, Capsule 114, dance*[![Person pushing heavy cart with both hands](https://media.brightdata.com/2026/08/Rc0zu29h0Rg_25.jpg)](https://www.youtube.com/watch?v=Rc0zu29h0Rg&t=23s)[![Hand guiding chisel into wood carving](https://media.brightdata.com/2026/08/KKiSvsIFetg_13275.jpg)](https://www.youtube.com/watch?v=KKiSvsIFetg&t=13273s)[![Hand turning lathe cross-slide handwheel with spinning part](https://media.brightdata.com/2026/08/uF8evG-9QH8_746.jpg)](https://www.youtube.com/watch?v=uF8evG-9QH8&t=744s)`push_heavy_cart` · 0.367 · 有用度 4/5 両手で重いカートを押す人物 *2321FI”2-Step Multi-Functional Aluminum Alloy Step Trolley: Comprehensive Usage* `chisel_carve` · 0.366 · 有用度 5/5 木彫りにノミを当てる手 *adapt and overcome 🌱*`lathe_operate` · 0.362 · 有用度 5/5 回転する部品を持つ旋盤のクロススライドハンドホイールを回す手 *Unbelievable Damage! Caterpillar Cylindrical Roller Bearing Destroyed 😱*各セル：マッチしたアクションと関連度スコア、次にビジョンモデルがフレームで見たもの（タイトルなしで画像を提示）、そして動画自体の英語タイトル。タイムスタンプは瞬間が視野に入るよう2秒早めに開きます。 --- ### 5 関連研究 説明による瞬間の検索は確立されたタスクです。[Charades-STA](https://arxiv.org/abs/1705.02101)での時間的グラウンディング、[QVHighlights](https://arxiv.org/abs/2107.09609)でのハイライト検出、[Ego4D](https://arxiv.org/abs/2110.07058)での自然言語クエリなどがあります。ここでは新しい手法を導入していません。 この構成には先例があります。[TVR](https://arxiv.org/abs/2001.09099)（2020年）は108,965件のクエリを動画・字幕・両方のどれで回答できるかでラベル付けし、**74.2%が動画のみ**と報告しました。異なる点はコーパスと目的です。6本のテレビ番組ではなくオープンウェブ動画、物理的なアクション、検証済みのサブサンプル、そしてコスト比率です。リリース形式は[AVA](https://research.google.com/ava/download.html)と[HowTo100M](https://www.di.ens.fr/willow/research/howto100m/)に従います。識別子・タイムスタンプ・ラベルのみで、動画は再配布しません。全体を通じた検索は[Video Search API](/ai/video-data/vla)です。フレームはYouTubeのウォッチページからストーリーボードを解析して取得しました。いかなる時点でもクリップは抽出していません。本番運用でのサポートされたルートは[Media Data API](https://docs.brightdata.com/api-reference/media-data-api/media-data-api.json)です。 この監査が確立するのは、ロボットのデモンストレーションの代替よりも狭い範囲です。ウェブには大量かつインデックスが不十分な物理的アクション映像の層があり、タイムスタンプ付きの視覚的検索によってその層への到達がはるかに容易になります。この方法でキュレーションした映像がロボティクスやワールドモデルシステムを測定可能に改善するかどうかは次の問いであり、この監査では実施しなかった学習実験が必要です。 --- ### 6 引用 ```none @misc{webmoments2026, title = {Finding the Web's Hidden Robot Training Moments in Public Web Video Data}, author = {Bright Data}, year = {2026}, howpublished = {Technical report}, note = {141 physical actions, 10,828 retrieved match rows over 8,849 distinct video-second moments, and 10,750 frames reviewed by a vision model} } ``` お問い合わせ無料トライアル![google social icon](/wp-content/themes/brightdata/assets/images/ic_google.svg) 目次 日本企業向けデータソリューション 日本のトップ企業が信頼するスケーラブルなウェブデータプラットフォーム。日本語24時間サポート、GDPR・個人情報保護法準拠、日本企業20社以上の導入実績。 [詳細を見る](https://brightdata.jp/solutions/data-solutions-for-japanese-companies "詳細を見る") [ ](https://news.ycombinator.com/submitlink?t=%E3%82%A6%E3%82%A7%E3%83%96%E4%B8%8A%E3%81%AE%E5%85%AC%E9%96%8B%E5%8B%95%E7%94%BB%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AB%E9%9A%A0%E3%81%95%E3%82%8C%E3%81%9F%E3%83%AD%E3%83%9C%E3%83%83%E3%83%88%E5%AD%A6%E7%BF%92%E3%81%AE%E7%9E%AC%E9%96%93%E3%82%92%E7%99%BA%E8%A6%8B%E3%81%99%E3%82%8B&u=https://brightdata.jp/blog/ai/robot-training-data-in-public-web-video) [ ](https://www.linkedin.com/shareArticle?mini=true&title=%E3%82%A6%E3%82%A7%E3%83%96%E4%B8%8A%E3%81%AE%E5%85%AC%E9%96%8B%E5%8B%95%E7%94%BB%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AB%E9%9A%A0%E3%81%95%E3%82%8C%E3%81%9F%E3%83%AD%E3%83%9C%E3%83%83%E3%83%88%E5%AD%A6%E7%BF%92%E3%81%AE%E7%9E%AC%E9%96%93%E3%82%92%E7%99%BA%E8%A6%8B%E3%81%99%E3%82%8B&url=https://brightdata.jp/blog/ai/robot-training-data-in-public-web-video) [ ](http://www.reddit.com/submit?title=%E3%82%A6%E3%82%A7%E3%83%96%E4%B8%8A%E3%81%AE%E5%85%AC%E9%96%8B%E5%8B%95%E7%94%BB%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AB%E9%9A%A0%E3%81%95%E3%82%8C%E3%81%9F%E3%83%AD%E3%83%9C%E3%83%83%E3%83%88%E5%AD%A6%E7%BF%92%E3%81%AE%E7%9E%AC%E9%96%93%E3%82%92%E7%99%BA%E8%A6%8B%E3%81%99%E3%82%8B&url=https://brightdata.jp/blog/ai/robot-training-data-in-public-web-video) ## あなたは下記にもご興味がおありかもしれません [ ![OpenHuman with Bright Data](https://media.brightdata.jp/2026/09/OpenHuman-with-Bright-Data.png) ](https://brightdata.jp/blog/ai/openhuman-with-bright-data "Bright Data CLIを通じたOpenHumanにおける本番対応ウェブアクセス") [AI ![Antonello Zanini](https://media.brightdata.jp/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### Bright Data CLIを通じたOpenHumanにおける本番対応ウェブアクセス Bright Data CLIをOpenHumanに統合して、AIエージェント向けの本番対応ウェブアクセスとデータ収集を実現します。 09-Sep-2026 3 分読 ](https://brightdata.jp/blog/ai/openhuman-with-bright-data) [ ![Multimodal Web Scraping with MiniMax](https://media.brightdata.jp/2026/09/Multimodal-Web-Scraping-with-MiniMax.png) ](https://brightdata.jp/blog/%e3%82%a6%e3%82%a7%e3%83%96%e3%83%87%e3%83%bc%e3%82%bf/multimodal-web-scraping-with-minimax "MiniMaxによるマルチモーダルウェブスクレイピング") [ウェブデータ ![Antonello Zanini](https://media.brightdata.jp/2022/12/Antonello-Zanini-2-50x50.jpg) Antonello Zanini Technical Writer ### MiniMaxによるマルチモーダルウェブスクレイピング Bright Data Web UnlockerとMiniMax M3ビジョンを組み合わせて、画像やウェブページのスクリーンショットから構造化データを抽出します。 09-Sep-2026 1 分読 ](https://brightdata.jp/blog/%e3%82%a6%e3%82%a7%e3%83%96%e3%83%87%e3%83%bc%e3%82%bf/multimodal-web-scraping-with-minimax) [ ![The 10 Best CLI Tools for Codex in 2026](https://media.brightdata.jp/2026/08/The-10-Best-CLI-Tools-for-Codex-in-2026.png) ](https://brightdata.jp/blog/ai/best-cli-tools-for-codex "2026年版 Codex向けCLIツール10選 – テスト＆ランキング") [AI ![Daniel Shashko](https://media.brightdata.jp/2022/04/Daniel-Shashko-2-50x50.png) Daniel Shashko Web Data & AI Expert ### 2026年版 Codex向けCLIツール10選 – テスト＆ランキング Codexをより速く、より有能にする10のCLIツール。サンドボックス内から実際のウェブアクセスを提供するBright Data CLIから始まります。 06-Sep-2026 4 分読 ](https://brightdata.jp/blog/ai/best-cli-tools-for-codex)