動画データは、ヒューマノイドを含むロボットが物理的なタスクを理解・実行するための学習に役立ちます。これには、視覚的な観察と言語指示をアクションに結びつけるVLAモデルと、環境が時間とともにどのように変化するかを学習するワールドモデルが含まれます。公開ウェブには、人々がそうした作業を行う動画が何百万本も存在しますが、特定のアクションを見つけることは困難です。タイトルは動画の大まかなトピックを説明するだけで、映像内のアクションは名前が付けられていないからです。説明文やタグも通常は同様です。
この調査では、Bright DataのVideo Search API（Video Search API）を使用しました。Video Search APIは、ウェブ動画内の瞬間を視覚的に検索できるツールです。
アクションの自然言語による説明を入力すると、動画に付けられたテキストではなく公開動画の視覚的なコンテンツを検索し、アクションが現れる可能性のある候補動画とタイムスタンプを返します。従来のキーワード検索はその逆で、入力した言葉を動画のタイトル・説明・タグと照合するため、両者のアプローチは全く異なる映像に行き着きます。
141の物理的なアクションを送信したところ、7,549本の動画から10,828の瞬間が返されました。保持された各瞬間について、アクション名のいずれかの単語が動画のタイトル・説明・タグに含まれているかを確認しました。90.8%のケースで、いずれにも含まれていませんでした。
キーワードで学習映像を収集する場合、この90.8%が見逃すデータであり、APIの収集量はテキスト検索が到達できる量の10倍以上になります。これらの余分な瞬間は、求めていたのと同じアクションを示しており、タイトルには別のことが書かれた動画の中に存在し、これらのフィールドに対してどれだけ多くのクエリを実行してもテキストパイプラインからは見えません。
タイトル・説明・タグに対してリテラル部分文字列を照合し、APIが返したコーパス内でカウントしたため、この比率はこれら2つの条件下で成立します。セマンティック検索・多言語検索・字幕検索・YouTubeのランキングは、今回のテスト対象外です。
3つの数字で見る結果
| 10.9× | リテラルマッチより多い瞬間 | コンテンツ検索は10,828件を返したが、メタデータにアクション名の単語を含むのは992件のみ |
| 90.8% | どこにも名前なし | 10,828件中9,836件の瞬間は、タイトル・説明・タグのいずれにもアクションへの言及がない |
| 56.1% | タイトルに手がかりなし | 検索より緩い基準。google/gemini-2.5-flashにタイトルとアクションの関連性を判定させたところ（検索には使えないほど曖昧な手がかりも含む）、10,828件中6,071件で無関係と判定された |
この3つの数字の算出根拠
最初の2つは同じ割り算です。10,828件中9,836件の瞬間はいずれのフィールドにもアクションの単語を含まず、含む992件がリテラルマッチャーの到達範囲であり、10,828 ÷ 992 = 10.9となります。4つのバケット（タイトル・説明・タグ・なし）は互いに排他的で、確認済み合計に加算されます。どちらも一致行ごとにカウントされ、8,849の異なる動画秒に集約すると比率は8.9×になります。
3つ目はモデルが無関係と評価したタイトルの数です。7,549の異なる動画にまたがる10,828件中6,071件で、1行が1つの瞬間に対応します。
タイムスタンプには2つ目の効果もあります。各瞬間を最大10秒のアクションとすると、これらのマッチが存在する5,066.5時間のソース動画が24.58時間のクリップになり、移動・保存・レビューに必要な量が206.1分の1に削減されます。
検索が実際に返したもの。検索の確信度が高いことは、検索が正確であることと同じではないため、ほぼすべてのマッチから実際のフレームを取得し、ビジョンモデルですべてを評価しました。セクション3.5にその比率を示します。この監査は発見とキュレーションのための候補映像を明らかにするものであり、いかなるポリシー・ワールドモデル・ロボットもこれで学習していません。
YouTubeの6本の動画とそのタイトルのサンプル
タイトルなしで画像を見せたビジョンモデルの判定と、動画自体のタイトル（ソース言語が明記されている場合は英語に翻訳）を比較したものです。AIが各タイトルにアクションのヒントがないか読み取り、これら6件を無関係と評価しました。日付のみのタイトル、クルアーンの節、経済ニュースの速報などです。各フレームを目視で確認し、すべての動画は公開中です。フレームをクリックすると、その秒から動画が再生されます。
| 瞬間 | フレームに映っているもの | 動画のタイトル |
|---|---|---|
 mix_cement |
混合桶でセメントをすくう人物 | タウバ章26節「しかし（それでも）あなたはどこへ行くのか？」（trより） |
 refuel |
給油口に燃料ノズルを差し込む手 | バングラデシュの経済改革の課題とIMFのメッセージ | バングラデシュ経済 | IMF （bnより） |
 fold |
緑の紙を半分に折る両手 | 2023年12月24日 （zhより） |
 cut_knife |
まな板でアボカドを切る手 | 月の土壌で育てた食物…科学者たちは恐れた？ （hiより） |
 emergency_stop |
赤いきのこ型非常停止ボタンを押す手 | （清州市/幹線）ウジン産田アポロ1100電気超低床型PEV標準2024年6月版2027東一交通712 （koより） |
 chisel_carve |
木彫りにノミを当てる手 | adapt and overcome 🌱 |
取得された瞬間の90.8%はメタデータのどこにも記述されていない
この割合は、このコーパスにおいてコンテンツ検索が到達した範囲と、リテラルなメタデータマッチングが到達できた範囲のギャップを示しています。
明らかな反論は言語の問題です。英語のアクション語を英語以外のタイトルと照合しているからです。モデルが確認した英語タイトルのみに絞っても、数値は85.8%に留まります。セクション3.3にすべての分類を示します。
取得された全10,828件の瞬間におけるアクションの記述箇所
表形式
| バケット | 瞬間数 | 割合 | テキストパイプラインへの意味 |
|---|---|---|---|
| タイトルに記述あり | 386 | 3.6% | リテラルマッチャーが発見できる |
| 説明文のみ | 531 | 4.9% | 説明文を読む場合のみ |
| タグのみ | 75 | 0.7% | タグを読む場合のみ |
| どこにも記述なし | 9,836 | 90.8% | リテラルマッチャーが発見できない |
各バケットから1件の実例を示します。「531件の瞬間は説明文にのみ記述されている」という主張に対し、マッチした単語が強調された実際のタイトルが証拠となります。
| バケット | アクション | 動画タイトル（マッチした秒で開く） | マッチ |
|---|---|---|---|
| タイトルに記述あり | pour |
Teaching a beginner how to pour latte art patterns (Expert Barista Guide) | 「pour」でマッチ |
| 説明文のみ | take |
GENTLE SOY SAUCE SOUP RAMEN (SHOYU RAMEN) | A Real Japanese Dad Cooks | Japanese cooking | 「take」でマッチ |
| タグのみ | fold |
ورقة واحدة .. طيّات قليلة .. بدون لاصق.. وعالمٌ هرميٌ كامل! | 「fold」でマッチ |
| どこにも記述なし | take |
# viral video in social media # viral koriyaan # sad story of koriyan romance | 「take」の単語はメタデータのどこにも存在しない |
ドメイン別の不可視割合
表形式の数値
| ドメイン | どこにも記述なし | 確認済み瞬間数 |
|---|---|---|
| テーブルトップ（DROID） | 98.1% | 1,836 |
| 屋外 | 95.9% | 217 |
| 全身動作 | 95.4% | 866 |
| 家庭 | 92.0% | 402 |
| 建設 | 91.1% | 987 |
| 産業 | 89.6% | 4,612 |
| 自動車 | 83.8% | 1,908 |
すべてのドメインのすべてのマッチ動画にはスクレイピングされたメタデータが付いているため、各nはそのドメインの取得済みセット全体です。「ボウルにブロックを入れる」というタイトルを付ける人はいません。修理動画は修理対象を告知するため、自動車がリテラルマッチャーがある程度到達できる唯一のドメインとなっています。
1 タイムスタンプがパイプラインから省くもの
例えば、はんだ付けの10秒の映像が欲しいとします。通常の方法は5つのステップを踏み、そのすべてが動画ファイル全体を対象に実行されます。タイトルで動画を探し、全体を抽出し、自分のコピーの中で瞬間を検索し、その瞬間を切り出し、何が映っているかをラベル付けします。
ステップ1はこれらの瞬間の90.8%を見逃します。映像を検索すると、動画とその内部の秒が返され、5つのステップのうちの1つがなくなります。すでに瞬間の場所がわかっているため、抽出した動画内を検索する必要がありません。Media Data APIは動画全体・音声・字幕・ストーリーボードを提供し、タイムスタンプは受け付けませんが、場所を探すのではなく既知のオフセットに対してカットします。5つのステップが4つになります。
オフラインの収集パイプラインは通常、この作業を複数のシステムに分割します。動画をクラウドストレージに移動し、手動または半自動でフレームごとにアノテーションを付け、ROSやMCAPなどのロボティクス形式と汎用動画形式の間で変換します。各受け渡しはスループットが失われる場所であり、カメラストリームとモーターコマンド間のタイミング整合がずれる可能性があります。ここではそのいずれも測定していませんが、返されたタイムスタンプの価値を理解するための文脈として重要です。
従来の方法（5ステップ、動画全体に対して課金）：
- 動画を探す・タイトルに対するキーワード検索
- 抽出する・5,066.5時間のソース動画 （高コストなステップ、マッチした全動画のスクレイピング済み再生時間から計算）
- 検索を実行する・自分のコピーに対して別のツールで
- カットする・各クリップを瞬間に合わせてトリミング
- ラベル付けする・カットした内容をアノテーション
瞬間検索を使う場合（4ステップ、秒単位で課金）：
- シーンを探す・コンテンツ検索が秒を返す
- 取得する・返されたオフセット周辺の約24.58時間 （推定：各瞬間を最大10秒のアクションと仮定）
- カットする・既知のオフセットに対してローカルでトリミング
- ラベル付けする・瞬間ごとに1フレーム
2 方法
141のアクションそれぞれについて1文の説明を書き、Video Search APIに送信しました。はんだ付けの説明文は次のとおりです：
送信した141文の一例
ベンチランプの照明の下、片手でハンダごてを基板のジョイントに当て、もう一方の手でハンダ線を送り込む手のクローズアップ
その後、返ってきたすべての動画のタイトル・説明・タグをスクレイピングしました。Bright Dataはインデックスがタイトル・説明・タグではなくサンプリングされたフレームでマッチングすると説明しているため、評価したフィールドが映像を発見したものではないはずです。これは独立して検証していません。
22のアクション名はDROIDのタスク文字列から動詞の頻度を読み取って抽出し、残りの119はDROIDのカバレッジを超えた監査の拡張のために手作業で追加しました。
3 結果
3.1 各ルートのコスト
ここに示すすべての値はこのコーパス上の時間数であり、再生時間はスクレイパーから合計したものです。ソースの数値は推定ではなく実測値です。動画は抽出していないため、バイト数は主張しません。
206.1×の背後には2つのカウントがあります。5,066.5時間は7,549本の動画に対する実際の合計です。クリップの数値は8,849の異なる秒にわたる各（動画、秒）を一度カウントし、10秒の窓を掛けたものです。
この比率はクリップの長さとロングテールをカウントするかどうかという2つの選択に依存しており、ロングテールがより大きなレバーです。3時間以上の動画483本はセットの約6%を占め、時間数の約60%を担います。完全な感度テーブル：
表形式の数値
| 除外する動画の長さ | 動画数 | コーパス時間数 | 異なる秒数 | クリップ時間数（10秒） | 削減率 |
|---|---|---|---|---|---|
| 1時間超 | 6,554 | 1,113.5 | 7,605 | 21.12 | 52.7× |
| 2時間超 | 6,873 | 1,563.8 | 8,017 | 22.27 | 70.2× |
| 3時間超 | 7,066 | 2,031.3 | 8,247 | 22.91 | 88.7× |
| 6時間超 | 7,364 | 3,272.8 | 8,609 | 23.91 | 136.9× |
| 12時間超 | 7,546 | 5,012.3 | 8,846 | 24.57 | 204.0× |
| 全て保持（公開済み） | 7,549 | 5,066.5 | 8,849 | 24.58 | 206.1× |
どちらの方法でも同じコーパス：8,849の異なる動画秒に対して10,828のマッチ行。異なる秒ではなくすべてのマッチをカウントすると30.08クリップ時間と168.4×の削減になります。同じ比率がレビュー時間にも適用されるのは、代替手段がすべてのソース動画を全体的にレビューし、レビュー時間が再生時間と線形にスケールし、8,849の個別クリップのステップ処理にクリップごとのオーバーヘッドがない場合のみです。
3.2 マッチングルールと厳格化の効果
保持された各候補瞬間について、この監査で利用可能なメインのメタデータフィールドである動画のタイトル・説明・タグを確認しました。
アクション名の2文字より長い単語が大文字小文字を区別しない部分文字列として現れる場合、その瞬間は「記述あり」とカウントされます。つまり「change」だけでchange_tire_wrenchがマークされ、「car」は「carpet」の中に見つかります。これは最も許容度の高いルールであり、見出しの数値をフロアとしています。厳格にするほど上昇します：
公開ルールより厳しいルールはすべて数値を上昇させます。これが90.8%がベストケースではなくフロアである理由です。公開ルールで「記述あり」とカウントされる992件の瞬間のうち395件は、より長い単語内の断片によるものです。すべての値は実測値であり、コーパスに対して4回の実際のパスを行いました（supply_gap.py _variants()）。
3.3 多くが他の言語でタイトル付けされている
10,828のマッチした瞬間すべてのタイトル言語を読み取ったため、これはサンプルではなくコーパス全体です。そのうち4,863件（約45%）は77の非英語言語のいずれかでタイトル付けされた動画に含まれており、さらにモデルが判定できなかったタイトルが1件あります。同じ英語のアクション説明が、ヒンディー語タイトルの動画から423件、ポルトガル語タイトルの動画から509件の瞬間を返しました。地理的フィールドは収集していないため、これは動画の制作場所については何も示しません。
見つかった全79言語にわたる、すべてのマッチした瞬間のタイトル言語。
この混在により、見出しの数値を信頼する前にコーパスを英語に絞りました。英語と判明しているタイトルに限定すると数値は数ポイント変化し、大部分は維持されます。つまりギャップの一部は言語の不一致であり、残りは不一致を除去した後も残る説明の失敗です：
同じ数値を表形式で
| スライス | どこにも記述なし | n |
|---|---|---|
| 全瞬間 | 90.8% | 10,828 |
| プレーンASCIIタイトル | 87.6% | 5,560 |
| モデルが確認した英語タイトル | 85.8% | 5,965 |
| 確認済み英語音声 | 95.0% | 317（少なすぎて参考にならない） |
3.4 アクション別
利用可能なメタデータにリテラルなアクション語が含まれない割合でソートしています。17のアクションには、メタデータにターゲットアクションが記述されている保持済み瞬間がありません。確認済み瞬間数が8件以上の141のアクション全体で、割合は50.0%から100.0%の範囲で、中央値は94.1%です。最も隠れていない12件：
表形式の数値
| アクション | ドメイン | 発見数 | テキストに記述あり | どこにも記述なし |
|---|---|---|---|---|
wash_car |
自動車 | 72 | 36 | 50.0% |
wash_car_panel |
自動車 | 78 | 36 | 53.8% |
car_door_open |
自動車 | 92 | 38 | 58.7% |
car_door_close |
自動車 | 91 | 36 | 60.4% |
car_door |
自動車 | 93 | 36 | 61.3% |
pack_box |
産業 | 73 | 28 | 61.6% |
grinder_use |
産業 | 69 | 23 | 66.7% |
hand_saw_cut |
産業 | 77 | 25 | 67.5% |
jack_up_car |
自動車 | 78 | 24 | 69.2% |
tape_box |
産業 | 75 | 23 | 69.3% |
sit_stand |
全身動作 | 28 | 8 | 71.4% |
impact_driver |
産業 | 70 | 19 | 72.9% |
全141アクション・発見数/記述あり/どこにも記述なし、およびアクションごとのインデックス全体の外挿
| アクション | ドメイン | 発見数 | 記述あり | どこにも記述なし | インデックス全体の推定瞬間数 | 利用可能率 | 率の根拠 |
|---|---|---|---|---|---|---|---|
climb_ladder |
全身動作 | 93 | 0 | 100.0% | 188,790 | 26.1% | アクション |
crane_hook |
産業 | 84 | 0 | 100.0% | 170,436 | 9.5% | アクション |
flip |
テーブルトップ（DROID） | 87 | 0 | 100.0% | 176,523 | 26.7% | アクション |
lift |
テーブルトップ（DROID） | 89 | 0 | 100.0% | 180,581 | 24.7% | アクション |
load_cart |
産業 | 82 | 0 | 100.0% | 166,460 | 9.8% | アクション |
pick_up |
テーブルトップ（DROID） | 72 | 0 | 100.0% | 146,088 | 47.9% | アクション |
push |
テーブルトップ（DROID） | 91 | 0 | 100.0% | 184,639 | 23.3% | アクション |
push_heavy_cart |
全身動作 | 70 | 0 | 100.0% | 142,100 | 24.3% | アクション |
push_trolley |
産業 | 65 | 0 | 100.0% | 131,950 | 20.0% | アクション |
refuel |
自動車 | 91 | 0 | 100.0% | 184,639 | 26.4% | アクション |
refuel_nozzle |
自動車 | 88 | 0 | 100.0% | 178,552 | 27.6% | アクション |
seatbelt_buckle |
自動車 | 87 | 0 | 100.0% | 176,523 | 29.9% | アクション |
slide |
テーブルトップ（DROID） | 82 | 0 | 100.0% | 166,378 | 32.1% | アクション |
sort_parcel |
産業 | 82 | 0 | 100.0% | 166,460 | 37.8% | アクション |
stack |
テーブルトップ（DROID） | 65 | 0 | 100.0% | 136,958 | 21.9% | アクション |
unfold |
テーブルトップ（DROID） | 79 | 0 | 100.0% | 160,291 | 57.0% | アクション |
ziptie_bundle |
産業 | 82 | 0 | 100.0% | 166,460 | 48.8% | アクション |
carry_upstairs |
全身動作 | 87 | 1 | 98.9% | 176,610 | 25.6% | アクション |
hang |
テーブルトップ（DROID） | 92 | 1 | 98.9% | 181,596 | 12.1% | アクション |
pull |
テーブルトップ（DROID） | 87 | 1 | 98.9% | 176,523 | 18.4% | アクション |
pull_trolley |
全身動作 | 92 | 1 | 98.9% | 186,760 | 22.8% | アクション |
close |
テーブルトップ（DROID） | 83 | 1 | 98.8% | 168,407 | 41.5% | アクション |
emergency_stop |
産業 | 85 | 1 | 98.8% | 172,465 | 22.6% | アクション |
handbrake_pull |
自動車 | 82 | 1 | 98.8% | 166,378 | 31.7% | アクション |
place |
テーブルトップ（DROID） | 84 | 1 | 98.8% | 170,436 | 39.3% | アクション |
remove |
テーブルトップ（DROID） | 86 | 1 | 98.8% | 174,494 | 48.8% | アクション |
turn_on |
テーブルトップ（DROID） | 85 | 1 | 98.8% | 172,465 | 29.4% | アクション |
count_stock |
産業 | 76 | 1 | 98.7% | 154,280 | 32.4% | アクション |
reach_overhead |
全身動作 | 79 | 1 | 98.7% | 160,370 | 46.8% | アクション |
wipe |
テーブルトップ（DROID） | 77 | 1 | 98.7% | 180,581 | 28.0% | アクション |
crouch_down |
全身動作 | 65 | 1 | 98.5% | 131,950 | 34.9% | アクション |
seat_chip |
産業 | 65 | 1 | 98.5% | 131,950 | 46.9% | アクション |
plaster_wall |
建設 | 88 | 2 | 97.7% | 178,552 | 25.3% | アクション |
plug_in |
家庭 | 87 | 2 | 97.7% | 176,523 | 36.5% | アクション |
turn |
テーブルトップ（DROID） | 86 | 2 | 97.7% | 174,494 | 27.9% | アクション |
unplug_cable |
産業 | 88 | 2 | 97.7% | 178,640 | 42.5% | アクション |
label_parcel |
産業 | 85 | 2 | 97.6% | 172,550 | 45.9% | アクション |
move |
テーブルトップ（DROID） | 82 | 2 | 97.6% | 166,378 | 34.2% | アクション |
press |
テーブルトップ（DROID） | 83 | 2 | 97.6% | 168,407 | 42.2% | アクション |
spirit_level |
産業 | 83 | 2 | 97.6% | 168,407 | 12.5% | アクション |
conveyor_pick |
産業 | 79 | 2 | 97.5% | 160,291 | 35.4% | アクション |
grout_joint |
建設 | 81 | 2 | 97.5% | 164,349 | 28.4% | アクション |
open_hood |
自動車 | 80 | 2 | 97.5% | 162,320 | 53.8% | アクション |
trowel_mortar |
建設 | 79 | 2 | 97.5% | 160,291 | 28.2% | アクション |
balance_load |
全身動作 | 77 | 2 | 97.4% | 156,310 | 21.1% | アクション |
shovel_load |
屋外 | 74 | 2 | 97.3% | 150,220 | 31.5% | アクション |
scan_barcode |
産業 | 71 | 2 | 97.2% | 144,059 | 27.1% | アクション |
desolder_remove |
産業 | 63 | 2 | 96.8% | 127,890 | 51.6% | アクション |
pull_wire |
建設 | 61 | 2 | 96.7% | 123,769 | 30.0% | アクション |
take |
テーブルトップ（DROID） | 90 | 3 | 96.7% | 182,610 | 37.8% | アクション |
forklift_controls |
産業 | 59 | 2 | 96.6% | 119,711 | 27.1% | アクション |
open_gate |
全身動作 | 88 | 3 | 96.6% | 178,640 | 21.6% | アクション |
pour |
テーブルトップ（DROID） | 89 | 3 | 96.6% | 183,624 | 56.2% | アクション |
plug_in_socket |
産業 | 85 | 3 | 96.5% | 172,550 | 36.5% | アクション |
shrink_wrap |
産業 | 81 | 3 | 96.3% | 164,430 | 22.5% | アクション |
wipe_windshield |
自動車 | 82 | 3 | 96.3% | 166,378 | 34.6% | アクション |
control_dial |
産業 | 72 | 3 | 95.8% | 146,088 | 31.9% | アクション |
steering |
自動車 | 72 | 3 | 95.8% | 146,088 | 59.7% | アクション |
open_carton |
産業 | 69 | 3 | 95.7% | 140,070 | 31.9% | アクション |
put |
テーブルトップ（DROID） | 91 | 4 | 95.6% | 184,639 | 41.8% | アクション |
plant_seed |
屋外 | 67 | 3 | 95.5% | 136,010 | 28.8% | アクション |
steering_turn |
自動車 | 43 | 2 | 95.3% | 87,247 | 60.5% | アクション |
pipe_fitting |
産業 | 83 | 4 | 95.2% | 168,407 | 44.6% | アクション |
open |
テーブルトップ（DROID） | 79 | 4 | 94.9% | 173,987 | 44.2% | アクション |
dig_soil |
屋外 | 76 | 4 | 94.7% | 154,280 | 44.6% | アクション |
sweep |
家庭 | 75 | 4 | 94.7% | 152,175 | 29.3% | アクション |
route_cable |
産業 | 74 | 4 | 94.6% | 150,220 | 43.8% | アクション |
gear_shift |
自動車 | 73 | 4 | 94.5% | 148,117 | 37.0% | アクション |
stack_pallet |
産業 | 70 | 4 | 94.3% | 142,100 | 12.9% | アクション |
thermal_paste |
産業 | 69 | 4 | 94.2% | 140,070 | 19.1% | アクション |
ev_charge_plug |
自動車 | 85 | 5 | 94.1% | 172,465 | 26.2% | アクション |
carry_box |
家庭 | 84 | 5 | 94.0% | 170,436 | 25.0% | アクション |
open_trunk |
自動車 | 84 | 5 | 94.0% | 170,436 | 28.6% | アクション |
socket_ratchet |
産業 | 82 | 5 | 93.9% | 166,378 | 31.7% | アクション |
top_up_fluid |
自動車 | 82 | 5 | 93.9% | 166,378 | 37.0% | アクション |
press_machine_button |
産業 | 79 | 5 | 93.7% | 160,291 | 31.6% | アクション |
valve_turn |
産業 | 79 | 5 | 93.7% | 160,291 | 19.0% | アクション |
insert_usb |
産業 | 78 | 5 | 93.6% | 158,340 | 46.0% | アクション |
caulk_gun |
産業 | 86 | 6 | 93.0% | 174,494 | 34.1% | アクション |
adjust_mirror |
自動車 | 85 | 6 | 92.9% | 172,465 | 20.0% | アクション |
sand_surface |
産業 | 85 | 6 | 92.9% | 172,465 | 55.3% | アクション |
cut_pipe |
建設 | 68 | 5 | 92.6% | 137,972 | 41.8% | アクション |
machine_unload |
産業 | 68 | 5 | 92.6% | 137,972 | 30.9% | アクション |
unload_truck |
産業 | 68 | 5 | 92.6% | 138,040 | 35.3% | アクション |
machine_lever |
産業 | 80 | 6 | 92.5% | 162,320 | 21.2% | アクション |
assemble_snap_fit |
産業 | 77 | 6 | 92.2% | 156,310 | 51.3% | アクション |
measure_tape |
産業 | 76 | 6 | 92.1% | 154,204 | 42.1% | アクション |
chisel_carve |
産業 | 49 | 4 | 91.8% | 99,421 | 42.9% | アクション |
wrench_bolt |
産業 | 85 | 7 | 91.8% | 172,465 | 34.1% | アクション |
hammer_nail |
産業 | 84 | 7 | 91.7% | 170,436 | 20.2% | アクション |
solder_pipe |
建設 | 70 | 6 | 91.4% | 142,030 | 37.1% | アクション |
step_over |
全身動作 | 70 | 6 | 91.4% | 142,100 | 28.6% | アクション |
gauge_read |
産業 | 78 | 7 | 91.0% | 158,262 | 35.9% | アクション |
fold |
テーブルトップ（DROID） | 77 | 7 | 90.9% | 158,769 | 57.1% | アクション |
tile_place |
建設 | 83 | 8 | 90.4% | 168,407 | 30.1% | アクション |
solder |
産業 | 55 | 6 | 89.1% | 111,595 | 45.5% | アクション |
screwdriver |
産業 | 72 | 8 | 88.9% | 146,088 | 43.1% | アクション |
bend_lift |
全身動作 | 62 | 7 | 88.7% | 125,860 | 32.3% | アクション |
power_drill_hole |
産業 | 70 | 8 | 88.6% | 142,030 | 40.9% | アクション |
solder_joint |
産業 | 61 | 7 | 88.5% | 123,830 | 55.7% | アクション |
mix_cement |
建設 | 68 | 8 | 88.2% | 137,972 | 43.3% | アクション |
nail_gun |
建設 | 68 | 8 | 88.2% | 137,972 | 29.8% | アクション |
drywall_screw |
建設 | 72 | 9 | 87.5% | 146,088 | 28.2% | アクション |
lay_brick |
建設 | 80 | 10 | 87.5% | 162,320 | 27.5% | アクション |
clamp_workpiece |
産業 | 62 | 8 | 87.1% | 125,798 | 35.5% | アクション |
machine_load |
産業 | 62 | 8 | 87.1% | 125,798 | 19.4% | アクション |
cut_vegetable |
家庭 | 83 | 11 | 86.7% | 168,407 | 42.2% | アクション |
torque_wrench |
産業 | 83 | 11 | 86.7% | 168,407 | 31.3% | アクション |
cut_knife |
家庭 | 73 | 10 | 86.3% | 148,117 | 34.2% | アクション |
tire_pressure |
自動車 | 73 | 10 | 86.3% | 148,117 | 47.9% | アクション |
weld_seam |
産業 | 87 | 12 | 86.2% | 176,523 | 31.4% | アクション |
pliers_grip |
産業 | 72 | 10 | 86.1% | 146,088 | 50.7% | アクション |
paint_brush |
建設 | 90 | 13 | 85.6% | 182,610 | 22.2% | アクション |
wire_cut |
産業 | 76 | 11 | 85.5% | 154,204 | 34.2% | アクション |
paint_roller |
建設 | 79 | 13 | 83.5% | 160,291 | 15.2% | アクション |
breadboard_wire |
産業 | 65 | 11 | 83.1% | 131,950 | 44.6% | アクション |
change_tire |
自動車 | 69 | 12 | 82.6% | 140,001 | 50.0% | アクション |
kneel_work |
全身動作 | 55 | 10 | 81.8% | 111,650 | 45.5% | アクション |
change_tire_wrench |
自動車 | 71 | 13 | 81.7% | 144,059 | 46.4% | アクション |
assemble_part |
産業 | 70 | 13 | 81.4% | 142,030 | 64.3% | アクション |
check_oil_dipstick |
自動車 | 80 | 15 | 81.2% | 162,320 | 43.8% | アクション |
screw_panel |
産業 | 81 | 16 | 80.2% | 164,430 | 37.5% | アクション |
lathe_operate |
産業 | 51 | 11 | 78.4% | 103,479 | 31.4% | アクション |
engine_bay |
自動車 | 77 | 17 | 77.9% | 156,233 | 56.6% | アクション |
probe_test |
産業 | 63 | 14 | 77.8% | 127,890 | 54.8% | アクション |
machine_control |
産業 | 78 | 18 | 76.9% | 158,262 | 36.4% | アクション |
screwdriver_drive |
産業 | 78 | 20 | 74.4% | 158,262 | 39.5% | アクション |
weld |
産業 | 86 | 22 | 74.4% | 174,494 | 31.4% | アクション |
power_drill |
産業 | 70 | 18 | 74.3% | 142,030 | 48.6% | アクション |
impact_driver |
産業 | 70 | 19 | 72.9% | 142,030 | 35.3% | アクション |
sit_stand |
全身動作 | 28 | 8 | 71.4% | 56,840 | 35.7% | アクション |
tape_box |
産業 | 75 | 23 | 69.3% | 152,250 | 26.4% | アクション |
jack_up_car |
自動車 | 78 | 24 | 69.2% | 158,262 | 27.3% | アクション |
hand_saw_cut |
産業 | 77 | 25 | 67.5% | 156,233 | 32.9% | アクション |
grinder_use |
産業 | 69 | 23 | 66.7% | 140,001 | 42.6% | アクション |
pack_box |
産業 | 73 | 28 | 61.6% | 148,117 | 50.0% | アクション |
car_door |
自動車 | 93 | 36 | 61.3% | 188,697 | 20.4% | アクション |
car_door_close |
自動車 | 91 | 36 | 60.4% | 184,639 | 26.4% | アクション |
car_door_open |
自動車 | 92 | 38 | 58.7% | 186,668 | 22.8% | アクション |
wash_car_panel |
自動車 | 78 | 36 | 53.8% | 158,262 | 41.6% | アクション |
wash_car |
自動車 | 72 | 36 | 50.0% | 146,088 | 45.1% | アクション |
アクションごとの発見可能性。「記述あり」は、公開済みの部分文字列ルールに基づき、アクション名のいずれかの単語が自身のタイトル・説明・タグに含まれる瞬間をカウントします。外挿列は各アクションの測定済みシャードあたりの収量にインデックスのシャード数を掛け、測定済みのアクション間重複で割ったものです。「率の根拠」は、利用可能率がそのアクション自身のフレームで測定されたか、ドメインから継承されたか、コーパス全体の率から継承されたかを示します。
3.5 フレームの取得
検索が正確かどうかを確認するため、マッチした各動画から実際のフレームを取得して確認しました。動画を抽出せずにYouTubeが公開しているのはストーリーボード（サムネイルのスプライトシート）であり、そのサンプリング間隔は再生時間に応じて広がります。109秒以下の動画では1秒、175秒から275秒では2秒、454秒から892秒では5秒、1,366秒以上では10秒と測定しました。これらのバンド間の境界は、調査した12本の動画では解明されませんでした。判定した画像はマッチした秒以前の最も近いサンプルであるため、最大1インターバル早い可能性があります。最悪の場合10秒、フレームの半数強で5秒または10秒早くなります。storyboard_probe.pyで測定し、動画ごとの仕様はdata/storyboard_spec.jsonにあります。
ビジョンモデルが取得した10,828件中10,750件のフレームすべてを判定したため、ここに示すすべての比率はサンプルではなくコーパスの99.3%で測定されています。93.8%はアニメーション・ゲーム・画面録画ではなく実際の映像です。25.7%はアクションが視覚的に進行中であることが確認され、57.4%は進行中または準備中のものでした。34.5%は0から5の利用可能性スケールで3以上のスコアを獲得しました。この最後の数値はモデルが観察できない下流の学習プロセスについての判断であり、そのように振る舞います。60フレームのサンプルで同一設定を4回実行すると3.4ポイントの幅があり、ルーブリックの言い換えで20ポイント変化しました。アクション可視割合は同じルーブリック変更で1.7ポイント変化したため、複数回の実行間で比較すべき数値はこちらです。
フレーム取得：
表形式の数値
| 結果 | 瞬間数 | 割合 |
|---|---|---|
| フレーム取得済み | 10,750 / 10,828 | 99% |
| 解析可能なストーリーボードなし | 75 | 0.7% |
| スプライト取得失敗 | 3 | 0.03% |
フレーム取得。ストーリーボードを直接取得し、10,828件中863件でレート制限に遭遇しましたが、856件は後のパスで回復したため、失われた78件の瞬間はいずれも429で終わっていません。Media Data APIがこのステップのサポートされたルートであり、ストーリーボードを直接返します。この監査ではそれを呼び出しませんでした。これらの瞬間は7,549本の動画にあり、1本の動画につき1回のウォッチページ取得と少なくとも1枚のスプライトシートが必要で、動画ごとにキャッシュされます。
4 再生可能な瞬間
マッチした秒以前の最も近いストーリーボードフレームに対してマッチを表示しています。ランキングはキュレーションされていません。10,828件中10,750件の瞬間に独自のフレームがあり、ギャラリー全体には10,761行あります。これは11件がさらに同じ秒にマッチした別のアクションと画像を共有しているためです。これらの行は8,792の異なる画像に基づいており、ファイル名が動画とアクションではなく動画と秒を示しているためです。
以下は、アクションごとに1件ずつ、ランキングそのままの上位マッチした瞬間です。任意のフレームをクリックすると、マッチした秒からソース動画が再生されます。
 |
 |
 |
measure_tape · 0.391 · 有用度 4/5木の板にメジャーを当てる手 Shootout review and a work story! |
cut_pipe · 0.388 · 有用度 2/5銅パイプカッターを持つ両手 How Raw Copper Turns into a Masterpiece with Artistic Hammer Strikes⚒️🔥🇮🇷 |
machine_load · 0.386 · 有用度 2/5ピンクの手袋をした手が白い金属小部品を整列させている THK rail | Installation guide | THK rail | Rail removal and installation | 0363. |
 |
 |
 |
forklift_controls · 0.383 · 有用度 5/5フォークリフトのコントロールとステアリングホイールを握る両手 JUST DRIVE : Forklift #38 |
solder · 0.382 · 有用度 3/5基板の近くにある手、不明瞭なはんだ付けの設定 ⚡ Simple DIY Repair Old Bike Battery And Install Separate USB Charging Port For |
steering_turn · 0.378 · 有用度 5/5ステアリングホイールを両手でしっかり握り、回している 1995 Volvo 850 T5-R Wagon – POV Driving Impressions |
 |
 |
 |
tape_box · 0.376 · 有用度 1/5テープロールと梱包資材の近くにある手 Cell 32140 high discharge line – battery pack accessories 0824457979 |
wipe · 0.374 · 有用度 3/5表面の白い布を操作する両手 Washed Notebook ASMR 📘✨ Radiator‑Dried Pages With Intense Crinkles |
machine_unload · 0.373 · 有用度 1/5産業用機械の近くにある手袋をした手 Transmission Assembly – 1929 Ford Model A |
 |
 |
 |
nail_gun · 0.371 · 有用度 4/5木材フレームにネイルガンを位置合わせする両手 Building a deck for garden raised bed – Part 1 |
sit_stand · 0.371 · 有用度 5/5肘掛けを使って椅子から立ち上がる人物 Flexibility and Mobility Senior Chair Exercise |
count_stock · 0.371 · 有用度 2/5クリップボードの近くでノートに書き込む手 [26.4.16.Thu.] Study with me | Studying together | Thursday meet-up! | Firefight |
 |
 |
 |
probe_test · 0.371 · 有用度 5/5回路にマルチメーターのプローブを当てる両手 How to Measure Electronic Components with a Multimeter (Complete Guide) |
open_carton · 0.369 · 有用度 2/5箱の開口部近くでボトルを持つ両手、切断なし Oddly Satisfying Video-How to Cutting New Wooden Fruits and Vegetables ASMR – Cu |
kneel_work · 0.369 · 有用度 3/5床にうつ伏せで作業姿勢の人物 Lupimorphie, animal-performance by Régis Moulu, Capsule 114, dance |
 |
|
 |
push_heavy_cart · 0.367 · 有用度 4/5両手で重いカートを押す人物 2321FI”2-Step Multi-Functional Aluminum Alloy Step Trolley: Comprehensive Usage |
chisel_carve · 0.366 · 有用度 5/5木彫りにノミを当てる手 adapt and overcome 🌱 |
lathe_operate · 0.362 · 有用度 5/5回転する部品を持つ旋盤のクロススライドハンドホイールを回す手 Unbelievable Damage! Caterpillar Cylindrical Roller Bearing Destroyed 😱 |
各セル：マッチしたアクションと関連度スコア、次にビジョンモデルがフレームで見たもの（タイトルなしで画像を提示）、そして動画自体の英語タイトル。タイムスタンプは瞬間が視野に入るよう2秒早めに開きます。
5 関連研究
説明による瞬間の検索は確立されたタスクです。Charades-STAでの時間的グラウンディング、QVHighlightsでのハイライト検出、Ego4Dでの自然言語クエリなどがあります。ここでは新しい手法を導入していません。
この構成には先例があります。TVR（2020年）は108,965件のクエリを動画・字幕・両方のどれで回答できるかでラベル付けし、74.2%が動画のみと報告しました。異なる点はコーパスと目的です。6本のテレビ番組ではなくオープンウェブ動画、物理的なアクション、検証済みのサブサンプル、そしてコスト比率です。リリース形式はAVAとHowTo100Mに従います。識別子・タイムスタンプ・ラベルのみで、動画は再配布しません。全体を通じた検索はVideo Search APIです。フレームはYouTubeのウォッチページからストーリーボードを解析して取得しました。いかなる時点でもクリップは抽出していません。本番運用でのサポートされたルートはMedia Data APIです。
この監査が確立するのは、ロボットのデモンストレーションの代替よりも狭い範囲です。ウェブには大量かつインデックスが不十分な物理的アクション映像の層があり、タイムスタンプ付きの視覚的検索によってその層への到達がはるかに容易になります。この方法でキュレーションした映像がロボティクスやワールドモデルシステムを測定可能に改善するかどうかは次の問いであり、この監査では実施しなかった学習実験が必要です。
6 引用
@misc{webmoments2026,
title = {Finding the Web's Hidden Robot Training Moments in
Public Web Video Data},
author = {Bright Data},
year = {2026},
howpublished = {Technical report},
note = {141 physical actions, 10,828 retrieved match rows over
8,849 distinct video-second moments, and
10,750 frames reviewed by a vision model}
}
