映画 
ウェブデータ革命
この短編ドキュメンタリーは、公開データが企業の見方、考え方、意思決定の方法をどのように変えているかを探ります。
ウォルマートの創業当初、サム・ウォルトンは駐車場の車を数えて、店舗の状況を監視していたと言われています。
では、すべてのウォルマートで車を数え、そのデータを地域のプロモーションと照らし合わせて、広告を最適化できたらどうでしょう？
あるいは、郵便番号ごとに競合他社のオンライン価格の動きを監視し、価格戦略のベンチマークを行えたらどうでしょう？
あるいは、それぞれの車のメーカー、モデル、車齢を把握し、オートセンターを増設するのに最適な場所を決められたらどうでしょう？
サムが最初の店を開いてから60年、ウェブデータ収集の力によって、これまで知られていなかった問題が驚くほどわかるようになりました。多くの大手企業の役員室、製品ラボ、マーケティング部門が、まるで情報機関のようになりつつあります。
この革命は、技術的な側面もあります：大規模な公開ウェブデータ収集のために特別に作られたプロキシサーバーの広大なネットワークで、途方もなく有用な方法でデータを収集し、構造化し、解釈できるようになりました。セールスフォースが顧客管理を、Slackがオフィスのメールを置き換えるような変化です。
哲学的でもあります：リーダーとしての技量は、正しい答えを導き出すことよりも、良い質問をすることにかかっています。適切な質問をすれば、外部の人間から見れば、競争力の強さはまさに不公平に見えるかもしれません。
しかし、良い質問をすることは、必ずしも自然にできることではありません。
重要な決断をする前に、どれくらいの時間をかけて調べますか？多くの人にとって、答えは「ほとんどない」です。人間は、複雑な世界を単純化するために、自然に仮定をします。パターンを検出し、経験をもとに、アドバイスを共有し、直感に従います。
このような考え方は驚くほど正確なことが多いのですが、一方で、直近の記憶に頼りすぎる「再帰性バイアス」、すでに信じていることを裏付ける情報を無意識に探してしまう「確証バイアス」、最強のデータよりも最高のストーリーを信じてしまう人間の傾向「物語性の誤り」など、多くの盲点も存在します。
公開データ革命を利用するには、もっと禅のようなアプローチが必要です。これは、自分ではよく分かっていると思うような状況でも、バイアスをかけずにビジネス上の意思決定に臨むことを意味します。
既存の思い込みを捨てれば、初心者のように新しい情報を偶然発見できます。例えば、駐車場の車の数と収益につながる金額が一致しているなど、目に見えないつながりを明らかにできます。
このデータにより、製品、価格、在庫、サプライチェーン、消費者行動などの観点から市場のダイナミクスを把握できます。顧客の動向や重要なトレンドを把握し、競合他社の次の行動を予測することもできます。
ウェブ上の公開データからの情報収集は、転機となります。インターネットやモバイルの普及に乗り遅れた企業は、大きな代償を払うことになります。ウェブデータ革命に乗り遅れると、次のブロックバスターのビデオになりかねません。
その成長スピードは？Bright Dataでは、1日に150億件のリクエストを処理しています。これは、世界中のすべての検索エンジンの合計の1.5倍以上にあたります。その数は着実に増えています。
答えは、そこにあります。ここでは、それらを見つけるために問われる、明暗を分けるお客様からの質問を紹介します。
投資アナリストからの質問：
「漂白剤の小売価格の推移は？」
ミカはボストンのヘッジファンドのアナリストで、新しい投資アイデアを生み出すことに大きなプレッシャーを感じています。株式のフィルターで検索していると、ある化学会社が目にとまりました。会社の数字はしっかりしているように見えるが、インフレの中で価格決定力を維持できるのか知りたかったのです。
そこで、あるアイデアを思いつきました。同社は、漂白剤業界の最大手のサプライヤーであるため、ミカは、同社が供給するすべての市場の漂白剤の価格を追跡できました。その結果、小売価格の上昇傾向は明らかであり、同社には価格決定力があり、利幅を守れる可能性が高いことが分かりました。
今日の投資用語では、このようなウェブ上の公開データをオルタナティブデータと呼び、ほとんどのヘッジファンドは、決算報告書や年次報告書などの従来の情報源を補完するために利用しています。例えば、物流センターの航空写真、ソーシャルメディアから投資家心理を探ること、天候を追跡して収穫を予測することなどが考えられます。
世界のオルタナティブデータ市場は、年率46.5％で成長し、2026年には139億1000万ドルになると予想されています。
出典： Alternative Data Global Market Report 2022
マーケティング最高責任者からの質問：
「オンラインで私の製品はどのように売られているのだろうか？」
ジルはヨーロッパのファッションブランドでマーケティングを担当し、完璧なブランドイメージとカスタマーエクスペリエンスを維持する責任を負っています。
つまり、すべての写真はブランドである必要があります。説明は正確でなければなりません。プロモーションは、季節ごとのキャンペーンに従わなければなりません。不正な販売や値引きはできません。納期は、迅速でなければなりません。
しかし、何万ものオンライン再販業者が存在する世界で、どのようにしてブランドの整合性を保てばいいのでしょうか？ジルのチームにとって、その答えはウェブ上の公開データです。インターネット上で継続的に製品を検索し、その結果をアルゴリズムに送り込み、懸念事項があれば通知できます。
テキスト、画像、音声、動画を大規模に検索する機能は、あらゆる種類のブランドとその知的財産の保護に利用されています。アーティストがインターネット上で自分の作品の使用を検知することや、ソーシャルメディアプラットフォームが無許諾の素材のアップロードをブロックすることを支援します。
Bright Dataブライトデータでは、毎日およそ1ペタバイトのデータをスキャンしています。これは5,000億ページのテキスト、あるいは10万本以上のDVD品質の映画に相当します。
干し草の中から針を探すような場合でも、弊社では見つけられます。
ある旅行会社の社長からの質問：
「どうしたら世界一の旅行情報をお届けできでしょうか？」
バートの会社は、ウェブのアクセス数で生死が決まります。課題は、旅行代理店、ホテル、航空会社のお得な情報を提供するウェブサイトを、ウェブ上で最も正確かつ完全な場所にし続けることです。
多くの旅行会社がAPIを通じて料金やスケジュールなどの基本情報を公開していますが、データは断片的であったり、古かったり、不完全であったりすることがよくあります。
バートの解決策とは？ウェブ上で最新のオファーを継続的に収集しています。データをアルゴリズムで分類し、消費者に提示できるような形式で取得し、最安値、最短ルート、完璧なデート、さらには無料Wi-Fiなど、消費者にとって重要な情報を簡単に見つけられるようにします。
クレジットカードのキャンペーンや芝生管理の優良企業を集めたい場合など、バートのようなアグリゲーターにとってウェブデータは強力な武器となります。また、最終的なサプライヤーにも有効で、例えばBert社のサイトに掲載されているホテルは、データを収集することで競合他社と自社の料金の差を把握できます。
ミュージシャンから技術投資家に転身したウィル・アイ・アムは、「WWWはWild Wild Westの略だ」と発言しています。
公開されたウェブからデータを収集することで、混沌としたインターネットに焦点を当て、構造化することができます。
あるスタートアップの創業者からの質問：
「自分の製品はどうすれば競合と差別化できるのでしょうか？」
マイアは、加齢による聴力の変化に合わせて音をカスタマイズできるイコライザーを内蔵したヘッドホンという素晴らしい製品を生み出しました。しかし、優れた商業戦略なしには、その製品は決して軌道に乗ることはないことは分かっています。
まず、公開データ収集ツールを使って、アマゾンなどの小売サイトにあるすべての競合商品を発見することから始めました。価格、機能、評価、その他、自社製品をスイートスポットに位置づけるのに役立つあらゆるもののデータベースを構築しました。
価格、値引き、在庫、出荷時間から、色、アップセル、ユーザーレビューなどの変数まで、競合他社のデータを継続的に追跡するようにしました。さらに、各変数を国や地域ごとに市外局番まで細分化することもできました。
これらのことは、マーケティングファネル、価格戦略、Eメールプロモーションを設定する際に、マイアにとって強みとなりました。事実上すべてのeコマース企業は、このアプローチに従ってウェブデータを取得し、構造化し、それを実際の実用的なインテリジェンスに変えることができます。
Bright DataのCEOであるOr Lenchnerは、「インターネットは世界最大のデータベースであり、今や照会可能なものである。」と述べています。
実用的なビジネスインテリジェンスを提供するために設計された検索エンジンがあると想像できます。
ウェブ上のデータ収集は、公立図書館に行ってすべての本を読むようなものです。Bright Dataのようなプロバイダーは、このライブラリの公開を維持することに強い関心を持っており、その完全性を確保するために特別な予防措置を取っています。弊社は、倫理規定と、技術の悪用を防ぐソフトウェアプロトコルによって、これを実現しています。
公開ウェブデータの収集と分析は、社会にとって重要な進歩であると考えています。企業にとって大きな競争力となります。消費者の選択の幅を広げられます。また、現代における最も重要な環境問題や社会問題への取り組みにも役立っています。
一例として、昨年の春の寒い朝、警察がサウスシカゴのアパートのドアを蹴破りました。中に入り、人身売買の疑いで2人を逮捕しました。17歳から26歳の女性4人を救出し、現金、麻薬、武器を回収しました。
これらの逮捕は、オンライン商業セックス広告のデータを収集し、データサイエンスとネットワーク分析によって、人身売買の可能性のある活動を特定する作戦の一部でした。
この記事は、The Bright Initiativeの提供によるものです。弊社は、人権、規制、気候変動、公衆衛生、インターネットの安全性などの分野で進展をもたらすために、公開ウェブデータ収集を利用することに継続的に取り組んでいます。
現在、ウェブデータの普及曲線は急速に加速しています。不動産業者からポートフォリオマネージャー、メーカーからミュージシャン、スタートアップから多国籍企業まで、あらゆる分野でユーザーは賢い質問をし、価値ある答えを見つけています。
あなたが地球上で唯一Googleにアクセスできる人間だと想像してください。きっと、すべての試験に合格し、キャリアにおいて誰よりも優れた成績を収め、その驚くべき知識で友人を驚かせていることでしょう。おそらく、密かに優位に働いていることは明白です。
今度は、ミカが最高の投資アイデアを思いつきました。ジルは原始的なブランドを構築しています。バートは旅行空間を支配しています。マイアはスタートアップを牽引しています。もちろん、正義や英雄的な行為も、すべてウェブデータの素晴らしさによって支えられていることは言うまでもありません。
ウェブデータ収集ツールは、超能力を持っているようなものです。そして、変化のスピードが速い今、それらを把握できなければ、Wi-Fiのない場所に閉じ込められた時のような、沈んだ気持ちになるかもしれません。
しかし、行き詰まる理由はありません。ツールは目の前に並べられています。適切な質問をする努力をすればいいだけです…
問いかけてみましょう。
