GEOプラクティスを支えるインフラ。主要なLLM全体で1日数千件のプロンプトを、スクレイパーの管理なしで実行。
TL;DR
- AirfleetはChatGPT、Claude、Gemini、Perplexityにわたってブランドがどのように表示されるかを把握するため、独自のAI可視性モニタリングを構築した
- 既製ツールでは必要なスケールや詳細度に対応できず、自社のブラウザベースのスクレイパーはCAPTCHAの解決、モデル切り替え、インターフェース変更のたびに機能しなくなっていた。
- 現在はBright Data上で全オペレーションを実行している。1日数千件のプロンプトを、全LLMで統一されたAPIを通じて処理でき、AIプラットフォームがインターフェースを変更しても安定して動作する。
- 技術面と人的な面の両方でフィットしていた。製品は素早くスケールし、Bright Dataのマーケターが私たちのユースケースに真剣な関心を示したことで、好奇心が本物のパートナーシップへと発展した。
- それ以来、SERP調査、コンテンツパイプライン、エージェントワークフローを含む中核インフラとなり、約100万件のプロンプトを実行したサイバーセキュリティ調査にも活用された。
AI可視性モニタリングをBright Dataで運用している理由は、機能するからだ
AirfleetはB2Bのウェブサイト開発・デザイン・サービスエージェンシーです。B2Bテクノロジー企業のパイプラインを生み出すウェブサイトを構築・最適化しており、その業務の中でも成長が著しいのが、クライアントが検索だけでなくAIの回答やLLMツール内でどのように表示されるかを把握することです。
そのために、ChatGPT、Claude、Gemini、Perplexityを含む主要なLLM全体で独自のAI可視性モニタリングを実施しています。ブランドがどのように引用されるか、どのソースがその回答に影響を与えるか、そして実際に結果を変えるものは何かを追跡しています。その基盤となるエンジンがBright Dataです。
独自ツールを構築するに至った経緯は後ほど説明します。結論から言えば、Bright Dataのおかげでスケールが実現し、市場の他のGEOモニタリングツールを使用していた際に悩んでいたデータの断絶が最小限に抑えられました。1日数千件のプロンプトを処理していますが、ツールの維持管理に時間を費やすことはありません。
「私たちはプロダクト会社ではありません。エージェンシーがサービスを提供するためにプロダクトを構築しています。試行錯誤したり、なぜ機能しないかを調べたりする時間はありません。ただ機能するものが必要なのです。」― Elad Hefetz、Airfleet CEO
構築しようとしたもの、そして最初に壊れた場所
私たちはシンプルな目標から始めました。追跡リストの30件や100件のプロンプトではなく、カテゴリ全体のスケールでブランドがAIの回答にどのように表示されるかを把握したかったのです。
まず既存のAI可視性ツールを調査しました。ほとんどは優れたものでした。問題は上限でした。業界全体を把握するには、多くの企業、多くのサブトピック、多くの地域にわたる数千件のプロンプトが必要ですが、既製ツールではそこまで広範に対応できないか、プロンプトごとに課金されるかのどちらかでした。そこで独自に構築することにしました。
そこで本当の問題に直面しました。公式APIを通じて回答を取得し始めたとき、その回答が実際のユーザーが見るものと一致しなかったのです。
「APIを通じてChatGPTにクエリを送ると、ウェブ上でプロンプトを入力した場合とまったく異なる回答が返ってくることにすぐ気づきました。モデルの上に、回答の仕方を変えるレイヤーが存在するのです。Gemini、Claude、その他も同様です。」― Elad Hefetz、Airfleet CEO
APIの回答が購買者の見る回答と異なるなら、それは誤ったデータです。そこで当然の手段として実際のブラウザを操作し、人間のように振る舞ってリアルなレスポンスを取得し始めました。そしてそこで機能しなくなりました。
CAPTCHA。ブレークポイント。新しいモデルのリリース。インターフェースの変更。そのどれもがスクレイパーを停止させる可能性があり、全LLMにわたってブラウザ自動化のフリートを維持することは、私たちが望まないフルタイムの仕事になっていました。最初はその負荷を担うために安価な代替手段を試しましたが、必要なレベルで機能しませんでした。
Bright Dataを選んだ理由
選定において重要だった2つのことは、私たちが問題を抱えていた2つのことと同じでした：スケールと安定性です。
Bright Dataは両方を素早く解決しました。実装はシンプルで、APIはLLM全体で一貫していたため、ChatGPT、Claude、Gemini、Perplexityそれぞれに個別の統合を行う代わりに、1つのコールパターンで対応できました。一度機能し始めると、安定して動作し続けました。
「ChatGPTがインターフェースを変更しても、動作し続けます。スクレイパーが壊れたときのフォールバックメカニズムを構築する必要がありません。ただ使うだけです。」― Elad Hefetz、Airfleet CEO
予期していなかったメリットもありました。回答と並行して、ブラウザセッションからは取得できないと思っていたメタデータも取得できるようになりました。
「最終的な検索クエリと、ChatGPTが回答を構築するために使用したソースを取得できます。それこそが私たちが実際に最適化の対象とする情報です。」― Elad Hefetz、Airfleet CEO
フィットは技術面だけではありませんでした。Eladは無料ティアからアプローチが機能するかどうかをテストするために利用を開始し、ほとんどの初期評価がそうであるように、コミットするよりも好奇心から始めました。するとBright Dataのマーケターから連絡が来ました。彼は利用を開始して一時停止したことに気づき、再試行のためのクレジットを送り、他の企業がどのように製品を使用しているかを説明し、本当に何をしようとしているのかを尋ねてくれたのです。
「彼は私たちが構築しているものに真剣な関心を示してくれました。それがBright Dataという会社への見方を完全に変えました。」― Elad Hefetz、Airfleet CEO
パートナーシップが実際に始まったのはその会話からで、契約ではなく私たちのユースケースを中心に構築されました。
Bright Dataは単なるスクレイパーではなく、中核インフラとなった
Bright Dataを導入したのは1つのことを自動化するためでした：ChatGPTのためのブラウザベースのプロンプティングです。しかしその役割はそこにとどまりませんでした。
AIのための信頼性の高いブラウザレイヤーが手に入ると、そのレイヤーが欠けていたあらゆる場所で使い始めました。SEO作業ではGoogle検索結果ページの読み取りに使用しています。AIエージェントの背後にあるブラウザとして使用し、エージェントがブロックされることなくオープンウェブにアクセスできるようにしています。
「人々はすべてのAIがインターネットに接続されていると思っています。そうではありません。エージェントにウェブで実際のリサーチをさせたいなら、ブラウザレイヤーを構築しなければなりません。それは構築が難しく、Bright Dataがそれを提供してくれます。」― Elad Hefetz、Airfleet CEO
そのレイヤーは今やコンテンツパイプラインに直接フィードしています。パイプラインがトピックをリサーチし、ランキングを確認し、カテゴリで実際に話題になっていることをサブレディットでモニタリングし、LinkedInの公開アクティビティからシグナルを取得し、競合他社のサイトをスクレイプして変更点を確認するとき、その下でフェッチを行っているのはBright Dataです。AIが自力でそれらのソースにアクセスしようとすれば、ブロックされてしまいます。Bright DataはAIとインターネットの間に位置し、ウェブへのアクセスを再び開いてくれます。
他の方法では実行できなかったサイバーセキュリティ調査
最も明確な例はサイバーセキュリティカテゴリのリサーチプロジェクトです。ファネルの上部にある広範なトップオブファネルの質問から、購買段階のボトムオブファネルのプロンプトまで、AIの回答に実際に影響を与えるものを理解したかったのです。それには既製ツールでは提供できないボリュームが必要でした。
Bright Dataを使用して、調査に必要なボリュームでモニタリングを実行しました：21のサイバーセキュリティ企業と5,000以上のサードパーティソースにわたる371,000件以上のAIレスポンスを、ChatGPT、Gemini、Perplexityで時系列にわたってループ実行しました。そして各段階でAIが何を引用したかを分析しました。いくつかの発見が際立っていました：
- レビュープラットフォームが最大のレバーです。G2、Peerspot、Capterra、Software Advice、TrustRadiusは、検討段階と意思決定段階でブランド言及に最も高いリフトをもたらし、多くの場合そのステージのベースラインを数十パーセントポイント上回りました。AIがそれらのいずれかを引用する場合、通常は特定のブランドも一緒に名指しします。
- Redditはすべてのファネルステージで最も多く引用されるソースです。AIはどのブランドを表面化させるかを決定する際、ほぼ他の何よりも実際のユーザーの議論に依存しています。
- Wikipediaは推薦ではなく定義のために引用されます。教育的なクエリには登場しますが、プロンプトがより商業的になるにつれてブランド言及への影響はマイナスに転じます。
- ファネルの上部は薄い土台です。7.9%のベースライン言及率では、広範な認知プロンプトが特定のブランドを表面化させることはほとんどなく、勝っているかどうかを測定する場所としては不適切です。
これらの結論はいくつかのプロンプトを目視で確認して得られたものではありません。カテゴリをスケールで実行した結果であり、それを可能にしたのがまさにBright Dataです。
Bright Dataで次に目指すもの
AI可視性モニタリングは今や一度限りの調査ではなく、私たちの業務の常設部分となっており、Bright Dataはその上に構築する残りのレイヤーです。ウェブ上のトラフィックが人間からエージェントやクローラーへとシフトするにつれ、それらのシステムが見るようにウェブを見る能力、そしてそのボリュームで見る能力は、私たちの業務においてますます重要になっていきます。モニタリングと自動化の範囲を広げ続けていく予定です。
