動的で、JSが多用され、CAPTCHA、ペイウォール、ポップアップ、スロットリング、エージェントが確実に解析できない乱雑なHTMLなどです。それが、私たちがWeb MCPを構築した理由です。エージェントが古いWebにアクセスし、対話できるようにするためです。これが、私たちが特別なステップを踏み、コア機能を無料で利用できるようにした理由でもあります。
Bright DataのWeb MCPのリード開発者でありメンテナーとして、私たちはこれが “通常の “MCPではないことを早くから認識していました。ほとんどのMCPサーバーは、単一のSaaS/API(Gmail、HubSpot、GitHubなど)をラップしており、スキーマと認証モデル、予測可能な入力と出力、再現可能なアクションと文書化されたエラーなど、整理され、構造化された問題です。
しかし、ウェブMCPはインターネット全体を包んでいる。
あらゆるサイトが独自の「API」に移行し、ページがクライアントサイドでレンダリングされ、無限スクロールが現れ、CAPTCHAやスロットリングが分刻みで動作を変えるオープンウェブと統合する。Web MCPは、弾力性のあるナビゲーションとフェッチ、管理されたセッションとリージョンコントロール、乱雑なHTMLを使用可能なJSON/Markdownにクリーンアップする抽出によって、その混乱を吸収する。
ウェブMCPとは
Web MCPは、あなたのエージェントに実際のウェブを閲覧させます。JSでレンダリングされたページやCAPTCHAを処理し、あなたのモデルが使用できるきれいなテキストを返します。MCPツールとしてパッケージ化された「エージェントのためのインターネットアクセス」と考えてください。
なぜ無料?無料プランでは、構築やテストを始めるのに必要なものだけを、コストをかけずに利用することができます(さらに、日常的な利用には十分な量です)。ラピッドモードでは、5,000リクエスト/月が含まれ、検索結果と “Markdownとしてスクレイピング “という2つの日常的なツールが公開されます。これは、ほとんどのエージェントがページを見つけ、確実に読むのに最適です。
クリック、スクロール、スクリーンショット、構造化JSON抽出の準備ができたら、後でProにアップグレードできます(ローカル・バージョンでPRO_MODEを
設定するか、リモート・バージョンで&pro=1を
追加してください)。
クイックスタート
ガイド付きチュートリアル
ウェブスケールMCPサーバーのエンジニアリング
通常の “MCP “が、固定されたAPI上で決定論的なツールを提供するのに対して、Web MCPは、エージェントが信頼できるように、混沌としたインターネット上でフォールトトレラントなツールを提供する。これを正しく行うことは、エンジニアリング上の大きな挑戦であると同時に、大きな責任を伴います。
ウェブ全体にMCPを出荷するということは、3つの厳しい基準を満たす必要があった:
- 接続するだけでトークンを消費しないよう、軽量かつスマートに。
- デモだけでなく、本番の負荷でも動作するように、スケーラブルで高性能であること。
- セキュアでコンプライアンスに準拠しているため、チームは安心して導入できます。
1) 軽量でスマートであること。
当初、MCPには60以上のツールを搭載して出荷したが、初期のユーザーから貴重な洞察を得た。
しかし、典型的なMCPでは、何十ものツールが前もって列挙されている。MCPでは、最初のステップは/list/tools
だ。60以上のツールがあるため、実際の作業をする前に、このハンドシェイクだけで~17,000トークン🤯のコストがかかる。また、モデルを混乱させ、ツールの選択を誤らせ、より遅く、一貫性のないものにした。
私たちは、実行時のレイテンシーよりもハンドシェイク時のトークン・コストの方がはるかにユーザーを遠ざけていること、そしてCAPTCHA処理はテーブル・ステークスであることを学んだ。
答えは、2つのモードだ。
ラピッドモード(デフォルト)
まさに2つのツールだ:
search_engine
→ SERPの結果を返すscrape_as_markdown
→ あらゆるURLをクリーンでLLMに適したMarkdownとして取得する
ゼロに近いハンドシェイク:最小限のツール・メタデータ、最小限の混乱
検索+抽出タスクの大部分をカバー
高速でリアルタイムのユースケースに最適
scrape_as_markdownが
重要な理由
ほとんどの “ウェブ “統合は、CAPTCHAとブロックのためにこの時点で停止し、現代のウェブでは壊れてしまう。scrape_as_markdown
:
- JSを多用するサイトでも動作(フルレンダリング)
- CAPTCHAを自動解決
- LLMが生のHTMLよりもはるかに消化しやすいクリーンなMarkdownを返す
構造化されたJSON(商品データなど)が必要な場合は、Proに切り替えて垂直スクレーパーを使用する。
プロモード(オプトイン)
- 60以上のツール(eコマース、ソーシャル、ニュース、不動産、金融、LinkedIn/HRなど)を網羅
- Bright DataのWeb Scraper APIを使用し、ワークフローで構造化されたJSONを返します。
- 縦割り構造がトークン・コストを正当化する場合、オプトインする。
結果:スタートが速くなり、トークンが減り、正しいツールを選んだエージェントが幸せになる。
プロを有効にする方法
- リモート/ホスト型:接続URLに
&pro=1
を追加してください。 - STDIO/self-hosted:
PRO_MODE = true
を設定する。
2) スケーラブルで高性能であること(実際のトラフィックを想定して構築されていること)
オーケストレーションはホットパスから外しているので、リクエスト時間はWeb MCPからではなく、ターゲットサイトから来る。
アーキテクチャの概要:
- 2モードの工具表面を持つシングルMCPエンドポイント
- JSを多用するページや、ターゲット・サイトとのインタラクションが必要な場合のヘッドレス・ブラウザ・オーケストレーション
- CAPTCHAの自動解決と弾力的なセッション管理
- 調整可能な同時実行とアカウント毎の分離
実際には
- 低いハンドシェークオーバーヘッド(ラピッドモード)→最小の起動時間
- JSを多用する実サイトでのロバストなスクレイピング
- バッチジョブおよび高QPSエージェントのための運用上の余裕
3) 安全性とコンプライアンス(ブライト・データのGDPRプログラムに基づく)
Web MCPは、Bright DataのAPIの薄いラッパーです。そのため、お客様のエージェントでコントロールを再実装する代わりに、プラットフォームのプライバシー、セキュリティ、ガバナンスの姿勢(GDPR/CCPA)を継承します。詳しくはトラストセンターをご覧ください。
MCPレイヤーは最小限のまま、Bright Dataの吟味されたインフラとポリシー(本番環境で使用されているのと同じ設定)で実行されます。このプラットフォームの法的基盤は実証済みで、MetaとX Corpの裁判では、公開ウェブデータへの責任あるアクセスを支持する勝訴を収めています。
ウェブMCPに(意図的に)含まれていないもの
これらのガードレールは、ブライト・データのAPI/ポリシーによって処理されます。
簡単クイックスタート
from langchain_mcp_adapters.client import MultiServerMCPClient
from langgraph.prebuilt import create_react_agent
client = MultiServerMCPClient({
"brightdata": {
"url": "https://mcp.brightdata.com/sse?token=<API_TOKEN>", # add &pro=1 to opt into Pro
"transport": "sse",
}
})
tools = await client.get_tools() # Rapid mode returns the slim, high-value set
agent = create_react_agent("openai:gpt-4.1", tools)
# Your agent can now search and extract live sites reliably:
resp = await agent.ainvoke({"messages": "Find the latest guidance on US passport renewal fees and summarize the changes."})
無料とは “言い訳をしない “こと
もし、あなたのエージェントがライブウェブに接続されていなければ、時間的制約のあるタスクを自信を持って間違えてしまうでしょう。Web MCPの無料版なら、今すぐそれを解決できます。