AI

ブライト・データ社「Web MCPでエージェントのWebアクセスを(無料で!)解決する

ブライトデータのウェブMCPサーバーは、AIエージェント開発者向けに無料の高速ウェブアクセスツールを提供します。
2 分読
Web MCP Server – Now with a Free Tier for Agent Developers blog image

動的で、JSが多用され、CAPTCHA、ペイウォール、ポップアップ、スロットリング、エージェントが確実に解析できない乱雑なHTMLなどです。それが、私たちがWeb MCPを構築した理由です。エージェントが古いWebにアクセスし、対話できるようにするためです。これが、私たちが特別なステップを踏み、コア機能を無料で利用できるようにした理由でもあります。

Bright DataのWeb MCPのリード開発者でありメンテナーとして、私たちはこれが “通常の “MCPではないことを早くから認識していました。ほとんどのMCPサーバーは、単一のSaaS/API(Gmail、HubSpot、GitHubなど)をラップしており、スキーマと認証モデル、予測可能な入力と出力、再現可能なアクションと文書化されたエラーなど、整理され、構造化された問題です。

しかし、ウェブMCPはインターネット全体を包んでいる。

あらゆるサイトが独自の「API」に移行し、ページがクライアントサイドでレンダリングされ、無限スクロールが現れ、CAPTCHAやスロットリングが分刻みで動作を変えるオープンウェブと統合する。Web MCPは、弾力性のあるナビゲーションとフェッチ、管理されたセッションとリージョンコントロール、乱雑なHTMLを使用可能なJSON/Markdownにクリーンアップする抽出によって、その混乱を吸収する。

ウェブMCPとは

Web MCPは、あなたのエージェントに実際のウェブを閲覧させます。JSでレンダリングされたページやCAPTCHAを処理し、あなたのモデルが使用できるきれいなテキストを返します。MCPツールとしてパッケージ化された「エージェントのためのインターネットアクセス」と考えてください。

なぜ無料?無料プランでは、構築やテストを始めるのに必要なものだけを、コストをかけずに利用することができます(さらに、日常的な利用には十分な量です)。ラピッドモードでは、5,000リクエスト/月が含まれ、検索結果と “Markdownとしてスクレイピング “という2つの日常的なツールが公開されます。これは、ほとんどのエージェントがページを見つけ、確実に読むのに最適です。

クリック、スクロール、スクリーンショット、構造化JSON抽出の準備ができたら、後でProにアップグレードできます(ローカル・バージョンでPRO_MODEを設定するか、リモート・バージョンで&pro=1を追加してください)。

クイックスタート

ガイド付きチュートリアル

ウェブスケールMCPサーバーのエンジニアリング

通常の “MCP “が、固定されたAPI上で決定論的なツールを提供するのに対して、Web MCPは、エージェントが信頼できるように、混沌としたインターネット上でフォールトトレラントなツールを提供する。これを正しく行うことは、エンジニアリング上の大きな挑戦であると同時に、大きな責任を伴います。

ウェブ全体にMCPを出荷するということは、3つの厳しい基準を満たす必要があった:

  • 接続するだけでトークンを消費しないよう、軽量かつスマートに。
  • デモだけでなく、本番の負荷でも動作するように、スケーラブルで高性能であること。
  • セキュアでコンプライアンスに準拠しているため、チームは安心して導入できます。

1) 軽量でスマートであること。

当初、MCPには60以上のツールを搭載して出荷したが、初期のユーザーから貴重な洞察を得た。

ブライトデータのウェブMCPツール使用状況

しかし、典型的なMCPでは、何十ものツールが前もって列挙されている。MCPでは、最初のステップは/list/toolsだ。60以上のツールがあるため、実際の作業をする前に、このハンドシェイクだけで~17,000トークン🤯のコストがかかる。また、モデルを混乱させ、ツールの選択を誤らせ、より遅く、一貫性のないものにした。

私たちは、実行時のレイテンシーよりもハンドシェイク時のトークン・コストの方がはるかにユーザーを遠ざけていること、そしてCAPTCHA処理はテーブル・ステークスであることを学んだ。

答えは、2つのモードだ。

ラピッドモード(デフォルト)

まさに2つのツールだ:

  • search_engine→ SERPの結果を返す
  • scrape_as_markdown→ あらゆるURLをクリーンでLLMに適したMarkdownとして取得する

ゼロに近いハンドシェイク:最小限のツール・メタデータ、最小限の混乱
検索+抽出タスクの大部分をカバー
高速でリアルタイムのユースケースに最適

scrape_as_markdownが重要な理由

ほとんどの “ウェブ “統合は、CAPTCHAとブロックのためにこの時点で停止し、現代のウェブでは壊れてしまう。
scrape_as_markdown

  • JSを多用するサイトでも動作(フルレンダリング)
  • CAPTCHAを自動解決
  • LLMが生のHTMLよりもはるかに消化しやすいクリーンなMarkdownを返す

構造化されたJSON(商品データなど)が必要な場合は、Proに切り替えて垂直スクレーパーを使用する。

プロモード(オプトイン)

  • 60以上のツール(eコマース、ソーシャル、ニュース、不動産、金融、LinkedIn/HRなど)を網羅
  • Bright DataのWeb Scraper APIを使用し、ワークフローで構造化されたJSONを返します。
  • 縦割り構造がトークン・コストを正当化する場合、オプトインする。

結果:スタートが速くなり、トークンが減り、正しいツールを選んだエージェントが幸せになる。

プロを有効にする方法

  • リモート/ホスト型:接続URLに&pro=1を追加してください。
  • STDIO/self-hosted:PRO_MODE = trueを設定する。

2) スケーラブルで高性能であること(実際のトラフィックを想定して構築されていること)

オーケストレーションはホットパスから外しているので、リクエスト時間はWeb MCPからではなく、ターゲットサイトから来る。

アーキテクチャの概要:

  • 2モードの工具表面を持つシングルMCPエンドポイント
  • JSを多用するページや、ターゲット・サイトとのインタラクションが必要な場合のヘッドレス・ブラウザ・オーケストレーション
  • CAPTCHAの自動解決と弾力的なセッション管理
  • 調整可能な同時実行とアカウント毎の分離

実際には

  • 低いハンドシェークオーバーヘッド(ラピッドモード)→最小の起動時間
  • JSを多用する実サイトでのロバストなスクレイピング
  • バッチジョブおよび高QPSエージェントのための運用上の余裕

3) 安全性とコンプライアンス(ブライト・データのGDPRプログラムに基づく)

Web MCPは、Bright DataのAPIの薄いラッパーです。そのため、お客様のエージェントでコントロールを再実装する代わりに、プラットフォームのプライバシー、セキュリティ、ガバナンスの姿勢(GDPR/CCPA)を継承します。詳しくはトラストセンターをご覧ください。

MCPレイヤーは最小限のまま、Bright Dataの吟味されたインフラとポリシー(本番環境で使用されているのと同じ設定)で実行されます。このプラットフォームの法的基盤は実証済みで、MetaとX Corpの裁判では、公開ウェブデータへの責任あるアクセスを支持する勝訴を収めています。

ウェブMCPに(意図的に)含まれていないもの

これらのガードレールは、ブライト・データのAPI/ポリシーによって処理されます。

簡単クイックスタート

from langchain_mcp_adapters.client import MultiServerMCPClient
from langgraph.prebuilt import create_react_agent

client = MultiServerMCPClient({
    "brightdata": {
        "url": "https://mcp.brightdata.com/sse?token=<API_TOKEN>",  # add &pro=1 to opt into Pro
        "transport": "sse",
    }
})

tools = await client.get_tools()  # Rapid mode returns the slim, high-value set
agent = create_react_agent("openai:gpt-4.1", tools)

# Your agent can now search and extract live sites reliably:
resp = await agent.ainvoke({"messages": "Find the latest guidance on US passport renewal fees and summarize the changes."})

無料とは “言い訳をしない “こと

もし、あなたのエージェントがライブウェブに接続されていなければ、時間的制約のあるタスクを自信を持って間違えてしまうでしょう。Web MCPの無料版なら、今すぐそれを解決できます。