クロールAPI

Bright DataのCrawl APIは、あらゆるウェブサイトのコンテンツを抽出、マッピング、HTML、Markdown、JSONなどの形式の構造化データに変換できるツールで、AIのトレーニング、SEO、コンプライアンス監査などに簡単に使用できます。

世界中のあらゆるドメインから、記事、製品リスト、レビュー、完全なサイト構造など、静的コンテンツと動的コンテンツの両方を抽出することができます。

Crawl APIは、Markdown、HTML、プレーンテキスト、ld_jsonのような構造化スキーマを含む複数のフォーマットで結果を提供します。お客様のワークフローに最も適したフォーマットをお選びください。

ターゲットのURLと希望の出力形式を指定して、APIにHTTP POSTリクエストを送るだけです。snapshot_idを受け取るので、準備ができたらそれを使って収集したデータをフェッチすることができる。

はい！Bright Dataのコントロールパネルで、コードなしオプションをご利用ください。URLを入力し、出力形式を選択するだけで、コーディング不要でクロールを開始できます。

結果はウェブフック、APIまたはコントロールパネルからダウンロード、またはお好みの外部ストレージ（AWS S3、Google Cloud Storageなど）に送信することができます。

クロールAPIはスケジューリングに対応しているので、毎日、毎週、またはカスタムスケジュールでクロールを自動化し、データセットを最新の状態に保つことができます。

もちろん！APIは、Python、Node.js、BeautifulSoup、Cheerio、および開発者の柔軟性のための他の多くの一般的なライブラリとシームレスに統合されています。

クロールAPIは、LLMトレーニングデータセットの作成、SEOサイト監査、競合調査、コンプライアンス/アクセシビリティチェック、ウェブサイトコンテンツの移行やアーカイブに利用されています。

クロールごとにinclude_errorsパラメータで詳細なエラーログを含めることができます。問題のトラブルシューティングを効率的に行うか、ブライトデータのサポートにお問い合わせください。