データコレクターご利用開始ガイド

目次

Search collector default - add new data collector

検索テンプレート: ドメインから

  1. 当社の既成コレクター(デフォルトで作成されている収集セット)が収集したドメインから検索できます。
  2. ユースケースを使用して既存のコレクターからブラウズすることもできます。
  3. ドメインを使用した検索には、こちらにドメインを入力します。
  4. 検索結果、使用可能なコレクター、ユースケースについては、こちらから表示できます。

    クエリが空の場合、人気の高いコレクターが表示されます。
Search collector - Templates view

追加機能をご利用いただくことで、よりお客様のニーズに沿う内容に調整できます。

  1. 「最人気」または「最新変更」による結果の並び替えにはこのタブを使用します
  2. より特定の結果を見るには「フィルタ」を使い絞り込みを行います。
Filters

フィルタ

  1. 次で結果を絞り込む:

    テンプレートタイプ
    - ウェブページ - URLを使用してウェブサイトからすべてのデータを収集。
    - 検索 - キーワードでウェブサイトからのすべてのデータを収集。
    - ディスカバリー - カテゴリを使用してウェブサイトからすべてのデータを収集。

    テンプレートオーナーシップ
    - Bright data - Bright Data作成のパブリックコレクター、すべてのお客様にご利用いただけます。

    - カスタム - IDEを使用してコレクターを開発されたお客様。 これらのテンプレートはお客様(管理者)によってモニタリングされます。
Use-case

ユースケースを使用した検索テンプレート

  1. ユースケースビューでは、「ソーシャルネットワーク」や「オンライントラベル」などを解決の目的としたユースケースに基づく当社のコレクターレポジトリを表示できます。
No results

検索テンプレート: ドメインが存在しない

    ニーズに合うテンプレートが見つかりませんか。

  1. 当社に社内IDEを使用して、ご自身でコレクターを開発できます。これには開発に便利なさまざまなツールが搭載されています(メソッドやツールプレビューなど)。
  2. お客様のユースケースおよびデータのニーズを短いフォームにご記入いただければ、お客様向けにコレクターを開発するためのご連絡を差し上げます。
Request popup

コレクターのカスタマイズをリクエストする

  1. お客様のデータ収集ワークフロープロセスをご説明ください。
    できるだけ詳しくお書きください。
  2. お客様のニーズを理解させていただくために必要なファイルをいくつでもアップロードできます。リクエスト参考例: 強調したいすべての重要なデータフィールドに加えて、コレクターに含めることを希望する一連の入力を含むファイル(URL、検索条件、ハッシュタグのリストなど)や収集したいページタイプのスクリーンショットなど。
  3. どのURLからデータを収集しますか。
Template overview

選択されたテンプレート: 概要

  1. ここではコレクターの情報を表示できます:

    - オーナーシップ - 「Bright data」(当社がモニタリングし、すべてのお客様にご利用いただけるコレクター)または「カスタム」(IDEによりお客様が開発)。

    - タイプ - 「ウェブページ」(特定のページからURLを取得し、このページからのみデータを収集)、「検索」(通常の場合キーワード入力を受けてウェブサイトでそれを検索し、リンクや検索結果の基本的な情報を提供するコレクター)、「ディスカバリー」(カテゴリのURLを受けて、ウェブサイト上でそのカテゴリー内に入るすべてのページのURLを返す)。

    - ユースケース - ブランド業界(オンライン動画共有など)。

    - 最新の変更時間。
  2. このタブには、選択したテンプレートについての一般的な情報が表示されます。
  3. このタブでは、テンプレートをリアルタイムでテストし、必要なすべてをこれで獲得できるかを確かめることができます。
  4. ここではこのテンプレートが返す出力の例を見ることができます。収集されるさまざまなデータフィールドを表示するために便利です。
  5. このタブでは、当社APIを使用してこのテンプレートをトリガーするための方法を見ることができます。 有効化するには、プロセスを完了してください。
  6. ここでは、このテンプレートのソースコードを表示できます。 コレクターリストに追加したら、ニーズに合わせて編集することもできます。
  7. ここでは、テンプレートの詳細を表示できます。
Test collector

選択されたテンプレート: コレクターテスト

    このタブでは、テンプレートをリアルタイムでテストできます。

  1. テスト段階では、入力に対するサンプル結果を取得します(特にディスカバリーコレクターに有用です)。
  2. ここにはテストする入力を挿入します(この例では、公開されているFacebookプロフィールのURL)。
  3. こちらをクリックして、挿入した入力でテンプレートのリアルタイムテストを実行します。
  4. 終了すると、テスト結果がここに表示されます。
Output exemples

選択されたテンプレート: 出力例

    ここではこのテンプレートが返す出力の例を表示されます。

  1. テンプレートの結果例は次の形式で表示できます。
    - CSV形式(表)。

    CSV形式、すべてのフィールドにはテキストデータのみが含まれます(リストやjsonのような複合オブジェクトではなく)。
    - JSON形式。
  2. JSONビューでは、最初の5000文字までのみが表示されることにご注意ください。
  3. 結果をファイルとしてダウンロードするにはこちらをクリック。
API

選択されたテンプレート: API

    このタブでは、当社APIを使用してこのテンプレートをトリガーするための方法を見ることができます。 有効化するには、コレクターの構築を完了する必要があります。

  1. このテンプレートに基づくコレクターを追加すると、このAPIを使用してこれをトリガーできます(実際のCOLLECTOR_IDが該当する位置に提供されます)。
  2. 追加する前にコレクターをトリガーすることはできませんのでご注意ください。
Source code

選択されたテンプレート: ソースコード

    ここにはこのコレクターのソースコードが表示されます。 コレクターリストに追加したら、ニーズに合わせて編集することもできます。

  1. ここには、このコレクターのソースコードが表示されます。
  2. IDEのこのテンプレートの拡張ソースコードを表示するには、ここをクリックしてください。
    コレクターを追加する前にコードを変更することはできませんのでご注意ください。
Delivery preferences

コレクターのお届け設定

  1. データを受け取る時期を選択してください:
    a. ジョブ終了時 - 一括のリクエストを送信し、すべてが完了した時点でのお届け。
    b. リアルタイム - リクエストをトリガーすると即時に実行を開始。
  2. お届けを小さなバッチに分割し(何らかの理由により、お客様のサーバーが大規模な量の結果を処理できない場合)、完了次第にお届け。
    ※「ジョブ完了時」のみでご利用いただけます
  3. レポートに名前を指定できます。
  4. ご希望の際には、コレクター完了時にメールあるいはwebhookにて通知を受け取ることもできます
    ※「保管メソッド」でのみご利用いただけます
  5. 通知を送信するための接続詳細を入力します。
  6. お客様への通知が実際に送信されるかをテストして確認できます。
Set outputs

出力データの設定

    このページでは、コレクターが結果の各出力フィールドを形式化する方法を変更できます。

  1. ここにはこのテンプレートの結果のすべてのデータフィールド一覧が表示されます。
  2. このボタンを使用してフィールドをドラッグし、結果を示す順序を変更します。
  3. このボタンを使用して必要のないフィールドを「オフ」にします。これらを結果として受け取らなくなります。
  4. これはレポート上のデータポイント名です。
  5. フィールドを「必要」(必須)と定義すると、このフィールドがない記録を受け取らず、また変更されることがなくなります。 この記録ではエラーのみを受け取ります。
  6. タイムスタンプ - 有効にすると、結果には収集された実際の時間が含まれるようになります。
  7. 入力 - 有効にすると、結果にはコレクターに提供した入力が含まれます(推奨)。
  8. 警告 - このオプションは常にオンになっており、結果における重要な警告を提供します。
  9. エラー - このオプションをオンにすると、結果にはシステムエラーが含まれるようになります(発生した場合)。
  10. スクリーンショット - 有効にすると、収集したつき各ウェブページに収集ページのスクリーンショットの追加ファイルが送信されます(Eメールお届け方法では機能しません)。
  11. HTML - 有効にすると、収集した各ウェブページにつき収集ページの完全なHTMLの追加ファイルが送信されます(Eメールお届け方法では機能しません)。
  12. 設定でタイムゾーンを変更できます。
  13. これは、このデータフィールドの形式です(URL、数字、テキスト、画像など)。
  14. このボックスにチェックを入れると、結果は予測される形式であるかがコレクターによって検証されます。 そうでない場合には、結果が失敗します(つまり、お支払いの必要はありません)。
  15. 一部のURLタイプ(画像など)では、URLを収集するだけではなくデータ自体を受け取ることもできます。
Initiate by api - job completion

APIによって初期化 - 「ジョブ終了時」にデータ受け取り

  1. 通常のリクエスト は、リクエストを実行し、結果を返します。 そうでない場合には、エラーメッセージが返されます。

    キューリクエスト では、ジョブキューにリクエストを追加します。 そうでない場合には、リクエストの実行を開始します。

    リクエストの置き換え では、新しいリクエストを送信し、既存のリクエストをキャンセルします。

  2. この部分を実行したい入力で置き換えます。 より良いパフォーマンスのため、すべての入力をひとつのリクエストで送信して、コレクターが複数の入力を並行して実行できるようにしてください。
  3. この収集を実行するために使用するAPIトークンを選択します。
    このトークンをお持ちの方のみがこのコレクターを実行できます。
  4. コレクターのトリガーが成功すると、このリクエストのデータセットを受け取ります。
15. By API - Realtime

APIによって初期化 - 「リアルタイム」でデータ受け取り

  1. まず、提供する入力のリアルタイム収集ジョブをトリガーします。 作成したジョブIDで即時にレスポンスを受け取ります。
  2. これで、「Response_ID'」がトリガーされたAPIコールからのジョブIDで置き換えられ、データ収集の結果を受け取ります。
Initiate manually

手動で初期化

  1. コレクターが使用する入力を提供します。
  2. 同じ実行に入力を追加できます。
  3. または、実行したすべての入力列を含むCSVファイルをアップロードすることもできます。
  4. ここからCSVのテンプレートをダウンロードでき、これに入力を挿入してコレクターにアップロードできます。
Run on schedule

コレクターをスケジュール

  1. スケジュールされたコレクターを初めて実行する日時を入力します。
  2. スケジュールにおける次の詳細を指定します。
    - 永遠に実行する
    - 一定の回数のみスケジュールされた収集を繰り返す
    - 指定する日時に収集を終了する
  3. スケジュールされた収集の期間を指定します(2020年12月1日の午前零時に開始、永遠、1時間ごと、など)。
  4. スケジューラーが含める曜日を選択します(この例では、水曜日と金曜日を除く毎日)。
  5. 指定日でスケジューラーが適用を開始・終了する時刻を選択します(実行するには適用を変更)。
Collectors main page

コレクターリストメインページ

    これはお客様のコレクターの全ビューです。 作成したすべてのコレクターがここに追加されます。

  1. 検索バーを使用して特定のコレクターを検索します。
  2. データピッカーを使用してコレクターの詳細および指定する日付や日付範囲の情報を表示します。
  3. 各カードでは、コレクターの重要な情報がすべて表示されます。
  4. このアイコンをクリックしてコレクターのアクションメニューを開きます。
  5. このアイコンをクリックしてこのコレクターの拡張ビューを開き、詳細を表示します。
  6. ここをクリックして新しいコレクターを追加します。
Actions menu

コレクターアクションメニュー

    各コレクターにはアクションメニューがあります。このメニューでは次のことができます。

    - コレクターを実行する
    - IDEのコレクターコードを編集する
    - コレクターの統計を表示する
    - コレクターを削除/無効にする
card expanded

コレクターカード拡張ビュー

    これはコレクターの拡張ビューです。

  1. コレクターの統計を表示します。 統計のメインページにアクセスするには、右上のアイコンをクリックします。
  2. コレクターのプロパティを表示します。
  3. コレクターのお届け選択を表示します。 右上のアイコンをクリックしてこれを編集できます。
  4. コレクターの出力フィールドを表示します。 右上のアイコンをクリックしてこれを編集できます。
Statistics runs

コレクターの統計

    このページでは、各コレクターの実行統計の概要が表示されます。

  1. このアイコンは、この特定のジョブが現在実行中であることを示しています。
  2. アイコンの横に数字が表示される場合、これは実行を完了するために現在実施中の 追加試行数を示しています。 この実行が完了すると、数字は表示されなくなります。
    ヒント: 統計を分析する前に、実行が完全に終了するまでお待ちください。
  3. このアイコンでは収集されたデータに関するレポートを表示します。
  4. このアイコンで結果をコンピューターにダウンロードできます。
  5. このアイコンはリクエストを別の日時に再実行します(初回に失敗した場合)。
  6. このアイコンでは完了した実行のパフォーマンスログが表示されます(成功・失敗率、エラーを含む)。
  7. このアイコンは失敗したジョブにのみ表示されます。
    このアイコンをクリックすると、IDEに移動して実行中に発生したエラーを表示します。