このブログ記事では、以下の内容を学びます：
- Workatoとは何か、そしてローコード自動化プラットフォームとして何を提供するか。
- 自動化されたワークフローが高品質な構造化ウェブデータへのアクセスから得られるメリット。
- Bright Data APIを通じてプログラム的に取得したウェブデータを処理するWorkatoレシピの構築方法。
さっそく始めましょう！
Workatoとは？
Workatoは、クラウドベースの自動化・統合ローコードプラットフォームです。ローコードツールを使ってアプリケーションを接続し、データを同期し、ビジネスワークフローを調整します。数千ものアプリケーションやシステム全体でプロセスを自動化し、AIエージェントを統合するのに役立ちます。
Workatoがサポートする主な機能は以下の通りです：
- レシピ：トリガーとアクションを通じて自動化プロセスを定義するビジュアルワークフロー。大規模なカスタム開発を必要とせずに、アプリケーションを接続し、データを変換し、ビジネスロジックを実行します。
- コネクター：Workatoと人気のSaaSアプリケーション、エンタープライズシステム、データベース、API、その他のビジネスツールを接続し、データ交換を簡素化するあらかじめ構築された統合機能。
- ローコード/ノーコード自動化：従来のコードを書かずにチームがワークフローを構築・修正できるドラッグアンドドロップインターフェース。開発時間とエンジニアリングリソースへの依存を削減します。
- AIエージェントオーケストレーション：エンタープライズシステムと連携し、ビジネスルールに従い、自動化プロセスを実行できるAIエージェントを設計・展開・管理するためのツール。
- エンタープライズガバナンスとセキュリティ：アクセス管理、監査ログ、データ保護、モニタリング、ポリシー適用などのコントロールを提供し、大規模な信頼性の高い自動化を実現します。
WorkatoレシピにウェブデータをなぜIntegrateするのか
Workatoはエンタープライズテクノロジースタック全体のサードパーティSaaSアプリケーションやサービスとの統合をサポートします。しかし、内部データだけでは完全で正確なインサイトを生成するのに十分ではないことが多いです。
ウェブデータは、現在市場で起きていることについての外部コンテキストを提供します。このコンテキスト的なリアルタイム情報は、特にビジネスシナリオにおける意思決定の改善に不可欠です。
オンラインデータはAI搭載の自動化を構築する際にさらに重要になります。LLMは静的データセットで学習されており、最新のイベント、アップデート、またはビジネスシグナルにアクセスできません。ライブデータがなければ、その出力には古い知識が含まれ、不正確なインサイトにつながる可能性があります。
問題は、レート制限、アンチボットシステム、CAPTCHA、フィンガープリント分析により、大規模なウェブデータ収集が困難なことです。そこでBright Dataの出番です！
Bright Data APIがその解決策
Bright Dataは、大規模な公開ウェブデータの収集、抽出、処理のためのAPIを公開している主要なウェブデータプロバイダーです。これらのAPIはすべて、構造化された検証済みの最新ウェブデータで自動化ワークフローを強化するためにWorkatoレシピに統合できます。
主なBright Data APIには以下が含まれます：
- Web Scraper API：Amazon、LinkedIn、その他40以上のサポートドメインを含む人気ウェブサイトから構造化データセットを抽出します。
- Web Unlocker API：アンチボットシステムとアクセスの課題を自動的に処理しながら、HTMLまたはMarkdown形式でウェブページコンテンツを取得します。
- SERP API：リサーチや自動化ワークフローのために、Google、Bing、Yandex、その他の検索プラットフォームから構造化された検索エンジン結果を収集します。
- Browser API：自動化されたブラウザセッションを実行して、動的ウェブサイトやJavaScriptベースのアプリケーションと対話します。
注意：すべての新しいBright Dataアカウントには、Web Unlocker API、SERP API、Web Scraper APIにわたって月間5,000リクエストが無料で含まれています。
Bright Dataが際立っているのは、195カ国にわたる4億以上のIPのプロキシネットワークによって支えられたエンタープライズグレードのインフラです。99.99%の稼働時間と99.95%の成功率を維持しながら、無制限のスケーラビリティと同時実行をサポートします。
Workatoと組み合わせることで、Bright Dataはエンタープライズが堅固なワークフローを構築できるようにします。その方法をご覧ください！
WorkatoレシピでBright Data スクレイパーAPIを使用する方法
このステップバイステップの章では、実際のAI搭載Workatoレシピの設定方法を学びます。具体的には、ワークフローが自動的に以下を行います：
- Bright Dataを使用して最近のGlassdoorレビューを取得する。
- OpenAIでそれらを分析する。
- 構造化されたHTMLレポートを直接受信トレイに配信する。
このレシピは競合他社のモニタリング、市場調査、従業員フィードバック分析に役立ちます。
注意：これは構築できるものの一例に過ぎません。Bright Data APIは多くの他のユースケースをサポートしており、ウェブ検索、リード生成、レビューモニタリング、データエンリッチメントなどのワークフローを作成できます。
以下の手順に従ってください！
前提条件
以下を準備してください：
- Workatoアカウント（無料トライアルで可）。
- APIキーが設定されたBright Dataアカウント。Bright Data APIキーの設定に関する公式ガイドを参照してください。
- OpenAI APIキー。
厳密には必須ではありませんが、Bright Data スクレイパーAPIの仕組みについての基本的な理解も役立ちます。
ステップ#1：Workatoレシピを初期化する
Workatoアカウントにログインして新しいプロジェクト（例：「Web Data Workflows」）を作成します。プロジェクトを開き、「Create > Recipe」を選択して新しいWorkatoレシピを作成します：
Workatoが初めての方にとって、レシピとはトリガーと一連のアクションを通じて異なるアプリケーションを接続する自動化ワークフローです。トリガーはワークフローがいつ開始するかを決定し、アクションはその後に実行されるタスクを定義します。
レシピに名前（例：「Glassdoor Review Monitoring and Sentiment Analysis Workflow」）を付け、開始点として「Run on a schedule」を選択します：
ビジュアルレシピエディターにリダイレクトされます：
レシピにはすでにスケジュールされたトリガーが含まれていることに注意してください。これは、手動介入なしに定期的な間隔でワークフローが実行されることを意味します。
ワークフローがトリガーされるタイミングを設定するには、「Trigger」ステップをクリックしてスケジュール設定を調整します。例えば、毎10日の午前9時に実行するように設定できます：
よくできました！新しいWorkatoレシピが初期化されました。
ステップ#2：Bright Data Glassdoorレビュースクレイパーに慣れる
Bright Data Glassdoorレビュースクレイパーは、GlassdoorレビューデータをGlassdoorから取得するための最適なWeb Scraper APIエンドポイントです。Workatoレシピに統合する前に、エンドポイント、入力、出力を含むAPIの仕組みを理解する価値があります。
Bright Dataアカウントにログインしてコントロールパネルに移動します。「Scrapers > Scrapers Library」に移動し、「glassdoor」を検索して「glassdoor.com」カードを選択します：
Glassdoorスクレイパーページにリダイレクトされます。そこで、左側のメニューから「Glassdoor companies reviews > Collect by URL」オプションを選択します。これがGlassdoorレビューをスクレイピングするために使用されるエンドポイントです：
右側のコードサンプルは、同期スクレイピングリクエストが以下のエンドポイントに送信されることを示しています：
https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1zここで、gd_l7j1po0921hbu0ri1zはGlassdoorレビュースクレイパーAPIのデータセットIDです。リクエストはdatasets/v3/scrapeエンドポイントに送信され、スクレイピングジョブを実行してレスポンスで抽出されたデータを返す前に完了を待ちます。
ご覧の通り、リクエストボディには以下の構造があります：
{
"input": [
{
"url": "<GLASSDOOR_REVIEW_PAGE_URL>",
"days": <NUM_DAYS>
},
// 他のURLオブジェクト...
],
"limit_per_input": null
}urlフィールドはスクレイピングするGlassdoor企業レビューページを指定し、daysは指定された日数以内に公開されたレビューに結果を制限します。
右上隅の「Run manually」をクリックして、Bright Dataコントロールパネルから直接エンドポイントをテストすることもできます。APIコールのJSON出力を分析すると、以下が確認できます：
各レビューには元のGlassdoorページで利用可能な同じ情報が含まれていることに注意してください。レビュータイトル、評価、長所、短所、推薦、レビュー日付が含まれます：
素晴らしい！Bright Data スクレイパーAPIコールをWorkatoレシピに統合する時が来ました。
ステップ#3：スクレイパーAPIを呼び出すHTTPステップを設定する
Workatoレシピエディターページに戻ります。「+」ボタンをクリックして「Action in app」を選択し、新しいステップを追加します。右側のパネルで「http」を検索し、「HTTP」アプリを選択します：
Workatoの「HTTP」アプリを使用すると、外部サービスにHTTPリクエストを送信できます。これはBright Data スクレイパーAPIを呼び出すための理想的な選択肢です。
以下の設定で接続を設定します：
- Connection name:
Bright Data Scraper API - Location:
Your Workato project - Connection type:
Cloud - Authentication type:
Header auth（Bright Data スクレイパーAPIはAuthorizationヘッダーで認証されるため）
次に、「Base URL」としてBright Data スクレイパーAPIのベースURLを貼り付けます：
https://api.brightdata.com/datasets/v3/scrape
残りのオプションはそのままにして「Connect」をクリックします。次に、ステップ設定で「Start guided setup」ボタンをクリックします：
これにより、HTTPリクエストの設定をガイドするウィザードモデルが開きます。
HTTPメソッドとして「POST」を選択し、GlassdoorスクレイパーAPIエンドポイントに以下のリクエストURLを使用します：
https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z&format=jsonformat=jsonクエリパラメータは、APIに結果をJSON形式で返すよう指示します。CSVやJSONLなどの他の形式もサポートされています。
次に、NikeのGlassdoorレビューを監視したいとします。以下のリクエストボディを追加します：
{"input":[{"url":"https://www.glassdoor.com/Reviews/NIKE-Reviews-E1699.htm","days":10}],"limit_per_input":null}Workatoレシピが10日ごとに実行されるように設定されているため、daysは10に設定されていることに注意してください。これにより、各実行で前回の実行以降に公開されたすべての新しいレビューが取得されます。
Bright Dataアカウントを通じてリクエストを認証するために、以下を含むAuthorizationヘッダーを設定します：
Bearer <YOUR_BRIGHT_DATA_API_KEY><YOUR_BRIGHT_DATA_API_KEY>をご自身のBright Data APIキーに置き換えてください。これはBright Data APIの認証で使用される必須パターンです。
「Send request」をクリックして設定をテストします。すべてが正しく設定されている場合、WorkatoはJSON形式でスクレイピングされたGlassdoorレビューを含む200 OKレスポンスを返します：
「Apply configuration」をクリックしてガイド付きセットアップを完了します。
「HTTP」ステップ設定に戻ると、APIコールテスト後に自動生成されたレスポンススキーマを確認できます。「Setup」オプションで、「Wait for response」オプションを「Yes」に設定してください：
これにより、Workatoはレシピの次のステップを実行する前に、Bright Data APIがスクレイピングされたデータを返すのを待ちます。
最後に、この「HTTP」ステップにはBright Data APIキーが含まれていることを覚えておいてください。レシピログやジョブレポートでの露出を避けるために、シークレットとして保存するか、HTTPステップの「…」メニューをクリックして「Mask data」を有効にすることをお勧めします：
素晴らしい！WorkatoレシピがBright Data GlassdoorレビュースクレイパーAPIに正常に接続されました。
ステップ#4：OpenAIステップを設定する
WorkatoレシピはBright Data APIを通じてスクレイピングされたウェブデータを取得できます。そのデータを分析のためにOpenAIモデルに送信する準備ができました。
「+」を再度クリックし、新しいアプリを追加して「openai」を検索し、「OpenAI」アプリを選択します：
「Send messages to OpenAI models」アクションを選択します。これにより、レシピはOpenAIモデルにプロンプトを送信してレスポンスを受信できます：
接続を作成する際、適切なフィールドにOpenAI APIキーを貼り付けて「Connect」をクリックします：
次に、「Single message」モードを選択します（LLMに単一のプロンプトを送信するため）。「Text to send」で「Formula」モードに切り替え、以下のプロンプトを貼り付けます：
"Given the following Glassdoor reviews, generate a concise yet comprehensive HTML email report summarizing recent user reviews, highlighting key trends, recurring themes, sentiment, and notable feedback.
GLASSDOOR REVIEWS:" + <response_array_text_data><response_array_text_data>プレースホルダーを前の「HTTP」ステップの「Send request > Response > Array」出力に置き換えて、モデルがスクレイピングされたレビューデータを受信できるようにします。レスポンスは配列なので、LLMに送信する前にすべてのレビューオブジェクトを単一の文字列に連結するためにjoin(";")メソッドを呼び出します。
プロンプトが明示的にHTMLレスポンスを要求していることに注目してください。これは意図的なもので、生成されたコンテンツが後でメールで送信されるためです。メールのプロトコルはHTMLフォーマットのコンテンツをサポートしています。
注意：執筆時点では、Workatoの「OpenAI」ステップはデフォルトでGPT-4oを使用しています。
素晴らしい！WorkatoレシピはOpenAIモデルを通じて最新のウェブデータを処理し、AI搭載のHTMLレポートを生成できるようになりました。
ステップ#5：Gmail統合を追加する
最後のステップは、AI生成レポートをメールで送信することです。「+」をクリックし、「Gmail」アプリを追加して「Send email action」を選択します：
「Log in to Google」をクリックして、GoogleアカウントをWorkatoに接続します。統合を承認するために要求された権限を付与します。
次に、「Send email via Gmail」ステップを以下のように設定します：
- To：受信者のメールアドレス
- Subject:
Glassdoor review analysis report（または類似のタイトル） - Email type:
HTML - Message：「Send messages to OpenAI models」ステップから「Best choice」レシピデータ出力を選択します。
注意：「Best choice」レシピデータには、前のステップのOpenAIモデルが生成したHTMLレポートが含まれています。
完了！Workatoレシピが完成しました。
ステップ#6：レシピを実行する
最終的なWorkatoレシピは以下のようになります：
「TEST」タブを開いて「Test recipe」をクリックしてワークフローを実行します。以下のような結果が得られます：
実行中、Workatoは以下を行います：
- スケジュールされたワークフローをトリガーする。
- Bright Data GlassdoorレビュースクレイパーAPIを呼び出す。
- 取得したレビューをOpenAIに渡して分析し、HTMLレポートを生成する。
- Gmailでレポートを送信する。
ワークフローがGlassdoorのレビューデータを使用していることを確認するには、「OpenAI」ステップの「Input」を確認します：
プロンプトにはBright Data スクレイパーAPIがオンデマンドで取得したGlassdoorレビューが含まれていることに注目してください。これにより、学習データから来る古い知識に頼るのではなく、コンテキストのあるウェブデータでLLMを根拠付けます。
注意：同様のアプローチで他のBright Data APIを統合することができます。例えば、Workatoレシピにウェブ検索、クロール、または汎用ウェブスクレイピング機能を追加できます。
ミッション完了！Bright DataとWorkatoの統合に成功しました。WorkatoのAPIサポートとBright Dataのウェブデータインフラを組み合わせることで、ほぼあらゆるウェブサイトから新鮮なウェブデータを収集、分析、活用する強力な自動化ワークフローを構築できます。
Bright Data APIがサポートする多くのユースケースを探索して、さらに多くのAI搭載自動化ワークフローを構築しましょう。
ステップ#7：生成された出力を確認する
最後に、受信トレイを確認します：
新しい「Glassdoor review analysis report」メールが届いているはずです。開いて、過去10日間に公開されたレビューをまとめた構造化HTMLレポートを確認してください。レポートでは繰り返し登場するポジティブおよびネガティブなテーマが強調されています。
Et voilà！Workatoレシピは完璧に機能しています。
まとめ
この記事では、Bright DataのスクレイパーAPIを使用してウェブサイトからライブの構造化データを取得し、自動化されたWorkatoレシピでOpenAIを使って処理する方法を学びました。
ここで紹介したAIワークフローは、プログラム的なウェブスクレイピング、検索、データフィード取得などを可能にする他のBright Data APIに簡単に拡張できます。より高度なパイプラインを構築するには、Bright DataのAI対応APIの完全なスイートを探索してください。
今すぐBright Dataアカウントを無料で作成し、エンタープライズ対応のウェブデータAPIをAIワークフローに統合し始めましょう！
