このブログ記事では、以下のことを学びます：
- Workatoとは何か、またローコード自動化プラットフォームとして何を提供しているか。
- 自動化されたワークフローが、高品質で構造化されたウェブデータへのアクセスからどのように恩恵を受けるか。
- Bright Data APIを通じてプログラム的に取得したウェブデータを処理するWorkatoレシピの構築方法。
さっそく始めましょう！
Workatoとは？
Workatoは、クラウドベースの自動化・統合ローコードプラットフォームです。ローコードツールを使ってアプリケーションを接続し、データを同期し、ビジネスワークフローをオーケストレーションします。数千ものアプリケーションやシステム全体でプロセスを自動化し、AIエージェントを統合するのに役立ちます。
Workatoがサポートする主な機能は以下のとおりです：
- レシピ：トリガーとアクションを通じて自動化プロセスを定義するビジュアルワークフロー。大規模なカスタム開発を必要とせずに、アプリケーションを接続し、データを変換し、ビジネスロジックを実行します。
- コネクター：Workatoを人気のSaaSアプリケーション、エンタープライズシステム、データベース、API、その他のビジネスツールと接続し、データ交換を簡素化する既製の統合機能。
- ローコード/ノーコード自動化：チームが従来のコードを書かずにワークフローを構築・修正できるドラッグ＆ドロップインターフェース。開発時間とエンジニアリングリソースへの依存を削減します。
- AIエージェントオーケストレーション：エンタープライズシステムと連携し、ビジネスルールに従い、自動化プロセスを実行できるAIエージェントの設計・展開・管理ツール。
- エンタープライズガバナンスとセキュリティ：アクセス管理、監査ログ、データ保護、監視、ポリシー適用などのコントロールを提供し、大規模な信頼性の高い自動化を確保します。
WorkatoレシピにウェブデータをなぜIntegrateするのか
Workatoは、エンタープライズテクノロジースタック全体のサードパーティSaaSアプリケーションやサービスとの統合をサポートしています。しかし、一般的に内部データだけでは完全で正確なインサイトを生成するには不十分です。
ウェブデータは、現在市場で何が起きているかについての外部コンテキストを提供します。このコンテキスト情報とリアルタイム情報は、特にビジネスシナリオにおける意思決定の改善に不可欠です。
オンラインデータは、AI搭載の自動化を構築する際にさらに重要になります。LLMは静的なデータセットでトレーニングされており、最新のイベント、アップデート、ビジネスシグナルへのアクセス手段を持っていません。ライブデータがなければ、その出力は古い知識を含み、不正確なインサイトにつながる可能性があります。
問題は、レート制限、アンチボットシステム、CAPTCHA、フィンガープリント分析により、大規模なウェブデータの収集が困難であることです。そこでBright Dataの出番です！
解決策としてのBright Data API
Bright Dataは、大規模な公開ウェブデータの収集・抽出・処理のためのAPIを公開している主要なウェブデータプロバイダーです。これらのAPIはすべてWorkatoレシピに統合でき、構造化された検証済みの最新ウェブデータで自動化ワークフローを強化します。
主なBright Data APIには以下が含まれます：
- Web Scraper API：Amazon、LinkedIn、40以上のサポートドメインを含む人気ウェブサイトから構造化データセットを抽出します。
- Web Unlocker API：アンチボットシステムとアクセス障壁を自動的に処理しながら、HTMLまたはMarkdown形式でウェブページのコンテンツを取得します。
- SERP API：調査や自動化ワークフローのために、Google、Bing、Yandex、その他の検索プラットフォームから構造化された検索エンジン結果を収集します。
- Discover API：さらなる処理のために、検索クエリに基づいて関連する公開ウェブURLを検索・ランク付けします。
- Browser API：動的ウェブサイトやJavaScriptベースのアプリケーションと連携するために、自動化されたブラウザセッションを実行します。
注意：すべての新しいBright Dataアカウントには、Web Unlocker API、SERP API、Web Scraper API全体で月間5,000件の無料リクエストが含まれています。
Bright Dataが際立っているのは、195か国にわたる4億以上のIPのプロキシネットワークによって支えられたエンタープライズグレードのインフラです。99.99%の稼働率と99.95%の成功率を達成しながら、無制限のスケーラビリティと同時実行をサポートします。
Workatoと組み合わせることで、Bright Dataはエンタープライズが強固なワークフローを構築できるようにします。その方法をご紹介します！
WorkatoレシピでBright Data Scraper APIを使う方法
このステップバイステップの章では、実際のAI搭載Workatoレシピのセットアップ方法を学びます。具体的には、このワークフローが自動的に以下を行います：
- Bright Dataを使用して最近のGlassdoorレビューを取得する。
- OpenAIで分析する。
- 構造化されたHTMLレポートを直接受信トレイに配信する。
このレシピは、競合他社のモニタリング、市場調査、従業員フィードバック分析に役立ちます。
注意：これは構築できるものの一例にすぎません。Bright Data APIは多くの他のユースケースをサポートしており、ウェブ検索、リード生成、レビューモニタリング、データエンリッチメントなどのワークフローを作成できます。
以下の手順に従ってください！
前提条件
以下を用意してください：
- Workatoアカウント（無料トライアルでも可）。
- APIキーが設定されたBright Dataアカウント。Bright Data APIキーの設定に関する公式ガイドを参照してください。
- OpenAI APIキー。
厳密には必須ではありませんが、Bright Data Scraper APIの動作についての基本的な理解も役立ちます。
ステップ#1：Workatoレシピを初期化する
Workatoアカウントにログインして、新しいプロジェクト（例：「Web Data Workflows」）を作成します。プロジェクトを開き、「Create > Recipe」を選択して新しいWorkatoレシピを作成します：
Workatoが初めての方へ：レシピとは、トリガーと一連のアクションを通じて異なるアプリケーションを接続する自動化ワークフローです。トリガーはワークフローの開始タイミングを決定し、アクションはその後に実行されるタスクを定義します。
レシピに名前を付け（例：「Glassdoor Review Monitoring and Sentiment Analysis Workflow」）、開始点として「Run on a schedule」を選択します：
ビジュアルレシピエディターにリダイレクトされます：
レシピにはすでにスケジュールトリガーが含まれています。これは、ワークフローが手動介入なしに定期的な間隔で実行されることを意味します。
ワークフローがトリガーされるタイミングを設定するには、「Trigger」ステップをクリックしてスケジュール設定を調整します。例えば、毎10日の午前9時に実行するよう設定できます：
完了です！新しいWorkatoレシピが初期化されました。
ステップ#2：Bright Data Glassdoor Reviews Scraper APIに慣れる
Bright Data Glassdoor Reviews スクレイパーは、Glassdoorレビューデータを取得するための完璧なWeb Scraper APIエンドポイントです。Workatoレシピに統合する前に、エンドポイント、入力、出力を含むAPIの動作を理解しておく価値があります。
Bright Dataアカウントにログインしてコントロールパネルにアクセスします。「Scrapers > Scrapers Library」に移動し、「glassdoor」を検索して「glassdoor.com」カードを選択します：
Glassdoorスクレイパーページにリダイレクトされます。そこで、左側のメニューから「Glassdoor companies reviews > Collect by URL」オプションを選択します。これがGlassdoorレビューをスクレイピングするために使用されるエンドポイントです：
右側のコードサンプルは、同期スクレイピングリクエストが以下のエンドポイントに送信されることを示しています：
https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1zここで、gd_l7j1po0921hbu0ri1zはGlassdoor Reviews Scraper APIのデータセットIDです。リクエストはdatasets/v3/scrapeエンドポイントに送信され、スクレイピングジョブを実行し、レスポンスで抽出されたデータを返す前に完了を待ちます。
ご覧のとおり、リクエストボディの構造は以下のとおりです：
{
"input": [
{
"url": "<GLASSDOOR_REVIEW_PAGE_URL>",
"days": <NUM_DAYS>
},
// other URL objects...
],
"limit_per_input": null
}urlフィールドはスクレイピングするGlassdoor企業レビューページを指定し、daysは指定した日数以内に公開されたレビューに結果を制限します。
右上の「Run manually」をクリックして、Bright Dataコントロールパネルから直接エンドポイントをテストすることもできます。APIコールのJSON出力を分析すると、以下が表示されます：
各レビューには、元のGlassdoorページで利用可能な同じ情報が含まれています。レビュータイトル、評価、メリット、デメリット、推薦事項、レビュー日付が含まれます：
素晴らしい！Bright Data Scraper APIコールをWorkatoレシピに統合する時が来ました。
ステップ#3：Scraper APIを呼び出すHTTPステップを設定する
Workatoレシピエディターページに戻ります。「+」ボタンをクリックして「Action in app」を選択し、新しいステップを追加します。右側のパネルで「http」を検索し、「HTTP」アプリを選択します：
Workatoの「HTTP」アプリは外部サービスにHTTPリクエストを送信でき、Bright Data Scraper APIを呼び出すための理想的な選択肢です。
以下の設定で接続を設定します：
- Connection name：
Bright Data Scraper API - Location：
Your Workato project - Connection type：
Cloud - Authentication type：
Header auth（Bright Data Scraper APIはAuthorizationヘッダーで認証されるため）
次に、「Base URL」にBright Data Scraper APIのベースURLを貼り付けます：
https://api.brightdata.com/datasets/v3/scrape
残りのオプションはそのままにして「Connect」をクリックします。次に、ステップ設定の下で「Start guided setup」ボタンをクリックします：
これにより、HTTPリクエストの設定をガイドするウィザードモデルが開きます。
HTTPメソッドとして「POST」を選択し、Glassdoor Scraper APIエンドポイントに以下のリクエストURLを使用します：
https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l7j1po0921hbu0ri1z&format=jsonformat=jsonクエリパラメータは、APIに結果をJSON形式で返すよう指示します。CSVやJSONLなどの他の形式もサポートされています。
NikeのGlassdoorレビューを監視したい場合は、このリクエストボディを追加します：
{"input":[{"url":"https://www.glassdoor.com/Reviews/NIKE-Reviews-E1699.htm","days":10}],"limit_per_input":null}daysが10に設定されているのは、Workatoレシピが10日ごとに実行されるように設定されているためです。これにより、各実行で前回の実行以降に公開されたすべての新しいレビューが取得されます。
Bright Dataアカウントを通じてリクエストを認証するには、以下を含むAuthorizationヘッダーを設定します：
Bearer <YOUR_BRIGHT_DATA_API_KEY><YOUR_BRIGHT_DATA_API_KEY>を自身のBright Data APIキーに置き換えます。これはBright Data APIが認証に使用する必須パターンです。
「Send request」をクリックして設定をテストします。すべてが正しく設定されていれば、WorkatoはJSON形式でスクレイピングされたGlassdoorレビューを含む200 OKレスポンスを返します：
「Apply configuration」をクリックしてガイド付きセットアップを完了します。
「HTTP」ステップ設定に戻ると、APIコールテスト後に自動生成されたレスポンススキーマを確認できます。「Setup」オプションで、「Wait for response」オプションを「Yes」に設定してください：
これにより、Workatoはレシピの次のステップを実行する前に、Bright Data APIがスクレイピングされたデータを返すのを待ちます。
最後に、この「HTTP」ステップにはBright Data APIキーが含まれていることを覚えておいてください。レシピログやジョブレポートでの露出を避けるために、シークレットとして保存するか、HTTPステップの「…」メニューをクリックして「Mask data」を有効にするかのいずれかを行ってください：
素晴らしい！WorkatoレシピがBright Data Glassdoor Reviews Scraper APIに正常に接続されました。
ステップ#4：OpenAIステップを設定する
WorkatoレシピはBright Data APIを通じてスクレイピングされたウェブデータを取得できるようになりました。そのデータをOpenAIモデルに送信して分析する準備ができています。
「+」を再度クリックし、新しいアプリを追加して「openai」を検索し、「OpenAI」アプリを選択します：
「Send messages to OpenAI models」アクションを選択します。これにより、レシピがOpenAIモデルにプロンプトを送信してレスポンスを受け取ることができます：
接続を作成する際は、OpenAI APIキーを適切なフィールドに貼り付けて「Connect」をクリックします：
次に、「Single message」モードを選択します（LLMに単一のプロンプトを送信するため）。「Text to send」で「Formula」モードに切り替え、以下のプロンプトを貼り付けます：
"Given the following Glassdoor reviews, generate a concise yet comprehensive HTML email report summarizing recent user reviews, highlighting key trends, recurring themes, sentiment, and notable feedback.
GLASSDOOR REVIEWS:" + <response_array_text_data><response_array_text_data>プレースホルダーを前の「HTTP」ステップの「Send request > Response > Array」出力に置き換えて、モデルがスクレイピングされたレビューデータを受け取れるようにします。レスポンスが配列であるため、LLMに送信する前にすべてのレビューオブジェクトを単一の文字列に連結するjoin(";")メソッドを呼び出します。
プロンプトが明示的にHTMLレスポンスを要求していることに注目してください。これは意図的なもので、生成されたコンテンツは後でメールで送信されるためです。メールのプロトコルはHTMLフォーマットのコンテンツをサポートしています。
注意：執筆時点では、WorkatoのOpenAIステップはデフォルトでGPT-4oを使用しています。
素晴らしい！Workatoレシピは、OpenAIモデルを通じて最新のウェブデータを処理し、AI搭載のHTMLレポートを生成できるようになりました。
ステップ#5：Gmail統合を追加する
最後のステップは、AI生成レポートをメールで送信することです。「+」をクリックし、「Gmail」アプリを追加して「Send email action」を選択します：
「Log in to Google」をクリックしてGoogleアカウントをWorkatoに接続します。統合を承認するために要求された権限を付与します。
次に、「Send email via Gmail」ステップを以下のように設定します：
- To：受信者のメールアドレス
- Subject：
Glassdoor review analysis report（または類似のタイトル） - Email type：
HTML - Message：「Send messages to OpenAI models」ステップからの「Best choice」レシピデータ出力を選択する。
注意：「Best choice」レシピデータには、前のステップでOpenAIモデルが生成したHTMLレポートが含まれています。
完璧です！Workatoレシピが完成しました。
ステップ#6：レシピを実行する
最終的なWorkatoレシピは以下のようになります：
「TEST」タブを開き、「Test recipe」をクリックしてワークフローを実行します。結果は以下のとおりです：
実行中、Workatoは以下を行います：
- スケジュールされたワークフローをトリガーする。
- Bright Data Glassdoor Reviews Scraper APIを呼び出す。
- 取得したレビューをOpenAIに渡して分析し、HTMLレポートを生成する。
- Gmailを通じてレポートを送信する。
ワークフローがGlassdoorのレビューデータを使用していることを確認するには、「OpenAI」ステップの「Input」を確認します：
プロンプトには、Bright Data Scraper APIがオンデマンドで取得したGlassdoorレビューが含まれていることに注目してください。これにより、LLMはトレーニングデータからの古い知識に頼るのではなく、コンテキストのあるウェブデータで根拠付けられます。
注意：他のBright Data APIを統合する際も同様のアプローチを取れます。例えば、Workatoレシピにウェブ検索、ウェブ探索、クローリング、または汎用的なウェブスクレイピング機能を追加できます。
ミッション完了！Bright DataとWorkatoの統合に成功しました。WorkatoのAPIサポートとBright Dataのウェブデータインフラを組み合わせることで、事実上あらゆるウェブサイトから最新のウェブデータを収集・分析・活用する強力な自動化ワークフローを構築できます。
Bright Data APIがサポートする多くのユースケースを探索して、さらに多くのAI搭載自動化ワークフローを構築してください。
ステップ#7：生成された出力を確認する
最後に、受信トレイを確認します：
新しい「Glassdoor review analysis report」メールが届いているはずです。開くと、過去10日間に公開されたレビューをまとめた構造化されたHTMLレポートが表示されます。レポートには、繰り返し登場するポジティブおよびネガティブなテーマが強調されています。
完璧です！Workatoレシピは見事に機能しています。
まとめ
この記事では、Bright DataのScraper APIを使ってウェブサイトからライブで構造化されたデータを取得し、自動化されたWorkatoレシピでOpenAIを使って処理する方法を学びました。
ここで紹介したAIワークフローは、他のBright Data APIにも簡単に拡張でき、プログラム的なウェブスクレイピング、検索、ソース探索、データフィード取得などが可能になります。より高度なパイプラインを構築するには、Bright DataのAI対応APIの完全なスイートを探索してください。
今すぐBright Dataアカウントを無料で作成して、エンタープライズ対応のウェブデータAPIをAIワークフローに統合し始めましょう！
