PHPでGoutteを使ったWebスクレイピング：2025チュートリアル

  #hockey .table

CSS セレクタを適用し、$crawler->filter()メソッドを使用してテーブルノードを選択します：

  $table = $crawler-u003efilter(u0022#hockey .tableu0022);

次に、各行がチームというクラスを持つ

      $table-u003efilter(u0022tr.teamu0022)-u003eeach(function ($tr) use (u0026$teams) {n      // data extraction logic...n    });

素晴らしい！これでGoutteデータスクレイピングの骨格ができた。

ステップ#5：データ抽出ロジックの実装

前回同様、今回はテーブルの中の行を検査する：

各行には、専用のカラムに以下の情報が含まれていることにお気づきだろう：

• チーム名 →.name要素内
• シーズン年 →.year要素内
• 勝利数 →.wins要素内
• .loss要素内の損失数→損失数
• 時間外損失 →.ot-losses要素内
• 勝率 →.pct要素内
• 得点（Goals For – GF） →.gf要素内
• 失点数（Goals Against – GA） →.ga要素内
• ゴール差 →.diff要素内

ひとつの情報を取り出すには、次の2つのステップを踏む必要がある：

1. filter() を使用して HTML 要素を選択する
2. text()メソッドでテキストを取り出し、trim()で余分なスペースを削除します。

例えば、チーム名をスクレイピングすることができる：

  $teamElement = $tr-u003efilter(u0022.nameu0022);n$team = trim($teamElement-u003etext());

同様に、このロジックを他のすべての列に拡張する：

  $yearElement = $tr-u003efilter(u0022.yearu0022);n$year = trim($yearElement-u003etext());nn$winsElement = $tr-u003efilter(u0022.winsu0022);n$wins = trim($winsElement-u003etext());nn$lossesElement = $tr-u003efilter(u0022.lossesu0022);n$losses = trim($lossesElement-u003etext());nn$otLossesElement = $tr-u003efilter(u0022.ot-lossesu0022);n$otLosses = trim($otLossesElement-u003etext());nn$pctElement = $tr-u003efilter(u0022.pctu0022);n$pct = trim($pctElement-u003etext());nn$gfElement = $tr-u003efilter(u0022.gfu0022);n$gf = trim($gfElement-u003etext());nn$gaElement = $tr-u003efilter(u0022.gau0022);n$ga = trim($gaElement-u003etext());nn$diffElement = $tr-u003efilter(u0022.diffu0022);n$diff = trim($diffElement-u003etext());

行から目的のデータを取り出したら、それを$teams配列に格納します：

  $teams[] = [n  u0022teamu0022 =u003e $team,n  u0022yearu0022 =u003e $year,n  u0022winsu0022 =u003e $wins,n  u0022lossesu0022 =u003e $losses,n  u0022ot_lossesu0022 =u003e $otLosses,n  u0022win_percu0022 =u003e $pct,n  u0022goals_foru0022 =u003e $gf,n  u0022goals_againstu0022 =u003e $ga,n  u0022goal_diffu0022 =u003e $diffn];

すべての行をループした後、$teamsの配列は以下のようになる：

  Arrayn(n    [0] =u003e Arrayn        (n            [team] =u003e Boston Bruinsn            [year] =u003e 1990n            [wins] =u003e 44n            [losses] =u003e 24n            [ot_losses] =u003en            [win_perc] =u003e 0.55n            [goals_for] =u003e 299n            [goals_against] =u003e 264n            [goal_diff] =u003e 35n        )nn    // ...nn    [24] =u003e Arrayn        (n            [team] =u003e Chicago Blackhawksn            [year] =u003e 1991n            [wins] =u003e 36n            [losses] =u003e 29n            [ot_losses] =u003en            [win_perc] =u003e 0.45n            [goals_for] =u003e 257n            [goals_against] =u003e 236n            [goal_diff] =u003e 21n        )n)

素晴らしい！グーテ・データ・スクレイピング成功。

ステップ#6：クローリングロジックの実装

さて、ターゲット・サイトは複数のページにわたってデータを提示し、一度に一部だけを表示することを忘れてはならない。テーブルの下には、すべてのページへのリンクを提供するページネーション要素があります：

このように、以下の簡単なステップで、スクレイピング・スクリプトのページネーションを管理することができる：

1. ページネーション・リンク要素を選択する
2. ページ分割されたページのURLを抽出する。
3. 各ページにアクセスし、先ほど考案したスクレイピング・ロジックを適用する。

ページネーションのリンク要素を調べることから始めよう：

以下のCSSセレクタを使えば、すべてのページネーション・リンクを選択できることに注意してください：

  .pagination li a

ステップ2を実装し、すべてのページネーションURLを収集するには、次のロジックを使用します：

  $urls = [$url];nn// select the pagination link elementsn$crawler-u003efilter(u0022.pagination li au0022)-u003eeach(function ($a) use (u0026$urls) {n  // construct the absolute URLn  $url = u0022https://www.scrapethissite.comu0022 . $a-u003eattr(u0022hrefu0022);nn  // add the pagination URL to the list only if it is not already presentn  if (!in_array($url, $urls)) {n    $urls[] = $url;n  }n});

これは、ページ分割リンクを保存する URL のリストを初期化します。そして、すべてのページ分割要素を選択し、 新しい URL がまだ存在しない場合にのみ$urls配列に追加します。ページの URL は相対 URL なので、リストに追加する前に絶対 URL に変換しなければなりません。

ページネーション処理は一度だけ実行されるべきで、データ抽出とは直接関係しないので、関数でラップするのが最善です：

  function getPaginationUrls($client, $url)n{n  // connect to the first page of the siten  $crawler = $client-u003erequest(u0022GETu0022, $url);nn  // initialize the list of URLs to scrape with the current URLn  $urls = [$url];nn  // select the pagination link elementsn  $crawler-u003efilter(u0022.pagination li au0022)-u003eeach(function ($a) use (u0026$urls) {n    // construct the absolute URLn    $url = u0022https://www.scrapethissite.comu0022 . $a-u003eattr(u0022hrefu0022);nn    // add the pagination URL to the list only if it is not already presentn    if (!in_array($url, $urls)) {n      $urls[] = $url;n    }n  });nn  return $urls;n}

このようにgetPaginationUrls()関数を呼び出すことができます：

  $urls = getPaginationUrls($client, u0022https://www.scrapethissite.com/pages/forms/?page_num=1u0022);

実行後、$urlsはすべてのページ分割されたURLを含む：

  Arrayn(n    [0] =u003e https://www.scrapethissite.com/pages/forms/?page_num=1n    [1] =u003e https://www.scrapethissite.com/pages/forms/?page_num=2n    [2] =u003e https://www.scrapethissite.com/pages/forms/?page_num=3n    [3] =u003e https://www.scrapethissite.com/pages/forms/?page_num=4n    [4] =u003e https://www.scrapethissite.com/pages/forms/?page_num=5n    [5] =u003e https://www.scrapethissite.com/pages/forms/?page_num=6n    [6] =u003e https://www.scrapethissite.com/pages/forms/?page_num=7n    [7] =u003e https://www.scrapethissite.com/pages/forms/?page_num=8n    [8] =u003e https://www.scrapethissite.com/pages/forms/?page_num=9n    [9] =u003e https://www.scrapethissite.com/pages/forms/?page_num=10n    [10] =u003e https://www.scrapethissite.com/pages/forms/?page_num=11n    [11] =u003e https://www.scrapethissite.com/pages/forms/?page_num=12n    [12] =u003e https://www.scrapethissite.com/pages/forms/?page_num=13n    [13] =u003e https://www.scrapethissite.com/pages/forms/?page_num=14n    [14] =u003e https://www.scrapethissite.com/pages/forms/?page_num=15n    [15] =u003e https://www.scrapethissite.com/pages/forms/?page_num=16n    [16] =u003e https://www.scrapethissite.com/pages/forms/?page_num=17n    [17] =u003e https://www.scrapethissite.com/pages/forms/?page_num=18n    [18] =u003e https://www.scrapethissite.com/pages/forms/?page_num=19n    [19] =u003e https://www.scrapethissite.com/pages/forms/?page_num=20n    [20] =u003e https://www.scrapethissite.com/pages/forms/?page_num=21n    [21] =u003e https://www.scrapethissite.com/pages/forms/?page_num=22n    [22] =u003e https://www.scrapethissite.com/pages/forms/?page_num=23n    [23] =u003e https://www.scrapethissite.com/pages/forms/?page_num=24n)

完璧だ！Goutteにウェブクローリングを実装したところだ。

ステップ#7：すべてのページからデータをかき集める

これですべてのページのURLが配列に格納されたので、1つずつスクレイピングすることができる：

1. リストの反復処理
2. 各URLのHTMLコンテンツの取得と解析
3. 必要なデータの抽出
4. スクレイピングした情報を$teams配列に格納する。

上記のロジックを以下のように実装する：

  $teams = [];nn// iterate over all pages and scrape them allnforeach ($urls as $_ =u003e $url) {n  // logging which page the scraper is currently working onn  echo u0022Scraping webpage u0022$urlu0022...nu0022;nn  // retrieve the HTML of the current page and parse itn  $crawler = $client-u003erequest(u0022GETu0022, $url);nn  // $table = $crawler-u003e ...n  // data extraction logicn}

スクレイパーが操作している現在のページを記録するecho命令に注意してください。この情報はスクリプトが実行中に何をしているかを理解するのに便利です。

美しい！あとはスクレイピングしたデータをCSVのような人間が読める形式にエクスポートするだけだ。

ステップ#8：スクレイピングしたデータをCSVにエクスポートする

現在、スクレイピングされたデータは$teams配列に格納されています。他のチームがアクセスできるようにし、分析しやすくするには、CSVファイルにエクスポートします。

PHP はfputcsv()関数によって CSV エクスポートをビルトインでサポートしています。この関数を使用して、スクレイピングしたデータをteams.csvという名前のファイルに書き出します：

  // open the output file for writingn$file = fopen(u0022teams.csvu0022, u0022wu0022);nn// write the header rownfputcsv($file, [u0022Team Nameu0022, u0022Yearu0022, u0022Winsu0022, u0022Lossesu0022, u0022OT Lossesu0022, u0022Win %u0022,u0022Goals For (GF)u0022,        u0022Goals Against (GA)u0022, u0022+ / -u0022]);nn// append each team as a new rownforeach ($teams as $team) {n  fputcsv($file, [n    $team[u0022teamu0022],n    $team[u0022yearu0022],n    $team[u0022winsu0022],n    $team[u0022lossesu0022],n    $team[u0022ot_lossesu0022],n    $team[u0022win_percu0022],n    $team[u0022goals_foru0022],n    $team[u0022goals_againstu0022],n    $team[u0022goal_diffu0022]n  ]);n}nn// close the filenfclose($file);

ミッション完了！グーテ・スクレーパーは完全に機能する。

ステップ9：すべてをまとめる

あなたのGoutteウェブスクレイピングスクリプトは、これで以下の内容を含んでいるはずです：

  u003c?phpnnrequire_once __DIR__ . u0022/vendor/autoload.phpu0022;nnuse GoutteClient;nnfunction getPaginationUrls($client, $url)n{n  // connect to the first page of the siten  $crawler = $client-u003erequest(u0022GETu0022, $url);nn  // initialize the list of URLs to scrape with the current URLn  $urls = [$url];nn  // select the pagination link elementsn  $crawler-u003efilter(u0022.pagination li au0022)-u003eeach(function ($a) use (u0026$urls) {n    // construct the absolute URLn    $url = u0022https://www.scrapethissite.comu0022 . $a-u003eattr(u0022hrefu0022);nn    // add the pagination URL to the list only if it is not already presentn    if (!in_array($url, $urls)) {n      $urls[] = $url;n    }n  });nn  return $urls;n}nn// initialize a new Goutte HTTP clientn$client = new Client();nn// get the URLs of the pages to scrapen$urls = getPaginationUrls($client, u0022https://www.scrapethissite.com/pages/forms/?page_num=1u0022);nn// where to store the scraped datan$teams = [];nn// iterate over all pages and scrape them allnforeach ($urls as $_ =u003e $url) {n  // logging which page the scraper is currently working onn  echo u0022Scraping webpage u0022$urlu0022...nu0022;nn  // retrieve the HTML of the current page and parse itn  $crawler = $client-u003erequest(u0022GETu0022, $url);nn  // select the table element with the data of interestn  $table = $crawler-u003efilter(u0022#hockey .tableu0022);nn  // iterate over each row and extract data from themn  $table-u003efilter(u0022tr.teamu0022)-u003eeach(function ($tr) use (u0026$teams) {n    // data extraction logicnn    $teamElement = $tr-u003efilter(u0022.nameu0022);n    $team = trim($teamElement-u003etext());nn    $yearElement = $tr-u003efilter(u0022.yearu0022);n    $year = trim($yearElement-u003etext());nn    $winsElement = $tr-u003efilter(u0022.winsu0022);n    $wins = trim($winsElement-u003etext());nn    $lossesElement = $tr-u003efilter(u0022.lossesu0022);n    $losses = trim($lossesElement-u003etext());nn    $otLossesElement = $tr-u003efilter(u0022.ot-lossesu0022);n    $otLosses = trim($otLossesElement-u003etext());nn    $pctElement = $tr-u003efilter(u0022.pctu0022);n    $pct = trim($pctElement-u003etext());nn    $gfElement = $tr-u003efilter(u0022.gfu0022);n    $gf = trim($gfElement-u003etext());nn    $gaElement = $tr-u003efilter(u0022.gau0022);n    $ga = trim($gaElement-u003etext());nn    $diffElement = $tr-u003efilter(u0022.diffu0022);n    $diff = trim($diffElement-u003etext());nn    // add the scraped data to the arrayn    $teams[] = [n      u0022teamu0022 =u003e $team,n      u0022yearu0022 =u003e $year,n      u0022winsu0022 =u003e $wins,n      u0022lossesu0022 =u003e $losses,n      u0022ot_lossesu0022 =u003e $otLosses,n      u0022win_percu0022 =u003e $pct,n      u0022goals_foru0022 =u003e $gf,n      u0022goals_againstu0022 =u003e $ga,n      u0022goal_diffu0022 =u003e $diffn    ];n  });n}nn// open the output file for writingn$file = fopen(u0022teams.csvu0022, u0022wu0022);nn// write the header rownfputcsv($file, [u0022Team Nameu0022, u0022Yearu0022, u0022Winsu0022, u0022Lossesu0022, u0022OT Lossesu0022, u0022Win %u0022,u0022Goals For (GF)u0022,        u0022Goals Against (GA)u0022, u0022+ / -u0022]);nn// append each team as a new rownforeach ($teams as $team) {n  fputcsv($file, [n    $team[u0022teamu0022],n    $team[u0022yearu0022],n    $team[u0022winsu0022],n    $team[u0022lossesu0022],n    $team[u0022ot_lossesu0022],n    $team[u0022win_percu0022],n    $team[u0022goals_foru0022],n    $team[u0022goals_againstu0022],n    $team[u0022goal_diffu0022]n  ]);n}nn// close the filenfclose($file);

このコマンドで起動する：

  php index.php

スクレーパーは次のような出力を記録する：

  Scraping webpage u0022https://www.scrapethissite.com/pages/forms/?page_num=1u0022...n// omitted for brevity..nScraping webpage u0022https://www.scrapethissite.com/pages/forms/?page_num=24u0022...

実行の最後には、このデータを含むteams.csvファイルがプロジェクトフォルダーに表示されます：

出来上がり！ターゲット・サイトの正確なデータが、構造化されたフォーマットで利用可能になった。

ウェブスクレイピング用PHP Goutteライブラリの代替品

この記事の冒頭で述べたように、Goutteは非推奨であり、もはやメンテナンスされていない。つまり、別の解決策を検討する必要がある。

GitHubで説明されているように、Goutte v4は本質的にSymfonyのHttpBrowserクラスのプロキシになったので、移行すべきです。そのためには、これらのライブラリをインストールするだけです：

  composer require symfony/browser-kit symfony/http-client

そして、交換する：

  use GoutteClient;

と

  use SymfonyComponentBrowserKitHttpBrowser;

最後に、プロジェクトの依存関係からGoutteを削除する。基本的なAPIは変わらないので、スクリプトを大きく変更する必要はないはずだ。

Goutteの代わりに、HTTPクライアントとHTMLパーサーを組み合わせることもできる。お勧めの選択肢をいくつか紹介しよう：

• HTTPリクエストを行うためのGuzzleまたはcURL。
• DomHTMLDocument, Simple HTML DOM Parser あるいはDomCrawlerを使ってPHP で HTML をパースします。

これらの選択肢はすべて、より柔軟性を与え、あなたのウェブスクレイピングスクリプトが長期的に保守可能であることを保証します。

ウェブスクレイピングのこのアプローチの限界

Goutteは強力なツールだが、ウェブスクレイピングに使うにはいくつかの制限がある：

• ライブラリは非推奨
• そのAPIはもはや保守されていない
• レートリミッターとアンチスクレイピング・ブロックが適用される。
• JavaScriptに依存する動的なページは扱えない
• IPバンを避けるために不可欠なプロキシのサポートは限られている。

これらの制限のいくつかは、PHPを使ったWebスクレイピングのガイドで取り上げているように、別のライブラリや別のアプローチを使うことで軽減することができます。それでも、Web Unlocker APIを使うことでしか回避できないスクレイピング対策には常に直面することになります。

Web Unlocker API は、アンチボット保護を回避し、あらゆるウェブページの生の HTML を取得するために設計された、特殊なスクレイピング・エンドポイントです。APIコールを行い、返されたコンテンツを解析するのと同じくらいシンプルです。このアプローチでは、この記事で示されたように、Goutte (もしくは symfony の更新されたコンポーネント) とシームレスに統合できます。

結論

このガイドでは、ステップバイステップのチュートリアルを通して、Goutteとは何か、Webスクレイピングのために何を提供してくれるのかを探りました。このライブラリは現在では非推奨となっているため、代替となるライブラリもいくつか紹介しました。

どのPHPスクレイピング・ライブラリを選ぶかにかかわらず、最大の課題は、ほとんどのウェブサイトがアンチボットとアンチスクレイピング技術を用いてデータを保護していることです。これらのメカニズムは、自動化されたリクエストを検知してブロックすることができるため、従来のスクレイピング手法は効果がありません。

幸いなことに、Bright Dataはこのような問題を回避するための一連のソリューションを提供しています：

• ウェブアンロッカー：アンチスクレイピング保護をバイパスし、最小限の労力であらゆるウェブページからクリーンなHTMLを提供するAPI。
• スクレイピング・ブラウザ：JavaScriptレンダリングを備えたクラウドベースの制御可能なブラウザ。CAPTCHA、ブラウザフィンガープリント、再試行などを自動的に処理します。PantherやSelenium PHPとシームレスに統合できます。
• ウェブスクレイピングAPI：数十の一般的なドメインから構造化されたウェブデータにプログラムでアクセスするためのエンドポイント。

ウェブスクレイピングはしたくないけれど、「オンラインウェブデータ」に興味がある？すぐに使えるデータセットをご覧ください！

今すぐBright Dataに登録し、無料トライアルを開始してスクレイピングソリューションをお試しください。