Python Beautiful Soupでスクレイピングする方法を3分で習得

PythonのBeautiful Soupを使ったウェブスクレイピングを開始するための簡単なチュートリアルをお探しですか?最適なチュートリアルをご用意しました。このページを読んで、今すぐ開始できます。
1 min read
Python user scraping the web using Beautiful Soup libraries

この記事では、以下の事項を説明します。

スクレイピングの仕組みとは?

ウェブページのスクレイピングとは、対象のウェブページから特定のデータを要求することです。ページをスクレイピングする際に、書かれたコードは、目的地のページをホストしているサーバーにリクエストを送ります。その後、このコードはページをダウンロードし、クローリングジョブで最初に定義されたページの要素のみを抽出します。

例えば、H3のタイトルタグでターゲットデータを探すとします。その情報を探すためのスクレイパーのコードを書くことになります。スクレーパーは3段階で機能します。

ステップ1:サイトのコンテンツをダウンロードするリクエストをサーバーに送信します。

ステップ2:ページのHTMLをフィルタリングして、目的のH3タグを探します。

ステップ3:テキストをターゲットタグにコピーし、あらかじめコードで指定したフォーマットで出力します。

多くのプログラミング言語で様々なライブラリを用いてウェブスクレイピング作業を行うことができますが、PythonとBeautiful Soupライブラリを用いることは、最も一般的で効果的な方法の一つです。以下のセクションでは、Beautiful Soupを使ったPythonでのスクレイピングの基本について説明します。

PythonのBeautiful Soupとは?

Beautiful Soupは、HTMLやXMLファイルの解析ツリーをナビゲート、検索、修正するためのシンプルなメソッドを提供します。複雑なHTMLドキュメントをPythonオブジェクトのツリーに変換します。また、自動的にユニコードに変換されるので、エンコーディングを考える必要がありません。このツールは、スクレイピングだけでなく、データのクリーニングにも役立ちます。Beautiful Soupは、標準のPythonライブラリに含まれるHTMLパーサーをサポートしていますが、lxmlやhml5libのようなサードパーティのPythonパーサーもいくつかサポートしています。

その機能の全容は、こちらでご覧ください。Beautiful Soup documentation.

RequestsおよびBeautiful Soupのインストール

Beautiful Soupをインストールするには、pipなどのPythonのインストーラーが必要です。Jupyter Labを利用することもできます。この記事では、最も便利なpipを使用します。そのためには、ターミナルで次のコードを実行します。command line syntax for pip install beautifulsoup4 for Beautiful Soup Libraries in Python

また、HTMLを解釈するパーサー、例えば「html5lib」をインストールすることもできます。
Python用のpip install requestsの構文のスクリーンショット

もう一つは、以下のリンクから手動でライブラリをダウンロードする方法です。

1: Requests

2: Hml5lib

3: Beautifulsoup4

RequestsとBeautiful Soupを使ったPythonでの簡単なスクレイピングの手順

ステップ1:スクレイピングしたいページのサーバーにHTTPリクエストを送信する必要があります。サーバーは、ウェブページのHTMLコンテンツを送信することで応答します。リクエストにPythonを使うので、サードパーティのHTTPライブラリが必要で、Requestsを使うことにします。

まずRequestsライブラリをインポートして、URLに簡単なGETリクエストをします。https://www.brainyquote.com/topics/motivational-quotesを選んだのは、シンプルなHTML構造であり、Beautiful Soupの可能性を簡単に実証することができるからです。 レスポンス[200]があれば、これは本質的にサイトがHTTP 200 OKレスポンスコードで応答して、ページのHTMLコンテンツを送ってきたことを意味します。python code to import requests and then scrape a given URLもう一度同じリクエストをしてみましょう。今度は結果をrという変数に格納し、その内容を表示します。 このページのHTMLコード全体が出力されるはずです。ご覧の通り、非構造化されているので、Beautiful Soupは、クリーンアップし、必要なデータを取得するのに役立ちます。

もう一度同じリクエストをしてみましょう。今度は結果をrという変数に格納し、その内容を表示します。 scraping using requests and saving the URL as a variable called rこのページのHTMLコード全体が出力されるはずです。ご覧の通り、非構造化されているので、Beautiful Soupは、クリーンアップし、必要なデータを取得するのに役立ちます。

ステップ2:HTMLのコンテンツができたので、データをパースする必要があります。そのためには、パーサーのhtml5libを使ったBeautiful Soupを使用します。importing beautiful soup from bs4 - command line syntaxBeautifulSoup()に次の2つの値を渡す必要があります。

#1: ウェブサイトのHTML文字列、「r.content」

#2: 使用するHTMLパーサー、「html5lib」

ステップ3:このとき、スクレイピングするサイトに移動したい場合。Devtoolsを開き(F12)、Elementsタブを開きます。一番上のテーブルレイヤーを探します。nice chunk of scraped data using beautiful soup

Pythonを使用してBeautiful Soupでテーブルを設定するためのコマンドライン構文

これまでの内容を把握するために、表をプリントアウトして、.prettify()を使ってみましょう。command line for displaying the table in the console using prettify

出力は次のようになります。

今度は必要なデータを探します。この例では、引用されたテキストと著者名だけが必要です。ご覧のように、これらのデータはすべて次の場所にあります。

では、このクラスのすべてのインスタンスをループして、表にあるすべての引用符を取得してみましょう。command line for looping through all the data to find the rows you need for the table

これで、各ループインスタンスの

インスタンスだけが利用できるようになりました。ループ内でprint(row)を実行することでテストできます。
finding the alt-text inside the scraped data

「img alt」キーの情報を探しているので、引用符の変数を作成して、このデータを代入してみましょう。

assigning data to the alt text

ご覧の通り、「try」ステートメントでラップしています。この場合、1つの行に目的のデータがなくても、エラーにはならず、ループは継続されます。また、結果を「-」で分割しました。先ほど見たように、本文と著者名は「-」で区切られています。 それを利用して、両者を分離して分割してみましょう。example of alt-attribute text being filled with the data provided

これで完了です。見積もり変数は、次のようになります。

example of the data after it has applied the alt-text scrape

このプロセスの最後に、データをファイルに保存することができ、コードは次のようになるはずです。Screen shot of the final Python code and how it should look

 

More from Bright Data

Datasets Icon

Get immediately structured data

Access reliable public web data for any use case. The datasets can be downloaded or delivered in a variety of formats. Subscribe to get fresh records of your preferred dataset based on a pre-defined schedule.

Web scraper IDE Icon

Build reliable web scrapers. Fast.

Build scrapers in a cloud environment with code templates and functions that speed up the development. This solution is based on Bright Data's Web Unlocker and proxy infrastructure making it easy to scale and never get blocked.

Web Unlocker Icon

Implement an automated unlocking solution

Boost the unblocking process with fingerprint management, CAPTCHA-solving, and IP rotation. Any scraper, written in any language, can integrate it via a regular proxy interface.

Ready to get started?