このブログ記事では次を習得できます。
- cURLとは？
- cURLの使い方
- cURLがよく使われる理由
- プロキシでcURLを使う
- User-Agentの変更方法
- cURLを使ったウェブスクレイピング
cURLとは？
cURLは、ネットワークプロトコルを介してデータを転送するために使用するコマンドラインツールです。cURL は「Client URL」の略で、「curl」とも表記されます。URL構文を使ってサーバーとのデータ転送を行う一般的なコマンドです。Curl は、無料で使いやすいクライアントサイドのURL転送ライブラリである「libcurl」で稼働します。
curlを使うと有利になる理由は？
このコマンドの汎用性により、curlは次のような様々なユースケースで使用できます。
- ユーザー認証
- HTTP投稿
- SSL接続
- プロキシ対応
- FTPアップロード
curlの最も簡単な「使用例」は、サポートされているプロトコルの1つを使用してウェブサイト全体をダウンロードおよびアップロードすることです。
Curlプロトコル
curlには、サポートされるプロトコルの長いリストがありますが、特定のプロトコルが提供されない場合、デフォルトでHTTPを使用します。対応プロトコルの一覧はこちらです。
curlのインストール
Linuxディストリビューションでは、curlコマンドがデフォルトでインストールされています。
curlがすでにインストールされているかどうかを確認するには？
1.Linuxのコンソールを開きます。
2.「curl」と入力し、「Enter」キーを押します。
3.すでにcurlがインストールされている場合は、次のようなメッセージが表示されます。
4.curlがまだインストールされていない場合は、次のようなメッセージが表示されます。「command not found（コマンドが見つかりません）」その後、ディストリビューションパッケージに変わり、インストールできるようになります（詳細は後述）。
cURLの使い方
Curlの構文は次のように非常に単純です。
例えば、ウェブページwebpage.comをダウンロードしたい場合は、そのまま実行します。
このコマンドを実行すると、ターミナルのウィンドウにそのページのソースコードが表示されます。プロトコルを指定しない場合、curlではHTTPがデフォルトとされます。以下に、特定のプロトコルを定義する方法の例を示します。
://を付け忘れた場合、curlは使いたいプロトコルを推測します。
コマンドの基本的な使い方について簡単に説明しましたが、curlのドキュメントサイトにオプションの一覧があります。これらのオプションは、URLで実行可能なアクションです。オプションを選択すると、リストアップしたURLでどのようなアクションを起こすかをcurlに指示します。URLは、このアクションを実行する必要がある場所をcURLに伝えます。そして、cURLでは、1つまたは複数のURLをリストアップできます。
複数のURLをダウンロードする場合は、それぞれのURLの前に-0をつけ、その後にスペースを入れてください。一行で行うこともできますし、URLごとに分けて書くこともできます。また、ページをリストアップしてURLの一部をダウンロードすることもできます。例：
ダウンロードを保存する
curlを使用すると、2種類の方法でURLのコンテンツをファイルに保存できます。
1.-o メソッド：URLが保存されるファイル名を追加できます。このオプションは次のような構成になっています。
2.-O メソッド：ここでは、このオプションによってURL名でファイルを保存できるので、ファイル名を追加する必要はありません。このオプションを使用するには、URLの前に-Oを付けるだけです。
ダウンロードの再開
ダウンロードが途中で止まってしまう場合があります。この場合、コマンドの先頭に -C オプションを追加して次のように書き換えてください。
cURLが良く使われる理由
Curlは、複雑な操作のために作られた、まさに「アーミーナイフ」のようなコマンドです。しかし、「wget」や「Kurly」など、もっと単純な作業に適した代替手段もあります。
Curlは、ほぼすべてのプラットフォームで利用可能なため、開発者の間で人気があります。デフォルトでインストールされていることもあります。つまり、実行しているプログラムやジョブが何であれ、curlコマンドは動作するはずです。
また、お使いのOSが10年未満であれば、Curlがインストールされている可能性があります。また、ブラウザでドキュメントを読み、curlのドキュメントを参照することもできます。最近のバージョンのWindowsをお使いの方は、すでにCurlがインストールされていることでしょう。そうでない場合は、Stack Overflowのこの投稿をチェックして、その方法を習得しましょう。
プロキシでcURLを使う
cURLとプロキシを併用することを好む人もいるかもしれません。その場合の利点は以下の通りです。
- さまざまな地理的位置からのデータ要求をうまく管理する能力が向上します。
- 同時に実行できる並列データジョブの数が指数関数的に増加します。
これを実現するため、cURLにすでに組み込まれている「-x」と「(- – proxy)」機能を利用できます。以下は、使用しているプロキシをcURLと統合するために使用可能なコマンドラインの例です。
$ curl -x 026.930.77.2:6666 http://linux.com/
上記のコードスニペットでは、「6666」はポート番号のプレースホルダで、「026.930.77.2」はIPアドレスです。
知っておくとよいこと：cUrlは、HTTP、HTTPS、SOCKSなど、現在使われている一般的なプロキシタイプのほとんどと互換性があります。
User-Agentの変更方法
User-Agentは、情報を要求しているデバイスをターゲットサイトが識別可能にする特性のことです。ターゲットサイトは、求められたターゲットデータを返す前に、要求者が特定の基準を満たすことを要求する場合があります。これは、デバイスの種類、オペレーティングシステム、または使用されているブラウザに関連したものである可能性があります。このシナリオでは、データを収集する主体は、ターゲットサイトの理想的な「候補者」を模倣したいと考えています。
例えば、ターゲットとしているサイトが、リクエストを行う当事者の使用するブラウザがChromeであることを「好む」としましょう。cURLを使って目的のデータセットを取得するには、次のようにこの「ブラウザの特徴」をエミュレートする必要があります。
curl -A “Goggle/9.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Chrome/103.0.5060.71” https://getfedora.org/
cURLを使ったウェブスクレイピング
プロからのアドバイス：ウェブサイトの規則を尊重しましょう。一般に、パスワードで保護されたコンテンツにアクセスすることは、違法行為とみなされる場合がありますので、絶対におやめください。
ウェブスクレイピングを行う際に、curlを使用して繰り返し処理を自動化することで、面倒な作業を回避することができます。そのためには、PHPを使用する必要があります。以下は GitHubで見つけた例です。
curlを使ってウェブページをスクレイピングする場合、次の3つのオプションを使用する必要があります。
- curl_init($url) -> セッションの初期化
- curl_exec() -> 実行
- curl_close() -> 終了
その他、使用すべきオプションは以下の通りです。
- Curlopt_url -> スクレイピングしたいURLを設定
- Curlopt_returntransfer -> スクレイピングされたページを変数として保存するようにcurlに指示します。（これにより、ページから抽出したかった情報を正確に取得できます。）
キーポイント
cURLは強力なウェブスクレイピングツールですが、データ収集だけでなくデータクリーニングにも企業の貴重な開発者の時間を必要とします。ここでBright Dataの出番です。Bright Dataは、主要なウェブデータプラットフォームであり、ウェブスクレイピングのニーズを支援するための幅広い製品を持っています。Bright Dataの製品には、開発者のニーズを考慮に入れて作られたWeb Scraper IDE、ウェブサイトのブロック解除の自動化が組み込まれた自動ブラウザ、スクレイピングよりも正確なデータを受け取りたい人向けのデータセットマーケットプレイス、そして7200万以上の信頼性の高いプロキシが含まれています。
どの製品を選ぶべきかわからないですか？販売部門に連絡して、あなたに適した解決策を見つけてください。
クレジットカードは必要ありません
