セキュリティーのためとはいえ、インターネット上でのアクティビティを中断して行う作業であるため、デメリットもいくつかあります。一般ユーザがCAPTCHAに引っかかるのは特段問題とはならず「時間がかかる厄介者」であるだけですが、自動で価格、在庫、SNS投稿データをクローリング、大規模に収集するようなツールにとっては、CAPTCHAは非常に邪魔な存在で安定的なデータ取得作業を行う上での障壁の一つです。
この記事では、CAPTCHAとWebスクレイピングについて解説します。
CAPTCHA概要
先ほどご紹介した通り、CAPTCHAと呼ばれるものは「人間とそれ以外を判別するもの」で、「Completely Automated Public Turing test to tell Computers and Humans Apart」の略称です。CAPTCHAも時代と共に改善されてきており、仕様も大きく変わってきています。インターネット黎明期は、意図的に崩して表示された文字列を入力させることにより人間の判別する仕様が一般的でしたが、今では「煙突の画像を選択せよ」などといった仕様が一般的となっていて、ブラウザ上での行動パターンなどのデータを基にCAPTCHAが要求されているようです。
いずれの仕様のCAPTCHAであれ、目的は同じで、それは「人間にしか判断がつかないような質問を投げかけること」です。AIなどの技術が進化した今でも、人間に見せかけることは可能ではありますが、簡単なことではないのです。コンピュータに誤認識させるように歪ませた文字列を正確に読み取るのは、今のテクノロジーでも難しく、人間の方が高確率で認識することができます。
CAPTCHA要求の確率を高めてしまうアクティビティ
データ収集・スクレイピングを行うことは、CAPTCHAなどのWebサイト制限との闘いでもあります。通常のアクティビティではない動き、つまり１つのIPから大量のリクエストが合ったりすると、それが異常だと検出され、ロボットだと認識される可能性が高まるためです。
例えば、VPNの使用などはリスクを高めます。VPN（仮想プライベートネットワーク）は世界中のサーバーを使用しトラフィックを流すわけですし、多くの場合は多数のユーザとの共有がされています。特に無料のVPNを使用することは非常にリスキーで、頻繁にCAPTCHA要求されることに気づくでしょう。
また、前述の通りブラウザ上での行動パターンも重要です。ロボットと違い、人間は機械的な動きは行いません。人間がネットサーフィンを行っている時に、１秒間で複数のリンクをクリックすることも通常はないですし、そのような動きをするとロボットの自動的な行動だと認識され、CAPTCHA要求されることでしょう。また、最悪の場合、悪質なアクセスだと認識されてアクセス自体をブロックされてしまう可能性もあります。
CAPTCHAをバイパスする方法
前述でCAPTCHA要求の確率を高めてしまうアクティビティについてご説明しましたが、それをバイパス（回避）するためには、その逆の動きをすることが求められます。
まず、１つのIPアドレスから不審に思われるようなデータ量を要求したり、短時間で人間のアクションとは思えないほどの数のリクエストをしないこと。これは人間が手動でブラウジングしている時もそうですし、CAPTCHAをバイパスしてデータの自動収集を試行する時も心がけることの１つです。
よって、IP使用率を管理し、１つのIPアドレスから大量のトラフィックを流さないことや、短期間で何度もデータを取得しないことは、CAPTCHAのバイパスに効果的と言えるでしょう。例えば、スクレイピングのスピードをわざと落としてターゲットサイトのサーバーに負荷をかけ過ぎないことや、時間を開けてスクレイピングしてコンピュータの動きだとは思わせないことなど、まるで人間かのような動きをすることは、CAPTCHAのバイパスに役立つでしょう。
次に、行動パターンです。実際のユーザが行う動きをロボットがすると、Webサイト運営側はそれをロボットの行動だと検出するのは難しいでしょう。マウスの動き、クリック数やそのパターンなど、実際のユーザが行う動きをすることは、Web制限にかからずにスクレイピングを実施するためには非常に重要なことと言えます。
その他にも、どのデバイスからアクセスしているのか、どのブラウザを使用しているのか、どの国どの都市からアクセスしてきているのか、アクセス元つまりどのWebサイトのリンクを押してランディングしてきたのかなども、CAPTCHAをバイパスする上で考えるべきことの１つです。スクレイピングをする上で、プロキシサーバーを使用して、ターゲットサイトを複数のIPアドレスからデータ取得するような動きは、同一人物のアクティビティだとは認識されない可能性が高まります。
まとめ
この記事では、CAPTCHAの説明や、安全にWebスクレイピングを行うコツなどのご紹介しました。CAPTCHA側の検出能力も日々向上しているので１００％安全な方法というのは難しいですが、安全なスクレイピングを行うためには必要な知識だと思います。
