Beautifulsopプロキシの統合

BeautifulsoupプロキシとBright Dataの統合

まずBright Dataダッシュボードに移動し、[ゾーンの作成] をクリックします。
[ネットワークタイプ] を選択し、[保存] をクリックします。
Beautifulsoupで、[プロキシサーバー]の値に[プロキシIP: ポート]、たとえば brd.superproxy.io:33335のように入力します。
[page.authenticate]の[username]値にBright DataのアカウントIDとプロキシゾーン名(例: brd-customer-CUSTOMER-zone-YOURZONE)とゾーン設定にあるゾーンパスワードを入力します。
例:

      from bs4 import BeautifulSoup
import requests
import json

proxies = {
   'http': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:33335',
   'https': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:33335',
}

url = "http://lumtest.com/myip.json"

res = requests.get(url, proxies=proxies, verify=False)
res.raise_for_status()

res_body = res.text

soup = BeautifulSoup(res_body, "html.parser")

html_content = str(soup)

data = {
   "IP": html_content,
  
}

print(json.dumps(data, indent=4))

プロキシマネージャーとBeautifulsopの統合

まずBright Dataダッシュボードに移動し、[ゾーンの作成] をクリックします。
[ネットワークタイプ] を選択し、[保存] をクリックします。
Beautifulsoupで、[プロキシサーバー]の値に[プロキシIP: ポート]、たとえば brd.superproxy.io:33335のように入力します。
[page.authenticate]の[username]値にBright DataのアカウントIDとプロキシゾーン名(例: brd-customer-CUSTOMER-zone-YOURZONE)とゾーン設定にあるゾーンパスワードを入力します。
例:

      from bs4 import BeautifulSoup
import requests
import json

proxies = {
   'http': '127.0.0.1:24000',
   'https': '127.0.0.1:24000',
}

url = "http://lumtest.com/myip.json"

res = requests.get(url, proxies=proxies, verify=False)
res.raise_for_status()

res_body = res.text

soup = BeautifulSoup(res_body, "html.parser")

html_content = str(soup)

data = {
   "IP": html_content,
  
}

print(json.dumps(data, indent=4))