Bright DataとのBeautifulsoupプロキシのIntegration
- まずBright Dataダッシュボードにアクセスし、「create a Zone」をクリックします。
- 「Network type」を選択し、saveをクリックします。
- Beautifulsoup内で「proxy-server」の値に「Proxy IP:Port」を入力します。例:brd.superproxy.io:33335。
- 「page.authenticate」で「username」の値にBright DataのアカウントIDとプロキシのゾーン名を入力します。例:brd-customer-CUSTOMER-zone-YOURZONE。ゾーンのパスワードはゾーン設定内に記載されています。
- 例:
from bs4 import BeautifulSoup
import requests
import json
proxies = {
'http': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:33335',
'https': 'http://brd-customer-[ACCOUNT_ID]-zone-[ZONE_NAME]:[ZONE_PASSWORD]@brd.superproxy.io:33335',
}
url = "http://lumtest.com/myip.json"
res = requests.get(url, proxies=proxies, verify=False)
res.raise_for_status()
res_body = res.text
soup = BeautifulSoup(res_body, "html.parser")
html_content = str(soup)
data = {
"IP": html_content,
}
print(json.dumps(data, indent=4))
プロキシマネージャーとBeautifulsoupのIntegration
- まずBright Dataダッシュボードにアクセスし、「create a Zone」をクリックします。
- 「Network type」を選択し、saveをクリックします。
- Beautifulsoup内で「proxy-server」の値に「Proxy IP:Port」を入力します。例:brd.superproxy.io:33335。
- 「page.authenticate」で「username」の値にBright DataのアカウントIDとプロキシのゾーン名を入力します。例:brd-customer-CUSTOMER-zone-YOURZONE。ゾーンのパスワードはゾーン設定内に記載されています。
- 例:
from bs4 import BeautifulSoup
import requests
import json
proxies = {
'http': '127.0.0.1:24000',
'https': '127.0.0.1:24000',
}
url = "http://lumtest.com/myip.json"
res = requests.get(url, proxies=proxies, verify=False)
res.raise_for_status()
res_body = res.text
soup = BeautifulSoup(res_body, "html.parser")
html_content = str(soup)
data = {
"IP": html_content,
}
print(json.dumps(data, indent=4))
⚠️警告:重要な注意事項: Bright Dataのレジデンシャルプロキシ、Web Unlocker、またはSERP APIをご利用の場合、ターゲットウェブサイトへのエンドツーエンドの安全な接続を有効にするため、SSL証明書をインストールする必要があります。これは簡単な手順です。詳細はhttps://docs.brightdata.com/general/account/ssl-certificate#installation-of-the-ssl-certificateをご覧ください。
Beautifulsoup用プロキシを取得する
受賞歴のあるプロキシネットワークを搭載
72百万以上の住宅用IPアドレス、クラス最高のテクノロジー とターゲットにする能力 国、都市、運送業者、ASN プレミアムプロキシサービスを開発者にとって最高の選択肢にします
あらゆる開発パスに対応するプロキシ
ネットワーク、ピアIP、IPを自由に組み合わせて、ウェブデータの継続的なフローを最適化しましょう。
業界No.1のカスタマーエクスペリエンス
どんなニーズにも対応
毎日新機能をリリース
年中無休グローバルサポート
必要な時にサポートします
完全な透明性
リアルタイムのネットワークパフォーマンス ダッシュボード
専任のアカウント
マネージャー
マネージャー
パフォーマンス最適化のサポート
ニーズに合わせたご提案
お客様のデータ収集目標を満たします
プロキシとデータ収集の分野における業界トップ
毎日650TBの公共データが収集されている
毎日新機能をリリース
世界有数の大学10校のうち7校にサービスを提供
4.6/5トラストパイロット評価