```
この文字列はHTMLページ全体よりはずっと小さいが、それでも約13,402文字を含んでいる。
重要なデータを失うことなくサイズをさらに小さくするには、抽出したHTMLをMarkdownに変換する。まず、[`markdownify`](https://github.com/matthewwithanm/python-markdownify)ライブラリをインストールする：
```none
pip install markdownify
```
`scraper.pyに` `markdownifyを`インポートします：
```none
from markdownify import markdownify
```
そして、`#mainの`HTMLをMarkdownに変換する：
```none
main_markdown = markdownify(main_html)
```
データ変換処理により、以下のような出力が得られるはずである：
元の`#main`HTMLが13.61KBであるのに対し、Markdownバージョンは約2.53KBである。これは81％のサイズ削減だ！その上、重要なのは、Markdownバージョンはスクレイピングに必要な主要データをすべて保持しているということだ。
この簡単なトリックで、かさばるHTMLスニペットをコンパクトなMarkdown文字列に減らすことができます。これで、Qwen3経由のローカルLLMデータ解析が大幅にスピードアップする！
### ステップ #5: Qwen3を使ってデータを解析する
Qwen3に正しくデータをスクレイピングさせるには、効果的なプロンプトを書く必要があります。ターゲットページの構造を分析することから始めましょう：
ページ上部のセクションはすべての商品で一貫している。一方、「追加情報」の表は商品によって変わります。あなたのプロンプトがプラットフォーム上のすべての商品ページで機能することを望むかもしれないので、あなたのタスクを一般的な用語で次のように記述することができます：
```none
Extract main product data from the HTML content below. Respond with a raw string in JSON format containing the scraped data in product attributes as below:nn
SAMPLE JSON ATTRIBUTES: n
sku, name, images, price, description, category + fields extracted from the "Additional information" section
CONTENT:n
```
このプロンプトは、`main_markdown`コンテンツから構造化データを抽出するようQwen3に指示します。信頼できる結果を得るためには、プロンプトをできるだけ明確かつ具体的にすることをお勧めします。そうすることで、モデルがあなたが期待していることを正確に理解できるようになります。
さて、[公式ドキュメントで](https://qwen.readthedocs.io/en/latest/getting_started/quickstart.html#transformers)説明されているように、Hugging Faceを使ってプロンプトを実行する：
```none
# Define tge data extraction prompt
prompt = prompt = f"""Extract main product data from the HTML content below. Respond with a raw string in JSON format containing the scraped data in product attributes as below:nn
SAMPLE JSON ATTRIBUTES: n
sku, name, images, price, description, category + fields extracted from the "Additional information" section
CONTENT:n
{main_markdown}
"""
# Execute the prompt
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=False
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=32768
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
# Retrieve the output in text format
product_raw_string = tokenizer.decode(output_ids, skip_special_tokens=True).strip("n")
```
上記のコードでは、[`apply_chat_template()を使って`](https://huggingface.co/docs/transformers/v4.37.1/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.apply_chat_template)入力メッセージをフォーマットし、設定されたQwen3モデルからレスポンスを生成しています。
**注**：重要な詳細は、`apply_chat_template()` で`enable_thinking=False を`設定することである。デフォルトでは、このオプションは`Trueに`設定されており、モデル内部の “推論 “モードを有効にします。このタスクは複雑な問題解決には便利ですが、ウェブスクレイピングのような単純なタスクには不要で、逆効果になる可能性があります。これを無効にすると、モデルは説明や仮定を追加することなく、純粋に抽出に集中するようになります。
素晴らしい！Qwen3にターゲットページのWebスクレイピングを実行するよう指示しました。
あとは出力を微調整してJSONにエクスポートするだけです。
### ステップ6：Qwen3の出力を変換する
Qwen3-0.6Bモデルの出力は、実行ごとにわずかに異なることがある。これはLLMの典型的な挙動であり、特に今回使用したような小規模なモデルでは顕著である。
したがって、`product_raw_string`変数には、プレーンなJSON文字列として必要なデータが格納されることもある。また、次のようにJSONをMarkdownコードブロックの中にラップすることもある：
```none
```jsonn{n "sku": "24-UG06",n "name": "Affirm Water Bottle",n "images": ["https://www.scrapingcourse.com/ecommerce/wp-content/uploads/2024/03/ug06-lb-0.jpg"],n "price": "$7.00",n "description": "You’ll stay hydrated with ease with the Affirm Water Bottle by your side or in hand. Measurements on the outside help you keep track of how much you’re drinking, while the screw-top lid prevents spills. A metal carabiner clip allows you to attach it to the outside of a backpack or bag for easy access.",n "category": "Fitness Equipment",n "additional_information": {n "Activity": "Yoga, Recreation, Sports, Gym",n "Gender": "Men, Women, Boys, Girls, Unisex",n "Material": "Plastic"n }n}n```
```
両方のケースに対応するには、JSONコンテンツがMarkdownブロックの中に現れた場合、正規表現を使ってJSONコンテンツを抽出することができます。そうでない場合は、文字列を生のJSONとして扱います。そして、結果のJSONデータをPython辞書[`json.loads()`](https://docs.python.org/3/library/json.html#json.loads)にパースします：
```none
# Check if the string contains "```json" and extract the raw JSON if present
match = re.search(r'```jsonn(.*?)n```', product_raw_string, re.DOTALL)
if match:
# Extract the JSON string from the matched group
json_string = match.group(1)
else:
# Assume the returned data is already in JSON format
json_string = product_raw_string
# Parse the extracted JSON string into a Python dictionary
product_data = json.loads(json_string)
```
さあ、始めるぞ！この時点で、あなたはスクレイピングされたデータを使用可能なPythonオブジェクトにパースしました。最後のステップは、スクレイピングしたデータをより使いやすい形式にエクスポートすることです。
### ステップ#7：スクレイピングしたデータをエクスポートする
これでPython辞書に商品データが入ったので、次のようにJSONファイルに保存できます：
```none
with open("product.json", "w", encoding="utf-8") as json_file:
json.dump(product_data, json_file, indent=4)
```
これにより、構造化された商品データを含む`product.jsonという`名前のファイルが作成されます。
よくやった！これであなたのQwen3ウェブスクレーパーは完成です。
### ステップ8：すべてをまとめる
スクレイピングスクリプト`scraper.pyの`最終コードです：
```none
from transformers import AutoModelForCausalLM, AutoTokenizer
import requests
from bs4 import BeautifulSoup
from markdownify import markdownify
import json
import re
# The Qwen3 model to use for web scraping
model_name = "Qwen/Qwen3-0.6B"
# Load the tokenizer and the Qwen3 model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
# Fetch the HTML content of the target page
url = "https://www.scrapingcourse.com/ecommerce/product/affirm-water-bottle/"
response = requests.get(url)
# Parse the HTML of the target page with BeautifulSoup
soup = BeautifulSoup(response.content, "html.parser")
# Select the #main element
main_element = soup.select_one("#main")
# Get the outer HTML of the selected element and convert it to Markdown
main_html = str(main_element)
main_markdown = markdownify(main_html)
# Define tge data extraction prompt
prompt = prompt = f"""Extract main product data from the HTML content below. Respond with a raw string in JSON format containing the scraped data in product attributes as below:nn
SAMPLE JSON ATTRIBUTES: n
sku, name, images, price, description, category + fields extracted from the "Additional information" section
CONTENT:n
{main_markdown}
"""
# Execute the prompt
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=False
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=32768
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
# Retrieve the output in text format
product_raw_string = tokenizer.decode(output_ids, skip_special_tokens=True).strip("n")
# Check if the string contains "```json" and extract the raw JSON if present
match = re.search(r'```jsonn(.*?)n```', product_raw_string, re.DOTALL)
if match:
# Extract the JSON string from the matched group
json_string = match.group(1)
else:
# Assume the returned data is already in JSON format
json_string = product_raw_string
# Parse the extracted JSON string into a Python dictionary
product_data = json.loads(json_string)
# Export the scraped data to JSON
with open("product.json", "w", encoding="utf-8") as json_file:
json.dump(product_data, json_file, indent=4)
```
でスクリプトを実行する：
```none
python scraper.py
```
スクリプトを初めて実行すると、Hugging Faceは選択したQwen3モデルを自動的にダウンロードします。このモデルは約1.5GBあるので、インターネットの速度によってはダウンロードに時間がかかるかもしれません。ターミナルでは、次のような出力が表示されます：
```none
model.safetensors: 100%|██████████████████████████████████████████████████████████| 1.50G/1.50G [00:49<00:00, 30.2MB/s]
generation_config.json: 100%|█████████████████████████████████████████████████████████████████| 239/239 [00:00"
# Set up authentication headers
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {WEB_UNLOCKER_API_KEY}"
}
# Define the payload with the target URL
payload = {
"zone": "unblocker",
"url": "https://www.scrapingcourse.com/ecommerce/product/affirm-water-bottle/", # Replace this with your target URL on a different scraping scenario
"format": "raw"
}
# Send the request
response = requests.post("https://api.brightdata.com/request", json=payload, headers=headers)
# Get the unlocked HTML
html_content = response.text
```
詳細については、[Web Unlockerの公式ドキュメントを](https://docs.brightdata.com/scraping-automation/web-unlocker/introduction)参照してください。
Web Unlocker があれば、Qwen3 を使用して、ブロックやレンダリングの問題、コンテンツの欠落がない、あらゆる Web サイトから構造化データを自信を持って抽出できます。
## ウェブスクレイピングのためのQwen3の代替品
ウェブデータの自動解析に使えるLLMはQwen3だけではありません。以下のガイドで、いくつかの代替アプローチを試してみてください：
- [GeminiによるWebスクレイピング：完全チュートリアル](/blog/ウェブデータ/web-scraping-with-gemini)
- [Perplexityを使ったウェブスクレイピング：ステップバイステップガイド](/blog/ウェブデータ/web-scraping-with-perplexity)
- [ScrapeGraphAIによるLLMウェブスクレイピング](/blog/ウェブデータ/web-scraping-with-scrapegraphai)
- [Crawl4AIとDeepSeekを使ったAIスクレイパーの作り方](/blog/ウェブデータ/crawl4ai-and-deepseek-web-scraping)
- [LLaMAによるウェブスクレイピング3：あらゆるウェブサイトを構造化JSONに変換する](/blog/ウェブデータ/web-scraping-with-llama-3)
## 結論
このチュートリアルでは、AIを搭載したウェブスクレーパーを構築するために、Hugging Faceを使用してQwen3をローカルで実行する方法を学びました。ウェブスクレイピングの最大のハードルの1つはブロックされることですが、Bright Dataの[Web Unlocker APIを使って](/products/web-unlocker)対処しました。
前述したように、Qwen3 と Web Unlocker API を組み合わせることで、事実上あらゆる Web サイトからデータを抽出できます。カスタム解析ロジックは必要ありません。このセットアップは、Bright Dataのインフラストラクチャが可能にする数多くの強力な使用例のほんの一例であり、スケーラブルでAI主導のウェブデータパイプラインの構築を支援します。
では、なぜここで止めるのか？[ウェブスクレーパーAPI-](/products/web-scraper)120以上の人気のあるウェブサイトから、新鮮で、構造化され、完全に準拠したウェブデータを抽出するための[専用](/products/web-scraper)エンドポイントを探索することを検討してください。
今すぐBright Dataの無料アカウントにサインアップして、AI対応のスクレイピング・ソリューションでビルドを始めましょう！
お問い合わせ無料トライアル
目次
日本企業向けデータソリューション
日本のトップ企業が信頼するスケーラブルなウェブデータプラットフォーム。日本語24時間サポート、GDPR・個人情報保護法準拠、日本企業20社以上の導入実績。
[詳細を見る](https://brightdata.jp/solutions/data-solutions-for-japanese-companies "詳細を見る")
[ ](https://news.ycombinator.com/submitlink?t=2026%E5%B9%B4%E3%81%AEQwen3%E3%81%AB%E3%82%88%E3%82%8B%E3%82%A6%E3%82%A7%E3%83%96%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%EF%BC%9A%E5%AE%8C%E5%85%A8%E3%83%81%E3%83%A5%E3%83%BC%E3%83%88%E3%83%AA%E3%82%A2%E3%83%AB&u=https://brightdata.jp/blog/ai/web-scraping-with-qwen3) [ ](https://www.linkedin.com/shareArticle?mini=true&title=2026%E5%B9%B4%E3%81%AEQwen3%E3%81%AB%E3%82%88%E3%82%8B%E3%82%A6%E3%82%A7%E3%83%96%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%EF%BC%9A%E5%AE%8C%E5%85%A8%E3%83%81%E3%83%A5%E3%83%BC%E3%83%88%E3%83%AA%E3%82%A2%E3%83%AB&url=https://brightdata.jp/blog/ai/web-scraping-with-qwen3) [ ](http://www.reddit.com/submit?title=2026%E5%B9%B4%E3%81%AEQwen3%E3%81%AB%E3%82%88%E3%82%8B%E3%82%A6%E3%82%A7%E3%83%96%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%EF%BC%9A%E5%AE%8C%E5%85%A8%E3%83%81%E3%83%A5%E3%83%BC%E3%83%88%E3%83%AA%E3%82%A2%E3%83%AB&url=https://brightdata.jp/blog/ai/web-scraping-with-qwen3)
## あなたは下記にもご興味がおありかもしれません
[  ](https://brightdata.jp/blog/ai/openhuman-with-bright-data "Bright Data CLIを通じたOpenHumanにおける本番対応ウェブアクセス")
[AI
Antonello Zanini
Technical Writer
### Bright Data CLIを通じたOpenHumanにおける本番対応ウェブアクセス
Bright Data CLIをOpenHumanに統合して、AIエージェント向けの本番対応ウェブアクセスとデータ収集を実現します。
09-Sep-2026
3 分読
](https://brightdata.jp/blog/ai/openhuman-with-bright-data)
[  ](https://brightdata.jp/blog/%e3%82%a6%e3%82%a7%e3%83%96%e3%83%87%e3%83%bc%e3%82%bf/multimodal-web-scraping-with-minimax "MiniMaxによるマルチモーダルウェブスクレイピング")
[ウェブデータ
Antonello Zanini
Technical Writer
### MiniMaxによるマルチモーダルウェブスクレイピング
Bright Data Web UnlockerとMiniMax M3ビジョンを組み合わせて、画像やウェブページのスクリーンショットから構造化データを抽出します。
09-Sep-2026
1 分読
](https://brightdata.jp/blog/%e3%82%a6%e3%82%a7%e3%83%96%e3%83%87%e3%83%bc%e3%82%bf/multimodal-web-scraping-with-minimax)
[  ](https://brightdata.jp/blog/ai/best-cli-tools-for-codex "2026年版 Codex向けCLIツール10選 – テスト＆ランキング")
[AI
Daniel Shashko
Web Data & AI Expert
### 2026年版 Codex向けCLIツール10選 – テスト＆ランキング
Codexをより速く、より有能にする10のCLIツール。サンドボックス内から実際のウェブアクセスを提供するBright Data CLIから始まります。
06-Sep-2026
4 分読
](https://brightdata.jp/blog/ai/best-cli-tools-for-codex)