78 lines
2.1 KiB
Markdown
78 lines
2.1 KiB
Markdown
# Crawl4AI 人民网新闻爬虫
|
||
|
||
使用 Crawl4AI 框架爬取人民网新闻，支持使用本地 Chrome 浏览器。
|
||
|
||
## 安装依赖
|
||
|
||
```bash
|
||
pip install crawl4ai playwright
|
||
playwright install chromium # 或者使用本地 Chrome
|
||
```
|
||
|
||
## 使用方法
|
||
|
||
### 基本使用
|
||
|
||
```bash
|
||
# 使用默认配置（自动使用本地 Chrome）
|
||
python crawl4ai/main.py [category] [limit] [output_file]
|
||
|
||
# 示例
|
||
python crawl4ai/main.py politics 20 output/news.json
|
||
```
|
||
|
||
### 指定 Chrome 路径
|
||
|
||
```bash
|
||
# 指定 Chrome 可执行文件路径
|
||
python crawl4ai/main.py politics 20 output/news.json "C:\Program Files\Google\Chrome\Application\chrome.exe"
|
||
```
|
||
|
||
### 在代码中使用
|
||
|
||
```python
|
||
import asyncio
|
||
from crawl4ai.PeopleNetCrewer import PeopleNetCrewer
|
||
|
||
async def main():
|
||
# 使用默认 Chrome（自动检测）
|
||
crewer = PeopleNetCrewer()
|
||
|
||
# 或者指定 Chrome 路径
|
||
# crewer = PeopleNetCrewer(chrome_path="C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe")
|
||
|
||
news_list = await crewer.crawl(category="politics", limit=20)
|
||
|
||
for news in news_list:
|
||
print(f"标题: {news.title}")
|
||
print(f"链接: {news.url}")
|
||
print("-" * 50)
|
||
|
||
await crewer.close()
|
||
|
||
if __name__ == "__main__":
|
||
asyncio.run(main())
|
||
```
|
||
|
||
## 配置说明
|
||
|
||
### 使用本地 Chrome
|
||
|
||
代码会自动尝试使用本地安装的 Chrome 浏览器。如果未指定 `chrome_path`，会通过 `channel="chrome"` 参数使用系统默认的 Chrome。
|
||
|
||
### 浏览器配置
|
||
|
||
在 `PeopleNetCrewer` 类中，可以通过修改 `_get_crawler` 方法中的 `browser_config` 来调整浏览器行为：
|
||
|
||
- `headless`: 是否无头模式（默认 True）
|
||
- `verbose`: 是否显示详细日志（默认 False）
|
||
- `channel`: 浏览器通道（"chrome" 表示使用本地 Chrome）
|
||
- `executable_path`: 指定浏览器可执行文件路径
|
||
|
||
## 注意事项
|
||
|
||
1. 确保已安装 Chrome 浏览器
|
||
2. 如果遇到 Playwright 浏览器未找到的错误，可以运行 `playwright install chromium` 安装 Playwright 自带的浏览器
|
||
3. 使用本地 Chrome 时，确保 Chrome 版本与 Playwright 兼容
|
||
|