141 lines
4.1 KiB
Markdown
141 lines
4.1 KiB
Markdown
|
# 学习强国重要新闻爬虫使用说明
|
|||
|
|
|
|||
|
|
## 功能概述
|
|||
|
|
|
|||
|
|
在 `XxqgCrawler` 类中新增了 `crawl_important` 方法，用于爬取学习强国"重要新闻"栏目的文章内容。
|
|||
|
|
|
|||
|
|
## 实现原理
|
|||
|
|
|
|||
|
|
该方法结合了旧版 `myQiangguo` 爬虫和新版 Selenium 爬虫的优势：
|
|||
|
|
|
|||
|
|
1. **获取文章列表**：参考旧版爬虫方式，使用 `requests` 库直接请求 JSON 接口获取文章列表
|
|||
|
|
- JSON接口地址: `https://www.xuexi.cn/lgdata/1jscb6pu1n2.json?_st=26095725`
|
|||
|
|
- 返回包含文章URL、标题、来源等基础信息的列表
|
|||
|
|
|
|||
|
|
2. **解析文章详情**：使用现有的 `parse_news_detail` 方法（基于 Selenium）解析每篇文章的详细内容
|
|||
|
|
- 提取标题、发布时间、来源
|
|||
|
|
- 提取正文内容（文字、图片、视频）
|
|||
|
|
- 保存完整的文章结构
|
|||
|
|
|
|||
|
|
## 使用方法
|
|||
|
|
|
|||
|
|
### 基本用法
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
from crawler.xxqg.XxqgCrawler import XxqgCrawler
|
|||
|
|
|
|||
|
|
# 初始化爬虫
|
|||
|
|
crawler = XxqgCrawler()
|
|||
|
|
|
|||
|
|
# 爬取重要新闻（默认最多60篇）
|
|||
|
|
result = crawler.crawl_important()
|
|||
|
|
|
|||
|
|
# 检查结果
|
|||
|
|
if result.success:
|
|||
|
|
print(f"成功爬取 {len(result.dataList)} 篇新闻")
|
|||
|
|
for news in result.dataList:
|
|||
|
|
print(f"标题: {news.title}")
|
|||
|
|
print(f"来源: {news.source}")
|
|||
|
|
print(f"发布时间: {news.publishTime}")
|
|||
|
|
else:
|
|||
|
|
print(f"爬取失败: {result.message}")
|
|||
|
|
|
|||
|
|
# 关闭浏览器
|
|||
|
|
crawler.driver.quit()
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 自定义爬取数量
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
# 只爬取前10篇文章
|
|||
|
|
result = crawler.crawl_important(max_count=10)
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 运行测试脚本
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
cd f:\Project\schoolNews\schoolNewsCrawler\crawler\xxqg
|
|||
|
|
python test_important_crawler.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 输出结果
|
|||
|
|
|
|||
|
|
爬取完成后，结果会自动保存到 `Xxqg_important_news.json` 文件中，包含以下信息：
|
|||
|
|
|
|||
|
|
```json
|
|||
|
|
[
|
|||
|
|
{
|
|||
|
|
"title": "文章标题",
|
|||
|
|
"url": "文章URL",
|
|||
|
|
"source": "来源",
|
|||
|
|
"publishTime": "发布时间",
|
|||
|
|
"contentRows": [
|
|||
|
|
{
|
|||
|
|
"type": "text",
|
|||
|
|
"content": "段落文本"
|
|||
|
|
},
|
|||
|
|
{
|
|||
|
|
"type": "img",
|
|||
|
|
"content": "<img src='图片URL' />"
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
}
|
|||
|
|
]
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 参数说明
|
|||
|
|
|
|||
|
|
### `crawl_important(max_count=60)`
|
|||
|
|
|
|||
|
|
- **max_count**: 最多爬取的文章数量，默认60篇
|
|||
|
|
- **返回值**: `ResultDomain` 对象
|
|||
|
|
- `success`: 是否成功
|
|||
|
|
- `code`: 状态码（0表示成功，1表示失败）
|
|||
|
|
- `message`: 提示信息
|
|||
|
|
- `dataList`: 新闻列表（`List[NewsItem]`）
|
|||
|
|
|
|||
|
|
## 注意事项
|
|||
|
|
|
|||
|
|
1. **浏览器初始化**：首次运行时会自动打开 Chrome 浏览器并访问学习强国主页获取 Cookie
|
|||
|
|
2. **验证码处理**：如果遇到验证码，程序会暂停30秒让用户手动完成验证
|
|||
|
|
3. **爬取速度**：每篇文章之间会有1-2秒的随机延迟，避免请求过快被封禁
|
|||
|
|
4. **资源清理**：使用完毕后记得调用 `crawler.driver.quit()` 关闭浏览器
|
|||
|
|
|
|||
|
|
## 与旧版爬虫的对比
|
|||
|
|
|
|||
|
|
### 旧版爬虫 (myQiangguo)
|
|||
|
|
- 使用 `requests` + `BeautifulSoup` 解析静态HTML
|
|||
|
|
- 依赖于特定的 `data+MD5.js` 接口格式
|
|||
|
|
- 需要处理不同格式的URL（.html和.json）
|
|||
|
|
|
|||
|
|
### 新版爬虫 (XxqgCrawler)
|
|||
|
|
- 结合 `requests` 获取列表 + `Selenium` 解析详情
|
|||
|
|
- 能够处理动态加载的内容
|
|||
|
|
- 统一的接口和返回格式
|
|||
|
|
- 更好的错误处理和日志记录
|
|||
|
|
|
|||
|
|
## 扩展功能
|
|||
|
|
|
|||
|
|
如果需要爬取其他栏目，可以参考 `crawl_important` 方法的实现，修改对应的 JSON 接口URL即可。
|
|||
|
|
|
|||
|
|
常见栏目的JSON接口：
|
|||
|
|
- 重要新闻: `https://www.xuexi.cn/lgdata/1jscb6pu1n2.json?_st=26095725`
|
|||
|
|
- 重要活动: `https://www.xuexi.cn/lgdata/1jpuhp6fn73.json?_st=26095746`
|
|||
|
|
- 重要会议: `https://www.xuexi.cn/lgdata/19vhj0omh73.json?_st=26095747`
|
|||
|
|
- 重要讲话: `https://www.xuexi.cn/lgdata/132gdqo7l73.json?_st=26095749`
|
|||
|
|
|
|||
|
|
## 技术架构
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
crawl_important()
|
|||
|
|
├── requests 获取JSON列表
|
|||
|
|
│ └── 解析文章URL和基础信息
|
|||
|
|
├── 遍历URL列表
|
|||
|
|
│ ├── parse_news_detail() (Selenium)
|
|||
|
|
│ │ ├── 访问文章页面
|
|||
|
|
│ │ ├── 提取标题、时间、来源
|
|||
|
|
│ │ └── 解析内容（文字、图片、视频）
|
|||
|
|
│ └── 补充缺失的字段
|
|||
|
|
└── 保存结果到JSON文件
|
|||
|
|
```
|