# 公共资源交易中心爬虫 + AI 处理系统

自动采集浙江省/台州市公共资源交易中心的招标信息，经 DeepSeek AI 提取结构化字段后，上传至简道云表单。

```
爬虫采集 → 字段映射 → 内容获取(页面+附件) → DeepSeek AI 提取 → 简道云上传
```

---

## 支持的管道

| 站点 | 公告类型 | AI 提取字段 | 简道云表单 |
|------|----------|------------|------------|
| 浙江省 | 招标文件公示 | 类型、地区、投标截止日、最高投标限价、最高限价、资质要求、业绩要求、评标办法、评分说明与资信评分标准、有无答辩、招标人、项目概况、造价付款方式 | 浙江招标文件公示 |
| 浙江省 | 招标公告 | 批准文号、投标截止日 | 浙江招标公告 |
| 浙江省 | 澄清修改 | 批准文号 | 浙江澄清修改 |
| 台州市 | 招标计划公示 | 预估金额、类型、批准文号 | 台州招标计划 |
| 台州市 | 招标公告 | 批准文号、投标截止日 | —（暂无表单） |

---

## 快速开始

### 安装依赖

```bash
pip install requests beautifulsoup4 pdfplumber python-docx
```

### 单次运行

```bash
# 仅爬取
python main.py -s zhejiang -c 工程建设 -t 招标文件公示 -p 5 -d yesterday

# 爬取 + AI 处理
python main.py -s zhejiang -c 工程建设 -t 招标文件公示 -p 5 -d yesterday -P

# 爬取 + AI 处理 + 上传简道云
python main.py -s zhejiang -c 工程建设 -t 招标文件公示 -p 5 -d yesterday -P -U

# 台州招标计划
python main.py -s taizhou -c 工程建设 -t 招标计划公示 -p 3 -d yesterday -P -U

# 全部站点
python main.py -s all -c 工程建设 -t 招标公告 -p 1 -d yesterday -P
```

### 参数说明

| 参数 | 说明 | 示例 |
|------|------|------|
| `-s` | 站点 | `zhejiang` / `taizhou` / `all` |
| `-p` | 爬取页数 | `5`（默认 5） |
| `-c` | 交易领域 | `工程建设` / `政府采购` |
| `-t` | 公告类型 | `招标文件公示` / `招标公告` / `澄清修改` / `招标计划公示` |
| `-d` | 日期过滤 | `yesterday` / `2026-02-10` |
| `-a` | 下载附件 | 开关 |
| `-P` | 启用 AI 处理 | 开关，需配合 `-t` |
| `-U` | 上传简道云 | 开关，需配合 `-P` |

### 定时任务

```bash
# 直接运行（采集昨天全部任务）
python scheduler.py

# Windows 计划任务（每天 08:00）
schtasks /create /tn "ZTB_Spider" /tr "python C:\path\to\ztb\scheduler.py" /sc daily /st 08:00
```

`scheduler.py` 中的 `DAILY_TASKS` 定义每天自动执行的任务，当前配置：
- 浙江 招标文件公示（20 页 + AI + 上传）
- 台州 招标计划公示（7 页 + AI + 上传）

---

## 项目结构

```
ztb/
├── main.py                  # 命令行入口
├── scheduler.py             # 定时任务入口
├── config.py                # 全局配置（站点、AI、简道云）
├── spiders/
│   ├── base.py              # 爬虫基类（限速、重试、熔断）
│   ├── zhejiang.py          # 浙江省爬虫
│   └── taizhou.py           # 台州市爬虫
├── processors/
│   ├── pipeline.py          # 处理管道（串联全流程）
│   ├── content_fetcher.py   # 页面 + 附件内容获取
│   ├── deepseek.py          # DeepSeek AI 字段提取
│   └── jiandaoyun.py        # 简道云上传
├── utils/
│   └── attachment.py        # 附件下载工具
├── data/                    # 输出（CSV + JSON）
├── logs/                    # 日志
└── temp_files/              # 临时附件（自动清理）
```

---

## 数据流

### 1. 爬虫输出

**浙江省**：标题、发布日期、地区、公告类型、链接、来源 + 项目名称、项目代码、招标人、招标代理、联系电话、招标估算金额

**台州市**：标题、发布日期、地区、链接、来源 + 项目名称、招标人、项目批准文号、项目类型、计划招标时间、预估合同金额(万元)

### 2. 字段映射（pipeline._map_fields）

```
标题             → 名称
发布日期         → 发布时间 + 项目发布时间
链接             → 招标文件链接 / 公告链接 / 数据源链接 / 澄清文件链接
公告类型         → 招标阶段
项目批准文号     → 批准文号
项目类型         → 类型
预估合同金额     → 预估金额（自动补"万元"）
计划招标时间     → 招标时间
```

### 3. AI 提取 → 合并

- AI 值有效（非"文档未提及"）→ **覆盖**原值
- AI 返回"文档未提及" → **保留**爬虫原值

### 4. 输出文件

- CSV：`data/浙江省公共资源交易中心_20260211_092500.csv`
- JSON：`data/浙江招标文件公示_AI处理_20260211_093446.json`

---

## 安全机制

### 爬虫层（BaseSpider）

| 机制 | 配置值 | 说明 |
|------|--------|------|
| 请求速率 | 10 次/分钟 | 超出自动等待 |
| 列表页延迟 | 3–6 秒 | 随机间隔 |
| 详情页延迟 | 2–5 秒 | 随机间隔 |
| 最大请求数 | 300 次/运行 | 超出停止 |
| 连续失败熔断 | 5 次 | 触发后停止 |
| 空响应检测 | ≤10 bytes | 反爬拦截后指数退避重试 |
| 优雅退出 | Ctrl+C | 保存已采集数据后退出 |

### AI 处理层（ContentFetcher）

| 机制 | 配置值 | 说明 |
|------|--------|------|
| 请求速率 | 12 次/分钟 | 独立限速 |
| 请求延迟 | 1.5–3 秒 | 每次请求前随机等待 |
| 附件大小限制 | 50 MB | 超出跳过 |
| 内容长度限制 | 120,000 字符 | 超长内容智能截取关键段落 |
| API 失败回退 | 本地正则 | DeepSeek 不可用时降级提取 |
| 临时文件清理 | 自动 | 解析后立即删除 |

---

## 配置说明

所有配置集中在 `config.py`：

- `SPIDER_CONFIG` — 爬虫延迟、重试、限速
- `DEEPSEEK_API_KEY` — DeepSeek API 密钥
- `PROCESSING_CONFIG` — AI 处理超时、内容长度限制
- `REGION_CONFIGS` — 每个管道的 AI 字段定义
- `DEEPSEEK_PROMPTS` — 15 个字段的提示词模板
- `JDY_CONFIG` — 简道云表单 ID 和字段映射

### 添加新管道

1. 在 `REGION_CONFIGS` 中添加 `"site:notice_type"` 条目
2. 如需新的 AI 字段，在 `DEEPSEEK_PROMPTS` 中添加提示词
3. 如需上传，在 `JDY_CONFIG["forms"]` 中添加表单配置
4. 可选：在 `scheduler.py` 的 `DAILY_TASKS` 中添加定时任务

---

## 测试记录（2026-02-11）

5 个管道全部通过，71 条记录 AI 处理成功率 100%：

| 管道 | 爬取 | AI 成功 | 耗时 |
|------|------|---------|------|
| 台州 招标计划公示 | 1 条 | 1/1 | ~12 秒 |
| 浙江 招标文件公示 | 20 条 | 20/20 | ~10 分钟 |
| 浙江 招标公告 | 20 条 | 20/20 | ~3 分钟 |
| 浙江 澄清修改 | 20 条 | 20/20 | ~2 分钟 |
| 台州 招标公告 | 10 条 | 10/10 | ~2 分钟 |