Initial commit: 招标信息爬虫与分析系统

upload_last_8_items.py

@@ -0,0 +1,85 @@
+# -*- coding: utf-8 -*-
+"""
+上传最后8条数据到简道云
+"""
+import logging
+import sys
+import os
+import csv
+
+# 添加当前目录到模块搜索路径
+sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
+
+# 导入配置和处理器
+from config import REGION_CONFIGS, PROCESSING_CONFIG
+from processors import ProcessingPipeline
+
+# 配置日志
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(levelname)s - %(message)s'
+)
+logger = logging.getLogger(__name__)
+
+# 最新的CSV文件路径
+CSV_FILE = "data/浙江省公共资源交易中心_20260213_161312.csv"
+
+def read_csv_data(file_path):
+    """读取CSV文件数据"""
+    data = []
+    with open(file_path, 'r', encoding='utf-8') as f:
+        reader = csv.DictReader(f)
+        for row in reader:
+            data.append(row)
+    return data
+
+def main():
+    """主函数"""
+    logger.info("开始处理并上传最后8条数据")
+    
+    # 1. 读取CSV数据
+    if not os.path.exists(CSV_FILE):
+        logger.error(f"CSV文件不存在: {CSV_FILE}")
+        return
+    
+    data = read_csv_data(CSV_FILE)
+    logger.info(f"读取完成，共 {len(data)} 条数据")
+    
+    if len(data) == 0:
+        logger.error("无数据可处理")
+        return
+    
+    # 2. 取最后8条数据
+    logger.info("\n2. 选择数据:")
+    if len(data) >= 8:
+        selected_data = data[-8:]
+    else:
+        selected_data = data
+    
+    logger.info(f"选择了最后 {len(selected_data)} 条数据")
+    
+    # 3. 处理数据
+    logger.info("\n3. 处理数据:")
+    pipeline = ProcessingPipeline()
+    
+    processed = pipeline.process_results(
+        selected_data,
+        site="zhejiang",
+        notice_type="招标文件公示",
+        upload=True  # 上传到简道云
+    )
+    
+    # 4. 展示结果
+    logger.info("\n4. 处理结果:")
+    logger.info(f"成功处理 {len(processed)} 条数据")
+    
+    # 展示前3条的关键信息
+    logger.info("\n前3条数据关键信息:")
+    for i, record in enumerate(processed[:3], 1):
+        logger.info(f"\n测试 {i}")
+        logger.info(f"项目名称: {record.get('项目名称', '文档未提及')}")
+        logger.info(f"项目批准文号: {record.get('项目批准文号', '文档未提及')}")
+        logger.info(f"批准文号: {record.get('批准文号', '文档未提及')}")
+
+if __name__ == "__main__":
+    main()