人民日报爬虫

schoolNewsCrawler/requirements.txt

@@ -0,0 +1,77 @@
+# 核心爬虫库
+requests        # HTTP请求库
+beautifulsoup4    # HTML/XML解析库
+lxml               # 高性能HTML/XML解析器
+selenium         # 浏览器自动化（用于动态页面）
+scrapy            # 专业爬虫框架（可选）
+crawl4ai         # 基于 Playwright 的智能爬虫框架
+playwright        # 浏览器自动化框架（Crawl4AI 依赖）
+
+# 异步支持
+aiohttp             # 异步HTTP客户端
+asyncio             # 异步IO支持
+httpx               # 现代HTTP客户端，支持异步
+
+# 数据校验与类型检查
+pydantic            # 数据验证和设置管理
+pydantic-settings   # Pydantic配置管理
+typing-extensions   # 类型注解扩展
+mypy                # 静态类型检查器
+
+# 数据处理
+pandas              # 数据分析和处理
+openpyxl            # Excel文件读写
+python-dateutil     # 日期时间处理
+pytz                # 时区处理
+
+# 日志与调试
+loguru              # 现代化日志库
+colorlog            # 彩色日志输出
+
+# 配置管理
+python-dotenv        # 环境变量管理
+pyyaml              # YAML配置文件支持
+
+# 数据库连接（用于存储爬取的数据）
+pymysql             # MySQL数据库连接
+sqlalchemy          # ORM框架
+
+# HTTP客户端增强
+urllib3             # HTTP库
+certifi             # SSL证书
+charset-normalizer  # 字符编码检测
+
+# HTML处理增强
+html5lib            # HTML5解析器
+cssselect           # CSS选择器
+
+# 反爬虫对策
+fake-useragent      # 随机User-Agent
+pyquery             # jQuery风格的HTML解析
+
+# 图片处理（如果需要下载图片）
+Pillow              # 图像处理库
+
+# 网络工具
+chardet             # 字符编码检测
+
+# 定时任务（如果Python端需要独立运行）
+schedule              # 简单的定时任务库
+apscheduler           # 高级定时任务调度器
+
+# WebDriver管理（自动下载浏览器驱动）
+webdriver-manager     # 自动管理Selenium WebDriver
+
+# JSON处理增强
+jsonschema            # JSON数据验证
+
+# 代理支持
+pysocks               # SOCKS代理支持
+
+# 开发工具
+pytest                # 测试框架
+pytest-asyncio        # 异步测试支持
+black                 # 代码格式化
+flake8                # 代码风格检查
+isort                 # import排序
+