78 lines
2.3 KiB
Plaintext
78 lines
2.3 KiB
Plaintext
# 核心爬虫库
|
||
requests # HTTP请求库
|
||
beautifulsoup4 # HTML/XML解析库
|
||
lxml # 高性能HTML/XML解析器
|
||
selenium # 浏览器自动化（用于动态页面）
|
||
scrapy # 专业爬虫框架（可选）
|
||
crawl4ai # 基于 Playwright 的智能爬虫框架
|
||
playwright # 浏览器自动化框架（Crawl4AI 依赖）
|
||
|
||
# 异步支持
|
||
aiohttp # 异步HTTP客户端
|
||
asyncio # 异步IO支持
|
||
httpx # 现代HTTP客户端，支持异步
|
||
|
||
# 数据校验与类型检查
|
||
pydantic # 数据验证和设置管理
|
||
pydantic-settings # Pydantic配置管理
|
||
typing-extensions # 类型注解扩展
|
||
mypy # 静态类型检查器
|
||
|
||
# 数据处理
|
||
pandas # 数据分析和处理
|
||
openpyxl # Excel文件读写
|
||
python-dateutil # 日期时间处理
|
||
pytz # 时区处理
|
||
|
||
# 日志与调试
|
||
loguru # 现代化日志库
|
||
colorlog # 彩色日志输出
|
||
|
||
# 配置管理
|
||
python-dotenv # 环境变量管理
|
||
pyyaml # YAML配置文件支持
|
||
|
||
# 数据库连接（用于存储爬取的数据）
|
||
pymysql # MySQL数据库连接
|
||
sqlalchemy # ORM框架
|
||
|
||
# HTTP客户端增强
|
||
urllib3 # HTTP库
|
||
certifi # SSL证书
|
||
charset-normalizer # 字符编码检测
|
||
|
||
# HTML处理增强
|
||
html5lib # HTML5解析器
|
||
cssselect # CSS选择器
|
||
|
||
# 反爬虫对策
|
||
fake-useragent # 随机User-Agent
|
||
pyquery # jQuery风格的HTML解析
|
||
|
||
# 图片处理（如果需要下载图片）
|
||
Pillow # 图像处理库
|
||
|
||
# 网络工具
|
||
chardet # 字符编码检测
|
||
|
||
# 定时任务（如果Python端需要独立运行）
|
||
schedule # 简单的定时任务库
|
||
apscheduler # 高级定时任务调度器
|
||
|
||
# WebDriver管理（自动下载浏览器驱动）
|
||
webdriver-manager # 自动管理Selenium WebDriver
|
||
|
||
# JSON处理增强
|
||
jsonschema # JSON数据验证
|
||
|
||
# 代理支持
|
||
pysocks # SOCKS代理支持
|
||
|
||
# 开发工具
|
||
pytest # 测试框架
|
||
pytest-asyncio # 异步测试支持
|
||
black # 代码格式化
|
||
flake8 # 代码风格检查
|
||
isort # import排序
|
||
|