diff --git a/.vscode/settings.json b/.vscode/settings.json index e736c01..31ef6d3 100644 --- a/.vscode/settings.json +++ b/.vscode/settings.json @@ -23,5 +23,12 @@ "args": ["/k", "chcp 65001"] } }, - "java.debug.settings.onBuildFailureProceed": true + "java.debug.settings.onBuildFailureProceed": true, + "python-envs.pythonProjects": [ + { + "path": "schoolNewsCrawler", + "envManager": "ms-python.python:venv", + "packageManager": "ms-python.python:pip" + } + ] } \ No newline at end of file diff --git a/schoolNewsCrawler/crawler/response.html b/schoolNewsCrawler/crawler/response.html deleted file mode 100644 index 0632479..0000000 --- a/schoolNewsCrawler/crawler/response.html +++ /dev/null @@ -1,593 +0,0 @@ - - - - - - - 西班牙国王费利佩六世今起对我国进行国事访问 --国际--人民网 - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
- -
- 打开 -
-
-
- -
-
- 人民网 -
-
-
- -
-
-
- -
-
-
-
- -
-

人民日报报系

-
- 人民日报 - 人民日报海外版 - 中国汽车报 - 中国能源报 - 健康时报 - 证券时报 - 国际金融报网 - 讽刺与幽默 - 中国城市报 - 新闻战线 - 人民论坛 - 环球人物 - 中国经济周刊 - 民生周刊 - 国家人文历史 - 人民周刊 -人民数字 -

旗下网站

-
-全国重点实验室 -环球网 -海外网 -人民图片 - -人民网研究院 -人民慕课 -

创新服务平台

-
-写易智能创作引擎 -人民网智慧党建体验中心 -828企业服务平台 -人民云 -
-
- -
- -
- -
- 人民网>>国际 -
- -
-
-

-

西班牙国王费利佩六世今起对我国进行国事访问

-

-
-
-
- 2025年11月10日05:51 | 来源：人民网－人民日报222 -
-
- 小字号 -
-
- -
-
-
-

点击播报本文，约

-
-
-
-

- - -

-
-
-
-
-

-
-

　　费利佩六世国王

　　应国家主席习近平邀请，西班牙国王费利佩六世将于11月10日至13日对中国进行国事访问。

-

　　费利佩六世，1968年1月生于西班牙马德里，法学学士、国际关系学硕士。1986年1月被立为王储。2014年6月继承王位。同莱蒂西娅王后育有王储莱昂诺尔和索菲娅两位公主。

-

　　（新华社北京11月9日电）

-

　　《 人民日报 》（ 2025年11月10日 03 版）

-
-
(责编：袁勃、赵欣悦)
- -

分享让更多人看到

-
- - -
-
客户端下载
- -
-
-
-
- - - -
-

热门排行

- - -
- -
-
- -
- -
-

人民日报社概况| -关于人民网| -报社招聘| -招聘英才| -广告服务| -合作加盟| -版权服务| -数据服务| -网站声明| -网站律师| -信息保护| -联系我们 -

-

人民日报违法和不良信息举报电话：010-65363263    举报邮箱：jubao@people.cn

-

人民网服务邮箱：kf@people.cn    违法和不良信息举报电话：010-65363636    举报邮箱：rmwjubao@people.cn

-

互联网新闻信息服务许可证10120170001  |  增值电信业务经营许可证B1-20060139  |  广播电视节目制作经营许可证（广媒）字第172号  |  京ICP备12004265号-13

-

信息网络传播视听节目许可证0104065 | 网络文化经营许可证 京网文[2023]4961-141号 | 网络出版服务许可证（京）字121号 | 京ICP证000006号 | 京公网安备11000002000008号

-

-人 民 网 股 份 有 限 公 司 版 权 所 有 ，未 经 书 面 授 权 禁 止 使 用
-Copyright © 1997-2025 by www.people.com.cn. all rights reserved -

-

- - - - - - -

-
-
-
- -
- -
- -
- - - - -
-
- -
- -
-
-
推荐阅读
-
-
-
-
    -
-
- -
-
- -
-
-
-
- 打开客户端体验更多服务 - 打开 -
-
-
-
-
- - - -
返回顶部
- - - - - - - - - - - - - \ No newline at end of file diff --git a/schoolNewsCrawler/crawler/response2.html b/schoolNewsCrawler/crawler/response2.html deleted file mode 100644 index 3035856..0000000 --- a/schoolNewsCrawler/crawler/response2.html +++ /dev/null @@ -1,583 +0,0 @@ - - - - - - -习言道｜建好这个“港”，习近平有深远考量--时政--人民网 - - - - - - - - - - - - - - - - - - - - - - - - - - -
- -
-
- -
- 打开 -
-
-
- -
-
- 人民网 -
-
-
- -
-
-
- -
-
-
-
- -
-

人民日报报系

-
- 人民日报 - 人民日报海外版 - 中国汽车报 - 中国能源报 - 健康时报 - 证券时报 - 国际金融报网 - 讽刺与幽默 - 中国城市报 - 新闻战线 - 人民论坛 - 环球人物 - 中国经济周刊 - 民生周刊 - 国家人文历史 - 人民周刊 -人民数字 -

旗下网站

-
-全国重点实验室 -环球网 -海外网 -人民图片 - -人民网研究院 -人民慕课 -

创新服务平台

-
-写易智能创作引擎 -人民网智慧党建体验中心 -828企业服务平台 -人民云 -
-
- - -
- 人民网>>要闻播报 -
- -
-
-

-

习言道｜建好这个“港”，习近平有深远考量

-

-
-
-
- 2025年11月10日09:26 | 来源：中国新闻网222 -
-
- 小字号 -
-
- -
-
-
-

点击播报本文，约

-
-
-
-

- - -

-
-
-
-
-

-
-

-

中新网11月8日电 题：建好这个“港”，习近平有深远考量

-

党的二十届四中全会后首次到地方，习近平总书记来到了海南三亚。

-

再有一个多月，12月18日，海南自由贸易港将正式启动全岛封关。11月6日，在听取海南自由贸易港建设工作汇报时，习近平总书记强调，各级各有关方面要精心准备，确保平稳有序。

-

对于自由贸易港建设，总书记一直寄予厚望。

-

20世纪80年代，在厦门工作期间，习近平同志就曾牵头研究自由贸易港问题并将部分政策付诸实施。彼时，中国开放的大门刚刚打开。

-

多年后，这一任务交到了海南手中。

-

为什么是海南？从客观条件看，海南是我国最大的经济特区，地理位置独特，拥有全国最好的生态环境，同时又是相对独立的地理单元，具有成为全国改革开放试验田的独特优势。

-

从历史看，海南之所以能从一个边陲海岛发展成为我国改革开放的重要窗口，正是得益于深化改革、扩大开放。建设自贸港，是海南开放发展道路的延续，也是面向未来发展的需要。

-

从现实看，作为引领我国新时代对外开放的鲜明旗帜，海南自贸港建设不仅事关海南自身发展，更关乎中国改革开放全局。

-

“由海南来完成这项历史性任务，这也是中国特色社会主义经济特区建设的一个战略安排，不断摸索、大胆试验，现在蹚出来一条路子。”2022年在海南考察时，对于海南自贸港建设的未来，习近平总书记曾饱含期待。

-

只有敢于走别人没有走过的路，才能收获别样的风景。

-

从2018年党中央决定支持海南全岛建设自由贸易试验区，到2020年《海南自由贸易港建设总体方案》发布，再到海南自贸港连续7年被写入政府工作报告……一系列顶层设计推动海南自贸港建设取得重要阶段性成效，为启动全岛封关运作打下坚实基础。

-

美丽海岛持续释放活力，海南外贸连续5年增长，累计176个国家和地区在此投资。

-

这次在海南，习近平总书记再次强调海南自贸港的定位——

-

“高标准建设海南自由贸易港，主要目的是促进海南高质量发展，助力全国构建新发展格局。”

-

“建设海南自由贸易港的战略目标，就是要把海南自由贸易港打造成为引领我国新时代对外开放的重要门户。”

-

从海南到全国，从中国到世界，总书记点明中国特色自由贸易港的重要使命与历史方位。

-

此次，在海南自贸港将迈入全岛封关运作新阶段之际，总书记再次作出新部署。

-

“进一步提高贸易投资自由化便利化水平”“着力打造市场化法治化国际化一流营商环境”“越是扩大开放，越要统筹发展和安全”……有方向指引，有具体要求，也有深远考量。

-

前不久，党的二十届四中全会审议通过的“十五五”规划建议，明确提出“高标准建设海南自由贸易港”。

-

在中国的最南端，新时代全面深化改革开放的故事正不断书写。

-

｜出品人：俞岚

-

｜总策划：周锐

-

｜统筹：马学玲 阚枫

-

｜执笔：袁秀月

-

｜校对：孙静波

-

｜视觉：徐洋 雷宇竺

-

｜中国新闻网“习言道”工作室出品

-

｜中国互联网发展基金会中国正能量网络传播专项基金支持

-
-
(责编：白宇、卫嘉)
-

分享让更多人看到

-
- -
-
客户端下载
- -
-
- -
- -
- -
-

人民日报社概况| -关于人民网| -报社招聘| -招聘英才| -广告服务| -合作加盟| -版权服务| -数据服务| -网站声明| -网站律师| -信息保护| -联系我们 -

-

人民日报违法和不良信息举报电话：010-65363263    举报邮箱：jubao@people.cn

-

人民网服务邮箱：kf@people.cn    违法和不良信息举报电话：010-65363636    举报邮箱：rmwjubao@people.cn

-

互联网新闻信息服务许可证10120170001  |  增值电信业务经营许可证B1-20060139  |  广播电视节目制作经营许可证（广媒）字第172号  |  京ICP备12004265号-13

-

信息网络传播视听节目许可证0104065 | 网络文化经营许可证 京网文[2023]4961-141号 | 网络出版服务许可证（京）字121号 | 京ICP证000006号 | 京公网安备11000002000008号

-

-人 民 网 股 份 有 限 公 司 版 权 所 有 ，未 经 书 面 授 权 禁 止 使 用
-Copyright © 1997-2025 by www.people.com.cn. all rights reserved -

-

- - - - - - -

-
-
-
- -
- -
- -
- - - - -
-
- -
-
-
-
- 打开客户端体验更多服务 - 打开 -
-
-
-
-
- - - -
返回顶部
- - - - - - - - - - - - - \ No newline at end of file diff --git a/schoolNewsCrawler/crawler/RmrbCrawler.py b/schoolNewsCrawler/crawler/rmrb/RmrbCrawler.py similarity index 99% rename from schoolNewsCrawler/crawler/RmrbCrawler.py rename to schoolNewsCrawler/crawler/rmrb/RmrbCrawler.py index eaee0c6..6db7d40 100644 --- a/schoolNewsCrawler/crawler/RmrbCrawler.py +++ b/schoolNewsCrawler/crawler/rmrb/RmrbCrawler.py @@ -6,7 +6,7 @@ from loguru import logger import re import chardet from datetime import datetime, timedelta -from bs4 import NavigableString +from bs4.element import NavigableString from urllib.parse import urlparse import json diff --git a/schoolNewsCrawler/crawler/RmrbHotPoint.py b/schoolNewsCrawler/crawler/rmrb/RmrbHotPoint.py similarity index 97% rename from schoolNewsCrawler/crawler/RmrbHotPoint.py rename to schoolNewsCrawler/crawler/rmrb/RmrbHotPoint.py index bb72787..c2811f3 100644 --- a/schoolNewsCrawler/crawler/RmrbHotPoint.py +++ b/schoolNewsCrawler/crawler/rmrb/RmrbHotPoint.py @@ -13,7 +13,7 @@ from pathlib import Path # Add parent directory to path to import crawler sys.path.insert(0, str(Path(__file__).parent.parent)) -from crawler.RmrbCrawler import RmrbCrawler +from crawler.rmrb.RmrbCrawler import RmrbCrawler from loguru import logger diff --git a/schoolNewsCrawler/crawler/RmrbSearch.py b/schoolNewsCrawler/crawler/rmrb/RmrbSearch.py similarity index 98% rename from schoolNewsCrawler/crawler/RmrbSearch.py rename to schoolNewsCrawler/crawler/rmrb/RmrbSearch.py index a0ee0fd..5aa86f5 100644 --- a/schoolNewsCrawler/crawler/RmrbSearch.py +++ b/schoolNewsCrawler/crawler/rmrb/RmrbSearch.py @@ -13,7 +13,7 @@ from pathlib import Path # Add parent directory to path to import crawler sys.path.insert(0, str(Path(__file__).parent.parent)) -from crawler.RmrbCrawler import RmrbCrawler +from crawler.rmrb.RmrbCrawler import RmrbCrawler from loguru import logger diff --git a/schoolNewsCrawler/crawler/RmrbTrending.py b/schoolNewsCrawler/crawler/rmrb/RmrbTrending.py similarity index 99% rename from schoolNewsCrawler/crawler/RmrbTrending.py rename to schoolNewsCrawler/crawler/rmrb/RmrbTrending.py index c27ae53..7e8e88d 100644 --- a/schoolNewsCrawler/crawler/RmrbTrending.py +++ b/schoolNewsCrawler/crawler/rmrb/RmrbTrending.py @@ -16,7 +16,7 @@ from pathlib import Path # Add parent directory to path to import crawler sys.path.insert(0, str(Path(__file__).parent.parent)) -from crawler.RmrbCrawler import RmrbCrawler +from crawler.rmrb.RmrbCrawler import RmrbCrawler from loguru import logger from core.ResultDomain import ResultDomain diff --git a/schoolNewsCrawler/crawler/xhw/XhwCrawler.py b/schoolNewsCrawler/crawler/xhw/XhwCrawler.py new file mode 100644 index 0000000..c73b3d6 --- /dev/null +++ b/schoolNewsCrawler/crawler/xhw/XhwCrawler.py @@ -0,0 +1,41 @@ +# 新华网爬虫 +from typing import List, Optional +from core.ResultDomain import ResultDomain +from crawler.BaseCrawler import BaseCrawler, CrawlerConfig, NewsItem, UrlConfig +from loguru import logger +import re +import chardet +from datetime import datetime, timedelta +from bs4.element import NavigableString +from urllib.parse import urlparse +import json + +class XhwCrawler(BaseCrawler): + def __init__(self): + + """初始化人民日报爬虫""" + config = CrawlerConfig( + base_url="https://xhsz.news.cn/", + urls={ + "search": UrlConfig( + url="https://xhsz.news.cn/s", + method="POST", + params={ + "k": "", + "action": "index", + }, + headers={ + 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Safari/537.36', + 'Accept': 'application/json, text/plain, */*', + 'Accept-Language': 'zh-CN,zh;q=0.9', + 'Content-Type': 'application/json;charset=UTF-8' + } + ), + + }, + ) + super().__init__(config) + + def search(self, key:str, total: int) -> ResultDomain: + pass + \ No newline at end of file diff --git a/schoolNewsCrawler/crawler/首页头条--人民网.html b/schoolNewsCrawler/crawler/首页头条--人民网.html deleted file mode 100644 index ff5859a..0000000 --- a/schoolNewsCrawler/crawler/首页头条--人民网.html +++ /dev/null @@ -1,327 +0,0 @@ - - - - - - - - - - - -首页头条--人民网 - - - - - - - - - - - - -
- - - - -
- - - - - - -
- - - - -
人民网—今日头条一览：2025年11月6日星期四 - - - - - -
新闻搜索
- - - - - -

- - - - -
[11月06日15:36]
-
- - - - -
-
- - - - -
- - - - - - -
- - - - - -

- - - - - -
今日要闻 
- - - - -
-
  • 中央党校(国家行政学院)举行2025年秋季学期第一批进修班毕业典礼 陈希出席
    • [2025年11月06日20:22]
  • 国务院任免国家工作人员
    • [2025年11月06日19:23]
  • 数读中国|看我国出入境政策"新利好"
    免税店政策"上新" 带你划重点
    • [2025年11月06日18:56]
  • 乌镇峰会|携手共筑数智未来——我国积极推进全球互联网发展治理
    • - [2025年11月06日19:06]
  • 泰国国王哇集拉隆功将访华 外交部介绍有关安排
    • [2025年11月06日16:51]
  • 外交部:敦促日方停止向"台独"分裂势力发出任何错误信号
    • [2025年11月06日18:21]
  • 水利部发布规范强化河湖管理保护
    • [2025年11月06日20:16]
  • 商务部:中方将不断优化许可流程 促进出口管制物项合规贸易
    • [2025年11月06日19:06]
  • 我国各类组织机构总量已达2.02亿家
    • [2025年11月06日20:16]
  • 重庆调整部分行政区划:设立两江新区,撤销江北区、渝北区
    • [2025年11月06日17:47]
  • 北京立冬日迎降水降温 多区确认将供热点火试运行
    • [2025年11月06日18:10]
  • 网友反映连霍高速酒玉段拥堵 甘肃酒泉:多措并举保畅通
    • [2025年11月06日21:33]
  • 十五运会|湖北队卫冕男子马拉松游泳冠军
    • [2025年11月06日21:33]
  • 格鲁吉亚外长博乔里什维利将访华
    • [2025年11月06日06:31]
  • 停止对原产于美国部分进口商品加征关税
    调整对原产于美国的进口商品加征关税
    • [2025年11月06日06:32]
  • 国台办:做好新时代对台工作,坚定不移推进祖国统一大业
    • [2025年11月06日06:42]
  • 向新逐"绿"我国新型能源体系加快构建
    • [2025年11月06日18:09]
  • 香港金管局发布"金融科技2030"愿景
    • [2025年11月06日06:43]
  • 乡村招商会 "村创"大舞台 搭好桥梁促振兴
    • [2025年11月06日06:28]
  • 东北省际高铁首次形成"O"形闭环
    • [2025年11月06日06:29]
  • 子午工程,立体监测日地空间天气 相信年轻人的聪明才智
    • - [2025年11月06日06:24]
  • 留言板·观豫|打通田埂"末梢"梗阻,须再加把劲
    • [2025年11月06日17:48]
  • 年产8000万条秋裤,小村里有大产业
    • [2025年11月06日07:04]
  • 寻油找气,如何给地球做高清"CT"
    • [2025年11月06日06:29]
  • 300元以下,难购真羽绒服?
    • [2025年11月06日06:31]
  • 人生的"午后时光"该怎样度过
    • [2025年11月06日06:30] - - - - - - - -
    - - - - - -
    		- - - - -
    -
    - - - - -
    -
    -
    - - - - - - -
     人民网首页往日回顾
    - - - - -
    -
    -
    - -
     
    -
    -
    - - - - - - \ No newline at end of file diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/20251106.html b/schoolNewsCrawler/crawler/首页头条--人民网_files/20251106.html deleted file mode 100644 index d0cae67..0000000 --- a/schoolNewsCrawler/crawler/首页头条--人民网_files/20251106.html +++ /dev/null @@ -1,325 +0,0 @@ - - - - - - - - - - - -首页头条--人民网 - - - - - - - - - - - - -
    - - - - -
    - - - - - - -
    - - - - -
    人民网—今日头条一览：2025年11月6日星期四 - - - - - -
    新闻搜索
    - - - - - -

    - - - - -
    [11月06日15:36]
    -
    - - - - -
    -
    - - - - -
    - - - - - - -
    - - - - - -

    - - - - - -
    今日要闻 
    - - - - -
    -
  • 中央党校(国家行政学院)举行2025年秋季学期第一批进修班毕业典礼 陈希出席
    • [2025年11月06日20:22]
  • 国务院任免国家工作人员
    • [2025年11月06日19:23]
  • 数读中国|看我国出入境政策"新利好"
    免税店政策"上新" 带你划重点
    • [2025年11月06日18:56]
  • 乌镇峰会|携手共筑数智未来——我国积极推进全球互联网发展治理
    • - [2025年11月06日19:06]
  • 泰国国王哇集拉隆功将访华 外交部介绍有关安排
    • [2025年11月06日16:51]
  • 外交部:敦促日方停止向"台独"分裂势力发出任何错误信号
    • [2025年11月06日18:21]
  • 水利部发布规范强化河湖管理保护
    • [2025年11月06日20:16]
  • 商务部:中方将不断优化许可流程 促进出口管制物项合规贸易
    • [2025年11月06日19:06]
  • 我国各类组织机构总量已达2.02亿家
    • [2025年11月06日20:16]
  • 重庆调整部分行政区划:设立两江新区,撤销江北区、渝北区
    • [2025年11月06日17:47]
  • 北京立冬日迎降水降温 多区确认将供热点火试运行
    • [2025年11月06日18:10]
  • 网友反映连霍高速酒玉段拥堵 甘肃酒泉:多措并举保畅通
    • [2025年11月06日21:33]
  • 十五运会|湖北队卫冕男子马拉松游泳冠军
    • [2025年11月06日21:33]
  • 格鲁吉亚外长博乔里什维利将访华
    • [2025年11月06日06:31]
  • 停止对原产于美国部分进口商品加征关税
    调整对原产于美国的进口商品加征关税
    • [2025年11月06日06:32]
  • 国台办:做好新时代对台工作,坚定不移推进祖国统一大业
    • [2025年11月06日06:42]
  • 向新逐"绿"我国新型能源体系加快构建
    • [2025年11月06日18:09]
  • 香港金管局发布"金融科技2030"愿景
    • [2025年11月06日06:43]
  • 乡村招商会 "村创"大舞台 搭好桥梁促振兴
    • [2025年11月06日06:28]
  • 东北省际高铁首次形成"O"形闭环
    • [2025年11月06日06:29]
  • 子午工程,立体监测日地空间天气 相信年轻人的聪明才智
    • - [2025年11月06日06:24]
  • 留言板·观豫|打通田埂"末梢"梗阻,须再加把劲
    • [2025年11月06日17:48]
  • 年产8000万条秋裤,小村里有大产业
    • [2025年11月06日07:04]
  • 寻油找气,如何给地球做高清"CT"
    • [2025年11月06日06:29]
  • 300元以下,难购真羽绒服?
    • [2025年11月06日06:31]
  • 人生的"午后时光"该怎样度过
    • [2025年11月06日06:30] - - - - - - - -
    - - - - - -
    		- - - - -
    -
    - - - - -
    -
    -
    - - - - - - -
     人民网首页往日回顾
    - - - - -
    -
    -
    - -
     
    -
    -
    - - - - - diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/MAIN1762414599322VT345OU6TG.jpg b/schoolNewsCrawler/crawler/首页头条--人民网_files/MAIN1762414599322VT345OU6TG.jpg deleted file mode 100644 index 6178a3f..0000000 Binary files a/schoolNewsCrawler/crawler/首页头条--人民网_files/MAIN1762414599322VT345OU6TG.jpg and /dev/null differ diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/common.js.下载 b/schoolNewsCrawler/crawler/首页头条--人民网_files/common.js.下载 deleted file mode 100644 index ca6624d..0000000 --- a/schoolNewsCrawler/crawler/首页头条--人民网_files/common.js.下载 +++ /dev/null @@ -1 +0,0 @@ -var _wdVersion=_wdVersion||{};_wdVersion.WD=_wdVersion.WD||"0",_wdVersion.CN="1";var _wdTimeOut=1800,_wdRUTimeout=30,_wdPerfTimeOut=60,_wdED="expires=Fri, 1 Jan 2038 00:00:00 GMT;",_wdCK="0",_wdJE="0",_wdHP="0",_wdFl=0,_wdTZ=0,_wdLG="",_wdCT="",_wdFS=0,_wdErr="1",_wdGidT=0,_wdDT=document.title==""?location.href:document.title,_wdCS,_wdSL=window.location.href,_wdHost=window.location.host,_wdRDM="",_wdRP=document.referrer,_wdUA=navigator.appName+" "+navigator.appVersion,_wdRUA=navigator.userAgent,_wdWS=window.screen,_wdBV=navigator.appVersion.substring(0,1),_wdNN=_wdUA.indexOf("Netscape")!=-1,_wdMC=_wdUA.indexOf("Mac")!=-1,_wdIE=_wdUA.indexOf("MSIE")!=-1,_wdOP=_wdRUA.indexOf("Opera")!=-1,_wdIEV=0,_wdCID,_wdBCID="0",_wdLS=0,_wdTO="1",_wdSID="",_wdDU=10,curtime=new Date,Aimg;String.prototype.trim=function(){var e=/^\s+|\s+$/g;return function(){return this.replace(e,"")}}();var _webdigObj=_webdigObj||{};_webdigObj.getMeta=function(e){var t=document.getElementsByTagName("meta");if(t){for(var w=0;w-1?"https:":"http:",_wdCA=_wdLP+_wecl;function println(e){}function _wdEC(){}window.onerror=_wdEC;function fesc(e){return e=new String(e),escape(e)}function wdhex(e){for(var t="",w,u=7;u>=0;u--)w=e>>>u*4&15,t+=w.toString(16);return t}function wdHash(e){if(!e||e=="")return 1;for(var t=1732584193,w=4023233417,u=0;u>>26)+(t<<16|w>>>16)-t,w=g+(w<<6)-w+(w<<16)&4294967295}return wdhex(t&2147483647)+wdhex(w)}function wdGenCID(){return wdHash(document.location+document.cookie+document.referrer+curtime.getTime())}function getCookie(e){var t=null,w=document.cookie,u=w.indexOf(e);return u!=-1&&(u+=e.length+1,e=w.indexOf(";",u),e==-1&&(e=w.length),t=w.substring(u,e)),t}function wdFlash(){var a="",b=navigator;if(b.plugins&&b.plugins.length){for(var c=0;c=2;c--)try{var d=eval("new ActiveXObject('ShockwaveFlash.ShockwaveFlash."+c+"');");if(d){a=c+".0";break}}catch(e){}return a}function send_ref(e,t){var w=!1,u=function(){w||(w=!0,typeof t=="function"&&t())};e=_wdCA+e,Aimg=new Image,Aimg.onload=function(){u(),_wdGidT=Aimg.height,Aimg.height==1&&_wd_ruid(_wdDU)},Aimg.onerror=u,Aimg.src=e}function send_bc(e){navigator.sendBeacon?(e=_wdCA+e,navigator.sendBeacon(e)):send_ref(e)}function wd_tracker(e){if(setup_data({}),e&&e!=""){var t=_wdSL;e.toLowerCase().indexOf("http")!=0&&(e=_wdLP+"//"+_wdHost+e),_wdSL=e,_wdRP=t}write_ref()}function wd_reptracker(e,t){setup_data({}),e&&e!=""&&(_wdSL=_wdLP+"//"+_wdHost+e),write_ref()}function getmetaContents(e){var t=document.getElementsByTagName("meta");for(var w in t)if(t[w].name==e)return t[w].content}function setup_metadata(e){_webdigObj.catalogs=e.wdc||_webdigObj.getMeta("catalogs")||_webdigObj.catalogs,_webdigObj.contentid=e.wdci||_webdigObj.getMeta("contentid"),_webdigObj.filetype=_webdigObj.getMeta("filetype"),_webdigObj.pagetype=_webdigObj.getMeta("pagetype"),_webdigObj.publishedtype=_webdigObj.getMeta("publishedtype"),_webdigObj.publishdate=_webdigObj.getMeta("publishdate"),_webdigObj.author=_webdigObj.getMeta("author"),_webdigObj.editor=_webdigObj.getMeta("editor"),_webdigObj.reporter=_webdigObj.getMeta("reporter"),_webdigObj.subject=_webdigObj.getMeta("subject"),_webdigObj.source=_webdigObj.source||_webdigObj.getMeta("source"),_webdigObj.sourcetype=_webdigObj.getMeta("sourcetype"),_webdigObj.pageversion=_webdigObj.getMeta("pageversion"),_webdigObj.partner=_webdigObj.getMeta("partner"),_webdigObj.speical=_webdigObj.getMeta("webterren_speical"),_webdigObj.dept=_webdigObj.getMeta("dept"),_webdigObj.sec=_webdigObj.pro||function(){},_webdigObj.sec(),_webdigObj.url=function(){var t="";return t="_wdc="+escape(_webdigObj.catalogs)+"&",_webdigObj.subject&&(t+="_wds="+escape(_webdigObj.subject)+"&"),t+="_wdt="+escape(_webdigObj.filetype?_webdigObj.filetype:0)+escape(_webdigObj.publishedtype?_webdigObj.publishedtype:0)+escape(_webdigObj.pagetype?_webdigObj.pagetype:0)+"&",_webdigObj.contentid?e.sub_page_id?t+="_wdci="+escape(_webdigObj.contentid+"-"+e.sub_page_id)+"&":t+="_wdci="+escape(_webdigObj.contentid)+"&":e.sub_page_id&&(t+="_wdci="+escape(e.sub_page_id)+"&"),_webdigObj.publishdate&&(t+="_wdp="+escape(_webdigObj.publishdate)+"&"),_webdigObj.author&&(t+="_wda="+escape(_webdigObj.author)+"&",t+="_wdmd="+escape(_webdigObj.author)+"&"),_webdigObj.editor&&(t+="_wda2="+escape(_webdigObj.editor)+"&"),_webdigObj.reporter&&(t+="_wdr="+escape(_webdigObj.reporter)+"&"),_webdigObj.source&&(t+="_wdori="+escape(_webdigObj.source)+"&"),_webdigObj.sourcetype&&(t+="_wdot="+escape(_webdigObj.sourcetype)+"&"),_webdigObj.speical&&(t+="_wdsp="+escape(_webdigObj.speical)+"&"),_webdigObj.pageversion&&(t+="_wdvs="+escape(_webdigObj.pageversion)+"&"),_webdigObj.partner&&(t+="_wdqd="+escape(_webdigObj.partner)+"&"),_webdigObj.dept&&(t+="_wddp="+escape(_webdigObj.dept)+"&"),t}()}function _wd_write_ref(e,t,w){typeof t=="undefined"&&(t={}),curtime=new Date,setup_data(t),setup_metadata(t);var u="";for(k in t)typeof k=="string"&&k.startsWith("wd")||(u+=encodeURIComponent(k)+"="+encodeURIComponent(t[k])+"&");e=u+e,_webdigObj.url&&(e+="&"+_webdigObj.url),_wdSL=_wdSL.indexOf("?")==-1?_wdSL+"?"+e:_wdSL+"&"+e,write_ref(w)}function _wd_paramtracker(e,t){typeof e=="object"?_wd_write_ref("_wdxid=000000000000000000000000000000000000000000",e,t):_wd_write_ref(e,{},t)}function _wd_write_perf(e,t){var w,u,g;if(e){let v=function(h){return m>t.to*1e3?-1:h>0&&h=3&&s[1]=="c"&&(s[2]=="s"?(s=s.splice(2,s.length),s[0]="https:/"):(s=s.splice(1,s.length),s[0]="http:/"),_wdSL=s.join("/")+u+g,_wdHost=s[1])}if(document.location.protocol!="file:"){if(document.characterSet?_wdCS=fesc(document.characterSet):document.charset&&(_wdCS=fesc(document.charset)),INCLUDESUBHOST&&INCLUDESUBHOST!=null&&INCLUDESUBHOST.length!=0){for(i=0;i=0&&r<=8||_wdRP.indexOf("[")==0&&_wdRP.lastIndexOf("]")==_wdRP.length-1&&(_wdRP="")),println("_wdRP="+_wdRP),println("_wdUA="+_wdUA),println("_wdRUA="+_wdRUA),_wdIE&&(_wdIEV=parseInt(_wdUA.substr(_wdUA.indexOf("MSIE")+5))),_wdIE&&_wdIEV>=5&&(document.body.addBehavior("#default#clientCaps"),_wdCT=document.body.connectionType,document.body.addBehavior("#default#homePage"),_wdHP=document.body.isHomePage(location.href)?"1":"0");try{_wdIE&&(_wdFS=document.fileSize)}catch(m){_wdFS=0}_wdFl=wdFlash(),_wdTZ=new Date().getTimezoneOffset()/-60,typeof _wdWS!="undefined"&&_wdWS!=null&&(_wdSW=_wdWS.width,_wdSH=_wdWS.height,_wdCD=_wdWS.colorDepth,_wdSR=_wdSW+"x"+_wdSH,_wdNN&&_wdBV>=4&&(_wdCD=_wdWS.pixelDepth)),(_wdNN&&_wdBV>=4||_wdOP)&&(_wdLG=navigator.language),_wdIE&&_wdBV>=4&&!_wdOP&&(_wdLG=navigator.userLanguage),_wdJE=navigator.javaEnabled()==!0?"1":"0",navigator.cookieEnabled&&(_wdCK=navigator.cookieEnabled==!0?"1":"0"),_wdCK==1&&setup_cookie()}}}function _wd_ruid(e){var t=1;if(self==top&&e>_wdRUTimeout){for(var w="",u=navigator.userAgent,g=0,s=0;s=64)break}var O=Math.random().toString(36).substring(2),y="r-"+wdHash(w)+"-"+O+"-"+t+"-"+e,v=_wdCA.replace("1.gif",y),j=new Image;j.src=v}}function setup_cookie(){var e=document.cookie,t=e.indexOf("wdcid=");if(t<0){if(_wdBCID="0",_wdCID=wdGenCID(),t="",_wdRDM&&_wdRDM!=""&&(t="domain="+_wdRDM+";"),document.cookie="wdcid="+escape(_wdCID)+";"+_wdED+t+"path=/;",document.cookie.indexOf("wdcid=")<0){_wdCK=0;return}}else _wdBCID="1",_wdCID=getCookie("wdcid");t=document.cookie.indexOf("wdlast="),t<0?_wdLS=0:(_wdLS=parseInt(getCookie("wdlast")),_wdDU=Math.round(curtime.getTime()/1e3-_wdLS),_wdDU<=_wdTimeOut&&(_wdTO="0")),document.cookie="wdlast="+Math.round(curtime.getTime()/1e3)+";"+_wdED+"path=/;",t=document.cookie.indexOf("wdses="),t<0||_wdTO=="1"?(_wdTO="1",_wdSID=wdGenCID(),_wdDU=10,document.cookie="wdses="+_wdSID+";path=/;"):_wdSID=getCookie("wdses")}function write_ref(e){_wdCK=="0"?_dgURL=getGeneralInfo()+getLocalInfo():_dgURL=getGeneralInfo()+getCookieInfo()+getLocalInfo(),send_ref(_dgURL,e)}function write_bc(){_wdCK=="0"?_dgURL=getGeneralInfo()+getLocalInfo():_dgURL=getGeneralInfo()+getCookieInfo()+getLocalInfo(),send_bc(_dgURL)}function getGeneralInfo(){var e=_wdVersion.WD+"-"+_wdVersion.CN;return"?z="+_wdUID+"&a="+curtime.getTime().toString(16)+"&b="+fesc(_wdDT)+"&B="+_wdCS+"&c="+fesc(_wdSL)+"&d="+fesc(_wdRP)+"&e="+_wdDU+"&f="+_wdSID+"&H="+fesc(_wdHost)+"&E="+_wdErr+"&V="+e}function getLocalInfo(){return"&i="+fesc(_wdLG)+"&j="+_wdJE+"&k="+_wdSR+"&l="+_wdCD+"&m="+_wdFl+"&n="+fesc(_wdCT)+"&o="+_wdTZ}function getCookieInfo(){return"&r="+_wdCID+"&s="+_wdBCID+"&t="+_wdLS+"&u="+_wdTO}(function(){if(window._wd_common_loaded)return;window._wd_common_loaded=new Date;function e(n){switch(n[0]){case"wd_paramtracker":_wd_paramtracker(n[1],n[2]);break;case"wd_track_inner_page":var o=Array.prototype.slice.call(n,1);_wd_track_inner_page.apply(null,o);break;case"wd_track_user":var o=Array.prototype.slice.call(n,1);_wd_track_user.apply(null,o);break;case"wd_track_perf":var o=Array.prototype.slice.call(n,1);_wd_track_perf.apply(null,o);break;default:}}if(typeof _wd_o!="undefined"){let n=function(){window[_wd_o].q=window[_wd_o].q||[];for(var o=window[_wd_o].q,_=0;_10?D():t.push(_)}function C(n){for(var o="",_=0;_0){var n=C(t.splice(0,t.length));s(n)}}function h(){if(!!g("uctk")){var n=T("iframe"),o=function(f){return function(l){j(l,f)}};if(window.addEventListener){document.addEventListener("click",function(f){j(f)},!0),window.addEventListener("unload",function(f){D()},!0);for(var _=0;_0&&o[0]=="."&&n==o.substring(1))return!0}return!1}function I(n,o){if(!(!n||!n.hostname||n.href.indexOf("http")!=0)&&!(!o&&L(n.hostname))){var _=n.getAttribute("eltkstat");_||(n.addEventListener?(n.addEventListener("click",function(f){var l=f.currentTarget,p={url:l.href,referer:document.location.href,title:l.textContent};_wd_track_external(p)}),n.setAttribute("eltkstat",!0)):n.attachEvent&&(n.attachEvent("onclick",function(){var f=window.event.srcElement,l={url:f.href,referer:document.location.href,title:f.innerText};_wd_track_external(l)}),n.setAttribute("eltkstat",!0)))}}function R(){for(var n=g("eltk"),o=document.getElementsByTagName("a"),_=0;_ - - 人民网 - - - - - - -
    - - - - - -
    - - - - - -
    - -
    - - - - - - - - - - - -
    日一二三四五六
    - - -
          1
    2345678
    9101112131415
    16171819202122
    23242526272829
    30      
    -
    -
    - - - - \ No newline at end of file diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/saved_resource.html b/schoolNewsCrawler/crawler/首页头条--人民网_files/saved_resource.html deleted file mode 100644 index 08f5e76..0000000 --- a/schoolNewsCrawler/crawler/首页头条--人民网_files/saved_resource.html +++ /dev/null @@ -1,162 +0,0 @@ - - - - 人民网 - - - - - - -
    - - - - - -
    - - - - - -
    - -
    - - - - - - - - - - - -
    日一二三四五六
    - - -
          1
    2345678
    9101112131415
    16171819202122
    23242526272829
    30      
    -
    -
    - - - - \ No newline at end of file diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/top_01.jpg b/schoolNewsCrawler/crawler/首页头条--人民网_files/top_01.jpg deleted file mode 100644 index ea344be..0000000 Binary files a/schoolNewsCrawler/crawler/首页头条--人民网_files/top_01.jpg and /dev/null differ diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/top_02.jpg b/schoolNewsCrawler/crawler/首页头条--人民网_files/top_02.jpg deleted file mode 100644 index e397d78..0000000 Binary files a/schoolNewsCrawler/crawler/首页头条--人民网_files/top_02.jpg and /dev/null differ diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/top_03.jpg b/schoolNewsCrawler/crawler/首页头条--人民网_files/top_03.jpg deleted file mode 100644 index 74f1c36..0000000 Binary files a/schoolNewsCrawler/crawler/首页头条--人民网_files/top_03.jpg and /dev/null differ diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/webdig.js.下载 b/schoolNewsCrawler/crawler/首页头条--人民网_files/webdig.js.下载 deleted file mode 100644 index d83dd1d..0000000 --- a/schoolNewsCrawler/crawler/首页头条--人民网_files/webdig.js.下载 +++ /dev/null @@ -1 +0,0 @@ -var ROOTDM=[".haiwainet.cn",".0898.net",".cpcnews.cn",".linliwang.com",".npopss-cn.gov.cn",".osports.com.cn",".people.cn",".people.com.cn",".people.gkcx.eol.cn",".people.nihaowang.com",".peopledaily.com.cn",".urbanchina.org",".zgdsw.org.cn",".zhengwutong.com",".zzdjw.org.cn",".cpta.com.cn",".chinawriter.com.cn",".djyj.cn",".nanhaimuseum.org",".womenvoice.cn",".womencn.cn",".rmxiongan.com",".zghrg.gov.cn",".gjbmj.gov.cn",".chinaql.org",".minge.gov.cn",".chinaxiongan.cn",".qizhiwang.org.cn",".brnn.com",".dswxyjy.org.cn",".chinalianxun.cn",".cidf.net",".fpzg.cpad.gov.cn",".nopss.gov.cn",".hlj.gov.cn",".lmcchina.org",".peopletech.cn",".miguvideo.com",".zyshgzb.gov.cn",".12380.gov.cn",".sxdaily.com.cn"],RECENDM=[],INCLUDESUBHOST=["www.people.com.cn"],SHOWERRHOST=1,_wdUID="15",_wecl="//cl0.webterren.com/1.gif",_wdVersion={WD:1726819015},_wevcl="//cl0.webterren.com/2.gif";function _wd_re(n,o){var c=document;if(n.length==0){typeof o=="function"&&o();return}function a(){_wd_re(n,o)}var t=n.splice(0,1),e=c.createElement("script");e.type="text/javascript",e.referrerPolicy="no-referrer-when-downgrade";function r(){(e.readyState=="loaded"||e.readyState=="complete")&&(e.onreadystatechange=null,a())}e.readyState?e.onreadystatechange=r:e.onload=a,e.src=t,c.getElementsByTagName("head")[0].appendChild(e)}var _wd_ss=["//d.webterren.com/common.js?z=15&t=202409200756"];window._wd_o?function(){var n,o="_wd_load_event",c=document,a=!!c.createEvent;a?(n=c.createEvent("Event"),n.initEvent(o,!0,!0)):(n=c.createElement("p"),c.body.appendChild(n)),window[_wd_o].e=n,_wd_re(_wd_ss,function(){a?c.dispatchEvent(n):n[o]=new Date})}():window.wd_paramtracker=function(){var n=arguments[0];_wd_re(_wd_ss,function(){_wd_paramtracker(n)})}; diff --git a/schoolNewsCrawler/crawler/首页头条--人民网_files/webdig_test.js.下载 b/schoolNewsCrawler/crawler/首页头条--人民网_files/webdig_test.js.下载 deleted file mode 100644 index 785cb97..0000000 --- a/schoolNewsCrawler/crawler/首页头条--人民网_files/webdig_test.js.下载 +++ /dev/null @@ -1,8 +0,0 @@ -(function(w,d,g,r){ - w['_wd_o']=r; - w[r]=w[r]||function(){arguments.t=1*new Date(),(w[r].q=w[r].q||[]).push(arguments);}; - var a=d.createElement('script'),m=d.getElementsByTagName('script')[0]; - a.async=1;a.src=g;m.parentNode.insertBefore(a,m); -})(window,document,'//cl2.webterren.com/webdig.js?z=15','_wa'); - -_wa('wd_paramtracker', '_wdxid=000000000000000000000000000000000000000000'); diff --git a/schoolNewsServ/.bin/mysql/sql/initCrontabMetaData.sql b/schoolNewsServ/.bin/mysql/sql/initCrontabMetaData.sql index 34e9408..dc9913a 100644 --- a/schoolNewsServ/.bin/mysql/sql/initCrontabMetaData.sql +++ b/schoolNewsServ/.bin/mysql/sql/initCrontabMetaData.sql @@ -17,7 +17,7 @@ INSERT INTO `tb_crontab_task_meta` ( '人民日报新闻爬取', 'newsCrewerTask', 'execute', - 'crawler/RmrbSearch.py', + 'crawler/rmrb/RmrbSearch.py', '[ { "name": "query", @@ -52,7 +52,7 @@ INSERT INTO `tb_crontab_task_meta` ( '人民日报新闻爬取', 'newsCrewerTask', 'execute', - 'crawler/RmrbHotPoint.py', + 'crawler/rmrb/RmrbHotPoint.py', '[]', 2, 'system', @@ -72,7 +72,7 @@ INSERT INTO `tb_crontab_task_meta` ( '人民日报新闻爬取', 'newsCrewerTask', 'execute', - 'crawler/RmrbTrending.py', + 'crawler/rmrb/RmrbTrending.py', '[ { "name": "startDate",