[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-hmmnxkl--LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant":3,"similar-hmmnxkl--LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant":71},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":9,"readme_en":10,"readme_zh":11,"quickstart_zh":12,"use_case_zh":13,"hero_image_url":14,"owner_login":15,"owner_name":16,"owner_avatar_url":17,"owner_bio":18,"owner_company":19,"owner_location":20,"owner_email":21,"owner_twitter":22,"owner_website":23,"owner_url":23,"languages":24,"stars":41,"forks":42,"last_commit_at":43,"license":44,"difficulty_score":45,"env_os":46,"env_gpu":47,"env_ram":48,"env_deps":49,"category_tags":62,"github_topics":22,"view_count":65,"oss_zip_url":22,"oss_zip_packed_at":22,"status":66,"created_at":67,"updated_at":68,"faqs":69,"releases":70},2512,"hmmnxkl\u002FLLM-Based-Intelligent-Public-Opinion-Analytics-Assistant","LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant","本项目是一款结合15 个主流平台的 26 个榜单实时数据与大模型分析能力的舆情分析助手。通过前端页面，用户可实现对话式热搜榜单查询、特定主题搜索、话题聚类分析及情感倾向分析。系统支持快捷键控制爬虫启停、多平台数据快速查询与跳转，并能基于新闻详情页内容（即使是视频信息也能挖掘出来）累积分析结果，设置包括邮箱、微信、企业微信、Telegram 在内的多渠道热点推送任务。","LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant 是一款集数据采集、智能分析与多渠道推送于一体的开源舆情分析助手。它整合了15个主流平台的26个实时榜单，旨在解决传统舆情监控中信息分散、人工筛选效率低以及非结构化数据（如视频内容）难以量化分析的痛点。\n\n通过友好的前端交互界面，用户只需通过自然语言对话，即可轻松完成热搜查询、特定主题搜索、话题聚类及情感倾向分析。系统不仅支持快捷键控制爬虫启停和快速跳转原始页面，还能深入挖掘新闻详情页乃至视频中的关键信息，生成结构化的分析报告。此外，它支持将热点资讯通过邮箱、微信、企业微信或Telegram等多渠道自动推送，帮助用户第一时间掌握动态。\n\n在技术层面，该项目特别优化了对中文语境的理解能力，推荐集成华为盘古大模型作为分析引擎。相较于通用模型，它在处理长文本解析、识别反讽等复杂情感以及适配科技金融等专业领域术语方面表现更佳，且支持本地化部署，有效保障了数据隐私与安全性。\n\n这款工具非常适合需要实时追踪网络热点的媒体从业者、市场公关人员、社会科学研究者以及关注特定领域动态的企业分析师","LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant 是一款集数据采集、智能分析与多渠道推送于一体的开源舆情分析助手。它整合了15个主流平台的26个实时榜单，旨在解决传统舆情监控中信息分散、人工筛选效率低以及非结构化数据（如视频内容）难以量化分析的痛点。\n\n通过友好的前端交互界面，用户只需通过自然语言对话，即可轻松完成热搜查询、特定主题搜索、话题聚类及情感倾向分析。系统不仅支持快捷键控制爬虫启停和快速跳转原始页面，还能深入挖掘新闻详情页乃至视频中的关键信息，生成结构化的分析报告。此外，它支持将热点资讯通过邮箱、微信、企业微信或Telegram等多渠道自动推送，帮助用户第一时间掌握动态。\n\n在技术层面，该项目特别优化了对中文语境的理解能力，推荐集成华为盘古大模型作为分析引擎。相较于通用模型，它在处理长文本解析、识别反讽等复杂情感以及适配科技金融等专业领域术语方面表现更佳，且支持本地化部署，有效保障了数据隐私与安全性。\n\n这款工具非常适合需要实时追踪网络热点的媒体从业者、市场公关人员、社会科学研究者以及关注特定领域动态的企业分析师使用。对于具备一定技术背景的开发者而言，其开源架构也提供了良好的二次开发基础，便于根据具体需求定制专属的舆情监控方案。","# 舆情分析助手项目文档\n\n## 项目概述\n\n本项目是一款结合 **15 个主流平台** 的 **26 个榜单** 实时数据与大模型分析能力的舆情分析助手。通过前端页面，用户可实现对话式热搜榜单查询、特定主题搜索、话题聚类分析及情感倾向分析。系统支持快捷键控制爬虫启停、多平台数据快速查询与跳转，并能基于新闻详情页内容（即使是视频信息也能挖掘出来）累积分析结果，设置包括邮箱、微信、企业微信、Telegram 在内的多渠道热点推送任务。\n![图片描述](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhmmnxkl_LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant_readme_81a23bc58989.png)\n---\n\n## 核心功能\n\n### 1. 数据采集与分析\n系统整合多平台实时数据，通过大模型分析能力提供多维舆情洞察。用户可通过自然语言对话完成以下操作：\n*   **热搜榜单查询**：实时获取各平台热门话题排行。\n*   **特定主题搜索**：精准定位目标舆情信息。\n*   **话题聚类分析**：自动识别关联话题并生成聚类结果。\n*   **情感倾向分析**：智能判断舆情正负向趋势。\n\n### 2. 操作与推送功能\n*   **爬虫控制**：支持快捷键启动\u002F结束爬虫任务。\n*   **数据查询**：各平台数据快速检索并可直接点击跳转原始页面。\n*   **热点推送**：基于新闻详情页内容累积分析结果(包括视频类新闻数据的获取)，支持以下多渠道推送：\n    *   企业微信群机器人\n    *   企业微信应用（推送到个人微信）\n    *   Telegram 机器人\n    *   邮箱（SMTP 协议）\n\n# Report - 关于特朗普和美国相关的消息（推送报告示例）\nTime: 2025-12-23 16:07:54\n\n### **关于特朗普与美国近期动态的报告**\n\n本报告旨在梳理近期与特朗普及美国相关的关键信息。根据提供的结构化数据，直接匹配“特朗普”和“美国”的聚类主题未能找到。然而，通过对原始搜索结果的深入分析，我们识别出两个主要信息流：一是围绕美国军事项目（特别是海军舰艇）的广泛讨论，其中部分内容涉及特朗普的言论；二是一则关于特朗普与委内瑞拉外交摩擦的明确新闻报道。以下为详细报告。\n\n#### **核心发现与数据亮点**\n\n1.  **特朗普的军事主张成为焦点**：在关于美国海军项目的讨论中，前总统兼2024年总统候选人唐纳德·特朗普的相关言论是高频出现的内容。他关于建造新型大型战舰的宣称，引发了大量关注和衍生内容。\n2.  **美国海军项目争议不断**：美国“星座级”护卫舰等项目因成本超支、进度延误和技术问题受到广泛批评，被部分媒体称为“最失败项目”，这与特朗普宣称的“强大海军”愿景形成鲜明对比。\n3.  **美委紧张局势升级**：一则权威新闻报道证实，特朗普政府近期加强对委内瑞拉的制裁与海上封锁行动，导致两国关系持续紧张，并引发委内瑞拉总统马杜罗的公开回应。\n\n#### **详细新闻内容梳理**\n\n以下列出从数据中提取的、与查询直接或强相关的新闻条目：\n\n**1. 特朗普高调宣布新型战舰计划**\n*   **标题**：特朗普：将建“特朗普级”新型战舰，比现有舰艇“强100倍”\n*   **URL**：https:\u002F\u002Fsearch.bilibili.com\u002Fall?keyword=如何评价美国新护卫舰项目&from_source=webtop_search&spm_id_from=333.934&search_source=4 (内容列表内)\n*   **摘要**：据央视新闻报道，特朗普公开宣布将建造名为“特朗普级”的新型战舰，并宣称其战斗力将比现有舰艇“强100倍”。此言论迅速成为热议话题，体现了其强调增强美国军事力量的个人政治风格。\n\n**2. 美委外交风波：马杜罗隔空喊话特朗普**\n*   **标题**：马杜罗：特朗普，请管好美国自己的问题\n*   **URL**：http:\u002F\u002Fwww.baidu.com\u002Flink?url=AYq6wxS3CV4H7aKMowVtRndNgSCwXdN5tNxbtTIr9UALSMH4o22_fP44PDUXjTOmXaaGOFG8kC2G-8PNLdRZVa\n*   **摘要**：新华社加拉加斯电，委内瑞拉总统马杜罗于12月22日公开表示，建议美国总统特朗普专注于处理美国国内的关键问题。马杜罗指出，特朗普近期70%的讲话都在针对委内瑞拉。此举是对特朗普政府自12月10日起多次在委附近海域拦截油轮、并于16日下令对委实施“全面彻底封锁”的强硬回应。委方谴责美方行为是“海盗行径”，两国紧张关系加剧。\n\n**3. 美国海军护卫舰项目陷入困境**\n*   **标题**：美国8年砸8亿的“星座级”护卫舰项目彻底烂尾\n*   **URL**：https:\u002F\u002Fsearch.bilibili.com\u002Fall?keyword=如何评价美国新护卫舰项目&from_source=webtop_search&spm_id_from=333.934&search_source=4 (内容列表内)\n*   **摘要**：有视频报道指出，美国海军重要的“星座级”护卫舰项目面临严重问题，被形容为“彻底烂尾”。该项目耗时8年、耗资巨大，但进展缓慢，暴露了美军在装备采购和项目管理方面存在的深层问题。\n\n**4. 舆论关注美国军事战略与设计**\n*   **标题**：如何评价美国新护卫舰项目？美国公开新型护卫舰设计给世界看傻了\n*   **URL**：https:\u002F\u002Fsearch.bilibili.com\u002Fall?keyword=如何评价美国新护卫舰项目&from_source=webtop_search&spm_id_from=333.934&search_source=4 (内容列表内)\n*   **摘要**：该内容反映了公众和军事观察家对美国最新公开的护卫舰设计方案的关注与讨论。其中不乏将其与外国同类舰艇（如被提及的中国054型护卫舰）进行比较，讨论其设计理念、实战效能及项目前景。\n\n**5. 特朗普宣称建造“黄金舰队”**\n*   **标题**：突发！特朗普宣布：批准建造“黄金舰队”，首先造2艘有史以来最大的战列舰！\n*   **URL**：https:\u002F\u002Fsearch.bilibili.com\u002Fall?keyword=如何评价美国新护卫舰项目&from_source=webtop_search&spm_id_from=333.934&search_source=4 (内容列表内)\n*   **摘要**：这是一则关于特朗普宣称打造“黄金舰队”并优先建造巨型战列舰的报道。此类消息通常带有强烈的个人宣传色彩，旨在吸引眼球并塑造其强力领导人的形象，但其现实可行性和具体细节常受质疑。\n\n#### **分析与总结**\n\n从以上信息可以看出，近期“特朗普”与“美国”相关的消息主要交织在 **军事外交** 和 **国内政治叙事** 两个维度：\n\n1.  **对外强硬姿态**：特朗普通过对委内瑞拉实施极限施压（油轮封锁）、高调宣布扩军计划（“特朗普级”战舰），持续塑造其对外强硬、维护“美国优先”的形象。这与马杜罗的回应共同构成了当前美拉关系中的一个热点冲突。\n2.  **国内政治与军事改革的碰撞**：特朗普雄心勃勃的军事建设宣言，与美国军方当前面临的现实困境（如“星座级”护卫舰项目的失败）形成巨大反差。这种反差成为媒体和公众讨论的焦点，既涉及对美国军费效率的批评，也涉及对特朗普政策主张可行性的探讨。\n3.  **信息传播特点**：相关话题在中文网络平台（如Bilibili）上传播时，呈现出混合状态：既有引自央视、新华社的权威新闻，也有大量自媒体制作的解读、评论甚至带有夸张色彩的二次创作内容。用户在获取信息时需注意辨别来源与事实核查。\n\n综上所述，尽管初始聚类分析未显示直接关联主题，但实际数据揭示了以 **“特朗普的军事主张”** 和 **“美委紧张关系”** 为核心的两条清晰线索，共同勾勒出特朗普活跃于美国政治前台时，其言论与政策如何持续影响美国的内外议程与公众讨论。\n\n---\n# 技术选型说明：关于使用盘古大模型\n![图片描述](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhmmnxkl_LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant_readme_a690ca3b6b37.png)\n\n## 概述\n\n本项目在开发过程中，为提升舆情分析环节的核心能力，对多个开源及可本地化部署的大语言模型进行了对比测试。经实际验证，**华为盘古大模型**在本项目的特定任务场景下表现良好，因此选择将其作为推荐的分析引擎之一集成到项目中。\n\n## 选型理由\n\n以下是在本地测试环境中，我们观察到的盘古模型相较于其他对比模型的一些**实际特点**：\n\n1.  **对长文本的解析能力较强**\n    *   在处理新闻稿、长篇论坛帖子等文本时，能较为稳定地提取核心事件与观点。\n    *   在情感倾向分析上，对中文的复杂性（如反讽、隐晦表述）有相对更好的处理能力。\n\n2.  **领域知识适配性较好**\n    *   在涉及科技、金融、公共政策等领域的文本分析中，表现出更准确的术语理解和上下文关联。\n\n3.  **本地部署的可行性**\n    *   支持本地化部署，这对于处理敏感的舆情数据、保障数据隐私和满足定制化需求至关重要。\n    *   在本地环境运行，避免了因网络API调用带来的延迟、费用与稳定性问题。\n\n## 资源参考\n\n如果您对盘古模型感兴趣，可以参考以下官方资源进行深入了解：\n*   华为openPangu-Embedded-7B-model下载地址：https:\u002F\u002Fai.gitcode.com\u002Fascend-tribe\u002Fopenpangu-embedded-7b-model\n\n---\n\n## 项目结构\n\n### 主要文件夹\n*   **分析系统**：`hotsearch_analysis_agent`\n*   **爬虫集群**：`hotsearchcrawler`（与分析系统完全分离）\n\n### 核心文件说明\n*   **项目启动文件**：`app.py`\n*   **推送任务测试文件**：`test_push_task`\n*   **爬虫测试文件**：`runspider-test`\n*   **爬虫启动文件**：`run_spiders`（通过前端界面启动）\n*   **数据库初始化参考**：`init.py`\n\n---\n\n## 部署步骤\n\n### 1. 环境准备\n\n#### 1.1 浏览器驱动配置（详细步骤）\n本项目依赖浏览器驱动获取新闻详情页内容，需按以下步骤配置：\n\n**步骤一：确认浏览器版本**\n- 确保已安装 **Edge** 或 **Chrome\u002FChromium** 浏览器。\n- 打开浏览器，进入 `设置` → `关于`，查看浏览器版本号（如 `Chrome 115.0.5790.102`）。\n\n**步骤二：下载对应驱动**\n- **Chrome 驱动**：访问 [ChromeDriver 下载页](https:\u002F\u002Fchromedriver.chromium.org\u002F)\n- **Edge 驱动**：访问 [EdgeDriver 下载页](https:\u002F\u002Fdeveloper.microsoft.com\u002Fen-us\u002Fmicrosoft-edge\u002Ftools\u002Fwebdriver\u002F)\n- 选择与浏览器版本匹配的驱动版本，下载对应操作系统的驱动文件（如 `chromedriver.exe`（Windows）、`chromedriver`（macOS\u002FLinux））。\n\n**步骤三：定位浏览器安装路径**\n- **Windows**：通常位于 `C:\\Program Files\\Google\\Chrome\\Application\\` 或 `C:\\Program Files (x86)\\Microsoft\\Edge\\Application\\`\n- **macOS**：通常位于 `\u002FApplications\u002FGoogle Chrome.app\u002FContents\u002FMacOS\u002F` 或 `\u002FApplications\u002FMicrosoft Edge.app\u002FContents\u002FMacOS\u002F`\n- **Linux**：通常位于 `\u002Fusr\u002Fbin\u002Fgoogle-chrome` 或 `\u002Fusr\u002Fbin\u002Fmicrosoft-edge`\n\n**步骤四：将驱动文件放置于系统可识别路径**\n- 建议将驱动文件（如 `chromedriver`）放置在以下任一位置：\n    1. 浏览器的安装目录（与浏览器可执行文件同级）\n    2. 系统 `PATH` 环境变量中包含的任意目录（如 `\u002Fusr\u002Flocal\u002Fbin\u002F`（macOS\u002FLinux）或 `C:\\Windows\\System32\\`（Windows））\n\n**步骤五：添加驱动路径至系统 PATH**\n- **Windows**：\n    1. 右键\"此电脑\" → \"属性\" → \"高级系统设置\" → \"环境变量\"\n    2. 在\"系统变量\"中找到 `Path`，点击\"编辑\"\n    3. 添加驱动所在目录的完整路径（如 `C:\\WebDriver\\`）\n- **macOS\u002FLinux**：\n    1. 打开终端，编辑 `~\u002F.bashrc` 或 `~\u002F.zshrc`\n    2. 添加一行：`export PATH=$PATH:\u002Fpath\u002Fto\u002Fdriver\u002Fdirectory`\n    3. 执行 `source ~\u002F.bashrc` 或重启终端\n\n**步骤六：验证驱动是否可用**\n- 在终端或命令行中执行：\n  ```bash\n  chromedriver --version\n  ```\n  或\n  ```bash\n  msedgedriver --version\n  ```\n- 若显示版本号，则说明驱动配置成功。\n\n#### 1.2 虚拟环境与依赖安装\n- 创建并激活虚拟环境。\n- 执行命令安装依赖：`pip install -r requirements.txt`\n\n#### 1.3 数据库配置\n- 下载安装 MySQL 数据库。\n- 参考 `init.py` 代码建立相应库和数据表。\n\n---\n\n### 2. 参数配置\n\n#### 2.1 爬虫集群配置 (`hotsearchcrawler\u002Fsettings`)\n- MySQL 接口参数设置。\n- 个别平台 cookies（可选）。\n\n#### 2.2 分析系统配置\n- **`.env` 文件设置**\n    - MySQL 参数。\n    - OpenAI 格式大模型接口参数。\n    - 各平台推送参数。\n    - 历史记忆轮数、模型温度等参数。\n- **cookies 配置**\n    - 在 `config\u002Fcookies` 文件中设置相应格式的平台 cookies（可通过浏览器插件获取）。\n    - **注**：cookies 为可选项，若未配置将损失个别平台的详情页提取能力。\n\n---\n\n## 推送任务参数获取指南（建议优先考虑邮箱推送，简单易使用）\n\n### 1. 企业微信群机器人（群聊）\n**参数名**: `WECOM_WEBHOOK`\n**获取步骤**：\n1.  登录企业微信管理后台（work.weixin.qq.com）。\n2.  进入\"应用管理\" → \"创建应用\"或选择已有应用。\n3.  在应用详情中，找到\"接收消息\" → \"配置 API 接收\"。\n\n**简易方式**：\n1.  在任意群聊中点击右上角群设置。\n2.  选择\"添加机器人\" → \"新建机器人\"。\n3.  设置机器人名称，复制生成的 Webhook URL。\n\n**格式示例**：\n`https:\u002F\u002Fqyapi.weixin.qq.com\u002Fcgi-bin\u002Fwebhook\u002Fsend?key=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx`\n\n### 2. 企业微信应用（推送到个人微信）\n需配置四个参数：\n\n*   **企业 ID (`WECOM_CORP_ID`)**：\n    *   **获取方式**：登录企业微信后台 → \"我的企业\" → \"企业信息\" → 找到\"企业 ID\"（通常以 `ww` 开头）。\n\n*   **应用 ID (`WECOM_AGENT_ID`)**：\n    *   **获取方式**：进入\"应用管理\" → 选择或创建应用 → 在应用详情页找到\"AgentId\"。\n\n*   **应用密钥 (`WECOM_SECRET`)**：\n    *   **获取方式**：在应用详情页找到\"Secret\"字段 → 点击\"查看\"（可能需要管理员权限）→ 复制生成的 Secret（一串随机字符）。\n\n*   **接收用户 ID (`WECOM_USER_ID`)**：\n    *   **获取方式**：进入\"通讯录\" → 查看成员信息 → 成员的\"账号\"字段即为 UserID。\n    *   **注意**：多个用户用 `|` 分隔，如：`zhangsan|lisi|wangwu`。\n\n### 3. Telegram 机器人\n需配置两个参数：\n\n*   **机器人 Token (`TELEGRAM_BOT_TOKEN`)**：\n    *   **获取步骤**：\n        1.  在 Telegram 中搜索 `@BotFather`。\n        2.  发送 `\u002Fnewbot` 命令。\n        3.  按提示设置机器人名称和 username。\n        4.  BotFather 会返回 token。\n    *   **格式示例**：`1234567890:ABCDEFGHIJKLMNOPQRSTUVWXYZ`\n\n*   **聊天 ID (`TELEGRAM_CHAT_ID`)**：\n    *   **获取方法一（个人聊天）**：\n        1.  给机器人发送任意消息。\n        2.  访问：`https:\u002F\u002Fapi.telegram.org\u002Fbot\u003CYourBOTToken>\u002FgetUpdates`\n        3.  在返回的 JSON 中找到 `chat.id`。\n    *   **获取方法二（群组\u002F频道）**：\n        1.  将机器人添加到群组\u002F频道。\n        2.  在群组中发送一条消息。\n        3.  通过上述 `getUpdates` 接口获取 `chat.id`。\n    *   **注意**：群组 ID 为负数，个人聊天 ID 为正数。\n\n### 4. 邮箱推送（SMTP）\n需配置五个参数：\n\n*   **SMTP 服务器 (`EMAIL_HOST`)**：\n    *   **常用邮箱 SMTP 服务器**：\n        *   QQ 邮箱：`smtp.qq.com`\n        *   163 邮箱：`smtp.163.com`\n        *   Gmail：`smtp.gmail.com`\n        *   企业邮箱：咨询邮箱服务商。\n\n*   **端口号 (`EMAIL_PORT`)**：\n    *   **常见端口**：\n        *   SSL 加密：`465`\n        *   TLS 加密：`587`\n        *   非加密：`25`（不推荐）。\n\n*   **发件邮箱 (`EMAIL_USER`)**：\n    *   用于发送邮件的邮箱地址，示例：`your_email@qq.com`。\n\n*   **邮箱密码\u002F授权码 (`EMAIL_PASSWORD`)**：\n    *   **注意**：不是登录密码，而是 SMTP 授权码。\n    *   **获取方式**：\n        *   QQ 邮箱：设置 → 账户 → POP3\u002FIMAP 服务 → 生成授权码。\n        *   163 邮箱：设置 → POP3\u002FSMTP\u002FIMAP → 客户端授权密码。\n        *   Gmail：需要开启两步验证，然后生成应用专用密码。\n\n*   **收件邮箱 (`EMAIL_TO`)**：\n    *   接收推送邮件的地址，多个邮箱用逗号分隔，如：`user1@qq.com,user2@163.com`。\n\n---\n\n## 注意事项\n\n1.  **系统分离**：爬虫集群 (`hotsearchcrawler`) 与分析系统 (`hotsearch_analysis_agent`) 完全分离，需**分别**进行参数配置。\n2.  **Cookies (可选)**：`cookies` 设置为可选项，若未配置将损失个别平台的详情页提取能力。\n3.  **参数格式**：各平台推送参数需严格按照格式要求填写，否则可能导致推送失败。\n4.  **数据库**：数据库配置需参考 `init.py` 代码创建相应库和表结构。\n5.  **功能测试**：所有参数配置完成后，建议先运行测试文件验证功能是否正常：\n    *   **推送测试**：运行 `test_push_task`。\n    *   **爬虫测试**：运行 `runspider-test`。\n\n---\n\n## 浏览器驱动配置快速检查清单\n\n- [ ] 已确认浏览器版本\n- [ ] 已下载匹配版本的驱动\n- [ ] 已配置系统 PATH（如需要）\n- [ ] 已通过命令行验证驱动可用\n\n---\n\n**文档版本：1.1**\n\n注意：完成浏览器驱动配置后，请继续按照项目部署文档完成后续步骤。如遇问题，可查看项目日志或运行测试文件定位具体错误。\n> 💖 **小小的星星，大大的鼓励！**\n> \n> 如果您觉得这个项目有用，请给它一颗星 ⭐️\n> 这将激励我继续改进和完善！🚀\n\n# 开源软件使用声明\n\n## 项目信息\n- 项目名称: 舆情分析系统\n- 版本: 1.0.0\n- 版权所有: [huangmingqi]\n- 项目许可证: MIT\n\n## 使用的开源软件列表\n\n| 序号 | 开源软件名称 | 版本 | 许可证 | 用途 |\n|------|--------------|------|--------|------|\n| 1 | LangChain | 0.0.346 | MIT | 智能体框架构建 |\n| 2 | Scrapy | 2.11.0 | BSD | 网络爬虫功能 |\n| 3 | PyMySQL | 1.1.0 | MIT | MySQL数据库连接 |\n| 4 | scikit-learn | 1.3.0 | BSD | 聚类分析算法 |\n| 5 | jieba | 0.42.1 | MIT | 中文分词处理 |\n| 6 | textblob | 0.17.1 | MIT | 情感分析功能 |\n| 7 | ChromaDB | 0.4.15 | Apache 2.0 | 向量数据库 |\n| 8 | sentence-transformers | 2.2.2 | Apache 2.0 | 文本嵌入模型 |\n| 9 | requests | 2.31.0 | Apache 2.0 | HTTP请求处理 |\n| 10 | beautifulsoup4 | 4.12.2 | MIT | HTML内容解析 |\n| 11 | lxml | 4.9.3 | BSD | XML\u002FHTML处理 |\n| 12 | schedule | 1.2.0 | MIT | 定时任务调度 |\n| 13 | tqdm | 4.66.1 | MPL-2.0 | 进度条显示 |\n| 14 | numpy | 1.24.3 | BSD | 数值计算 |\n| 15 | Twisted | 22.10.0 | MIT | 异步网络框架 |\n| 16 | pyOpenSSL | 23.2.0 | Apache 2.0 | SSL\u002FTLS支持 |\n| 17 | cryptography | 41.0.7 | Apache 2.0\u002FBSD | 加密功能 |\n\n## 许可证义务履行\n\n### 已履行的义务\n1. 在所有分发版本中包含完整的许可证文本\n2. 保留所有开源软件的版权声明\n3. 在NOTICE文件中明确声明使用的开源软件\n4. 提供本使用声明文档\n\n### 许可证兼容性说明\n本项目使用的开源软件均采用宽松的开源许可证（MIT、BSD、Apache 2.0等），\n这些许可证与项目选择的MIT许可证完全兼容。\n\n## 第三方服务声明\n本软件使用了OpenAI API服务，该服务不属于开源软件，但受OpenAI的服务条款约束。\n\n# 免责声明\n\n## 重要提示\n\n本项目（包括但不限于所有爬虫代码、分析工具及相关文档）仅供**学习、研究与交流目的**使用。任何用户在使用本项目代码或衍生作品前，**必须**仔细阅读并理解本免责声明的全部内容。使用本项目即表示您同意承担所有相关风险及责任。\n\n## 1. 使用性质\n- 本项目为**技术演示与学术研究项目**，所有代码及文档均不构成任何形式的专业建议或服务。\n- 严禁将本项目用于任何**非法、侵权、商业盈利或违反目标网站服务条款**的用途。\n\n## 2. 关于网络爬虫的特别声明\n- **遵守法律法规与网站协议**：使用者有责任确保其爬虫行为符合《中华人民共和国网络安全法》、《数据安全法》、《个人信息保护法》等相关法律法规，并严格遵守目标网站的`robots.txt`协议、服务条款及使用规范。\n- **尊重网站负载**：使用者应通过合理技术手段（如设置请求间隔、并发控制等）避免对目标网站服务器造成不当负担或干扰其正常运营。\n- **数据使用限制**：通过爬虫获取的任何数据，其使用范围不得超出数据所有者（目标网站）明确允许的范畴，并应特别注意对个人信息、商业秘密等敏感数据的保护。\n\n## 3. 风险自担\n- 使用本项目代码及由此产生的任何行为**完全由使用者自行承担风险**。项目开发者（贡献者）不对以下情况负责：\n    - 因使用本项目而产生的任何直接、间接、偶然或特殊的损失或损害。\n    - 因违反目标网站规定、相关法律或本声明所引发的任何法律纠纷、索赔或处罚。\n    - 因数据准确性、完整性、及时性问题导致的任何决策后果。\n\n## 4. 知识产权\n- 项目代码版权归本仓库贡献者所有，详见LICENSE文件。\n- 通过爬虫获取的数据，其知识产权归属于原始数据提供方（目标网站\u002F平台）。使用者有责任尊重并维护原始数据所有者的合法权益。\n\n## 5. 第三方责任\n- 本项目可能引用或依赖第三方库、工具或服务，其各自的知识产权与免责声明由其所有者提供。项目开发者不对这些第三方内容承担任何责任。\n\n## 6. 建议与终止\n- **强烈建议**在使用任何爬虫前，先行咨询法律与合规专业人士，并与目标网站进行必要沟通。\n- 如任何网站明确要求停止抓取，使用者应立即终止相关爬虫行为。\n- 项目开发者保留随时更新或终止本项目的权利，且不因此对任何使用者承担责任。\n\n---\n","# 舆情分析助手项目文档\n\n## 项目概述\n\n本项目是一款结合 **15 个主流平台** 的 **26 个榜单** 实时数据与大模型分析能力的舆情分析助手。通过前端页面，用户可实现对话式热搜榜单查询、特定主题搜索、话题聚类分析及情感倾向分析。系统支持快捷键控制爬虫启停、多平台数据快速查询与跳转，并能基于新闻详情页内容（即使是视频信息也能挖掘出来）累积分析结果，设置包括邮箱、微信、企业微信、Telegram 在内的多渠道热点推送任务。\n![图片描述](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhmmnxkl_LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant_readme_81a23bc58989.png)\n---\n\n## 核心功能\n\n### 1. 数据采集与分析\n系统整合多平台实时数据，通过大模型分析能力提供多维舆情洞察。用户可通过自然语言对话完成以下操作：\n*   **热搜榜单查询**：实时获取各平台热门话题排行。\n*   **特定主题搜索**：精准定位目标舆情信息。\n*   **话题聚类分析**：自动识别关联话题并生成聚类结果。\n*   **情感倾向分析**：智能判断舆情正负向趋势。\n\n### 2. 操作与推送功能\n*   **爬虫控制**：支持快捷键启动\u002F结束爬虫任务。\n*   **数据查询**：各平台数据快速检索并可直接点击跳转原始页面。\n*   **热点推送**：基于新闻详情页内容累积分析结果(包括视频类新闻数据的获取)，支持以下多渠道推送：\n    *   企业微信群机器人\n    *   企业微信应用（推送到个人微信）\n    *   Telegram 机器人\n    *   邮箱（SMTP 协议）\n\n# 报告 - 关于特朗普和美国相关的消息（推送报告示例）\n时间：2025-12-23 16:07:54\n\n### 关于特朗普与美国近期动态的报告\n\n本报告旨在梳理近期与特朗普及美国相关的关键信息。根据提供的结构化数据，直接匹配“特朗普”和“美国”的聚类主题未能找到。然而，通过对原始搜索结果的深入分析，我们识别出两个主要信息流：一是围绕美国军事项目（特别是海军舰艇）的广泛讨论，其中部分内容涉及特朗普的言论；二是一则关于特朗普与委内瑞拉外交摩擦的明确新闻报道。以下为详细报告。\n\n#### 核心发现与数据亮点\n\n1. 特朗普的军事主张成为焦点：在关于美国海军项目的讨论中，前总统兼2024年总统候选人唐纳德·特朗普的相关言论是高频出现的内容。他关于建造新型大型战舰的宣称，引发了大量关注和衍生内容。\n2. 美国海军项目争议不断：美国“星座级”护卫舰等项目因成本超支、进度延误和技术问题受到广泛批评，被部分媒体称为“最失败项目”，这与特朗普宣称的“强大海军”愿景形成鲜明对比。\n3. 美委紧张局势升级：一则权威新闻报道证实，特朗普政府近期加强对委内瑞拉的制裁与海上封锁行动，导致两国关系持续紧张，并引发委内瑞拉总统马杜罗的公开回应。\n\n#### 详细新闻内容梳理\n\n以下列出从数据中提取的、与查询直接或强相关的新闻条目：\n\n**1. 特朗普高调宣布新型战舰计划**\n* 标题：特朗普：将建“特朗普级”新型战舰，比现有舰艇“强100倍”\n* URL：https:\u002F\u002Fsearch.bilibili.com\u002Fall?keyword=如何评价美国新护卫舰项目&from_source=webtop_search&spm_id_from=333.934&search_source=4 (内容列表内)\n* 摘要：据央视新闻报道，特朗普公开宣布将建造名为“特朗普级”的新型战舰，并宣称其战斗力将比现有舰艇“强100倍”。此言论迅速成为热议话题，体现了其强调增强美国军事力量的个人政治风格。\n\n**2. 美委外交风波：马杜罗隔空喊话特朗普**\n* 标题：马杜罗：特朗普，请管好美国自己的问题\n* URL：http:\u002F\u002Fwww.baidu.com\u002Flink?url=AYq6wxS3CV4H7aKMowVtRndNgSCwXdN5tNxbtTIr9UALSMH4o22_fP44PDUXjTOmXaaGOFG8kC2G-8PNLdRZVa\n* 摘要：新华社加拉加斯电，委内瑞拉总统马杜罗于12月22日公开表示，建议美国总统特朗普专注于处理美国国内的关键问题。马杜罗指出，特朗普近期70%的讲话都在针对委内瑞拉。此举是对特朗普政府自12月10日起多次在委附近海域拦截油轮、并于16日下令对委实施“全面彻底封锁”的强硬回应。委方谴责美方行为是“海盗行径”，两国紧张关系加剧。\n\n**3. 美国海军护卫舰项目陷入困境**\n* 标题：美国8年砸8亿的“星座级”护卫舰项目彻底烂尾\n* URL：https:\u002F\u002Fsearch.bilibili.com\u002Fall?keyword=如何评价美国新护卫舰项目&from_source=webtop_search&spm_id_from=333.934&search_source=4 (内容列表内)\n* 摘要：有视频报道指出，美国海军重要的“星座级”护卫舰项目面临严重问题，被形容为“彻底烂尾”。该项目耗时8年、耗资巨大，但进展缓慢，暴露了美军在装备采购和项目管理方面存在的深层问题。\n\n**4. 舆论关注美国军事战略与设计**\n* 标题：如何评价美国新护卫舰项目？美国公开新型护卫舰设计给世界看傻了\n* URL：https:\u002F\u002Fsearch.bilibili.com\u002Fall?keyword=如何评价美国新护卫舰项目&from_source=webtop_search&spm_id_from=333.934&search_source=4 (内容列表内)\n* 摘要：该内容反映了公众和军事观察家对美国最新公开的护卫舰设计方案的关注与讨论。其中不乏将其与外国同类舰艇（如被提及的中国054型护卫舰）进行比较，讨论其设计理念、实战效能及项目前景。\n\n**5. 特朗普宣称建造“黄金舰队”**\n* 标题：突发！特朗普宣布：批准建造“黄金舰队”，首先造2艘有史以来最大的战列舰！\n* URL：https:\u002F\u002Fsearch.bilibili.com\u002Fall?keyword=如何评价美国新护卫舰项目&from_source=webtop_search&spm_id_from=333.934&search_source=4 (内容列表内)\n* 摘要：这是一则关于特朗普宣称打造“黄金舰队”并优先建造巨型战列舰的报道。此类消息通常带有强烈的个人宣传色彩，旨在吸引眼球并塑造其强力领导人的形象，但其现实可行性和具体细节常受质疑。\n\n#### 分析与总结\n\n从以上信息可以看出，近期“特朗普”与“美国”相关的消息主要交织在 **军事外交** 和 **国内政治叙事** 两个维度：\n\n1. 对外强硬姿态：特朗普通过对委内瑞拉实施极限施压（油轮封锁）、高调宣布扩军计划（“特朗普级”战舰），持续塑造其对外强硬、维护“美国优先”的形象。这与马杜罗的回应共同构成了当前美拉关系中的一个热点冲突。\n2. 国内政治与军事改革的碰撞：特朗普雄心勃勃的军事建设宣言，与美国军方当前面临的现实困境（如“星座级”护卫舰项目的失败）形成巨大反差。这种反差成为媒体和公众讨论的焦点，既涉及对美国军费效率的批评，也涉及对特朗普政策主张可行性的探讨。\n3. 信息传播特点：相关话题在中文网络平台（如Bilibili）上传播时，呈现出混合状态：既有引自央视、新华社的权威新闻，也有大量自媒体制作的解读、评论甚至带有夸张色彩的二次创作内容。用户在获取信息时需注意辨别来源与事实核查。\n\n综上所述，尽管初始聚类分析未显示直接关联主题，但实际数据揭示了以 **“特朗普的军事主张”** 和 **“美委紧张关系”** 为核心的两条清晰线索，共同勾勒出特朗普活跃于美国政治前台时，其言论与政策如何持续影响美国的内外议程与公众讨论。\n\n---\n# 技术选型说明：关于使用盘古大模型\n![图片描述](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhmmnxkl_LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant_readme_a690ca3b6b37.png)\n\n## 概述\n\n本项目在开发过程中，为提升舆情分析环节的核心能力，对多个开源及可本地化部署的大语言模型进行了对比测试。经实际验证，**华为盘古大模型**在本项目的特定任务场景下表现良好，因此选择将其作为推荐的分析引擎之一集成到项目中。\n\n## 选型理由\n\n以下是在本地测试环境中，我们观察到的盘古模型相较于其他对比模型的一些**实际特点**：\n\n1. 对长文本的解析能力较强\n    * 在处理新闻稿、长篇论坛帖子等文本时，能较为稳定地提取核心事件与观点。\n    * 在情感倾向分析上，对中文的复杂性（如反讽、隐晦表述）有相对更好的处理能力。\n\n2. 领域知识适配性较好\n    * 在涉及科技、金融、公共政策等领域的文本分析中，表现出更准确的术语理解和上下文关联。\n\n3. 本地部署的可行性\n    * 支持本地化部署，这对于处理敏感的舆情数据、保障数据隐私和满足定制化需求至关重要。\n    * 在本地环境运行，避免了因网络API调用带来的延迟、费用与稳定性问题。\n\n## 资源参考\n\n如果您对盘古模型感兴趣，可以参考以下官方资源进行深入了解：\n* 华为openPangu-Embedded-7B-model下载地址：https:\u002F\u002Fai.gitcode.com\u002Fascend-tribe\u002Fopenpangu-embedded-7b-model\n\n---\n\n## 项目结构\n\n### 主要文件夹\n* 分析系统：`hotsearch_analysis_agent`\n* 爬虫集群：`hotsearchcrawler`（与分析系统完全分离）\n\n### 核心文件说明\n* 项目启动文件：`app.py`\n* 推送任务测试文件：`test_push_task`\n* 爬虫测试文件：`runspider-test`\n* 爬虫启动文件：`run_spiders`（通过前端界面启动）\n* 数据库初始化参考：`init.py`\n\n---\n\n## 部署步骤\n\n### 1. 环境准备\n\n#### 1.1 浏览器驱动配置（详细步骤）\n本项目依赖浏览器驱动获取新闻详情页内容，需按以下步骤配置：\n\n**步骤一：确认浏览器版本**\n- 确保已安装 **Edge** 或 **Chrome\u002FChromium** 浏览器。\n- 打开浏览器，进入 `设置` → `关于`，查看浏览器版本号（如 `Chrome 115.0.5790.102`）。\n\n**步骤二：下载对应驱动**\n- **Chrome 驱动**：访问 [ChromeDriver 下载页](https:\u002F\u002Fchromedriver.chromium.org\u002F)\n- **Edge 驱动**：访问 [EdgeDriver 下载页](https:\u002F\u002Fdeveloper.microsoft.com\u002Fen-us\u002Fmicrosoft-edge\u002Ftools\u002Fwebdriver\u002F)\n- 选择与浏览器版本匹配的驱动版本，下载对应操作系统的驱动文件（如 `chromedriver.exe`（Windows）、`chromedriver`（macOS\u002FLinux））。\n\n**步骤三：定位浏览器安装路径**\n- **Windows**：通常位于 `C:\\Program Files\\Google\\Chrome\\Application\\` 或 `C:\\Program Files (x86)\\Microsoft\\Edge\\Application\\`\n- **macOS**：通常位于 `\u002FApplications\u002FGoogle Chrome.app\u002FContents\u002FMacOS\u002F` 或 `\u002FApplications\u002FMicrosoft Edge.app\u002FContents\u002FMacOS\u002F`\n- **Linux**：通常位于 `\u002Fusr\u002Fbin\u002Fgoogle-chrome` 或 `\u002Fusr\u002Fbin\u002Fmicrosoft-edge`\n\n**步骤四：将驱动文件放置于系统可识别路径**\n- 建议将驱动文件（如 `chromedriver`）放置在以下任一位置：\n    1. 浏览器的安装目录（与浏览器可执行文件同级）\n    2. 系统 `PATH` 环境变量中包含的任意目录（如 `\u002Fusr\u002Flocal\u002Fbin\u002F`（macOS\u002FLinux）或 `C:\\Windows\\System32\\`（Windows））\n\n**步骤五：添加驱动路径至系统 PATH**\n- **Windows**：\n    1. 右键\"此电脑\" → \"属性\" → \"高级系统设置\" → \"环境变量\"\n    2. 在\"系统变量\"中找到 `Path`，点击\"编辑\"\n    3. 添加驱动所在目录的完整路径（如 `C:\\WebDriver\\`）\n- **macOS\u002FLinux**：\n    1. 打开终端，编辑 `~\u002F.bashrc` 或 `~\u002F.zshrc`\n    2. 添加一行：`export PATH=$PATH:\u002Fpath\u002Fto\u002Fdriver\u002Fdirectory`\n    3. 执行 `source ~\u002F.bashrc` 或重启终端\n\n**步骤六：验证驱动是否可用**\n- 在终端或命令行中执行：\n  ```bash\n  chromedriver --version\n  ```\n  或\n  ```bash\n  msedgedriver --version\n  ```\n- 若显示版本号，则说明驱动配置成功。\n\n#### 1.2 虚拟环境与依赖安装\n- 创建并激活虚拟环境。\n- 执行命令安装依赖：`pip install -r requirements.txt`\n\n#### 1.3 数据库配置\n- 下载安装 MySQL 数据库。\n- 参考 `init.py` 代码建立相应库和数据表。\n\n---\n\n### 2. 参数配置\n\n#### 2.1 爬虫集群配置 (`hotsearchcrawler\u002Fsettings`)\n- MySQL 接口参数设置。\n- 个别平台 cookies（可选）。\n\n#### 2.2 分析系统配置\n- `.env` 文件设置\n    - MySQL 参数。\n    - OpenAI 格式大模型接口参数。\n    - 各平台推送参数。\n    - 历史记忆轮数、模型温度等参数。\n- cookies 配置\n    - 在 `config\u002Fcookies` 文件中设置相应格式的平台 cookies（可通过浏览器插件获取）。\n    - 注：cookies 为可选项，若未配置将损失个别平台的详情页提取能力。\n\n---\n\n## 推送任务参数获取指南（建议优先考虑邮箱推送，简单易使用）\n\n### 1. 企业微信群机器人（群聊）\n**参数名**: `WECOM_WEBHOOK`\n**获取步骤**：\n1. 登录企业微信管理后台（work.weixin.qq.com）。\n2. 进入\"应用管理\" → \"创建应用\"或选择已有应用。\n3. 在应用详情中，找到\"接收消息\" → \"配置 API 接收\"。\n\n**简易方式**：\n1. 在任意群聊中点击右上角群设置。\n2. 选择\"添加机器人\" → \"新建机器人\".\n3. 设置机器人名称，复制生成的 Webhook URL。\n\n**格式示例**：\n`https:\u002F\u002Fqyapi.weixin.qq.com\u002Fcgi-bin\u002Fwebhook\u002Fsend?key=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx`\n\n### 2. 企业微信应用（推送到个人微信）\n需配置四个参数：\n\n*   **企业 ID (`WECOM_CORP_ID`)**：\n    *   **获取方式**：登录企业微信后台 → \"我的企业\" → \"企业信息\" → 找到\"企业 ID\"（通常以 `ww` 开头）。\n\n*   **应用 ID (`WECOM_AGENT_ID`)**：\n    *   **获取方式**：进入\"应用管理\" → 选择或创建应用 → 在应用详情页找到\"AgentId\"。\n\n*   **应用密钥 (`WECOM_SECRET`)**：\n    *   **获取方式**：在应用详情页找到\"Secret\"字段 → 点击\"查看\"（可能需要管理员权限）→ 复制生成的 Secret（一串随机字符）。\n\n*   **接收用户 ID (`WECOM_USER_ID`)**：\n    *   **获取方式**：进入\"通讯录\" → 查看成员信息 → 成员的\"账号\"字段即为 UserID。\n    *   **注意**：多个用户用 `|` 分隔，如：`zhangsan|lisi|wangwu`。\n\n### 3. Telegram 机器人\n需配置两个参数：\n\n*   **机器人 Token (`TELEGRAM_BOT_TOKEN`)**：\n    *   **获取步骤**：\n        1.  在 Telegram 中搜索 `@BotFather`。\n        2.  发送 `\u002Fnewbot` 命令。\n        3.  按提示设置机器人名称和 username。\n        4.  BotFather 会返回 token。\n    *   **格式示例**：`1234567890:ABCDEFGHIJKLMNOPQRSTUVWXYZ`\n\n*   **聊天 ID (`TELEGRAM_CHAT_ID`)**：\n    *   **获取方法一（个人聊天）**：\n        1.  给机器人发送任意消息。\n        2.  访问：`https:\u002F\u002Fapi.telegram.org\u002Fbot\u003CYourBOTToken>\u002FgetUpdates`\n        3.  在返回的 JSON 中找到 `chat.id`。\n    *   **获取方法二（群组\u002F频道）**：\n        1.  将机器人添加到群组\u002F频道。\n        2.  在群组中发送一条消息。\n        3.  通过上述 `getUpdates` 接口获取 `chat.id`。\n    *   **注意**：群组 ID 为负数，个人聊天 ID 为正数。\n\n### 4. 邮箱推送（SMTP）\n需配置五个参数：\n\n*   **SMTP 服务器 (`EMAIL_HOST`)**：\n    *   **常用邮箱 SMTP 服务器**：\n        *   QQ 邮箱：`smtp.qq.com`\n        *   163 邮箱：`smtp.163.com`\n        *   Gmail：`smtp.gmail.com`\n        *   企业邮箱：咨询邮箱服务商。\n\n*   **端口号 (`EMAIL_PORT`)**：\n    *   **常见端口**：\n        *   SSL 加密：`465`\n        *   TLS 加密：`587`\n        *   非加密：`25`（不推荐）。\n\n*   **发件邮箱 (`EMAIL_USER`)**：\n    *   用于发送邮件的邮箱地址，示例：`your_email@qq.com`。\n\n*   **邮箱密码\u002F授权码 (`EMAIL_PASSWORD`)**：\n    *   **注意**：不是登录密码，而是 SMTP 授权码。\n    *   **获取方式**：\n        *   QQ 邮箱：设置 → 账户 → POP3\u002FIMAP 服务 → 生成授权码。\n        *   163 邮箱：设置 → POP3\u002FSMTP\u002FIMAP → 客户端授权密码。\n        *   Gmail：需要开启两步验证，然后生成应用专用密码。\n\n*   **收件邮箱 (`EMAIL_TO`)**：\n    *   接收推送邮件的地址，多个邮箱用逗号分隔，如：`user1@qq.com,user2@163.com`。\n\n---\n\n## 注意事项\n\n1.  **系统分离**：爬虫集群 (`hotsearchcrawler`) 与分析系统 (`hotsearch_analysis_agent`) 完全分离，需**分别**进行参数配置。\n2.  **Cookies (可选)**：`cookies` 设置为可选项，若未配置将损失个别平台的详情页提取能力。\n3.  **参数格式**：各平台推送参数需严格按照格式要求填写，否则可能导致推送失败。\n4.  **数据库**：数据库配置需参考 `init.py` 代码创建相应库和表结构。\n5.  **功能测试**：所有参数配置完成后，建议先运行测试文件验证功能是否正常：\n    *   **推送测试**：运行 `test_push_task`。\n    *   **爬虫测试**：运行 `runspider-test`。\n\n---\n\n## 浏览器驱动配置快速检查清单\n\n- [ ] 已确认浏览器版本\n- [ ] 已下载匹配版本的驱动\n- [ ] 已配置系统 PATH（如需要）\n- [ ] 已通过命令行验证驱动可用\n\n---\n\n**文档版本：1.1**\n\n注意：完成浏览器驱动配置后，请继续按照项目部署文档完成后续步骤。如遇问题，可查看项目日志或运行测试文件定位具体错误。\n> 💖 **小小的星星，大大的鼓励！**\n> \n> 如果您觉得这个项目有用，请给它一颗星 ⭐️\n> 这将激励我继续改进和完善！🚀\n\n# 开源软件使用声明\n\n## 项目信息\n- 项目名称: 舆情分析系统\n- 版本: 1.0.0\n- 版权所有: [huangmingqi]\n- 项目许可证: MIT\n\n## 使用的开源软件列表\n\n| 序号 | 开源软件名称 | 版本 | 许可证 | 用途 |\n|------|--------------|------|--------|------|\n| 1 | LangChain | 0.0.346 | MIT | 智能体框架构建 |\n| 2 | Scrapy | 2.11.0 | BSD | 网络爬虫功能 |\n| 3 | PyMySQL | 1.1.0 | MIT | MySQL数据库连接 |\n| 4 | scikit-learn | 1.3.0 | BSD | 聚类分析算法 |\n| 5 | jieba | 0.42.1 | MIT | 中文分词处理 |\n| 6 | textblob | 0.17.1 | MIT | 情感分析功能 |\n| 7 | ChromaDB | 0.4.15 | Apache 2.0 | 向量数据库 |\n| 8 | sentence-transformers | 2.2.2 | Apache 2.0 | 文本嵌入模型 |\n| 9 | requests | 2.31.0 | Apache 2.0 | HTTP请求处理 |\n| 10 | beautifulsoup4 | 4.12.2 | MIT | HTML内容解析 |\n| 11 | lxml | 4.9.3 | BSD | XML\u002FHTML处理 |\n| 12 | schedule | 1.2.0 | MIT | 定时任务调度 |\n| 13 | tqdm | 4.66.1 | MPL-2.0 | 进度条显示 |\n| 14 | numpy | 1.24.3 | BSD | 数值计算 |\n| 15 | Twisted | 22.10.0 | MIT | 异步网络框架 |\n| 16 | pyOpenSSL | 23.2.0 | Apache 2.0 | SSL\u002FTLS支持 |\n| 17 | cryptography | 41.0.7 | Apache 2.0\u002FBSD | 加密功能 |\n\n## 许可证义务履行\n\n### 已履行的义务\n1. 在所有分发版本中包含完整的许可证文本\n2. 保留所有开源软件的版权声明\n3. 在NOTICE文件中明确声明使用的开源软件\n4. 提供本使用声明文档\n\n### 许可证兼容性说明\n本项目使用的开源软件均采用宽松的开源许可证（MIT、BSD、Apache 2.0等），\n这些许可证与项目选择的MIT许可证完全兼容。\n\n## 第三方服务声明\n本软件使用了OpenAI API服务，该服务不属于开源软件，但受OpenAI的服务条款约束。\n\n# 免责声明\n\n## 重要提示\n\n本项目（包括但不限于所有爬虫代码、分析工具及相关文档）仅供**学习、研究与交流目的**使用。任何用户在使用本项目代码或衍生作品前，**必须**仔细阅读并理解本免责声明的全部内容。使用本项目即表示您同意承担所有相关风险及责任。\n\n## 1. 使用性质\n- 本项目为**技术演示与学术研究项目**，所有代码及文档均不构成任何形式的专业建议或服务。\n- 严禁将本项目用于任何**非法、侵权、商业盈利或违反目标网站服务条款**的用途。\n\n## 2. 关于网络爬虫的特别声明\n- **遵守法律法规与网站协议**：使用者有责任确保其爬虫行为符合《中华人民共和国网络安全法》、《数据安全法》、《个人信息保护法》等相关法律法规，并严格遵守目标网站的`robots.txt`协议、服务条款及使用规范。\n- **尊重网站负载**：使用者应通过合理技术手段（如设置请求间隔、并发控制等）避免对目标网站服务器造成不当负担或干扰其正常运营。\n- **数据使用限制**：通过爬虫获取的任何数据，其使用范围不得超出数据所有者（目标网站）明确允许的范畴，并应特别注意对个人信息、商业秘密等敏感数据的保护。\n\n## 3. 风险自担\n- 使用本项目代码及由此产生的任何行为**完全由使用者自行承担风险**。项目开发者（贡献者）不对以下情况负责：\n    - 因使用本项目而产生的任何直接、间接、偶然或特殊的损失或损害。\n    - 因违反目标网站规定、相关法律或本声明所引发的任何法律纠纷、索赔或处罚。\n    - 因数据准确性、完整性、及时性问题导致的任何决策后果。\n\n## 4. 知识产权\n- 项目代码版权归本仓库贡献者所有，详见LICENSE文件。\n- 通过爬虫获取的数据，其知识产权归属于原始数据提供方（目标网站\u002F平台）。使用者有责任尊重并维护原始数据所有者的合法权益。\n\n## 5. 第三方责任\n- 本项目可能引用或依赖第三方库、工具或服务，其各自的知识产权与免责声明由其所有者提供。项目开发者不对这些第三方内容承担任何责任。\n\n## 6. 建议与终止\n- **强烈建议**在使用任何爬虫前，先行咨询法律与合规专业人士，并与目标网站进行必要沟通。\n- 如任何网站明确要求停止抓取，使用者应立即终止相关爬虫行为。\n- 项目开发者保留随时更新或终止本项目的权利，且不因此对任何使用者承担责任。\n\n---","# LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant 快速上手指南\n\n## 环境准备\n\n### 系统要求与前置依赖\n*   **编程语言**：Python 3.x\n*   **数据库**：MySQL（需提前安装并启动服务）\n*   **浏览器**：Google Chrome 或 Microsoft Edge\n*   **浏览器驱动**：ChromeDriver 或 EdgeDriver（版本需与浏览器严格匹配）\n\n### 关键配置检查\n在开始安装前，请确保浏览器驱动已正确配置到系统环境变量 `PATH` 中。\n验证方法：在终端执行以下命令，若能输出版本号即表示配置成功。\n```bash\nchromedriver --version\n# 或\nmsedgedriver --version\n```\n\n## 安装步骤\n\n### 1. 克隆项目与创建虚拟环境\n```bash\ngit clone \u003C项目仓库地址>\ncd LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant\n\n# 创建虚拟环境\npython -m venv venv\n\n# 激活虚拟环境\n# Windows:\nvenv\\Scripts\\activate\n# macOS\u002FLinux:\nsource venv\u002Fbin\u002Factivate\n```\n\n### 2. 安装依赖\n```bash\npip install -r requirements.txt\n```\n> **提示**：若下载速度慢，可添加国内镜像源，例如：`pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 3. 数据库初始化\n参考项目根目录下的 `init.py` 文件，在 MySQL 中创建对应的数据库和数据表结构。\n\n### 4. 参数配置\n项目包含两个独立模块，需分别配置：\n\n#### A. 爬虫集群配置 (`hotsearchcrawler\u002Fsettings`)\n*   配置 MySQL 连接信息。\n*   （可选）配置特定平台的 Cookies 以增强详情页获取能力。\n\n#### B. 分析系统配置 (`.env` 文件)\n在项目根目录创建或编辑 `.env` 文件，配置以下关键参数：\n*   **数据库**：MySQL 连接参数。\n*   **大模型**：OpenAI 格式接口参数（推荐使用华为盘古大模型或其他兼容 OpenAI 格式的本地\u002F云端模型）。\n*   **推送渠道**：根据需求配置邮箱、企业微信或 Telegram 的参数（详见原 README “推送任务参数获取指南”）。\n*   **其他**：历史记忆轮数、模型温度等。\n\n## 基本使用\n\n### 1. 功能测试（推荐先执行）\n在正式运行前，建议通过测试脚本验证配置是否正确。\n\n*   **测试推送功能**：\n    ```bash\n    python test_push_task\n    ```\n*   **测试爬虫功能**：\n    ```bash\n    python runspider-test\n    ```\n\n### 2. 启动服务\n\n*   **启动前端与分析系统**：\n    ```bash\n    python app.py\n    ```\n    启动后，通过浏览器访问前端页面进行对话式热搜查询、主题搜索及情感分析。\n\n*   **启动爬虫集群**：\n    可通过前端界面快捷键控制启停，或在命令行直接运行：\n    ```bash\n    python run_spiders\n    ```\n\n### 3. 核心功能体验\n*   **热搜查询**：在前端输入自然语言指令，如“查看微博今日热搜”。\n*   **专题分析**：输入特定主题（如“特朗普”），系统将自动聚类相关话题并生成情感分析报告。\n*   **热点推送**：配置好推送参数后，系统将根据设定频率将分析结果推送到指定渠道（如企业微信或邮箱）。","某跨国科技公司的公关总监正面临突发危机：社交媒体上突然涌现大量关于其新产品“涉嫌数据泄露”的负面讨论，且信息散落在微博、B站、知乎等15个主流平台，团队需在2小时内厘清事实并制定回应策略。\n\n### 没有 LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant 时\n- **数据收集低效**：分析师需手动切换多个平台搜索关键词，难以覆盖全部26个实时榜单，极易遗漏B站视频评论或小众论坛的关键线索。\n- **情感判断主观**：面对海量混杂着反讽、隐喻的中文评论，人工研判情感倾向耗时且易出错，难以快速区分真实用户抱怨与水军攻击。\n- **信息整合滞后**：将分散的新闻、视频摘要和网友观点整理成报告需数小时，导致管理层无法在黄金窗口期获取结构化洞察，决策严重延迟。\n- **监控存在盲区**：缺乏自动化推送机制，团队需时刻盯着屏幕，一旦夜间出现新热点（如权威媒体介入报道），无法即时收到微信或邮件预警。\n\n### 使用 LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant 后\n- **全域自动聚合**：通过对话式指令一键查询多平台热搜，系统自动抓取包括视频内容在内的全量数据，确保无死角覆盖关键舆情源头。\n- **智能深度分析**：依托盘古大模型强大的长文本解析能力，精准识别中文语境下的反讽与隐晦表达，自动生成客观的情感倾向分析与话题聚类。\n- **报告即时生成**：系统自动提炼核心事件（如区分事实指控与情绪宣泄），秒级输出包含信源链接的结构化报告，大幅缩短从数据到洞察的路径。\n- **多渠道实时触达**：配置企业微信与邮箱推送任务，一旦监测到负面声量激增或关键媒体发声，立即通知相关负责人，实现7x24小时被动式监控。\n\n核心价值在于将原本需要多人协作数小时的舆情排查工作，压缩为分钟级的自动化智能洞察，显著提升危机响应速度与决策准确性。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhmmnxkl_LLM-Based-Intelligent-Public-Opinion-Analytics-Assistant_81a23bc5.png","hmmnxkl","Huang ming qi","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fhmmnxkl_2a7d8b51.png","Reborn:Grinding on GitHub","XJTU","XIAN","hmmnxklwan@qq.com",null,"https:\u002F\u002Fgithub.com\u002Fhmmnxkl",[25,29,33,37],{"name":26,"color":27,"percentage":28},"Python","#3572A5",85.8,{"name":30,"color":31,"percentage":32},"HTML","#e34c26",10.7,{"name":34,"color":35,"percentage":36},"Dockerfile","#384d54",2.8,{"name":38,"color":39,"percentage":40},"Shell","#89e051",0.7,584,50,"2026-04-03T01:33:54","MIT",4,"Windows, macOS, Linux","未说明（若本地部署盘古大模型则需相应GPU资源，否则仅依赖API）","未说明",{"notes":50,"python":48,"dependencies":51},"1. 必须安装 Edge 或 Chrome\u002FChromium 浏览器，并配置对应版本的 WebDriver（chromedriver 或 msedgedriver）至系统 PATH。2. 需自行安装并配置 MySQL 数据库，参考 init.py 建表。3. 大模型支持本地部署华为盘古大模型（推荐 openPangu-Embedded-7B）或使用 OpenAI 格式接口。4. 爬虫集群与分析系统完全分离，需分别配置参数。5. 部分平台数据抓取可能需要配置 Cookies。",[52,53,54,55,56,57,58,59,60,61],"LangChain==0.0.346","Scrapy==2.11.0","PyMySQL==1.1.0","scikit-learn==1.3.0","jieba==0.42.1","ChromaDB==0.4.15","sentence-transformers==2.2.2","beautifulsoup4==4.12.2","lxml==4.9.3","Twisted==22.10.0",[63,64],"语言模型","Agent",2,"ready","2026-03-27T02:49:30.150509","2026-04-06T05:44:07.071743",[],[],[72,83,91,99,107,120],{"id":73,"name":74,"github_repo":75,"description_zh":76,"stars":77,"difficulty_score":78,"last_commit_at":79,"category_tags":80,"status":66},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[81,82,64],"开发框架","图像",{"id":84,"name":85,"github_repo":86,"description_zh":87,"stars":88,"difficulty_score":65,"last_commit_at":89,"category_tags":90,"status":66},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,"2026-04-05T11:33:21",[81,64,63],{"id":92,"name":93,"github_repo":94,"description_zh":95,"stars":96,"difficulty_score":65,"last_commit_at":97,"category_tags":98,"status":66},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[81,82,64],{"id":100,"name":101,"github_repo":102,"description_zh":103,"stars":104,"difficulty_score":65,"last_commit_at":105,"category_tags":106,"status":66},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[81,63],{"id":108,"name":109,"github_repo":110,"description_zh":111,"stars":112,"difficulty_score":65,"last_commit_at":113,"category_tags":114,"status":66},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[82,115,116,117,64,118,63,81,119],"数据工具","视频","插件","其他","音频",{"id":121,"name":122,"github_repo":123,"description_zh":124,"stars":125,"difficulty_score":78,"last_commit_at":126,"category_tags":127,"status":66},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[64,82,81,63,118]]