基于人工智能的自动化网络安全威胁检测平台

Watcher 是一个基于 Django 和 React JS 的平台，旨在通过 人工智能驱动的威胁情报分析 来发现并监控新兴的网络安全威胁。它可以部署在 Web 服务器上，也可以通过 Docker 快速运行。

Watcher 的功能

Watcher 通过全面的威胁检测与监控能力，助力您的安全运营：

• AI 驱动的威胁情报 — 将原始威胁数据转化为可操作的情报，提供每周自动汇总的前 5 大热门网络安全话题、威胁出现时的实时突发新闻提醒，以及针对任何安全关键词的按需摘要，包括相关的 CVE 和威胁行为者详情。

• 新兴威胁检测 — 通过来自 CERT-FR (www.cert.ssi.gouv.fr)、CERT-EU (www.cert.europa.eu)、US-CERT (www.us-cert.gov)、澳大利亚网络安全中心 (www.cyber.gov.au) 等机构的 RSS 订阅源，监控网络安全趋势。跟踪新出现的漏洞、恶意软件活动和威胁通告。

• 合法域名管理 — 集中管理经批准的域名，包含到期日期、续费状态、注册商信息及联系人等。可轻松将监控到的恶意域名转为合法域名。

• 信息泄露监控 — 在整个网络中检测敏感数据暴露情况，涵盖 Pastebin、StackOverflow、GitHub、GitLab、Bitbucket、APKMirror、npm 注册表等平台。及早发现泄露的凭据、API 密钥和机密信息。

• 恶意域名监控 — 监控恶意域名的 IP 地址、邮件/MX 记录和网页内容变化。使用 TLSH 模糊哈希技术检测修改。自动进行 RDAP/WHOIS 查询，并提供注册商和到期提醒。

• 可疑域名检测 — 通过以下方式识别可能针对贵组织的恶意域名：

  • 使用 dnstwist 进行域名生成算法检测，以发现拼写错误、同形异义攻击及类似域名变体；
  • 通过 certstream 监控证书透明度，实时捕捉新注册的可疑域名。

其他功能

借助强大的集成与管理工具，扩展 Watcher 的功能：

• TheHive 完全同步 — 与 TheHive 集成，支持自动创建告警、智能案例管理、IOC 增强以及即用型 Cortex 分析器和响应器。详细配置请参见文档 此处。
• MISP 集成 — 无缝导出入侵指标 (IOCs) 至 MISP 平台，具备智能 UUID 跟踪、自动对象创建及手动属性更新功能，便于协作式威胁情报共享。
• 灵活的身份验证 — 支持 LDAP 和本地身份验证系统。
• 智能通知 — 接收电子邮件、Slack 或 Citadel 告警，及时通知关键发现和阈值违规。
• 工单系统集成 — 自动将安全发现结果录入您的工单系统。
• 全面的管理界面 — 通过 Django 强大的管理面板，全面管理 Watcher 的各项功能。
• 高级访问控制 — 提供细粒度的用户权限和组管理，便于团队协作。
• 现代化 UI 体验 — 现代化界面，支持自定义主题、仪表盘面板大小调整、高级筛选及保存的筛选集，以及持久化的用户偏好设置。

所依赖的开源组件

Watcher 利用多种开源工具和库：

• Hugging Face Transformers — 用于威胁情报摘要和实体提取的人工智能/机器学习框架。
• google/flan-t5-base — 用于 AI 驱动威胁摘要的文本生成模型。
• dslim/bert-base-NER — 用于自动提取 IOC 的命名实体识别模型。
• certstream — 用于证书透明度监控。
• dnstwist — 域名排列引擎。
• SearxNG — 尊重隐私的元搜索引擎。
• PyMISP — 用于 MISP 威胁情报平台的集成。
• TLSH — 用于内容相似性检测的模糊哈希技术。
• shadow-useragent — 用户代理轮换库。
• NLTK — 用于文本处理的自然语言工具包。

应用预览

威胁检测

AI 驱动的每周摘要与突发新闻

可疑域名检测

合法域名列表

数据泄露检测

威胁域名监控

主题预览

Watcher 提供多种视觉主题，以满足您的个人偏好和工作环境需求。

管理界面

Django 提供了一个开箱即用的管理后台界面。我们都知道，管理界面对于一个 Web 项目来说至关重要：用户管理、用户组管理、Watcher 配置、使用日志等。

安装

# 1. 克隆仓库
git clone https://github.com/thalesgroup-cert/watcher.git
cd watcher/deployment

# 2. 初始化环境、配置及目录结构
make init

# 3. 启动服务栈
make up

# 4. 首次运行时：执行数据库迁移并创建超级用户
make migrate
make superuser
make populate-db

# 5. 打开 Web 界面
#    http://localhost:9002  (或您配置的域名/端口)

只需使用 Docker，您就可以在短短 10 分钟 内将 Watcher 搭建并运行起来。详细步骤请参阅我们的安装指南

平台架构

Watcher 的模块化架构确保了其可扩展性、可靠性，并能轻松与您现有的安全防护体系集成。

贡献

我们欢迎安全社区的贡献！

如需报告漏洞、请求功能或提交代码，请阅读我们的完整贡献指南。

Pastebin 合规要求

要使用 Watcher 的 Pastebin API 功能，您需要订阅 Pastebin Pro 账户，并将 Watcher 的公网 IP 地址加入白名单（详情请参阅 https://pastebin.com/doc_scraping_api）。

Watcher 快速上手指南

Watcher 是一个基于 Django 和 React JS 构建的开源平台，旨在利用 AI 驱动的情报分析来发现和监控新兴的网络安全威胁。它支持通过 Docker 快速部署，能够自动汇总威胁情报、检测数据泄露、监控恶意域名，并可与 TheHive 和 MISP 等安全工具无缝集成。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu/CentOS) 或 macOS。
• 核心依赖:
  • Docker (建议版本 20.10+)
  • Docker Compose (建议版本 2.0+)
  • git
  • make
• 网络要求: 服务器需能访问外网以拉取 Docker 镜像、克隆代码库以及抓取威胁情报源（如 CERT 公告、Pastebin 等）。
  • 注：若在国内网络环境下，建议配置 Docker 国内镜像加速器以加快镜像拉取速度。
• 可选依赖: 若需使用 Pastebin 数据泄露检测功能，需注册 Pastebin Pro 账号并将服务器公网 IP 加入白名单。

安装步骤

Watcher 提供了基于 Makefile 的自动化部署脚本，只需几分钟即可完成安装。

1. 克隆项目仓库

   git clone https://github.com/thalesgroup-cert/watcher.git
   cd watcher/deployment
   

2. 初始化环境与配置 此步骤将创建必要的目录结构并生成默认配置文件。

   make init
   

3. 启动服务栈 使用 Docker Compose 启动所有必要组件（数据库、后端、前端、AI 模型等）。

   make up
   

4. 数据库迁移与管理员创建 首次运行时，需执行数据库迁移、创建超级用户并预填充基础数据。

   make migrate
   make superuser
   make populate-db
   

   执行 make superuser 时，请按提示输入管理员用户名、邮箱和密码。

5. 访问平台 服务启动后，在浏览器中访问： http://localhost:9002 (如果您修改了配置文件中的端口或域名，请使用对应的地址)

基本使用

安装完成后，您可以立即开始使用 Watcher 的核心功能。以下是最简单的使用流程示例：

1. 登录系统

使用上一步创建的超级用户账号登录 Web 界面。您可以根据偏好切换不同的视觉主题。

2. 查看 AI 生成的威胁周报

Watcher 会自动运行 AI 模型（基于 Hugging Face Transformers），每周生成热门网络安全话题摘要。

• 操作: 进入仪表盘，查看 "AI-Powered Weekly Summary" 模块。
• 效果: 系统将展示过去一周 Top 5 的安全趋势、突发新闻警报以及针对特定关键词的 CVE 和威胁组织详情。

3. 监控可疑域名

利用集成的 dnstwist 和 certstream 工具检测针对您组织的潜在攻击。

• 操作: 导航至 Suspicious Domain Detection 页面。
• 示例: 输入您的主域名（例如 example.com），系统将自动计算并列出可能的拼写错误域名（Typosquatting）、同形异义字攻击域名以及新注册的相似证书域名。

4. 配置数据泄露监控

监控敏感信息是否暴露在公共代码库或粘贴板上。

• 操作: 进入 Information Leak Monitoring 设置页。
• 示例: 添加需要监控的关键字（如公司名、特定项目代号、API Key 前缀）。系统将定期扫描 GitHub, GitLab, Pastebin 等平台，一旦发现匹配内容即刻通过邮件、Slack 或 Citadel 发送警报。

5. 集成外部安全平台（可选）

• TheHive: 在设置中配置 TheHive API 密钥，Watcher 可将高危警报自动转化为 TheHive 中的案例（Case）。
• MISP: 配置 MISP 连接信息，将检测到的 IOC（入侵指标）一键导出至 MISP 进行共享。

提示: 更多高级配置（如 LDAP 认证、自定义 RSS 源、通知阈值）可通过 Django 自带的强大管理后台 (/admin) 进行管理。