dom-to-semantic-markdown

GitHub
966 24 非常简单 1 次阅读 昨天MIT语言模型数据工具
AI 解读 由 AI 自动生成，仅供参考

dom-to-semantic-markdown 是一款专为大语言模型（LLM）设计的开源库，它能将网页的 HTML DOM 结构高效转换为语义清晰的 Markdown 格式。在处理网页数据时，原始 HTML 往往包含大量冗余标签和噪声，不仅消耗昂贵的 Token 资源，还干扰模型对核心内容的理解。这款工具正是为了解决这一痛点而生，它通过智能提取页面主干内容、保留

等关键语义结构，并自动抓取标题、Open Graph 及 JSON-LD 等元数据，显著提升了信息的可读性与处理效率。

其独特技术亮点在于“令牌优化”与“表格增强”：通过 URL 简化减少输入长度，并为表格列添加唯一标识符，帮助模型更精准地关联行内数据。无论是需要构建 RAG（检索增强生成）系统的后端开发者，还是致力于提升模型上下文理解能力的 AI 研究人员，都能从中受益。只需一行命令，即可将复杂的网页转化为模型友好的简洁文本，让数据预处理变得轻松而专业。

使用场景

某内容分析团队需要构建一个自动化系统，从数千个新闻网站抓取文章并输入大语言模型（LLM）进行情感分析与摘要生成。

没有 dom-to-semantic-markdown 时

  • 噪声干扰严重：原始 HTML 包含大量导航栏、广告脚本和页脚信息，导致 LLM 难以区分正文与无关内容，分析结果经常跑偏。
  • 令牌成本高昂：冗余的标签和属性消耗了巨额 Token 配额，使得单次处理成本过高，无法大规模并行运行。
  • 结构化数据丢失：网页中的表格在纯文本转换后行列对应关系混乱，LLM 无法准确提取其中的财务数据或统计指标。
  • 关键元信息遗漏：标题、作者、发布时间等藏在 <meta> 标签中的核心元数据容易被忽略，导致生成的摘要缺乏上下文依据。

使用 dom-to-semantic-markdown 后

  • 内容精准聚焦：工具自动识别并提取主内容区域，过滤掉导航和广告，确保 LLM 只处理高价值的语义文本。
  • 令牌效率倍增：通过 URL 简化和紧凑的 Markdown 表示，大幅减少 Token 消耗，在同等预算下可处理的网页数量提升数倍。
  • 表格逻辑清晰：独有的列追踪功能为表格添加标识符，完美保留行列关联，让 LLM 能准确解读复杂的统计数据。
  • 元数据完整注入：自动抽取并整合标题、描述及 JSON-LD 数据到文档头部，为 LLM 提供完整的背景信息以提升回答质量。

dom-to-semantic-markdown 通过将杂乱的 DOM 树转化为高信噪比的语义 Markdown，显著降低了 LLM 的理解门槛与运行成本。

运行环境要求

操作系统
  • Linux
  • macOS
  • Windows
GPU

未说明

内存

未说明

依赖
notes该工具是基于 Node.js 的命令行工具（通过 npx 运行），并非 Python 项目，因此不需要 GPU、特定 Python 版本或深度学习框架。它主要用于将 HTML DOM 转换为语义化 Markdown，适用于任何支持 Node.js 和 npx 的环境。
python未说明
Node.js (运行 npx 命令所需)
dom-to-semantic-markdown hero image

快速开始

DOM to Semantic Markdown Logo
DOM到语义Markdown

CI npm版本 License: ISC

该库将HTML DOM转换为针对大型语言模型（LLMs）优化的语义Markdown格式。它保留了网页内容的语义结构，提取了关键元数据，并且相比原始HTML减少了令牌使用量，从而使LLMs更容易理解和处理信息。

主要特性

  • 语义结构保留： 保留<header>、<footer>、<nav>等HTML元素的语义。
  • 元数据提取： 捕获重要的元数据，如标题、描述、关键词、Open Graph标签、Twitter Card标签以及JSON-LD数据。
  • 令牌效率： 通过URL引用化和内容的简洁表示来优化令牌使用。
  • 主要内容检测： 自动识别并提取网页的主要内容部分。
  • 表格列跟踪： 为表格列添加唯一标识符，提高LLMs对跨行数据关联的能力。

特殊功能示例

以下是使用CLI工具展示该库特殊功能的示例：

1. 简单内容提取：

npx d2m@latest -u https://xkcd.com

此命令抓取https://xkcd.com并将其转换为Markdown

点击查看输出 
- [存档](/archive)
- [What If?](https://what-if.xkcd.com/)
- [关于](/about)
- [订阅](/atom.xml) • [邮件](/newsletter/)
- [TW](https://twitter.com/xkcd/) • [FB](https://www.facebook.com/TheXKCD/) • [IG](https://www.instagram.com/xkcd/)
- [-书籍-](/books/)
- [What If? 2](/what-if-2/)
- [WI?](/what-if/) • [TE](/thing-explainer/) • [HT](/how-to/)
  <a href="/">![xkcd.com标志](/s/0b7742.png)</a> 一部关于爱情、讽刺、数学和语言的网络漫画。[WHAT IF?特别10周年纪念版](https://xkcd.com/what-if/)——经过修订并配有全新插图及对你从未想过的重要问题的答案——现已上市。请在此处订购[这里](https://bit.ly/WhatIf10th)! 正规化
- [|<](/1/)
- [<上一页](/3090/)
- [随机](//c.xkcd.com/random/comic/)
- [下一页 >](about:blank#)
- [>|](/)

![正规化](//imgs.xkcd.com/comics/renormalization.png)

- [|<](/1/)
- [<上一页](/3090/)
- [随机](//c.xkcd.com/random/comic/)
- [下一页 >](about:blank#)
- [>|](/)

此漫画的永久链接：[https://xkcd.com/3091/](https://xkcd.com/3091)
图片URL（用于热链/嵌入）：[https://imgs.xkcd.com/comics/renormalization.png](https://imgs.xkcd.com/comics/renormalization.png)
![精选漫画](//imgs.xkcd.com/s/a899e84.jpg)

<a href="//xkcd.com/1732/">![地球温度时间线](//imgs.xkcd.com/s/temperature.png)</a>
[RSS订阅](/rss.xml) - [Atom订阅](/atom.xml) - [邮件](/newsletter/)
我喜欢的漫画：
[Three Word Phrase](http://threewordphrase.com/)、[SMBC](https://www.smbc-comics.com/)、[恐龙漫画](https://www.qwantz.com/)、[Oglaf](https://oglaf.com/)（成人向）、[A Softer World](https://www.asofterworld.com/)、[Buttersafe](https://buttersafe.com/)、[Perry Bible Fellowship](https://pbfcomics.com/)、[Questionable Content](https://questionablecontent.net/)、[Buttercup Festival](http://www.buttercupfestival.com/)、[Homestuck](https://www.homestuck.com/)、[Junior Scientist Power Hour](https://www.jspowerhour.com/)
其他内容：
[关于技术和政府的建议](https://medium.com/civic-tech-thoughts-from-joshdata/so-you-want-to-reform-democracy-7f3b1ef10597),
[气候常见问题解答](https://www.nytimes.com/interactive/2017/climate/what-is-climate-change.html), [凯瑟琳·海霍](https://twitter.com/KHayhoe)
xkcd.com最好在Apple IIGS上用JavaScript模拟的Pentium 3±1处理器，屏幕分辨率为1024x1，并使用Netscape Navigator 4.0或更早版本浏览。请启用广告拦截器，关闭高温烘干功能，并将设备从飞行模式切换至船模式。出于安全考虑，请在浏览时保持Caps Lock键开启。本作品采用[知识共享署名-非商业性使用2.5许可协议](https://creativecommons.org/licenses/by-nc/2.5/)授权。

这意味着您可以自由复制和分享这些漫画（但不得出售）。[更多详情](/license.html)。

2. 表格列跟踪：

npx d2m@latest -u https://softwareyoga.com/latency-numbers-everyone-should-know/ -t -e

此命令抓取并转换主要内容为Markdown，并为表格列添加唯一标识符，以帮助LLMs理解表格结构。

点击查看输出 
# 每个人都应该知道的延迟数值

## 延迟

在计算机网络中，延迟被定义为数据包从一个指定点传输到另一个指定点所需的时间。

更广泛地说，它是原因发生与结果被观察到之间的时间间隔。

正如你所料，延迟非常重要，非常非常重要。作为程序员，我们都知道从磁盘读取数据比从内存读取要慢，而且L1缓存的速度也比L2缓存快。

但是，你知道这些操作在速度上相差多少个数量级吗？

## 常见操作的延迟

谷歌的杰夫·迪恩对此进行了深入研究，并给出了各种场景下的延迟数据。

随着硬件性能的不断提升，高端硬件的延迟确实在降低，但仍然不可忽视！例如，十年前从磁盘顺序读取1MB数据可能需要20,000,000纳秒，而如今随着SSD的普及，这一时间可能缩短至1,000,000纳秒。然而，即便如此，它也永远无法超越直接从内存中读取的速度。

下表展示了在通用硬件上最常见的操作所对应的延迟。这些数据仅为近似值，会因硬件配置和代码运行环境的不同而有所差异。不过，它们的主要作用在于帮助我们做出明智的技术决策，从而有效降低延迟。

为了更直观地理解延迟数量级的巨大差异，表格中还以L2缓存为基准，将各项延迟按比例放大：假设L1缓存访问耗时1秒。

**在小屏幕设备上，请横向滚动查看表格**

| 操作 <!-- col-0 --> | 备注 <!-- col-1 --> | 延迟 <!-- col-2 --> | 比例化延迟 <!-- col-3 --> |
| --- | --- | --- | --- |
| L1缓存访问 <!-- col-0 --> | 一级缓存，通常集成在微处理器芯片上。 <!-- col-1 --> | 0.5纳秒 <!-- col-2 --> | 假设L1缓存访问耗时1秒 <!-- col-3 --> |
| 分支预测失败 <!-- col-0 --> | 在程序执行过程中，CPU会预测接下来要执行的指令序列。当预测错误时，就会发生分支预测失败，此时必须撤销之前的预测，重新计算并放入执行栈。 <!-- col-1 --> | 5纳秒 <!-- col-2 --> | 10秒 <!-- col-3 --> |
| L2缓存访问 <!-- col-0 --> | 二级缓存是独立芯片上的存储器。 <!-- col-1 --> | 7纳秒 <!-- col-2 --> | 14秒 <!-- col-3 --> |
| 互斥锁加锁/解锁 <!-- col-0 --> | 一种简单的同步机制，用于确保多线程共享资源时的互斥访问。 <!-- col-1 --> | 25纳秒 <!-- col-2 --> | 50秒 <!-- col-3 --> |
| 主存访问 <!-- col-0 --> | 访问主存（即RAM）所需的时间。 <!-- col-1 --> | 100纳秒 <!-- col-2 --> | 3分20秒 <!-- col-3 --> |
| 使用Snappy压缩1KB数据 <!-- col-0 --> | Snappy是由Google用C++编写的快速数据压缩与解压缩库，广泛应用于BigTable、MapReduce等Google内部项目以及其他开源项目中。 <!-- col-1 --> | 3,000纳秒 <!-- col-2 --> | 1小时40分钟 <!-- col-3 --> |
| 通过1Gbps网络发送1KB数据 <!-- col-0 --> |  <!-- col-1 --> | 10,000纳秒 <!-- col-2 --> | 5小时33分20秒 <!-- col-3 --> |
| 从内存顺序读取1MB数据 <!-- col-0 --> | 从RAM中读取数据。 <!-- col-1 --> | 250,000纳秒 <!-- col-2 --> | 5天18小时53分20秒 <!-- col-3 --> |
| 同一数据中心内的往返通信 <!-- col-0 --> | 可以假设，在数据中心内部进行DNS查询的速度远快于经过外部路由器的情况。 <!-- col-1 --> | 500,000纳秒 <!-- col-2 --> | 11天13小时46分40秒 <!-- col-3 --> |
| 从SSD顺序读取1MB数据 <!-- col-0 --> | 假设使用SSD硬盘。SSD的随机访问时间通常在100,000纳秒以内或更短。 <!-- col-1 --> | 1,000,000纳秒 <!-- col-2 --> | 23天3小时33分20秒 <!-- col-3 --> |
| 磁盘寻道 <!-- col-0 --> | 磁盘寻道是指将磁头移动到包含所需数据的扇区的操作。 <!-- col-1 --> | 10,000,000纳秒 <!-- col-2 --> | 231天11小时33分20秒 <!-- col-3 --> |
| 从普通磁盘顺序读取1MB数据 <!-- col-0 --> | 假设使用传统机械硬盘，而非SSD。请对比与SSD的差异！ <!-- col-1 --> | 20,000,000纳秒 <!-- col-2 --> | 462天23小时6分40秒 <!-- col-3 --> |
| 数据包从美国往返荷兰再返回美国 <!-- col-0 --> | 数据包在美国和欧洲之间往返一次。 <!-- col-1 --> | 150,000,000纳秒 <!-- col-2 --> | 3472天5小时20分钟 <!-- col-3 --> |

### 参考文献：

1. [构建大型分布式系统的设计、经验与建议](http://www.cs.cornell.edu/projects/ladis2009/talks/dean-keynote-ladis2009.pdf)
2. [彼得·诺维格关于“自学编程需十年”的文章](http://norvig.com/21-days.html#answers)

3. 元数据提取（基础）：

npx d2m@latest -u https://xkcd.com -m basic

此命令会提取基础元数据（标题、描述、关键词），并将其包含在 Markdown 输出中。

点击查看输出 
---
title: "xkcd: 重整化"
---


- [档案](/archive)
- [What If?](https://what-if.xkcd.com/)
- [关于](/about)
- [信息流](/atom.xml) • [邮件](/newsletter/)
- [推特](https://twitter.com/xkcd/) • [脸书](https://www.facebook.com/TheXKCD/) • [Instagram](https://www.instagram.com/xkcd/)
- [-书籍-](/books/)
- [What If? 2](/what-if-2/)
- [WI?](/what-if/) • [TE](/thing-explainer/) • [HT](/how-to/)
  <a href="/">![xkcd.com 标志](/s/0b7742.png)</a> 一部关于爱情、讽刺、数学和语言的网络漫画。[WHAT IF? 十周年特别版](https://xkcd.com/what-if/)——经过修订并配有全新插图及对那些你从未想过要问的重要问题的解答——现已上市。请在此处订购[这里](https://bit.ly/WhatIf10th)! 重整化
- [|<](/1/)
- [< 上一页](/3090/)
- [随机](//c.xkcd.com/random/comic/)
- [下一页 >](about:blank#)
- [>|](/)

![重整化](//imgs.xkcd.com/comics/renormalization.png)

- [|<](/1/)
- [< 上一页](/3090/)
- [随机](//c.xkcd.com/random/comic/)
- [下一页 >](about:blank#)
- [>|](/)

此漫画的永久链接：[https://xkcd.com/3091/](https://xkcd.com/3091)
图片 URL（用于直接链接/嵌入）：[https://imgs.xkcd.com/comics/renormalization.png](https://imgs.xkcd.com/comics/renormalization.png)
![精选漫画](//imgs.xkcd.com/s/a899e84.jpg)

<a href="//xkcd.com/1732/">![地球温度时间线](//imgs.xkcd.com/s/temperature.png)</a>
[RSS 订阅](/rss.xml) - [Atom 订阅](/atom.xml) - [邮件](/newsletter/)
我喜欢的漫画：
[Three Word Phrase](http://threewordphrase.com/)、[SMBC](https://www.smbc-comics.com/)、[Dinosaur Comics](https://www.qwantz.com/)、[Oglaf](https://oglaf.com/)（含成人内容）、[A Softer World](https://www.asofterworld.com/)、[Buttersafe](https://buttersafe.com/)、[Perry Bible Fellowship](https://pbfcomics.com/)、[Questionable Content](https://questionablecontent.net/)、[Buttercup Festival](http://www.buttercupfestival.com/)、[Homestuck](https://www.homestuck.com/)、[Junior Scientist Power Hour](https://www.jspowerhour.com/)
其他内容：
[关于科技与政府的建议](https://medium.com/civic-tech-thoughts-from-joshdata/so-you-want-to-reform-democracy-7f3b1ef10597),
[气候常见问题解答](https://www.nytimes.com/interactive/2017/climate/what-is-climate-change.html)、[凯瑟琳·海霍](https://twitter.com/KHayhoe)
xkcd.com 最佳浏览环境为 Netscape Navigator 4.0 或更低版本，在 Apple IIGS 上用 JavaScript 模拟的 Pentium 3±1 处理器，屏幕分辨率为 1024×1。请启用广告拦截器，关闭高温烘干功能，并将设备从飞行模式切换至船模式。出于安全考虑，请在浏览时保持大写锁定键开启。本作品采用 [知识共享署名-非商业性使用 2.5 许可证](https://creativecommons.org/licenses/by-nc/2.5/)。

这意味着您可以自由复制和分享这些漫画（但不得出售）。[更多详情](/license.html)。

4. 元数据提取（扩展）：

npx d2m@latest -u https://xkcd.com -m extended

此命令会提取扩展元数据，包括 Open Graph、Twitter Card 标签以及 JSON-LD 数据，并将其包含在 Markdown 输出中。

点击查看输出 
---
title: "xkcd: 重整化"
openGraph:
  site_name: "xkcd"
  title: "重整化"
  url: "https://xkcd.com/3091/"
  image: "https://imgs.xkcd.com/comics/renormalization_2x.png"
twitter:
  card: "summary_large_image"
---


- [档案](/archive)
- [What If?](https://what-if.xkcd.com/)
- [关于](/about)
- [信息流](/atom.xml) • [邮件](/newsletter/)
- [推特](https://twitter.com/xkcd/) • [脸书](https://www.facebook.com/TheXKCD/) • [Instagram](https://www.instagram.com/xkcd/)
- [-书籍-](/books/)
- [What If? 2](/what-if-2/)
- [WI?](/what-if/) • [TE](/thing-explainer/) • [HT](/how-to/)
  <a href="/">![xkcd.com 标志](/s/0b7742.png)</a> 一部关于爱情、讽刺、数学和语言的网络漫画。[WHAT IF? 十周年特别版](https://xkcd.com/what-if/)——经过修订并配有全新插图及对那些你从未想过要问的重要问题的解答——现已上市。请在此处订购[这里](https://bit.ly/WhatIf10th)! 重整化
- [|<](/1/)
- [< 上一页](/3090/)
- [随机](//c.xkcd.com/random/comic/)
- [下一页 >](about:blank#)
- [>|](/)

![重整化](//imgs.xkcd.com/comics/renormalization.png)

- [|<](/1/)
- [< 上一页](/3090/)
- [随机](//c.xkcd.com/random/comic/)
- [下一页 >](about:blank#)
- [>|](/)

此漫画的永久链接：[https://xkcd.com/3091/](https://xkcd.com/3091)
图片 URL（用于直接链接/嵌入）：[https://imgs.xkcd.com/comics/renormalization.png](https://imgs.xkcd.com/comics/renormalization.png)
![精选漫画](//imgs.xkcd.com/s/a899e84.jpg)

<a href="//xkcd.com/1732/">![地球温度时间线](//imgs.xkcd.com/s/temperature.png)</a>
[RSS 订阅](/rss.xml) - [Atom 订阅](/atom.xml) - [邮件](/newsletter/)
我喜欢的漫画：
[Three Word Phrase](http://threewordphrase.com/)、[SMBC](https://www.smbc-comics.com/)、[Dinosaur Comics](https://www.qwantz.com/)、[Oglaf](https://oglaf.com/)（含成人内容）、[A Softer World](https://www.asofterworld.com/)、[Buttersafe](https://buttersafe.com/)、[Perry Bible Fellowship](https://pbfcomics.com/)、[Questionable Content](https://questionablecontent.net/)、[Buttercup Festival](http://www.buttercupfestival.com/)、[Homestuck](https://www.homestuck.com/)、[Junior Scientist Power Hour](https://www.jspowerhour.com/)
其他内容：
[关于科技与政府的建议](https://medium.com/civic-tech-thoughts-from-joshdata/so-you-want-to-reform-democracy-7f3b1ef10597),
[气候常见问题解答](https://www.nytimes.com/interactive/2017/climate/what-is-climate-change.html)、[凯瑟琳·海霍](https://twitter.com/KHayhoe)
xkcd.com 最佳浏览环境为 Netscape Navigator 4.0 或更低版本，在 Apple IIGS 上用 JavaScript 模拟的 Pentium 3±1 处理器，屏幕分辨率为 1024×1。请启用广告拦截器，关闭高温烘干功能，并将设备从飞行模式切换至船模式。出于安全考虑，请在浏览时保持大写锁定键开启。本作品采用 [知识共享署名-非商业性使用 2.5 许可证](https://creativecommons.org/licenses/by-nc/2.5/)。

这意味着您可以自由复制和分享这些漫画（但不得出售）。[更多详情](/license.html)。

安装

使用 npm

npm install dom-to-semantic-markdown

使用 npx（CLI）

> npx d2m@latest -h
用法：d2m [选项]

将 DOM 转换为语义 Markdown

选项：
  -V, --version                                   输出版本号
  -i, --input <文件>                              输入 HTML 文件
  -o, --output <文件>                             输出 Markdown 文件
  -e, --extract-main                              提取主要内容
  -u, --url <url>                                 从指定 URL 获取 HTML 内容
  -t, --track-table-columns                       启用表格列跟踪，以提高 LLM 的数据关联性
  -m, --include-meta-data <"basic" | "extended">  包含从 HTML head 中提取的元数据
  -p, --use-playwright                            使用 Playwright 从 URL 获取 HTML（处理动态内容）
  --playwright-wait-until <event>                 Playwright page.goto 的 waitUntil 事件。允许值：load、domcontentloaded、networkidle、commit。默认值：load。（默认值：”load”）
  -h, --help                                      显示命令帮助

使用方法

浏览器

import {convertHtmlToMarkdown} from 'dom-to-semantic-markdown';

const markdown = convertHtmlToMarkdown(document.body);
console.log(markdown);

Node.js

import {convertHtmlToMarkdown} from 'dom-to-semantic-markdown';
import {JSDOM} from 'jsdom';

const html = '<h1>Hello, World!</h1><p>This is a <strong>test</strong>.</p>';
const dom = new JSDOM(html);
const markdown = convertHtmlToMarkdown(html, {overrideDOMParser: new dom.window.DOMParser()});
console.log(markdown);

CLI

d2m -i input.html -o output.md # 将 input.html 转换为 output.md
d2m -u https://example.com -o output.md # 获取网页并将其转换为 Markdown
d2m -i input.html -e # 从 input.html 中提取主要内容
d2m -i input.html -t # 启用表格列跟踪
d2m -i input.html -m basic # 包含基础元数据
d2m -i input.html -m extended # 包含扩展元数据

API

convertHtmlToMarkdown(html: string, options?: ConversionOptions): string

将 HTML 字符串转换为语义 Markdown。

convertElementToMarkdown(element: Element, options?: ConversionOptions): string

将 HTML 元素转换为语义 Markdown。

ConversionOptions

  • websiteDomain?: string: 正在转换的网站的域名。
  • extractMainContent?: boolean: 是否仅提取页面的主要内容。
  • refifyUrls?: boolean: 是否将 URLs 转换为引用样式链接。
  • debug?: boolean: 启用调试日志。
  • overrideDOMParser?: DOMParser: 用于 Node.js 环境的自定义 DOMParser。
  • enableTableColumnTracking?: boolean: 为表格列添加唯一标识符。
  • overrideElementProcessing?: (element: Element, options: ConversionOptions, indentLevel: number) => SemanticMarkdownAST[] | undefined: 自定义 HTML 元素处理逻辑。
  • processUnhandledElement?: (element: Element, options: ConversionOptions, indentLevel: number) => SemanticMarkdownAST[] | undefined: 未知 HTML 元素的处理函数。
  • overrideNodeRenderer?: (node: SemanticMarkdownAST, options: ConversionOptions, indentLevel: number) => string | undefined: 自定义 AST 节点渲染器。
  • renderCustomNode?: (node: CustomNode, options: ConversionOptions, indentLevel: number) => string | undefined: 自定义 AST 节点的渲染器。
  • includeMetaData?: 'basic' | 'extended': 控制是否包含从 HTML head 中提取的元数据。
    • 'basic': 包括标准 meta 标签，如 title、description 和 keywords。
    • 'extended': 包括基础 meta 标签、Open Graph 标签、Twitter Card 标签以及 JSON-LD 数据。

将输出与 LLM 结合使用

本库生成的语义 Markdown 经过优化，适合与大型语言模型（LLMs）配合使用。有效使用方法如下：

  1. 使用本库提取 Markdown 内容。
  2. 为 LLM 提供简短的指令或上下文。
  3. 将提取的 Markdown 放在三重反引号中（```）。
  4. 在 Markdown 后面加上你的问题或提示。

示例：

以下是某网页的语义 Markdown 表示。请分析其内容：

```markdown
{在此粘贴你提取的 Markdown}
```

{你的问题，例如：“本文讨论了哪些主要观点？”}

这种格式有助于 LLM 理解任务和内容背景，从而更准确、更相关地回答你的问题。

参与贡献

欢迎参与贡献！详情请参阅 CONTRIBUTING.md 文件。

许可证

本项目采用 MIT 许可证。详细信息请参阅 LICENSE 文件。

常见问题

相似工具推荐

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 139k|★★☆☆☆|今天
开发框架Agent语言模型

NextChat

NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。

★ 87.6k|★★☆☆☆|今天
开发框架语言模型

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。

★ 85k|★★☆☆☆|今天
图像数据工具视频

ragflow

RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。

★ 77.1k|★★★☆☆|昨天
Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。

★ 74.9k|★★★☆☆|今天
语言模型图像开发框架

OpenHands

OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。 无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。 其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。

★ 70.6k|★★★☆☆|今天
语言模型Agent开发框架