Markdowner ⚡📝

一款快速工具，可将任何网站转换为适合大语言模型的 Markdown 数据。

👀 为什么？

我正在开发一款名为 Supermemory 的 AI 应用——https://git.new/memory。用户可以将网站内容存储在应用中，并通过 AI 进行查询。我发现，当数据以结构化且可预测的 Markdown 格式呈现时，大语言模型的响应质量会 高得多。

目前市面上也有类似的解决方案，例如 https://r.jina.ai、https://firecrawl.dev 等。但它们要么：

• 价格昂贵或专有；
• 功能过于有限；
• 部署难度极高。

以下是我朋友 @nexxeln 的一段评价：

于是我们自然而然地决定自己动手解决这个问题 ⚡

特性 🚀

• 将任意网站转换为 Markdown
• 大语言模型过滤
• 详细 Markdown 模式
• 自动爬虫（无需站点地图！）
• 支持文本和 JSON 格式的响应
• 易于自托管
• ……以及更多功能，全部免费！

使用方法

要使用 API，只需向 https://md.dhr.wtf 发送 GET 请求即可。

使用示例：

$ curl 'https://md.dhr.wtf/?url=https://example.com'

必填参数

url（字符串）-> 要转换为 Markdown 的网站 URL。

可选参数

enableDetailedResponse（布尔值：false）-> 切换是否返回包含完整 HTML 内容的详细响应。 crawlSubpages（布尔值：false）-> 爬取并返回最多 10 个子页面的 Markdown 内容。 llmFilter（布尔值：false）-> 使用大语言模型过滤掉不必要的信息。

响应类型

在请求头中添加 Content-Type: text/plain 可获取纯文本响应。 在请求头中添加 Content-Type: application/json 可获取 JSON 格式的响应。

技术栈

Markdowner 的底层实现利用了 Cloudflare 的 浏览器渲染 和 Durable Objects 来启动浏览器实例，随后使用 Turndown 将其转换为 Markdown。

自托管

您可以轻松地自托管该项目。为了使用浏览器渲染和 Durable Objects，您需要 Workers 付费方案。

1. 克隆仓库并安装依赖项：

git clone https://github.com/dhravya/markdowner
npm i

2. 运行以下命令：

   npx wrangler kv:namespace create md_cache
   

3. 打开 Wrangler.toml 文件，并相应地修改 ID。

4. 运行 npm run deploy。

5. 完成！👍

支持

只需给这个仓库点个赞，就能支持我啦！⭐

Markdowner 快速上手指南

Markdowner 是一个高性能工具，可将任意网站内容转换为适合大语言模型（LLM）处理的 Markdown 格式数据。

环境准备

• 系统要求：支持 Node.js 的操作系统（Windows/macOS/Linux）
• 前置依赖：
  • Node.js (推荐 v18+)
  • npm 包管理器
  • Cloudflare Workers 账号（如需自托管，需订阅 Workers Paid 计划以使用 Browser Rendering 和 Durable Objects）

安装步骤

若选择自托管部署，请执行以下命令：

git clone https://github.com/dhravya/markdowner
cd markdowner
npm i

配置 Cloudflare 环境变量：

npx wrangler kv:namespace create md_cache

随后编辑 wrangler.toml 文件，将生成的 ID 填入对应配置项，最后执行部署：

npm run deploy

基本使用

无需安装即可直接使用官方提供的公共 API。只需发送 GET 请求至服务端点。

最简单的使用示例：

curl 'https://md.dhr.wtf/?url=https://example.com'

可选参数说明：

• enableDetailedResponse=true：返回包含完整 HTML 内容的详细响应。
• crawlSubpages=true：自动爬取并返回最多 10 个子页面的 Markdown。
• llmFilter=true：利用 LLM 过滤无关信息，提升数据质量。

指定响应格式：

• 纯文本：添加请求头 Content-Type: text/plain
• JSON 格式：添加请求头 Content-Type: application/json