DeepSeek

这是一个用于互联网规模 检索引擎 的新型实验性架构，由大语言模型驱动。该架构与当前的研究型代理截然不同，后者被设计为 答案引擎。

你可以在这里查看一些示例结果：https://deep-seek.vercel.app/（请注意，这里无法进行真实的查询，因为我负担不起费用 😅）

这两种概念的主要区别在于：

• 答案引擎：聚合大量来源以找到唯一 正确 的答案。这正是近期“研究型代理”所趋向的方向。例如 Perplexity、GPT-Researcher 或 Aomni。
• 检索引擎：处理大量来源以收集一份 全面 的实体列表。到目前为止，尚未有严肃的尝试来实现这一点（据我所知）。

答案引擎的最终输出是一份研究报告，而检索引擎的最终输出则是一个包含所有检索到的实体及丰富列的数据表。

以下是最终结果的样子（为了展示规模而缩小了视图）：

实际上，这只是本次查询结果的一小部分。真实的结果非常庞大，根本无法截屏。最终结果共有94条记录，这些记录是由代理在浏览了356个来源后收集并丰富得到的。

在丰富数据的过程中，代理还会为表格中的每个单元格生成一个置信度分数。请注意，有些单元格被标为黄色——这些是置信度较低的单元格。出现这种情况的原因可能是来源之间存在冲突，或者根本没有相关来源，因此代理只能做出最佳猜测。这个分数其实介于0到1之间，所以完全可以采用更优秀、更具创意的UI来以更高保真度展示这一分数。

快速开始

安装

安装以下任一包管理工具：

• npm
• yarn
• pnpm
• bun

按照 安装 中的说明安装包管理工具和项目依赖。

要运行开发服务器，请根据你使用的包管理工具执行以下命令之一：

npm run dev
# 或者
yarn dev
# 或者
pnpm dev
# 或者
bun dev

使用浏览器打开 http://localhost:3000，即可开始搜索或探索预建的示例。需要注意的是，这些示例并不会真正运行代理（因为成本很高），它们更多的是通过让你检查结果来展示该架构的强大之处及其不足。

如果你已经设置了环境变量，就可以自行运行它。请注意，整个过程大约需要5分钟，费用可能在0.1至3美元之间，具体取决于检索到的实体数量以及需要丰富数据的量。

运行代理时，请查看终端以了解后台正在发生的事情。

环境变量

请确保你拥有 Anthropic 和 Exa 的API密钥。

创建一个 .env 文件，并添加以下环境变量：

ANTHROPIC_KEY="anthropic_api_key"
EXA_KEY="exa_api_key"

架构

该系统作为一个多步骤的研究型代理运作。初始用户查询会被分解为一个计划，答案则会随着流程在系统中逐步构建。这种架构也被称为 流式工程。

研究流程分为四个主要步骤：

1. 计划——基于用户查询，规划器会确定最终结果的形态。它通过定义要提取的实体类型以及结果表中的不同列来实现这一点。这些列代表与实体相关的、对用户查询有意义的附加数据。

2. 搜索——我们同时使用标准关键词搜索和神经网络搜索来寻找待处理的相关内容（这两种搜索均由 Exa 提供）。关键词搜索擅长发现关于待查实体的用户生成内容（如评论、清单文章等）。而神经网络搜索则擅长直接找到特定的实体本身（如公司、论文等）。

3. 提取——搜索中找到的所有内容都会通过大语言模型进行处理，以提取特定的实体及其相关内容。这是我在测试的一种新技术：在内容中（通过winkNLP的小型语言模型进行分句）插入特殊标记，然后让大语言模型通过指示起始和结束标记来确定需要提取的内容范围。这种方法速度极快且token效率极高。

4. 丰富——在这个更大的检索代理内部，实际上还有一个较小的答案代理，它的任务是为每个实体丰富规划器所定义的所有列。这是整个过程中最耗时的部分，但同时也正是这个代理极其全面的原因所在。

以下是其更详细的流程图：

示例

对于任何探索此架构的人：如果你发现了一个好的或有趣的用例，请将其添加到示例列表中，以便其他人也能查看！app 目录下有一个 examples.ts 文件，其中包含了所有示例的原始数据。查询完成后，你可以通过浏览器控制台获取这些原始数据，然后将其复制到示例文件中。

未来工作

• 根据相关性对检索到的实体进行排序/排名——这对于带有“最佳”或“最新”等限定词的查询尤其重要。这应该作为流程末尾的一个额外步骤加入。

• 改进实体解析能力，以检测重复实体——有时代理仍然会被M2与M3 MacBook之类的问题难住。有一些技术可以 更好地格式化实体标题，从而提升这方面表现。

• 与上一点相关，在丰富数据时进一步验证来源，以确保其确实与原始实体相关联。

• 支持对来源的深度浏览——有时代理需要在网页上点击浏览，才能真正深入内容。例如，在ArXiv上搜索研究论文时，就需要这样的功能才能做好工作。

• 支持数据的流式传输——如果能在UI中实时看到列表填充和单元格丰富的过程，那将非常棒。目前你只能通过观察终端日志来大致了解进度。

如果你想就此合作，或只是想讨论想法，欢迎发送邮件至 david@aomni.com 或在 Twitter 上联系我。

DeepSeek 快速上手指南

DeepSeek 是一个实验性的、由大语言模型（LLM）驱动的互联网级检索引擎。与旨在寻找单一“正确答案”的研究代理（如 Perplexity）不同，DeepSeek 旨在处理海量来源，收集实体并生成包含丰富列数据的综合表格。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Linux、macOS 或 Windows。
• Node.js：建议安装最新 LTS 版本。
• 包管理器：需安装以下任意一种：
  • npm
  • yarn
  • pnpm
  • bun
• API 密钥：您需要拥有以下服务的 API Key：
  • Anthropic (用于 LLM 推理)
  • Exa (用于搜索引擎)

注意：运行完整的检索代理需要消耗 API 额度。根据检索实体数量和数据丰富程度，单次查询成本约为 $0.1 - $3，耗时约 5 分钟。

安装步骤

1. 克隆项目并安装依赖

首先克隆仓库（假设您已获取源码），然后使用您选择的包管理器安装依赖。

# 使用 npm
npm install

# 或使用 yarn
yarn install

# 或使用 pnpm
pnpm install

# 或使用 bun
bun install

2. 配置环境变量

在项目根目录下创建 .env 文件，并填入您的 API 密钥：

ANTHROPIC_KEY="your_anthropic_api_key"
EXA_KEY="your_exa_api_key"

基本使用

启动开发服务器

使用以下命令启动本地开发服务器：

npm run dev
# 或
yarn dev
# 或
pnpm dev
# 或
bun dev

运行查询

1. 打开浏览器访问 http://localhost:3000。
2. 您可以浏览预置示例以了解架构能力（预置示例不会实际运行代理以节省成本）。
3. 执行真实查询：在搜索框输入您的问题并提交。
   • 系统将根据您的查询自动规划、搜索、提取实体并丰富数据列。
   • 最终结果将呈现为一个包含所有检索实体及其详细信息的表格。
   • 表格中黄色高亮的单元格表示低置信度数据（来源冲突或缺失）。
4. 监控进度：运行过程中，请查看终端日志以了解后台处理步骤（规划、搜索、提取、丰富）。

预期结果

成功运行后，您将得到一个结构化的数据表。例如，针对特定查询，代理可能浏览了 356 个来源，最终整理出 94 条记录，并为每条记录填充了多个维度的增强数据。