notesGPT

几秒钟内从你的笔记中生成待办事项。由 Convex、Together.ai 和 Whisper 提供支持。

技术栈 · 部署属于你自己的版本 · 未来任务

技术栈

• Convex 用于数据库和云函数
• Next.js App Router 作为框架
• Together Inference 用于 LLM（Mixtral）和 Whisper 转录
• Together Embeddings 用于搜索的嵌入
• Convex 文件存储 用于存储语音笔记
• Convex 向量搜索 用于向量搜索
• Clerk 用于用户身份验证
• Tailwind CSS 用于样式设计

部署属于你自己的版本

你可以通过设置以下服务并添加它们的环境变量来部署此模板：

1. 运行 npm install 安装依赖项。
2. 运行 npm run dev。系统会提示你登录 Convex 并创建一个项目。
3. 接着它会要求你提供 CLERK_ISSUER_URL。具体操作如下：
   1. 注册一个 Clerk 账户。
   2. 将 API 密钥 中的 CLERK_SECRET_KEY 和 NEXT_PUBLIC_CLERK_PUBLISHABLE_KEY 复制到 .env.local 文件中。
   3. 按照 这里 的步骤 1–3 操作，并复制 Issuer URL。 它看起来应该类似于 https://some-animal-123.clerk.accounts.dev。
   4. 将 CLERK_ISSUER_URL 添加到你的 Convex 环境变量 （终端中也有直接链接）。将 Issuer URL 作为值粘贴进去，然后点击“保存”。
4. 现在你的前端和后端应该已经运行起来，你可以登录，但还无法录音。
5. 注册一个 Together 账户以获取你的 API 密钥。
6. 在 Convex 中保存你的环境变量 TOGETHER_API_KEY。

未来任务：

• 继续录制以便日后回放，并在页面上的某个位置显示出来
• 让紫色麦克风动画与你的声音同步
• 将已完成的待办事项保存下来，而不是完全删除
• 缩小登陆页中的文字和图片，以适应不同屏幕尺寸
• 通过输入文本时自动搜索，使整体搜索体验更加流畅
• 如果有简单的方法，可以将其做成 PWA
• 对摘要进行更精细的提示工程，使其比当前显示的内容更有用
• 添加 Notion 集成，以便将转录内容、摘要和待办事项同步到 Notion 上
• 根据 Youssef 的重新设计，对 UI 进行更新，使其看起来更美观
• 允许事后编辑待办事项，并为它们设置截止日期
• 解决刷新仪表板页面时布局跳动的问题——是否可以在内容加载时显示加载状态？
• 让待办事项以动画形式淡出，将复选框改为圆角，并在悬停时显示一个小勾号
• 迁移到速度极快的 Whisper 版本

notesGPT 快速上手指南

notesGPT 是一个基于 AI 的语音笔记工具，能够瞬间将语音转换为文本，并自动生成待办事项（Action Items）。本项目由 Convex、Together.ai 和 Whisper 驱动。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• Node.js: 建议安装 LTS 版本（v18+）。
• 包管理器: npm, yarn, pnpm 或 bun。
• 账号准备:
  • Convex 账号（用于数据库、云函数及文件存储）。
  • Clerk 账号（用于用户认证）。
  • Together AI 账号（用于 LLM 推理、Whisper 转录及向量嵌入）。

安装步骤

1. 克隆项目并安装依赖

在项目根目录下运行以下命令安装所需依赖：

npm install

2. 启动开发服务器并配置 Convex

运行开发命令，系统将引导您登录 Convex 并创建新项目：

npm run dev

3. 配置 Clerk 认证

当终端提示需要 CLERK_ISSUER_URL 时，请按以下步骤操作：

1. 登录 Clerk 控制台 创建应用。
2. 进入 API Keys 页面，复制 CLERK_SECRET_KEY 和 NEXT_PUBLIC_CLERK_PUBLISHABLE_KEY。
3. 在项目根目录创建 .env.local 文件并填入上述密钥：

   CLERK_SECRET_KEY=your_secret_key
   NEXT_PUBLIC_CLERK_PUBLISHABLE_KEY=your_publishable_key
   

4. 按照 Convex Clerk 集成文档 的步骤获取 Issuer URL（格式类似 https://some-animal-123.clerk.accounts.dev）。
5. 点击终端提供的链接或访问 Convex 仪表板的 Environment Variables 设置页，添加变量 CLERK_ISSUER_URL 并将 Issuer URL 作为值保存。

4. 配置 Together AI

此时前端和后端应已运行，您可以登录但尚无法录音。需配置 AI 服务：

1. 登录 Together AI 获取 API Key。
2. 在 Convex 仪表板的 Environment Variables 中添加变量 TOGETHER_API_KEY 并填入您的密钥。

配置完成后，刷新页面即可完整使用录音功能。

基本使用

1. 登录系统：打开本地运行地址（通常为 http://localhost:3000），使用 Clerk 提供的账号体系进行登录。
2. 录制语音：点击页面上的麦克风按钮开始说话。系统会利用 Whisper 模型实时转录语音。
3. 生成待办：录音结束后，AI 会自动分析笔记内容，并在几秒钟内生成结构化的待办事项列表（Action Items）。
4. 搜索笔记：利用内置的向量搜索功能，通过自然语言查询历史笔记内容。

提示：由于 AI 服务节点主要位于海外，国内开发者在使用录音和生成功能时可能会遇到网络延迟，建议确保网络环境畅通或使用合适的网络加速工具。