构建大语言模型应用：应用开发与架构设计

别名：释放大语言模型的潜力——现实世界用例

2023年上半年，我（@phodal）与Thoughtworks的同事们（如：@tianweiliu、@teobler、@mutoe等），以及开源社区的伙伴们（如：卷王@CGQAQ、@genffy、@liruifengv等）一起，创建了一系列热门或不那么流行的开源项目。这些项目涵盖了以下方面：

• LLM能力的充分利用
  • Prompt编写：Prompt学习与编写模式
  • Prompt管理：Prompt即代码
• LLM下的软件开发流程及应用架构设计
  • 新的交互设计：Chat模式
  • 大模型友好的流程：基于AI 2.0（ChatGPT + Copilot）如何设计软件开发流程
  • LLM应用架构的设计与落地：Unit Mesh
• 面向特定场景的LLM应用
  • 基于开源模型构建自己的模型：特定场景的模型微调 + LLMOps
  • 上下文工程（prompt工程）：LLM应用的核心

围绕上述内容，我们也一直在思考软件开发能为我们带来什么。因此，我重新整理了过去半年的一些思考和文章，编写了这本开源电子书，希望能对大家有所帮助。

关注我的微信公众号（搜索phodal-weixin），获取更多及时更新：

我们发起的相关开源项目如下（包括但不限于）：

名称	描述	类型	Stars
理解Prompt	基于编程、绘画、写作的AI探索与总结。	文档
Prompt编写模式	如何将思维框架赋予机器，以设计模式的形式来思考prompt。	文档
ClickPrompt	用于一键轻松查看、分享和执行您的Prompt。	应用
ChatVisualNovel	基于ChatGPT的定制化视觉小说引擎	应用
ChatFlow	打造个性化ChatGPT流程，构建自动化之路。	框架
UnitMesh	基于AI为核心的软件2.0思想的软件架构。	架构
UnitMinions	AI研发提效研究：自己动手训练LoRA	微调教程、指南、数据集
UnitRuntime	一个ChatGPT等AI代码的运行环境，可一键启动并实时交互，帮助您快速构建和测试AI代码。	基础设施
DevTi	基于LLM的微调来提供全面智能化解决方案，助力开发人员高效完成开发任务，以实现自动化用户任务拆解、用户故事生成、自动化代码生成、自动化测试生成等等。	微调代码
AutoDev	一款Intellij IDEA的LLM/AI辅助编程插件。AutoDev能够与您的需求管理系统（例如Jira、Trello、Github Issue等）直接对接。	IDEA插件
ArchGuardCo-mate	基于人工智能技术的架构副驾驶、设计和治理工具	架构协同应用

我们在QCon上的演讲：演讲：探索软件开发新流程：LLM赋能研发效能提升

LLM（如ChatGPT + GitHub Copilot）作为一种创新的工具组合，为我们带来了全新的机遇。它能够帮助业务人员和开发者在需求、架构、编码、测试等环节提高效率和质量，实现从设计到验证的端到端流程。在本次分享中，我将向大家介绍LLM在研发效能方面的应用场景和实践案例，展示它是如何在各个环节中发挥作用的。同时，我们还将分享如何构建私有化的LLM工程化方式，使其更好地适应组织的需求。欢迎对LLM + 研发效能感兴趣的朋友们参加本次分享，与我们一起探讨研发效能的未来。

我们在Bilibili上关于大语言模型微调的相关视频：

• LLaMA系列在线视频：《代码辅助生成》、《测试代码生成》、《详细需求生成》、《文本转SQL》
• ChatGLM系列在线视频：《LoRA大比拼：ChatGLM vs LLaMA，谁更会写需求文档？》

欢迎大家一起来参与我们的开源项目，共同探索LLM + 软件开发的未来。

aigc 快速上手指南

本指南基于 aigc 项目（即《构筑大语言模型应用：应用开发与架构设计》）及其关联的开源生态整理而成。该项目并非单一的可执行工具，而是一套涵盖 Prompt 工程、LLM 应用架构（Unit Mesh）、微调教程及辅助开发插件的综合解决方案。

以下是针对核心组件的快速入门指引。

环境准备

由于本项目包含文档、Web 应用、IDE 插件及模型微调代码，请根据您想体验的具体组件准备相应环境：

1. 通用要求

• 操作系统：Windows / macOS / Linux
• 网络环境：建议配置科学上网环境以访问 Hugging Face、GitHub 及部分 LLM API；若使用国内模型（如 ChatGLM），可参考各子项目中的国内镜像源配置。
• 账号准备：
  • GitHub 账号（用于克隆代码）
  • OpenAI API Key（如需使用 ChatGPT 相关示例）或 国内大模型 API Key（如百度文心、阿里通义等，视具体子项目支持情况而定）

2. 组件特定依赖

• 对于 Prompt 学习与文档类：仅需浏览器和 Markdown 阅读器。
• 对于 Web 应用（如 ClickPrompt, ChatFlow）：
  • Node.js (推荐 v18+)
  • npm 或 yarn
  • pnpm (推荐)
• 对于 IDE 插件（AutoDev）：
  • IntelliJ IDEA (2020.3 及以上版本) 或其他 JetBrains 全家桶产品
• 对于模型微调（Unit Minions, DevTi）：
  • Python 3.9+
  • PyTorch
  • CUDA (如需本地 GPU 训练，显存建议 16GB+)
  • Transformers, Accelerate, PEFT 等库

安装步骤

请选择您感兴趣的核心组件进行安装：

方案 A：体验 Prompt 管理与执行工具 (ClickPrompt)

这是一个用于查看、分享和执行 Prompt 的 Web 应用。

# 1. 克隆仓库
git clone https://github.com/prompt-engineering/click-prompt.git
cd click-prompt

# 2. 安装依赖 (推荐使用 pnpm)
pnpm install

# 3. 启动开发服务器
pnpm dev

注：若无 pnpm，可使用 npm install 和 npm run dev。

方案 B：安装 IDEA 智能编程插件 (AutoDev)

这是直接集成在开发环境中的 LLM 辅助编程工具。

1. 打开 IntelliJ IDEA。
2. 进入 Settings (偏好设置) -> Plugins。
3. 在 Marketplace 搜索栏输入 AutoDev。
4. 点击 Install 并重启 IDE。
5. 可选：从源码构建

   git clone https://github.com/unit-mesh/auto-dev.git
   cd auto-dev
   # 使用 Gradle 构建 (需配置好 Java 环境)
   ./gradlew buildPlugin
   

方案 C：探索架构与微调代码 (Unit Mesh / Unit Minions)

适合希望深入研究 AI 2.0 架构或自行训练 LoRA 模型的开发者。

# 1. 克隆架构示例仓库
git clone https://github.com/unit-mesh/unit-mesh.git
cd unit-mesh

# 2. 克隆微调教程与数据集仓库
git clone https://github.com/unit-mesh/unit-minions.git
cd unit-minions

# 3. 安装 Python 依赖 (建议在虚拟环境中进行)
pip install -r requirements.txt
# 注意：具体的 requirements.txt 可能位于子目录中，请根据实际文件结构调整路径

基本使用

1. 使用 ClickPrompt 管理提示词

启动服务后，访问 http://localhost:5173 (默认端口)。

• 创建 Prompt：在界面中选择“新建”，输入您的 System Prompt 和 User Prompt。
• 执行测试：配置您的 API Key，点击运行即可实时查看大模型返回结果。
• 模式复用：将常用的思维框架保存为模板，通过变量替换快速生成不同场景的 Prompt。

2. 在 IDEA 中使用 AutoDev

安装重启后，IDE 侧边栏会出现 AutoDev 图标。

• 需求对接：在插件设置中绑定 Jira、Trello 或 GitHub Issue 账号。
• 代码生成：选中一段代码或注释，右键选择 AutoDev -> Generate Code，或直接在对话框输入自然语言需求（如：“为当前类生成单元测试”）。
• 任务拆解：输入用户故事，插件将自动拆解为开发任务列表并生成初步代码结构。

3. 实践 Unit Mesh 架构理念

阅读 unit-mesh 仓库中的文档，理解“软件 2.0"架构：

• 核心思想：将 LLM 作为核心计算单元，传统代码作为编排层。
• 落地步骤：
  1. 定义清晰的 Prompt 接口（Prompt as Code）。
  2. 设计包含 LLM Agent 的业务流程。
  3. 利用 Unit Runtime 运行和测试生成的 AI 代码逻辑。

4. 开始模型微调 (进阶)

参考 unit-minions 中的教程进行 LoRA 微调：

• 准备特定场景的数据集（如需求文档、测试用例）。
• 修改配置文件，指定基座模型（如 LLaMA 或 ChatGLM）和数据路径。
• 运行训练脚本：

  python train.py --config configs/lora_config.json
  

• 评估微调后的模型在特定任务（如 SQL 生成、故事创作）上的表现。

---

提示：更多详细案例、视频演示及深度文章，请访问各子项目的 GitHub 页面或关注作者微信公众号 "phodal-weixin"。