[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-wpydcr--LLM-Kit":3,"tool-wpydcr--LLM-Kit":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",142651,2,"2026-04-06T23:34:12",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":75,"owner_location":76,"owner_email":77,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":98,"forks":99,"last_commit_at":100,"license":101,"difficulty_score":10,"env_os":102,"env_gpu":103,"env_ram":104,"env_deps":105,"category_tags":112,"github_topics":113,"view_count":32,"oss_zip_url":78,"oss_zip_packed_at":78,"status":17,"created_at":120,"updated_at":121,"faqs":122,"releases":151},4868,"wpydcr\u002FLLM-Kit","LLM-Kit","🚀WebUI integrated platform for latest LLMs | 各大语言模型的全流程工具 WebUI 整合包。支持主流大模型API接口和开源模型。支持知识库，数据库，角色扮演，mj文生图，LoRA和全参数微调，数据集制作，live2d等全流程应用工具","LLM-Kit（又名“苏秦”）是一款专为大语言模型打造的全流程 WebUI 整合平台。它旨在降低 AI 应用门槛，让用户无需编写代码，即可通过图形化界面轻松构建专属的定制模型与应用场景。\n\n该平台有效解决了普通用户在部署复杂 AI 环境、整合多模型接口及开发垂直应用时面临的技术难题。无论是连接主流大模型 API，还是本地运行开源模型，LLM-Kit 都提供了统一的操作入口。其功能覆盖极广，不仅支持知识库检索、数据库交互和角色扮演，还集成了 MJ 文生图、Live2D 虚拟形象互动，以及从数据集制作到 LoRA 全参数微调的完整训练链路。\n\nLLM-Kit 非常适合希望快速落地 AI 应用的非技术背景用户、需要原型验证的产品经理，以及想要简化工作流的开发者与研究人员。其核心亮点在于强大的兼容性与“一站式”体验：既支持国内外数十种主流大模型接口，也深度适配 ChatGLM、Qwen、Baichuan 等热门开源模型，并提供量化推理与显存优化技术，让配置有限的设备也能流畅运行。通过直观的界面，LLM-Kit 将复杂的底层技术封装为简单的点击操作，帮助用户专注于创意实现而非环境配置。","# 苏秦（suqin） 语言大模型全工具链 WebUI 整合包\n\n[**English**](.\u002FREADME_EN.md) | [**中文**](https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit)\n\n## 介绍\n\n⛓️ 本项目目标是实现目前各大语言模型的全流程工具 WebUI 整合包。不用写代码即可拥有自己的定制模型与专属应用！\n\n具体功能模块如下：\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwpydcr_LLM-Kit_readme_887ea4fa0842.png\">\n\u003C\u002Fp>\n\n---\n## 开发部署\n\n初次使用建议查阅[说明文档](https:\u002F\u002Fwww.yuque.com\u002Fsetpath\u002Fpkqy22?#)进行相关操作\n\n### 软件需求\n本项目已在 Python 3.8 - 3.10，CUDA 11.7\u002F11.8 环境下完成测试。已在 Windows、Linux 系统中完成测试。\n\n### 安装环境\n\n#### 1. 运行环境\n\n```shell\n# 拉取仓库\n$ git clone https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit.git\n\n# 进入目录\n$ cd LLM-Kit\n\n# 安装依赖\n$ pip install -r requirements.txt\n```\n 依赖也可以直接下载：[Windows环境包](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1NVmXam5MGfSn3MkZlt0zQg?pwd=8ku6)， [Linux环境包](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1exSZYLSx0OWP5NXNwtZsCw?pwd=fhn0)。\n \n [显卡驱动](https:\u002F\u002Fwww.nvidia.cn\u002FDownload\u002Findex.aspx?lang=cn)和[cuda](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda-toolkit-archive)自行安装\n\n#### 2. 执行脚本\n\n+ win环境，双击打开 web-demo-CN.bat 脚本\n+ Linux环境，双击打开 web-demo-CN.sh 脚本\n\n#### 3. 相关演示文件\n\n+ 体验大模型连接数据库功能请先下载[相关文件](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F13EWleDUaqHY7JeyfY0ErDQ?pwd=bjnp)\n+ 体验角色扮演功能请先下载[相关文件](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F13eWB-HMay7g9BSMIuZc8JQ?pwd=h9hq)\n+ 表情包功能请先下载[相关文件](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1W2Rwq6Ies4VRxY7wsgkNVQ?pwd=lxmm)放入data\u002Fapply\u002Femotion文件夹中\n\n---\n\n## 文件目录\n\n- **env** ：集成包环境\n- **utils** ：工具代码\n- **modules** ：各模块代码\n  - **agent** ：agent相关代码\n    - **chatdb** : 数据库接入相关代码\n    - **svc** : svc相关代码\n    - **vits** : vits相关代码\n  - **apply** ：应用demo代码\n  - **model** ：模型相关代码\n- **data** ：数据文件\n  - **apply** ：应用demo相关文件\n    - **audio** ：生成的语音文件\n    - **emotion** ：表情包文件\n    - **play** ：人设提示词文件\n  - **documents** ：知识库数据文件\n  - **modeldata** ：模型训练数据文件\n    - **LLM** ：大模型训练数据文件\n    - **Embedding** ：嵌入模型训练数据文件\n- **ui** ：ui界面代码\n- **output** ：训练中的checkpoints\n- **models** ：模型文件\n  - **LLM** ：语言大模型文件\n  - **Embedding** ：嵌入模型文件\n  - **LoRA** ：LoRA模型文件\n  - **live2d_models** ：[live2d模型文件](https:\u002F\u002Fwww.live2d.com\u002Fen\u002Fdownload\u002Fsample-data\u002F)\n  - **svc_models** ：svc相关文件\n    - **hubert_model** ：[声音编码器模型文件](https:\u002F\u002Fgithub.com\u002Fbshall\u002Fhubert\u002Freleases\u002Fdownload\u002Fv0.1\u002Fhubert-soft-0d54a1f4.pt)\n    -  **svc** : svc模型文件\n  - **vits_pretrained_models** : [vits模型文件]((https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzomehwh\u002Fvits-models\u002Ftree\u002Fmain\u002Fpretrained_models))\n\n---\n\n## 发展路线图\n\n- [x] LLM API支持(无需显卡)\n  - [x] [openai(支持国内中转)](https:\u002F\u002Fplatform.openai.com\u002Faccount\u002Fapi-keys)\n  - [x] [azure openai](https:\u002F\u002Flearn.microsoft.com\u002Fzh-cn\u002Fazure\u002Fcognitive-services\u002Fopenai\u002F)\n  - [x] [文心一言](https:\u002F\u002Fcloud.baidu.com\u002Fsurvey_summit\u002Fqianfan.html)\n  - [x] [智谱GLM](https:\u002F\u002Fopen.bigmodel.cn\u002Fusercenter\u002Fapikeys)\n  - [x] [通义千问](https:\u002F\u002Fhelp.aliyun.com\u002Fdocument_detail\u002F2399480.html)\n  - [x] [讯飞星火](https:\u002F\u002Fconsole.xfyun.cn\u002Fservices\u002Fcbm)\n  - [x] [claude](https:\u002F\u002Fwww.anthropic.com\u002Findex\u002Fclaude-2)\n  - [x] [aihubmix](https:\u002F\u002Faihubmix.com\u002F)\n- [ ] LLM 模型支持(训练\u002F推理)\n  - [x] [4bit与8bit量化（bitsandbytes仅支持linux）](https:\u002F\u002Fgithub.com\u002FTimDettmers\u002Fbitsandbytes)\n  - [x] [使用内存替代部分显存（deepspeed训练仅支持linux，推理在windows需编译）](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed)\n  - [x] [chatglm-6b](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm-6b)\n  - [x] [chatglm2-6b](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm2-6b)\n  - [x] [chatglm2-6b-32k](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm2-6b-32k)\n  - [x] [moss-moon-003-sft](https:\u002F\u002Fhuggingface.co\u002Ffnlp\u002Fmoss-moon-003-sft)\n  - [x] [phoenix-chat-7b](https:\u002F\u002Fhuggingface.co\u002FFreedomIntelligence\u002Fphoenix-chat-7b)\n  - [x] [Guanaco](https:\u002F\u002Fhuggingface.co\u002FJosephusCheung\u002FGuanaco)\n  - [x] [baichuan-vicuna-chinese-7b](https:\u002F\u002Fhuggingface.co\u002Ffireballoon\u002Fbaichuan-vicuna-chinese-7b)\n  - [x] [Baichuan-13B-Chat](https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Chat)\n  - [x] [internlm-chat-7b-8k](https:\u002F\u002Fhuggingface.co\u002Finternlm\u002Finternlm-chat-7b-8k)\n  - [x] [chinese-alpaca-2-7b(llama2)](https:\u002F\u002Fhuggingface.co\u002Fziqingyang\u002Fchinese-alpaca-2-7b)\n  - [x] [Qwen-7B-Chat](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-7B-Chat)\n  - [x] [Qwen-14B-Chat](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-14B-Chat)\n  - [x] [Baichuan2-7B-Chat](https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan2-7B-Chat)  \n  - [x] [Baichuan2-13B-Chat](https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan2-13B-Chat)\n- [ ] 多模态大模型(推理)\n  - [ ] qwen-vl\n- [x]  Finetune 支持\n  - [x] [LoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)\n  - [x] \u003Cdel>[P-Tuning](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM-6B\u002Ftree\u002Fmain\u002Fptuning)\u003Cdel>\n  - [x] 全参数微调\n- [x] Embedding 模型支持(训练，推理:HuggingFaceEmbeddings能加载的都行)\n  - [x] [BERT,SENTENCEBERT,COSENT架构的模型](https:\u002F\u002Fgithub.com\u002Fshibing624\u002Ftext2vec#evaluation)\n    - [x] [shibing624\u002Ftext2vec-base-chinese](https:\u002F\u002Fhuggingface.co\u002Fshibing624\u002Ftext2vec-base-chinese)\n    - [x] [bert-base-uncased](https:\u002F\u002Fhuggingface.co\u002Fbert-base-uncased)\n    - [x] [paraphrase-multilingual-MiniLM-L12-v2](https:\u002F\u002Fhuggingface.co\u002Fsentence-transformers\u002Fparaphrase-multilingual-MiniLM-L12-v2)\n- [ ] 工具\n  - [ ] 聊天\n    - [X] LLM API 并行调用\n    - [X] LLM API 流式调用\n    - [x] 提示词模板\n  - [ ] 图像生成\n    - [x] [Midjourney(VPN)](https:\u002F\u002Fgithub.com\u002FCelestialRipple\u002FMidjourney-Web-API)\n    - [ ] GEN-2\n    - [ ] Pika\n  - [ ] 数据集\n    - [x] LLM训练数据集制作\n    - [x] Embedding训练数据集制作\n    - [x] LLM数据集格式转换\n    - [x] Embedding数据集格式转换\n  - [ ] langchain\n    - [x] 本地知识库\n      - [x] FAISS\n      - [X] 本地模型知识库并行调用\n    - [x] 网络接入\n    - [x] [mysql数据库接入](https:\u002F\u002Fgithub.com\u002Fhuchenxucs\u002FChatDB)\n    - [x] Agent 实现\n  - [ ] 扩展插件模式\n- [ ] 应用demo\n    - [x] 角色扮演\n        - [x] 记忆库\n        - [x] 背景库\n        - [x] 人设提示词\n        - [x] [时间感知](https:\u002F\u002Fgithub.com\u002FSyan-Lin\u002FCyberWaifu)\n        - [x] [表情包](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1W2Rwq6Ies4VRxY7wsgkNVQ?pwd=lxmm)\n    - [ ] AI 智能体\n        - [ ] 单智能体设计\n        - [ ] 场景设定\n        - [ ] 智能体交互\n        - [ ] 可视化\n    - [ ] 人物形象\n        - [ ] 声音\n            - [x] [在线tts](https:\u002F\u002Fyntts.qq.com\u002F)\n            - [X] [本地tts](https:\u002F\u002Fgithub.com\u002Fjackiexiao\u002Fzhtts)\n            - [X] [vits 调用](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzomehwh\u002Fvits-models\u002Ftree\u002Fmain\u002Fpretrained_models)\n            - [ ] [vits 训练](https:\u002F\u002Fgithub.com\u002FSayaSS\u002Fvits-finetuning)\n            - [X] [svc 调用](https:\u002F\u002Fgithub.com\u002FLC1332\u002FChat-Haruhi-Suzumiya)\n            - [ ] [svc 训练](https:\u002F\u002Fgithub.com\u002Fsvc-develop-team\u002Fso-vits-svc)\n        - [ ] [live2D](https:\u002F\u002Fwww.live2d.com\u002Fen\u002Fdownload\u002Fsample-data\u002F)\n          - [x] 嘴型\n          - [X] live2d 场景自定义 \n          - [ ] 表情\n          - [ ] 动作\n        - [ ] 真人\n          - [ ] 嘴型\n          - [ ] 表情\n          - [ ] 动作\n          - [ ] 场景\n          \n- [ ] 增加 API 支持\n  - [ ] 利用 fastapi 实现 API 部署方式\n  - [ ] 实现调用 API 的 Web UI Demo\n  - [ ] VUE 页面前端\n\n---\n\n## 贡献者\n\n### [吴平宇 @USTC](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=mbCiJeAAAAAJ)\n发起人，负责整体项目架构和技术规划\n\n### [廖文彬 @中科院计算技术研究所](https:\u002F\u002Fgithub.com\u002Fset-path)\n负责gradio，图向量数据库，Mysql数据库，api接口集成等python开发\n\n### [胡钜程 @伦敦大学学院UCL](https:\u002F\u002Fgithub.com\u002Fsmgjch)\n负责图向量数据库， live2D，vits, svc，gradio等python开发\n\n### [李璟辉](https:\u002F\u002Fgithub.com\u002FJaheimLee)\n负责大模型训练与推理的后端代码开发\n\n---\n\n## 项目招募\n\n详见[说明文档](https:\u002F\u002Fwww.yuque.com\u002Fsetpath\u002Fllm-kit\u002Fgf3hu8l2bys1pgfd)\n\n---\n\n## 参考与学习\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FimClumsyPanda\u002Flangchain-ChatGLM.svg)  [基于ChatGLM的langchain应用](https:\u002F\u002Fgithub.com\u002FimClumsyPanda\u002Flangchain-ChatGLM)\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FLC1332\u002FLuotuo-Chinese-LLM.svg)  [骆驼中文大模型](https:\u002F\u002Fgithub.com\u002FLC1332\u002FLuotuo-Chinese-LLM)\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhuchenxucs\u002FChatDB.svg) [ChatDB](https:\u002F\u002Fgithub.com\u002Fhuchenxucs\u002FChatDB)\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fnladuo\u002Flive2d-chatbot-demo.svg)  [Live2d模型](https:\u002F\u002Fgithub.com\u002Fnladuo\u002Flive2d-chatbot-demo)\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FLC1332\u002FChat-Haruhi-Suzumiya.svg) [Chat-Haruhi-Suzumiya](https:\u002F\u002Fgithub.com\u002FLC1332\u002FChat-Haruhi-Suzumiya)\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FGaiZhenbiao\u002FChuanhuChatGPT.svg) [川虎Chat：为多种LLM提供Web图形界面](https:\u002F\u002Fgithub.com\u002FGaiZhenbiao\u002FChuanhuChatGPT)\n\n---\n\n## 开源协议\n本仓库的代码依照 [AGPL-3.0](https:\u002F\u002Fwww.gnu.org\u002Flicenses\u002Fagpl-3.0.en.html) 协议开源\n\n一方面希望通过开源加强项目产品化程度；另一方面希望在社区中吸收更多的实践场景进而继续完善产品，也欢迎大家参与到项目中来。\n\nAGPL-3.0 是 OSI 批准的许可证，符合自由和开源软件的所有标准，开源永远是我们的初心与核心，我们将始终不渝的坚持去做这件事，我们相信在社区的推动下，这件事我们一定会做的更好 。\n\n或许很多开发者对此协议抱有一些疑问，开源社区目前也有很多采用 AGPL-3.0 协议的开源软件，例如 MongoDB、Grafana、Loki 等， 维基百科还专门有一份列表列出了哪些开源项目 采用了 AGPL-3.0 开源协议。\n\nAGPL-3.0 协议有一个非常关键的点，即对修改上游开源项目代码后的二次分发版本必须也要开源，协议限制的是部分企业想 Folk 开源项目代码后进行闭源商业分发，跟上游开源项目的维护团队进行直接的商业竞争，如果仅仅只是企业内部自己使用而不进行任何层面修改，用户大可不必担心 AGPL-3.0 协议带来的限制， 这些条件旨在鼓励和希望修改软件的第三方也为项目和社区做出贡献。我们认为这是一种更公平的前进方式，我们相信这将有助于我们建立更强大的社区。\n\n简单来讲：如果您修改了本项目源代码，那么您必须将这些修改贡献给社区， 绝不允许修改后和衍生的代码做为闭源的商业软件发布和销售。\n\n我们也提供了商业授权，如果您需要将本产品进行二次开发、更改并进行任何附带商业化性质行为使用，请联系我们（wupingyu@mail.ustc.edu.cn）进行商业授权，以遵守 AGPL-3.0 协议保证您的正常使用。\n\n除此之外，我们也会酌情接受根据个人或企业需求的定制化开发。\n\n目前在国内 GPL 协议具备合同特征，是一种民事法律行为 ，属于我国《合同法》调整的范围。 本项目团队保留诉讼权利。\n\n本项目开源团队拥有对本开源协议的最终解释权。\n\n---\n\n## 引用\n\n如果您在项目中使用了我们的模型、代码或者数据，请引用下面文章。\n\nPlease cite the repo if you use the data or code in this repo.\n\n```\n@misc{wupingyu2023,\n  author={Pingyu Wu},\n  title = {LLM Kit},\n  year = {2023},\n  publisher = {GitHub},\n  journal = {GitHub repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit.git}},\n}\n```\n---\n\n## Starchart\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwpydcr_LLM-Kit_readme_f3041ce2863f.png)](https:\u002F\u002Fstar-history.com\u002F#wpydcr\u002FLLM-Kit&Date)\n","# 苏秦（suqin） 语言大模型全工具链 WebUI 整合包\n\n[**English**](.\u002FREADME_EN.md) | [**中文**](https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit)\n\n## 介绍\n\n⛓️ 本项目目标是实现目前各大语言模型的全流程工具 WebUI 整合包。不用写代码即可拥有自己的定制模型与专属应用！\n\n具体功能模块如下：\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwpydcr_LLM-Kit_readme_887ea4fa0842.png\">\n\u003C\u002Fp>\n\n---\n## 开发部署\n\n初次使用建议查阅[说明文档](https:\u002F\u002Fwww.yuque.com\u002Fsetpath\u002Fpkqy22?#)进行相关操作\n\n### 软件需求\n本项目已在 Python 3.8 - 3.10，CUDA 11.7\u002F11.8 环境下完成测试。已在 Windows、Linux 系统中完成测试。\n\n### 安装环境\n\n#### 1. 运行环境\n\n```shell\n# 拉取仓库\n$ git clone https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit.git\n\n# 进入目录\n$ cd LLM-Kit\n\n# 安装依赖\n$ pip install -r requirements.txt\n```\n 依赖也可以直接下载：[Windows环境包](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1NVmXam5MGfSn3MkZlt0zQg?pwd=8ku6)， [Linux环境包](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1exSZYLSx0OWP5NXNwtZsCw?pwd=fhn0)。\n \n [显卡驱动](https:\u002F\u002Fwww.nvidia.cn\u002FDownload\u002Findex.aspx?lang=cn)和[cuda](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda-toolkit-archive)自行安装\n\n#### 2. 执行脚本\n\n+ win环境，双击打开 web-demo-CN.bat 脚本\n+ Linux环境，双击打开 web-demo-CN.sh 脚本\n\n#### 3. 相关演示文件\n\n+ 体验大模型连接数据库功能请先下载[相关文件](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F13EWleDUaqHY7JeyfY0ErDQ?pwd=bjnp)\n+ 体验角色扮演功能请先下载[相关文件](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F13eWB-HMay7g9BSMIuZc8JQ?pwd=h9hq)\n+ 表情包功能请先下载[相关文件](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1W2Rwq6Ies4VRxY7wsgkNVQ?pwd=lxmm)放入data\u002Fapply\u002Femotion文件夹中\n\n---\n\n## 文件目录\n\n- **env** ：集成包环境\n- **utils** ：工具代码\n- **modules** ：各模块代码\n  - **agent** ：agent相关代码\n    - **chatdb** : 数据库接入相关代码\n    - **svc** : svc相关代码\n    - **vits** : vits相关代码\n  - **apply** ：应用demo代码\n  - **model** ：模型相关代码\n- **data** ：数据文件\n  - **apply** ：应用demo相关文件\n    - **audio** ：生成的语音文件\n    - **emotion** ：表情包文件\n    - **play** ：人设提示词文件\n  - **documents** ：知识库数据文件\n  - **modeldata** ：模型训练数据文件\n    - **LLM** ：大模型训练数据文件\n    - **Embedding** ：嵌入模型训练数据文件\n- **ui** ：ui界面代码\n- **output** ：训练中的checkpoints\n- **models** ：模型文件\n  - **LLM** ：语言大模型文件\n  - **Embedding** ：嵌入模型文件\n  - **LoRA** ：LoRA模型文件\n  - **live2d_models** ：[live2d模型文件](https:\u002F\u002Fwww.live2d.com\u002Fen\u002Fdownload\u002Fsample-data\u002F)\n  - **svc_models** ：svc相关文件\n    - **hubert_model** ：[声音编码器模型文件](https:\u002F\u002Fgithub.com\u002Fbshall\u002Fhubert\u002Freleases\u002Fdownload\u002Fv0.1\u002Fhubert-soft-0d54a1f4.pt)\n    -  **svc** : svc模型文件\n  - **vits_pretrained_models** : [vits模型文件]((https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzomehwh\u002Fvits-models\u002Ftree\u002Fmain\u002Fpretrained_models))\n\n---\n\n## 发展路线图\n\n- [x] LLM API支持(无需显卡)\n  - [x] [openai(支持国内中转)](https:\u002F\u002Fplatform.openai.com\u002Faccount\u002Fapi-keys)\n  - [x] [azure openai](https:\u002F\u002Flearn.microsoft.com\u002Fzh-cn\u002Fazure\u002Fcognitive-services\u002Fopenai\u002F)\n  - [x] [文心一言](https:\u002F\u002Fcloud.baidu.com\u002Fsurvey_summit\u002Fqianfan.html)\n  - [x] [智谱GLM](https:\u002F\u002Fopen.bigmodel.cn\u002Fusercenter\u002Fapikeys)\n  - [x] [通义千问](https:\u002F\u002Fhelp.aliyun.com\u002Fdocument_detail\u002F2399480.html)\n  - [x] [讯飞星火](https:\u002F\u002Fconsole.xfyun.cn\u002Fservices\u002Fcbm)\n  - [x] [claude](https:\u002F\u002Fwww.anthropic.com\u002Findex\u002Fclaude-2)\n  - [x] [aihubmix](https:\u002F\u002Faihubmix.com\u002F)\n- [ ] LLM 模型支持(训练\u002F推理)\n  - [x] [4bit与8bit量化（bitsandbytes仅支持linux）](https:\u002F\u002Fgithub.com\u002FTimDettmers\u002Fbitsandbytes)\n  - [x] [使用内存替代部分显存（deepspeed训练仅支持linux，推理在windows需编译）](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeed)\n  - [x] [chatglm-6b](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm-6b)\n  - [x] [chatglm2-6b](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm2-6b)\n  - [x] [chatglm2-6b-32k](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fchatglm2-6b-32k)\n  - [x] [moss-moon-003-sft](https:\u002F\u002Fhuggingface.co\u002Ffnlp\u002Fmoss-moon-003-sft)\n  - [x] [phoenix-chat-7b](https:\u002F\u002Fhuggingface.co\u002FFreedomIntelligence\u002Fphoenix-chat-7b)\n  - [x] [Guanaco](https:\u002F\u002Fhuggingface.co\u002FJosephusCheung\u002FGuanaco)\n  - [x] [baichuan-vicuna-chinese-7b](https:\u002F\u002Fhuggingface.co\u002Ffireballoon\u002Fbaichuan-vicuna-chinese-7b)\n  - [x] [Baichuan-13B-Chat](https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan-13B-Chat)\n  - [x] [internlm-chat-7b-8k](https:\u002F\u002Fhuggingface.co\u002Finternlm\u002Finternlm-chat-7b-8k)\n  - [x] [chinese-alpaca-2-7b(llama2)](https:\u002F\u002Fhuggingface.co\u002Fziqingyang\u002Fchinese-alpaca-2-7b)\n  - [x] [Qwen-7B-Chat](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-7B-Chat)\n  - [x] [Qwen-14B-Chat](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen-14B-Chat)\n  - [x] [Baichuan2-7B-Chat](https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan2-7B-Chat)  \n  - [x] [Baichuan2-13B-Chat](https:\u002F\u002Fhuggingface.co\u002Fbaichuan-inc\u002FBaichuan2-13B-Chat)\n- [ ] 多模态大模型(推理)\n  - [ ] qwen-vl\n- [x]  Finetune 支持\n  - [x] [LoRA](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora)\n  - [x] \u003Cdel>[P-Tuning](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FChatGLM-6B\u002Ftree\u002Fmain\u002Fptuning)\u003Cdel>\n  - [x] 全参数微调\n- [x] Embedding 模型支持(训练，推理:HuggingFaceEmbeddings能加载的都行)\n  - [x] [BERT,SENTENCEBERT,COSENT架构的模型](https:\u002F\u002Fgithub.com\u002Fshibing624\u002Ftext2vec#evaluation)\n    - [x] [shibing624\u002Ftext2vec-base-chinese](https:\u002F\u002Fhuggingface.co\u002Fshibing624\u002Ftext2vec-base-chinese)\n    - [x] [bert-base-uncased](https:\u002F\u002Fhuggingface.co\u002Fbert-base-uncased)\n    - [x] [paraphrase-multilingual-MiniLM-L12-v2](https:\u002F\u002Fhuggingface.co\u002Fsentence-transformers\u002Fparaphrase-multilingual-MiniLM-L12-v2)\n- [ ] 工具\n  - [ ] 聊天\n    - [X] LLM API 并行调用\n    - [X] LLM API 流式调用\n    - [x] 提示词模板\n  - [ ] 图像生成\n    - [x] [Midjourney(VPN)](https:\u002F\u002Fgithub.com\u002FCelestialRipple\u002FMidjourney-Web-API)\n    - [ ] GEN-2\n    - [ ] Pika\n  - [ ] 数据集\n    - [x] LLM训练数据集制作\n    - [x] Embedding训练数据集制作\n    - [x] LLM数据集格式转换\n    - [x] Embedding数据集格式转换\n  - [ ] langchain\n    - [x] 本地知识库\n      - [x] FAISS\n      - [X] 本地模型知识库并行调用\n    - [x] 网络接入\n    - [x] [mysql数据库接入](https:\u002F\u002Fgithub.com\u002Fhuchenxucs\u002FChatDB)\n    - [x] Agent 实现\n  - [ ] 扩展插件模式\n- [ ] 应用demo\n    - [x] 角色扮演\n        - [x] 记忆库\n        - [x] 背景库\n        - [x] 人设提示词\n        - [x] [时间感知](https:\u002F\u002Fgithub.com\u002FSyan-Lin\u002FCyberWaifu)\n        - [x] [表情包](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1W2Rwq6Ies4VRxY7wsgkNVQ?pwd=lxmm)\n    - [ ] AI 智能体\n        - [ ] 单智能体设计\n        - [ ] 场景设定\n        - [ ] 智能体交互\n        - [ ] 可视化\n    - [ ] 人物形象\n        - [ ] 声音\n            - [x] [在线tts](https:\u002F\u002Fyntts.qq.com\u002F)\n            - [X] [本地tts](https:\u002F\u002Fgithub.com\u002Fjackiexiao\u002Fzhtts)\n            - [X] [vits 调用](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzomehwh\u002Fvits-models\u002Ftree\u002Fmain\u002Fpretrained_models)\n            - [ ] [vits 训练](https:\u002F\u002Fgithub.com\u002FSayaSS\u002Fvits-finetuning)\n            - [X] [svc 调用](https:\u002F\u002Fgithub.com\u002FLC1332\u002FChat-Haruhi-Suzumiya)\n            - [ ] [svc 训练](https:\u002F\u002Fgithub.com\u002Fsvc-develop-team\u002Fso-vits-svc)\n        - [ ] [live2D](https:\u002F\u002Fwww.live2d.com\u002Fen\u002Fdownload\u002Fsample-data\u002F)\n          - [x] 嘴型\n          - [X] live2d 场景自定义 \n          - [ ] 表情\n          - [ ] 动作\n        - [ ] 真人\n          - [ ] 嘴型\n          - [ ] 表情\n          - [ ] 动作\n          - [ ] 场景\n          \n- [ ] 增加 API 支持\n  - [ ] 利用 fastapi 实现 API 部署方式\n  - [ ] 实现调用 API 的 Web UI Demo\n  - [ ] VUE 页面前端\n\n---\n\n## 贡献者\n\n### [吴平宇 @USTC](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=mbCiJeAAAAAJ)\n发起人，负责整体项目架构和技术规划\n\n### [廖文彬 @中科院计算技术研究所](https:\u002F\u002Fgithub.com\u002Fset-path)\n负责gradio，图向量数据库，Mysql数据库，api接口集成等python开发\n\n### [胡钜程 @伦敦大学学院UCL](https:\u002F\u002Fgithub.com\u002Fsmgjch)\n负责图向量数据库， live2D，vits, svc，gradio等python开发\n\n### [李璟辉](https:\u002F\u002Fgithub.com\u002FJaheimLee)\n负责大模型训练与推理的后端代码开发\n\n---\n\n## 项目招募\n\n详见[说明文档](https:\u002F\u002Fwww.yuque.com\u002Fsetpath\u002Fllm-kit\u002Fgf3hu8l2bys1pgfd)\n\n---\n\n## 参考与学习\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FimClumsyPanda\u002Flangchain-ChatGLM.svg)  基于ChatGLM的langchain应用（[GitHub链接](https:\u002F\u002Fgithub.com\u002FimClumsyPanda\u002Flangchain-ChatGLM)）\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FLC1332\u002FLuotuo-Chinese-LLM.svg)  骆驼中文大模型（[GitHub链接](https:\u002F\u002Fgithub.com\u002FLC1332\u002FLuotuo-Chinese-LLM)）\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fhuchenxucs\u002FChatDB.svg) [ChatDB](https:\u002F\u002Fgithub.com\u002Fhuchenxucs\u002FChatDB)\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fnladuo\u002Flive2d-chatbot-demo.svg)  [Live2d模型](https:\u002F\u002Fgithub.com\u002Fnladuo\u002Flive2d-chatbot-demo)\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FLC1332\u002FChat-Haruhi-Suzumiya.svg) [Chat-Haruhi-Suzumiya](https:\u002F\u002Fgithub.com\u002FLC1332\u002FChat-Haruhi-Suzumiya)\n\n![Github stars](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FGaiZhenbiao\u002FChuanhuChatGPT.svg) [川虎Chat：为多种LLM提供Web图形界面](https:\u002F\u002Fgithub.com\u002FGaiZhenbiao\u002FChuanhuChatGPT)\n\n---\n\n## 开源协议\n本仓库的代码依照 [AGPL-3.0](https:\u002F\u002Fwww.gnu.org\u002Flicenses\u002Fagpl-3.0.en.html) 协议开源\n\n一方面希望通过开源加强项目产品化程度；另一方面希望在社区中吸收更多的实践场景进而继续完善产品，也欢迎大家参与到项目中来。\n\nAGPL-3.0 是 OSI 批准的许可证，符合自由和开源软件的所有标准，开源永远是我们的初心与核心，我们将始终不渝的坚持去做这件事，我们相信在社区的推动下，这件事我们一定会做的更好 。\n\n或许很多开发者对此协议抱有一些疑问，开源社区目前也有很多采用 AGPL-3.0 协议的开源软件，例如 MongoDB、Grafana、Loki 等， 维基百科还专门有一份列表列出了哪些开源项目 采用了 AGPL-3.0 开源协议。\n\nAGPL-3.0 协议有一个非常关键的点，即对修改上游开源项目代码后的二次分发版本必须也要开源，协议限制的是部分企业想 Folk 开源项目代码后进行闭源商业分发，跟上游开源项目的维护团队进行直接的商业竞争，如果仅仅只是企业内部自己使用而不进行任何层面修改，用户大可不必担心 AGPL-3.0 协议带来的限制， 这些条件旨在鼓励和希望修改软件的第三方也为项目和社区做出贡献。我们认为这是一种更公平的前进方式，我们相信这将有助于我们建立更强大的社区。\n\n简单来讲：如果您修改了本项目源代码，那么您必须将这些修改贡献给社区， 绝不允许修改后和衍生的代码做为闭源的商业软件发布和销售。\n\n我们也提供了商业授权，如果您需要将本产品进行二次开发、更改并进行任何附带商业化性质行为使用，请联系我们（wupingyu@mail.ustc.edu.cn）进行商业授权，以遵守 AGPL-3.0 协议保证您的正常使用。\n\n除此之外，我们也会酌情接受根据个人或企业需求的定制化开发。\n\n目前在国内 GPL 协议具备合同特征，是一种民事法律行为 ，属于我国《合同法》调整的范围。 本项目团队保留诉讼权利。\n\n本项目开源团队拥有对本开源协议的最终解释权。\n\n---\n\n## 引用\n\n如果您在项目中使用了我们的模型、代码或者数据，请引用下面文章。\n\nPlease cite the repo if you use the data or code in this repo.\n\n```\n@misc{wupingyu2023,\n  author={Pingyu Wu},\n  title = {LLM Kit},\n  year = {2023},\n  publisher = {GitHub},\n  journal = {GitHub repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit.git}},\n}\n```\n---\n\n## Starchart\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwpydcr_LLM-Kit_readme_f3041ce2863f.png)](https:\u002F\u002Fstar-history.com\u002F#wpydcr\u002FLLM-Kit&Date)","# LLM-Kit (苏秦) 快速上手指南\n\nLLM-Kit 是一个集成了大语言模型全流程工具的 WebUI 整合包，支持无需代码即可定制专属模型与应用。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**：Windows 或 Linux\n- **Python 版本**：3.8 - 3.10\n- **显卡驱动**：需安装 NVIDIA 显卡驱动\n- **CUDA 版本**：推荐 11.7 或 11.8\n\n### 前置依赖\n请确保已安装以下基础软件（如未安装，请点击链接下载）：\n- [NVIDIA 显卡驱动](https:\u002F\u002Fwww.nvidia.cn\u002FDownload\u002Findex.aspx?lang=cn)\n- [CUDA Toolkit](https:\u002F\u002Fdeveloper.nvidia.com\u002Fcuda-toolkit-archive)\n\n> **提示**：国内用户若无法通过 `pip` 正常安装依赖，可前往项目提供的百度网盘链接下载预编译好的环境包（Windows\u002FLinux）。\n\n## 2. 安装步骤\n\n### 第一步：获取代码\n克隆项目仓库到本地：\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit.git\ncd LLM-Kit\n```\n\n### 第二步：安装依赖\n使用 pip 安装所需 Python 库：\n```shell\npip install -r requirements.txt\n```\n*(注：如遇网络问题，建议配置国内镜像源，例如：`pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`)*\n\n### 第三步：启动服务\n根据操作系统选择对应的脚本双击运行或在终端执行：\n\n- **Windows 用户**：\n  ```shell\n  web-demo-CN.bat\n  ```\n- **Linux 用户**：\n  ```shell\n  bash web-demo-CN.sh\n  ```\n\n启动成功后，浏览器将自动打开或显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:xxxx`）。\n\n## 3. 基本使用\n\n启动后，您将通过 Web 界面操作所有功能。以下是两种最基础的使用场景：\n\n### 场景一：连接云端大模型 API（无需本地显卡）\n1. 在 WebUI 左侧菜单栏选择 **\"LLM API\"** 模块。\n2. 选择服务商（支持 OpenAI、文心一言、智谱 GLM、通义千问、讯飞星火等）。\n3. 填入对应的 **API Key** 和 **Secret Key**。\n4. 点击“连接”或“发送”，即可在对话框中与云端大模型进行对话。\n\n### 场景二：加载本地模型进行推理\n1. 确保已将模型文件（如 ChatGLM, Qwen, Baichuan 等）放入 `models\u002FLLM` 目录。\n2. 在 WebUI 中选择 **\"本地模型\"** 模块。\n3. 在下拉菜单中选择已放入的模型名称。\n4. 点击加载，待状态显示就绪后，即可开始本地对话。\n\n> **进阶功能提示**：如需体验角色扮演、数据库连接或表情包互动，请先查阅项目文档下载对应的演示数据文件，并放置于 `data\u002Fapply` 对应子目录中。","某中小型电商公司的技术团队希望快速构建一个能回答商品库存、订单状态等内部数据的智能客服助手，并赋予其特定的品牌人设。\n\n### 没有 LLM-Kit 时\n- **开发门槛高**：团队成员需分别编写代码对接大模型 API、搭建向量数据库知识库，并手动整合 RAG（检索增强生成）流程，耗时数周。\n- **模型定制难**：想要让客服语气更符合品牌风格，缺乏便捷的 LoRA 微调界面，只能依赖复杂的命令行脚本进行全参数训练，试错成本极高。\n- **功能集成碎**：若需增加“文生图”展示商品或\"Live2D\"虚拟形象互动，需单独寻找并部署多个开源项目，环境依赖冲突频繁，维护困难。\n- **数据管理乱**：训练数据集的制作、清洗与格式化缺乏统一工具，往往需要在不同软件间反复转换格式，效率低下且易出错。\n\n### 使用 LLM-Kit 后\n- **零代码部署**：直接通过 WebUI 界面配置主流大模型接口，上传公司文档即可自动构建知识库，半天内完成智能客服原型的搭建与上线。\n- **可视化微调**：利用内置的 LoRA 和全参数微调模块，上传对话样本后即可在图形界面启动训练，轻松打造出具备品牌专属语气的定制模型。\n- **一站式集成**：在一个平台内即可调用 MJ 文生图生成商品海报，加载 Live2D 模型实现虚拟主播互动，无需关心底层环境兼容性问题。\n- **全流程闭环**：内置数据集制作工具支持一键格式化数据，配合直观的监控面板，让从数据准备到模型迭代的全流程变得清晰可控。\n\nLLM-Kit 将原本需要多人协作数周的复杂工程，浓缩为单人半天可完成的可视化操作，真正实现了大模型应用的“开箱即用”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fwpydcr_LLM-Kit_edf68028.png","wpydcr","pingyu wu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fwpydcr_cd26d81c.jpg","University of Science and Technology of China","hefei","wpydcr@sina.com",null," wupingyu@mail.ustc.edu.cn","https:\u002F\u002Fgithub.com\u002Fwpydcr",[82,86,90,94],{"name":83,"color":84,"percentage":85},"Python","#3572A5",98.5,{"name":87,"color":88,"percentage":89},"JavaScript","#f1e05a",1.2,{"name":91,"color":92,"percentage":93},"Shell","#89e051",0.3,{"name":95,"color":96,"percentage":97},"Batchfile","#C1F12E",0,551,64,"2026-04-04T12:45:08","AGPL-3.0","Windows, Linux","需要 NVIDIA GPU（用于本地模型训练\u002F推理），支持 CUDA 11.7 或 11.8。部分功能（如 bitsandbytes 量化、DeepSpeed 训练）仅支持 Linux。API 调用模式无需显卡。","未说明",{"notes":106,"python":107,"dependencies":108},"1. 本项目提供 Windows 和 Linux 的预打包环境下载链接，也可通过 pip install -r requirements.txt 手动安装。\n2. 部分高级功能有系统限制：bitsandbytes (4bit\u002F8bit 量化) 仅支持 Linux；DeepSpeed 训练仅支持 Linux，其在 Windows 上的推理需编译。\n3. 体验特定功能（如数据库连接、角色扮演、表情包）需额外下载相关文件并放入指定目录。\n4. 支持多种大模型 API 调用（无需显卡）及本地模型部署（需显卡）。","3.8 - 3.10",[109,110,111],"requirements.txt 中定义的依赖包","NVIDIA 显卡驱动","CUDA Toolkit 11.7\u002F11.8",[14,13,35],[114,115,116,117,118,119],"chatbot","embeddings","fine-tuning","generative-agents","llm","player","2026-03-27T02:49:30.150509","2026-04-07T13:28:54.052010",[123,128,133,138,143,147],{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},22130,"为什么安装 bitsandbytes 后提示没有 GPU 支持，无法使用 8 位优化器？","当前版本仅支持 README 中列出的模型，且近期未更新以适配新环境。此外，请确认您是否在 Linux 环境下运行，因为该功能对操作系统环境有特定要求。","https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit\u002Fissues\u002F27",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},22131,"该项目目前是否还在持续更新？","由于作者个人精力有限，目前主要精力已投入到新的多模态项目 DramaGo 中，因此本项目的更新频率有所降低。","https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit\u002Fissues\u002F26",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},22132,"如何连接或使用本地的 LLM 模型（例如 chat-6m）？","对于初学者，请参考官方用户手册获取详细的配置步骤：https:\u002F\u002Fwww.yuque.com\u002Fsetpath\u002Fllm-kit","https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit\u002Fissues\u002F25",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},22133,"我的网络可以直接连接 OpenAI，不需要代理，但 webui.py 强制要求填写 proxyPort 怎么办？","维护者已确认该问题并将安排修复，后续版本将支持在不使用 VPN 代理的情况下直接运行。","https:\u002F\u002Fgithub.com\u002Fwpydcr\u002FLLM-Kit\u002Fissues\u002F17",{"id":144,"question_zh":145,"answer_zh":146,"source_url":127},22134,"框架目前支持 Qwen1.5 模型吗？","目前框架似乎尚未支持 Qwen1.5 模型，尝试使用时可能会报错。建议暂时使用 README 中明确列出的受支持模型。",{"id":148,"question_zh":149,"answer_zh":150,"source_url":127},22135,"bitsandbytes 报错是否与操作系统有关？","是的，维护者指出需要确认是否在 Linux 环境下运行，非 Linux 环境可能导致 bitsandbytes 编译时缺少 GPU 支持。",[]]