闻达：一个大规模语言模型调用平台

本项目设计目标为实现针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题。为达目标，平台化集成了以下能力：

1. 知识库：支持对接本地离线向量库、本地搜索引擎、在线搜索引擎等。
2. 多种大语言模型：目前支持离线部署模型有chatGLM-6B\chatGLM2-6B、chatRWKV、llama系列(不推荐中文用户)、moss(不推荐)、baichuan(需配合lora使用，否则效果差)、Aquila-7B、InternLM，在线API访问openai api和chatGLM-130b api。
3. Auto脚本：通过开发插件形式的JavaScript脚本，为平台附件功能，实现包括但不限于自定义对话流程、访问外部API、在线切换LoRA模型。
4. 其他实用化所需能力：对话历史管理、内网部署、多用户同时使用等。

交流QQ群：LLM使用和综合讨论群162451840；知识库使用讨论群241773574(已满，请去QQ频道讨论)；Auto开发交流群744842245；QQ频道

• 闻达：一个大规模语言模型调用平台
  • 安装部署
    • 各模型功能说明
    • 懒人包
      • 百度云
      • 夸克
      • 介绍
    • 自行安装
      • 1.安装库
      • 2.下载模型
      • 3.参数设置
  • Auto
    • Auto 开发函数列表
    • Auto 开发涉及代码段
    • 部分内置 Auto 使用说明
  • 知识库
    • rtst模式
    • 使用微调模型提高知识库回答准确性
    • 模型
    • fess模式
    • 知识库调试
    • 清洗知识库文件
  • 模型配置
    • chatGLM-6B/chatGLM2-6B
    • chatRWKV
      • torch
      • cpp
    • Aquila-7B
• 基于本项目的二次开发
  • wenda-webui
  • 接入Word文档软件

安装部署

各模型功能说明

功能	多用户并行	流式输出	CPU	GPU	量化	外挂LoRa
chatGLM-6B/chatGLM2-6B	√	√	需安装编译器	√	预先量化和在线量化	√
RWKV torch	√	√	√	√	预先量化和在线量化
RWKV.cpp	√	√	可用指令集加速		预先量化
Baichuan-7B	√	√	√	√		√
Baichuan-7B (GPTQ)	√	√		√	预先量化
Aquila-7B		官方未实现	√	√
replit			√	√
chatglm130b api	√
openai api	√	√
llama.cpp	√	√	可用指令集加速		预先量化
llama torch	√	√	√	√	预先量化和在线量化
InternLM	√	√	√	√	在线量化

懒人包

百度云

https://pan.baidu.com/s/1idvot-XhEvLLKCbjDQuhyg?pwd=wdai

夸克

链接：https://pan.quark.cn/s/c4cb08de666e 提取码：4b4R

介绍

默认参数在6G显存设备上运行良好。最新版懒人版已集成一键更新功能，建议使用前更新。

使用步骤（以glm6b模型为例）：

1. 下载懒人版主体和模型，模型可以用内置脚本从HF下载，也可以从网盘下载。
2. 如果没有安装CUDA11.8，从网盘下载并安装。
3. 双击运行运行GLM6B.bat。
4. 如果需要生成离线知识库，参考 知识库。

自行安装

PS:一定要看example.config.yml，里面对各功能有更详细的说明！！！

1.安装库

通用依赖：pip install -r requirements/requirements.txt 根据使用的 知识库进行相应配置

2.下载模型

根据需要，下载对应模型。

建议使用chatRWKV的RWKV-4-Raven-7B-v11，或chatGLM-6B。

3.参数设置

把example.config.yml重命名为config.yml，根据里面的参数说明，填写你的模型下载位置等信息

Auto

auto功能通过JavaScript脚本实现，使用油猴脚本或直接放到autos目录的方式注入至程序，为闻达附加各种自动化功能。

Auto 开发函数列表

函数 （皆为异步调用）	功能	说明
send(s,keyword = "",show=true)	发送信息至LLM，返回字符串为模型返回值	s：输入模型文本；keyword:聊天界面显示文本；show：是否在聊天界面显示
add_conversation(role, content)	添加会话信息	role：'AI'、'user'；content：字符串
save_history()	保存会话历史	对话完成后会自动保存，但手动添加的对话须手动保存
find(s, step = 1)	从知识库查找	返回json数组
find_dynamic(s,step=1,paraJson)	从动态知识库查找；参考闻达笔记Auto	paraJson：{libraryStategy:"sogowx:3",maxItmes:2}
zsk(b=true)	开关知识库
lsdh(b=true)	开关历史对话	打开知识库时应关闭历史
speak(s)	使用TTS引擎朗读文本。	调用系统引擎
copy(s)	使用浏览器clipboard-write复制文本	需要相关权限

Auto 开发涉及代码段

在左侧功能栏添加内容：

func.push({
    name: "名称",
    question: async () => {
        let answer=await send(app.question)
        alert(answer)
    },
})

在下方选项卡添加内容：

app.plugins.push({ icon: 'note-edit-outline', url: "/static/wdnote/index.html" })

在指定RTST知识库查找:

find_in_memory = async (s, step, memory_name) => {
   response = await fetch("/api/find_rtst_in_memory", {
      method: 'post',
      body: JSON.stringify({
         prompt: s,
         step: step,
         memory_name: memory_name
      }),
      headers: {
         'Content-Type': 'application/json'
      }
   })
   let json = await response.json()
   console.table(json)
   app.zhishiku = json
   return json
}

上传至指定RTST知识库:

upload_rtst_zhishiku = async (title, txt,memory_name) => {
   response = await fetch("/api/upload_rtst_zhishiku", {
      method: 'post',
      body: JSON.stringify({
         title: title,
         txt: txt,
         memory_name: memory_name
      }),
      headers: { 'Content-Type': 'application/json' }
   })
   alert(await response.text())
}

保存指定RTST知识库:

save_rtst = async (memory_name) => {
   response = await fetch("/api/save_rtst_zhishiku", {
      method: 'post',
      body: JSON.stringify({
         memory_name: memory_name
      }),
      headers: { 'Content-Type': 'application/json' }
   })
   alert(await response.text())
}

访问SD_agent:

response = await fetch("/api/sd_agent", {
   method: 'post',
   body: JSON.stringify({
         prompt: `((masterpiece, best quality)), photorealistic,` + Q,
         steps: 20,
         // sampler_name: "DPM++ SDE Karras",
         negative_prompt: `paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans`
   }),
   headers: {
         'Content-Type': 'application/json'
   }
})
try {
   let json = await response.json()
   add_conversation("AI", '![](data:image/png;base64,' + json.images[0] + ")")
} catch (error) {
   alert("连接SD API失败，请确认已开启agents库，并将SD API地址设置为127.0.0.1:786")
}

部分内置 Auto 使用说明

文件名	功能
0-write_article.js	写论文：根据题目或提纲写论文
0-zsk.js	知识库增强和管理
face-recognition.js	纯浏览器端人脸检测：通过识别嘴巴开合，控制语音输入。因浏览器限制，仅本地或TLS下可用
QQ.js	QQ机器人:配置过程见文件开头注释
block_programming.js	猫猫也会的图块化编程:通过拖动图块实现简单Auto功能
1-draw_use_SD_api.js	通过agents模块（见example.config.yml<Library>）调用Stable Diffusion接口绘图

以上功能主要用于展示auto用法，进一步能力有待广大用户进一步发掘。

auto例程

知识库

知识库原理是在搜索后，生成一些提示信息插入到对话里面，知识库的数据就被模型知道了。rtst模式计算语义并在本地数据库中匹配；fess模式（相当于本地搜索引擎）、bing模式均调用搜索引擎搜索获取答案。

为防止爆显存和受限于模型理解能力，插入的数据不能太长，所以有字数和条数限制，这一问题可通过知识库增强Auto解决。

正常使用中，勾选右上角知识库即开启知识库。

有以下几种方案：

1. rtst模式，sentence_transformers+faiss进行索引，支持预先构建索引和运行中构建。
2. bing模式，cn.bing搜索，仅国内可用
3. bingsite模式，cn.bing站内搜索，仅国内可用
4. fess模式，本地部署的fess搜索，并进行关键词提取

rtst模式

sentence_transformers+faiss进行索引、匹配，并连同上下文返回。目前支持txt和pdf格式。

支持预先构建索引和运行中构建，其中，预先构建索引强制使用cuda，运行中构建根据config.yml(复制example.config.yml)中rtst段的device(embedding运行设备)决定，对于显存小于12G的用户建议使用CPU。

Windows预先构建索引运行：plugins/buils_rtst_default_index.bat。

Linux直接使用wenda环境执行 python plugins/gen_data_st.py

需下载模型置于model文件夹，并将txt格式语料置于txt文件夹。

使用微调模型提高知识库回答准确性

闻达用户“帛凡”，训练并提供的权重合并模型和lora权重文件，详细信息见https://huggingface.co/fb700/chatglm-fitness-RLHF ，使用该模型或者lora权重文件，对比hatglm-6b、chatglm2-6b、百川等模型，在闻达知识库平台中，总结能力可获得显著提升。

模型

1. GanymedeNil/text2vec-large-chinese 不再推荐，不支持英文且显存占用高
2. moka-ai/m3e-base 推荐

fess模式

在本机使用默认端口安装fess后可直接运行。否则需修改config.yml(复制example.config.yml)中fess_host的127.0.0.1:8080为相应值。FESS安装教程

知识库调试

清洗知识库文件

安装 utool 工具，uTools 是一个极简、插件化的桌面软件，可以安装各种使用 nodejs 开发的插件。您可以使用插件对闻达的知识库进行数据清洗。请自行安装以下推荐插件：

• 插件“解散文件夹”，用于将子目录的文件移动到根目录，并删除所有子目录。
• 插件“重复文件查找”，用于删除目录中的重复文件，原理是对比文件 md5。
• 插件“文件批量重命名”，用于使用正则匹配和修改文件名，并将分类后的文件名进行知识库的分区操作。

模型配置

chatGLM-6B/chatGLM2-6B

运行：run_GLM6B.bat。

模型位置等参数：修改config.yml(复制example.config.yml)。

默认参数在GTX1660Ti（6G显存）上运行良好。

chatRWKV

支持torch和cpp两种后端实现，运行：run_rwkv.bat。

模型位置等参数：见config.yml(复制example.config.yml)。

torch

可使用内置脚本对模型量化，运行：cov_torch_rwkv.bat。此操作可以加快启动速度。

在安装vc后支持一键启动CUDA加速，运行：run_rwkv_with_vc.bat。强烈建议安装！！！

cpp

可使用内置脚本对torch版模型转换和量化。 运行：cov_ggml_rwkv.bat。

设置strategy诸如"Q8_0->8"即支持量化在cpu运行，速度较慢，没有显卡或者没有nvidia显卡的用户使用。

注意：默认windows版本文件为AVX2，默认Liunx版本文件是在debian sid编译的，其他linux发行版本未知。

可以查看：saharNooby/rwkv.cpp，下载其他版本，或者自行编译。

Aquila-7B

1. 运行pip install FlagAI。注意FlagAI依赖很多旧版本的包，需要自己编译，所以如果想基于python3.11运行或者想在一个环境同时跑其他模型，建议去下懒人包
2. 运行：run_Aquila.bat。

模型位置等参数：见config.yml(复制example.config.yml)。注意模型要在这里下：https://model.baai.ac.cn/model-detail/100101

基于本项目的二次开发

wenda-webui

项目调用闻达的 api 接口实现类似于 new bing 的功能。 技术栈：vue3 + element-plus + ts

接入Word文档软件

通过宏，调用闻达HTTP API

闻达 (wenda) 快速上手指南

闻达是一个面向个人和中小企业的大规模语言模型调用平台，支持本地离线部署、知识库增强及自动化脚本扩展，注重数据隐私与资源效率。

1. 环境准备

系统要求

• 操作系统：Windows (推荐)、Linux
• 硬件建议：
  • 入门：6GB 显存显卡 (如 GTX 1660 Ti) 或纯 CPU 运行 (速度较慢)
  • 推荐：12GB+ 显存以获得更佳的知识库构建体验
• 软件依赖：
  • Python 3.8 - 3.10 (部分模型在 3.11 下需特殊处理)
  • CUDA 11.8 (如需 GPU 加速，Windows 用户建议从网盘下载安装包)
  • Git (用于克隆代码)

前置依赖安装

确保已安装 Python 和 pip，然后安装基础依赖库：

pip install -r requirements/requirements.txt

注：若使用 Aquila-7B 模型，需额外执行 pip install FlagAI（注意该库依赖较旧，建议使用项目提供的“懒人包”环境）。

2. 安装步骤

您可以选择“懒人包”快速启动，或自行从头安装。

方案 A：懒人包（推荐新手）

项目提供了集成环境和预配置参数的压缩包，适合快速体验。

1. 下载资源：
   • 百度云：https://pan.baidu.com/s/1idvot-XhEvLLKCbjDQuhyg?pwd=wdai
   • 夸克网盘：https://pan.quark.cn/s/c4cb08de666e (提取码：4b4R)
2. 解压与更新：解压后，建议先运行内置的一键更新功能。
3. 下载模型：
   • 可使用内置脚本从 HuggingFace 下载。
   • 或直接下载模型文件放入指定目录（推荐 chatGLM-6B 或 RWKV-4-Raven-7B-v11）。
4. 启动服务：
   • 以 GLM6B 为例，双击运行 运行 GLM6B.bat。

方案 B：自行安装

适合需要自定义配置或二次开发的开发者。

1. 克隆项目：

   git clone https://github.com/l15y/wenda.git
   cd wenda
   

2. 安装依赖：

   pip install -r requirements/requirements.txt
   

3. 下载模型： 根据需求下载对应模型权重（推荐 chatRWKV 的 RWKV-4-Raven-7B-v11 或 chatGLM-6B），并放置于项目目录下的 model 文件夹中。

4. 配置文件设置： 将示例配置文件重命名并按需修改：

   cp example.config.yml config.yml
   

   编辑 config.yml，填写模型路径、API Key（如需）、知识库模式等参数。务必仔细阅读该文件内的注释说明。

5. 启动服务： 根据选择的模型运行对应的启动脚本，例如：

   • ChatGLM: run_GLM6B.bat (Windows) 或对应 Python 命令
   • RWKV: run_rwkv.bat (Windows)

3. 基本使用

启动成功后，通常在浏览器访问 http://127.0.0.1:xxxx (具体端口见控制台输出或配置文件) 即可进入 Web 界面。

核心功能操作

1. 基础对话

在聊天框输入问题，系统将调用配置的本地大模型进行回答。支持流式输出和多轮对话历史管理。

2. 开启知识库 (RAG)

为了让模型基于私有数据回答：

1. 准备 .txt 或 .pdf 格式的文档，放入 txt 目录。
2. 构建索引 (以 RTST 模式为例)：
   • Windows: 运行 plugins/buils_rtst_default_index.bat
   • Linux: 执行 python plugins/gen_data_st.py 注意：显存小于 12G 的用户建议在 config.yml 中将 embedding 设备设为 CPU。
3. 启用功能：在 Web 界面右上角勾选“知识库”开关。
4. 提问：此时提问，模型会先检索本地知识库，结合检索内容生成答案。

3. 使用 Auto 自动化脚本

闻达支持通过 JavaScript 脚本扩展功能（如自动写论文、调用绘图 API 等）。

• 内置脚本：项目 autos 目录下包含多个示例，如 0-write_article.js (写论文)、1-draw_use_SD_api.js (绘图)。
• 启用方式：将脚本文件放入 autos 目录，或在 Web 界面通过油猴脚本注入。
• 示例代码结构：

  func.push({
      name: "我的功能",
      question: async () => {
          let answer = await send(app.question)
          alert(answer)
      },
  })
  

常用模型启动参考

• ChatGLM-6B/2-6B: 默认参数适配 6G 显存，支持量化和 LoRA。
• ChatRWKV: 支持 Torch 和 C++ 后端。Torch 版可运行 cov_torch_rwkv.bat 进行量化加速；C++ 版适合无 N 卡用户（需设置 strategy 如 "Q8_0->8"）。
• Aquila-7B: 需确保安装 FlagAI，模型下载地址：https://model.baai.ac.cn/model-detail/100101