Mianbot

🎉 新闻：我们采用了类似的资料采集策略训练了一个繁体中文的大型语言模型，模型效能与使用方式可以参考 Kyara

Mianbot 是采用样板与检索式模型搭建的聊天机器人，目前有两种产生回复的方式。

• 其一（左图）是以词向量进行短语分类，针对分类的目标模块实现特征抽取与记忆回复功能，以进行多轮对话，匹配方式可参考Semantic Graph（目前仍在施工中 ΣΣΣ (」○ ω○ )／）。
• 其二（右图）除了天气应答外，主要是以 PTT Gossiping 作为知识库，通过文本相似度的比对取出与用户输入最相似的文章标题，再从推文集内挑选出最为可靠的回复，程序内容及实验过程请参见PTT-Chat_Generator。

匹配示例

更多的样例可以参照 example/output.txt

输入：明天早上叫我起床。

相似度	概念	匹配元
0.4521	闹钟	起床
0.3904	天气	早上
0.3067	住宿	起床
0.1747	病症	起床
0.1580	购买	早上
0.1270	股票	早上
0.1096	观光	早上

输入：明天上海会不会下雨？

相似度	概念	匹配元
0.5665	天气	下雨
0.3918	闹钟	下雨
0.1807	病症	下雨
0.1362	住宿	下雨
0.0000	股票
0.0000	观光
0.0000	购买

环境需求

• 安装 python3 开发环境
• 安装 gensim – Topic Modelling in Python
• 安装 jieba 结巴中文分词
• 有已训练好的中文词向量，并根据文件位置调整 Console class 的初始化参数。

import Chatbot.console as console
c = console.Console(model_path='your_model')

• 如要使用 QA 模块，请先依照问答测试用数据集进行配置，或通过将chatbot.py 中的 self.github_qa_unupdated 设为 True 选择关闭 QA 模块

使用方式

聊天机器人

import Chatbot.chatbot as chatbot

chatter = chatbot.Chatbot(w2v_model_path='your_model')
chatter.waiting_loop()

计算匹配度

import Chatbot.console as console

c = console.Console(model_path='your_model')
speech = input('Input a sentence:')
res,path = c.rule_match(speech)
c.write_output(speech,res,path)

规则格式

规则采用 json 格式，样板规则放置于\RuleMatcher\rule中，

    {
        "domain": "代表这个规则的抽象概念",
        "response": [
		"对应到该规则后",
        	"机器人所会给予的回复",
        	"机器人会随机抽取一条 response"
        ],
        "concepts": [
            "该规则的可能表示方式"
        ],
        "children": ["该规则的子规则","如购买 -> 购买饮料,购买衣服......"]
    }

Example

    {
        "domain": "购买",
        "response": [
        	"正在将您导向购物模块"
        ],
        "concepts": [
            "购买","购物","订购"
        ],
        "children": [
            "购买生活用品",
            "购买家电",
            "购买食物",
            "购买饮料",
            "购买鞋子",
            "购买衣服",
            "购买电脑产品"
        ]
    },

问答测试用数据集

请点击这里下载部分测试用数据集，内容包含了 PTT C_Chat、Gossiping 版非新闻类问答约 250,000 则。文件解压后请放置于 QuestionAnswering/data/ 文件夹下，reply.rar 解压后的文件夹请放置于 QuestionAnswering/data/processed 下：

QuestionAnswering
└── data
   ├── SegTitles.txt
   ├── processed
   │   └── reply
   │       ├── 0.json
   │       ├── .
   │       ├── .
   │       ├── .
   │       └── xxx.json
   └── Titles.txt

完成配置后，可以将chatbot.py 中的 self.github_qa_unupdated 设为 False 打开问答模块进行测试。

开发日志

• 以 gensim 训练中文词向量
• 基于词向量的主题匹配
• 聊天机器人的开发思路

特别致谢

• 网络探勘暨跨语知识系统实验室
• 智慧型知识管理实验室
• Legoly
• 给予我协助与交流的每名朋友

Mianbot 聊天机器人快速上手指南

Mianbot 是一个基于模板与检索式模型构建的中文聊天机器人。它支持两种回复生成模式：一是基于词向量的短语分类与多轮对话记忆；二是基于文本相似度从知识库（如 PTT 文章）中检索最佳回复。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3.x
• 核心依赖库：
  • gensim：用于主题建模和词向量处理
  • jieba：用于中文分词
• 前置资源：
  • 已训练好的中文词向量模型文件（.model 或类似格式）。
  • （可选）问答测试数据集：若需启用高级 QA 模块，需下载并配置特定数据集。

安装步骤

1. 安装 Python 依赖 使用 pip 安装必要的第三方库。国内用户推荐使用清华或阿里镜像源以加速下载：

   pip install gensim jieba -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 获取项目代码 克隆仓库或下载源码到本地：

   git clone https://github.com/zake7749/Chatbot.git
   cd Chatbot
   

3. 配置词向量路径 确保你拥有已训练好的中文词向量模型。后续代码初始化时需指定该模型的文件路径。

4. （可选）配置 QA 模块数据 若需使用基于 PTT 数据的问答功能：

   • 下载测试数据集（包含约 25 万条问答数据）。
   • 解压后将主文件置于 QuestionAnswering/data/ 目录。
   • 将 reply.rar 解压后的内容置于 QuestionAnswering/data/processed 目录。
   • 修改 chatbot.py，将 self.github_qa_unupdated 设置为 False 以启用该模块。若无需使用，保持默认值 True 即可关闭。

基本使用

1. 启动聊天机器人

这是最简单的交互方式，程序将进入等待输入的循环模式。

import Chatbot.chatbot as chatbot

# 初始化机器人，替换 'your_model' 为你的词向量模型实际路径
chatter = chatbot.Chatbot(w2v_model_path='your_model')

# 启动对话循环
chatter.waiting_loop()

2. 单次匹配度计算

如果你只想测试某句话的意图匹配情况，可以使用控制台模式：

import Chatbot.console as console

# 初始化控制台
c = console.Console(model_path='your_model')

# 获取用户输入
speech = input('Input a sentence:')

# 执行规则匹配
res, path = c.rule_match(speech)

# 输出结果到文件
c.write_output(speech, res, path)

3. 自定义规则（进阶）

机器人的回复逻辑基于 JSON 格式的规则文件，位于 \RuleMatcher\rule 目录下。你可以编辑这些文件来定义新的领域概念和回复模板。

示例规则结构：

{
    "domain": "購買",
    "response": [
        "正在將您導向購物模組"
    ],
    "concepts": [
        "購買", "購物", "訂購"
    ],
    "children": [
        "購買生活用品", "購買家電"
    ]
}